我们找到第在这篇文章中，我们证明了一个扰动形式的梯度下降可以收敛到二阶驻点，其使用的时间与标准的梯度下降收敛到一阶驻点的时间几乎相同。这意味着，在有效地逃离鞍点的问题上，Hessian 信息是不必要的。同时，这还解释了在非凸问题上基本的 GD 和 SGD 表现的出奇的好的原因。这一新的收敛结果可以直接应用于非凸问题，如 matrix sensing/completion 来进行有效地全局收敛。
Michael_Jordan_在_BAIR_blog_发文详解_如何有效避开鞍点
当然，在非凸优化领域，还存在着许多悬而未决的问题。举几个例子：加入动量会使收敛到一个二阶驻点的速度提高？什么类型的局部极小值可用，并且是否存在一些有用的结构性假设可以让我们有效地应用在局部极小值上，从而避免局部极小值？在非凸优化问题上我们正在缓慢而稳步地取得这进展，在不久的将来，我们可以真正实现 " 科学 " 的跨越。
Michael_Jordan_在_BAIR_blog_发文详解_如何有效避开鞍点
雷锋网 AI 科技评论编译
Michael_Jordan_在_BAIR_blog_发文详解_如何有效避开鞍点
最新Michael Jordan 在 BAIR blog 发文详解：如何有效避开鞍点可以看看这篇名叫托福备考： 如何在短期内突破托福 110?详解 1 个月托福备考计划的文章，可能你会获得更多Michael Jordan 在 BAIR blog 发文详解：如何有效避开鞍点
Michael_Jordan_在_BAIR_blog_发文详解_如何有效避开鞍点
