求解最小Loss的失败,不能得到最优的值,找不到Loss足够小的值。
- 1.Loss关于参数的梯度为0,不能继续更新参数。(local minima 或者 saddle point)
如何知道走到了哪个点?
利用泰勒展开:
Critical Point的一阶导数为0。
举例子(Example):
不需要担心Saddle Point,因为Hessian矩阵会告诉我们参数更新的方向。
Saddle Point V.S. Local Minima
三维空间这个石棺是封闭的,但是在高维空间里石棺可能是非封闭的,取到里面的东西。推广到损失函数形状,在二维空间中可能是一个Local Minima,但是转换到三位空间中其可能就是一个Saddle Point。
实际研究,当所有的Hessian矩阵的Eigen Value都大于0时,表明这一点为Local Minima,如果有小于0的Value就表明这是一个Saddle Point。实际实验表明Local Minima最少,大多数为Saddle Point。