为什么牛顿法下降的速度比梯度下降的快

来源:互联网 发布:王震对新疆的功过知乎 编辑:程序博客网 时间:2024/04/26 20:11

梯度法是从初值开始按照负梯度方向一步一步走,确定方向、确定步长、再确定方向、再确定步长.只顾眼前情况,大局观念差~牛顿法是令目标函数梯度等于零,直接解方程,求方向,目的就是一步就跨到最优解,只不过由于求解是近似的,导致这一步走得不太准,还需要在迭代,但是已经能说明目标观念很强了~


http://zuoye.baidu.com/question/5e1c59091fb9dc8e8264f60cdf1e49d1.html


0 0