牛顿法和拟牛顿法

求解无约束最优化问题的常用方法，收敛速度快。

 

牛顿法：

迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂。

1、目标函数的二级泰勒展开，及极小值的必要条件（一阶导数为0），可以求出每一步迭代值的步长：

其中，Hk为海赛矩阵，gk为一阶导数在xk处的值。

2、算法流程：

3、每一步迭代都是下降方向。

证明：

 

拟牛顿法：

通过正定矩阵近似海赛矩阵的逆矩阵 或 海赛矩阵，简化了。

按照拟牛顿条件选择一个n阶矩阵作为海赛矩阵的逆矩阵的近似，这样的算法称为拟牛顿法。

主要有以下几种选择方案：

1、DFP算法

2、BFGS算法

3、上述两个Gk+1 的线性组合，Broyden算法。