最优化中的牛顿法，二阶收敛性

最近偶尔翻阅一本写的不错的最优化理论教材，该书讲得很详细，很透彻。我对非线性规划理论又有了全新的认识，发现牛顿法可以说是是无约束优化中最重要的方法，其他方法：LM方法，高斯牛顿，拟牛顿法，共轭梯度法可以说是对牛顿法的扩展。准备闲来无事时将牛顿法的原理以及求解过程用数例好好再过一遍。

适用对象：二阶可微函数

1. 牛顿法的几何意义本质

       在原函数的某一点处用一个二次函数近似原函数，然后用这个二次函数的极小值点作为原函数的下一个迭代点。

上面这句话也说明，若原函数本身是一个二次函数，则牛顿法一步就能到达极小点或鞍点。若原函数本身是一个二次正定函数，则牛顿法一步到达最小值点。

2. 牛顿法的代数意义

梯度与黑塞矩阵分别由下列符号表示：

  

  

设任意点为 Xk，下个一迭代点位 Xk+Sk， 该迭代点在 Xk 处的泰勒展开式为：

用下个迭代点的值代替改点的值，即：

因此：

所以，迭代方向为：

该方向又称作牛顿方向。

3. 牛顿法的二阶收敛性

若初始点 x0 充分靠近极值点 x*，并且极值点 x* 的黑塞矩阵非奇异，并且黑塞矩阵在极值点附近 Lipschitz 连续，则牛顿法具有二阶收敛性。

注：Lipschitz 连续是一种比普通连续性更强的连续，它限制了函数的改变速度。对于函数可行域的任意两点，存在一个常数 K，使得：

证明：

由黑塞矩阵的非奇异性与连续性知道，在 x*附近，存在一个常数 M，对于任意的 k，使得

而：

上式右端成立，是因为 g(x*)=0。继续：

上式是因为：

继续，再利用到 Lipstchitz 连续，得到：

因此，牛顿迭代法二阶收敛。