最优化学习笔记（一）——牛顿法(一维搜索方法)

一、一维搜索方法

讨论目标函数为一元单值函数f:R→R时的最优化问题的迭代求解方法。

二、局部极小点的条件

n元实值函数f的一阶导数Df为：

Df≜[∂f∂x1,∂f∂x2,…,∂f∂xn]

函数f的梯度是Df的转置：∇f=(Df)T, 顺便说一句，f 的二阶导数是黑塞矩阵。

下面只给出局部极小点位于约束集内部时的一阶必要条件。多元实值函数f在约束集Ω上一阶连续可微，约束集Ω是Rn的子集。如果x∗是函数f在Ω上的局部极小点，且是Ω的内点，则有

∇f(x∗)=0

成立。

三、牛顿法

考虑一元单值函数在区间上求极小值的问题，此处假设函数连续二阶可微。下面构造一个经过点(x(k),f(x(k)))二次函数,该函数在x(k)的一阶和二阶导数分别为f′(x(k)),f′′(x(k)).那么，构造的函数如下：

q(x)=f(x(k))+f′(x(k))(x−x(k))+12f′′(x(k))(x−x(k))2

则有

q(x(k))=f(x(k))(1)q′(x(k))=f′(x(k))(2)q′′(x(k))=f′′(x(k))(3)

q(x)可以认为是f(x)的近似。因此，求函数f的极小值点近似于求解q的极小值点，函数q应该满足一阶必要条件：

0=q′(x)=f′(x(k))+f′′(x(k))(x−x(k))

令 x=x(k+1),可得：

x(k+1)=x(k)−f′(x(k))f′′(x(k))

上式即为牛顿法的迭代公式，当f′′(x)>0时，对于区间内的x都成立，牛顿法正常，反之当f′′(x)<0时，牛顿法可能收敛到极大值点。

后续将牛顿法扩展到目标函数为f:Rn→R上。