无约束极值问题的解法

华电北风吹
最后修改日期 2015/11/7

无约束极值问题可以表述为
minf(X),X∈Rn
对于这类问题的求解一般要用到迭代法。迭代法可分为两大类。一类是要用到函数一阶导数或二阶导数的解析法；另一类是迭代过程中只用到函数值的直接法。常见的解析法有梯度下降法，共轭梯度法，变尺度法。常见的直接法有步长加速法。

一、梯度下降法
假设Xk表示极小值点的第k次迭代。求解第k+1次迭代过程为
Xk+1=Xk+λPk
Pk表示函数f(X)在点Xk处的负梯度。λ是步长。
其中，步长可以设定为一个常数值。当然，也可以通过一维搜索求解使得函数f(X)在点Xk沿方向Pk下降最多的步长(最速下降法)。

二、共轭梯度法

三、变尺度法

四、步长加速法