漫步最优化三十九——Fletcher-Reeves法

来源：互联网发布：远程登陆阿里云服务器编辑：程序博客网时间：2024/06/16 06:55

你的目光像桥梁，

指引我通往你心路的捷径。

你的魅力像磁铁，

加快我靠向你身边的步伐。

想在你颈边轻轻呼吸，

想在你耳边吐露真言，

想成为你生命的韵律。

Pasito a pasito, suave suavecito

Nos vamos pegando, poquito a poquito

Y es que esa belleza es un rompecabezas

Pero pa montarlo aun tengo la pieza

——畅宝宝的傻逼哥哥
Fletcher-Reeves法是共轭梯度法的变种，它的主要特征是参数

αk,k=0,1,2,…是用线搜索最小化

f(x+αdk)确定的，这与最速下降或者牛顿法一样。而不同点在于

dk是对

dk−1,dk−2,…,d0共轭，而不是最速梯度方向或者牛顿方向。
如果所求的问题是凸的，二次的且方向按共轭梯度发选择，那么

d f ( x k + α d k ) d α = g T k + 1 d k = 0

其中k=0,1,2,…，更进一步，共轭的方向集合确保

d f ( x k + α d i ) d α = g T k + 1 d i = 0 for 0 \leq i \leq k

或者

g T k d i = 0 for 0 \leq i < k

所以通过线搜索确定的αk等价于共轭梯度法。因为线搜索需要更多的计算量，所以Fletcher-Reeves的修正是退化的一步，但不管怎样，这样做得到两个非常明显的好处：

这个修正使得该方法更加适应非二次问题的最小化，这是因为对不在解邻域内的点，f(x)沿着dk方向能够更大程度的减少，这是因为对于非二次问题，共轭梯度法得到的α沿着dk方向不会得到最小值。
这个修正避免了推导计算海森矩阵。

如果每n次迭代后重新初始化，那么Fletcher-Reeves算法能够收敛，该算法的具体实现如下：

算 法 1 ： 共 轭 梯 度 算 法 步 骤 1 输 入 x 0 并 初 始 化 容 忍 误 差 ε 步 骤 2 令 k = 0 计 算 g 0 并 令 d 0 = - g 0 步 骤 3 求 α k, 也 就 是 最 小 化 f (x k + α d k) 的 α 令 x k + 1 = x k + α k d k 步 骤 4 如 果 ∥ α k d k ∥ < ε, 输 出 x * = x k + 1, f (x *) = f k + 1 算 法 结 束 步 骤 5 如 果 k = n - 1, 令 x 0 = x k + 1, 然 后 回 到 步 骤 2 步 骤 6 计 算 g k + 1 计 算 β k = g T k + 1 g k + 1 g T k g k 令 d k + 1 = - g k + 1 + β k d k 令 k = k + 1 然 后 回 到 步 骤 3

阅读全文

1 0