漫步最优化四十三——拟牛顿法

从相距千里，
到心与心的碰撞，
情感是一种随机，
也是一种必然。
从一个人到两个人，
我们感受到了很多，
学到了很多，
就像一个刚出生的婴儿，
未来等着我们去共同探索。
——畅宝宝的傻逼哥哥
对于前面文章介绍的多维优化法，我们都是用共轭方向集合来解决最小值的搜索，这些方法 (像Fletch-Reeves与Powell法)最重要的特征就是不需要f(x)二阶导的显式表达，还有一类不需要二阶导显式表达的方法：拟牛顿法，有时候称为变尺度法。

人如其名，这类方法的基础就是之前介绍的牛顿法，拟牛顿法的基本原则是搜索的方向基于n×n的方向矩阵S，功能就像牛顿法中的逆矩阵。这个矩阵从可得到的数据中产生，作为H−1的近似，更进一步，随着迭代数的增长，S会满满变成H−1的精确表示，对于凸二次目标函数，在n+1次迭代时等于H−1。

拟牛顿法与其他方法一样，也是来于凸二次问题，然后扩展到一般的情况，因为拟牛顿法是目前方法中最有效的，所以在数值应用上使用最广泛。

最近几年已经发展出了许多不同的拟牛顿法，接下里介绍四种最重要的拟牛顿法：

• Rank-one法
• Davidon-Fletcher-Powell法
• Broyden-Fletcher-Goldfarb-Shanno法
• Fletcher法

然后还会讨论几个可替换的方法以及两个有趣的推广，其中一个由Broyden发明，另一个由Huang发明。