漫步最优化三十五——共轭

我对你的喜欢像玻璃，
透明的能被你看穿。
我对你的思念像影子，
傍晚时分就被拉长。
我愿意顶着大太阳，
为了给你撑伞。
我愿意奉献我肩膀，
为了给你依靠。
牵着你瞎逛，
牵着你分享美食，
牵着你走遍世界。
——畅宝宝的傻逼哥哥

对于前面描述的多维优化方法，每次迭代搜索的方向依赖于目标函数的局部特性，虽然相邻搜索方向可能存在关系，但是这个关系是随机的。接下来我们介绍的方法中相邻的搜索方向严格满足某种数学关系，其中最重要的一类方法是基于共轭方向的。

与牛顿法类似，共轭方向法发展于二次优化问题，然后扩展到一般的优化问题。对于二次问题，只需要有限的迭代次数就能达到收敛。

其实很多类型的问题应用共轭方向法都非常有效，并且在以前已经被广泛使用，下面是四类最重要的这类方法：

• 共轭梯度法
• Fletcher-Reeves法
• Powell法
• Partan法

接下里会介绍涉及到的主要原则以及基于这些方法的算法。