优化算法-共轭梯度法
来源:互联网 发布:unity3d 透明shader 编辑:程序博客网 时间:2024/06/05 08:49
最速下降法
1.最速下降方向
函数f(x)在点x处沿方向d的变化率可用方向导数来表示。对于可微函数,方向导数等于梯度与方向的内积,即:
Df(x;d)
因此,求函数f(x)在点x处的下降最快的方向,可归结为求解下列非线性规划:
min
s.t.
当
时等号成立。因此,在点x处沿上式所定义的方向变化率最小,即负梯度方向为最速下降方向。
2.最速下降算法
最速下降法的迭代公式是
x(k+1)
其中d(k)是从x(k)出发的搜索方向,这里取在x(k)处的最速下降方向,即
d
λk是从x(k)出发沿方向d(k)进行一维搜索的步长,即λk满足
f(x(k)
计算步骤如下:
(1)给定初点x(1)
(2)计算搜索方向d
(3)若||d(k)||
f(x(k)
(4)令x(k+1)
共轭梯度法
1.共轭方向
无约束问题最优化方法的核心问题是选择搜索方向。
以正定二次函数为例,来观察两个方向关于矩阵A共轭的几何意义。
设有二次函数:
f(x)
其中A是n×n对称正定矩阵,x*是一个定点,函数f(x)的等值面
1/2
是以x*为中心的椭球面,由于
▽f(x*)
A正定,因此x*是f(x)的极小点。
设x(1)是在某个等值面上的一点,该等值面在点x(1)处的法向量
▽f(x(1))
又设d(1)是这个等值面在d(1)处的一个切向量。记作
d(2)
自然,d(1)与▽f(x(1))正交,即d(1)T▽f(x(1))
d(1)TAd(2)
即等值面上一点处的切向量与由这一点指向极小点的向量关于A共轭。
由此可知,极小化式所定义的二次函数,若依次沿着d(1)和d(2)进行一维搜索,则经两次迭代必达到极小点。
1.共轭梯度法
共轭梯度法最初由Hesteness和Stiefel于1952年为求解线性方程组而提出的。后来,人们把这种方法用于求解无约束最优化问题,使之成为一种重要的最优化方法。
Fletcher-Reeves共轭梯度法,简称FR法。
共轭梯度法的基本思想是把共轭性与最速下降方法相结合,利用已知点处的梯度构造一组共轭方向,并沿这组方向进行搜素,求出目标函数的极小点。根据共轭方向基本性质,这种方法具有二次终止性。
对于二次凸函数的共轭梯度法:
min
其中x∈
具体求解方法如下:
首先,任意给定一个初始点x(1),计算出目标函数f(x)在这点的梯度,若||g1||
d(1)
沿方向d(1)搜索,得到点x(2)。计算在x(2)处的梯度,若||g2||
一般地,若已知点x(k)和搜索方向d(k),则从x(k)出发,沿d(k)进行搜索,得到
x(k+1)
其中步长λk满足
f(x(k)
此时可求出λk的显示表达
计算f(x)在x(k+1)处的梯度。若||gk+1||
d(k+1)
上式两端左乘d(k)TA,并令
d(k)TAd(k+1)
由此得到
βk
再从x(k+1)出发,沿方向d(k+1)搜索。
在FR法中,初始搜索方向必须取最速下降方向,这一点决不可忽视。因子βk可以简化为:βk
3.非线性共轭梯度
当目标函数是高于二次的连续函数(即目标函数的梯度存在)时,其对应的解方程是非线性方程,非线性问题的目标函数可能存在局部极值,并且破坏了二次截止性,共轭梯度法需要在两个方面加以改进后,仍然可以用于实际的反演计算,但共轭梯度法不能确保收敛到全局极值。
(1)首先是共轭梯度法不能在n维空间内依靠n步搜索到达极值点,需要重启共轭梯度法,继续迭代,以完成搜索极值点的工作。
(2)在目标函数复杂,在计算时,由于需要局部线性化,需计算Hessian矩阵A,且计算工作量比较大,矩阵A也有可能是病态的。Fletcher和Reeves的方案最为常用,抛弃了矩阵A的计算,具体形式如下:
式中gk-1和gk分别为第k-1和第k次搜索是计算出来的目标函数的梯度。http://blog.sina.com.cn/s/blog_72bc796901011v2q.html
原文地址:http://blog.csdn.net/crcr/article/details/39481373
- 优化算法-共轭梯度法
- 优化算法、共轭梯度法
- 优化算法-共轭梯度法
- 优化 :共轭梯度法
- 多维优化:共轭梯度法
- 最优化之共轭梯度法
- 最速下降优化算法与共轭梯度算法
- 共轭梯度法程序/最优化-无约束共轭梯度法程序
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法
- 共轭梯度法原理
- 共轭梯度法
- AndroidStudio插件GsonFormat:根据Json自动生成JavaBean
- sublime 使用技巧
- 字符串中英文混合前后截取
- 一款强大易用的Vue-markdown文本编辑器插件
- 安装CentOS 6.6系统
- 优化算法-共轭梯度法
- [python]使用txt保存和读取列表变量
- 如何配置Tomcat环境变量
- 手写Ajax程序实现异步刷新求和
- linux下QtCreator无法输入中文的情况
- 大数据学习——Flume介绍与安装
- 说说用虚拟主机上线DEDE项目遇到的些问题
- ThreadPoolExecutor 线程池
- java中正则表达式常用的构造元素