最优化学习笔记(十五)——拟牛顿法(1)
来源:互联网 发布:淘宝用什么推广最好 编辑:程序博客网 时间:2024/05/10 10:23
拟牛顿法分为五部分来讲,本文这部分作为引言,第二部分讲Hessian矩阵逆矩阵的近似,第三部分秩1修正公式,第四部分为DFP算法,最后BFGS算法。
牛顿法是一种具有较高实用性的优化问题的求解方法。牛顿法如果收敛,收敛阶数至少是2。但是,当目标函数为一般性的非线性函数时,牛顿法就不能保证从任意起始点
牛顿法的基本思路是在每次迭代中,利用二次型函数的局部近似目标函数
对上式进行适当修正,可以保证牛顿法具有下降性:
其中,
牛顿法的另外一个缺陷是必须计算Hessian矩阵
命题 函数
在拟牛顿法中,构造Hessian矩阵逆矩阵的近似矩阵时,只需要用到目标函数值和梯度。因此,只要确定了合适的近似矩阵
0 0
- 最优化学习笔记(十五)——拟牛顿法(1)
- 最优化学习笔记(五)牛顿法及拟牛顿法
- 最优化学习笔记(十六)——拟牛顿法(2)
- 最优化学习笔记(十七)——拟牛顿法(3)
- 最优化学习笔记(十八)——拟牛顿法(4)DFP算法
- 最优化学习笔记(十九)——拟牛顿法(5)BFGS算法
- 最优化学习笔记(七)——Levenberg-Marquardt修正(牛顿法修正)
- 最优化学习笔记(一)——牛顿法(一维搜索方法)
- 最优化学习笔记(五)——牛顿法(多维数据)
- 最优化学习笔记(六)——牛顿法性质分析
- 最优化学习笔记(六)——牛顿法性质分析
- 漫步最优化四十三——拟牛顿法
- 漫步最优化四十四——基本拟牛顿法
- 无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS
- 无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS
- 最优化 牛顿法
- 优化算法——牛顿法和拟牛顿法
- 最优化——拟牛顿方法matlab程序
- 全国高校,省份,城市,区县,的mysql
- js面向对象实例(实现简易版拖拽)
- Spring学习07--Bean对象的初始化(IOC的依赖注入)原理
- 中断和轮询的方式
- Openstack的Nova的性能生产测试
- 最优化学习笔记(十五)——拟牛顿法(1)
- 用java代码吧excel数据文件写进数据库
- 数据库连接池理解
- 发布几个 比较好用的小说网站
- [仿南航app开发日记4]登陆对话框完成以及自定义对话框碰到的坑
- NOIP 提高组 初赛 四、阅读程序写结果 习题集(六)NOIP2008-NOIP2009
- 第2章 对象及变量的并发访问
- C# 集合
- Leetcode Palindrome Partitioning