运筹学(1)-最速下降法
来源:互联网 发布:mac香港专柜价格 编辑:程序博客网 时间:2024/05/18 21:10
运筹学(1)
多维无约束优化算法——梯度法之最速下降法
最近学习运筹学开始学习一些优化的算法,之后的一系列博客我会分享一些我学到的运筹学方法。这次我总结了我学习的最速下降法。
1. 原理
最速下降法是一个优化算法,用于求解多维无约束问题。最速下降法由于只考虑到当前下降最快而不是全局,所以最速下降法又叫做瞎子爬山法。最速下降法属于求解非线性规划问题的迭代法。它的关键是得到每步迭代的方向
(1)搜索方向
方向
可以得到在
从上式可以得到要使在
从上述就可以确定最速下降法的搜索方向为
(2)求解搜索步长
最速下降法所采取的搜索步长的策略有两种:
一种是最优步长搜索法,即
另一种是近似最佳步长
对上式求导并等于零,可以得到步长
2.算法步骤
(1).选取初始点
(2).计算
(3).计算搜索方向
(4).计算搜索步长t,可以得到
3.例子
用最速下降法求解无约束非线性规划问题
其中
解:(1)
(2)
(3)
(4)求步长
得步长
(5)
按照上述方法继续迭代直到达到迭代终止条件,
4.优缺点
优点:
(1)每一步迭代简单,对初始点要求少
缺点:
(1)由于是对每一步进行最优迭代,但是整体的收敛下降速度不一定最快。
(2)用最速下降法求最优问题,迭代路径呈直角锯齿形如下图,开始的几步迭代很快,但越接近最优点收敛速度越慢。
这是我第一次写博客,如有写的不好的地方希望大家提提建议,谢谢哈!!!
- 运筹学(1)-最速下降法
- 梯度下降法(最速下降法)
- 最速下降法
- 最速下降法
- 最速下降法
- 最速下降法
- 梯度下降法-最速下降法
- 最速下降法/梯度下降法
- 最优化学习笔记(三)最速下降法
- 最速下降法汇总
- 最优化方法(运筹学方法)
- 最优化之最速下降法
- 【机器学习】最速下降法和牛顿下降法
- 最速下降法法求解线性方程组
- 最速下降法与Newton法
- 牛顿下降法和梯度下降法(最速下降法)的速度的比较
- 牛顿下降法和梯度下降法(最速下降法)的速度的比较
- 牛顿下降法和梯度下降法(最速下降法)的速度的比较
- 解决error: rpmdbNextIterator问题
- SATA学习之二 硬失效和软失效
- 解决启动sendmail和sm-client特别慢问题
- linux下创建VG并增加
- 增加linux vg 空间大小_Desperate struggle
- 运筹学(1)-最速下降法
- targetCompatibility = '1.7'
- 中断学习
- 如何查看Android设备的CPU架构信息
- 介词短语做后置定语(由of引导)
- 文件系统学习3 注册和加载 以及路径解析
- Xcode9学习笔记76
- Android studio提示setup jdk
- C语言-函数指针