最优化学习笔记(四)——最速下降法
来源:互联网 发布:北京渠道网络 编辑:程序博客网 时间:2024/06/14 07:58
一、最速下降法的理念
最速下降法是梯度方法的一种实现,它的理念是在每次的迭代过程中,选取一个合适的步长
由梯度迭代公式可知:
概述最速下降法的过程:在每一步的迭代中,从点
二、最速下降法的两个命题和停止条件
2.1 最速下降法的两个命题
命题1 利用最速下降法搜索函数
命题2 利用最速下降法搜索函数
命题1说明在迭代过程中,没产生一个新点,对应的目标函数值都会下降。命题2说明了最速下降法的下降特性:只要
2.2 几种停止规则
在实际中,采用数值计算的方法很难恰好得到梯度为0的结果,因此以梯度为0作为停止规则很不恰当。以下,
1.
|f(x(k+1))−f(x(k))|<ϵ 2.
||x(k+1)−x(k)||<ϵ 3.
|f(x(k+1))−f(x(k))||f(x(k))|<ϵ 4.
||x(k+1)−x(k)||||x(k)||<ϵ 5.
|f(x(k+1))−f(x(k))|max{1,|f(x(k))|}<ϵ 6.
||x(k+1)−x(k)||max{1,||x(k)||}<ϵ
上边的3,4式为1,2式的相对值,而5,6式是为了避免3,4式中的分母过小进行的修改。
三、二次型中最速下降法的应用
首先,二次型的目标函数为
其中,
令:
则,最速下降法的迭代公式:
其中,
当目标函数是二次型函数时,可以确定
所以:
所以,目标函数为二次型函数时,最速下降法的迭代公式为:
其中,
- 最优化学习笔记(四)——最速下降法
- 最优化学习笔记(三)最速下降法
- 最优化学习笔记(三)——梯度下降法
- 漫步最优化三十二——最速下降法
- 最优化之最速下降法
- 最优化学习笔记(四)共轭梯度法
- 最优化学习笔记(四)共轭梯度法
- 最优化问题——梯度下降/上升法
- 最优化-梯度下降法
- 斯坦福大学深度学习公开课cs231n学习笔记(3)最优化方法:梯度下降
- 最速下降法
- 最速下降法
- 最速下降法
- 最速下降法
- 【机器学习】最速下降法和牛顿下降法
- [最优化算法]最速下降法求解无约束最优化问题
- 机器学习最常用优化之一——梯度下降优化算法综述
- 最优化 梯度下降
- NumPy 基本运算
- Spring注入SessionFactory问题
- Android逆向之旅---Android应用的安全的攻防之战
- 练习三 1015
- PHP常用函数
- 最优化学习笔记(四)——最速下降法
- 使用MyBatis Generator从数据库自动生成Mapper和Po类
- Android的Handle类
- JSTL_function
- 数据库中表的基本操作(命令)
- oracle解锁用户
- 单例模式的几种写法
- [Java]MVC三层架构原理及实现案例
- poj 2182 Lost Cows