漫步最优化二十二——收敛速率
来源:互联网 发布:通用刷机软件 编辑:程序博客网 时间:2024/06/08 11:36
大部分算法计算效率是有很大差别的,高效或者快速的算法仅需要少量的迭代就能收敛到解,并且计算量也很小。从经济的角度来说,我们会选择选择最有效的算法,因此我们就需要度量算法收敛速率的定量指标或准则。
最基本的准则是序列的收敛阶,如果
其中
xk=γk, for 0<γ<1 xk=γ2k, for 0<γ<1
那么求出序列
对于
(b)
对于
如果等式(1)的极限存在,那么
其中
所以
与
第二个序列的收敛速率比第一个更快。
如果
大部分非线性规划算法都是线性收敛的,因此他们的比较都是基于
另一种度量序列收敛速率的是平均收敛阶数,也就是满足关系
的最小非负整数。如果不存在
xk=γk, for 0<γ<1 xk=γ2k, for 0<γ<1
所以对于
(b)
所以对于
如果收敛的平均阶数是单位1,那么我们称序列是平均线性收敛,平均线性收敛定义为
上面的讨论中,我们考虑的是数列的收敛性。随着越来越靠近解,这样的序列可能由目标函数的值构成,这时候我们度量目标函数靠近其最小值的速度。或者说,如果我们想知道问题靠近最优解有多快,可以用向量
上面收敛速率的度量中,重点都是在解邻域内考虑算法的有效性。通常而言优化的大部分计算都花在解的邻域内,所以上面的度量是很有意义的。然而偶尔会有些算法在解的邻域内有效而其他地方无效。这时候上面的判别准则会误导我们,所以需要改用其他的准则。
- 漫步最优化二十二——收敛速率
- 漫步最优化二十一——全局收敛
- 漫步最优化二——基本优化问题
- 漫步最优化二十三——一维优化
- 漫步数学分析二十一——逐点收敛与一致收敛
- 漫步最优化二十——下降函数
- 漫步最优化二十四——二分搜索
- 漫步最优化二十六——黄金分割搜索
- 漫步最优化二十七——二次插值法
- 漫步最优化二十八——三次插值法
- 漫步最优化十二——局部极小与极大的充分必要条件(下)
- 漫步最优化一——引言
- 漫步最优化四——约束
- 漫步最优化七——介绍
- 漫步最优化三十五——共轭
- 漫步线性代数二十二——行列式性质
- 漫步数学分析二十二——魏尔斯特拉斯测试
- 漫步最优化二十五——斐波那契搜索
- 短视频SDK测试tips
- loadrunner Web_类函数之web_set_max_retries()
- 边存储
- ubuntu 16.04 的64位 安装arm-none-linux-gnueabi-gcc的步骤和问题解决
- OpenStack之安装和配置Keystone
- 漫步最优化二十二——收敛速率
- 编译原理笔记(1)
- 引用传递和值传递的区别
- 关于栈的一般模板
- Activity的生命周期、启动模式、IntentFilter、Flags
- Docker 基本命令集
- html之标签切换内容变化
- 888888888888
- HPRD数据库HPRD_Release9_062910表中最后一列RefSeq字段的含义