机器学习笔记_ 数值最优化_1:最优化条件
来源:互联网 发布:淘宝客服日常工作流程 编辑:程序博客网 时间:2024/06/15 12:16
无约束问题的极值条件
minf(x);x∈Rn 最优性条件
-全局最优;局部最优;
-局部最优(一阶必要条件): 设x∗是f(x)的一个局部极小点的条件是g(x∗)=0
-局部最优(二阶必要条件): 设x∗是f(x)的一个局部极小点的条件是G(x∗)=0
*方向导数:
设
满足:
求解:
使得f(x)下降的方向是:f(xk+αkdk)<f(xk)
将f(xk+αkdk)在xk点展开可得 f(xk+αd)=f(xk)+αgTkd+O(||αd||2)
=>
下降方向d满足:gTkd<0 迭代算法关键: 步长+方向
- 线性搜索 :线性搜索是
xk 点求得下降方向dk ,再沿着xk 确定步长αk - 信赖域方法:先
αk ,后dk
- 线性搜索 :线性搜索是
终止准则:
f(xk+1−f(xk)) 足够小
收敛性和收敛速度(二次和超线性收敛快)
limk−>∞||xk−x∗||=0 线性收敛:
0<a<1 上式 a=0,则为超线性
二次线性收敛: a是任意常数
limk−>∞||xk+1−x∗||||xk−x∗||2=a
步长:线性准则
设: 当前点为
当
导数:
当
=>等价于,若h(
- 方法:
- 二分查找
- 回溯线性查找
- 插值法
步长: 信赖域算法
- 信赖域中任务
qk(d) 是f(xk+d) 的好的近似 选择信赖域->选择方向和步长
参看博客:http://www.codelast.com/?p=7488牛顿法无法保证收敛性(特别hessian是非正定的情况),提出TRUST-REGION算法,
保证收敛
在足够小的区域能
等价于
- 机器学习笔记_ 数值最优化_1:最优化条件
- 机器学习笔记_ 数值最优化_3:KKT条件
- 机器学习笔记_ 数值最优化_2:最优化算法
- 机器学习_最优化算法_梯度下降
- 最优化学习笔记
- 数值最优化
- 数值最优化方法
- 最优化基础和机器学习优化
- 最优化基础和机器学习优化
- 【学习笔记】SVM算法-松弛变量和最优化条件
- 《用Python学习数值分析-- 最优化》
- 『 机器学习笔记』最优化方法
- [笔记] 最优化方法 - 最优性条件
- 最优化理论学习笔记_1(精确线性搜索)
- 深度学习-最优化笔记
- 机器学习中的最优化问题
- 机器学习中的最优化问题
- 机器学习中的最优化方法
- ActiveMQ使用常见问题总结
- C# 发送邮件
- Linux初学实战之重定向标准 I/O 流
- 第十二周项目一 图的基本运算
- 观察者模式
- 机器学习笔记_ 数值最优化_1:最优化条件
- 第十三周--每对顶点之间的最短路径
- C++将HBITMAP保存为bmp图片
- eclipse 启动闪退无错误提示
- *第十三周*数据结构实践项目二【验证Kruskal算法】
- 第十二周项目3 - 图遍历算法实现(1)
- Docker搭建私有仓库
- 第十三周--项目3Dijkstra算法的验证
- 十二周 项目四 利用遍历思想求解图问题(3)