最优化算法(四)
来源:互联网 发布:网络之纵横天下同人 编辑:程序博客网 时间:2024/06/07 01:58
OWL-QN算法
上一篇介绍的L-BFGS只能解平滑问题,但是对于非平滑问题比如机器学习中常见的带L1正则的问题就解决不了,因此微软提出一种基于L-BFGS的优化算法OWL-QN算法,QWL-QN算法最大的特点是可以解非平滑问题,并且收敛速度比L-BFGS要快。
算法思想与伪梯度
算法具体的思想是,把目标函数投影到各个象限上,然后在各个象限上单独求解,并且限制象限,这样比如说L1正则项如果投影并且限制在某个象限上就成了线性函数,是可以求导的,而且损失函数的一阶和l1是相关的,但是二阶不相关,因此近似hessian逆矩阵的求解和lbfgs一样,而对于一阶导数,论文引入了一个概念,叫伪梯度如下
其中
从上可以看出
线性搜索
线性搜索需要保证开始的限制条件,就是更新后的不能越过象限,论文中给出了一个backtracking line search方法如下:
总结
从上面可以看出,其实owl-qn和lbfgs算法不同有两点,一个是伪梯度代替梯度,第二是线性搜索方法改变,其他的包括求解步骤都不变,下面是论文中给出的具体算法
阅读全文
0 0
- 最优化算法(四)
- 无约束最优化四
- 最优化算法
- 最优化算法学习
- 最优化算法总结
- 最优化算法实践
- 最优化算法
- 最优化算法(一)
- 最优化算法
- 最优化算法(二)
- 最优化算法(三)
- 最优化算法基础
- 最优化基础(四)
- 砥志研思SVM(四) 序列最小最优化算法(SMO)论文翻译
- 最短路四种算法
- Dogleg“狗腿”最优化算法
- 在线最优化算法梳理
- 漫步最优化四——约束
- POJ
- 单点登录详解(二)--CAS实现单点登录
- ajax请求错误返回status 0和错误error的问题
- tarjan 算法求强连通分量
- HDU 6136 Death Podracing 优先队列 + 循环链表(模拟)
- 最优化算法(四)
- tomcat9中conf文件夹下的server.xml文件
- 第一类斯特林数和第二类斯特林数
- Switch games
- 快速幂 LightOJ 1282
- HDMI管脚定义
- 顺序表应用6:有序顺序表查询
- Java学习笔记之Hibernate-用注解方式实现多对多
- hdu2665区间第K大+主席树解题报告