(转载)机器学习知识点(十二)坐标下降法(Coordinate descent)
来源:互联网 发布:java未来 编辑:程序博客网 时间:2024/05/17 01:36
首先介绍一个算法:coordinate-wise minimization
问题的描述:给定一个可微的凸函数,如果在某一点x,使得f(x)在每一个坐标轴上都是最小值,那么f(x)是不是一个全局的最小值。
形式化的描述为:是不是对于所有的d,i都有
这里的代表第i个标准基向量。
答案为成立。
这是因为:
但是问题来了,如果对于凸函数f,若不可微该会怎样呢?
答案为不成立,上面的图片就给出了一个反例。
那么同样的问题,现在,其中g是可微的凸函数,每一个hi都是凸的?
答案为成立。
证明如下,对每一个y
坐标下降(Coordinate descent):
这就意味着,对所有的,其中g是可微的凸函数,每一个hi都是凸的,我们可以使用坐标下降寻求一个最小值,我们从一个最初的猜想开始,对k进行循环:
每一次我们解决了,我们都会使用新的值。
Tseng (2001)的开创性工作证明:对这种f(f在紧集上连续,且f到达了其最小值),的极限值,k=1,2,3….是f的一个最小元(minimizer)。
在实分析领域:
随后收敛与x*( Bolzano-Weierstrass)
收敛于f*( monotoneconvergence)
其中:
坐标下降的顺序是任意的,可以是从1到n的任意排列。
可以在任何地方将单个的坐标替代成坐标块
关键在于一次一个地更新,所有的一起更新有可能会导致不收敛
我们现在讨论一下坐标下降的应用:
线性回归:
令,其中,A有p列:
最小化xi,对所有的xj,j不等于i:
解得:
坐标下降重复这个更新对所有的
对比坐标下降与梯度下降在线性回归中的表现(100个实例,n=100,p=20)
将坐标下降的一圈与梯度下降的一次迭代对比是不是公平呢?是的。
其中r=y-Ax。每一次的坐标更新需要O(n)个操作,其中O(n)去更新r,O(n)去计算,所以一圈就需要O(np),跟梯度下降是一样的。
我们用相同的例子,用梯度下降进行比较,似乎是与计算梯度下降的最优性相违背。
那么坐标下降是一个一阶的方法吗?事实上不是,它使用了比一阶更多的信息。
现在我们再关注一下支持向量机:
SVM对偶中的坐标下降策略:
SMO(Sequentialminimal optimization)算法是两块的坐标下降,使用贪心法选择下一块,而不是用循环。
回调互补松弛条件(complementaryslackness conditions):
v,d,s是原始的系数,截距和松弛,其中,使用任何的(1)中i使得来计算d,利用(1)(2)来计算2.
SMO重复下面两步:
选出不满足互补松弛的αi,αj
最小化αi,αj使所有的变量满足条件
第一步使用启发式的方法贪心得寻找αi,αj,第二步使用等式约束。
——————维基百科的解释——————
坐标下降优化方法是一种非梯度优化算法。为了找到一个函数的局部极小值,在每次迭代中可以在当前点处沿一个坐标方向进行一维搜索。在整个过程中循环使用不同的坐标方向。一个周期的一维搜索迭代过程相当于一个梯度迭代。
坐标下降法基于最小化多变量目标函数可以通过每次沿一个方向最小化目标函数来求解。与梯度方法的变化的梯度方向不同,坐标下降方法固定其他的梯度方向。例如,坐标方向为e1,e2,…,en。每次沿一个坐标方向最小化目标函数,循环地沿每个坐标方向进行计算。如果给定Xk,Xk+1的第i个坐标由如下给定:
从初始值X0求取F的局部值,然后迭代的求取一个序列X0,X1,X2,…
通过在每次迭代中进行一维搜索,可以有如下结论:
It can be shown that this sequence has similar convergence properties as steepest descent. No improvement after one cycle of
This process is illustrated below.
- (转载)机器学习知识点(十二)坐标下降法(Coordinate descent)
- 坐标下降法(Coordinate descent)
- 坐标下降法(Coordinate descent)
- 坐标下降法(Coordinate descent)
- Coordinate Descent Optimization (坐标下降优化方法)
- Block Coordinate Descent(块坐标下降)
- (转载) [机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)
- 块坐标下降法(Block Coodinate Descent)
- coordinate descent
- [机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)
- 机器学习入门系列04,Gradient Descent(梯度下降法)
- 机器学习 线性回归(regression)、梯度下降(gradient descent)
- 机器学习中Lession1-回归(regression)、梯度下降(gradient descent)
- 可扩展机器学习——梯度下降(Gradient Descent)
- 机器学习(1)之梯度下降(gradient descent)
- 第一周-机器学习-梯度下降(gradient descent)
- 机器学习(1)之梯度下降(gradient descent)
- 机器学习(1)之梯度下降(gradient descent)
- 全栈必备:网络编程基础
- NSURLCache缓存的位置
- 白痴理解的SOAP/Web Service/WSDL关系
- 读代码整洁之道
- Java复习之装饰者设计模式
- (转载)机器学习知识点(十二)坐标下降法(Coordinate descent)
- Android 自定义seekbar
- ubuntu下snort的安装
- cocos setPosition 之坑
- 深度学习:Imagenet Object Classification方法
- 深度解析gRPC以及京东分布式服务框架跨语言实战
- APP定制开发的完整流程
- $.each遍历对象、数组的属性值并进行处理
- 利用curator实现的zookeeper分布式锁服务