坐标轴下降法(解决L1正则化不可导的问题)
来源:互联网 发布:linux 查看中间几行 编辑:程序博客网 时间:2024/06/04 17:47
坐标轴下降法(解决L1正则化不可导的问题)
参考:http://www.cnblogs.com/pinard/p/6018889.html
设lasso回归的损失函数为:
其中,n为样本个数,m为特征个数。
由于lasso回归的损失函数是不可导的,所以梯度下降算法将不再有效,下面利用坐标轴下降法进行求解。
坐标轴下降法和梯度下降法具有同样的思想,都是沿着某个方向不断迭代,但是梯度下降法是沿着当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向。
下面为具体的更新过程。
(1)选取初始参数
(2)针对当前得到的参数进行迭代,假设已经求出第k-1轮的参数,现在由求,其中,则:
(3)通过以上步骤即可以得到每轮的迭代结果,如果相对于的变化很小,则停止迭代,否则,重复步骤(2).
通过以上迭代过程可以看出
1. 坐标轴下降法进行参数更新时,每次总是固定另外m-1个值,求另外一个的局部最优值,这样也避免了Lasso回归的损失函数不可导的问题。
2. 坐标轴下降法每轮迭代都需要O(mn)的计算。(和梯度下降算法相同)
坐标轴下降法的数学依据为:
对于一个可微凸函数,其中为的向量,如果对于一个解,使得在某个坐标轴
上都能达到最小值,则就是的全局的最小值点。
1 0
- 坐标轴下降法(解决L1正则化不可导的问题)
- 带L1正则化项的近似梯度下降
- 一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法
- 逻辑回归L1与L2正则,L1稀疏,L2全局最优(凸函数梯度下降)
- ISTA算法求解L1正则化问题
- 解决echarts 坐标轴太长无法显示的问题
- lasso(L1正则化、lasso回归)
- L1、L2正则化
- L1 L2正则化
- L1范数正则化
- L1,L2正则化
- L1、L2正则化
- L1、L2正则化
- L1正则化和L2正则化的解释
- L1,L2 正则化与过拟合问题
- 坐标轴下降法与最小角回归法
- Oracle不可访问问题的解决
- “网络名不可再用”问题的解决
- Unit8 文档
- Unity游戏设计模式之状态模式实现
- hashCode 以及hashMap排序
- mongo的简单操作
- RSA加密算法(C语言) 小数模拟
- 坐标轴下降法(解决L1正则化不可导的问题)
- 南阳理工 987关于521
- linux系统644、755、777权限详解
- 背景减除法的研究
- 利用ArrayBlockingQueue实现生产者-消费者
- android 加载web view的时候,点击输入框,导致页面放大的问题解决方法
- Delphi编程实现SQL Server挂起清除
- Python多个Decorator装饰器的使用
- 2014年第五届蓝桥杯C/C++程序设计本科B组省赛 打印图形