L1正则化如何导致参数的稀疏性
来源:互联网 发布:sg9051单片机代码 编辑:程序博客网 时间:2024/06/07 14:25
L1正则化如何导致参数的稀疏性
一直以来对LR正则化添加的L1,L2 惩罚项没有搞清楚其意义
pluskid的博客http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac
让我明白了一直以来的疑问,对数据量非常少,特征非常多的情况下,会导致求解不唯一性,加上约束项可以得到一个确定的解,同时也导致了稀疏性的产生
同时另外一文章 http://freemind.pluskid.org/machine-learning/equivalence-of-several-l1-sparsity-problem/ 讲清楚了凸优化的几种等价形式的原理。
斯坦福大学同样有一篇文章讲述了稀疏性编码的入门介绍文章
http://deeplearning.stanford.edu/wiki/index.php/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81
,思路很清楚,结合pluskid 关于惩罚项的分析,可以很好的理解稀疏编码的意义
还有某才女的分析http://blog.csdn.net/abcjennifer/article/details/7748833,进一步从0范数,2范数的逐渐过度到为什么采样1范数作惩罚项目并和pluskid 一样先从二维图图形的角度去直观的分析0范和2范的问题,最终分析到1范条件。整个过程都清楚
感谢大神的分享啊
1 0
- L1正则化如何导致参数的稀疏性
- L1正则化如何导致参数的稀疏性
- 机器学习稀疏之L1正则化
- 稀疏性和L1正则化基础 Sparsity and Some Basics of L1 Regularization
- L1相较于L2的稀疏性
- 稀疏性与L1范数
- 稀疏性与L1范数
- 稀疏性与L1范数
- 机器学习稀疏L1正则 - 修正的LARS算法和lasso
- 机器学习稀疏 L1正则解法- LARS算法简介
- 为什么L1正则项会产生稀疏解
- 为什么L1正则项会产生稀疏解
- [每日问答]包含L1正则化项的目标函数如何求导?
- L1、L2正则化
- L1 L2正则化
- L1范数正则化
- L1,L2正则化
- L1、L2正则化
- O_NONBLOCK与O_NDELAY有何不同?
- 数据仓库三种事实表(fact_table) --工作备忘2016/02/14
- bestcoder #72Clarke and points
- cf#ecr7-D - Optimal Number Permutation-构造+脑洞
- new实例化核心::::
- L1正则化如何导致参数的稀疏性
- ThinkPHP3.12使用PHPMailer发送邮件
- hdu 5626 Clarke and points 最大曼哈顿距离
- rpm常用命令总结
- python编程常用模板总结
- const_cast的用法
- Eclipse中设置作者日期等信息
- 三层
- 每天一个linux命令(18):locate 命令