L1 L2正则化
来源:互联网 发布:c语言入门经典 编辑:程序博客网 时间:2024/04/30 16:34
正则化是结构风险最小化策略的实现,是在经验风险上加一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值就越大。
最小化loss的同时,让w也最小化,L1可能会有部分w为0,L2会让部分w很小但不是为0
L1 regularization(lasso)
在原始的代价函数后面加上一个L1正则化项,即所有权重w的绝对值的和,乘以λ/n
L2 regularization(权重衰减)(ridge)
L2正则化就是在代价函数后面再加上一个正则化项:
C0代表原始的代价函数,后面那一项就是L2正则化项,它是这样来的:所有参数w的平方的和,除以训练集的样本大小n。λ就是正则项系数,权衡正则项与C0项的比重。另外还有一个系数1/2,1/2经常会看到,主要是为了后面求导的结果方便,后面那一项求导会产生一个2,与1/2相乘刚好凑整。
总结就是:L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。Lasso在特征选择时候非常有用,而Ridge就只是一种规则化而已。
0 0
- L1、L2正则化
- L1 L2正则化
- L1,L2正则化
- L1、L2正则化
- L1、L2正则化
- L1和L2正则化
- L1和L2正则化
- L1以及L2正则化
- L0,L1,L2正则化浅析
- 正则化方法L1和L2
- Overfitting-Regulization L1\L2正则化
- L1和L2正则化区别
- 对正则化项L1,L2讲解
- L1和L2范数正则化
- L0,L1,L2正则化浅析
- L1和L2正则化部分比较
- L1和L2正则化区别
- L1 L2正则化及贝叶斯解释
- 【世界是自己的,与他人毫无关系】--杨绛
- ListView加Fragment实现Flyme4.0设置界面
- 课堂笔记之自定义线程池
- pathspec did not match any file known to git
- POJ_1084_SquareDestroyer(DancingLinksX重复覆盖)
- L1 L2正则化
- python错误
- 解决ajax不能访问本地文件(利用js跨域原理)
- Node.js
- readLine方法的简单练习,回答2016-04-27 的帖子的问题
- HDU 1542 Atlantis
- zabbix3.0 监控mysql服务器性能实现过程
- 课堂笔记之线程池
- Lab4: bootloader