机器学习中L0, L1, L2正则项介绍
来源:互联网 发布:淘宝 三福毛衣链 编辑:程序博客网 时间:2024/06/03 03:20
版权声明:本文为原创文章:http://blog.csdn.net/programmer_wei/article/details/52093281
L0,L1,L2正则项是机器学习中常用的正则项,本文主要对这三种正则项做一个简单的介绍。
L0: L0主要是指参数中0的个数,希望参数中的大部分元素是0,希望参数是稀疏的,但是L0有一个缺点就是难以优化,所以就引出了L1正则项。
L1: L1正则项是指向量中各个元素绝对值之和,L0正则项的最优凸近似,它比L0要更容易求解,所以在实际使用中,L1的使用要多于L0的使用。
C=C0+λn|w|
L2: L2正则项是平时最常用的一种正则项了,为了防止过拟合现象的发生,L2(也叫权重衰弱)是一种最常用方式过拟合方法:
C=C0+λ2n∑w2
L2可以使得W的每个元素都很小,都接近于0,但与L1范数不同,它不会让它等于0,而是接近于0。
人们普遍认为:更小的权值w,从某种意义上说,表示网络的复杂度更低,对数据的拟合刚刚好
一句话总结就是:L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。L1在特征选择时候非常有用,而L2就只是一种规则化而已。
参考文章:
http://blog.csdn.net/zouxy09/article/details/24971995
http://www.mamicode.com/info-detail-517504.html
http://blog.csdn.net/acdreamers/article/details/46238119
L0,L1,L2正则项是机器学习中常用的正则项,本文主要对这三种正则项做一个简单的介绍。
L0: L0主要是指参数中0的个数,希望参数中的大部分元素是0,希望参数是稀疏的,但是L0有一个缺点就是难以优化,所以就引出了L1正则项。
L1: L1正则项是指向量中各个元素绝对值之和,L0正则项的最优凸近似,它比L0要更容易求解,所以在实际使用中,L1的使用要多于L0的使用。
C=C0+λn|w|
L2: L2正则项是平时最常用的一种正则项了,为了防止过拟合现象的发生,L2(也叫权重衰弱)是一种最常用方式过拟合方法:
C=C0+λ2n∑w2
L2可以使得W的每个元素都很小,都接近于0,但与L1范数不同,它不会让它等于0,而是接近于0。
人们普遍认为:更小的权值w,从某种意义上说,表示网络的复杂度更低,对数据的拟合刚刚好
一句话总结就是:L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。L1在特征选择时候非常有用,而L2就只是一种规则化而已。
参考文章:
http://blog.csdn.net/zouxy09/article/details/24971995
http://www.mamicode.com/info-detail-517504.html
http://blog.csdn.net/acdreamers/article/details/46238119
0 0
- 机器学习中L0, L1, L2正则项介绍
- 机器学习中L0, L1, L2正则项介绍
- 机器学习正则化L0,L1,L2范数
- 机器学习中的L0,L1,L2讲解
- L0、L1、L2、Elastic Net正则项
- L0、L1、L2、Elastic Net正则项
- 机器学习中的正则化技术L0,L1与L2范数
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化之L0、L1和L2范数
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的范数规则化 L0 L1 L2范数
- 机器学习中的范数规则化:L0、L1与L2范数
- L0,L1,L2正则化浅析
- L0,L1,L2正则化浅析
- 省市区级联选择器 -TypeScript
- linux/unix系统编程
- firebase介绍
- error: stray '\32' in program 错误
- 1089. Insert or Merge -25[插入和归并排序]
- 机器学习中L0, L1, L2正则项介绍
- V4L2视频采集的基本流程
- LeetCode 525. Contiguous Array
- Codeforces Round #398 (Div. 2) C. Garland
- PinnedSectionRecyclerView
- LruCache的基本用法
- 【技术】c#入门:颜色和名称样式对照表
- 【CG物理模拟系列】流体模拟--粒子法之Position Based Fluids
- 《机器学习实战》——读书笔记1