深度学习——L0、L1及L2范数
来源:互联网 发布:如何root ubuntu 编辑:程序博客网 时间:2024/06/06 09:37
在深度学习中,监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据,而规则化参数的目的是防止模型过分拟合训练数据。
参数太多,会导致模型复杂度上升,容易过拟合,也就是训练误差小,测试误差大。因此,我们需要保证模型足够简单,并在此基础上训练误差小,这样训练得到的参数才能保证测试误差也小,而模型简单就是通过规则函数来实现的。
规则化项可以是模型参数向量的范数。如:L0、L1、L2等。
一、L0范数与L1范数
L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0。换句话说,让参数W是稀疏的。
L1范数是指向量中各个元素绝对值之和。L1范数是L0范数的最优凸近似。任何的规则化算子,如果他在Wi=0的地方不可微,并且可以分解为一个“求和”的形式,那么这个规则化算子就可以实现稀疏。W的L1范数是绝对值,|w|在w=0处是不可微。
虽然L0可以实现稀疏,但是实际中会使用L1取代L0。因为L0范数很难优化求解,L1范数是L0范数的最优凸近似,它比L0范数要容易优化求解。
二、L2范数
L2范数,又叫“岭回归”(Ridge Regression)、“权值衰减”(weight decay)。这用的很多吧,它的作用是改善过拟合。过拟合是:模型训练时候的误差很小,但是测试误差很大,也就是说模型复杂到可以拟合到所有训练数据,但在预测新的数据的时候,结果很差。
L2范数是指向量中各元素的平方和然后开根。我们让L2范数的规则项||W||2最小,可以使得W的每个元素都很小,都接近于0。而越小的参数说明模型越简单,越简单的模型则越不容易产生过拟合现象。
三、L1范数和L2范数的差别
一个是绝对值最小,一个是平方最小:
L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。
- 深度学习——L0、L1及L2范数
- L0,L1,L2范数
- L0/L1/L2范数
- L0,L1,L2范数
- L0、L1、L2范数学习笔记
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的规则化范数(L0, L1, L2, 核范数)
- 机器学习中的范数规则化 L0 L1 L2范数
- 机器学习中的范数规则化:L0、L1与L2范数
- L0范数,L1范数,L2范数
- L0、L1与L2范数
- L0/L1/L2/无穷范数
- L0、L1与L2范数
- L0、L1与L2范数
- 设计模式之单例模式
- Scrapy图片下载,自定义图片名字
- hdu--1548--dfs--蜘蛛牌
- eclipse安装及配置Maven环境变量
- 使用Redis存储Nginx+Tomcat负载均衡集群的Session
- 深度学习——L0、L1及L2范数
- php中try catch捕获异常实例详解
- 今天由RK平台转战MTK平台
- Eclipse安装svn插件的几种方式
- [BZOJ 1113][Poi2008]海报PLA:单调栈
- V4L2 API详解 Camera详细设置
- lnmp环境解析非php扩展名文件的方法
- ZOJ 3950 How Many Nines
- request 获取各种路径