L1和L2的区别和各自的优势
来源:互联网 发布:女大十八变知乎 编辑:程序博客网 时间:2024/06/07 23:26
引出
正则化项可以取不同的形式。例如回归问题中,损失函数是平方损失,正则化项可以是参数向量的L2范数:
这里,表示参数向量w的L2范数。
正则化项也可以是参数向量的L1范数:
这里表示参数向量w的L1范数。
L1和L2的定义
L1是绝对值之和,L2是平方之和。
更深层的含义
L1追求的是稀疏,可以理解为变量个数少,L2主要用于处理过拟合问题,让每个权重参数值小?!
L2能加速训练?!
引:
L0范数是指向量中非0元素的个数。如果我们用L0范数来规则化一个参数矩阵W,就是希望W的大部分元素都是0这太直观了,太露骨了吧,换句话说,让参数W是稀疏的。OK,看到了“稀疏”二字,大家都应该从当下风风火火的“压缩感知”和“稀疏编码”中醒悟过来,原来用的漫山遍野的“稀疏”就是通过这玩意来实现的。
5 0
- L1和L2的区别和各自的优势
- L1范数和L2范数的区别
- L1归一化和L2归一化范数的详解和区别
- 谈谈RDD、DataFrame、Dataset的区别和各自的优势
- L0,L1,L2范式的区别和应用
- L0,L1和L2正则的含义及区别
- 理解正则化项l1和l2的区别
- HashMap和ArrayMap实现原理的区别以及各自优势
- l1和l2正则区别
- sklearn 的 Normalizer的L1和 L2
- 关于L1和L2的一些思考
- 有关Vector和List的各自优势
- L1和L2正则化区别
- L1和L2正则化区别
- 机器学习中L1正则化和L2正则化的区别
- l1和l2正则
- L1 和 L2 缓存
- 范数、L1范数和L2范数的基本概念
- Hexo 添加多说评论
- 【linux】/etc/inittab文件详解
- Android之Handler机制
- java网络编程____httpclient长连接请求长轮询
- Spring 4.X 版本 json配置记录
- L1和L2的区别和各自的优势
- 学习Python的比较好的网站
- 常见向量范数和矩阵范数
- CentOS多网卡下 应用层无法收到组播的问题解决
- golang 如何重写http 请求处理
- Spring Data JPA Repository
- C++中两种include的用法区别
- 编程求解矩阵的行列式
- Volley(一)