L0/L1/L2/Lp/L∞范数的联系与区别
来源:互联网 发布:淘宝知识产权侵权案例 编辑:程序博客网 时间:2024/05/29 10:00
向量的范数可以简单形象的理解为向量的长度,或者向量到零点的距离,或者相应的两个点之间的距离。
向量的范数定义:向量的范数是一个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| = |c| ||x|| ,三角不等式||x+y|| <= ||x|| + ||y||。
常用的向量的范数:
L0范数:||x||0为x向量各个非零元素的个数。
||x|| 0 =#(i) with x i ≠0 。
也就是如果我们使用L0范数,即希望w的大部分元素都是0. (w是稀疏的)所以可以用于ML中做稀疏编码,特征选择。通过最小化L0范数,来寻找最少最优的稀疏特征项。但不幸的是,L0范数的最优化问题是一个NP hard问题,而且理论上有证明,L1范数是L0范数的最优凸近似,因此通常使用L1范数来代替。
L1范数: ||x||1 为x向量各个元素绝对值之和。
||x|| 1 =∑ |x i |
L1范数的解通常是稀疏性的,倾向于选择数目较少的一些非常大的值或者数目较多的insignificant的小值。
L2范数: ||x||2为x向量各个元素平方和的1/2次方,L2范数又称Euclidean范数(欧氏距离)或者Frobenius范数
L2范数越小,可以使得w的每个元素都很小,接近于0,但与L1范数不同的是他不会让它等于0而是接近于0.
由于L1范数并没有平滑的函数表示,起初L1最优化问题解决起来非常困难,但随着计算机技术的到来,利用很多凸优化算法使得L1最优化成为可能。
Lp范数: ||x||为x向量各个元素绝对值p次方和的1/p次方
L∞范数: ||x||为x向量各个元素绝对值最大那个元素的绝对值
- L0/L1/L2/Lp/L∞范数的联系与区别
- L0/L1/L2范数的联系与区别
- L0/L1/L2范数的联系与区别
- L0/L1/L2范数的联系与区别
- L0、L1与L2范数
- L0、L1与L2范数
- L0、L1与L2范数
- L0、L1与L2范数
- L0、L1与L2范数
- L0、L1与L2范数
- L0、L1与L2范数、核范数
- L0,L1,L2范数
- L0/L1/L2范数
- L0,L1,L2范数
- L0、L1与L2范数各自功能
- L0, L1, L2 范数的解析
- L0、L1、L2范数与核范数(一)
- L0、L1、L2范数与核范数(二)
- [emerg] open() "/var/run/nginx/nginx.pid" failed (2: No such file or directory)处理
- 【日常吐槽 · 第六期】安卓模拟器充当真机调试
- 大数据发展过程的关键要素
- 静态编译与动态编译的区别以及为什么需要静态编译
- static 的三个作用
- L0/L1/L2/Lp/L∞范数的联系与区别
- Tomcat启动分析
- Android Hook View技术实践
- 关于Struts1、Struts2和Webwork的理解
- test-cold-format
- 从表ID和主表ID的关系
- J2EE中下载和安装spring插件
- Qt打包成dll
- apache kafka系列之源码分析走读-server端网络架构分析