171214 L0 vs L1 vs L2 vs Lp

xi=yi¯¯¯−yi

L-0范式: p=0
L0=∑ni=1|xi|0−−−−−−−−√0

0范式即统计元素不为0的个数，由于p=0次方未定义，所以写程序时需另外编程，统计非零元素的个数即可

L-1范数: p=1
L1=∑ni=1|xi|

即各项绝对值之和， 用于Laplace分布的噪声分布，即正常数据中含有额外噪声

L-2范式：p=2
L2=∑ni=1|xi|2−−−−−−−−√2

各项平方和后再开二次根号, 用于含有高斯分布的噪声

p范式：
Lp=∑ni=1|xi|p−−−−−−−−√p

0<p<1

注意
L2假设目标函数是凸的，但实际不是，所以可能陷入局部最小
L1假设目标函数是非凸的，可能陷入局部最小值，但也可能比L2效果更好