范数内容整理

一部分来自百度百科，一部分来自知乎，知乎原址：https://www.zhihu.com/question/20473040

范数（norm）是数学中的一种基本概念。常常用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

范数，是具有“长度”概念的函数。

一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。。那么向量的范数就是表示这个原有集合的大小。而矩阵的范数，就是表示这个变化过程的大小的一个度量。

0范数，向量中非零元素的个数。

1范数，为绝对值之和。

2范数，就是通常意义上的模。

常用的向量范数和矩阵范数的定义：

• 矩阵范数
  

在实际应用中，0范数本身不容易有一个好的数学表示形式，被人认为是一个NP难问题，所以在实际情况中，0范数的最优问题会被放宽到L1或L2下的最优化。

L1范数是我们经常见到的一种范数，它的定义如下：
||x||1=∑i|xi|
表示向量x中非零元素的绝对值之和。
对于L1范数，它的优化问题如下:

min||x||1

s.t.Ax=b

由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也叫做稀疏规则算子。通过L1可以实现特征的稀疏，去掉一些没有信息的特征。

L2范数是我们最常用的范数了，欧式距离就是一种L2范数，它的定义如下：

||x||2=∑ix2i−−−−−√

对于L2范数，它的优化问题如下：

min||x||2

s.t.Ax=b

L2范数通常会被用来优化目标函数的正则化项，防止模型为了迎合训练集而国语复杂造成过拟合的情况，提高模型的泛化能力。