样本距离计算、向量范数、矩阵范数

样本距离

给定样本xi=(xi1;xi2;⋯;xin)与xj=(xj1;xj2;⋯;xjn)

最常用的是“闵可夫斯基距离”：
即Lp范数||xi−xj||p

distmk(xi,xj)=(∑u=1n|xiu−xju|p)1p

当p=2时，闵可夫斯基距离即为欧氏距离：

disted(xi,xj)=||xi−xj||2=∑u=1n|xiu−xju|2−−−−−−−−−−−√

当p=1时，闵可夫斯基距离即为曼哈顿距离：

distman(xi,xj)=||xi−xj||1=∑u=1n|xiu−xju|

向量范数

设 x=(ξ1,ξ2,ξ3,⋯,ξn)T∈Cn

向量p-范数：

∥x∥p=(∑k=1n|ξk|p)1p

即向量元素绝对值的p次方和的1/p次幂

向量0-范数： 向量中非零元素的个数

向量1-范数：

∥x∥1=∑k=1n|ξk|

即向量元素绝对值之和

向量2-范数：

∥x∥2=∑k=1n|ξk|2−−−−−−−√=xHx−−−−√

即向量元素绝对值的平方和再开方

向量∞-范数：

||x||∞=maxk|ξk|

即所有向量元素绝对值中的最大值

向量-∞-范数：

||x||−∞=mink|ξk|

即所有向量元素绝对值中的最小值

矩阵范数

矩阵1-范数：

∥A∥1=maxj∑i=1m|ai,j|

列和范数，即所有矩阵列向量绝对值之和的最大值

矩阵2-范数：

||A||2=λAHA−−−−−√

谱范数，即AHA矩阵的最大特征值的开平方，其中λAHA是AHA的最大特征值，AH是A的共轭转置；

注：因(AHA)H=AH(AH)H=AHA,即AHA是Hermite矩阵，它对应的二次型：

f(x)=xH(AHA)x=(Ax)H(Ax)=yHy≥0

是正定的或半正定的，因此它的特征值都大于或等于零

矩阵∞-范数：

∥A∥∞=maxi∑j=1n|ai,j|

行和范数，即所有矩阵行向量绝对值之和的最大值

矩阵F-范数：

∥A∥F=∑i,j=1|ai,j|2−−−−−−−−√=∑i=1m∑j=1n|ai,j|2−−−−−−−−−−⎷=tr(AHA)−−−−−−−√

Frobenius范数，即矩阵元素绝对值的平方和再开平方

矩阵核范数：

||A||∗=∑i=1nλi

λi是A的奇异值，即奇异值之和。

后期有新的认识了再添加。。