矩阵分析与应用（二）——内积与范数

常数向量的内积与范数

  两个m×1的向量之间的内积（点积）定义为：

⟨x,y⟩=xHy=∑i=1mx∗iyi

  其夹角定义为：

cosθ=⟨x,y⟩⟨x,x⟩⟨y,y⟩−−−−−−−−−√=xHy∥x∥∥y∥

  我们说两个向量正交，即两个向量的点积为0，夹角为90度。

---

常用的向量范数

• l1范数：
  ∥x∥1=∑i=1n|xi|
• l2范数：
  ∥x∥2=∑i=1n|xi|2−−−−−−−√
  常称为Euclidean，有时候也叫Frobenius范数
• l∞范数：
  ∥x∥∞=max(|x1|,|x2|,...,|xn|)
• lp范数：
  ∥x∥2=(∑i=1n|xi|p)1/p

  注意，l∞范数是lp范数当p→∞时 的结果：

∥x∥∞=limp→∞∥x∥p

  范数的酉不变性：一个向量范数∥x∥是酉不变的，如果对于任意的酉矩阵(正交矩阵在复向量空间的扩展)U，都有∥x∥=∥Ux∥。Euclidean是酉不变范数。
  两个m×1的向量之间的外积（叉积）定义为：

xyH=⎡⎣⎢⎢⎢⎢x1y∗1x2y∗1...xny∗1x1y∗2x2y∗2xny∗2.........x1y∗nx2y∗nxny∗n⎤⎦⎥⎥⎥⎥

函数向量的内积与范数

  若x(t),y(t)分别是向量t的函数，则两者之间的内积定义为：

⟨x(t),y(t)⟩=∫baxH(t)y(t)dt

  其夹角定义为：

cosθ=⟨x(t),y(t)⟩⟨x(t),x(t)⟩⟨y(t),y(t)⟩−−−−−−−−−−−−−−−−−√=∫baxH(t)y(t)dt∥x(t)∥∥y(t)∥

  其中：

∥x(t)∥=(∫baxH(t)x(t)dt)1/2

随机向量的内积与范数

  随机向量是指向量的所有元素都是随机变量的向量，多与概率论结合，定义方式与常数向量和函数向量有所不同，都是用随机变量的数学期望和协方差来定义。

向量的相似度

  向量之间的相似度有多种不同的度量方式，这里举例说明：
  对于已知的模板向量s1,s2,...,sn，求解和向量x随相似的模板向量，这其实是一个分类问题，那么我们有常用的如下4种度量标准：

1. 欧拉距离：即
   D(si,x)=∥si−x∥2=(si−x)T(si−x)−−−−−−−−−−−−−√
2. 余弦距离：即
   D(si,x)=cos(θ)=xTsi∥xT∥∥si∥
3. Tanimoto测度：余弦距离的变体
   D(si,x)==xTsixTx+xTsi+sTisi
4. 马氏（Mahalanobis）距离：
   D(si,x)=mink|D(sk,x)−D(m,x)|
   m=1N∑i=1Nsi
   D(sk,x)=(sk−x)TC(sk−x)
   C=1N∑i=1N(si−m)(si−m)T
   它能度量不同程度之间的关联性，并且是与尺度无关的，不需要进行每个分量的归一化

向量范数用作Lyapunov函数

  Lyapunov函数经常用来衡量一个系统的稳定性，在控制理论中有及其重要的作用。关于李雅普诺夫函数在这里不做详细介绍。一般地，Lyapunov函数没有很好地选取方式，但是向量范数中的l2范数和l∞范数往往可以作为其候选函数。

---

矩阵范数

  矩阵范数是矩阵的一个实值函数f:Cm∗n→C，任何满足以下性质的实值函数都可以作为矩阵范数：

1. 对于任何非零矩阵A≠O，其范数大于零：∥A∥>0
2. 对任意复数c，有∥cA∥=|c|∥A∥
3. 矩阵范数满足三角不等式，∥A+B∥≤∥A∥+∥B∥
4. 两个矩阵乘积的范数小于或等于两个矩阵范数的乘积，即∥AB∥≤∥A∥∥B∥

常用的矩阵函数

1. Frobenius范数：
   ∥A∥F=(∑i∑j|aij|2)1/2
   可以看做向量的l2范数在矩阵的扩展，将矩阵按行展开成一个长向量
2. lp范数：
   ∥A∥p=maxx≠0∥Ax∥p∥x∥p
   lp范数可以理解成一个矩阵能将一个向量放大的最大倍数
3. 行和范数：
   ∥A∥row=max1≤i≤m{∑j=1n|aij|}
4. 列和范数：
   ∥A∥col=max1≤j≤n{∑i=1m|aij|}
5. 谱范数：
   ∥A∥spec=σmax=λmax−−−−√
6. Mahalanobis范数：
   ∥A∥Ω=tr(AHΩA)−−−−−−−−−√
   Ω为正定矩阵

矩阵内积和范数之间的关系：

1. Cauchy-Schwartz不等式：
   
   |⟨A,B⟩|2≤∥A∥2∥B∥2
   当且仅当A=cB时，等号成立。
2. Pathagoras定理：
   
   ⟨A,B⟩=0⇒∥A+B∥2=∥A∥2+∥B∥2
3. 极化恒等式：
   
   Re(⟨A,B⟩)=14(∥A+B∥2−∥A−B∥2)
   Re(⟨A,B⟩)=12(∥A+B∥2−∥A∥2−∥B∥2)
   Re(⋅)代表取复数实部