机器学习笔记_数学基础_5-矩阵理论

矩阵分解

• Guass消去： 高斯消去可以充分进行的充分必要条件是A的前n-1个顺序主子式都不为零
  △k≠0,k=1,2,,⋯,n−1
• 矩阵三角分解（Guass消去的推广）

---

• QR分解(正交三角分解)
  实非奇异矩阵A分解为正交矩阵Q和实非奇异三角矩阵R的乘积

---

奇异值分解

• 若A是n阶实对称矩阵，则存在正交矩阵Q，使得
  QTAQ=diag(λ1,⋯,λn)

---

• A是非奇异矩阵(满秩矩阵)，且A不是对称阵，则存在正交矩阵P和Q，使得 =>A的正交对角分解

  QT(ATA)Q=diag(σ1,⋯,σn)
  => A=P∗diag(σ1,⋯,σn)∗QT
  其中 σ2i是ATA的特征值

---

• 令A属于 Cm∗nr,r>0；(r表示A的秩); ATA的特征值是
  λ1≥λ2≥⋯≥λr>λr+1=λr+2=⋯=λn=0
  称σi=λi−−√,为A的奇异值

• A属于 Cm∗nr,r>0；(r表示A的秩); 则存在m阶酉矩阵(正交矩阵)U和n阶酉矩阵(正交矩阵)

  UHAV=[Σ000]

证明(实矩阵情况)

=> 令ATA的特征值是：

=> λ1≥λ2≥⋯≥=>\quadλr>λr+1=λr+2=⋯=λn=0

=> 存在n阶正交矩阵V，使得

=> VT(ATA)V=⎡⎣⎢⎢λ1⋱λn⎤⎦⎥⎥=[Σ2000](1)

=> 令V分块

=> V=[V1|V2] V1∈Cn∗rrV2∈Cn∗(n−r)n−r

=> 则式(1)为 (正交矩阵ATA=I)

=> ATAV=V[Σ2000]

=> ATAV1=V1Σ2,ATAV2=0

=> VT1ATV1=Σ2或者(AV1Σ−1)T(AV1Σ−1)=I

=> (AV2)T(AV2)=0或者(AV2=0)

=> 令U=AV1Σ−1, 则UT1U1=Ir; U1是r个两两正交的单位向量
记 U1=(u1,⋯,ur), 将u1,⋯,ur扩充为Cm的标准正交基，及增添向量ur+1,⋯,um => U2=(ur+1,⋯,um)

=> U=[U1|U2]=(u1,⋯,ur,ur+1,⋯,um)

=> U是m阶正交矩阵 且 UT1U1=I,UT2U1=0

=> UTAV=UT[AV1|AV2]=[UT1UT2][U1Σ|O]=[UT1U1ΣUT1U2Σ00]=[Σ000]

证明完毕

<=> A=U[Σ000]VT

---

• 例题：求矩阵A=⎡⎣⎢100010110⎤⎦⎥的奇异值分解

解：
=> B=ATA=⎡⎣⎢101011112⎤⎦⎥的特征值是λ1=3,λ2=1,λ3=0, 且对应的特征向量是

ξ1=⎡⎣⎢112⎤⎦⎥; ξ2=⎡⎣⎢1−10⎤⎦⎥;ξ3=⎡⎣⎢11−1⎤⎦⎥

=> rankA=2, Σ=[3√001]

=> 正交阵V是（ATA特征向量的单位化）

V=⎡⎣⎢⎢⎢⎢16√16√26√12√−16√013√13√−13√⎤⎦⎥⎥⎥⎥

=> U1=AV1Σ−1=⎡⎣⎢⎢⎢12√12√012√−12√0⎤⎦⎥⎥⎥

=> 构造U2=⎡⎣⎢001⎤⎦⎥

U=[U1|U2]=⎡⎣⎢⎢⎢12√12√012√−12√0001⎤⎦⎥⎥⎥

=> A的奇异值分解是

A=U⎡⎣⎢3√00010000⎤⎦⎥VT