线性代数（一）：奇异值分解

奇异值分解（Singular Value Decomposition），又叫酉相抵标准型定理，是线性代数中一种重要的矩阵分解方法，因为它对矩阵形态的要求不像特征分解那样严格，因而在算法中有着广泛的使用。 这里对这个定理进行证明。事先说明：为了方便部分同学理解，这一部分我们仅使用实数域上的线性代数，一般来说已经足够了；如果你还想了解更多，我们后面还会讲到它在复数域上的推广形式，即酉相抵标准型定理，完全类似。

奇异值分解的证明 并且为了直观起见，我们从几何角度思考。定理是这样说的： > 对于Rm×n上任意的矩阵Am×n，我们总可以找出两个正交矩阵Um×m，Vn×n，使得

A=UDVT

其中Dm×n是一个对角阵，但不一定是一个方阵。 > 下面我们来证明这个定理。我们已经知道，任何一个实矩阵Am×n都可以一一对应于从空间Rn到空间Rm中的一个线性映射：

Am×n:Rn⟹Rm。

但是由于这里{A}不是一个方阵，处理起来不太方便，一个常用的方法是先考虑方阵ATA,它表示Rn空间到自身的一个线性变换：

ATAm×n:Rn⟹Rn,

并且由于ATA是一个实对称方阵，它一定可以做正交的特征分解：

ATA=VDVT,

这里D=diag（λ1,λ2,...λn）是一个对角矩阵，V=（v1,v2,...vn）是正交矩阵(VT=V−1),而vi是ATA的对应于特征值λi的特征向量，显然（v1,v2,...vn）构成了空间Rn中的一组标准正交基。 这时我们再回头考虑映射Am×n:Rn⟹Rm,我们让它对Rn中的基{v1,v2,...vn}作用：

A（v1,v2,...vn）=（Av1,Av2,...Avn）∈Rm,

设rank(ATA)=rank(A)=r,根据线性映射像与核之间的关系，Av1,Av2,...Avn中有r个向量{Av1,Av2,...Avr}刚好构成Rm的一组部分基，其余Avr+1，Avr+2，...，Avn则对应于零向量0。 对部分基{Av1,Av2,...Avr}两两做内积:

(Avi,Avj)=vTiATAvj=λjvTivj

显然由vi,vj的正交性得Avi和Avj也是正交的，当i=j时，我们把Avi标准化，令：

ui=Avi|Avi|=1(√λi)Avi

⟹Avi=λi−−√ui=δiui,(δi叫做奇异值)

以上i,j=1,2,...,r,我们把u1,u2,...ur扩充成Rm中一组标准正交基{u1,u2,...ur,ur+1,...,um},在这组基下，有

⟹AV=(δ1u1,δ2u2…δrur,0,…0)=UΣ

其中Σ=diag\(δ1,δ2,...δr,0,...,0\)∗是由奇异值构成的对角阵，称奇异值矩阵；U∗=(u1,u2,..,um)。将上述等式两边右乘V−1，得

A=UΣVT

即证。
注1：从上述推导过程可以看出，所谓奇异值分解，就是揭示了一般意义上两个不同维度的线性空间之间进行线性映射前后的基之间的变换关系。任意的矩阵A是可以分解成三个矩阵。V表示了原始域的标准正交基，U表示经过A变换后的co−domain的标准正交基，Σ表示了V中的向量与U中相对应向量之间的关系。

注2：对于定义域和值域都是同一个空间的情形，此时一般意义上的线性映射退化为常见的线性变换，A成为方阵并且是规范方阵（ATA=AAT）,奇异值分解也等同于特征值分解，并且奇异值就是特征值。

注3：奇异值分解是有用的。特别是当m<<n时，此时由于像空间的维数要低于原空间的维数，我们据此构造一个简单的映射Am×n，使得原空间的维数塌陷，达到降维的目的，以简化数据的处理（主成分分析）。这时，第i个奇异值δi还反映了变换后第i个维度上的分量对数据总信息量的贡献程度。

Reference:

1.水平有限，如果我这里说的还不清楚，请参考：漫谈奇异值分解

2.一个很不错的参考网址：机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用