对奇异值分解唯一性的理解

原文在这里http://amsword.is-programmer.com/，转载只做记录方便自己温习，无疑侵权，如有侵权，可联系 [e-mail] 马上删除！

这篇文章主要讨论一下对Singular value decomposition的理解。

 

SVD告诉我们，对于任何一个m×nm×n的矩阵AA，都存在这样的一个分解:

A=UΣV′A=UΣV′

其中UU是m×mm×m的酉矩阵，也就是UU∗=IUU∗=I；VV是一个n×nn×n的酉矩阵；ΣΣ是一个m×nm×n的矩阵，非对角上的元素都是0，对角线上的元素都是非负的实数，不管AA是实数矩阵，还是酉空间中的矩阵，或者说有虚数元素。

 

定理告诉了我们总是存在一个这样的分解的，但并不是说这样的分解是唯一的。比如说有一个permutation matrix，JJ。permutation matrix就是把单位矩阵的行进行重排列，或者列进行重排列。比如说把单位矩阵的第一行和第二行进行交换，第四行和第九行进行交换，交换后的矩阵就是一个permutaion matrix。一个矩阵AA，左乘一个JJ，相当于对AA的相应行进行行交换。右乘的话，相当于列交换。两个JJ相乘为一个单位矩阵，相当于对单位矩阵交换了两行之后，再交换一次，不变。

 

回到正题，任何一个JJ拿到了之后，我们有下面的式子成立

A=(UJm)(JmΣJn)(VJn)′A=(UJm)(JmΣJn)(VJn)′

UJmUJm依然是一个酉矩阵，VJnVJn也依然是一个酉矩阵。这里JJ的小角标表示JJ的大小，是m×mm×m的还是n×nn×n的。如果说m≥nm≥n，并且JnJn是JmJm左上角的，JmJm右下角是一个单位阵，右上角和左下角都是0矩阵的话，那么JmΣJnJmΣJn依然也是一个对角阵。之前对JmJm和JnJn的描述，相当于是说，如果JmJm使得ΣΣ的第ii行和第jj行交换的话，那么JnJn应该使得ΣΣ的第ii列和第jj列进行交换。从而使得JmΣJnJmΣJn依然是一个非对角线上元素都是0的矩阵，相当于是将ΣΣ的对角线上的元素进行了一个重新排列。这是事实告诉我们，SVD的分解是不唯一的。

 

接下来再考虑一点，如果说ΣΣ唯一确定之后，这个UU和VV是否能够唯一确定的呢？我们再引入一个矩阵，用KmKm表示，是一个m×mm×m的对角方阵，对角线上的元素具有eiϕeiϕ的形式，其中ϕϕ可是互相不相同。根据定义，我们有KmK∗m=IKmKm∗=I。那么

A=UKmK∗mΣKn(VKn)∗A=UKmKm∗ΣKn(VKn)∗

其中UKmUKm和VKnVKn分别仍然是酉阵，如果说KmKm的对角线上第ii个元素和KnKn对角线上第ii个元素相同的话，那么K∗mΣKn=ΣKm∗ΣKn=Σ。也就是说，如果UU的第ii列乘以eiϕeiϕ，并且VV的第ii列也乘以eiϕeiϕ，那么结论依然成立。

 

然后，我们继续疑问：如果ΣΣ给定，并且允许UU和VV差一个eiϕeiϕ的话，那么UU和VV是否能够唯一确定?

这一种情况，比较麻烦。如果说σiσi都是non-degenerate的话，那么是唯一确定的。否则的话，依然不能够唯一确定。

 

对degenerate的定义是这样子的。如果σiσi是degenerate的，那么它有两个互相独立的singular vector。

在这里补充一下，singular value就是σiσi，而uiui和vivi分别是singular vector，其中要求i<=minm,ni<=minm,n。并且有下面的式子成立

Avi=σuiAvi=σui

并且

A∗ui=σviA∗ui=σvi

 

如果说σiσi都是不一样的，那么所有的σiσi都是non-degenerate的，也就是说这个时候，UU和VV都是唯一确定的，在一定意义下。如果说AA是一个实数矩阵，UU和VV可以也是实数的，这样的话，对于其唯一确定的理解是，差一个符号。

 

这里对于degenerate的讨论比较少，以后有时间补上。