SVD在LSA中的应用

本文的思路是先浅显解释一下SVD和LSA；其次讲一下矩阵分解，其中包括方阵的分解和对称方阵的分解；再次给出奇异值分解的理论；最后给出LSA理论及SVD在LSA中的降维作用。

首先说一下SVD和LSA语义：SVD中文称奇异值分解；LSA称为隐含语义分析；在LSA中用到SVD来实现降维过程。LSA简单来说就是一个词语在不同的主题中的阐释。

矩阵分解：

（一）、方阵S的分解

    

       U的列是S的特征向量；Λ对角线上的值是S的特征值，按从大到小排列。

（二）、对称方阵S的分解

      

       Q的列是S的单位正交向量；Λ同上；(这是因为正交的原因)

奇异值分解：

以上是方阵的分解，但是在LSA中，我们是要对Term-Document矩阵进行分解，这个矩阵不是方阵。

奇异值分解公式：（假设r是C矩阵的秩）

U的列为CC^T的正交特征向量；V的列为C^TC的正交特征向量；CC^T和C^TC的特征值相同，为…,，，按从大到小排列，其余位置为0，称为矩阵C的奇异值。

     注：

LSA：

LSA中，首先用低阶近似来用一个低维的矩阵来表示一个高维的矩阵，然后用F-范数来衡量两矩阵之差。

对C_mxn (其秩为r)，我们希望找到mxn矩阵C_k，其秩不大于k，X=C-C_k,X的F-范数为：.

当k远小于r时，称C_k为C的低阶近似，其中X两矩阵之差的F范数要尽可能小。

SVD在降维应用过程中的步骤：

1.     对C奇异值分解：

2.     构造，它是将Σ的第k+1行至m行设为0，也就是把Σ的最小的r-k个奇异值设为0

3.     计算C_k，其中

总结：

特征值数值的大小对矩阵-向量相乘影响的大小成正比，而奇异值和特征值也是正比关系。故LSA的基本思路是：LSA希望通过降低传统向量空间的维度来去除空间中的“噪音”，而降维可以通过SVD实现，因此首先对Term-Document矩阵进行SVD分解，然后降维并构造语义空间。