斯坦福机器学习——降维

一、目的

减少特征的维度，是为了减小计算的复杂度，提高模型后期的训练速度。

二、PCA降维

原理：假设原数据有N个特征，即原来的每条记录是一个N维向量，经过矩阵T（维度为K*N）的线性变换后变成了K维向量，原来的记录变成了一个K维向量。求解矩阵T的过程就是利用了主成分分析（PCA）的思想，即数据在主成分方向上的方差最大（信息量最多），通过协方差矩阵的特征值分解来求解T，认为数据在最大特征值所对应特征向量的方向上的方差最大。

三、奇异值分解

原理：对任意矩阵M作奇异值分解，通过奇异值矩阵Sigam、U矩阵、V矩阵来表示data矩阵中的数据，即M=U*Sigam*V_T。

几何意义是：假如用M矩阵对某数据向量作线性变换，V矩阵列向量表示原始的正交基，U矩阵列向量表示V经过M矩阵变换后的变换正交基，数据向量在V矩阵基下有一组坐标值，经过M矩阵进行线性变换后如果用U矩阵基来表示也有一组坐标值。且原始基是正交的，变换基也是正交的。且U矩阵的列向量是矩阵M列向量记录（每列是一条记录）的主成分方向。

和PCA的联系：PCA的投影矩阵就是U的前K个列向量的转置构成的，即U的列向量是投影坐标系的基，就是主成分的方向。奇异值分解是把矩阵M分解了，PCA是把数据矩阵M投影到由U的前K个列向量组成的K维空间中，U_K_T*M是投影后的数据矩阵M'，U_K*Sigam_k*V_K_T是PCA的还原矩阵（或者说数据矩阵M的近似矩阵）。

四、特征值分解和奇异值分解的异同

相同点：都可以用来降维；都可以提取矩阵的特征；

不同点：方阵和一般矩阵的区别；

机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用，简单易学的机器学习算法——SVD奇异值分解，奇异值分解及几何意义。