PCA降维

预备知识：

若矩阵A相似于某对角矩阵D。

求A的特征值以及特征向量，则不同特征值对应的特征向量线性无关，同一特征值的特征向量线性相关。

用主成分分析来降维

用特征脸进行脸部识别

PCA：PCA不仅仅是降维，而且通过降维去除了数据中的噪声（how???），发现了数据中的模式。PCA把原先的n个特征用m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化了样本方差（但是对于我们用于机器学习的数据（主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了），尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。

摘抄：PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了

PCA中求协方差矩阵（为什么是协方差矩阵，而不是其它的矩阵）的特征值以及特征向量。不过最后取前几个较大特征值对应的特征向量（不同特征值对应的特征向量线性无关，个人感觉此处除去了一些冗余的特征，并且达到了降维的目的）