统计知识选讲（一）——主成分分析（PCA）的思想

    主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量，从而达到降维的目的。在原始数据“预处理”阶段通常要先对它们采用PCA的方法进行降维。本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但并非随意投影，而是需要遵循一个规则：希望降维后的数据不能失真，也就是说被PCA降掉的那些维度只能是噪声或是冗余的数据。

    噪声可以理解为样本数据各维度之间的相关性干扰，冗余可以理解为没有的维度（何为没用？我们PCA处理的基础是保持数据的可区分性，如果该维度上样本数据变异度很小，那么留它何用~~）。

    以上是PCA的本质和基本思想。下面我们从二维的情况来分析。假设现在有很多个样本，每个样本都是二维的，他们自然都可以在二维直角坐标系上表示出来。现在我们要降成1维，即将这些数据投影在一条直线上（该直线实际上是新的基底向量，即原来的基底向量的线性组合）。如果对原始数据进行中心化处理，那么此时的原点就是中心点了，这时投影的直线是过原点的。（你可以思考一下其中的道理）

    显然过原点的直线有无数条，哪一条才是我们想要的呢？那就要回到我们的投影规则上——投影的标准差最大！！通过该规则便可以找到一条最佳的直线，经过投影后每个样本就不是二维的了，仅仅只含有一个数据（投影值）。PCA完成！！！

    现在通过以上思想你应该可以推到出PCA的具体公式了。至于具体的公式，本讲决定直接跳过（留给下一讲），现在我可以直接告诉你大概运用什么样的方法怎样来进行PCA。完成PCA的关键是——协方差矩阵！！协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间，所以我们直接对协方差矩阵进行某种变化，是不是就可以到达降噪和去冗余的目的呢？

    Absolutely!!这种变化就是矩阵的对角化（对角化实际上还没有降维，只是同维度的变换）。对角化之后非对角上的元素都是0，这就到达了去噪声的目的。而对角线上的元素是新维度的方差（你应该明白对角化的矩阵依然是协方差矩阵吧），所以我们只需要在这些方差中挑选较大的一些，舍去较小的，这样就去冗余了。通过这两步工作PCA最主要的工作就完成了。