PCA笔记

PCA: pincipal componet analysis (主成份分析)

目的：在最小均方差层面，寻找一种投影方法，最能代表原始数据。
缺点：将所有样本看作成体，寻找最小均方差意义下的线性投影，同时忽略了类别属性的分类。这导致可分性信息的丢失。

主要思路：找原始数据主轴方向–>根据主轴构成新坐标系A’–>将数据由原坐标系A向A‘投影 （降维）

ps:形成A’时的坐标维度可能会比A的维度低，降维由此得。

算法步骤：
1. 计算样本均值m和散布矩阵S（散布矩阵同协方差矩阵）
2. 计算S特征值，排序（由大到小）
3. 选择前n’个特征值的特征向量，转化成一个变换矩阵E=[e1,e2,…en’]
4. 将之前的n维特征向量x转化为n’维新特征值向量
y=transpose(E)(x-m)

实现case:
1. Python 中的numpy（用C很繁）

2.OPENCV中的实现

参考资料：
《特征向量物理意义》
http://blog.sina.com.cn/s/blog_49a1f42e0100fvdu.html
PCA：
http://www.cs.otago.ac.nz/cosc453/student_tutorials/principal_components.pdf

待做笔记：

http://www.cnblogs.com/tornadomeet/archive/2012/12/30/2839615.html
白化矩阵说明：
http://blog.csdn.net/denghp83/article/details/8968517