欢迎使用CSDN-markdown编辑器

pca主成分分析数据提取降维方法

本Markdown编辑器使用[StackEdit][6]修改而来，用它写博客，将会带来全新的体验哦：

• 1、主成分分析的概念及基本思想
• 2、主成分分析的数学模型及几何意义
• 图片链接和图片上传
• LaTex数学公式
• UML序列图和流程图
• 离线写博客
• 导入导出Markdown文件
• 丰富的快捷键

---

1、主成分分析的概念及基本思想

主成分分析(Principle Component Analysis, PCA)是最为常用的特征提取方法，被广泛应用到各领域，如图像处理、综合评价、语音识别、故障诊断等。它通过对原始数据的加工处理，简化问题处理的难度并提高数据信息的信噪比，以改善抗干扰能力。主成分概念首先由Karl parson在1901年引进，不过当时只是对非随机变量进行讨论，1933年Hotelling将这个概念推广到随机向量。

2、主成分分析的数学模型及几何意义

数学模型
设有n个样品，每个样品观测p项指标(变量)：X1,X2, ….Xp，得到原始
数据资料阵：

其中

用数据矩阵X的p个向量(即p个指标向量)X1，X2，…Xp作线性组合(即
综合指标向量)为：

简写成

其中，Xi是n维向量，所以Fi也是n维向量。上述方程组要求：

且系数aij由下列原则决定：
(1) Fi与Fj(i≠j,i,j=1,…p)不相关；
(2) F1是X1 ,X2，…,Xp的一切线性组合(系数满足上述方程组)中方差最大的，F2与F1不相关的X1 ,X2，…,Xp一切线性组合中方差最大的，…，Fp是与F1，F2，…，Fp-1都不相关的X1 ,X2，…,Xp的一切线性组合中方差最大的。
如何求满足上述要求的方程组的系数aij呢？下一节将会看到每个方程式中的系数向量(a1i,a2i, …,api)，i=1,2, …,p不是别的而恰好是X的协差阵∑的特征值所对应的特征向量，也就是说，数学上可以证明使Var(F1)达到最大，这个最大值是在协方差阵∑的第一个特征值所对应特征向量处达到。依此类推使Var(Fp)达到最大值是在协方差阵∑的第p个特征值所对应特征向量处达到。
2.2、主成分的几何意义
从代数学观点看主成分就是p个变量X1 ,X2，…,Xp的一些特殊的线性组合，而在几何上这些线性组合正是把X1 ,X2，…,Xp构成的坐标系旋转产生的新坐标系，新坐标轴使之通过样品变差最大的方向(或说具有最大的样品方差)。下面以最简单的二元正态变量来说明主成分的几何意义。
设有n个样品，每个样品有p个变量记为X1 ,X2，…,Xp，它们的综合变量记为F1，F2，…，Fp 。当p=2时，原变量是X1，X2，它们有下图的相关关系：

                  主成分的意义

对于二元正态分布变量，n个分散的点大致形成为一个椭圆，若在椭圆长轴方向取坐标轴F1，在短轴方向聚F2，这相当于在平面上作一个坐标变换，即按逆时针方向旋转θ角度，根据旋转轴变换公式新老坐标之间有关系：

矩阵表示为：

显然UT=U-1且是正交矩阵，即UTU=I。
从上图还容易看出二维平面上的n个点的波动(可用方差表示)大部分可以归结为在F1轴上的波动，而在F2轴上的波动是较小的。如果上图的椭圆是相当扁平的，那么我们可以只考虑F1方向上的波动，忽略F2方向的波动。这样一来，二维可以降为一维了，只取第一个综合变量F1即可。而F1是椭圆的长轴。一般情况 ，p个变量组成p维空间，n个样品就是p维空间的n个点，对p元正态分布变量来说，找主成分的问题就是找P维空间中椭球体的主轴问题。

在下面推导过程中，要用到线性代数中的两个定理：
定理一 若A是p*p阶实对称阵，则一定可以找到正交阵U使
，其中λ1，λ2，…，λp是A的特征根。
定理二 若上述矩阵A的特征根所对应的单位特征向量为u1，u2，…，up令

则实对称A 属于不同特征根所对应的特征向量是正交的，即

设 ，其中a=(a1，a2，…，ap)T，X=(X1，X2，…，Xp)T，求主成分就是寻找X的线性函数aTX使相应得方差尽可能地大，即使

达到最大值，且aTa=1。
设协方差矩阵∑的特征根为l1， l2，…， lp，不妨假设l1³ l2 ³ …³lp>0，相应的单位特征向量为u1， u2，…， up。令

由前面线性代数定理可知：UTU=UUT=I，且

因此

所以

而且，当a=u1时有

因此，a=u1使Var(aTX)=aT∑a达到最大值，且

同理

而且

上述推导表明：X1，X2，…，Xp的主成分就是以E的特征向量为系数的线性组合，它们互不相关，其方差为∑的特征根。
由于∑的特征根l1³ l2 ³ …³lp>0，所以有VarF1³ VarF2 ³ …³VarFp>0。了解这一点也就可以明白为什么主成分的名次是按特征根取值大小的顺序排列的。
在解决实际问题时，一般不是取p个主成分，而是根据累计贡献率的大小取前k个。称第一主成分的贡献率为 ，由于有 ，所以 。因此第一主成分的贡献率就是第一主成分的方差在全部方差 中的比值。这个值越大，表明第一主成分综合X1，X2，…，Xp信息的力越强。
前两个主成分的累计贡献率定义为 ， 前k个主成分的累计贡献率定义为 。如果前k个主成分的贡献率达到85%，表明取前 k个主成分包含了全部测量指标所具有的信息，这样既减少了变量的个数又便于对实际问题进行分析和研究。