因子分析原理

1.基本思想

因子分析是根据相关性大小把原始变量进行分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并用一个不可观测的综合变量表示，这个基本结构就称为公共因子。

2.主要步骤

• 确认待分析的原变量是否适合作因子分析
• 构造因子变量
• 利用旋转方法使因子变量更具有可解释性
• 计算因子变量得分

3.计算过程

• 将原始数据标准化，以消除变量间在数量级和量纲上的不同。
  
• 求标准化数据的相关矩阵。
• 求相关矩阵的特征值和特征向量。
• 计算方差贡献率与累积方差贡献率。
• 确定因子：设F1,F2,…,Fp为p个因子，其中前m个因子包含的数据信息总量（即其累积贡献率）不低于80%时，可取前m个因子来反应原评价指标。
• 因子旋转：若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际意义。
• 用原指标的线性组合来求得各因子得分，采用回归估计法，Bartlett估计法计算因子得分。
• 综合得分：以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数：
  为旋转前或旋转后因子的方差贡献率。
• 得分排序：利用综合得分分析得到得分名次。

4.具体分析步骤

先介绍一下因子分析的数学模型，如下：

因子模型（正交因子模型）：

1) 确定待分析的原有若干变量是否适合进行因子分析
因子分析是从众多的原始变量中重构少数几个具有代表意义的因子变量的过程。其潜在的要求：原有变量之间要具有比较强的相关性。因此，因子分析需要先进行相关性分析，计算原始变量之间的相关系数矩阵。进行原始变量的相关分析之前，需要对输入的原始数据进行标准化计算。
相关系数的值介于-1与1之间，即-1<= r <=1.其性质如下：

• 当r>0时，表示两变量正相关，r<0时，两变量为负相关。
• 当|r|=1时，表示两变量为完全线性相关，即为函数关系。
• 当r=0时，表示两变量间无线性相关关系。
• 当0<|r|<1时，表示两变量存在一定程度的线性相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱。
• 一般可按三级划分：|r|<0.4为低度线性相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关。
  2) 构造因子变量
  因子分析中有很多确定因子变量的方法，如基于主成分模型的主成分分析和基于因子分析模型的主轴因子法、极大似然法、最小二乘法等，前者应用最为广泛。
  主成分分析法：该方法通过坐标变换，将原始变量作线性变化，转换为另一组不相关的变量（主成分）。求相关系数矩阵R的特征根λi (λ1>λ2>…>λp>0)和相应的标准正交的特征向量li；根据相关系数矩阵的特征根，即公共因子Fi的方差贡献（等于因子载荷矩阵A中第j列各元素的平方和），计算公共因子Fi的方差贡献率与累积贡献率。公式如下：
  

公因子个数的确定准则：根据因子的累积方差贡献率来确定，一般取累积贡献率大于85%的特征值所对应的第一、第二、…、第m（m<=p）个主成分。

3) 因子变量的命名解释
因子载荷矩阵A

因子变量的命名解释是因子分析的另一个核心问题，在实际的应用分析中，主要通过对因子载荷矩阵进行分析，得到因子变量和原有变量之间的关系，从而对新的因子变量进行命名。有时因子载荷矩阵的解释性不太好，通常需要进行因子旋转，使原有因子变量更具有可解释性。因子旋转的主要方法：正交旋转、斜交旋转。方差最大正交旋转最为常用，基本思想是使公共因子的相对负荷的方差之和最大，且保持原公共因子的正交性和公共方差总和不变。可使每个因子上的具有最大载荷的变量数最小，因此可以简化对因子的解释。

4) 计算因子变量得分
因子变量确定以后，对于每一个样本数据，我们希望得到它们在不同因子上的具体数据值，即因子得分。估计因子得分的方法主要有：回归法、Bartlette法等。计算因子得分应首先将因子变量表示为原始变量的线性组合。即：

回归法，即Thomson法：得分是由贝叶斯Bayes思想导出的，得到的因子得分是有偏的，但计算结果误差较小。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。
Bartlett法：Bartlett因子得分是极大似然估计，也是加权最小二乘回归，得到的因子得分是无偏的，但计算结果误差较大。