第十二章 多元线性回归

1 多元线性回归模型

1 多元回归模型与回归方程

多元回归模型：
y=β 0 +β 1 x 1 +β 2 x 2 +...+β k x k +ε 
多元回归方程：
E(y)=β 0 +β 1 x 1 +β 2 x 2 +...+β k x k  

2 估计的多元回归方程

估计的多元回归方程：
y ^ =β 0  ^ +β 1  ^ x 1 +β 2  ^ x 2 +...+β k  ^ x k  

3 参数的最小二乘估计

回归方程中的参数根据最小二乘法求得，即残差平方和最小，即
Q=∑(y i −y i  ^ ) 2 =∑(y i −β 0  ^ −β 1  ^ x 1 −β 2  ^ x 2 −...−β k  ^ x k ) 

2 回归方程的拟合优度

1 多重判定系数

与一元回归中相同，多重回归系数是回归平方和占总平方和的比例。但自变量的个数的增加时，会使预测误差变小，从而减小残差平方和SSE，R 2  也会变大。即如果模型中增加自变量，即使这个自变量在统计上不显著，R 2  也会变大。因此提出用样本量n 和自变量的个数k 去调整R 2  ，计算出调整的多重判定系数，公式为：
R 2 α =1−(1−R 2 )(n−1n−k−1 ) 
R 2  的平方根称为多重相关系数，也称复相关系数，度量因变量同k 个自变量的关系。

2 估计标准误差

同一元回归一样，多元回归中的估计标准误差也是对误差项ε 的方差σ 2  的一个估计值，计算公式为：
s e =∑(y i −y i  ^ ) 2 n−k−1  − − − − − − − − − −  √ =SSEn−k−1  − − − − − − − −  √ =MSE − − − − −  √  
含义：根据自变量x 1 ,x 2 ,...,x k  来预测因变量y 时的平均预测误差。

3 显著性检验

1 线性关系检验

主要检验因变量同多个自变量的线性关系，在k 个自变量中，只要有一个自变量与因变量的关系显著即可。步骤为：
(1) 提出假设
H 0 :β 1 =β 2 =...=β k =0 
H 1 :β 1 ,β 2 ,...,β k  至少有一个不等于0
(2) 计算统计量
F=SSR/kSSE/(n−k−1) ∼F(k,n−k−1) 
(3) 作出统计决策
若F>F α  ，则拒绝原假设；若F<F α  ，则不拒绝原假设；

2 回归系数检验和推断

方法同一元回归类似：
(1) 提出假设。对任意参数β i (i=1,2,...,k) ，有
H 0 :β i =0H 1 :β i ≠0 
(2) 计算统计量
t i =β i  ^ s β i  ^   ∼t(n−k−1) 
(3) 做出统计决策

4 多重共线性

1 多重共线性及其所产生的问题

当回归模型中两个或两个以上的自变量彼此相关时，则称回归模型中存在多重共线性。
多重共线性产生的问题：
(1) 变量之间高度相关时，可能会使回归结果造成混乱，甚至会把分析引入歧途。
(2) 多重共线性可能对参数估计值的正负号产生影响。

2 多重共线性的判别

如果出现以下情况，则可能存在多重共线性：
(1) 模型中各对自变量之间显著相关
(2) 当模型中线性关系检验(F检验)显著时，几乎所有回归系数β i  的t 检验却不显著
(3) 回归系数的正负号与预期的相反

3 多重共线性问题的处理

根据多重共线性的严重程度，选择相应的方法：
(1) 将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关
(2) 如果要在模型中保留所有的自变量，那就应该：
a.避免根据t 统计量对单个参数β 进行检验
b.对因变量y 值的推断（估计或预测）限定在自变量样本值的范围内

5 利用回归方程进行预测

多依赖于软件

6 变量选择与逐步回归

如果在建立模型之前就能对所收集到的自变量进行一定的筛选，去掉那些不必要的自变量，这样，不仅使建立模型变得容易，也使得模型更具有可操作性，也更容易解释。

1 变量选择过程

选择自变量的原则通常是对统计量进行显著性检验，根据是：将一个或一个以上的自变量引入回归模型中时，是否使残差平方和（SSE）有显著减少。残差平方和是否减少可引入统计量F。
变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集

2 向前选择

向前选择法是从模型中没有自变量开始，然后按照下列步骤选择自变量来拟合模型。
(1) 对k 个自变量分别拟合对因变量y 的一元线性回归模型，找出F统计量最高的模型及其自变量，将其引入模型。
(2) 在已引入x i  的基础上，考虑剩下k−1 个线性回归模型，选出最优，反复进行，直至模型外的自变量均无统计显著性为止。

3 向后剔除

与向前选择法相反，其基本过程为：
(1) 先对因变量拟合包括所有k个自变量的线性回归模型，然后考虑去掉一个自变量的模型，使得模型的SSE值减小最小的自变量从模型中剔除。
(2) 对剩下的变量进行拟合，再重复(1)，直至剔除一个自变量不会使SSE显著减小为止。

4 逐步回归

向前选择法和向后剔除法的结合，逐步回归过程就是向前选择方法不停地添加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少。