文章标题

chapter 3: Linear Methods for Regression

第3章：回归的线性方法

3.1 Introduction

A linear regression model assumes that the regression function E(Y∣X) is linear in the inputs X1,…,Xp. Linear models were largely developed in the precomputer age of statistics, but even in today’s computer era there are still good reasons to study and use them. They are simple and often provide an adequate and interpretable description of how the inputs affect the output. For prediction purposes they can sometimes outperform fancier nonlinear models, especially in situations with small numbers of training cases, low signal-to-noise ratio or sparse data. Finally, linear methods can be applied to transformations of the inputs and this considerably expands their scope. These generalizations are sometimes called basis-function methods, and are discussed in Chapter 5.

线性回归模型假设输入为X1,X2,…,Xp的回归函数E(Y∣X)是线性的。虽然线性模型大部分是在前计算机统计时代发展的，但是甚至在现在的计算机时代仍然有很好的原因去学习、使用线性模型。它们简单，而且经常对于输入怎样影响输出提供充足的、可解释的描述。用作预测时有时比新奇的非线性模型表现得还要好，特别是在训练情形很少、低信噪比或者稀疏数据的情况下。最后，线性方法可以被应用到输入的变换并且在很大程度上扩大了它们的范围。这些规范化有时被称作基函数方法，将在第5章中讨论。

In this chapter we describe linear methods for regression, while in the next chapter we discuss linear methods for classification. On some topics we go into considerable detail, as it is our firm belief that an understanding of linear methods is essential for understanding nonlinear ones. In fact, many nonlinear techniques are direct generalizations of the linear methods discussed here.

在这一章中我们描述回归的线性方法，下一章我们将讨论分类的线性方法。在某些主题上我们将从细节上讨论，因为理解线性方法对理解非线性至关重要是我们坚定的信仰。事实上，许多非线性技巧是这里讨论的线性方法的直接概括。

3.2 Linear Regression Models and Least Squares

3.2 线性回归模型和最小二乘法

As introduced in Chapter 2, we have an input vector XT=(X1,X2,…,Xp), and want to predict a real-valued output Y . The linear regression model has the form

f(X)=β_0+∑_j=1pX_jβ_j(3.1)

The linear model either assumes that the regression function E(Y∣X) is linear, or that the linear model is a reasonable approximation. Here the βj’s are unknown parameters or coefficients, and the variables Xj can come from different sources:
- quantitative inputs;
- transformations of quantitative inputs, such as log, square-root or square;
- basis expansions, such as X_2=X_12,X_3=X_13, leading to a polynomial representation;
- numeric or “dummy” coding of the levels of qualitative inputs. For example, if G is a five-level factor input, we might create X_j,j=1,…,5, such that X_j=I(G=j). Together this group of X_j represents the effect of G by a set of level-dependent constants, since in ∑_j=15X_jβ_j, one of the X_js is one, and the others are zero.
- interactions between variables, for example, X_3=X_1⋅X_2

正如第二章介绍的那样，我们有输入向量XT=(X_1,X_2,…,X_p),而且想要预测实数值输出Y。线性模型有如下形式

f(X)=β_0+∑j=1pXjβj(3.1)

线性模型要么假设回归函数E(Y∣X)是线性的，要么假设线性模型是一个合理的近似。这里β_j是位置的参数或系数，变量Xj可以有下列不同的来源：
- 定量的输入
- 定量输入的变换，比如对数，平方根或者平方
- 基函数展开，比如X_2=X_12,X_3=X_13,得到多项式表示
- 定性输入变量水平的数值或“虚拟”编码。举个例子，如果G是5个水平的因子输入，我们可能构造Xj,j=1,…,5使得X_j=I(G=j)。借助于一系列独立于水平的常数，整个X_j用来表示G的效应。因为在∑_j=15X_jβ_j中，其中一个X_j的系数为1，其它的都是0。
- 变量之间的相交，举个例子，X_3=X_1⋅X_2
无论X_j是哪个来源，用参数表示的模型是线性的。

一般地，我们有一系列用来估计参数β的训练数据(x_1,y_1),…,(x_N,y_N)。每个x_i=(x_i1,x_i2,…,x_ip)T是第i个类别的特征衡量的向量。最受欢迎的估计方法是最小二乘(least squares)，我们选择参数β=(β_0,β_1,…,β_p)T使残差平方和最小

RSS(β)=∑_i=1N(y_i−f(x_i))2=∑_i=1N(y_i−β_0−∑_j=1pxijβ_j)2(3.2)

从统计学的观点来看，如果训练观测值(x_i,y_i)为从总体独立随机抽取的则该标准是合理的。即使x_i’s不是随机选取的，如果在给定输入x_i的条件下y_i条件独立。图3.1图示了在充满实数对(X,Y)的Rp+1维空间的最小二乘拟合的几何意义。注意到(3.2)对模型(3.1)的有效性没有作假设，根据数据可以简单地找到最好的线性拟合。无论数据是怎样产生的，最小二乘拟合直观上看是满意的，这个准则衡量了拟合误差的平均。

我们怎样最小化(3.2)记X为N×(p+1)的矩阵，矩阵每一行为一个输入向量(在第一个位置为1)，类似地令y为训练集里的N个输出向量。然后我们可以将残差平方和写成如下形式

RSS(β)=(y−Xβ)T(y−Xβ)(3.3)

这是含p+1个参数的二次函数。关于β求导有

∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β∂βT=2XTX(3.4)

假设X有列满秩，因此XTX是正定的，我们令一阶微分为0，即

XT(y−Xβ)

得到唯一解

β^=(XTX)−1XTy(3.6)

在输入向量x_0下的预测值由f^(x_0)=(1:x_0)Tβ^;在训练输入下的拟合值为

y^=Xβ^=X(XTX)−1XTy(3.7)

其中，y^_i=f^(x_i)。在式(3.7)中出现的矩阵\mathbf{H=X(X^TX)^{-1}X^T

对向量求导的问题

图3.2展示了在RN中最小二乘估计的的不同几何表示。我们记X的列向量为(x_0,x_1,…,x_p),其中x_0≡1。下文中第一列认为是跟其它的是一样的。这些向量张成了RN的子空间，也被称作X的列空间。我们通过选择β^来最小化RSS(β)=\abs(y−Xβ)，则残差向量y−y^正交于子空间。(3.5)式描述了这种正交，然后估计的结果y^因此是y在子空间的正交投影。帽子矩阵H计算正交投影，因此也被称作投影矩阵。

可能会出现X的列不是线性独立的，则X不是满秩的。举个例子，如果两个输入是完全相关的，（比如，x_2=3x_1）。则矩阵XTX是奇异的，并且最小二乘的系数β^不是唯一的。然而，拟合值y^=Xβ^仍然是y在列空间X的投影；对于X的列向量有多种方式表达这种投射。当一个或多个定性输入用一种冗余的方式编码时经常发现非满秩的情形。通过重编码或去除X中的列，通常有一种自然的方式去分解不是唯一的表达方式。大多数回归软件包监测这些冗余并且用一些策略自动实现去除。秩缺失在信号和图像分析中经常发生，输入p可以超出训练的情形N。在这种情形下，特征经常通过滤波或由正则化控制的拟合。

截至目前我们已经对数据的真实分布做了很少的假设。为了约束β^的取样特点，我们现在假设观测值y_i不相关，有恒定的方差σ2，并且x_i是给定的（非随机）。最小二乘法的参数估计的方差-协方差阵可以很容易从式(3.6)得到

Var(β^)=(XTX)−1σ2(3.8)

经常通过下式来估计方差σ2

σ2^=1N−p−1∑_i=1N(y_i−y^_i)2

分母是N−p−1而不是N,因为此时使得σ^2为无偏估计:E(σ^2)=σ2

为了对参数和模型进行推断，需要一些额外的假设。我们现在假设式(3.1)是均值的正确模型；则Y的条件期望关于X_1,X_2,…,X_p是线性的。我们也假设Y与其期望的偏差是可加的和高斯的。因此

Y=E(Y∣X_1,…,X_p)+ϵ=β_0+∑_j=1pX_jβ_j+ϵ(3.9)

其中误差ϵ是期望值为0方差为σ2的高斯随机变量,记作ϵ∼N(0,σ2)

由式(3.9),可以很简单地证明

β^∼N(β,(XTX)−1σ2)(3.11)

这是一个有上述均值向量和方差-协方差矩阵的多变量正态分布。同时有

(N−p−1)σ2^∼σ2χ2N−p−1(3.11)

是一个自由度为N−p−1的卡方分布。另外，β^和σ2^是统计独立的。我们利用这些分布性质得到假设检验以及对于参数β_j的置信区间

为了检验系数β_j的这一假设，我们构造标准化因数或者Z-分数。

z_j=β^_jσ^v_j−−−√(3.12)

其中v_j是(XTX)−1的第j个对角元。零假设为β_j=0,z_j分布为tN−p−1(自由度为N−p−1的t分布)，因此当z_j的绝对值较大时会拒绝零假设。如果用已知的σ值替换σ^，则z_j服从标准正态分布。t分布和标准正态分布在尾概率之间的差异随着样本规模增大可以忽略，因此我们一般使用正态的分位数（图3.3）。

我们经常需要同时检验系数集体的显著性。举个例子，检验有k个水平的分类变量是否要从模型中排除，我们需要检验用来表示水平的虚拟变量的系数是否可以全部设定为0。这里我们利用F统计量

F=(RSS0−RSS1)/(p1−p0)RSS1/(N−p1−1)(3.13)

其中RSS1是有p1+1个参数的大模型的最小二乘法拟合的残差平方和，RSS0是有p0+1参数的小模型的最小二乘法拟合的残差平方和，有p1−p0个参数限制为0.F统计量衡量了在大模型中每个增加的系数对残差平方和的改变，而且用σ2的估计值进行标准化。在高斯分布以及小模型的零假设为正确的，则F统计量服从F_p_1−p_0,N−p_1−1分布