从线性模型到广义线性模型(一）：模型假设篇

本文系转载，原文链接:http://cos.name/2011/01/how-does-glm-generalize-lm-assumption/

在统计学里，对特定变量之间的关系进行建模、分析最常用的手段之一就是回归分析。回归分析的输出变量通常记做Y，也称为因变量(dependent)、响应变量(response)、被解释变量(explained)、被预测变量(predicted)、从属变量(regressand)；输入变量通常记做x1,…,xp，也称为自变量(independent)、控制变量(control&controlled)、解释变量(explanatory)、预测变量(predictor)、回归量(regressor)。本文根据作者自己的一些学习心得和理解，简单且不严格地介绍在模型假设方面普通线性模型和广义线性模型的区别和联系/推广(generalization)。广义线性模型的拟合检验、推断、诊断等方面的方法和手段依赖于模型所采用的分布类型，难以一概而论，将在作者后续的学习心得文章里具体介绍。

1.普通线性模型的简单回顾

普通线性模型(ordinary linear model)可以用下式表示：

Y=β0+β1x1+β2x2+…+βp−1xp−1+ϵ                          (1.1)

这里βi，i=1,…,p−1称为未知参数，β0称为截矩项。

普通线性模型的假设主要有以下几点：

1.响应变量Y和误差项ϵ正态性：响应变量Y和误差项ϵ服从正态分布，且ϵ是一个白噪声过程，因而具有零均值，同方差的特性。

2.预测量xi和未知参数βi的非随机性：预测量xi具有非随机性、可测且不存在测量误差；未知参数βi认为是未知但不具随机性的常数，值得注意的是运用最小二乘法或极大似然法解出的未知参数的估计值β^i则具有正态性。

3.研究对象：如前所述普通线性模型的输出项是随机变量Y。在随机变量众多的特点或属性里，比如分布、各种矩、分位数等等，普通线性模型主要研究响应变量的均值E[Y]。

4.联接方式：在上面三点假设下，对(1.1)式两边取数学期望，可得

E[Y]=β0+β1x1+β2x2+…+βp−1xp−1                                        (1.2)

从 (1.2)式可见，在普通线性模型里，响应变量的均值E[Y]与预测量的线性组合β0+β1x1+β2x2+…+βp−1xp−1通过恒等式(identity)联接，当然也可认为通过形为f(x)=x的函数(link function)联接二者，即

E[Y]=f(β0+β1x1+β2x2+…+βp−1xp−1)=β0+β1x1+β2x2+…+βp−1xp−1

2.广义线性模型的简单介绍

广义线性模型(generalized linear model)正是在普通线性模型的基础上，将上述四点模型假设进行推广而得出的应用范围更广，更具实用性的回归模型。

1.响应变量的分布推广至指数分散族(exponential dispersion family)：比如正态分布、泊松分布、二项分布、负二项分布、伽玛分布、逆高斯分布。exponential dispersion family的详细定义限于篇幅这里不做详细介绍。

2.预测量xi和未知参数βi的非随机性：仍然假设预测量xi具有非随机性、可测且不存在测量误差；未知参数βi认为是未知且不具有随机性的常数。

3.研究对象：广义线性模型的主要研究对象仍然是响应变量的均值E[Y]。

4.联接方式：广义线性模型里采用的联连函数(link function)理论上可以是任意的，而不再局限于f(x)=x。当然了联接函数的选取必然地必须适应于具体的研究案例。同时存在着与假设2.1里提及的分布一一对应的联接函数称为标准联接函数(canonical link or standard link)，如正态分布对应于恒等式，泊松分布对应于自然对数函数等。标准联接函数的推导及其应用上的优点涉及到指数分散族的标准化定义，这里不做详述。

3.简单的例子

考虑这样一个简单的退保案例：一个保险产品一共卖出12份保单(当然了这在现实中不可能，这里仅为示例)，在保单期限内一共有6人退保。那么采用这12个投保人的特征数据如收入、职业、年龄等做为预测变量对退保/退保率进行回归分析时，普通线性模型不再适用，因为这里退保这一事件不再服从正态分布，而是二项分布(当然了如果观测值的个数足够大，比如大于30，正态分布是一个很好的近似)。此时就可采用广义线性模型(目标分布采用二项分布)进行建模。

4.补充：指数分布族的简介

指数分布族(exponential dispersion family)实质上是对一类具有以下形式的概率密度函数或具有此类密度函数的分布的总括：

fY(y;θ,Ψ)=exp[(yθ–b(θ))/Ψ+c(y;Ψ)]

这里Ψ和θ是实参数，b(.)和c(.;.)是实函数，该密度函数的支集(support)DΨ是R的子集，且不依赖于θ。满足θ=η=g(μ)的联接函数g(μ)称为标准联接函数(standard or canonical link)。

一般情况下参数Ψ的值是未知常数(fixed and unknown)，因此在许多GLM文献里指数分布族又被称为单参数指数族(one-parameter exponential family)。对于比较常用的分布，Ψ和θ的取值具有特殊的形式：

正态分布N(μ,σ2)：Ψ=σ2和θ=μ

泊松分布Poisson(λ)：Ψ=1和θ=logλ

二项分布Binomial(m,p)：Ψ=1和θ=log(p/(p−1))

负二项分布NegativeBinomial(r,p)：Ψ=1和θ=log(1−p)

伽玛分布Gamma(α,β)：Ψ=1/α和θ=−β/α