岭回归

1. 线性回归及其局限性

　　线性回归是我们比较熟悉的一类回归模型。已知自变量（可能不止一个变量，不妨设有n个变量，记为x）和因变量(也可能不止一个变量，不妨设有k个，记为y)的一些观测值，利用这些观测值我们可以建立两者之间的线性关系。
　　通常采用最小二乘法来求解，也就是寻找ξ使得J(ξ)=||Aξ−b||2最小。　　
　　利用矩阵的知识，容易求得最小二乘解：ξ=(ATA)−1ATb。　　　　(1)
　　注意到矩阵(ATA)是一个半正定矩阵，但是极少数情况下，它的行列式还是可能为0，也就是存在不可逆的情况。这种情况下，我们就不能求得最小二乘解。也就是说，x与y之间不存在最优的线性模型。在数学上，无论一个数多么小，只要不等于0，它就是非零的。因此，一个方阵，无论它的行列式多么小，只要不等于0，它就是可逆的。但是，程序求解的一般是数值解，当一个浮点数很接近0的时候，如大于0但是小于1e-309的double型数据会被认为是0。况且，当det(ATA)很小的时候，求得的解ξ不是数值稳定的。

2. 岭回归

　　虽然没有最优解，但是我们可以有很多的近似解。岭回归就是其中一种求解近似解的方法。它的原理是牺牲解的无偏性来获得稳定的数值解。通常，引入一个正则参数来建立模型：
　　J(ξ)=||Aξ−b||2+||Λξ||2　　　　(2)
　　Λ通常称为吉洪诺夫矩阵。一般取Λ=λI ，I为单位矩阵。
　　采用拉格朗日乘数法，可以求得(2)的解为：
　　ξ=(ATA+λI)−1ATb　　　　(3)
　　容易看出，原问题的条件数为cond(A)=||A||||A−1||，而添加正则项之后的问题的条件数为cond(A+λI)=||A+λI||||(A+λI)−1||。可见条件数确实会减小，因而数值稳定性得以提高。

3. 岭回归名称的由来

　　岭回归又称脊回归，它的名字来源于模型的解与正则化参数λ之间的图像。下图是某个岭回归模型的解的5个分量随着λ变化而变化的趋势。这图像类似于山脊，因而得名。

　　

参考文献：
1. Tikhonov regularization