机器学习之岭回归

看机器学习实战接触到这部分，所以总结一下。

岭回归应对的是普通的线性回归中，矩阵不可逆情况。例如，特征值过多，而样本量不够。

回顾一下线性回归：

回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题，X通常是列满秩的

采用最小二乘法，定义损失函数为残差的平方，最小化损失函数

上述优化问题可以采用梯度下降法进行求解，也可以采用如下公式进行直接求解

回顾数学知识：

若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。满秩矩阵是一个很重要的概念, 它是判断一个矩阵是否可逆的充分必要条件

其中，矩阵的秩: 用初等行变换将矩阵A化为阶梯形矩阵, 则矩阵中非零行的个数就定义为这个矩阵的秩, 记为r（A）。

当X不是列满秩时，或者某些列之间的线性相关性比较大时，就容易出现问题。

理解：当矩阵中特征过多，而且特征之间有联系时，我们会发现，经过一系列的初等变换后，列不满。也就是说矩阵不可逆（上面说的充分必要条件），然后矩阵不可逆计算的时候就出问题。所以，要解决这个问题。