数据挖掘回顾七：回归算法之 线性回归

1，和分类算法一样，回归也是预测目标值的过程。回归较之分类的不同点在于：分类预测出来的是离散型变量(类别)，而回归预测的是连续性变量。

2，线性回归的结果会求出一个线性回归方程，确定回归系数的方式是 最小化误差的平方和。 即用回归系数表示出误差的平方和，然后对回归系数求导，令导数为零，即求得回归系数W。其实就是最小二乘法求回归系数。这是一般的线性回归的求法。

3，很多时候，用最小二乘法直接得到的回归系数W，用W来预测目标值，效果可能不是很好。这时，学者们，就在最小二乘法求出的回归系数W的基础之上，对W做了少许修改，较常用的修改方式有：局部加权线性回归、岭回归、前向逐步线性回归。

4，岭回归和逐步线性回归是回归的缩减方法。即把W中不是很重要的参数忽略(减掉)，相对的就对另外一部分加重了。

5，判断回归方法的优劣有两个指标：偏差和方差。这里偏差是指模型预测值和真实值之间的差异，方差是指得到的两个回归模型(参数)之间的差异。在判断一个回归模型的优劣势，我们一般要对这两个指标进行折中考量。

6，缩减法可以看作是对一个模型增加了偏差的同时减少了方差。