《机器学习实战》——回归

基本原理：已知输出的目标变量形式，利用样本求出参数。

如果将监督学习比作分类，那么回归可以看作拟合。

前者输入一串特征，输出类别；后者输入一串特征，输出连续函数（线性、非线性）。

如果要进行线性拟合，那么基本确定了线性方程，只利用样本需求出系数（比如直线方程的斜率和截距）。

如果进行非线性拟合，将数据分段切分成树状，分段利用线性拟合方法求出目标变量。

主要内容：

1. 用线性回归找到最佳拟合直线

2. 局部加权线性回归

上述线性回归的缺点：因为所求为最小均方误差的无偏估计，可能出现欠拟合。因此线性拟合那条直线可以不那么“直”，也就是允许一些偏差。

线性加权回归LWLR(Locally Weighted Linear Regression)——先给预测点附近的每个点赋予一定的权重，然后进行线性回归。

与KNN一样，每次需要选出对应的数据子集。

赋予权重的方法为“核”机制：利用核函数将一个特征空间映射到另一个。最常见的高斯核

缺点：每对一个点预测，都必须用整个数据集，增加了计算量。

3. 缩减系数

当样本特征比样本还多，线性回归条件不满足。因为矩阵非满秩无法取逆。

三种方法：