【机器学习入门】局部加权回归

线性回归：拟合参数θ使得∑i(y(i)−θTx(i))2最小，返回θTx作为预测值。

局部加权回归(Local Weighted Regression, LWR)是这样一个模型：
当你需要拟合x时，检查数据集，并且只考虑那些位于x周围的那些点。对x附近的数据子集使用线性回归来拟合出一条直线。然后根据这条直线的预测值作为返回结果。
因此在LWR中，我们需要拟合θ来最小化

∑iw(i)(y(i)−θTx(i))2

其中，w(i)=exp(−(x(i)−x)22).
假设你有一个样本x，如果x距离x(i)非常接近，那么(x(i)−x)2会非常小，则w(x(i)−x)2就接近于1，那么x与x(i)相关性权值接近于1。反之，二者越远相关性权值就越接近于0。
因此，如果我需要确定一个点x，我给近的点赋较高权值，远的点赋低权值。那么它最终比较注重和近的点拟合，而倾向于忽略远的点对模型的贡献。

缺点：每对一个点进行预测，需要重新计算新的模型。