线性回归的概率解释及局部加权回归

看了吴恩达《机器学习》，发现了线性回归的概率解释，以及极大似然估计和LSM算法的等价性

概率解释

回归模型假设：

Epsilon为误差项，并且服从正态分布。在给定x和Epsilon时，y也服从正态分布。

似然函数：

x和y均为已知，方差固定，即theta为某一取值时，似然函数最大。
极大似然函数求解：

可见两个等价~这个转换的思维还是蛮有趣，记录下。

---

局部加权回归

与线性回归的差异：目标函数略有不同，对于每一个不同的样本增加了一个权重。

权重的赋予方式：此处Tao越大，权重变化的越平缓~参考正态分布中方差的作用

如果是多元的：

PS：有空造个数据玩一下