机器学习基础（四）LMS,代价函数的求解和概率意义

专门看一下代价函数的求解

参数求解：

上式这个更新公式就叫做LMS(least mean square)更新规则，也叫Widrow-Hoff学习规则。

这是一维的情况，我们可以拓展到多维的情况，由此得到两种不同的学习（迭代方法），即批处理梯度下降法和随机梯度下降法。

1.批处理梯度下降法（每次迭代都遍历所有样本,所欲样本遍历一遍再走第一步）

2.随机梯度下降法（走一步再走一步）

除了这种迭代法求解代价函数的最小值，还有一种normal equation的方法，现在来看一下数学推导：

但是为什么对于线性回归模型，最小平方代价函数是合理的呢？这是因为可以从概率的角度上解释（涉及到最大似然估计）

首先引入两个假设

1.目标值和输入值满足如下关系（线性关系），

可以理解为误差项或者噪声，也就是我们建模时没有考虑到的变量

2.是独立同分布，服从高斯分布，也就是说

p的意思是给定x和theta，我们可以知道y的分布，其中theta是参数，x,y都是随机变量。

那么这个条件概率是怎么和代价函数搭上关系的呢？

由独立同分布的假设，我们引入似然函数：

我们可以理解为给定多组x,y，我们得到其分布函数，这个分布函数与theta的值有关。那么怎么样theta最合理呢呢？答案theta使得概率最大最合理。所以问题就等价于求似然函数的最大值.

等价于求以下函数的最小值：

参考资料：http://cs229.stanford.edu/notes/cs229-notes1.pdf