机器学习（2）——单变量线性回归

【Linear Regression with One Variable】

1. 单变量线性回归模型

单变量线性回归是通过给出的样本变量与输出，预测一个变量的对应输出，属于监督学习。单变量与预测输出之间的函数关系的一般化定义如下：

我们可以看出，对于不同的和对，会有不同的预测输出。
例如给定样本如下：

我们随意猜测=2，=2，那么则有
当x=1时，预测输出为2+2*1=4，与真实输出之间的误差为3。为了衡量预测的正确性，下面引入Cost Function（代价函数）。

2. 代价函数

定义代价函数如下：

即为均方误差（Mean squared error）的二分之一。当该代价函数值越小，预测结果越好，也就是说线性回归函数更好地拟合数据。
那么我们的目标就是找到合适的、，使得代价函数最小。为了解决这个问题，我们使用梯度下降(Gradient Descent)法。

3. 梯度下降法找最佳、

，其中α为学习率（自已定义的，不能太大，也不能太小），代价函数分别对、求导代入上式可得：

注意：、的值是同步更新的。
当、的值不再改变时或者迭代次数达到要求时，停止迭代，此时代价函数值最小，即找到目前最适合的线性回归函数