2-Linear Regression with One Variable

一、Model Representation 模型简述

• 样本集：横坐标为房子面积（单位feet2），纵坐标为房价（单位1000$）
  

• 只含一个参数的回归模型

• hypothesis function(假设函数)：回归函数，对样本的模拟 。
  函数表达式 :  ， 其中  为参数

二、 Cost Function

1.代价函数概述

• 关键点：选择合适的  ,使得  最接近所有的样本值
• 代价函数： ，用于计算Hypothesis函数的误差。
• 现在的问题变为：选择合适的  使代价函数 J 最小。

2.简化的代价函数

• 简化代价函数为： 
• 均方误差： 
• 问题变为选择合适的 θ1 使得 J 最小

可以绘制出 J 随 θ1变化的函数图像，大概是一个二次抛物线：

可以看到，当选择 θ1 = 1时，误差函数 J 值最小，因此拟合函数选择 θ1=1时能最好的符合样本 。

3.实际情况(θ0!=0)

• Hypothesis : 
• Parameters : 
• Cost Function : 
• Goal : 

此时Cost Function是一个二元函数，对于Part1中的样本，其图像如下：

投影到平面上，用等高线图表示误差大小（右图红点时的参数值对应左图的hypothesis直线）：

另一组数据：

三、 Gradient Descent （最速下降法/梯度下降法）

1.算法思想：

• 从某个  开始
• 逐步改变  的值，使  最快的减小到(全局/局部)最小值
  例如：
   

2.算法描述：

对于 α 的分析：

• 如果 α 太小，那么收敛速度会很慢
• 如果 α 太大，那么可能会在收敛过程中越过最小值点，导致收敛失败。

注意：
梯度下降法会收敛至局部极小点(即使 α 是定值)。在收敛过程中，收敛速度会逐渐放慢，因此不必要去减小 α 的值。

四、Gradient Descent For Linear Regression

1.梯度下降模型

现在梯度下降算法和线性回归模型如下：

按照梯度下降法，在给定了初始  后，需要对其进行不断调整，按照代价函数的梯度方向调整  的值，使得 J 趋于最小值。
以梯度方向调整参数值，可以使代价函数最快收敛，因此梯度下降法又称最速下降法。

2.线性回归中的梯度下降法

代入 J 的偏导到梯度下降公式中可得：

此时，只需给定的 α， 不断更新  的值，直到 两次 J 函数的值相差达到阈值(如0.0001)即可，此时便得出了最佳的回归函数。

3.“Batch” Gradient Descent

“Batch”: 每步的梯度下降都是用了所有的训练数据。因此我们将这种梯度下降又称为“Batch” Gradient Descent。