斯坦福大学机器学习笔记(3)--梯度下降及学习速度

线性回归中的梯度下降

线性回归函数的形式如下：
hθ=θ0+θ1x1+θ2x2。
代价函数用方差来表示，被定义为：
J(θ)=12mΣmi=1(θTx(i)−y(i))2。
式子中的θ,x(i)都是向量，T表示向量的转置。m是样本中元素的个数。y代表样本中给出的期望输出。
不失一般性的情况下，代价函数J(θ)对向量θ中的第j个元素求偏导，可以得到如下式子：
∂∂θjJ(θ)=1mΣmi=1(hθ(x(i))−y(i))x(i)j
在梯度下降算法中，同时更新向量θ中的每个元素θj。

学习速度

在梯度下降中，更新向量参数θ的公式如下：
θj:=θj−α∂∂θjJ(θ)。
式子中的\alpha就是学习速度，学习速度的值的大小，影响着机器学习模型的收敛与否以及收敛速度。

• 较小的学习速度示意图。
  

• 过大的学习速度示意图。
  

从图中可以看出，适当的学习速度，有利于机器学习模型的快速收敛。而过大或者过小的学习速度，都不合适。