梯度下降算法

梯度下降算法

以下是对吴恩达老师机器学习视频的个人概括

对于一组数据，当我们用线性函数h（θ）来拟合时，拟合效果的好坏取决于方程的斜率和截距，而如何找到拟合效果最好的线性函数，我们需要用到代价函数，代价函数越小，拟合效果越好。
而梯度下降算法就是利用斜率与学习率的乘积决定步长，从而求解局部最小值的算法，来求得代价函数的最小值，其公式如下所示。

而代价函数是两元两次方程，所以，我们对其求偏微分，公式如图所示。

通过不断的迭代，我们可以求得了代价函数的局部最小值对应的θ1，θ2，局部最小值不一定为最小值，所以，我们取不同的起点，最后，把所有得到的局部最小值进行对比，取得最小，也就得到了最小值。