为什么梯度下降慢而用随机梯度下降

斯坦福大学机器学习视频中涉及到梯度下降和随机梯度下降，觉得机器学习中很多问题都用到凸优化，如线性回归和逻辑回归最终都转化成凸优化，来寻找参数。

但是为什么梯度下降会很慢，我们先看线性回归最小二乘的梯度下降公式：

第一个公式是对每个theta求偏导数，第二个公式是对theta的更新

从两个公式中可以看出

这个公式中是要用到从1到m的所有样本，因此迭代步骤会慢很多。

那么随机梯度下降为什么会快呢?算法如下：

这里每次来一个新的样本，都会算一下关于这个样本的梯度，按照他的梯度更新一下数据，每次更新都不用再带入全部样本，但是也会导致theta更新走弯路，因为可能梯度上升。随机梯度下降适用于在线学习。