随机梯度下降与梯度下降

循环次数表面上相同，实质有效执行次数来说，随机梯度下降比梯度下降需要更少的迭代次数

1. 随机梯度下降： 循环所有样例，单个样例更新所有维度权值；

2. 梯度下降：循环所有维度，所有样例更新单个维度权值

梯度下降能够得到全局最优解（对于单peak objective function），有时陷入局部最优解（multi peak objective function）;

迭代步长对收敛时间及最优解影响较大

2. 随机梯度下降：

3. 批量梯度下降：最小化所有样本的误差损失函数，风险最小策略，全局最优解；

4. 随机梯度下降：最小化单个样本的误差损失函数，全局最优解附近