梯度下降法

梯度下降法

梯度下降算法是批量梯度下降算法（BGD）、随机梯度下降算法（SGD）、小批量随机梯度下降（MSGD）算法的总称

批量梯度下降算法是对所有样本求平均梯度后更新，随机梯度下降算法是随机选取一个样本计算梯度更新，小批量随机梯度下降算法是随机将所有样本分为几部分，然后选择一份求平均梯度更新。

 

批量梯度下降(Batch gradient descent)：

使用所有样本更新参数

code:

for i in range ( nb_epochs ):    params_grad = evaluate_gradient ( loss_function , data , params )    params = params - learning_rate * params_grad

随机梯度下降(Stochastic gradient descent)：

使用当前训练的样本更新参数

code:

for i in range ( nb_epochs ):    np. random . shuffle ( data )    for example in data :        params_grad = evaluate_gradient ( loss_function , example , params )        params = params - learning_rate * params_grad

小批量梯度下降(Mini-batch gradient descent)：

使用小批量，n个样本更新参数

code:

for i in range ( nb_epochs ):    np. random . shuffle ( data )    for batch in get_batches (data , batch_size =50):        params_grad = evaluate_gradient ( loss_function , batch , params )        params = params - learning_rate * params_grad

对批量梯度下降法和随机梯度下降法的总结：

批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。

随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。

References
【1】Ruder S. An overview of gradient descent optimization algorithms[J]. arXiv preprint arXiv:1609.04747, 2016.