导数，方向导数，梯度

http://blog.cvmarcher.com/posts/2015/06/27/gradient-descent

1。方向导数的最大值就是梯度。

2.梯度下降法也是从这里来，当我们在求解的时候没办法直接得到最优解，只能不断逼近最优解，而逼近的时候又想尽可能的快，那么只能沿着函数变化最剧烈的方法(也就是梯度方向)的反方向走。这里顺便提一下梯度上升法，其实是跟梯度下降法一样，只是它是用于求解函数的最大值，在逼近最优解的时候，沿着梯度方向走。