深度学习求导

什么是导数，导数其实就是斜率。

也就是说当输入移动一个非常小的数的时候，函数增长了多少。

如果数学好，你可以推演任意一个函数的导数是什么，不过大部分时间不需要，只要上网查一下，就能知道各个函数的导数是什么。

以下是例子：

f(a)=a2的导数=2a

知道了各个函数的导数，第二个重要的概念就是连锁规则（chain rule）

dl/da的导数 
dsigma/dz的导数 
dl/dz的导数，就是上面相乘，结果就是

这样子，你就知道一个样本的导数了

最后就是所有的样本一起求导，这就是向量化!

希望能帮到大家理解