RELU函数理解

在CNN卷积神经网络中，习惯用RELU函数代替sigmoid, tahh等目标激活函数，这应该是因为，RELU函数在大于0的时候，导数为恒定值，而sigmoid和tahh函数则不是恒定值，相反，sigmoid和tahh的导数，类似于高斯函数的曲线形状，在两端接近目标时，导数变小。

导数小的话，在训练神经网络的时候，会BP反向传播误差，导致收敛减慢；而relu函数则避免了这点，很好很强大。

当然，事情不是一定的，还是得结合实际情况选择，或者涉及目标激活函数。

下面提供一张RELU, sigmoid, tahh的函数曲线图供参考：