深度神经网络之梯度消失探讨

神经网络在训练的时候依然采用传统神经网络的反向传播算法。

梯度消失之类的问题肯定仍然存在的。

逐层预训练的方式已经被淘汰。

解决方法主要通过四种途径：

1.增大数据量。

2.好的网络结构：GoogleNet，ResNet等。

3.好的激活函数，relu等。

4.dropout。