caffe学习笔记30-关于梯度消失与溢出

解决梯度消失问题的策略：
1.LSTM：通过选择记忆和遗忘机制克服RNN的梯度消失问题
2.用无监督数据做分层预训练，再用有监督数据fine-tune
3.ReLU：新的激活函数解析性质更好，克服可sigmoid函数和tanh函数的梯度消失问题
4.辅助损失函数：googlenet中的两个辅助损失函数，对浅层神经元直接传递梯度
5.Batch Normalization：逐层的尺度归一

梯度溢出问题：
1.尺度不平衡的初始化容易导致网络NAN
2.Xavier的方差不变准则保持网络节点尺度不变