神经网络为什么要归一化？

   关于神经网络归一化问题，在神经网络为什么要归一化和深度学习（二十九）Batch Normalization 学习笔记这两篇文章已经介绍的非常清楚了。

    在这里，我简单说下自己的直观理解：由于数据的分布不同，必然会导致每一维的梯度下降不同，使用同一个learning rate 也就很难迭代到代价函数最低点。经过归一化（正则化）处理后，代价函数变得“更圆”，也就很容易进行梯度下降。

    深入了解神经网络为什么要进行归一化，请参考上面两篇博文。