Improving neural networks by preventing co-adaptation of feature detectors

一.文献名字和作者

    Improving neural networks by preventing co-adaptation of feature detectors， G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov

   

二.阅读时间

    2014年11月7日

三.文献的贡献点

     这篇文章主要提出了Dropout技术，用于神经网络出现过拟合的情况。

3.1主要过程

     Dropout的主要过程如下：

     1.在训练过程中，对于每一个训练样本，隐藏层的每一个神经元能够保持激活的概率为0.5,；

     2.在测试过程中，每一个隐藏层的神经元都能保持激活，但是，必须将输出值乘以0.5，这是因为在测试的过程中，相比于训练过程，增加了一倍的神经元数目，因此，需要将神经元的输出乘以0.5。

3.2 Dropout的好处

     1.Dropout的过程可以看做是一个在不同训练样本时网络结构不同的神经网络，但是这些网络都是用相同的权值；

    2.Dropout使得能够在一个合适的时间能训练大量的结构不同的神经网络，虽然权值都是相同的；

    3.使用L2模的权值梯度上限而不是使用L2模的权值惩罚项，使得神经网络能够从一个大的学习速率开始学习，同时也允许神经网络在一个大的权值空间进行搜索；

    4.使用Dropout能够获得一个“平均网络”，使用“平均网络”能够获得比使用多个单个的dropout神经网络进行平均能够获得更好的效果。

3.3 与预训练相结合

    在和预训练进行结合的时候，需要将学习速率设置得比较小，同时，要将权值梯度的最大值设置取消，这样可以避免破坏了预训练过程中学习到的特征提取器。

3.4 与CNN结合

    对于CNN来说，dropout主要用于全连接层，在所有的全连接层都是用Dropout能够获得更好的效果。在输入层是用dropout也能获得比较好的效果，但是，必须保证输入的激活概率要在50%以上。

3.5 其他

    对于那些需要大量不同的“制度”来获得输入和输出关系的系统，其性能可以通过一个课学习的dropout概率来获得提升。