梳理深度学习论文（一）

Alexnet

2013年 Hinton大牛提出
60 million parameters + 650000 neuron
五层卷积层（有些后面有池化层）+三层全连接层+1000路softmax层

• 提出了ReLU比tanh要快的说法
  

• ReLU可以不需要进行归一化，但Local Response Normalization依然有帮助
  将模型top1和top5的错误率分别降低了1.4%和1.2%。
  标准化层的公式：
  

• overlapping pool（重叠池化）：相邻的池化层之间有重叠部分
  将模型top1和top5的错误率分别降低了0.4%和0.3%。
  池化资料https://my.oschina.net/findbill/blog/550565

• GPU的使用

• 整体结构
  
  输入图像（224*224*3）——96个卷积核（11*11**3，步长4）
  公式(W-F+2P)/S+1（这里应该是（227-11）/4+1=55，是论文本身没说清）
  卷积核的空间大小要小于输入，但是深度和输入数据保持一致。
  第二层中55x55x96个神经元，每个都和输入数据体中一个尺寸为[11x11x3]的区域全连接。在深度列上的96个神经元都是与输入数据体中同一个[11x11x3]区域连接，但是权重不同。

如何降低过拟合？

1. 数据增强：使用标签-保留转换，人为地扩大数据集
2. Dropout：是以0.5的概率将每个隐层神经元的输出设置为零