AlexNet-2012

一味学习基础知识，不跟上前沿也是不行，博主准备用接下来几篇来对近年来的CNN模型进行梳理。
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

AlexNet - 2012

Architecture

ReLU
非线性ReLU激活函数，由于不饱和性，带来的相较于tanh的速度优势，四层的卷积神经网络带ReLU将比同样的网络带tanh快6倍地达到25% error（运用CIFAR-10数据集）， 需要提到的是，两组实验，所用learning rate并不相同，而是使各自网络尽可能地训练地更快，然后没有使用任何正则化手段，尽管不是完美的对照实验，但也充分说明了ReLU在多层网络中的优势。

Local Response Normalization
尽管对于ReLU来说，不需要对input进行normalization来防止激活函数饱和，但是论文发现local normalization会有助于泛化。使相邻特征图对应位置中，响应较大的输出更大，同时抑制响应较小的输出。该层接在卷积层之后，池化层之前。

bix,y=aix,y/⎛⎝k+α∑j=max(0,i−n/2)min(N−1,i+n/2)(ajx,y)2⎞⎠β

k，alpha，beta均为超参数。i表示卷积后的特征图i，x，y表示卷积后特征图i上的位置。所以这个局部响应归一化，是特征图相应位置间的归一化，并不是特征图自己位置之间的归一化。

Overlapping Pooling
有重叠的pooling，stride小于ksize，相较于传统意义上的pooling会带来一些泛化效果，降低overfitting。

Overall Architecture
运用了2个GPU，一共8层网络，5个卷积层+3个全连接层。
第2，4，5层卷积层只与相应GPU上前一层的特征图相连。第3层卷积核与第二层的所有所有特征图相连。RN（Response-normalization）层跟在第1，2卷积层之后，池化层在第1，2RN层和第5卷积层之后，ReLU激活函数应用与所有的卷积和全连接层之后。

输入为227x227x3的图像(论文中为224x224，但由于与卷积结果不匹配，且有人查证可能为作者写错)。网络的输入为154587维（227x227x3），剩下网络所有层的神经元数为290400（55x55x96）- 186624（27x27x256） - 64896（13x13x384） - 64896（13x13x384） - 43264（13x13x256） - 4096 - 4096 - 1000。
下图为Alexnet具体网络结构参数。

Reducing Overfitting

Data Augmentation
论文采取的两种data augmentation方式是在原图基础上加上少许操作完成，所以不需要提前存储，而且可以利用GPU在训练当前batch的时候，运用CPU进行data augmentation，这样不会浪费资源。
第一种方式为图像平移和水平翻转来新增数据集，从256x256的图像里，随机裁取227x227的图像（以及它的水平翻转）。第二种方法为改变RGB通道的强度来新增数据集。

Dropout
在全连接层之间使用dropout，keep_prop取0.5。

Details of learning

使用了128的batch_size的随机梯度下降算法，使用momentum为0.9。使用了weight_decay，并且发现少量的权值衰减对模型训练非常重要，它不仅仅有助于泛化，还降低了training error。
带权值衰减和momentum的下降算法：

采用零均值，高斯分布初始化每一层的权重，将第2，4，5卷积层以及全连接层的bias初始化为1，便于给ReLU提供正向输入，加快模型开始阶段的学习，其他层bias都初始为0。
所有层的learning rate相同，当valid error停下的时候，进行learning rate decay，将lr除以10，lr初始化为0.01，最终结束时，lr相较于初始值衰减了3次。

Discussion

论文结果证明大型，深度的卷积神经网络，对于取得突破性的成绩至关重要，去掉任意一层中间层，都会带来2%的performance的降低。

总结

除了本身模型以外，这里用到了，LRN，overlap pooling，data augmentation，dropout，weight decay等方法来提高泛化能力。