AlexNet模型

简介

2012年，Alex Krizhevsky及其同学Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计了一个深层的卷积神经网络，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5 error rate 15.3%，第二名为26.2%），这在学术界引起了很大的轰动，大家争先恐后地研究深度神经网络，带来了深度学习的大爆发。之后的ImageNet冠军都是用CNN来做的，并且层次越来越深。

数据集

  实验采用的数据集是ImageNet，它有超过1500万张人工标注好的高分辨率的图片，分别属于约22000个类别。ImageNet的图片全部来自网络，并通过亚马逊的Mechanical Turk众包服务进行了人工标注。自2010年开始举办ILSVRC比赛，每年一次。ILSVRC用的是ImageNet的一个子集，总共有1000个类别，每个类别大约有1000张图片，其中训练集有约120万张图片，验证集约5万张图片，测试集约15万张图片。ImageNet比赛会给出2个错误率，top-1和top-5，top-5错误率是指你的模型预测的概率最高的5个类别中都不包含正确的类别。

激活函数

神经元的激活函数通常选择sigmoid函数或tanh函数，但在AlexNet中用的却是max(0, x)函数，它的名字叫Rectified Linear Unit (ReLU)。用这个激活函数的神经网络的训练速度要比用传统激活函数的神经网络快数倍。4层的卷积神经网络在CIFAR-10数据集上训练达到25%的错误率。

网络结构

基本结构如下图:

a. 共有8层，其中前5层convolutional，后边3层full-connected ，最后的一个full-connected层的output是具有1000个输出的softmax，最后的优化目标是最大化平均的multinomial logistic regression

b. 在第一层conv1和conv2之后直接跟的是Response-nomalization layer，也就是norm1，norm2层。

c. 在每一个conv层以及full-connected层后紧跟的操作是ReLU操作。

d. Max pooling操作是紧跟在第一个norm1，norm2，以及第5个conv层，也就是conv5

e.Dropout操作是在最后两个full-connected层。

Dropout策略

使用多个model来共同进行预测是一个降低test errors的基本方法，但是单独的训练多个model组合会导致整个的训练成本增加，毕竟训练一个单一的网络需要很长的时间，即便计算资源足够，在不影响精度的情况下降低整个运算时间还是我们追求的目标。

由此Hinton提出了dropout策略，这个策略很简单，对于每一个隐层的output，以50%的概率将他们设置为0，不再对于forward或者backward的过程起任何作用。对于每一个input来说，使用的不同的网络结构，但是权重是共享的。这样求得的参数能够适应不同的情况下的网络结构，也就是提高了系统的泛化能力。

在AlexNet中最后的两个full-connected层中使用了这个策略。

网络各层次阶段

1.conv1阶段DFD（data flow diagram）：

2.conv2阶段DFD（data flow diagram）：

3.conv3阶段DFD（data flow diagram）：

4.conv4阶段DFD（data flow diagram）：

5.conv5阶段DFD（data flow diagram）：

6.fc6阶段DFD（data flow diagram）：

7.fc7阶段DFD（data flow diagram）：

8.fc8阶段DFD（data flow diagram）：