CNN：Case Study

imagenet比赛中出现了很多优秀的网络结构，主要包括：

1、LeNet

LeNet是第一个被成功应用的网络，目前主要用在读取邮政编码和数字，其主要结构如下：

Lenet的结构现在看来还是非常简单的，主要包含卷积–>池化–>卷积–>池化–>卷积–>FC

2、AlexNet

AlexNet发表于2012年，其让深度网络带到了人们的面前，和LeNet有很大的相似之处，主要的改变在非线性单元采用了Relu函数：

3、ZFNet

ZFNet发表于2013年，其与AlexNet十分相似，主要区别在：
CONV1: change from (11x11 stride 4) to (7x7 stride 2)
CONV3,4,5: instead of 384, 384, 256 filters use 512, 1024, 512

4、VGGNet

VGGNet发表于2014年，它的出现验证了网络深度是一个很关键的因素。因此，VGGNet深度较深因此也占用了很多的内存和百万个参数。但是参数主要来自于第一层全连接层，但最近的研究表明全连接层是可以消除的，这样就可以大幅的缩减参数。其结构如下图：

5、GoogLeNet

GoogLeNet发表于2014年，它的主要贡献是提出了Inception model将模型的参数极大的减少（参数仅4million， 远低于AlexNet的60million）并且取代全连接层而利用了average pooling，大大的缩减了参数的数量。Inception model如下：


为何要采用第2个模型，因为直接对前一层的输出做3X3，5X5的卷积时，计算量是很大的，可以先考虑依靠1X1的卷积去降维和映射处理。那么后面在做卷积时计算量会减小很多。
其中GoogleNet的结构如下：

6、ResNet

ResNet是2015年提出的，他主要的改进是提出了Residual Net的观点，其结构如下：

7、历届网络对比