CNN学习笔记

LeNet

Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

从提出的文章可以看出，这个CNN是用于文字识别的，使用简单的卷积（convolution）和池化（pooling）操作。作为CNN的鼻祖问世，让CNN重新被重视，引领当今AI学术界。

AlexNet

Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.

AlexNet从结构上看和LeNet区别不大，主要的改进在于对更深网络过拟合（Overfitting）问题的处理，主要有以下几个方面改进：

• Data Augmentation

数据增强，包括水平翻转、随机裁剪、平移变换、颜色光照变换等，用于扩展原来的训练集。越深的CNN参数越多，自由度越大，足够大的训练集有利于防止过拟合出现。

• Dropout

Dropout 是 Hinton等人的杰出贡献之一，AlexNet在最后几层全连接层应用Dropout训练和测试。

• ReLU activation function

使用ReLU 激活函数替代以往的Tanh和Sigmoid激活函数。

• LRN

LRN（Local Response Normalization）,实际就是利用临近的数据做归一化。

• Overlapping Pooling

Overlapping的意思是有重叠，即Pooling的步长比Pooling Kernel的对应边要小。这个策略贡献了0.3%的Top-5错误率。

• 多GPU并行

训练特快……

VGG

Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science, 2014.

承继LeNet和AlexNet架构，更深。

GoogLeNet

Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// Computer Vision and Pattern Recognition. IEEE, 2015:1-9.

还是基本的卷积和池化操作，更深，更更深。
创新点在于使用了Network in Network 的Inception。

ResNet

He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. 2015:770-778.

没有最深只有更深，可达到千层的Network深度。

残差网络结构如下图所示