ImageNet Classification with Deep Convolutional Networks

摘要：

介绍网络的布局结构，主要包括5个卷积层、最大池化层、丢包dropout层，以及3个全连通层。该结构用于针对拥有1000个可能的图像类别进行分类。

引入：

1. 现实生活中的物体总是千变万化，在学习如何识别他们时，大的数据集显得十分必要。
2. CNN的能力可通过改变其深度和广度来控制，且他们对自然图像有更强更准确的假设。
3. GPUs能够帮助大规模CNN的训练，且ImagNet数据集是足够大的，不会让模型出现过拟合。
4. 网络大小受限于
   
   1. GPUs的可用存储
   2. 可容忍的训练时间

文章特别之处：

1. 高度优化的GPU和其固有操作
2. 减少时间的方法：采用了一些新的特征
   
   1. 线性整流层ReLU的非线性函数
   2. 两块GTX 580 GPU训练了5~6天
   3. 局部响应归一化
   4. 重叠池化
3. 防止过拟合的几个方法
   
   1. 数据扩容方法data augmentation，包括图像变换、水平反射、块提取patch extractions等方法
   2. 丢包层：将隐藏神经元中概率为0.5的输出项设置为0
4. 网络深度十分重要
   
   1. 5个卷积层
   2. 3个全连通层

网络的学习细节：

1. 批量随机梯度下降法进行训练，为动量和权重衰退设定限定值
2. 在ImageNet数据库中进行网络训练，库中包含22000种类的1500万标签数据
3. 两块GTX 580 GPU训练了5~6天

本文展示了一个强大的深度神经网络，它能够在一些极具挑战性的数据集中单纯使用监督学习来完成一些破纪录的任务。它的建模方法在ImageNet数据训练这一历史性的难题上有着很好的表现。它提出的许多技术目前还在使用，例如数据扩容方法以及丢包dropout层。同时也告诉我们网络的深度对于完成任务十分重要。