AlexNet-ImageNet Classification with Deep Convolutional Neural Networks

局部反应归一化

\[b^{i}_{x,y} =a^{i}_{x,y}/ \left( k + \alpha \sum_{j=max(0, i-n/2)}^{min(N-1,i+n/2)}(a^j_{x,y})^2\right)\]

数据预处理

这篇论文中，提到的对数据的预处理包含了三个部分，第一部分是图片的均值归零处理，第二部分是图片的crop采样，第三部分是对图片进行fancy PCA采样。

均值归零

归零的操作可以使数据在输入的时候处于一个比较对称的分布，而不是正偏或者负偏，从而导致模型出错，比如说负偏的化可能会导致梯度弥散，而正偏与负偏其实就是一个符号的差别。

crop采样：

论文中提到说AlexNet对于其训练任务其实是过拟合的，因此它采取了一些列手段，其中就包含了crop采样。论文对256的图片进行224的随机crop采样，那么对于每一张图片，都可以产生2048种不同的样本，并且，论文还使用了镜像，直接导致数据集大小翻了2048*2=4096倍。虽然说大量的数据集之间存在相关性，但是也是一定程度降低了过拟合程度。

Fancy PCA采样：

论文通过求得每个像素点的协方差矩阵（3*3），从而求得特征值和特征向量，然后在对特征值进行一部分的波动，求出一个新的协方差矩阵，在加到原本的像素上，从而实现一种滤镜的效果。这种方法同样也可以产生大量的新样本。
这一方案能够近似地捕捉原始图像的一些重要特征，即那些不随光线强度与颜色变化的物体特质。这一方法把top-1错误降低了1%。