卷积和池化的总结

当输入图像特别大的时候，假设是100X100的图像，若隐含层和输入层是“全连接”的话，则就会有10的4次方的输入单元，若要学习100个特征，那一层就有10的6次方个参数需要去学习，一层网络就有这么大的参数要学，这是计算复杂度不能容忍的。
解决这类问题的一种简单方法就是对隐含单元和输入单元间的连接加以限制，每个隐含单元仅仅只能连接输入单元的一部分。
自然图像有其固有特性，也就是说，图像的一部分的统计特性与其他部分是一样的。这也意味着我们在一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，都能使用同样的学习特征。

卷积的过程

可以从一些大尺寸图像上抽取axb的小尺寸图像样本，然后根据这些小尺寸图像的样本训练出一个稀疏自编码器，这个稀疏自编码器的输出特征的个数令为k。根据上面训练出来的稀疏自编码器作为特征探测器对要处理的大尺寸图像mxn中用滑窗的方式得到axb的小尺寸图像，然后用上面学到的稀疏自编码器对每个小尺寸图像进行处理，每个小尺寸图像提取到了k个隐层特征。经过这样处理大尺寸图像就得到了kx(m-a+1)x(n-b+1)卷积后的特征矩阵。

池化过程

在通过卷积获得了特征之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取的到的特征去训练分类器，例如softmax分类器，但这样还是面临计算量的挑战。
为了解决这个问题，首先回忆一下，我们之所以能用卷积后的特征是因为图像具有一种“静态”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值（或最大值）。这些概要统计特征不仅具有低得多的维度（相比使用所有提取得到的特征），同时还会改善结果（不容易过拟合）。这种聚合的操作就叫做池化，有时也称为平均池化或者最大池化。

卷积和池化之后的分类

每幅图像经过卷积和池化处理之后，得到的特征的维数就会大幅度的降低，根据每幅图像卷积和池化之后的特征训练出分类器。