CNN网络结构 - Refining Architectures of Deep Convolutional Neural Networks

CVPR 2016
Refining Architectures of Deep Convolutional Neural Networks

本文的出发点是回答下面的问题: is the selected CNN optimal for the dataset in terms of accuracy and model size?
针对一个现有的多类别数据集，使用CNN进行分类，那么我们选择的CNN 模型在精度和模型大小上是否是最优的？

Given a pre-trained CNN for a specific dataset, refine the architecture in order to potentially increase the accuracy while possibly reducing the model size

这里我们定义了两个操作方法来调整模型使其最优。

Intuition behind our approach: 给定一个数据集，固定网络的深度，怎么最好的区分数据集上的类别？我们的方法首先从一个预训练好的CNN模型开始，然后学习该数据集中所有类在每一个卷积层上的区分度。基于数据集的属性，数据集中某一些类在较低的卷积层区分度较好，另一些类在较低的卷积层区分度则较低。类似的波动在较高的卷积层也可以被发现。和给定层的前一层相比较，该给定层对某些类可以增加区分，对另些类可以降低区分。区分度增加的类的数目和增加该层的神经元个数有关（ stretching / widening）；区分度降低的类的数目和对称切分该层的神经元有关（ symmetric splitting）。所以 stretch and split操作可以同时应用于每一卷积层。stretch 或 split 的多少不仅取决于对当前层类别区分能力的影响，还取决于对其后续层的类别区分度影响。当 stretch and split 的操作固定下来后，我们可以调整网络，在相同的数据集上重新训练。

结果对比：