rethinking the inception architecture for computer vision

Google在GoogleNet中提出了inception概念之后，又提出了inception_2,inception_3，都在这篇论文中谈及。

文章地址为http://arxiv.org/pdf/1512.00567v3.pdf

四个通用的设计原则（General Design Principles):

1. Avoid representational bottlenecks，especially early in the network。

2.Higher dimensional representations are easier to process locally within a network。

3. Spatial aggregation can be done over lower dimensional embeddings without much or any loss in representational power。

4.Balance the width and depth of the network 。

Factorizing Convolutions with Large Filter Szie(对大尺寸的过滤器进行分解）这样可以减少参数个数和计算量，训练速度更快。

1.Factorization into smaller convolutions

5*5的卷积是3*3的卷积的25/9=2.78倍的时间开销。

将原本5*5的卷积用一个多层网络（两层的3*3的卷积）来替代，参数更少，同样的输入

2.Spatial  factorization into asymmetric convolutions

将一个3*3的卷积用两层网络来替代，3*1加1*3的两层架构，计算量减小33%，如果用两层2*2卷积来替代，计算量减小11%。

所以，后面就用1*n和n*1来替代n*n的卷积，实验中发现，这种分解方法在网络的前面几层效果不好，但在中间时效果非常好（如果是m*m的特征图谱，m的范围在12到20之间），在这里是在7*7的卷积上用1*7加7*1替代效果最好。

Utility of Auxiliary Classifiers（辅助分类器的利用）

这个在v1版本里就有用到，在inception_4a/output和inception_4e/output后池化卷积全连接后做loss和top_1，top_5的计算。

Efficient Grid Size Reduction