深度学习之基础模型-Xception

We present an interpretation of Inception modules in convolutional neural networks as being an intermediate step in-between regular convolution and the depth wise separable convolution operation(a depth wise convolution followed by a point wise convolution).

思想

基于Inception系列网络结构的基础上，结合depthwise separable convolution

• 假设：
  
  • 卷积在3个维度上进行学习，因此卷积需要既要考虑空间相关性，又要考虑channel相关性：
    
    • spatial dimensions(width and height)
    • channel dimension
  • corss-channel correlations和spatial correlations是充分解耦合的，没有必要将他们叠加在一起
    注：关于空间width和height解耦合可以参考Inception V3论文

思想：将Inception modul拆分成一系列操作，独立处理spatial-correlations和cross-channel correlations，网络处理起来更加简单有效

• 首先通过‘1x1’卷积，将输入数据拆分cross-channel相关性，拆分成3或者4组独立的空间
• 然后，通过‘3x3’或者‘5x5’卷积核映射到更小的空间上去

---

Q:为什么Inception module可以用depthwise separable convolution替代？

首先，对于原始的Inception模块，如Inception V3，结构如下：

模块中，基本上先通过一系列1x1卷积降维，然后再通过3x3卷积提取特征。如果我们将上述结构再进行简化，可以得到如下简化结构：

从上图中我们可以看出，1x1卷积将输入数据的channel维度上进行了拆解，再输送到空间卷积3x3，改写成下图：

可以考虑一种更加极端的情况：3x3卷积在1x1卷积后的每一个通道上运行，则有：

我们可以从上图上，看到该模块将输入数据在channel维度上进行解耦合，该模块称之为‘extreme’version of Inception module，这个思想和depthwise separable convolution非常相似。

• 操作顺序不同：
  
  • depth wise separable convolutions：先进行channel-wise 空间卷积，然后1x1卷积进行融合
  • Inception：先进行1x1卷积，然后进行channel-wise空间卷积
• 非线性激励函数：
  
  • depthwise separable convolution：两个操作之间没有激励函数
  • Inception：两个操作之间，添加了ReLU非线性激励

但是，作者介绍说，上述两个不同点中，第一个并不是太重要，原因在与整个结构模型是Inception模块不断叠加的，从而改变一下结构中的模块划分顺序，两者基本上就等价了。而对于第二点就比较重要了。基本上，整个网络结构就是把Inception module换成了depthwise separable convlution，但是里面的深层次含义却很重要。

---

网络结构

整个网络结构，不仅借鉴了depthwise separable convolution的思想，也结合了ResNet的思想，最后作者也比较了ResNet在其中的作用。结构如下：

说明：

• 整个网络结构具有14个模块，36个卷积
• 残差连接
• 最后采用logistic regression

效果分析

• 实验参数：

name ImageNet JFT Optimizer SGD RMsprop Momentum 0.9 0.9 Initial learning rate 0.045 0.001 Learning rate decay decay of rate 0.94 every 2 epochs decay of rate 0.9 every 3,000,000 samples

注：ImageNet数据集为单标签，JFT数据集为多标签

• 正则化

operation value weight decay InceptionV3 L2 regularization(4e-5)/Xception(1e-5) dropout ImageNet rate=0.5/JFT no dropout Auxiliary loss tower InceptionV3 included/Xception not included

注：使用tensorflow， 60块NVIDIA K80显卡

实验1:

与InceptionV3对比

• 参数个数

  
  注：两者在参数个数和速度上相差不大

• ImageNet上的精度
  
  注：Xception的效果最好
• 收敛速度
  
  注：Xception收敛速度更快

实验2:

full-connected layer的影响

• 在JFT上的效果
  
• with fully-connected layers
  
• without fully-connected layers
  

注：相比较与ImageNet数据集，Xception在JFT数据集上的效果更加明显

实验3:

残差连接的作用

• 带有残差连接的网络不仅收敛更加快，效果也更加好
  注：作者对这种对比结果也提出了质疑，这种效果仅针对这个特殊的网络结构

实验4:

激活函数的作用：在depthwise与pointwise之间使用不同的激活函数

• 不带激活函数的网络结构，效果更好
  注：和《InceptionV3》中的结论相反，可能和特征空间的深度有关
  
  • 网络特征比较深的时候，非线性激活有帮助
  • 网络结构比较浅的时候，非线性激活反而有害
    

参考文献

https://arxiv.org/pdf/1610.02357.pdf
http://blog.csdn.net/KangRoger/article/details/69929915
https://www.leiphone.com/news/201708/KGJYBHXPwsRYMhWw.html
http://blog.csdn.net/tangzy_/article/details/53672620