《Dual Path Networks》笔记

（这篇论文是最新的网络结构的论文，故下载下来学习一下）
1 论文出处：image2017多项冠军，目前挂在arxiv上面
2 主要思路：
现在的网络结构，有resnet结构的，两个通路然后把feature map 相加的（add），也有两个通路然后把feature map 拼接（concat）在一起的（主要参考论文《Densely connected convolutional networks. arXiv preprint arXiv:1608.06993, 2016.》），作者在这篇论文中研究了这两种网络结构之间的数学联系，各自的优点和缺点，然后根据这两种网络结构的优缺点，提出了一种结合这两种网络结构的新的结构DPN（双通路网络结构），不仅提高了accuracy，而且消耗的资源更少。
3 详细分析
3.1 resNet类型的网络和denseNet类型网络之间的联系
作者从Higher Order RNN（HORNN）的角度给出了新的理解。
RNN的公式如下：

xt是网络在t step的 输入， ,对于每个时刻t , 代表网络得到的特征，g则是激活函数，h便是网络的隐含层的输出。
对于HORNN，满足以下条件：

也即，在每个step中，权重是共享的。
而对于 denseNet 而言，满足： 不共享
即，在每个step 中权重是不共享的。
故可以认为，denseNet 由于权重不共享，更有利获取到新的特征。

对于resNet而言，如果将denseNet的参数不共享改成参数共享，即如下：

便是resnet了。
可以看出，resnet的参数在每个step中都是共享的，故认为，其特征是reuse（复用）的。
结合上面的简单分析，总结如下：
Resnet 和densnet都是特殊的HORNN，Resnet更有利于参数共享，而DenseNet更有利于获取新的特征，结合这两者的优点，则是新的网络DPN
3.2 DPN
为了利用这两种网络各自的优点，作者设计了一种双通道网络，同时结合Resnet的结构和DenseNet的结构。具体如下：

左边的网络是denseNet的结构，是利用concat来连接特征，右边的网络是Resnet结构，是利用add来连接特征。
实验证明，这种DPN在消耗更少的资源下，能够取得更好的结果。