CVPR2017 最佳论文——Densely Connected Convolutional Networks

综述：
2D目标检测目前精度上限代表 Inception-ResNet-v2,速度上限代表shufflenet/mobilenet-ssd，现在出来一个densenet，精度比肩ResNet,计算量又和Faster-RCNN相当，并且看结构可以推测其对多尺度、小目标检测效果应该不错

---

1.网络结构

• dense connectivity：
  block内，之前的每一层输出的特征图，特征通道串联concatenate，作为下一层的输入；
  其中，每层的复合激活函Composite Function为：H(x) = BN + ReLU + 3×3 Conv；
  H(x) 得到K（Growth rate）层的特征图。

• dense block：卷积层分组，每组内的卷积特征图size相同

• Pooling & Transfer layers: dense block 之间进行下采样，1×1 Conv + Pooling

• DenseNet-B :
  考虑到第i层的输入通道数为 channels+k ×(i-1) ，为了提高计算效率，加入Bottleneck layer :
  Bottleneck layer : BN + ReLU + Conv(1×1) + BN + ReLU + Conv(3×3)

• DenseNet-C :
  一个dense block 有m个特征通道输出，在transfer layer 中Compress它对下一个block输入的通道数量，使其为 θm，其中 θ∈（0，1）。

• DenseNet-BC : 同时使用了Bottleneck layer 和Compress 的网络版本。

2. 相关研究

3. 性能与精度

ImageNet分类精度比较：PVANet, MobileNet, ResNet ——DenseNet

DenseNet-201参数量小于PVANet，是ResNet-152的一半不到，计算量是ResNet-152的1/3

---

4. ResNet相关

参考：
http://blog.csdn.net/sunbaigui/article/details/51702563
https://www.leiphone.com/news/201609/303vE8MIwFC7E3DB.html

随机纵向droupout的方式