DUC

摘要：
1. DUC(Dense upsampling convolution)相较于双线性上采样可以提取和解码更多的信息；
2. 在编码部分提出了HDC(Hybrid dilated convolution 混合多孔卷积)，HDC主要有两个作用：
1) 提升了网络的感受野，整合更多的全局信息
2) 减轻了由标准带孔卷积带来的”gridding issue”问题

语义分割系统有三个主要部分：
1. FCN-全卷积网络，它将最后的全连接层替换掉，使网络可以高效率的端到端学习并且可接受任意输入
2. CRF-条件随机场，整合局部或全局的图像信息来生成特征图
3. Dilated/Atrous Conv-膨胀/带孔卷积，提升生成中间特征图的分辨率，在相同用计算消耗下产生更精确的预测（优于最大池化和带步长的卷积）

提升监督分割的两个方面：
1. 更深的FCN模型，例如：从VGG-16到ResNet-101 152；
2. 更强的CRFs，例如：用一对全连的CRF做前期处理，将CRF的平均场近似步骤整合进网络以完成端到端的训练，并将额外的边缘、物体检测信息融入CRF。

Dilated/Atrous Conv-膨胀/带孔卷积的主要问题是：网格，卷积的模式是固定的，丢失了邻域信息；尤其是在膨胀系数较高感受野较大时，卷积核稀疏导致局部信息丢失，因此引入了预定的网格模式。

DUC它将学习出一个上采样滤波器数组来对降维了的特征图进行上采样，最终生成期望大小的稠密特征图。
HDC使用一系列系数的膨胀卷积并将其顺序级联，采用和ResNet-101中的block模式，而不是单一地使用相同系数的膨胀卷积产生相同的空间分辨率特征图。

ASPP(Atrous spatial pyramid pooling) 膨胀空间金字塔池化，将膨胀率递增的卷积层用串联的方式连接以实现上下文聚合。

DUC的主要思想是：将整个标签图分成若干个相等的子部分（将通道拆分），这些子部分和输入的特征图有相同的宽高。每个这些部分将伸展r^2次以生成整个标签图；通过这个变换，可将可学习的卷积操作直接作用于特征图和标签图之间，而不用再使用插入额外值的反卷积层。

2D膨胀卷积相对于卷积核插入了”空洞(补零)”；对于一个大小为k*k的卷积核，其膨胀卷积核的大小为kd*kd，其中kd = k + (k - 1)*(r - 1)。

根据图中a示意，p这个像素点的信息来自于一个类似棋盘的模式，这使得将丢失大量的信息（在r = 2的时候将丢失75%）
所以当r变大时，在更高层上由于额外的下采样操作，相较原始输入将变得非常稀疏，这会使得学习效果变差原因是：1. 局部的信息完全丢失 2. 远距离的信息毫无相关性
在第l层中，网格效应会导致r领域内的信息来自于之前的“网格”单元，这将会影响局部信息的一致性。

HDC的引出：
根据图中b示意，使用HDC锯齿波状的膨胀系数r可使得顶层获得更广域的信息，锯齿波膨胀系数的模式将在所有层中保持，这使得顶层的感受野保持不变。
由于使用任意的膨胀系数，对特别大的目标物体的识别至关重要。但是膨胀系数组中应保证没有公约数，否则网格效应还会存在，这也是HDC与ASPP和上下文聚合不同的地方。