物体分割--Deep Watershed Transform for Instance Segmentation

Deep Watershed Transform for Instance Segmentation
CVPR2017
https://github.com/min2209/dwt

本文将传统的 watershed transform 分割算法 结合 CNN网络 实现 物体分割

首先来回顾一下 instance level segmentation 都有哪些方法：
1）Proposal based: 基于候选区域提取的方法，首先提取物体的候选区域，然后再对候选区域进行细化分割 refinement
2）Deep structured models: CNN+ conditional random field (CRF)
3）Template matching: CNN+ template matching scheme
4) Recurrent Networks: CNN+ recurrent neural network (RNN) , ConvLSTM
5) CNN[15]: 只用CNN来完成
6）Proposal + recursion [14]: CNN 候选区域+ recursion

3 A Review on the Watershed Transform
首先来看看分水岭算法的大致思路：我们可以将一幅灰度图像看作一个地形图 topographic surface，我们从地形图的最低点 minima 开始注水，同时我们建造谁把barriers 用于防止两个不同注水的的水融合到一起去。这样我们就可以将地形图分割为若干区域，这里每个区域我们称之为 catchment basins，我们建造的水坝 barriers or watershed lines 表示两物体的边界线。

分水岭算法一个问题就是容易过分割。这里我们使用 CNN 网络来解决这个过分割问题。

4 Deep Watershed Tranform
这里我们希望使用 CNN网络来学习预测 一个 energy landscape，其每个 basin 对应一个物体，如上图的下半部分所示。但是从头开始学习这个 energy landscape 很难。这里我们定义了一个中间任务，就是我们学习 分水岭能量图的下降方向 direction of descent of the watershed energy，然后将这个输入到另一个网络用于学习最终的能量图。我们可以将这个中间结果理解为 学习每个目标内的点到其边界的距离，learning to perform the distance transform of each point within an object instance to the instance’s boundary

我们的整体网络结果如下图所示：

4.1. Direction Network (DN)
这里的输入只关注物体区域， the original RGB image gated by semantic segmentation（PSPNet [34]），非物体区域清零。input image is augmented by adding the semantic segmentation as a fourth channel

这一步主要用于 estimate the direction of descent of the energy at each pixel，对应 Figure 4 中的 f

4.2. Watershed Transform Network (WTN)
基于分水岭能量图的下降方向图，我们来 predict a modified watershed transform energy
对应 Figure 4 中的 g

4.3. Network Training
首先预训练 DN and WTN networks
分别定义了几个损失函数：
Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction
得到最终的分割结果

5 Experimental Evaluation
Cityscapes