U-Net: Convolutional Networks for Biomedical Image Segmentation

• paper url
• Olaf Ronneberger, Philipp Fischer, and Thomax Brox
• 18 May 2015

---

卷积-降采样-去卷积-去降采样过程的作用：

在U-Net以前，图像分割主要使用的方法是Ciresan et al.提出的“对图像的每个像素做分类识别”。

这篇文章用到的CNN结构如下

这样事儿的网络结构，我也做过实验，在我的PET/CT数据集的分割结果非常差，但是论文中的分割结果不错，我估计原因是这个图像的轮廓比较清晰，分割难度小，用其他的机器学习算法应该也能轻松达到这个程度吧。

逐个像素点分类的缺点十分明显，一是慢，二是patch的尺度大小掌控不好，大了就需要很多降采样层，降低了识别精度，小了周围的信息也少。

针对第二个尺度控制问题，对应的解决方案是多尺度融合的深度网络，就是说把以某一个像素为之中的不同大小的patch作为多个通道输入到深度网络中学习，这样既考虑到了像素周围的位置信息（大尺度），也考虑了像素的细节特征（小尺度）。

其实这只能算一个小trick，并没有从本质上去解决图像分割问题。U-Net的网络原型是“Fully convolutional network”，因此讲道理开山的贡献是UC Berkeley的学者做出的，这篇论文只是一个应用而已。

和其他医学影像处理的工作一样，本文用了Data Augmentation，具体选择的手段是扭曲形变。

这种augmentation的手段在医学影像处理中十分常见，我只用过非刚性形变（平移、旋转），相信以后一定能用上这个扭曲形变。

针对分割过程中两个不同的结构“粘”在一起的情况

本文的解决方案是在Loss函数中把“粘”在一起处的背景部分的权重加大，我不懂这样为什么可以解决问题。但是看到他们对于不同的数据集，有人为地去修改网络的一些细节，这个是比较impressive的。

在阅读各种深度学习的论文的时候，作者是怎么描述自己的网络训练过程的部分是我比较关心的，因为我的英文比较烂，网络结构需要说的内容也比较常规，就这么几点参数需要说，又不能和现有的海量的深度学习论文重复，这个真是难为死我了。。本文的这个部分写的还是比较不错的，至少既有常规的，又有一些小trick涉及，虽然这些trick在很多中文的博客里面有提到，但是论文里头很少有人把它们说出来。

这个是常规的内容：

包括了作者在训练网络时候选择的参数、激活函数（ReLU）、代价函数（交叉熵），以及选择的反向传播算法（SGD），写的不错的，该有的公式，该有的描述都比较充分，值得我学习。

这个是新发现的技巧：

以前没有见过，应该是针对两个连在一起的不同组织的优化，把它们中间连着的部分像素的权重人为地升高，让网络可以重点地学习这部分的像素特征，以便于分割。

套用这个方法之后的结果是：边缘部分的权重变大了。

最后一段作者提到了权重初始化的一个小技巧，这个在Must Know Tips/Tricks in Deep Neural Networks文章中也有提到，我在做实验的时候还没有真正地去试过，只是知道有这么回事儿，回头去Keras看看能不能改一改这块儿的代码。

实验部分

electron microscopic recordings

• 来源：EM segmentation challenge 2012
• 评价指标：warping error, Rand error and pixel error.

PhC-U373

• 来源：ISBI cell tracking challenge 2014 and 2015
• 评价指标：IOU (“intersection over union”)

DIC-HeLa

• 来源：ISBI cell tracking challenge 2014 and 2015
• 评价指标：IOU (“intersection over union”)

关于分割结果的评价指标，可以参考这篇论文，里面有比较全的说明：Crowdsourcing the creation of image segmentation algorithms for connectomics

---

总结来看这是一篇应用型的文章，利用“Fully convolutional network”的网络在三个医学影像数据库上面做了实验，效果不错。也就是说，仿照这篇文章的套路，自行去收集几个新的数据库，做实验，也是可以写论文的。当然前提是效果同样不错，从我前几天的仿造实验中发现，U-Net在处理纹路没有那么清晰的影像时效果一般，IOU在30%~40%之间，需要进一步的探索。