论文阅读笔记：U-Net: Convolutional Networks for Biomedical Image Segmentation

简介

U-Net: Convolutional Networks for Biomedical Image Segmentation，基于U-Net卷积神经网络的生物医学图像分割，这篇论文是关于图像语义分割方面的，而且在小规模数据集上表现良好。这篇论文主页链接https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/。

---

模型

数据集

这篇论文在很多数据集上训练并且测试过，表现良好。如EM segmentation challenge、ISBI cell tracking challenge中的PhC-U373和DIC-HeLA。概括来说，输入是一张显微镜下的细胞图像，标签是已分割好的图像。

模型架构

U-Net网络结构基于编码器解码器架构，简洁清晰，很容易理解，对称性虽然不是完全对称但也是很对称的了。
1. Contracting Path (压缩路径):
左侧部分，为对输入图像进行2次3x3卷积操作和1次2x2池化操作(max pool 下采样)，每次卷积后接着一次ReLU, 这样重复4次，下采样后的卷积过滤器数量增加2倍。
2. Expansive Path (展开路径):
右侧部分，对左侧下采样后得到的结果进行2次3x3卷积操作和1次步长为2x2的去卷积操作（上采样），每次卷积后接着一次ReLU, 这样重复4次，注意上采样时过滤器数量减少2倍，得到的结果和对应左侧部分卷积结果进行连接后（上图copy and crop）再进行卷积，这时卷积过滤器数量减少2倍。
3. 1x1 卷积得到segmentation map
最好对得到的64通道结果进行 1x1卷积得到分割map，这个map通道数可根据自己具体问题分类数量一致。例如图上为2，最后分割出来的图像可以是黑白图像。

---

公式

Soft-max分类

x表示在图像中的像素位置，ak(x)是激励函数，pk(x)=1表示位置x属于类k，否则，不属于。直观来说，对于输入X，pk(X)输出一张2维矩阵，值为0或1，即将X中属于k的类图像标记了出来。

pk(x)=eak(x)∑Kk′=1ea′k(x)

能量函数（Energy Function）

Ω表示输入图像X，l(x)表示图像像素位置x属于哪一个类k，w(x)表示权重，下面会介绍。

E=∑x∈Ωw(x)log(pl(x)(x))

权重映射（weight map)

wc(x)表示用例平衡分类频率的权重，d1(x)表示像素位置x到最近细胞边界的距离，d2(x)表示像素位置x到第二近细胞边界的距离，论文设置w0=10、σ≈5。

w(x)=wc(x)+w0⋅e−(d1(x)+d2(x))22σ2

---

实验结果

EM segmentitation challenge

ISBI cell tracking challenge 2015

---

总结

U-Net网络结构简洁清晰，适合年轻选手来学习，对于同样是小白的我有很大帮助，这篇论文虽说是关于图像分割方面的，但是感觉U-Net这种结构很有潜力。我毕设的人脸增强就是采用这种结构，论文下载链接如下。

https://github.com/wangleihitcs/Parpers/tree/master/segmentation