解剖标记点检测——Two-Stage Task-Oriented DNN

《Detecting Anatomical Landmarks From Limited Medical Imaging Data Using Two-Stage Task-Oriented Deep Neural Networks》

Jun Zhang, Mingxia Liu, Dinggang Shen

这篇论文主要介绍了一个缓和有限训练数据的深度学习方法，就是T2DL（Two-Stage Task-Oriented Deep Learning），这个方法用于在有限的训练数据上实时地检测大量的解剖标记点。T2DL由两个DCNN组成，也就是我们所说的Two-stage，由局部到全局的定向任务。

在介绍T2DL模型之前，我们先来了解一下端到端（end-to-end）的深度学习，这个方法可以在有限的数据上，实时地检测大量的标记点。基于下图可以帮助我们理解这个方法。具体来说，所有训练和测试图像首先使用 基于互信息的3D线性配准 并使用转换矩阵，线性对齐到公共模板空间中。 然后，用线性对齐的训练图像和标记点训练两阶段面向任务的深度学习（T 2 DL）模型进行标记点检测。在测试阶段，给出测试图像，同样先对应到公共模板，再用T 2 DL方法使用其对应的线性对齐图像来检测其标记点；最后，使用在线性注册过程中估计的相应变换矩阵的逆，就可以很容易地获得测试图像的原始空间中的最终标记点位置。

上图中蓝色区域的“Two-stage Task-Oriented Deep Learning Model for Landmark Detection”对应的CNN框架如下图，即T2DL的构成图，T2DL的第一阶段是一个基于回归模型的CNN，使用了大量image patch作为输入，目的是去学习local image patches和target anatomical landmarks之间固有的关系；第二阶段进一步抽离出了image patches中的联系，使用端到端的方法进行全局整合；这第二阶段的CNN的结构和前一个阶段的不同，这个CNN模型的前一部分的全卷积网络和第一部分共享同一结构个网络参数，以整个图像作为输入，其他层则被联合起来预测那些大量的标记点的坐标。

细节：

第一个阶段建模出图像间的关系（patches and displacement to landmarks），目的是学习预测3D displacement和多个坐标之间的非线性映射。不需要使用任何预定义的特点，就可以直接采用使用CNN的基于patch的回归模型。在第一阶段的CNN模型中使用加权均方误差作为损失函数，将较小的额权重分配给远离image patches的标记点。损失函数：其中，，g代表the ground-truth displacement，p代表the predicted displacement，alpha是缩放系数，Nl是标记点的总数。

第二阶段建模相关性（among image patches），和第一阶段不同的是，最后三个全连接层被三个核为1x1x1的全卷积层取代了。给定输入图像，可以通过FCN联合预测网格采样patches到多个地标的位移。如下图所示，给出了一张2D图像，FCN首先通过第一个最大池操作（内核大小为k×k），以步长为np的网格提取多个局部图像块；以下橙色和蓝色的块分别表示为两个p×p的片段。 这两个网格采样块的估计位移是一个特定标记点FCN输出中的两个1×1×3N l的元素。

而在我们所取的patches中，可能存在很多的不带任何信息或带很少信息的区域，为了平衡这个问题，文章使用了局部熵（local entropy）来进行处理；每个图像补丁η周围区域，局部熵E（η）越大，表示该块所携带的信息越多，然后以采样概率来进行块采样。使用图像块作为输入样本，我们对第一阶段CNN回归模型进行了训练，其中估算到所有标记点的三维位移。 这些3D位移被拉伸并连接成为回归模型的多变量目标。 我们设计CNN模型，以保证最后一个卷积层（全连接层之前）的输出尺寸为1×1×1×3Nl。

最后，我们可以看到论文所提出的T2DL和其他几种方法（Multi-Atlas、Random forest、Shallow convolutional neural network、U-Net、First-stage Deep Learning）进行了比较，可以看到T2DL的性能明显比其他方法的性能要好得多，误差减少了很多，如下图。

其中RF和U-Net在Brain-1200时没有数据，是因为在检测大规模标记点时，RF和U-Net的计算开销很大、内存有限，很难检测出来。