多视图CAD检测系统乳腺X线摄影基于案例的检测性能优化

多视图CAD检测系统乳腺X线摄影基于案例的检测性能优化

介绍

通常乳腺肿块的检测基于双视图乳腺摄影，医生在阅片是会将所有可用视图的信息组合在一起，他们比较MLO和CC视图，寻找不对称性并评估相对于先前乳房X线照片的变化（放射科医生比较两个同侧乳房X线照片视图，以决定是否存在可疑病变。），如果一个视图中的可疑区域具有与另一视图中的可疑区域相同的某些特征，则该区域是真实病变的概率较高（和单视图双侧乳腺肿块的检测不一样），出了可以检测是否是肿块，还可以检测异常（因为异常可以通过重叠腺体组织在一个投影中（部分地）模糊。）。通常，基于相对于乳头的位置和区域相似性（进行视图的配准），使用监督分类来计算一对乳腺中对应于相同的真阳性区域（TP）的可能性。本研究的目的是使用扩展的连接方法来匹配MLO和CC视图中的相应区域，以提高我们的单视图CAD系统的质量检测性能。具体来说，我们调查多视点分析如何更有效地提高基于案例的性能。为此，我们使用来自我们的链接方法的类概率和包含对应特征来研究CAD系统的学习规则的修改。之前的CAD系统可以发现CC和MLO之间的对应关系，但是基于病例的效果没有改善。提出基于病例的检测方法。致力于肿块检测和结构失真的检测。

评估方法

FROC

特色

Bootstrappingwas used for statistical analysis.

统计分析中用了自学习的方式

备注

1.论文[1] - [3]研究了MLO和CC视图中相应区域的匹配

2.一旦计算了区域对应分数，就可以融合来自两个视图的信息。[4]提出了对每个图像内的单视图和对应分数进行排序，并随后对其进行平均。

3. 在正常情况下，排名方案将不会工作得很好，因为在正常情况下分配高排名将导致许多强烈的假阳性。 最近的研究涉及基于相似特征和神经网络[5]，[6]和贝叶斯网络[7]的融合方案。 在这些研究中，获得了基于病变的检测性能的显着改善，而基于病例的性能保持相似。

4. 在这些研究中，获得了基于病变的检测性能的显着改善，而基于病例的性能保持相似。

基于病变和基于病例的检测性能的区别

5. 如果CAD在两个视图中检测到区域，则可能有一些益处，因为研究表明如果在两个视图中标记区域，则读者更可能对CAD提示进行操作。

这推动郑等人 [8]开发一个多视点CAD系统，旨在保持相同的基于病例的敏感度水平，同时增加在同侧视图上检测的质量数。 发现多视点方法将假阳性（FP）检测率降低了23.7％，同时保持了基于病例的检测灵敏度为74.4％。

6. 在本研究中，我们使用单视图检测方案，包括以下阶段：分割和预处理，可疑图像位置的初始检测，区域分割和最终单视图分类（图1）。 这些步骤已在先前的出版物[9] - [11]中详细描述。

7. 作为检测方案的第一步，乳房X线照片被分割成乳房组织，胸肌（如果图像是MLO视图）和背景区域。 背景像素通过使用阈值结合形态算子序列来分类[12]。 随后，胸部肌肉以两个步骤从乳房区域分割。第一种方法是基于使用改进的霍夫变换的直线估计，如Karssemeijer[12]所述。 然而，胸肌的边界通常略微弯曲。

因此，在第二步骤中，通过使用动态规划方法的初始估计附近的最佳路径搜索更精确地确定边界。

在这些步骤之后，应用厚度均衡算法来增强乳房的周边[13]。

8. 相同的算法用于识别径向梯度向量的模式，而不是径向刺孔，在质量损伤的中心区域产生高响应。

9. 软组织例如乳房的大的非线性变形使得配准极其困难。

10. 基于电弧的方法基于这样的想法，乳头和病变之间的距离在乳房压迫期间保持相当恒定，

这可以通过乳房X射线摄影术者从胸壁拉出乳房以便最佳定位的事实来解释。

总结

在之前的研究中发现，考虑CC和MLO之间的相关性可以提高病变的检测效率。然后给予病例水平的检测性能并没有提高，本文提出了一种基于案例的双视图结合的乳腺肿块检测方法。先设计单视图病变检测系统以及对应的分类器，然后针对不同的区域对和相关特征提出了可能的分类。对应的分类器的输出作为多视图CAD系统的输入模式的偏置选择。（说白了就是输入）。本方法用于检测恶性肿块和结构失真。实验中所使用的乳腺X线摄影图片包括4个视图，至少有一个视图包含恶性病变区域。

由于较高的假阳率，CAD系统的检测性能不及人工。

双侧视图结合降低假阳率的原因

1.放射科专家在阅片的时候会参考尽可能多的视图，他们在同侧MLO和CC视图中，（寻找不对称性以及和评估相对于先前图片的一些变化。）查找可以肿块。

2.如果两个视图中的可疑区域具有相同的某些特征，则该区域是真实病变的概率较高。

3.双视图还提高了检测异常的机会，因为在一个投影中异常通过与腺体组织重叠（部分地）模糊，但是在另外一个视图中会看的比较清晰，这样对比检测出异常。

4.双视图的结合使得那些由于正常乳腺组织的重叠而看起来像是可疑肿块的区域也可以识别出来，从而降低了假阳率。

有很多研究者进行了身体同侧双视图结合的乳腺肿块检测的研究， 首要的是单侧视图检测到的可疑肿块区域的匹配。论文[1]-[3]对MLO和CC相关区域的匹配进行了研究（而不是整个视图的匹配）

通常，基于相对于乳头的位置和区域相似性（牵涉到这两方面的计算），使用监督分类来计算一对中的区域对应于相同的真阳性（TP）区域的可能性。 一旦计算了区域对应分数（需要计算的值），就可以融合来自两个视图的信息。

在临床实践中基于病例的敏感性更有意义，即在单视图或者双视图中检测病变。基于病例的检测比基于肿块的检测难的原因。

如果跟一侧肿块配对另一个是图中是一个更加明显的病变，那么该区域是可以病变的可能性增加。实际上在匹配对中更明显的真阳率几乎不受另外一个投影中的轮廓的影响。意思是在一个匹配对中，如果他的真阳率比较高，那么就不会手另外一个视图的影响，如果说真阳率相对另外一个视图比较低的话就会受另一真阳率比较高的视图的影响而有更大的可能性成为真阳。（小受影响，大不受影响）

（在这里真阳指的就是肿块，假阳就指的是正常的组织），真阳对假阳那么它是肿块的可能性会降低。

虽然说对应分类器的性能已经足够高，但是多视图分析仍然能够提高病例分析的敏感度。

和真阳不同，假阳在另外一个视图中没有相匹配的区域。

研究的目的是使用扩展连接方法实现MLO和CC图像中对应区域的匹配，并修改了CAD系统 1）在我们的连接方法后使用类概率2）在CAD系统中包对应特征。

初步

单视图检测方案包含一下几步：

分割以及预处理

目的:

分割为乳腺组织，

胸肌：两步：1）使用广义霍夫变换进行直线检测，所得到的胸壁边缘有些弯曲，2）动态规划方法在原始估计路径上进行最优路径搜索。在这些步骤之后，应用厚度均衡算法来增强乳房的边缘。在MLO图像中使用类似的算法来均衡胸肌中的背景强度，以便于检测位于胸部边界上或附近的肿块。

背景：阈值分割+形态学操作

乳头的定位

通过假设乳头是皮肤轮廓上到CC视图胸部或到MLO视图胸肌最大距离的点来估计如同样的位置，之前的研究表明，通过这种方式所确定的乳头的位置与实际乳头位置接近（平均误差=12.94mm）[15]感觉这个误差还是挺大的可以考虑改进。

可疑图像位置的初始化检测（单视图中肿块区域的检测）

基于直线基于弧线的在另外一个视图中进行对应区域的匹配

在初始检测阶段，会确定很多的候选位置，在定位的地方会给模式的一些属性，这与后续分类息息相关。

在图像中以1.6mm的间隔进行采样，每个位置提取5个特征（检测刺孔存在和肿块）。

对于星状图案的检测，使用多尺度技术基于乳腺摄影图像中的纹理取向的图的统计分析，通过使用对直线的径向图案敏感的算子来获取纹理图。使用相同的算法去识别模式中的径向梯度向量而不是径向刺孔，在肿块病变的中心区域产生高的响。（计算梯度向量，在响应高的地方可以认为是肿块区域）

5个相似神经网络，随机初始化，在独立的小测试集上进行训练，使用这些特征对规则网格上的像素进行分类。5个神经网络的平均输出结果表示了肿块存在以及结构失真的的可能性。似然图的局部最大值超过阈值认为是候选者的位置，通过这种方式得到很多可进一步研究的感兴趣的候选者。阈值固定，初始位置的数目随图像的改变而改变。选择一个比较低的阈值来防止一些微弱的真阳的丢失，但是这使得假阳候选位置数目增多，在我们的图像中每幅图像平均取20个候选位置。

区域分割

第二步，在上一步中所得到的局部极大值作为区域分割的种子点，我们采用了一种极性重采样和动态规划的方法，在两种方法在之前的研究中相对于其它的方法性能更优。计算区域特征来表示区域属性，比如区域对比度、边界粗糙度、线性纹理、在乳腺中的相对位置、轮廓光滑度、肿块大小以及其它区域特征。除了这些，在初始检测阶段的5个中心肿块、刺状特征、初始检测阶段的肿块似然分数也用于单视图区域的分类。

在另外一个视图确定了位置后获取对应的区域（点到区域的获取）

单视图分类

特征提取：提取双视图对应的匹配位置的特征，作为分类器的输入

分类器设计

研究中所使用的神经网络：一个隐含层、只有一个输出节点的输出层。在初始像素分类阶段的隐含节点的数目是5，在分类阶段使用了12个隐含节点，使用反向传播算法、sigmoid激活函数，病变模式映射为接近1的值，正常模式映射为接近0的值。在训练之前，数据要归一化为0均值单位方差。为了避免过度训练，使用独立停止集自适应地确定训练迭代次数。

方法实现

同侧视图区域匹配

x线摄影中，乳腺被压缩，以减少施加给乳腺的X线剂量，所以很难将MLO中潜在的乳腺肿块的位置与CC中对应位置相关联。像乳腺这样，软组织大的非线性的变形使得配准更加困难，所以大多数的匹配方法都是基于一系列的标记，如乳头的位置以及胸肌边界上的点。对病变进行三角测量主要有两种方法：基于弧线和基于直线。

基于弧线的匹配方法

思想原型：由于乳房X射线摄影术者从胸壁拉出乳房以进行最佳定位，所以可以认为乳头和病变之间的距离在乳房压迫期间保持相当恒定。

具体实现：为了实现肿块可疑区域和另一视图对应区域的配准，计算乳头到肿块区域中心的距离，在身体同侧（另一）视图中到乳头的相同距离定义一个弧线，在这个弧的周围定义一个具有特定宽度的搜索区域。（在这个区域中搜索对应的匹配位置）

基于直线的匹配方法

思想原型：一般认为（这就是一个常识问题了），胸壁支撑着乳腺压缩过程中的变形，使得乳腺中的点向下向前有相同的位移。

具体实现：与CC视图中的胸壁或者是与MLO视图中的胸肌平行定义一条直线，在这种方法中，两个视图中的乳头和胸壁都要检测出来。CC视图中的胸壁已经描绘出来了，所以认为胸壁与图像边缘平行。MLO视图中的胸肌在CAD系统中使用霍夫变化的方法自动地检测出来。

匹配：一个视图中的可疑肿块区域与另外一个视图中的对应区域

计算乳头和投影到中心线上的肿块中心的距离，中心线是垂直于胸壁过乳头的直线。这个投影距离被映射到另一视图的中心线上，然后就定义了一个和胸壁平行的直线。（这个直线就是接下来用于定位的？），潜在对应区域到这条直线的距离作为特征去匹配区域。（根据相应的距离完成定位，那问题就是如何获取肿块的中心（区域是规则图像的中心比较容易获取），以前距离的测量时基于像素数目，但是这里是基于绝对距离的。

获取最优搜索宽度的方法，改变搜索区域的宽度，确定在对应视图搜索范围内确定病变的百分比（对于单对图片，就是对应病变区域在或者不在，对于424幅图像，就是在一不在的百分比了）

基于弧线的搜索宽度

搜索宽度为48以确保所有对都能匹配。乳腺区域和在两个视图中乳头和病变之间的径向距离的绝对差异具有相关性，我们使得搜索区域宽度独立于乳腺区域，搜索区域宽度为40-48，这减少了假阳候选区域的数目

基于直线的搜索宽度

需要的搜索宽度更小为37

相似性特征的计算

定义对压缩和位置不敏感的特征向量，定义的相似性特征有：

距离差：基于弧线的距离d为乳头到 病变的距离，对于基于直线的距离为病变到直线的距离，w为搜索区域的宽度。

像素相关性：在之前的区域匹配中用到了成功地应用了像素相关性，在这里也用这种方法实现CC和MLO对应区域的匹配，虽然由于两个投影视图中存在角度的旋转而是这种方法显得幼稚。（虽然这种方法幼稚，但是在之前的研究中成功地使用，此处也用这种方法）

极坐标空间中最大像素方向相关性：在MLO和CC视图中找到相应区域（ in MLO and CC views）的问题不同于找到暂时对中的对应区域（ in temporal pairs,），因为乳房在不同程度上和在不同方向上被压缩和变形。为了减小像素相关性差异的影响（暂时对中的相关性低，而身体同侧双视图的相关性高，为了使用人家研究的像素相关性，需要减少CC和MLO的相关性），对相关度量进行了修改。首先，将区域肿块的中心作为中心对每个区域进行极坐标变换（极坐标变换需要一个中心？），在转换后的区域计算Pearson相关系数，使用这个区域的固定直径D,以及CC相对于MLO的a角度旋转。所有角度的最大像素方向相关性MPCP作为一个特征。

熵：平均信息量，量化图像纹理的光滑度，两个视图对应区域的熵的绝对差异作为不相似性的度量

直方图的相关性：直方图可作为相似性的度量，但是由于图像采集的不同严重影响了它的值，为了消除采集参数不同而带来的影响，我们采用了非参数的直方图匹配。在每个视图中以肿块区域的中心为圆心定义一个半径为2.5mm的圆，在每个区域中可以获得累计分布函数，由目标区域的累计分布函数到原区域的累计分布函数确定一个灰度变换关系（直方图规定化），然后把这个变换关系应用于目标函数，从而减小由于曝光和压缩所带来的影响，分割区域的直方图仍然不同，由于真阳的直径大约为1.5cm,比我们应用于直方图匹配的圆形区域要大。计算双直方图相关特征DHC（dual histogram correlation），为了计算DHC，使用两个模板获得两个区域的两个灰度直方图。

肿块似然性：单侧CAD系统的输出代表了一个区域的肿块似然性，由此衍生出三个特征：MLO视图的肿块似然性、在CC候选区域的肿块似然性、两个视图中似然性的绝对差异（其值较小时，两个区域描绘了相同病变的可能性更高）

紧致性差异：紧凑性表示对象的边界相对于其面积的粗糙度。

线性纹理差异：代表了在分割区域内线性结构的存在，使用这个特征是因为，正常组织相和肿块组织的纹理特征不同，所以使用这个特征的差异作为两个对应区域的相似性度量.

用KNN将单视图分类结果的组合分为四类，他们分别为ＴＰ－ＴＰ＼ＴＰ－ＦＰ＼ＦＰ－ＴＰ＼ＦＰ－ＦＰ，定义对应分数作为组合区域代表了两个真阳的似然性。通过实验将k设定为27，之所以k值设置的比较大是因为我们使用k-NN分类器进行后验概率估计而不是硬分类.单视图CAD系统检测到的候选区域和同侧视图区域通过最大的对应分数实现连接。所以区域和最有可能候选的区域之间的映射不是一一对应的，这在我们的方法中并不是一个缺点，我们致力于使用与其他视图的相关性来评估各个区域的可能性，其他视图的信息作为附加的信息源，而不是在区域对分类的时候寻找对称的解。

双视图分类

在应用了匹配算法后，用一个新的模型对在单侧视图检测到的所有区域进行进一步的处理，此时会添加来自另外一个视图的附加信息。为了达到这个目的，训练一个新的神经网络，它们作为单视图分类器具有相似的配置。来自单侧CAD系统的。使用单侧CAD系统的选择特征以及代表同侧视图匹配区域对应性的相似性特征作为输入。除此之外，由连接算法计算出来的四个分类的可能性也作为特征，这样会得到83维的特征向量。双视图分类对每个区域会产生一个新的可疑率，而不是区域对的联合比率（先是进行简单的特征提取然后进行分类，然后再用似然分数进行相应的匹配，最后再添加一些与匹配先关的一些额外的信息，将这些新的特征作为输入，再得到单侧视图的一个分类的结果，本质上就是在原始单侧特征上添加了一些匹配区域的一个特征作为联合特征进行分类）。

在一些案例中有些区域没有对应的匹配区域，因为在同侧视图中没有潜在的候选者区域（因为两个对应区域的相似性太低），因为对应分数需要超过一个阈值使得区域去匹配。如果没有找到匹配区域，我们可以使用单视图分类器的输出作为那个区域的可能性，但是这个这个忽略了没有找到匹配区域本身给了肿块可以性的一些一种信息。放射科专家没有在两个视图中观察到病变，这个影响到解释和决策，解释没有观察到病变的可能情况是一个复杂的过程。在致密组织中，病变被腺体组织吸收（在这里可以意译成遮挡吗）是很常见的现象，为了能够处理双视图中的所有区域，我们使用下面的方法。当无法建立一个区域的对应区域时，1）将那个区域的相似性特征设置为0， 2）将那个区域是TP-TP连接的可能性设置为0，3）其他三个类的可能性设置为1/3，通过这种方式在训练阶段和测试阶段用双视图分类器来处理没有连接的区域。

为了选择双视图分类器的特征，我们使用了顺序浮动前向选择算法。

我们选择特征、评估双视图分类器的交叉验证程序在评估模块。

（这一小节主要说明了特征扩展的具体实现，双视图分类结果的输入和输出，没有对应匹配的区域的处理方法，在进行了这些基础的匹配、特征、分类器的设计和实现后，就可以实现基于案例的学习了）

基于案例的学习

应用双视图分类器的思想是因为当一个区域和另一个视图中的候选区域有相同的特征时，它的可疑性会增加。（两侧的相似性越大，在该视图中的肿块的可疑性越大），这个实际中乳腺X线摄影的阅片实践相似：放射科专家通过比较两个视图来判断是否有病变。在两个视图中都观察到了病变，那么癌症的可能性会增加。因为没有相似的可疑区域而在另一视图中找到的假阳将会有比较低的恶性分数。（恶性分数应该是一个独立的值，说明了真阳的可能性大小。），这是我们在双视图分析中想要去模拟的效果。然而应用了双视图分析后对真阳区域TP-FP的连接将产生一个比较低的恶性分数。以前研究显示这种消极影响（这应该是一种意料之中所出现的结果，为什么会说是消极影响）消除了双视图分类器对连接到另一视图正确区域的真阳区域产生的积极影响

为了提高基于案例水平的检测性能，提出了使用在训练双视图分类器的过程中的对应信息提出了一种方法。在这个研究中我们提出了一个和之前双视图分类器有相同配置的神经网络，但是使用对应信息自适应学习过程的修改学习策略。提出这个方法是是为了在训练阶段排除那些与另一视图候选区域相比有恶性迹象微弱的真阳。（两个都是真阳，但是排除相对比较低的那个真阳），这样分类器可以致力于检测双侧视图中至少一个视图，而不是双侧视图。我们期望使用这种方法，可能以基于病变的性能为代价，基于病例的性能将增加。我们使用两个阈值去决定在训练阶段一个病变是否要被排除。一个是最大恶性，一个是两个真阳的恶性分数的最小差异。

实验和结果

材料

病变乳腺X线摄影：454个病例（1816张图片），63例是筛查检测或间隔癌症（252图像）的先前检查。

正常乳腺X线摄影：483个病例（1932张图片）

数据集的严谨性：正常的乳腺照片被证实在检测之后两年内都没有癌症；所有病变案例至少在一个视图中有可视化肿块或者是结构失真（这个结构失真是怎么检测出来），也被病例学证实是恶性的；对于一些病人，之前的检测也可用。这些在研究中作为独立的案例（就是不考虑之间的联系，仅是把它作为独立的案例去看待）。使用Lumisys 85扫描仪将406例数字化，用Canon CFS300扫描仪将531例数字化。 所有乳房X线照片以50微米像素分辨率数字化，并平均下降至200微米分辨率，同时保持12位的灰度值深度。恶性肿块在经验丰富的放射科医生监督下由，研究人员注释。这些注释被用作参考标准。初始分类器集由一个小的独立数据集（302幅图像）来训练。

评价

FROC和5重交叉验证检测性能

不引入偏置的数据集建立方法

在交叉验证之后将五个测试数据集的所有区域的恶性分数汇集到一起，计算两种类型的FROC曲线，基于病变（检测到的病变的数目除以总的病变的数目）的和基于案例（在至少一个视图中检测到真阳就认为是一个真阳，最后就是检测到真阳的案例除以总真阳案例）的曲线。如果CAD区域的中心在注释区域里就认为该区域是真阳。为了得到单个性能评价，计算平均真阳分数。（MTPF）

使用辅助方式确定单视图和双视图分类器检测性能的统计显著性。

使用两种方式获得的恶性分数计算FROC,然后计算MTPF的差异。

之前进行匹配的时候不一定是一对一的，视图的区域在另外一个视图中最多的8个候选区域，最后会设置参数，取似然值大于0.5的连接

 

乳头的定位已经有比较好的算法，双视图联立的重点在对应区域的匹配。