一种X射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法

技术领域

本发明属于X射线透视图像处理技术领域，具体涉及一种X射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法。

背景技术

经皮冠状动脉介入治疗是针对冠心病的主要方法。该手术是在X射线透视图像下观察导管和导丝当前的位置，因此将X射线透视图像下的导丝部分分割出来，对于后续改善X射线透视图像中导丝部分成像质量具有重要的应用价值。

近期随着深度学习技术在各领域都显示出了强大的特征学习能力，基于深度学习的X射线透视图像下的导丝分割方法采用U-Net结构作为主体，如图5所示。将X射线透视图像作为模型的输入，输出每个位置属于导丝的概率值。

该基于深度学习的分割网络算法独立判断每个像素属于导丝的概率值，容易将导丝中信噪比较低的部分漏掉，导致最终的导丝分割结果并不是连续的。

最短路径算法处理的是图结构的数据。图中有起点和终点，点和点用边连接，点和点之间的距离就是边的大小。算法的目的是找到一条从起点到终点的路径，让路径满足距离最短的条件。在常见的最短路径算法中，Dijkstra算法采用贪心的思想，从起点开始，找当前距离最短的点，循环，直到终点加入路径中。

该算法需要手动设置起点和终点，而且应用到图像领域，仅用像素作为距离容易受到噪声的干扰，导致路径泄露到非导丝的部分。

发明内容

本发明解决的技术问题有三个：一个是X射线透视图像下基于深度模型的导丝分割网络分割结果不连续的问题；一个是最短路径搜索需要手动设置起点终点的问题；最后一个是最短路径算法中距离的设置导致的路径泄露问题。于是提出将基于深度模型的导丝分割网络结果与最短路径搜索算法结合的方法。所谓算法结合的方法是指：在导丝分割网络得到结果之后，将结果与原像素值加权平均作为最短路径的距离；最短路径算法的起点终点自动设置在导丝分割网络结果断开的两端。最终得到完整的导丝分割结果。

为实现上述目的，本发明采用的技术方案是：

一种X射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法，其步骤为：

步骤1：构建并训练OCR U-Net，得到X射线透视图像导丝分割模型；

步骤2：用导丝分割模型的结果与每个位置的像素进行加权求和，作为最短路径算法的距离；

步骤3：构建Diikstra最短路径算法，得到X射线透视图像导丝分割后处理方法；

步骤4：采用训练好的X射线透视图像导丝分割模型及最短路径算法对包含导丝的X射线透视图像进行导丝分割。

进一步地，步骤1所述的OCR U-Net包括编码器和解码器；

所述编码器由五个卷积块及四个池化层组成。每个卷积块由滤波器大小为3*3的卷积层、批归一化层、非线性激活层组成，按该顺序重复两遍构成一个卷积块，池化层采用最大池化，池化层位于两个卷积块之间；

所述解码器由五个卷积块及四个OCR注意力块组成，每个卷积块由滤波器大小为3*3的卷积层、批归一化层、非线性激活层组成，按该顺序重复两遍构成一个卷积块；OCR为对象上下文表示(Object Contextual Representation)，OCR块由对象区域块、卷积块、对象上下文聚合块、对象注意力块组成，所述对象区域块由1*1卷积层、批归一化层、非线性激活层、1*1卷积层组成，所述卷积块由3*3的卷积层、批归一化层、非线性激活层组成，所述对象上下文聚合块由矩阵乘法组成，将上下文特征和对象聚合，所述对象注意力块由多个1*1卷积层、批归一化层、非线性激活层组成。

进一步地，步骤1所述的OCR U-Net的损失函数为：

其中，x

进一步地，步骤2的距离的计算方式为：

distance

其中，pixel

进一步地，步骤3的最短路径算法采用Dijkstra最短路径算法。

进一步地，步骤4的X射线透视图像导丝分割模型的结构主体为OCR U-Net，模型参数经过优化器迭代更新过。步骤4的X射线透视图像导丝分割模型的后处理部分能够自动找到模型预测结果断开的部分，然后使用最短路径算法将断开的预测部分连接。

上述方案中，所构建的最短路径算法将分割模型输出图像中导丝断开的两点作为起点和终点。所构建的最短路径算法每次将当前路径中最短距离的点加入路径，直到终点被加入路径为止。

与现有技术相比，本发明具有的有益效果是：

1.本发明方法首先构建X射线透视图像下基于深度学习的OCR U-Net导丝分割网络，经过大量数据训练后得到泛化能力强的推理模型。即使新的图像与已有数据相差较大，也可以无需人工设置任何参数得到初步X光透视图像下导丝的概率分布图。

2.通过其编码器-解码器结构有效地编、解码不同尺寸下的特征图。相比于传统U-Net，其在编码层与对应的解码层之间添加了OCR注意力块，既利用深层的特征信息，又结合同尺寸编码特征，在保证确定导丝语义信息的前提下提高了导丝分割结果的精度，为基于深度学习的导丝分割提出一种新型网络。

3.将基于深度学习的导丝分割算法的结果与原像素值进行加权求和作为最短路径算法中使用的距离，结合了经过特征提取能力较强的深度学习网络的优点，让图像领域最短路径搜索算法变得鲁棒，可以减少路径泄露的问题产生。

4.将传统最短路径算法融入基于深度学习的导丝分割算法，有效利用概率分布图与原图的信息，可以将分割网络预测的导丝断开的部分连接，提升了整个导丝分割方法的精度。

5.本发明可以自动选取导丝分割网络得到的概率分布图中断开的部分作为最短路径算法起点和终点，无需传统的手工设置起点终点，是一种端到端的X射线透视图像导丝分割算法。

附图说明

图1是获取的包含导丝的X光透视图像；

图2是通过本发明得到的二值结果叠加在原图上的效果图像；

图3是OCR U-Net模型得到的概率分布图叠加在原图，并且通过搜索找到最短路径算法的起点终点示意图；

图4是最短路径算法搜索到的结果与概率分布图组成的二值分割结果叠加在原图的效果图像；

图5 OCR U-Net网络结构图，圆圈为OCR块；

图6 OCR块内部结构。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

实施例1：参见图1-图6，一种X射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法，其步骤为：

步骤1：获取包含导丝的X光透视图像；

步骤2：所述X光透视图像经过训练好的OCR U-Net网络推理，得到X射线透视图像导丝的概率分布图；

步骤3：用所述OCR U-Net网络推理的导丝概率分布图与所述X光透视图像对应位置的像素加权求和，得到与原图相同尺寸的距离矩阵；

步骤4：从上至下搜索所述导丝概率分布图中断开的两点作为Dijkstra最短路径算法的起点和终点；

步骤5：将所述距离矩阵每个点与起点对应值之差的绝对值作为距离，通过Dijkstra最短路径算法，得到断开两点之间路径坐标组；

步骤6：将所述导丝概率分布图中概率大于0.5的位置与所述最短路径算法得到的路径坐标组位置设置为1，其余位置设置为0，得到X光透视图像导丝二值分割结果。

具体实施例：本发明一种X射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法，包括步骤1-步骤6，其步骤详细描述为：

步骤1：获取包含导丝的X光透视图像。如图1所示。

步骤2：所述X光透视图像经过训练好的OCR U-Net网络推理，得到X射线透视图像导丝的概率分布图。所述概率分布图经二值化在原图上的显示结果如图3所示。所述OCR U-Net模型结构如图5所示。具体由编码器和解码器组成。所述编码器由五个卷积块及四个池化层组成。每个卷积块由滤波器大小为3*3的卷积层、批归一化层、非线性激活层组成，按该顺序重复两遍构成一个卷积块。池化层采用最大池化，池化层位于两个卷积块之间。所述解码器由四个卷积块及四个OCR注意力块组成。每个卷积块由滤波器大小为3*3的卷积层、批归一化层、非线性激活层组成，按该顺序重复两遍构成一个卷积块。OCR为对象上下文表示(Object Contextual Representation)，其结构如图6所示。OCR块由对象区域块、卷积块、对象上下文聚合块、对象注意力块组成。所述对象区域块由1*1卷积层、批归一化层、非线性激活层、1*1卷积层组成。所述卷积块由3*3的卷积层、批归一化层、非线性激活层组成。所述对象上下文聚合块由矩阵乘法组成，将上下文特征和对象聚合。所述对象注意力块由多个1*1卷积层、批归一化层、非线性激活层组成。网络最后一层接一个sigmoid激活层，用于将输出映射到区间[0，1]。

步骤2中训练模型需要的标签，如图2。将成对的X射线透视图像、导丝标签数据送给OCR U-Net训练，该模型将输出与输入相同尺寸的概率图，每个像素位置都有一个表示该像素属于导丝的概率值。将概率值不为0的视为导丝。将网络输出结果和标签一起送到损失函数中：

其中，x

进一步地，得到的损失值将被Adam优化器更新到网络每个参数中，所有训练数据都被遍历一次视为完成一轮训练。本模型将重复200轮上述训练过程。至此得到一个收敛的导丝分割模型。

步骤3：用所述OCR U-Net网络推理的导丝概率分布图与所述X光透视图像对应位置的像素加权求和，得到与原图相同尺寸的距离矩阵。

其中，步骤3的距离的计算方式为：

distance

其中，pixel

步骤4：从上至下搜索所述导丝概率分布图中断开的两点作为Dijkstra最短路径算法的起点和终点。

具体地，步骤4的X射线透视图像导丝分割模型的后处理部分通过从上至下搜索概率值大于0.5，且八邻域内超过四个位置概率值小于0.5的点作为起点，下一个概率值大于0.5的点作为终点，如图3中所示的两点，自动找到模型预测结果断开的部分。然后使用Dijkstra最短路径算法将断开的预测部分连接。

步骤5：将所述距离矩阵每个点与起点对应值之差的绝对值作为距离，通过Dijkstra最短路径算法，得到断开两点之间路径坐标组。

具体地，Dijkstra最短路径算法将起点加入路径列表，遍历列表中每个点到周围点(八连通域)的距离，挑选距离最小的点作为下一个加入路径的点，然后重复遍历列表中每个点到周围点的距离，到终点被加入到路径中为止。此时得到了网络结果中断开的导丝部分，将该路径与网络输出结果合并，得到完整的导丝，如图4所示。

步骤6：将所述导丝概率分布图中概率大于0.5的位置与所述最短路径算法得到的路径坐标组位置设置为1，其余位置设置为0，得到X光透视图像导丝二值分割结果。

效果评估：

一种X射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法，为经皮冠状动脉手术(PCI)医师在成像设备上更好地观察导丝位置提供了一种有效的检测方法。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。