导管图像识别方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种导管图像识别方法、装置、计算机设备及存储介质。

背景技术

科学技术的飞速发展给人们的生活带来了巨大的变化，推动了社会的进步，医学领域亦是如此。计算机技术、图像处理技术及医学物理的进展为医学诊断和治疗提供了越来越有力的工具。

心血管系统疾病是当今世界上威胁人类健康的主要问题之一，无论发病率还是死亡率都在各类疾病的前列，因此预防和治疗心血管疾病对人民的生命健康有着十分重要的意义。通过在医学图像上识别冠脉介入手术导管，并将识别出的导管与提取到的血管边界线进行配准，可将血管边界线准确的显示，从而减少在术中注射造影剂，减轻造影剂对患者的危害。

目前掌握确定导管位置的准确性对于血管边界显示以及血管介入手术至关重要。然而在实际场景中，DSA(Digital subtraction angiography，数字减影血管造影)设备的不同所呈现出的DSA影像有较大的差异，导致在DSA影像中识别导管较为困难，会出现识别不到，或识别不完全的情况出现.对后续的血管边界线配准造成极大影响。

发明内容

第一方面，本申请提供一种导管图像识别方法，包括：

实时采集导管造影图片；所述导管为血管介入手术中使用的导管；

对所有的所述导管造影图片进行对比度增强操作，得到增强后的导管造影图片；

将增强后的所述导管造影图片输入预先训练好的导管识别模型中，得到导管识别结果，根据所述导管识别结果，在所述导管造影图片中标记所述导管的位置。

进一步的，所述对所有的所述导管造影图片进行对比度增强操作，得到增强后的导管造影图片，包括：

对每一帧导管造影图片进行顶帽变换，得到各个血管造影图的掩膜图像，将各个所述掩膜图像与对应的导管造影图片重叠融合，得到对比度增强后的导管造影图片。

进一步的，所述导管识别模型通过预先训练得到，包括：

获取导管造影图片样本，并对所述导管造影图片样本进行数据扩充；

对扩充后的导管造影图片样本进行对比度增强，并将增强后的所述导管造影图片样本划分为训练集和测试集；

将所述训练集中的导管造影图片样本输入训练模型中训练，并根据预设的损失函数和测试集中的导管造影图片样本，迭代调整所述训练模型的参数直至所述损失值最小，完成训练。

进一步的，所述损失函数包括交叉熵损失函数，所述交叉熵损失函数表达式为：

式中，C为交叉熵损失值，n是训练数据的总数，y是导管识别输出的结果，a是实际的导管识别输出的结果。

进一步的，所述损失函数包括随机损失函数，所述随机损失函数表达式为：

式中S为随机损失值，X为导管识别的预测结果，Y为实际的导管识别结果。

进一步的，所述对扩充后的所述导管造影图进行对比度增强，包括：

将所述导管造影图片样本进行直方图均衡化，并将原图和进行所述直方图均衡化后的图片进行重叠，完成所述对比度增强。

进一步的，对所述导管造影图片样本进行数据扩充，包括：

将所述导管造影图片样本进行旋转、水平翻转、上下反转、放大缩小的方式，得到多个所述导管造影图片样，完成所述数据扩充。

第二方面，本申请还提供一种导管图像识别装置，包括：

采集装置，用于采集导管造影实时图片；

增强装置，用于对所有的所述导管造影图片进行对比度增强操作，得到增强后的导管造影图片；

识别装置，用于将增强后的所述导管造影图片输入预先训练好的导管识别模型中，得到导管识别结果，根据所述导管识别结果，在所述导管造影图片中标记所述导管的位置。

第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的导管图像识别方法。

第四方面，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执所述的导管图像识别方法。

本发明公开了一种导管图像识别方法、装置、计算机设备及存储介质，该方法包括：采集导管造影图片；对所有的所述导管造影图片进行对比度增强操作，得到增强后的导管造影图片；将增强后的所述导管造影图片输入预先训练好的导管识别模型中，得到导管识别结果。通过训练好的模型，以及对采集到的导管造影图片进行对比度增强，使得识别结果更加完整明显，从而提高心血管手术的安全性和准确率，并且因为导管识别结果更完整明显，使得导管所在血管的位置更加清楚，从而使得医生可以更清楚直观的确定导管以及导管所在血管的位置，从而可以减少造影液的使用。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例一种导管图像识别方法流程示意图；

图2示出了本申请实施例导管造影图片对比度增强前示意图；

图3示出了本申请实施例导管造影图片对比度增强后示意图；

图4示出了本申请实施例导管识别结果示意图；

图5示出了本申请实施例一种导管图像识别装置结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

本申请的技术方案应用于对导管图像的识别，通过对获取的导管图像进行对比度增强，并训练模型对处理后的图像进行识别，来获得图像中导管的位置，从而可以使得导管所在血管边界更加明显，并减少术中注射的造影剂，减轻造影剂对患者的危害。

其中，上述导管为心血管治疗手术时所使用的导管，而非血管，例如通过心脏导管术植入人体内的导管，导管会在血管中穿行进行对应的手术作业，通过造影液处理，数字减影血管造影设备可以拍摄到导管在体内的形态，并且造影液也可以显示本来难以看见的血管壁。通过对导管位置的确定，以将导管和其他人体组织区分开来，即为上述的导管识别，以辅助手术。

此外，通过导管可以向血管内部输入造影液，因为使得导管的识别更加精准，所以可以使用更少的造影液来进行血管边缘的确定，使得手术过程中，医生可以更好的把握手术场景。

接下来以具体实施例说明本申请的技术方案。

实施例1

如图1所示，本申请实施例的导管图像识别方法包括以下步骤：

步骤S100，实时采集导管造影图片。

导管造影图片通数字减影血管造影设备(DSA)拍摄，该设备主要用于血管造影，该设备会实时监控手术场景，拍摄导管进入血管时图像，所得到的图像即为导管造影图片。

可以理解的是，手术过程是动态的，因此所采集的导管造影图片是连续的多帧图片，DSA拍摄后，会将这些图片发送到和DSA连接的主控电脑或者主控设备上，主控设备通过专门的采集卡来获取这些图片。

拍摄时获取的图片为实时图片，可以理解为DSA拍摄的是视频，视频中含有多个帧，每一帧图片都会被采集然后处理。

步骤S200，对所有的所述导管造影图片进行对比度增强操作，得到增强后的导管造影图片。

对这些导管造影图片进行对比度增强操作，具体的，在获取导管造影图片时，可以保留原图，复制出一个复制图，然后对复制图进行顶帽变换，经过顶帽变换后的图作为掩膜，重叠覆盖在原图上，使得两图的数据融合叠加，起到对比度增强的效果。

其中，顶帽变换为一种图像处理方法，是通过将原始图像键入图像开运算结果，得到图像噪声，得到的噪声图作为掩膜重叠覆盖在原图上，使得原图中的部分区域被增强，进而起到对比度增强的效果。

通过DSA拍摄得到的图片为灰度图，如图2所示，为通过DSA拍摄心脏部分得到的原图，肉眼可见的可以发现，图中的骨骼、身体组织、导管这些部分并不明显，使得用阴影表示的骨骼和组织这些图像特征并不明显。而通过顶帽变换，得到图像中的噪声图，然后再和图2的原图重叠融合，得到如图3所示的对比度增强后的图片。

显然，图3中，骨骼和导管等组织比图2中的要更加清晰，且图片中背景和物体的对比更加明显，这样便于后续的识别操作。

步骤S300，将增强后的所述导管造影图片输入预先训练好的导管识别模型中，得到导管识别结果，根据所述导管识别结果，在所述导管造影图片中标记所述导管的位置。

本实施例中，通过训练好的导管识别模型进行导管识别，通过将经过上述步骤S200处理过的图片输入导管识别模型后，就可以实现导管的识别。识别之后，为了使得医生可以更好的用肉眼从上述的导管造影图中识别出导管，需要将代表导管的区域标记起来，标记的方式可以是使用和周围不同的颜色填充导管所在区域，使得医生可以确定导管当前的位置和形态。

如图4所示，图中被标记的浓黑色区域即为经过识别后标记的导管区域100。除了黑色外，也可以使用红色、黄色等颜色进行标记，使得导管位置更加明显。识别度更高。

其中，本申请还提供上述导管识别模型的训练方法。

首先，获取导管造影图片样本，并对所述导管造影图片样本进行数据扩充。

可以理解的是，导管造影图片只有在进行类似冠脉介入手术这类需要导管的手术时，才能拍摄得到，而且因为DSA的不同，人体素质的不同等原因，各个导管造影图片都会有差别，因此对模型进行训练时，最好使用同一个人使用同一台DSA时拍摄的导管造影图片作为样本进行训练。

因为作为样本的图片稀少，所以需要对这些图片数据进行扩充，扩充时，可以采用的图像旋转，水平翻转，上下反转，放大缩小，裁剪的方式进行数据扩充。以得到多个作为样本的图片，这些样本图片被经过上述方式处理成了和原图不同的图片，而其中的导管位置、形态、种类依旧是同一个导管，丰富了训练样本中导管在图中的各种不同形态。

然后，可以对扩充后的所述导管造影图片样本进行对比度增强，并将所述导管造影图片样本划分为训练集和测试集。

可以理解的是，对于扩充后的导管造影图，也会存在背景和物体之间对比度不高的情况，因此也会进行对比度增强，来方便模型训练。

具体的，可以使用类似步骤S200中的方法进行对比度增强，也可以使用直方图均衡化等方式对图像进行处理，处理完后，将原图和处理后的图重叠融合，以实现对比度增强，增加导管和背景的对比度。

此外，还可以将这些图片分为训练集和测试集，训练集的图片用于对模型进行训练，测试集的图片用于在训练完成后进行测试训练效果。对于测试集内的图片，需要将导管位置进行标记，使得模型可以识别该位置是导管。其中，可以将扩充后90％的图片作为训练集，剩下的作为测试集。

然后就可以将所述训练集中的导管造影图片样本输入训练模型中，并根据预设的损失函数，调整所述训练模型的参数直至所述损失值最小，完成训练。

训练用的模型可以是神经网络或者马尔科夫模型等用于图像识别的模型，训练结束后，通过输入训练集中的图像来对训练后的模型进行验证，然后通过损失函数来进行控制。

本实施例中的模型训练可以用到一下两种损失函数。

一种是交叉熵损失函数(Cross Entropy Loss)，其表达式为：

式中，C为交叉熵损失值，n是训练数据的总数，y是导管识别输出，a是正确导管识别输出的结果。

另一种是随机损失函数(Dice Loss)表达式为：

式中S为随机损失值，X为预测结果，Y为真实结果。

可以同时使用上述两个损失函数作为模型的损失函数，进行评估，也可以只使用一个损失函数进行评估。通过调整模型的参数和种类，保存使得损失函数的值最小的模型作为训练好的模型，完成对导管识别模型的训练。

使用训练好的识别模型进行识别，得到的结果如图4所示。

图4中，被纯黑色图覆盖的部分即为识别出来的导管区域100，识别出该导管区域，可以为之后的血管边界确定等操作提供便利。

可以理解的是，步骤S100中获取的是实时图像，且拍摄的是连续的多帧图片，经过上述方式处理后，可以快速的在显示屏上显示，告知医生当前导管的位置，可以更好的把控手术进度。即根据本申请实施例的导管图像识别方法，可以使得医生能够在手术中，实时观察到导管在人身体中的位置和动向，并且因为通过对比度增强，使得图像中其他的组织结构和背景的区别度大大增加，可以更好的辅助手术，确保手术的安全。

确认导管位置后，也可以根据导管的位置，进行血管边缘的确认，可以理解的是，为了确认血管边缘，会使用造影液，根据造影液流过血管后的显影效果，显示出导管所在血管的心跳。

因为通过本申请的方式，在通过模型识别前，对导管造影图进行顶帽变换增加了对比度，使得进行识别时的图片中各个区域之间的辨识度更高，使得识别之后，导管区域内导管的成分更加完整，从而使得导管位置更加确定，进而使得导管所在血管的位置也更加精确，进而可以减少造影液的使用。

本申请的导管图像识别方法，通过DSA实时获取手术中的导管造影图片，由主控电脑对这些图片进行对比度增强后，输入训练好的模型中进行识别，得到识别后的导管图片，使得在手术中，导管的位置可以被医生实时监控，同时导管是在血管内部的，确定了导管的位置就确定了血管的位置，再通过适量的造影液，可以辅助后续的血管边界寻找等操作。因为使用顶帽变换的方式进行对比度的增强，使得处理后的图像更加完整，识别结果更加精确，从而可以减少造影液的使用，使得手术对患者身体的影响更小。

实施例2

如图5所示，本申请还提供一种导管图像识别装置，包括：

采集装置10，用于采集导管造影实时图片；

增强装置20，用于对所有的所述导管造影图片进行对比度增强操作，得到增强后的导管造影图片；

识别装置30，用于将增强后的所述导管造影图片输入预先训练好的导管识别模型中，得到导管识别结果。

本申请提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的导管图像识别方法。

本申请提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执所述的导管图像识别方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。