基于多视角多模态的乳腺能谱图像分类系统、设备及介质

技术领域

本申请涉及医疗影像处理技术领域，特别是涉及基于多视角多模态的乳腺能谱图像分类系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

乳腺癌是女性常见的癌症，是导致女性死亡率增高的原因之一。对患者进行早期的检查可以显著降低乳腺癌患者的死亡率。目前，乳腺癌检查的措施主要有乳腺钼靶检查、乳腺超声检查、乳腺MRI和乳腺能谱摄影等。其中，乳腺能谱摄影是比较新颖的筛查乳腺癌的方法。这种方法能同时得到多幅乳腺的图像，具有较高的敏感性和特异性，是一种具有良好应用前景的技术。

通过面向医学图像的人工智能技术可以帮助影像科医师在早期发现乳腺病变。如今利用人工智能技术构建的乳腺癌辅助诊断系统已经取得不错的成效，其结果也获得了临床医生的认可。然而现有深度学习的方法仅将自然图像的算法迁移到乳腺能谱图像中，没有考虑乳腺能谱图像多个视角的特点，对于乳腺能谱影像中的多种模态也缺乏有效利用。所以这些方法对乳腺能谱图像分类的准确率不高。为了克服通用深度学习分类算法的缺点，需要对乳腺能谱图像分类模型进行改进。

综上所述，乳腺能谱图像精准分类的问题，尚缺乏行之有效的解决方案。

发明内容

为了解决现有技术的不足，本申请提供了基于多视角多模态的乳腺能谱图像分类系统、设备及介质；解决乳腺能谱图像精准分类的问题。

第一方面，本申请提供了基于多视角多模态的乳腺能谱图像分类系统；

于多视角多模态的乳腺能谱图像分类系统，包括：

获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；

预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；

特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；

特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。

第二方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的系统的功能。

第三方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述系统的功能。

与现有技术相比，本申请的有益效果是：

本发明首先对采集到的乳腺能谱图像进行裁剪、图像增强、归一化以及尺度调整处理，然后对深度学习分类模型进行改进，输入两个视角和两种模态的乳腺能谱图像，检测乳腺能谱图像的两个视角和两种模态，并在相应的图像提取外观特征再进行分类。通过这种方式，可以获得不同视角和不同模态下的乳腺图像特征，从而为精确的分类提供更多有用的信息，提高乳腺能谱图像分类的精度。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明的基于多视角多模态的乳腺能谱图像分类方法流程图；

图2(a)-图2(d)是本发明训练多视角多模态分类模型时设定的两个视角及两种模态乳腺能谱图像。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了基于多视角多模态的乳腺能谱图像分类系统；

如图1所示，基于多视角多模态的乳腺能谱图像分类系统，包括：

获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；

预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；

特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；

特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。

进一步地，所述获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；多视角多模态，是指：两种视角两种模态的乳腺能谱图像。

进一步地，所述乳腺能谱图像包括能谱低能图像和能谱对比增强图像。

能谱低能图像指的是病人在注射碘对比剂后，在峰值千伏电压为26-31kVp时，X射线穿过乳腺获得的图像。

能谱高能图像是在峰值千伏电压为45-49kVp时，X射线穿过乳腺获得的图像。

能谱对比增强图像是：对高能图像与低能图像，使用加权对数减法得到的图像。

所述两种视角两种模态的乳腺能谱图像，包括：同侧乳腺的CC位能谱低能图像、同侧乳腺的MLO位的能谱低能图像、同侧乳腺的CC位能谱对比增强图像和MLO位的能谱对比增强图像。采用在同一侧乳腺不同拍摄视角的图像或采用同侧乳腺不同模态的图像，能够提高图像的分类精度。

这4张图像必须同为左侧乳房的影像或者同为右侧乳房的影像。具体地，如图2(a)-图2(d)所示，为乳腺能谱图像的实例图，图2(a)、图2(b)为能谱低能图像，图2(c)、图2(d)为能谱对比增强图像。乳腺能谱图像可以预先存储在计算机设备的存储器中，当需要对其进行处理时，处理器直接从计算机设备的存储器中读取乳腺能谱图像。当然，处理器也可以从外部设备中获取乳腺能谱图像。比如，将待检测对象的乳腺能谱图像存储在云端，当需要进行处理操作时，处理器从云端获取待检测对象的乳腺能谱图像。本实施例对处理器获取乳腺能谱图像的具体方式不做限定。

进一步地，所述预处理模块，包括：

图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；

图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进行图像增强处理；

图像归一化子模块，其被配置为：对图像增强后的图像进行图像归一化处理；

尺度调整子模块，其被配置为：对图像归一化处理后的图像进行尺度调整处理。

进一步地，所述图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；具体是指：

将每个乳腺能谱图像转换成灰度图像；

对每一幅灰度图像，判断每一列的像素值是否是全部黑色背景，如果某一列为全部黑色背景，则将该列裁剪掉。

示例性的，由于采集到的图像黑色边缘背景对特征的提取会产生一定的影响，所以在预处理时选择去除黑色边缘背景。将能谱图像转成灰度图，通过遍历的方法判断某一列是不是空白内容，即计算这一列中的像素值是否是全黑色背景。而在灰度图里，像素的灰度值为0代表像素为纯黑色，255代表像素为纯白色，所以我们可以设置一个接近0的阀值：如果一个像素的灰度值低于这个阀值，我们就可以判定这个像素为黑色。

进一步地，所述图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进行图像增强处理；图像增强处理所采用的方式为：

对裁剪后的乳腺能谱图像进行旋转、翻转、平移、增加噪声或增加对比度等。

应理解的，图像增强处理可以有目的地强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别。同时通过对图像进行旋转、翻转、平移、增加噪声等操作，可以增加图像的数量，防止网络发生过拟合，也可以增强分类网络的鲁棒性。

进一步地，所述图像归一化子模块，其被配置为：对图像增强后的图像进行图像归一化处理；是指对增强后的图像进行全局对比度归一化处理。

示例性的，对增强后的图像进行全局对比度归一化处理，具体方法为：

对于M×N像素大小的图像，令X

进一步地，所述尺度调整子模块，其被配置为：对图像归一化处理后的图像进行尺度调整处理；具体步骤包括：

将归一化之后的图像调整到224×224像素大小，以满足分类网络的输入要求。

进一步地，所述特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；所述特征提取采用多层卷积神经网络来进行；对每个乳腺能谱图像进行特征提取。网络的前几层学习的是相对泛化的特征，比如边缘、颜色等，而靠后几层的网络学习到的特征更高层。

将乳腺能谱的4张图像分别输入到特征提取网络中，将模型的第一个全连接层的输出作为提取的深度特征。可以采用4个输入经过相同的分类网路，也可以采用不同的分类网路针对性的提取特征。

特征提取网络由多个卷积层组成，以最常用的Res2Net 50为例，使用前4个卷积块作为特征提取网络，则输入的原始图像大小为(w，h，3)，经过4个卷积网络块会下采样16倍，即输出的特征映射是(w/16，h/16，3)。在本申请中的4种能谱图像的融合模型中，4种能谱图像共享特征提取网络，即输入到相同网络中输出各自的特征映射。

所述特征提取网络由多层卷积神经网络为骨干网路，在多个不同尺度的中间层提取图像特征。其骨干网络可以采用多种架构，可以采用VGGNet，ResNet，SeResNet，ResNext，WideResNet，Res2Net等。在本申请的实施例中并不进行具体限定。表1为利用本发明方法对乳腺能谱图像进行分类的精确度。

进一步地，所述特征提取模块之后，所述特征分类模块之前，还包括：特征融合模块。所述特征融合模块，用于对同侧乳腺两个视图和两种模态的特征进行特征融合。

所述特征融合模块通过特征融合网络来实现。

将同侧乳腺两个视角两种模态的能谱图像的图像特征进行融合，具体方法为：将同侧乳腺提取的CC位能谱低能图像特征F

进一步地，所述特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果；分类器是预训练的分类器，其预训练的步骤包括：

构建神经网络模型；

构建训练集、验证集和测试集；所述训练集、验证集和测试集中均包含已知乳腺良性或恶性分类结果的乳腺能谱图像的特征；

基于训练集、验证集和测试集，对神经网络模型进行训练，得到训练好的分类器。

所述分类器为softmax分类器。

基于一般的深度学习分类模型，本发明提出了多视角多模态模型，在输入两个视角的乳腺能谱图像的同时，也将其两种模态的图像输入到分类模型；模型根据获得的乳腺能谱图像信息提取多种特征并进行分类。本发明能够获得多个视角的乳腺图像信息，同时能够得到不同模态的乳腺图像信息，提取有效的图像特征进行再分类，从而获得更精确的分类结果。

表1利用不同特征提取网络分类精确度统计比较

实施例二

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备完成上述实施例一所述的系统的功能。

实施例三

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的系统的功能。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。