基于图卷积神经网络的多模态医学图像分类方法及系统

技术领域

本发明涉及智能图像处理技术领域，尤其涉及一种基于图卷积神经网络的多模态医学图像分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

现在用于实验的医学数据集并不是很庞大，因此研究者们提出各种数据增强的方法来扩大数据集。主要对图像形状、位置、大小进行改变，这使在图像分类上有所提高，但存在后期过拟合现象。由于描述医学图像的数据种类越来越丰富，基于单图像的深度学习方法不能合理利用大量细粒度特征和高噪声中的有用信息。因此，如何减少过拟合现象并把不同模态的图像特征相贯穿，使其保留原始图像的特征以及如何弥补单模态图像的缺陷成为亟待解决的问题。

为此，在研究医学图像时，有人提出了一种基于分层全卷积网络模型，通过联合学习多尺度特征融合来定位疾病相关区域并给予判断。随后又利用非子采样剪切变换域实现基于局部数据模糊集和修正拉普拉斯的多模态医学融合方法，结果表明在视觉特征上对边缘和轮廓检测有很大的优势。同时，巩睿针对发病率较高的甲状腺肿瘤采用分类器融合的方法，将不同类别的复合加权方式运用到非贝叶斯融合框架上，提高了肿瘤分类的正确性。还将应用扩展到脑部，多模态的影响数据可从不同时空角度对大脑信息进行描述。阳洁等人构建了基于大脑数据的多模态特征选择模型，利用结构空间模态距离约束来测试对象两种模态的最优分类效果。以上这些方法考虑了多模态的优势，但没有结合医学图像以及图像间的联系的特性，这仍然是医学图像分类领域中的挑战。

目前医学图像分类依旧是计算机辅助诊断领域的一个重要研究方向，该技术通过处理医学影像为医生提供辅助诊断分析，从而提高准确率。在机器学习方法中，医学图像的分类需要依赖人工经验进行预先计算判断，这很难脱离人为处理；加上由于医学图像具有低分辨率、少标记、小数据集的特点，适用于大型数据集的学习方法很难达到最优效果。除此之外，单一图像会丢失分辨率低的隐藏特征或噪声高但信息丰富的突出特征，忽略了在一种疾病上多图像的联系性，因此影响了医学图像的分类效果。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于图卷积神经网络的多模态医学图像分类方法及系统，考虑单图像全局与局部间的关联性以及多图像间的相关互补性，建立图卷积神经网络模型对多模态医学图像进行分类，相比于现有的图像分类模型具有更高的稳定性和鲁棒性。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明第一方面提供了一种基于图卷积神经网络的多模态医学图像分类方法，包括以下步骤：

获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；

对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；

将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；

利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；

将全局特征和局部特征拼接，输出最后的分类结果。

进一步的，对核磁共振图像进行全局图像提取获得全局特征的具体步骤为：先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。

更进一步的，基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征的具体步骤为：

对标记图进行特征的弱监督学习获得标记图的特征；

对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征；

通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征，获得初步第一模态特征；

池化获得的初步第一模态特征得到最终的第一模态特征。

更进一步的，对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为：对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。

更进一步的，对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。

进一步的，将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征的具体步骤为：

对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征；

使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；

添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征。

进一步的，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为：使用典型相关分析计算不同模态特征间的相似性，以此来确定特征与特征间的联系，之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络，利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化；然后采用傅里叶变换思想设计汇集算子实现图池化，从而获得最终的局部特征。

更进一步的，图粗化和图池化的具体过程为：根据第一模态特征和第二模态特征，及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示，后采用相关性联系将节点表示转换成图表示，完成图粗化过程；在池化过程中使用基于图傅里叶变换的池化算子，充分利用特征信息联系进行汇集，完成图池化过程。

进一步的，先对全局特征进行最大池化，后对局部特征进行平均池化，再将全局特征和局部特征拼接获得分类结果。

本发明第二方面提供了一种基于图卷积神经网络的多模态医学图像分类系统，包括：

全局特征模块，被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；

第一模态特征模块，被配置为对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；

第二模态特征模块，被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；

局部特征模块，被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；

特征拼接模块，被配置为将全局特征和局部特征拼接，输出最后的分类结果。

以上一个或多个技术方案存在以下有益效果：

本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法。首先，对第一模态的核磁共振图像，使用深度学习网络进行全局特征提取，并以组间比较获取局部相关区域特征，利用弱注意力学习思想，把获取的注意力图进行正则化嵌入到提取的特征中，获取包含有位置信息的第一模态特征。对第二模态的正电子发射计算机断层显像图像使用补丁提取方法嵌入，进行分割并添加位置嵌入得到包含有位置信息的第二模态特征；然后与获取的第一模态特征相结合得到局部特征，利用模态所携带的互补信息来构建图卷积神经网络，设计汇聚层以便实现图池化，这充分利用节点特征和节点与节点之间局部结构关系实现特征融合；最终，将全局特征与局部特征拼接实现分类。与目前先进的医学图像分类相比较，本发明方法考虑了多模态图像间的相关性，在分类的精确度上有一定的优势。

本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法，考虑单图像全局与局部间的关联性以及多图像间的相关互补性，建立图卷积神经网络模型对多模态医学图像进行分类，相比于现有的图像分类模型具有更高的稳定性和鲁棒性。另外经过消融实验验证得到，本发明加入弱注意学习模块和多模态图卷积模块的模型的分类结果准确度与基线模型相比有较大提升，因此本发明的多模态医学图像分类方法能够得到更优的分类结果。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中基于图卷积神经网络的多模态图像分类方法的结构框架图；

图2为本发明实施例一中对图像标记图进行弱注意力学习的结构框架图；

图3为本发明实施例一中图卷积网络模型结构图；

图4为本发明实施例一中结合全局特征和局部特征进行分类的结构图；

图5为本发明实施例一中使用实验数据集测试基于图卷积神经网络的多模态图像分类学习框架分类有效性的效果图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

名词解释：

MRI：核磁共振图像，MRI为Magnetic Resonance Imaging的缩写。

PET：正电子发射计算机断层显像图像，PET为PositronEmission ComputedTomography的缩写。

BAP：注意力汇集，BAP为BilinearAttention Pooling的缩写。

RBM：受限玻尔兹曼机，RBM为RestrictedBoltzmann Machine的缩写。

CCA：典型相关分析，CCA为Canonical CorrelationAnalysis的缩写。

实施例一：

受到细粒度图像分析的启发，本发明提出一种基于图卷积神经网络的多模态医学图像分类方法。该方法考虑了单图像全局与局部间的关联性以及多图像间的相关互补性。主要采用的方法：弱注意力学习，补丁提取和多图像图卷积网络模型。如图1所示，基于图卷积神经网络的多模态图像分类方法的结构框架由5部分组成：全局图像提取模块，注意力学习，局部特征提取，多模态图卷积模块和分类模块。其中，全局特征提取模块中用ResNet-152网络实现特征提取，并将提取后的特征通过注意力机制输入全连接层，输出的结果与多模态图卷积模块输出的结果一起输入分类模块进行分类。局部特征提取包含两部分：结合注意力学习的组间感兴趣区域提取和补丁提取。由MRI图像获得标记图后，标记图结合ResNet-152网络提取特征后的输出作为输入进行注意力学习。PET图像作为补丁提取的输入，输出的结果与注意力学习的输出结果一起输入多模态图像卷积模块。多模态图卷积模块是依据模态相关性确定节点间的联系性，从公共空间中获得能进行图分类的详细特征信息。具体步骤如下：

基于图卷积神经网络的多模态医学图像分类方法，包括以下步骤：

步骤1，获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征。

先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。本实施例中，深度学习网络采用ResNet-152网络。

具体的，使用了预训练的ResNet-152网络来进行特征提取，获取初步全局图像特征，提取的初步全局图像特征表示为

具体步骤为：通过对核磁共振图像进行不同区域上的分配权重，得到注意掩码

（1）

其中，

步骤2，对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；对标记图进行注意力学习，是获取高准确率的重要过程之一。因此，基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征。

采用组间比较选择具有统计学差异的区域得到体素值改变的位置的集合，称为P值图，根据P值图获得标记图的具体过程为：对每幅图像对应的变化场计算行列式图像，图像中每一个体素值即表示体积变化情况，因此，对图像进行体素表面的组间差异进行检测，便可得到P值图，P表示统计学采用统计学差异的方法得到的差异概率，在本实施例中P表示差异导致的体素值改变的位置。为了勾画出形态结构差异较大的区域，根据P值图，选择以P为圆心，半径为20mm的区域，获得标记图。根据P值图获得标记图时，为避免区域之间的重叠，设定了空间欧式距离阈值来控制区域间的距离，距离设为18mm。为了能提取出最具差异性的区域特征，减少冗余，因此根据P值排序选择出前5-8个特征点的位置区域构成P值图。

基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征的具体步骤为：

1）对标记图进行特征的弱监督学习获得标记图的特征

2）对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。

更为具体的，首先对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而实现弱监督。本实施例中，注意力规则化过程采用正则化思想，通过正则化损失函数进行最优参数的选择，正则化损失函数如公式（2）所示：

（2）

其中，

（3）

其中，β为更新参数率值，

完成注意力规则化后，为了能够预测区域在整个物体的位置，通过定位注意力图来预测对象边界框，定义阈值ω分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注

最终，将具有位置标注的正则化注意力图

（4）

在公式中，

3）通过添加局部特征函数

（5）

4）池化获得的初步第一模态特征，串联带有位置标注

（6），

其中，

步骤3，局部补丁提取操作：将正电子发射计算机断层显像图像输入经过高斯约束的RBM得到第二模态特征。

具体的，对高斯约束的RBM进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的RBM得到包含有位置信息的初步第二模态特征；

使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；

添加位置信息后与初步第二模态特征进行拼接获得最终的第二模态特征P＇。

RBM是无向图模型，包括可见层

（7）

其中，

（8）

其中，

（9）

为了能够通过训练得到更准确的RBM参数

（10）

通过以上算法取得最优的参数数据

步骤4，利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征。具体的，使用典型相关分析计算不同模态特征间的相似性，以此来确定特征与特征间的联系，之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络，利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化；然后采用傅里叶变换思想设计汇集算子实现图池化，从而获得最终的局部特征。

为充分利用多模态相关互补性信息，本实施例使用带有池化的图卷积网络模型应用到分类中，图卷积网络模型结构如图3所示。

首先，根据第一模态特征和第二模态特征，及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示，后采用相关性联系将节点表示转换成图表示，完成图粗化过程。在池化过程中使用基于图傅里叶变换的池化算子，充分利用特征信息联系进行汇集，期望变换后能最大程度上保留原始特征的重要相关信息，完成图池化过程。

为了能实现多模态融合卷积，把第一模态特征

（11）

在公式中，

（12）

其中，

采用相关性联系将节点表示转换成图表示的具体过程为：设转换成的图表示为G，G由n个连通子图

（13）

其中

为了能够在语义空间中获取图结构和图信号信息，本实施例采用图傅里叶变换思想设计汇集算子实现池化，操作如下所示：

（14）

其中D是对角矩阵，

步骤5，分类过程：将全局特征和局部特征拼接输入softmax函数，输出最后的分类结果。

先对全局特征进行最大池化，后对局部特征进行平均池化，再拼接输入到Softmax函数获得分类结果。

在分类过程中将联系全局特征和局部特征。先对全局特征

（15）

最后，把所获得的最大池化后的结果

通过以CT（电子计算机断层扫描仪器）和CR（计算机X线成像）图像作为模型输入，使用Dense-121模型、VGG-16模型、ResNet-50模型和ViT网络模型方法得出ROC曲线趋势。如图5所示，图中ROC曲线与x轴围起来的面积占x与y轴整体面积的百分比统称为AUC（AreaUnder Curve），图表显示分别得出AUC的值为：采用CR和Dense-121模型的AUC值为75%，采用CT和GCC-16模型的AUC值为85%，采用CT和ResNet-50模型的AUC值为89%和采用CR和ViT模型的AUC值为94%。而采用CR和CT两种图像并使用MB-pGCN框架得出的AUC值为98%，经过对比显示本发明的方法的准确性，这也充分说明多图像间的相关性对分类的有效性。

实施例二：

本发明实施例二提供了一种基于图卷积神经网络的多模态医学图像分类系统，包括：

全局特征模块，被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；

第一模态特征模块，被配置为对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；

第二模态特征模块，被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；

局部特征模块，被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；

特征拼接模块，被配置为将全局特征和局部特征拼接，输出最后的分类结果。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。