基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法及系统。

背景技术

由于成像技术的迅速发展，医学影像在疾病筛查、早期诊断、治疗选择和预后评估等方面发挥着举足轻重的作用。影像组学是一种高通量地从放射影像中提取大量特征，采用自动或半自动分析方法将影像学数据转化为特征数据空间。相较于传统的临床医学仅仅从视觉层面解读医学影像，影像组学可以深入挖掘图像的生物学信息，并提供临床决策支持。

随着计算机技术、人工智能等学科的快速发展，机器学习算法能够分析复杂的数据，可用于许多疾病的诊断。以卷积神经网络为代表的深度学习方法能够自动地从医学影像中提取局部特征，并根据这些特征进行疾病诊断，但目前现有的采用深度学习方法对医学影像进行处理，以分析病情的方法准确率较低。

发明内容

本发明提供了一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法及系统，以至少在一定程度上解决现有技术所存在的上述技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法，所述基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法包括：

获取待处理的脑部的多模态磁共振影像与影像中的感兴趣区域分割文件；

基于所述多模态磁共振影像与感兴趣区域分割文件，对各个模态的影像进行影像组学特征提取，并通过伯努利试验对提取到的统计、形状与纹理特征进行统一筛选降维，增强特征选择的可解释性；

采用预设的深度学习模型对所述多模态磁共振影像进行特征提取，得到所述多模态磁共振影像的深度学习特征，并输出三维焦点图；其中，所述深度学习模型在训练时，采用预设的新型聚焦交叉熵损失函数对模型训练过程进行约束；

基于所述深度学习特征以及统一筛选降维后的影像组学特征，采用预设的多元特征融合模型，得到所述多模态磁共振影像所对应的脑膜瘤病理分级结果。

进一步地，所述对提取到的所有统计、形状与纹理影像组学特征进行统一筛选降维，包括：

使用伯努利试验法对所有影像组学特征按照特征重要性进行统一筛选降维。

进一步地，所述使用伯努利试验法对所有影像组学特征按照特征重要性进行统一筛选降维，具体为：使用随机森林作为决策分类器，使用Gini系数衡量特征的重要程度，将提取到的所有影像组学特征作为输入，进行预设次数的伯努利试验；通过多次生成影子特征，比较影子特征与原特征的重要度，剔除重要度低于影子特征的原特征，实现特征的筛选与降维。

进一步地，深度学习模型为基于3D卷积的残差网络，共有10个3D卷积层。

进一步地，所述深度学习模型的构建及构建过程，包括：

对多模态磁共振影像进行预处理，以预处理后的多模态磁共振影像构建样本数据集；其中，所述预处理包括：增强影像中感兴趣区域特征，并对影像的外围区域进行裁剪及尺寸调整，使处理后的影像适合所述深度学习模型的输入；

采用3D残差结构，构建卷积神经网络，作为所述深度学习模型；

利用所述样本数据集对所述深度学习模型进行训练；其中，所述深度学习模型将多模态磁共振影像作为多个通道，共同进行特征提取；并采用预设的新型聚焦交叉熵损失函数对对特征提取与分类过程进行约束。

进一步地，所述聚焦交叉熵损失函数的表达式为：

其中，α表示类别平滑系数，用来聚焦少类别样本；γ表示聚焦系数，用来聚焦于难分类样本；p

其中，β为平滑系数，K为类别数，y为原始标签。

进一步地，所述三维焦点图基于所述深度学习模型最后一层卷积输出的池化前的特征图与全连接层权重绘制，以表示特征图与类别的对应关系，将模型的分类依据进行可视化；其中，所述三维焦点图的绘制原理为：

M＝reshape(ω

其中，M表示三维焦点图，ω

进一步地，所述多元特征融合模型为卷积神经网络模型。

进一步地，所述基于所述深度学习特征以及统一筛选降维后的影像组学特征，采用预设的多元特征融合模型，得到所述多模态磁共振影像所对应的脑膜瘤病理分级结果，包括：

加载预训练多元特征融合模型，冻结其卷积层权重，并初始化其全连接层；

将统一筛选降维后的影像组学特征与全局平均池化后的深度学习特征分别归一化，并将归一化后的深度学习特征与影像组学特征拼接成列向量；

将所述列向量作为所述多元特征融合模型全连接层的输入数据输入模型，最终得到脑膜瘤病理分级结果；并使用聚焦交叉熵对分类过程进行约束。

另一方面，本发明还提供了一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级系统，所述基于聚焦交叉熵的多元特征融合的脑膜瘤分级系统包括：

多模态磁共振影像数据获取模块，用于获取待处理的脑部的多模态磁共振影像与影像中的感兴趣区域分割文件；

影像组学特征提取模块，用于基于所述多模态磁共振影像数据获取模块所获取的多模态磁共振影像与感兴趣区域分割文件，对各个模态的影像进行影像组学特征提取，并通过伯努利试验对提取到的统计、形状与纹理特征进行统一筛选降维，增强特征选择的可解释性；

深度学习特征提取模块，用于采用预设的深度学习模型对所述多模态磁共振影像数据获取模块所获取的多模态磁共振影像进行特征提取，得到所述多模态磁共振影像的深度学习特征，并输出三维焦点图；其中，所述深度学习模型在训练时，采用预设的新型聚焦交叉熵损失函数对模型训练过程进行约束；

脑膜瘤病理分级模块，用于基于所述深度学习特征提取模块得到的深度学习特征以及所述影像组学特征提取模块得到的影像组学特征，采用预设的多元特征融合模型，得到所述多模态磁共振影像所对应的脑膜瘤病理分级结果。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明技术方案结合多模态磁共振影像的影像组学特征与深度学习特征，对脑膜瘤进行分级，有效提高了脑膜瘤病理分级的准确性；并设计了聚焦交叉熵，以解决类别不平衡问题，具有较高的准确性与较强的可解释性；通过本发明最终可以得到脑膜瘤病理等级与可视化决策依据，从而可辅助医生进行诊断。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法的执行流程示意图；

图2是本发明实施例提供的深度学习模型的结构示意图；

图3是本发明实施例提供的多元特征融合模型的结构示意图；

图4是本发明实施例绘制的可视化三维焦点图；其中，(a)为肿瘤冠状位图，色块区域为模型判断依据，(b)为肿瘤矢状位图，色块区域为模型判断依据；

图5是本发明实施例提供的诊断效果的受试者工作特征曲线图；其中，(a)为训练集卷积基线模型与融合模型的ROC曲线，(b)为验证集卷积基线模型与融合模型的ROC曲线。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法，通过结合多模态磁共振影像的影像组学特征和深度学习特征，根据多模态磁共振影像与感兴趣区域分割对脑膜瘤病理分级做出判断，该方法可以由电子设备实现，该电子设备可以是终端或服务器。该方法的执行流程如图1所示，包括：

S1，获取待处理的脑部的多模态磁共振影像与影像中感兴趣区域分割文件；

其中，根据脑膜瘤恶性程度，脑膜瘤病理等级可分为高级别与低级别。首先需要获取脑部多模态磁共振影像，并对其中的肿瘤区域进行勾画。

S2，基于所述多模态磁共振影像与感兴趣区域分割文件，对各个模态的影像进行影像组学特征提取，并通过伯努利试验对提取到的统计、形状与纹理进行统一筛选降维，增强特征选择的可解释性；

需要说明的是，影像组学特征提取的目的是高通量地从磁共振影像中提取特征，并通过后续的特征选择算法将与任务相关性强的特征筛选出来，用于构建分类器。具体地，本实施例将多模态磁共振影像及其感兴趣区域分割文件输入到影像组学特征提取器中，对其原图与8种小波滤波图高通量地提取形状、统计、纹理特征，每个模态提取851个特征，共3404个特征。

此外，还需要说明的是，如果对单一模态进行特征筛选，会引入与诊断结果相关性较差的特征，造成过拟合；而对多模态的特征统一进行降维，能够横向比较不同模态特征的重要性，避免此类问题的发生。对此，本实施例使用伯努利试验法对所有影像组学特征按照特征重要性进行统一筛选降维，具体过程如下：

使用随机森林作为决策分类器，使用Gini系数衡量特征的重要程度，将3404个特征作为输入，进行200次的伯努利试验。通过多次生成影子特征、比较影子特征与原特征的重要度、剔除重要度低的原特征，实现对提取到的统计、形状与纹理的筛选与降维。最终，在本实施例中，3404个特征中，有75个特征作为相关性较强的分类依据被筛选出来。

其中，需要说明的是，目前大多数特征选择或特征排序算法存在三个问题：一是衡量方法存在局限性，二是只能体现特征的相对重要性，三是需要人为选择特征个数或调整参数，可解释性较差。而本实施例所采用的特征筛选方法通过产生影子特征，能够衡量特征的绝对重要性；通过伯努利试验决定最终选择特征个数，排除统计误差，具有较强的可解释性。

S3，采用预设的深度学习模型对多模态磁共振影像进行特征提取，得到所述多模态磁共振影像的深度学习特征，并输出三维焦点图；其中，所述深度学习模型在训练时，采用预设的新型聚焦交叉熵损失函数对模型训练过程进行约束；

具体地，在本实施例中，所述深度学习模型为基于3D卷积的残差网络，共有10个3D卷积层。该深度学习模型的构建及构建过程，包括：

步骤1，对多模态磁共振影像进行预处理，以预处理后的多模态磁共振影像构建样本数据集；其中，预处理包括：增强影像中感兴趣区域特征，并对影像外围区域进行裁剪及尺寸调整，使处理后的影像适合所述深度学习模型的输入；

其中，需要说明的是，磁共振影像中包含大量特征，而其中大部分与脑膜瘤病理分级无关，因此需要对感兴趣区域内的特征进行增强，赋予较大权重，令模型的注意力集中于感兴趣区域。

步骤2，采用3D残差结构构建如图2所示的卷积神经网络，作为学习模型；

其中，需要说明的是，由于磁共振图像包含三维空间信息，因此本实施例使用3D卷积对其进行特征提取。残差结构能够在不过度加深网络结构的前提下获得更好的特征提取效果，因此本实施例构建3D-Resnet10作为基线模型。

步骤3，利用所述样本数据集对所述深度学习模型进行训练；其中，所述深度学习模型将多模态磁共振影像作为多个通道，共同进行特征提取；并采用预设的新型聚焦交叉熵损失函数对对特征提取与分类过程进行约束。

其中，需要说明的是，所述聚焦交叉熵损失函数能够缓解样本类别分布不平衡导致的模型注意力偏倚问题，而脑膜瘤分级诊断是一个二分类问题，此时该损失函数定义为：

其中，α表示类别平滑系数，用来聚焦少类别样本；γ表示聚焦系数，用来聚焦于难分类样本；p

其中，β为平滑系数，K为类别数，y为原始标签。

其中，需要说明的是，经典的交叉熵损失函数使用的是独热编码，只考虑了当前类别的网络预测结果，使模型对于当前类别的预测尽可能地逼近于1。使用平滑标签策略的优势有两点：首先，平滑标签使非当前类别的标签从0变为一个较小的正数，使模型不仅能侧重于提高正确类别的预测，同时能够对其他类别的预测值进行抑制，便于模型做出正确的预测；其次，平滑标签能够使模型不过分信赖于训练数据，使模型对于当前类别的预测概率值趋向于接近1的小数s而非1，减小错误的标签对模型的误导，缓解过拟合问题。

进一步地，还需要说明的是，卷积神经网络通过卷积运算从图像中提取特征，而在根据特征进行分类的时候，使用了全局平均池化对特征进行概括，训练得到的全连接层包含了特征与类别的对应关系。因此，使用池化前的特征图，结合全连接层权重，即可绘制卷积层的注意力三维焦点图，获得特征图与类别的对应关系，示意模型的注意力偏重，增强模型的可解释性，将模型的分类依据进行可视化，为医生设计手术方案提供依据；提高辅助诊断的可解释性。

其中，所述三维焦点图的绘制原理如下：

M＝reshape(ω

其中，M表示三维焦点图，ω

S4，基于所述深度学习特征以及统一筛选降维后的影像组学特征，采用预设的多元特征融合模型，得到多模态磁共振影像所对应的脑膜瘤病理分级结果。

具体地，本实施例中的多元特征融合模型为卷积神经网络模型。本实施例将预训练的卷积神经网络作为基线模型，冻结其卷积层(特征提取层)，仅作为卷积特征提取器，而初始化其全连接层，在全连接层融合影像组学与卷积特征，对网络权重进行微调，使二者共同参与诊断。数据输入模型前，需要对输入数据进行批正则化，将数据分布规范到0到1之间，以防数据分布差异过大而对网络稳定性造成影响。将正则化后的两部分特征向量进行拼接，输入到全连接层，使用所述聚焦交叉熵对分类过程进行训练。具体地，上述S4实现过程如下：

S41，加载预训练多元特征融合模型，冻结其卷积层权重，初始化全连接层；

S42，将统一筛选降维后的影像组学特征与全局平均池化后的深度学习特征分别归一化，并将归一化后的深度学习特征与影像组学特征拼接成列向量；

S43，将所述列向量作为所述多元特征融合模型全连接层的输入数据输入模型，最终得到脑膜瘤病理分级结果；并使用聚焦交叉熵对分类过程进行约束。

其中，多元特征融合模型的结构如图3所示。融合前后的训练集与验证集ROC曲线如图5所示。由此可知，将影像组学特征与深度学习特征融合后，诊断精度有了进一步的提高，由此证明了本实施例方法的科学有效性。

综上，本实施例提供了一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法，该方法结合多模态磁共振影像的影像组学特征与深度学习特征，对脑膜瘤进行分级，有效提高了脑膜瘤病理分级的准确性；并设计了聚焦交叉熵，以解决类别不平衡问题，具有较高的准确性与较强的可解释性；通过本方法最终可以得到脑膜瘤病理等级与可视化决策依据，从而可辅助医生进行诊断。

第二实施例

本实施例提供了一种基于聚焦交叉熵的多元特征融合的脑膜瘤分级系统，该基于聚焦交叉熵的多元特征融合的脑膜瘤分级系统包括以下模块：

多模态磁共振影像数据获取模块，用于获取待处理的脑部的多模态磁共振影像与影像中的感兴趣区域分割文件；

影像组学特征提取模块，用于基于所述多模态磁共振影像数据获取模块所获取的多模态磁共振影像与感兴趣区域分割文件，对各个模态的影像进行影像组学特征提取，并通过伯努利试验对提取到的统计、形状与纹理进行统一筛选降维，提高特征选择的可解释性；

深度学习特征提取模块，用于采用预设的深度学习模型对所述多模态磁共振影像数据获取模块所获取的多模态磁共振影像进行特征提取，得到所述多模态磁共振影像的深度学习特征，并输出三维焦点图；其中，所述深度学习模型在训练时，采用预设的新型聚焦交叉熵损失函数对模型训练过程进行约束；

脑膜瘤病理分级模块，用于基于所述深度学习特征提取模块得到的深度学习特征以及所述影像组学特征提取模块得到的影像组学特征，采用预设的多元特征融合模型，得到所述多模态磁共振影像所对应的脑膜瘤病理分级结果。

本实施例的基于聚焦交叉熵的多元特征融合的脑膜瘤分级系统与上述第一实施例的基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法相对应；其中，本实施例的基于聚焦交叉熵的多元特征融合的脑膜瘤分级系统中的各功能模块所实现的功能与上述第一实施例的基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。