多模态图像分割方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种多模态图像分割方法、装置、电子设备和存储介质。

背景技术

脑肿瘤是由局部组织不可控的细胞增殖形成的一种异常组织，在临床上脑肿瘤是形式多样的，这限制了脑肿瘤的早期诊断和治疗。随着医学影像技术的发展，核磁共振成像(MRI)成为诊断脑肿瘤疾病的主要方法之一，因此对脑肿瘤MRI图像分割具有重要的意义，根据多模态图像分割的精确结果，医生可以获得肿瘤的形态、大小和位置等信息，用于辅助手术导航和放射靶区定位等，进一步帮助医生给患者制定个性化的治疗方案。

脑肿瘤MRI图像自动分割具有一定的技术挑战，主要体现在以下方面：(1)脑肿瘤个体差异大，会出现在大脑的任何位置，其形状、结构和大小各不相同，(2)部分脑肿瘤，显弥漫和浸润性生长，(3)脑组织的结构复杂，正常的脑组织包括灰质、白质、脑室和脑脊液等，病变组织包括肿瘤和水肿区域，其中肿瘤又包括坏死区、增强区和非增强区。

目前脑肿瘤的分割方法有：(1)、依靠经验丰富的医学专家进行手动分割；(2)、基于阈值的分割方法；(3)、基于区域的分割方法；(4)、基于深度学习的分割方法。

然而现有的脑肿瘤的分割方法存在以下缺点：

(1)、手动脑肿瘤的分割方法其结果不仅差异化大而且需要花费大量的时间和精力。

(2)、基于阈值的分割方法无法充分利用图像的信息，因此导致分割精度不高。

(3)、基于区域的分割方法受限于肿瘤的多样性很难设置普适性迭代条件，因此会导致分割精度不高。

(4)、基于深度学习分割方法只能处理单模态MRI影像，无法融合多个模态影像信息进行有效分割。

发明内容

本发明的目的在于提供一种多模态图像分割方法、装置、电子设备和存储介质，可以将多个模态的影像进行有效融合来分割图像，减少了交互繁琐操作，有效提高分割效率。

为达到上述目的，本发明提供一种多模态图像分割方法，包括：

获取多个模态下的待分割图像；

对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准；以及

采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割，以得到分割后的图像。

可选的，所述采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割的步骤包括：

对经过第一预处理后的所述多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及

采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的所述多个模态下的待分割图像进行分割。

可选的，所述第二预处理包括：

采用三维高斯滤波器对经过第一预处理后的所述多个模态下的待分割图像分别进行滤波处理，以将各个模态下的待分割图像中的噪声去除。

可选的，所述对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准的步骤包括：

以所获取的多个模态下的待分割图像中的其中一个模态下的待分割图像为基准，通过互信息最大化对目标待分割图像进行刚性变化，以将所述多个模态下的待分割图像进行配准。

可选的，所述深度融合全卷积神经网络模型通过以下步骤训练得到：

获取原始训练样本，所述原始训练样本包括原始训练图像和与所述原始训练图像对应的标签图像；

对所述原始训练样本进行扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的训练图像和与所述扩展后的训练图像对应的标签图像；

设置深度融合全卷积网络模型的模型参数的初始值；以及

根据所述扩展后的训练样本和所述模型参数的初始值对预先搭建的深度融合全卷积网络模型进行训练，直至满足预设训练结束条件。

可选的，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度融合全卷积网络模型进行训练的步骤包括：

根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度融合全卷积网络模型进行训练。

可选的，所述预设训练结束条件为扩展后的训练样本中的训练图像的预测结果与对应的标签图像的误差值收敛到预设误差值。

可选的，所述根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度融合全卷积网络模型进行训练的步骤包括：

步骤A：将扩展后的训练图像作为深度融合全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的训练图像的预测结果；

步骤B：根据所述预测结果和与所述扩展后的训练图像对应的标签图像，计算损失函数值；以及

步骤C：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行所述步骤A。

为达到上述目的，本发明还提供一种多模态图像分割装置，包括：

获取模块，用于获取多个模态下的待分割图像；

第一预处理模块，用于对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准；以及

分割模块，用于采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割，以得到分割后的图像。

可选的，所述分割模块包括：

第二预处理子模块，用于对经过第一预处理后的所述多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及

分割子模块，用于采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的所述多个模态下的待分割图像进行分割。

可选的，所述深度融合全卷积神经网络模型包括多个解码网络和一个编码网络；

所述解码网络包括输入层、多个级联的第一神经网络组和第一卷积层，所述第一神经网络组包括级联的第二卷积层和最大池化层；

所述编码网络包括多个级联的第二神经网络组、第三卷积层和输出层，所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；

所述合并层用于将反卷积层的输出与多个解码网络中的相应的第二卷积层的输出图像进行线性相加合并。

可选的，所述解码网络包括多个级联的第一残差连接，所述编码网络包括多个级联的第二残差连接。

为达到上述目的，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的多模态图像分割方法。

为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的多模态图像分割方法。

与现有技术相比，本发明提供的多模态图像分割方法、装置、电子设备和存储介质具有以下优点：本发明通过获取多个模态下的待分割图像，然后对所获取的多个模态下的待分割图像进行第一预处理，以将多个模态下的待分割图像进行配准，最后采用采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的多个模态下的待分割图像进行分割，以得到分割后的图像。由此，本发明通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。此外，本发明提供的多模态图像分割方法通用性强，实现了端到端的算法流程，可以更好地辅助医生。

附图说明

图1为本发明一实施方式中的多模态图像分割方法的流程图；

图2a为经过第二预处理后的Flair模态下的待分割图像的一具体示例；

图2b为经过第二预处理后的T1模态下的待分割图像的一具体示例；

图2c为经过第二预处理后的T1ce模态下的待分割图像的一具体示例；

图2d为经过第二预处理后的T2模态下的待分割图像的一具体示例；

图3为本发明一实施方式中的深度融合全卷积神经网络模型的结构示意图；

图4a为将分割后得到的图像叠加到图2a中的示意图；

图4b为将分割后得到的图像叠加到图2b中的示意图；

图4c为将分割后得到的图像叠加到图2c中的示意图；

图4d为将分割后得到的图像叠加到图2d中的示意图；

图5为本发明一实施方式中的多模态图像分割装置的方框结构示意图；

图6为本发明一实施方式中的电子设备的方框结构示意图。

其中，附图标记如下：

获取模块-201；第一预处理模块-202；分割模块-203；处理器-301；通信接口-302；存储器-303；通信总线-304。

具体实施方式

以下结合附图1至6和具体实施方式对本发明提出的多模态图像分割方法、装置、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。多个包括两个及以上。

本发明的核心思想在于提供一种多模态图像分割方法、装置、电子设备和存储介质，可以将多个模态的影像，例如MRI影像进行有效融合来分割图像(例如肿瘤区域图像)，减少了交互繁琐操作，有效提高分割效率。

需要说明的是，本发明实施方式中以器官图像，例如脑部图像为例来说明本发明所提供的多模态图像分割方法及装置，此方法、装置不仅限于对器官图像进行分割，还可应用于对其它图像的分割。本发明实施方式提供的所述多模态图像分割装置可被配置于电子设备上，其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。

为实现上述思想，本发明提供一种多模态图像分割方法，请参考图1，示意性地给出了本发明一实施方式提供的多模态图像分割方法的流程图，如图1所示，所述多模态图像分割方法包括如下步骤：

步骤S100：获取多个模态下的待分割图像。

在本发明中，所述待分割图像可以是包括脑肿瘤的脑部图像，也可以是包括其他的组织器官的图像或者其它非器官图像，本发明对此并不进行限制。待分割图像可通过各种成像系统扫描采集获得，也可通过诸如存储系统影像归档和通信系统等内部或外部存储系统传输获得。所述成像系统包括但不限于磁共振成像(MRI)、计算断层扫描(CT)、正电子发射断层扫描(PET)等一种或多种的组合。需要说明的是，所述待分割图像的大小可以根据具体情况进行设置，本发明对此并不进行限制，例如任一模态下的所述待分割图像的大小可为240×240×120像素。

以分割脑部图像得到脑肿瘤图像为例，在本实施方式中，获取四个模态下的包括脑肿瘤的MRI脑部图像，如图2a至图2d所示，这四个模态分别为Flair(磁共振成像液体衰减反转恢复序列)、T1(纵向序列)、T1ce(纵向对比度增强序列)、T2(横向序列)。需要说明的是，虽然本实施方式是以对四个模态下的MRI脑部图像进行分割以得到脑肿瘤图像为例进行说明，但是如本领域技术人员所能理解的，在其他一些实施方式中也可以对少于四个或多于四个模态的待分割图像进行分割，所述待分割图像不仅限于脑部图像，也可以为其他图像。

不同模态的脑肿瘤图像所反映的物理含义有所不同。其中，T2模态图像中，肿瘤病灶区域被增强，呈现出高亮度，为白色，另外脑脊液也会呈现出高亮度，而其他正常组织会呈现出低亮度，为黑色。Flair模态图像是在T2图像的基础上得到的，Flair图像抑制了部分脑脊液，排除了脑脊液对脑肿瘤病灶的干扰，从而使得肿瘤病灶区域呈现出高亮度，肿瘤病灶区域与正常组织有相对较高的对比度。T1模态图像主要是对脑图像的各种组织结构比较清晰的展现出来，对于肿瘤病灶区域却反应不明显，与正常脑组织对比度非常低。T1ce模态图像中主要是对肿瘤核心有较高的辨识度，增强的肿瘤结构呈现高亮度，另外对坏死区域有较低亮度的呈现。

步骤S200：对所获取的多个模态下的待分割图像进行第一预处理，以将多个模态下的待分割图像进行配准。

由此，通过对所述获取的多个模态下的待分割图像进行第一预处理，可以将多个模态下的待分割图像进行空间一致性匹配。

优选的，在本步骤中，通过以所述获取的多个模态下的待分割图像中的其中一个模态下的待分割图像为基准，通过互信息最大化对目标待分割图像，即除作为基准以外的所有模态下的待分割图像，进行旋转、平移等刚性变化，以将所述多个模态下的待分割图像进行配准。举例而言，当获取的是Flair、T1、T1ce和T2这四个模态下的MRI脑部图像时，可以将Flair、T1、T1ce和T2中的任一个作为基准，通过互信息最大化对其余模态下的待分割图像进行刚性变化，以将这四个模态下的待分割图像进行配准。

互信息作为一种图像的近似性测度，在1995年首次被应用于医学图像配准中，Woods等人在多模态医学图像配准中基于两幅图像中的相同目标在空间上对齐时相关性最强的假设，认为当两幅图像配准时，相关性最大，对应的互信息也达到最大。在医学图像配准问题中，由于两幅图像基于共同的人体解剖信息，所以当两幅图像的空间位置完全一致时，其中一幅图像表达的另一幅图像的信息，也就是互信息应为最大。

步骤S300：采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的多个模态下的待分割图像进行分割，以得到分割后的图像。

优选的，步骤S300包括：

对经过第一预处理后的多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及

采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的多个模态下的待分割图像进行分割。

由此，通过对经过第一预处理后的多个模态下的待分割图像进行第二预处理，可以有效滤除各个模态下的所述待分割图像中的噪声信息，从而可以有效提高各个模态下的所述待分割图像的图像质量，进而提高分割后的图像的质量。

优选地，可采用三维高斯滤波器对经过第一预处理后的所述多个模态下的待分割图像分别进行第二预处理，例如滤波处理，以将各个模态下的待分割图像中的噪声去除。此外，在其他一些实施方式中，还可以采用其他常用的滤波器对各个模态下的所述待分割图像进行例如滤波处理的第二预处理，以将各个模态下的待分割图像中的噪声去除，本发明对此并不进行限制。

优选的，请参考图3，其示意性地给出了本发明一实施方式提供的深度融合全卷积神经网络模型的结构示意图，如图3所示，所述深度融合全卷积神经网络模型包括多个解码网络和一个编码网络；

所述解码网络包括输入层、多个级联的第一神经网络组和第一卷积层，所述第一神经网络组包括级联的第二卷积层和最大池化层；

所述编码网络包括多个级联的第二神经网络组、第三卷积层和输出层，所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；

所述合并层用于将反卷积层的输出与多个解码网络中的相应的第二卷积层的输出图像进行线性相加合并。

所述深度融合全卷积神经网络模型所含有的解码网络的个数，与获取的待分割图像的模态个数相同，由于在本实施方式中，是对四个模态下的待分割图像进行分割，因此如图3所示，在本实施方式中，所述深度融合全卷积神经网络模型包含四个解码网络(解码网络1、解码网络2、解码网络3和解码网络4)和一个编码网络，这四个解码网络分别用于从对应模态的待分割图像中学习有用特征信息(例如脑肿瘤特征信息)，编码网络用于根据学习到的特征信息，找到该特征信息所在的区域位置。

如图3所示，在本实施方式中，这四个解码网络均包括四个级联的第一神经网络组A至D，所述编码网络包括四个级联的第二神经网络组a至d。所述第一神经网络组D与所述第二神经网络组a之间设有第一卷积层E11和E12。

如图3所示，第一神经网络组A包括级联的第二卷积层A11、A12和最大池化层A2；第一神经网络组B包括级联的第二卷积层B11、B12和最大池化层B2；第一神经网络组C包括级联的第二卷积层C11、C12和最大池化层C2；第一神经网络组D包括级联的第二卷积层D11、D12和最大池化层D2。其中第一神经网络组A用于对输入的某一个模态下的待分割图像进行特征信息的提取，例如脑肿瘤特征信息的提取。具体地，第二卷积层A11和A12用于对待分割图像进行卷积处理，最大池化层A2用于对经过卷积处理后的图像进行池化操作。

第一神经网络组B用于对由最大池化层A2池化后的图像进行特征信息的提取，例如脑肿瘤特征信息的提取，该具体过程与第一神经网络组A中的具体过程类似，在此不再赘述。

第一神经网络组C用于对由最大池化层B2池化后的图像进行特征信息的提取，例如脑肿瘤特征信息的提取，该具体过程与第一神经网络组A中的具体过程类似，在此不再赘述。

第一神经网络组D用于对由最大池化层C2池化后的图像进行特征信息的提取，例如脑肿瘤特征信息的提取，该具体过程与第一神经网络组A中的具体过程类似，在此不再赘述。

第一卷积层E11用于对由最大池化层D2池化后的图像进行卷积，第一卷积层E12用于对由第一卷积层E11卷积后的图像继续进行卷积。

第二神经网络组a包括级联的反卷积层a1、合并层a2、第四卷积层a31和a32；第二神经网络组b包括级联的反卷积层b1、合并层b2、第四卷积层b31和b32；第二神经网络组c包括级联的反卷积层c1、合并层c2、第四卷积层c31和c32；第二神经网络组d包括级联的反卷积层d1、合并层d2、第四卷积层d31和d32。第二神经网络组d的第四卷积层d32和最深输出层之间设置有第三卷积层e1，该第三卷积层e1用于实现图像的逻辑回归，其不属于第二神经网络组。

在本实施方式中，第二神经网络组a用于将图像的特征信息，例如脑肿瘤特征信息恢复至最大池化层C2池化后的图像的对应的位置中。具体地，反卷积层a1用于对最大池化层D2进行反向操作，以将图像恢复至最大池化层D2池化前的图像中的对应位置。合并层a2用于恢复图像的特征信息，例如脑肿瘤特征信息，四个解码网络中的第二卷积层D12的输出图像进行合并后，通过合并层a2与反卷积层a1的输出进行线性相加合并后作为第四卷积层a31的输入。第四卷积层a31和a32用于恢复图像在最大池化层D2对图像进行池化过程中丢失的图像特征信息，例如脑肿瘤特征信息。

与第二神经网络组a类似，第二神经网络组b至d也用于恢复图像的信息，最终由第二神经网络组d中的第四卷积层d32输出最终恢复出的图像中的所有特征信息，例如脑肿瘤特征信息的对应位置，最后经由第三卷积层e1的逻辑回归，从而得到图像分割结果，例如脑肿瘤图像分割结果。请参考图4a至图4d，其中图4a为将分割后得到的图像(脑肿瘤图像)叠加到图2a中的示意图；图4b为将分割后得到的图像(脑肿瘤图像)叠加到图2b中的示意图；图4c为将分割后得到的图像(脑肿瘤图像)叠加到图2c中的示意图；4d为将分割后得到的图像(脑肿瘤图像)叠加到图2d中的示意图。可见，本发明通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。此外，本发明提供的多模态图像分割方法通用性强，实现了端到端的算法流程，可以更好地辅助医生。

与第四卷积层a31的输入类似，四个解码网络中的第二卷积层C12的输出图像进行合并后，通过合并层b2与反卷积层b1的输出进行线性相加合并后作为第四卷积层b31的输入；四个解码网络中的第二卷积层B12的输出图像进行合并后，通过合并层c2与反卷积层c1的输出进行线性相加合并后作为第四卷积层c31的输入；四个解码网络中的第二卷积层A12的输出图像进行合并后，通过合并层d2与反卷积层d1的输出进行线性相加合并后作为第四卷积层d31的输入。

优选的，所述解码网络还包括多个级联的第一残差连接，所述编码网络还包括多个级联的第二残差连接。由此，通过在所述解码网络中设置多个级联的第一残差连接，在所述编码网络中设置多个级联的第二残差连接，有效缓解了随着网络层数越深，越容易出现梯度消失和梯度爆炸的问题，保证了有效特征的传递，有利于恢复图像，提高了器官分割的准确性。

如图3所示，在本实施方式中，每一所述解码网络均包括五个级联的第一残差连接F1至F5，每一所述编码网络均包括四个级联的第二残差连接f1至f4。其中，在每一所述解码网络中，通过第一残差连接F1可以将输入层的输出与第二卷积层A12的输出相加后作为最大池化层A2的输入；通过第一残差连接F2可以将最大池化层A2的输出与第二卷积层B12的输出相加后作为最大池化层B2的输入；通过第一残差连接F3可以将最大池化层B2的输出与第二卷积层C12的输出相加后作为最大池化层C2的输入；通过第一残差连接F4可以将最大池化层C2的输出与第二卷积层D12的输出相加后作为最大池化层D2的输入；通过第一残差连接F5可以将最大池化层D2的输出与第一卷积层E12的输出相加，四个解码网络的最大池化层D2的输出与第一卷积层E12的输出相加后的结果进行合并后作为反卷积层a1的输入。在所述编码网络中，通过第二残差连接f1可以将反卷积层a1的输出与第四卷积层a32的输出相加后作为反卷积层b1的输入；通过第二残差连接f2可以将反卷积层b1的输出与第四卷积层b32的输出相加后作为反卷积层c1的输入；通过第二残差连接f3可以将反卷积层c1的输出与第四卷积层c32的输出相加后作为反卷积层d1的输入；通过第二残差连接f4可以将反卷积层d1的输出与第三卷积层e1的输出相加后作为输出结果由输出层输出。

需要说明的是，图3所示的深度融合全卷积神经网络模型中，解码网络包括的第一神经网络组的个数以及编码网络包括的第二神经网络组的个数均为示例，不应理解为对本申请实施方式的限定。所述解码网络包括的第一神经网络组的个数以及编码网络包括的第二神经网络组的个数可以根据具体需要进行设置。需要说明的是，因编码和解码具有一一对应的关系，所以在本申请实施方式提供的深度融合全卷积神经网络模型中，每一个解码网络包括的第一神经网络组的个数与编码网络包括的第二神经网络组的个数相等。此外，第一神经网络组包括的第二卷积层的个数以及第二神经网络组包括的第四卷积层的个数不限定为2个，其还可以为3个或3个以上，本发明对其并不进行限制。

优选的，所述深度融合全卷积神经网络模型通过以下步骤训练得到：

获取原始训练样本，所述原始训练样本包括原始训练图像和与所述原始训练图像对应的标签图像；

对所述原始训练样本进行扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的训练图像和与所述扩展后的训练图像对应的标签图像；

设置深度融合全卷积网络模型的模型参数的初始值；以及

根据所述扩展后的训练样本和所述模型参数的初始值对预先搭建的深度融合全卷积网络模型进行训练，直至满足预设训练结束条件。

其中，每一例原始训练图像均包括配准后的多个模态下的训练图像，所述标签图像可以为采用现有的分割方法对原始训练图像进行分割得到的金标准分割结果。由于原始训练样本的数据有限，而深度学习需要在一定数据上进行学习才能具有一定的鲁棒性，为了增加鲁棒性，需要做数据扩增操作，以增加所述深度融合全卷积网络模型的泛化能力。具体地，可以通过对所述原始训练图像和对应的标签图像分别进行相同的随机刚性变换，具体包括：旋转、缩放、平移、翻转和灰度变换。更具体地，可以对所述原始训练图像和对应的标签图像分别进行例如上下平移-20到20个像素、左右平移-20到20个像素、旋转-20°到20°、水平翻转、垂直翻转、上下对称变换、缩放0.8到1.2倍、左右对称变换、灰度变换，以完成对器官图像的数据扩增。通过上述变换，可以将原先的例如20例图像扩增到2000例，可以用其中的1500例图像进行模型训练，用剩余的500例图像进行模型测试。

优选的，为了提高模型的准确性，在生成扩展后的训练样本后，进行模型训练之前，还可以对扩展后的训练样本中的各个模态下的训练图像进行第二预处理，以去除图像中的噪音，提高训练样本的图像质量。

深度融合全卷积网络模型的模型参数包括两类：特征参数和超参数。特征参数是用于学习图像特征的参数，特征参数包括权重参数和偏置参数。超参数是在训练时人为设置的参数，只有设置合适的超参数才能从样本中学到特征参数。超参数可以包括学习率、隐藏层个数、卷积核大小、训练迭代次数，每次迭代批次大小。学习率可以看作是步长。

举例而言，本发明优选设置学习率为0.001，隐藏层个数分别为16、32、64、128、256，卷积核大小为3×3×3，训练迭代次数为30000次，每次迭代批次大小为2。

优选的，所述预设训练结束条件为扩展后的训练样本中的训练图像的预测结果与对应的标签图像的误差值收敛到预设误差值。深度融合全卷积网络模型的训练目的是为了由该模型得到的图像分割结果与真实准确的图像分割结果相近，也就是，两者的误差缩小到一定范围，因此，预设训练结束条件可以为扩展后的训练样本中的训练图像的预测结果与对应的标签图像的误差值收敛到预设误差值。此外，深度融合全卷积网络模型的训练过程为一个多次循环迭代过程，因此，可以通过设置迭代多少次结束训练，即，预设训练结束条件可以为迭代次数达到预设迭代次数。

优选的，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度融合全卷积网络模型进行训练的步骤包括：根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度融合全卷积网络模型进行训练。由于，模型训练过程实际上是最小化损失函数的过程，而求导数可以快速简单地实现这个目标，这种求导数的方法就是梯度下降法。由此，采用梯度下降法来训练深度融合全卷积网络模型，可以快速简单地实现深度融合全卷积网络模型的训练。

本发明实施例中的深度学习主要利用梯度下降法来训练模型，然后再使用反向传播算法来更新优化网络模型中的权重参数和偏置参数。具体地，采用梯度下降法判断曲线斜率最大的地方为越快到达最优值的方向，反向传播法是采用概率学的链式求导方法来求偏导数以更新权重，通过不断迭代训练来更新参数，以学习到图像。反向传播算法更新权重参数和偏置参数的方法如下：

1、首先进行前向传播，通过不断迭代训练来更新参数，以学习到图像，并且计算所有层(卷积层，反卷积层)的激活值，即图像经过卷积操作后以得到激活图像；

2、对输出层(第n

其中，y为样本真实值，

3、对于l＝n

其中，W

4、更新每层的权重参数和偏置参数：

其中，W

优选的，所述根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度融合全卷积网络模型进行训练的步骤包括：

步骤A：将扩展后的训练图像作为深度融合全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的训练图像的预测结果；

步骤B：根据所述预测结果和与所述扩展后的训练图像对应的标签图像，计算损失函数值；以及

步骤C：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行所述步骤A。

当损失函数值未收敛到预设值时，表示深度融合全卷积网络模型还不准确，需要继续对该模型进行训练，如此，则调整模型参数，并将模型参数的初始值更新为调整后的模型参数，返回执行步骤A，进入下一次迭代过程。

本发明中的损失函数L(W,b)表示为：

其中，W和b表示深度全卷积网络的权重参数和偏置参数，m为训练样本的数量，m为正整数，x

与上述的多模态图像分割方法相对应，本发明还提供一种多模态图像分割装置，请参考图5，示意性地给出了本发明一实施方式的多模态图像分割装置的结构框图，如图5所示，所述多模态图像分割装置包括：

获取模块201，用于获取多个模态下的待分割图像；

第一预处理模块202，用于对所获取的多个模态下的待分割图像进行第一预处理，以将多个模态下的待分割图像进行配准；以及

分割模块203，用于采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的多个模态下的待分割图像进行分割，以得到分割后的图像。

优选的，所述第一预处理模块202以所获取的多个模态下的待分割图像中的其中一个模态下的待分割图像为基准，通过互信息最大化对目标待分割图像，即除作为基准以外的所有模态下的待分割图像，进行刚性变化，以将所述多个模态下的待分割图像进行配准。

优选的，所述分割模块203包括：

第二预处理子模块，用于对经过第一预处理后的所述多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及

分割子模块，用于采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的所述多个模态下的待分割图像进行分割

优选的，所述第二预处理子模块采用三维高斯滤波器对经过第一预处理后的所述多个模态下的待分割图像分别进行滤波处理，以将各个模态下的待分割图像中的噪声去除。

优选的，所述深度融合全卷积神经网络模型包括多个解码网络和一个编码网络；

所述解码网络包括输入层、多个级联的第一神经网络组和第一卷积层，所述第一神经网络组包括级联的第二卷积层和最大池化层；

所述编码网络包括多个级联的第二神经网络组、第三卷积层和输出层，所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；

所述合并层用于将反卷积层的输出与多个解码网络中的相应的第二卷积层的输出图像进行线性相加合并。

优选的，所述解码网络包括多个级联的第一残差连接，所述编码网络包括多个级联的第二残差连接。

本发明提供的多模态图像分割装置通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。

基于以上发明构思，本发明还提供一种电子设备，请参考图6，示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图6所示，所述电子设备包括处理器301和存储器303，所述存储器303上存储有计算机程序，所述计算机程序被所述处理器301执行时，实现上文所述的多模态图像分割方法。

本发明提供的电子设备通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。

如图6所示，所述电子设备还包括通信接口302和通信总线304，其中所述处理器301、所述通信接口302、所述存储器303通过通信总线304完成相互间的通信。所述通信总线304可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口302用于上述电子设备与其他设备之间的通信。

本发明中所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器301是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

所述存储器303用于存储所述计算机程序，所述处理器301通过运行或执行存储在所述存储器303内的计算机程序，以及调用存储在存储器303内的数据，实现所述电子设备的各种功能。

所述存储器303包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的多模态图像分割方法。

本发明提供的可读存储介质通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。

本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读存储介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

综上所述，与现有技术相比，本发明提供的多模态图像分割方法、装置、电子设备和存储介质具有以下优点：本发明通过获取多个模态下的待分割图像，然后对所获取的多个模态下的待分割图像进行第一预处理，以将多个模态下的待分割图像进行配准，最后采用采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的多个模态下的待分割图像进行分割，以得到分割后的图像。由此，本发明通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。此外，本发明提供的多模态图像分割方法通用性强，实现了端到端的算法流程，可以更好地辅助医生。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。