一种基于深度迭代融合深度学习模型的颅骨图像分割方法

技术领域

本发明涉及一种颅骨图像分割方法，尤其涉及一种基于深度迭代融合深度学习模型的颅骨图像分割方法，属于医学图像处理和深度学习技术领域。

背景技术

在脑图像分析中，颅骨分割是非常重要的图像预处理步骤，将颅骨从脑部磁共振图像中分割出来，是后续特征提取、影像分析和预测，以及临床诊断的重要基础。如在脑连接分析中，需要提取脑实质区域，才能实现脑功能和脑结构的准确连接分析，为后续的精准分型、分类和分期奠定基础。传统的颅骨分割一般是由具有丰富经验的专业医生来进行手动分割，常需要耗费大量的时间和精力，并且分割结果过度依赖于医生的经验等主观因素。为了提高医学图像分割的准确度和实时性，半自动或全自动的颅骨分割算法相继被提出，如基于灰度阈值的分割、基于聚类算法的分割以及基于区域增长的分割等。由于脑部组织结构的复杂性以及设备噪声、场偏移效应以及局部体效应等的影响，用现有的分割方法并不能较好的去除颅骨。

卷积神经网络(CNN)和基于深度学习的方法在医学图像分割中取得了出色的表现，其分割准确度接近于专家手动标记。最近几年来，有很多关于脑部MRI 的颅骨分割方法。Kleesiek等人(2016)首次提出了一种3D卷积神经网络结构，用于不同模态脑部MRI的大脑提取，但是Kleesiek采用三维的网络结构较为简单，限制了网络学习更多特征的能力。Valvano等人(2018)提出了一种以2D U-Net (Ronneberger等，2015)为基线改进的卷积神经网络，同时加入了数据增强操作，分割精度比常用的颅骨分割软件高。Han等人(2018)提出了一种基于PCA的模型，专门用于从脑部病理图像中提取大脑。Lucena等人(2018)针对在专家标记数据不多的情况下，使用银标准掩膜来训练卷积神经网络，以期达到金标准的效果。Liu等人(2019)考虑到三维网络模型具有较高的计算成本和GPU内存限制，将特征融合模块转换为2D编码模块和3D空间编码模块，以提取区域和空间特征，最后将二者结合，这样既减少了计算量同时增强了网络学习能力。Hwang 等人(2019)提出了一种基于3D U-Net的端到端深度学习的分割模型，分割精度有了一定提高。但是3D网络模型具有太多参数，训练时间较慢而且测试过程要加载过多参数。

虽然这些深度学习的模型在脑部磁共振图像颅骨分割上取得了较好的分割结果，但是仍存在一个共性问题，即泛化能力一般，也就是说在一个数据集上表现良好，而在另一个数据集上表现欠佳，并且分割精度仍需要提高。如何提升模型的泛化能力是亟待解决的一个关键问题。

发明内容

本发明要解决的技术问题是：提供一种基于深度迭代融合深度学习模型的颅骨图像分割方法，根据卷积神经网络强大的自动学习和特征提取能力的特点，设计深度迭代融合模型，实现模型有较高的泛化能力，在多个数据上都有较高的分割精度，解决了上述存在的问题。

本发明的技术方案为：一种基于深度迭代融合深度学习模型的颅骨图像分割方法，所述方法包含有如下步骤：一、选定需要分割的脑部磁共振图像并对其进行预处理；二、对预处理后的脑部磁共振图像进行随机选择训练集和测试集；三、构建深度迭代融合学习模型，该模型包含有卷积模块、残差模块和上采样模块；四、对训练集进行内部数据增强，包括随机缩放和随机裁剪；五、将数据增强后的数据训练模型，最后用训练好的模型对测试集进行测试。

所述步骤一中，对脑部磁共振图像进行预处理的方法为：

其中，x

所述步骤二中，划分方法为：设数据集中个体总数为A，训练集中个体总数为B，测试集中个体总数为C，则B∶C＝4∶1，其中B是从A中随机抽取80％， C是A中剩余的20％。

所述步骤三中，深度迭代融合学习模型分为编码器和解码器，编码器中包含残差模块，解码器包含上采样模块和卷积模块，整个模型框架采用深度迭代融合思想，解码器中增设一路，也就是采用两路上采样的方式，同时两路之间由短跳跃连接联系。不同大小的感受野，对图像中的大小不一的分割目标敏感程度是不一样的，通过自下而上的将浅层与深层特征进行迭代融合，可以获取不同层次的特征，增强模型对分割目标特征的学习。

所述步骤四中，对训练集进行内部数据增强，具体为：选定输入网络的图像数据大小为[B,W,H](B是图像的切片数，W是图像的长度，H是图像的高度)，对每个切片的数据进行随机缩放和随机剪切，缩放因子根据图像的大小与输入网络图像大小设计一个区间，保证缩放后的图像大于网络的输入图像大小；对缩放后的数据，随机选取中心点，剪切区域大小为[R,R](R是裁剪图像的大小)，最后将每个内部数据增强后的数据为[B,R,R]。

所述步骤五中，使用数据增强后的数据进行训练网络模型，使用动量函数作为优化网络模型，训练完成后，测试模型，即可对脑部磁共振图像进行颅骨分割。

本文采用的数据增强方法为内部增强，即网络输入数据后，进行数据增强操作首先，给定一个数值区间，每个输入数据在这个区间内随机选择一个数值作为缩放因子，然后随机选择缩放图像上的点作为中心点裁剪固定大小，获取数据增强后的数据，将数据增强后的数据训练网络，最后用训练好的网络模型对测试集进行测试。

本发明的有益效果是：与现有技术相比，采用本发明的技术方案，分割过程包括编码器、解码器、过程框架的搭建。基于这三个过程构建网络框架，设计深度迭代融合框架，加入残差模块和上采样模块，以期提高脑部磁共振图像中颅骨分割的准确度以及模型的泛化能力。模型的主要框架思想是将不同层之间的特征联系起来，跨通道和跨深度的语义信息融合可以提高对学习任务的认知，通过自下而上的特征迭代融合，丰富的深层特征会最大化还原。另外更深层次的融合可以获得不同层的信息，同时以迭代和分层方式合并特征，使模型具有更高的学习能力和更少的参数。此外，采用残差卷积模块替换传统卷积，以使得浅层语义信息更易流入深层网络中，提取更丰富的语义信息，增强网络模型可训练性。该方法克服了现有方法的迭代优化、泛化能力差等问题，同时在多个数据上也能获得很好的结果。

附图说明

图1为本发明的流程图；

图2为本发明的深度迭代融合分割网络结构示意图；

图3为本发明的迭代融合结构图；

图4为本发明的内部数据增强图；

图5为本发明的可视化结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将参照本说明书附图对本发明作进一步的详细描述。

实施例1：如附图1～4所示，一种基于深度迭代融合深度学习模型的颅骨图像分割方法，所述方法包含有如下步骤：一、选定需要分割的脑部磁共振图像并对其进行预处理；二、对预处理后的脑部磁共振图像进行随机选择训练集和测试集；三、构建深度迭代融合学习模型，该模型包含有残差模块和上采样模块；四、对训练集进行内部数据增强，包括随机缩放和随机裁剪；五、将数据增强后的数据训练模型，最后用训练好的模型对测试集进行测试。

所述步骤一中，对脑部磁共振图像进行预处理的方法为：

其中，x

所述步骤二中，划分方法为：设数据集中个体总数为A，训练集中个体总数为B，测试集中个体总数为C，则B∶C＝4∶1，其中B是从A中随机抽取80％， C是A中剩余的20％。

所述步骤三中，深度迭代融合学习模型分为编码器和解码器，编码器中包含残差模块，解码器包含上采样模块和卷积模块。深度迭代融合网络主干框架，如图2所示，输入数据送入编码器中，通过残差卷积操作，送入解码器中，最后输出网络。解码器和编码器之间通过跳跃连接相互连接。构建的分割网络，如图 3所示，在残差卷积模块中加入了ReLU激活函数，同时在模块的最后输出中也加入了ReLU激活函数。模型中的卷积核大小统一设置为3×3，步长为1×1。在设置卷积核大小的时候，选择较小的而不是较大的，因为两个连续的3×3卷积层的感受野与5×5卷积层的感受野相同，并且前者的计算参数要远少于后者。卷积模块由两个1×1大小的卷积操作组成。

对于残差卷积模块，均为:

x

式中，f

上采样模块具有双路结构，其中反卷积层包含不同大小的卷积核，即1×1和 3×3。左侧路径包含多个反卷积层，并且每个层具有反卷积后的批标准化(BN) 和ReLU激活函数。为了增加感受野的大小，在右侧路径中添加了一个卷积核为 3×3的空洞卷积。最后使用步长为2的反卷积层对左侧和右侧生成的特征图扩大两倍，并通过相加操作输出为最终特征图。

式中，f

所述步骤四中，对训练集进行内部数据增强，具体为：选定输入网络的图像数据大小为[B,W,H](B是图像的切片数，W是图像的长度，H是图像的高度)，对每个切片的数据进行随机缩放和随机剪切，缩放因子根据图像的大小与输入网络图像大小设计一个区间，保证缩放后的图像大于网络的输入图像大小；对缩放后的数据，随机选取中心点，剪切区域大小为[R,R](R是裁剪图像的大小)，最后将每个内部数据增强后的数据为[B,R,R]。

所述步骤五中，使用数据增强后的数据进行训练网络模型，使用动量函数作为优化网络模型，训练完成后，测试模型，即可对脑部磁共振图像进行颅骨分割。对分割出的结果与专家手动标记数据进行比较。分割后的可视化结果如附图 5所示。训练网络过程中采用Dice损失函数。Dice是通过计算网络的预测图像与对应的标记图像的重合程度来评价分割效果的。重合区域越大，Dice损失函数值则会越小。同时为了避免过拟合，本文在损失函数中引入L2正则，即总体损失L为：

式中，p(x)是模型预测图，g(x)是专家手动分割掩膜，N

综上所述，通过使用深度学习技术，有效的提高了医学图像分割的性能。使得医学图像分割的准确率更高，泛化能力更强，适用范围更广。

下面结合具体的实验数据对实施例1中的方案进行可行性验证，详见下文描述：

采用三个指标对分割结果进行评价，分别为：Dice值、灵敏度(SE)、特异度(SP)。通过将预测输出图像P与专家手动分割的掩膜R重叠来计算Dice值，定义为：

式中，TP表示正确预测的脑组织部分，TN表示正确预测的非脑组织部分， FP表示将非脑组织部分预测为脑组织，FN表示将脑组织部分预测为非脑组织。 Dice值越接近1，表示预测结果与手动分割掩膜越接近，分割结果越准确。灵敏度是正确分类脑组织标签的度量，它的大小是确定网络模型分割脑室的效果如何。特异度是用来计算输出类别的正确分类标签的度量，特异度越高说明网络模型越能将颅骨与脑室分割开来。

使用实验室内部采集数据T1加权图像和专家手动分割标签数据验证网络模型。并和现有的流行软件BSE、BET、ROBEX作对比。采用Dice值、Sensitivity、 Specificity。

表1实验结果数据

由图5(从上到下依次是标签数据、BSE软件分割结果、BET软件分割结果、 ROBEX软件分割结果、本文结果)的可视化结果可以看出，本方法无论是在整体还是局部细节的处理都较现有软件方法有所提高。表1从Dice值、Sensitivity、 Specificity三方面定量分析四种方法的性能，本文方法在3个指标上都有一定程度的提升。

本文针对现有软件分割结果不佳，提出了一种深度迭代融合的卷积神经网络模型，用于脑部MRI图像去颅骨分割。该模型采用编码器和解码器结构，中间加入短跳跃连接，加强不同层之间特征的融合。在编码器路径上加入了残差卷积模块，优化模型学习特征能力；在解码器中加入了双路上采样模块，还原出更加细节的特征；中间跳跃连接层由多个上采样迭代融合形成，加快了浅层语义信息输入深层网络中，从而提高分割的精度。

本发明未详述之处，均为本技术领域技术人员的公知技术。最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。