一种多尺度特征选择性融合的胰腺图像分割方法

技术领域

本发明涉及医疗图像处理领域，尤其是一种对胰腺图像进行空间特征和尺度特征选择后进行语义分割的方法。

背景技术

胰腺是人体最重要的器官之一，兼具内外分泌腺功能。它在腹腔中位置深，起病隐匿，同时具有体积小、易高度形变的特性，这给胰腺疾病的诊断带来很大的挑战。高精度的胰腺图像分割是是借助计算机辅助诊断系统对胰腺进行定量分析及疾病诊断的前提条件，由于手工分割效率低、繁琐、易错，因此胰腺图像的自动分割具有非常重大的研究价值和意义。目前，胰腺CT图像的自动分割仍然是非常有挑战的任务，主要因素有：1)胰腺在整个图像的占比较小，与周围组织的对比度较低,边界模糊，易受背景的干扰；2)胰腺在形状和大小上具有高度的解剖形变性，这些因素给胰腺的自动精准分割造成了很大的困难。

随着深度神经网络的发展以及在医学图像语义分割的广泛应用，大量基于深度学习的胰腺分割方法被提出，也取得了有效的进展。现有的深度学习方法大多数基于2D FCNs或3D FCNs实现单一或多阶段的分割。无论是基于2D FCNs的方法还是3D FCNs的方法，分割的性能都依赖于模型的学习能力，然而大多数方法的模型有较大的特征通道，模型的参数量较大，存在大量特征冗余学习和计算资源消耗。

传统的编解码的语义分割网络(例如FCN、Unet),在解码器中利用Add或Concat操作融合不同尺度的低高层次特征，在恢复特征尺寸的同时能够保留更多空间细节特征和语义特征，特别是Unet模型，采用了逐层次的多尺度特征融合，能够得到更加精细的结果，在医学图像分割中也有较好的性能，然而对于高度形变的大小、形态、位置不一的目标(例如：胰腺)，Unet分割性能具有较大的局限性，其中的一个重要原因是Unet的不同层次特征融合对于所有的输入图像是一致的，而这类目标对于不同感受野和不同层次的特征具有不同的适应性，另外受训练数据集大小以及网络规模的限制，造成Unet网络的学习能力有限。

发明内容

为了提高胰腺分割的性能并减少计算资源的消耗，本发明提供一种提高模型分割的精准度的多尺度特征选择性融合的胰腺图像分割方法，构建了多尺度特征选择性融合网络，利用多尺度特征间的空间注意的一致性和差异性，赋予不同尺度特征不同的尺度权重以及相同的空间权重，用以表示对于输入样本不同尺度特征的重要程度并能够聚焦相同的感兴趣区域。

为了解决上述技术问题，本发明提供如下技术方案：

一种多尺度特征选择性融合的胰腺图像分割方法，构建一个两阶段的由粗到细的胰腺分割框架，首先在预处理后的整图上进行粗分割和分割优化得到粗分割结果，确定胰腺分割区域的边界框，对预处理后的图像进行裁剪，再在裁剪图像上进行细分割和分割优化得到胰腺图像的细分割结果；

所述粗分割和细分割的分割优化方法包括以下步骤：

1)将SE机制和Inception思想引入不同层次的特征融合中，构建了多尺度特征选择性融合模块MSSFM；

MSSFM利用多尺度特征信息产生一个空间位置权重以及对应尺度特征的尺度特征权重；对于给定的不同层次特征，首先利用卷积核大小为1的卷积操作以及上采样操作统一特征的尺寸和特征的维度为C×H×W，另外为了增加模型对多个尺度特征的自适应性，分别利用卷积核大小为3和5的卷积操作获取多个不同尺度的特征F

W

W

S＝Concat(S

S

S

S

S

其中W

2)、对胰腺图像数据，首先进行阈值化处理，CT值范围[-100,240]HU,突显胰腺区域，再归一化到[0,1]；采用了四折交叉验证，在每一轮中取三份作为训练集，剩下的一份作为测试集，总共进行四轮，期间每例病人都会被评估一次；

在模型训练过程中，利用随机翻转、旋转、平移、错切、缩放操作对训练数据做数据增广，增加样本的数量。

进一步，在模型训练阶段，学习率设置为0.0001，并选择Adam优化器。总共训练20个epoch，每10个epoch，学习率减少10倍；期间使用4个样本的batch size进行梯度更新，损失函数采用一般的Dice损失函数：

采用形态学闭运算操作以及最大连通域处理，对三维体数据的分割结果进行优化，确保各个Slice的三维连通性并平滑边界信息，去除离群点的影响；采用Ball核进行形态学操作。

本发明通过多尺度特征选择性的融合，使网络自适应不同形状和大小的目标结构，提高模型的泛化能力和分割的精准度，一定程度上缓解了胰腺的高度形变性和背景干扰带来的挑战。受显存的限制，采用基于2D FCNs的方法验证模型的有效性，但仅利用轴状方向的输出作为预测结果。为了结合3D上下文信息，消除离群点并且填充切片间和切片内的空洞，同时利用形态学闭运算和最大连通域做分割后处理优化，确保三维分割结果的连通性和平滑结果。本发明在Unet模型基础上，编码部分利用残差卷积块使网络更深并防止模型退化，提升有效特征的学习；解码部分利用多尺度特征的选择性融合模块自下而上的融合多尺度特征，增加网络对多尺度目标的适应性并聚焦目标区域，提高模型分割的精准度。

本发明的有益效果主要表现在：

1)为了提高胰腺分割的性能并减少计算资源的消耗，提出了一种多尺度特征选择性融合的模块，增加网络对多尺度目标的适应性，提高网络的泛化能力，同时也减少了冗余特征的学习。

2)为了解决2D切片分割导致中间层缺失的问题，利用形态学闭运算和最大连通域对三维分割结果进行后处理优化，保证分割结果的整体性和连通性。

附图说明

图1为本发明对胰腺图像分割的总体框架。

图2为模型的整个网络结构，其中弯曲箭头代表上采样，空心箭头代表下采样,PixelMax代表所有特征图逐点取最大值。

图3是残差卷积块RCB的结构图。

图4是多尺度特征选择性融合模块MSSFM的结构图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种多尺度特征选择性融合的胰腺图像分割方法，将SE机制和Inception思想引入不同层次的特征融合中，构建了多尺度特征选择性融合模块MSSFM(Multi scale Selctive Fusion Module)，增加网络对高度形变目标的适应性。

MSSFM结构如图4所示，MSSFM主要利用多尺度特征信息产生一个空间位置权重以及对应尺度特征的尺度特征权重，这些权重可以看做特征选择器，对于不同的输入图像能够自适应的选择不同尺度的特征进行融合决策，增加网络的灵活性，自适应高度形变的分割目标，提高网络分割的性能。对于给定的不同层次特征，首先利用卷积核大小为1的卷积操作以及上采样操作统一特征的尺寸和特征的维度为C×H×W，另外为了增加模型对多个尺度特征的自适应性，分别利用卷积核大小为3和5的卷积操作获取多个不同尺度的特征F

W

W

S＝Concat(S

S

S

S

S

其中W

本发明使用的数据集是NIH胰腺数据集，该数据集包含82例对比度增强的CT数据,每一例数据的体素为512×512×C(C[181,466])，数据集的真实标签包括背景(标签为0)和胰腺(标签为1)。为了有效评估本文的方法，数据集不做任何的裁剪操作，首先对数据进行阈值化处理，CT值范围[-100,240]HU,突显胰腺区域，再归一化到[0,1]。按照大多数的交叉验证策略，采用了四折交叉验证，首先将82例病人随机划分为四份[21,21,20,20]，在每一轮中取三份作为训练集，剩下的一份作为测试集，总共进行四轮，期间每例病人都会被评估一次。

在模型训练过程中，为了缓解模型的过拟合，利用随机翻转、旋转、平移、错切、缩放操作对训练数据做数据增广，增加样本的数量，提高模型的泛化能力。

本方法的代码基于keras框架实现，在RTX 2080(11G)上进行模型的训练。在训练阶段，学习率设置为0.0001，并选择Adam优化器。总共训练20个epoch，每10个epoch，学习率减少10倍,期间使用4个样本的batch size进行梯度更新，损失函数采用一般的Dice损失函数：

由于基于2D模型的Slice分割实现三维体数据分割的策略忽略了相邻Slice的连通性，分割结果中间会有断层的情况，本发明采用形态学闭运算操作以及最大连通域处理，对三维体数据的分割结果进行优化，确保各个Slice的三维连通性并平滑边界信息，去除离群点的影响。本发明采用Ball核(radius＝3)进行形态学操作，可以确保大多数的数据的三维连通性。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。