一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法

技术领域

本发明涉及CT图像处理技术领域，尤其涉及一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法。

背景技术

发生在肝脏部位的肿瘤病变具有较高的致死率,及早从腹部CT图像中分割出肝脏和肝脏肿瘤是辅助医生对患者进行诊疗的关键。然而，人工分割耗时长,效率低；且CT图像具有对比度低、器官组织间灰度值较为相似和肝脏肿瘤形状大小多变等特点,使得快速准确分割出肝脏和肝脏肿瘤仍是一项挑战性的任务。随着深度学习技术在计算机视觉任务中表现优异,在医学图像分割领域得到广泛研究与应用；但是在传统的方法中都是采用拼接模块或者通过求和来融合不同语义特征的技术手段，因此导致了性能受限。

U-net 发表于 2015 年，属于 FCN 的一种变体，U-net 的初衷是为了解决生物医学图像方面的问题，由于效果确实很好后来也被广泛的应用在语义分割的各个方向，比如卫星图像分割，工业瑕疵检测等。U-net 跟 FCN 都是 Encoder-Decoder 结构，结构简单但很有效。Encoder 负责特征提取，将熟悉的各种特征提取网络放在这个位置。由于在医学方面，样本收集较为困难为了解决这个问题，传统的肝脏图像分割方法中添加了图像增强的方法，在数据集有限的情况下获得了不错的精度。但是这种精度还无法满足现有生物医疗领域的需求，还需进一步提升。

因此，本领域的技术人员，亟需提供一种全新的肝脏肿瘤CT图像分割方法提高现有肝脏肿瘤CT图像分割精度。

发明内容

有鉴于此，本发明提供了一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法，本发明采用U-NET网络为图像处理网络基础框架，并对其进行改进，添加优化分割精度，优化学习能力的网络模块，提高对肝脏肿瘤CT图像分割性能。

为了达到上述目的，本发明采用如下技术方案：

一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法，包括：

获取公开的肝脏肿瘤分割基准数据集，并进一步获取用于训练的训练样本集；

搭建神经网络结构，并进一步构建神经网络模型，以适用于肝脏肿瘤CT图像分割；

其中，所述神经网络结构以语义分割网络U-Net网络为网络框架，利用融合倒置残差卷积替换所述U-Net网络中原始卷积，并在所述U-Net网络插入改进型AGCH注意力机制以及在所述U-Net网络的瓶颈处采用SE_ASPP模块；

获取待分割图像进行初步处理并输入所述神经网络模型中进行图像分割、特征提取、图像优化操作，输出肝脏区域分割结果。

优选的，还包括：

对所述肝脏肿瘤分割基准数据集进行裁剪、增强预处理，得到初步清晰化肝脏分割图像数据集，并基于所述初步清晰化肝脏分割图像数据集和交叉验证法获取所述训练样本集。

优选的，利用融合倒置残差卷积技术替换多个所述U-Net网络中原始卷积，具体包括：

使用融合倒置残差卷积将原始所述U-Net网络中的卷积操作融合为一个卷积操作；

在下采样阶段中的融合倒置残差卷积块和上采样中与所述融合倒置残差卷积相连接的特征图基于所述改进型AGCH注意力机制进行跳跃连接。

优选的，所述改进型AGCH注意力机制以受门控注意力机制AG和混合域注意力机制CBAM为技术基准进行重新设计得到所述改进型AGCH注意力机制。

优选的，在所述U-Net网络的瓶颈处采用SE_ASPP模块，具体包括：

对原有的SE_ASPP模块进行改进，将原始所述SE_ASPP模块中2D卷积和归一化层改成3D卷积和归一化层；

利用所述SE_ASPP模块将SE-NET模块的权重值与输入ASPP模块中的各个特征相乘，学习并筛选有用的特征信息。

优选的，所述神经网络模型使用的损失函数，为交叉熵损失函数和Dice损失函数结合结果。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法，在U-Net的基础上，将传统的U-Net架构中的普通卷积将其替换为Fuse-MBConv卷积，通过融合多个卷积的操作捕获不同尺度特征，提高特征表示能力。并且在U-Net的瓶颈处使用SE_ASPP模块，学习显著性特征，提高模型性能。在跳跃连接中使用改进型AGCH注意力机制，缓解跳跃连接中的语义冲突，抑制不相关的背景，专注感兴趣的区域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1 附图为本发明的不同模型在LiTs数据集上肝脏和肿瘤的分割结果对比图；

图2 附图为本发明的神经网络结构示意图；

图3 附图为本发明的方法流程示意图；

图4 附图为本发明的FuseMBConv卷积和MBConv卷积结构示意图；

图5 附图为本发明的SE_ASPP结构示意图；

图6 附图为本发明的改进型AGCH注意力机制结构图；

图7 附图为本发明的不同模型之间的损失对比图；

图8 附图为本发明的不同模型的肝脏分割Dice值结果对比图；

图9 附图为本发明的不同模型的肝脏分割95HD值结果对比图；

图10 附图为本发明的不同模型的肝脏分割ASD值结果对比图。

图中：1输入图像、2Fuse-MBConv、3下采样、4SE_ASPP模块、5特征图、6AGCH注意力机制、7上采样、8跳跃连接、9输出图像。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例公开了一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法，包括：

获取公开的肝脏肿瘤分割基准数据集，并进一步获取用于训练的训练样本集；

搭建神经网络结构，并进一步构建神经网络模型，以适用于肝脏肿瘤CT图像分割；

其中，神经网络结构以语义分割网络U-Net网络为网络框架，利用融合倒置残差卷积替换U-Net网络中原始卷积，并在U-Net网络插入改进型AGCH注意力机制以及在U-Net网络的瓶颈处采用SE_ASPP模块；

获取待分割图像进行初步处理并输入神经网络模型中进行图像分割、特征提取、图像优化操作，输出肝脏区域分割结果。

具体地：

还包括：

对肝脏肿瘤分割基准数据集进行裁剪、增强预处理，得到初步清晰化肝脏分割图像数据集，并基于初步清晰化肝脏分割图像数据集和交叉验证法获取训练样本集。本发明采用的肝脏肿瘤分割基准数据集LiTS (The Liver Tumor Segmentation Benchmark) 是专注于肝脏及其肿瘤分割的 CT 数据集。该数据集收集了 7 个不同医学中心的数据，包含131 例训练集和 70 例测试集。由于在CT图像中，Hounsfield单位（HU）表示CT的值，一般而言，HU值的范围从-1000到1000。肿瘤生长在肝实质中，这是属于分割感兴趣的区域。将图像聚焦于肝脏区域，去除不相关的组织。在预处理阶段，去除不相关组织，将Hounsfield强度裁剪为（-40，400），从而使分割区域更加清晰。最后，在本实施例中进行了直方图均衡化操作，来增强图像的对比度和清晰度。并且，更进一步的，在本实施例中采用5倍交叉验证法对肝脏肿瘤分割基准数据集LiTS进行处理，按比例获取了训练集、测试集、以及验证集。

利用融合倒置残差卷积技术替换多个U-Net网络中原始卷积，具体包括：

使用融合倒置残差卷积将原始U-Net网络中的卷积操作融合为一个卷积操作；

在下采样阶段中的融合倒置残差卷积块和上采样中与融合倒置残差卷积相连接的特征图基于改进型AGCH注意力机制进行跳跃连接。

另外，在本实施例中，在U-Net网络的瓶颈处使用SE_ASPP模块，对特征图的通道进行加权，学习并筛选分割目标具有显著贡献的特征，能够使网络更好的关注输入信息的关键部分，提高模型预测精度。其中，SE_ASPP模块为空洞空间卷积池化金字塔网络+压缩和激励网络。同时基于在U-Net跳跃连接中使用重新设计的AGCH注意力机制，提高分割目标的权重，加强对重要特征的关注，提高模型的分割精度。

改进型AGCH注意力机制以受门控注意力机制AG和混合域注意力机制CBAM为技术基准进行重新设计得到改进型AGCH注意力机制。

在U-Net网络的瓶颈处采用SE_ASPP模块，具体包括：

对原有的SE_ASPP模块进行改进，将原始SE_ASPP模块中2D卷积和归一化层改成3D卷积和归一化层；

利用SE_ASPP模块将SE-NET模块的权重值与输入ASPP模块中的各个特征相乘，学习并筛选有用的特征信息。

需要说明的是，U-NET提出的初衷是为了解决医学图像分割的问题。传统的U-NET网络非常简单，前半部分就是特征提取，后半部分是上采样。在一些文献中把U-NET网络结构也称为编码器-解码器结构。编码器：左半部分，由3*3的卷积层再加上一个2*2的最大池化层组成一个下采样的模块；解码器：右半部分，由一个上采样的卷积层“反卷积层”，特征拼接函数，两个3*3的卷积层，非线性3*3的卷积层；且U-NET相比于更早提出的FCN网络，使用拼接作为特征图的融合方式，U-NET通过通道数的拼接，拼接形成的特征相比FCN融合得到的特征多，将会消耗大量显存。而FCN网络是通过特征图对应像素值的求和来融合特征的。

如图2所示，为本实施例中公开的神经网络结构，其中，融合倒置残差卷积融合多个原始U-NET网络中的原始卷积实现对不同尺度特征的捕获，从而提高特征表示能力。

为验证以及进一步说明本实施例所公开技术方案的技术效果，现以实际数据进行进一步介绍，需要说明的是，在实际应用时，以实际数据为准。

本实施例实验配置环境为pytorch深度学习框架搭建神经网络模型，并使用Adamw作为优化器来调整神经网络模型参数，同时将初始学习率设为0.0004。为了验证我们的神经网络模型算法与其他分割模型的对比结果，所有模型训练均在服务器为ubuntu20.04server系统，Nvidia 3090显卡，内存24G的条件下进行训练和评估。

如图1所示为不同模型在LiTs数据集上肝脏和肿瘤的分割结果对比图。具体地在本实施例中所有模型均使用pyTorch框架实现，同时使用具有指数学习率衰减的AdamW优化器进行优化。同时采用五倍交叉验证的方式进行模型训练，初始学习率设为0.0004。使用LiTs数据集，对所有图像重新采样到0.76ⅹ0.76ⅹ1.0mm的间距。将本实施例的方法与几个先进算法做了对比试验，分别是U-Net、ResUNet、VT-UNet、UNetr和Attention-UNet。对于UNetr和VT-UNet模型进行400个epoch训练，每个epoch进行500次迭代。其他模型进行200个epoch训练，每个epoch进行500次迭代，Batchsize大小设置为2，实验结果的Dice、95HD和ASD评价指标均采取交叉验证的平均值。

通过实验来对比融合倒置残差卷积Fused-MBConv卷积和MBConv卷积两种卷积在肝脏和肿瘤上的分割精度情况。由于Fused-MBConv卷积是在MBConv卷积的基础上改进的。所以，如下两个表，表1是肝脏的分割结果，表2是肿瘤的分割结果。同样在U-Net框架的基础上将编码器和解码器中的普通卷积分别替换为MBConv和Fused-MBConv来做对比，可以明显看出，在使用Fused-MBConv卷积的时候，无论是在肝脏及肿瘤上的分割精度Fused-MBConv都优于MBConv。所以最终本实施例选择将融合倒置残差卷积Fused-MBConv卷积作为基础卷积。

本实施例通过采用三种评价指标分别是Dice系数、豪斯多夫距离HD和平均对称表面距离ASD来评估肝脏和肿瘤的分割结果。

表1 肝脏分割结果

表2 肿瘤分割结果

更进一步，神经网络模型使用的损失函数，为交叉熵损失函数和Dice损失函数结合结果。交叉熵损失函数是一种可以用来衡量网络模型得到的预测结果与真实结果存在差异的损失函数。但是交叉熵损失函数也存在着不足，如果当前的某些样本数量过少，那么这些类别可能就会被忽略导致模型分类偏差。所以在肝脏分割过程中，背景区域是比肝脏区域要大的。因此，本实施例使用Dice损失函数给交叉熵损失函数增加权重。Dice损失函数对类别不平衡的问题能有很好的鲁棒性，本实施例的损失函数不但可以考虑预测与真实之间的重叠区域，还可以考虑并集。交叉熵损失函数如下所示：

；

Dice损失函数如下所示：

；

本实施例所用损失函数公式：

；

其中

如下表所示通过对比实验方法验证了分割具有较优结果，采用U-Net、ResUNet、VT-UNet、UNetr和Attention-UNet进行对比试验，下表是肝脏分割结果的评价指标对比。本实施例提出的方法在肝脏分割结果取得了平均Dice系数为96.6%，相比基础框架U-Net提升了1.1%。肿瘤的平均Dice系数为80.9%，相比基础框架U-Net提升了18.0%。而在其他两个评价指标中肝脏的分割结果也均优于其他模型方法。

表3 不同算法在LiTs数据集上肝脏分割结果

如下表所示本实施例的对比实验中肿瘤的平均Dice系数为80.9%，相比基础框架U-Net提升了18.0%。而在其他两个评价指标中肿瘤的分割结果也均优于其他模型方法。

表4 不同算法在LiTs数据集上肝脏肿瘤分割结果

如下表所示通过消融实验验证本实施例提出的模型算法性能取得了很好的提升。下表是肝脏的分割结果。

表5 在LiTs数据集上肝脏分割的消融结果

如下表所示通过消融实验验证了本实施例方法在肝脏肿瘤上的分割结果也同样取得了很好的精度。

表6 在LiTs数据集上肝脏肿瘤分割的消融结果

实验总结

本实验通过使用python语言，pytorch深度学习框架搭建网络模型。将Fuse-MBConv和SE_ASPP引入到U-Net框架中，Fuse-MBConv卷积结构既提高模型的感受野和特征表达的能力，同时也能够减少模型的计算量。SE_ASPP模块提取不同尺度上的特征然后融合提高模型性能。随后改进了注意力机制为AGCH，对模型分割的重要特征提高关注。进而提出了AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法，提高了网络对肝脏和肿瘤的提取能力，解决其他算法的过分割和欠分割问题。在实验中，使用五倍交叉验证的方法，有效减少模型在预测评估时的随机误差，提高结果的准确度。实验结果表明，所提出的分割算法具有较高准确性，优于其他对比试验的结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。