一种基于MAT-UNet的医学图像分割方法

技术领域

本发明属于医学图像分割技术领域，具体地讲，设计一种基于MAT-UNet的医学图像分割方法，在较小规模的医学图像数据集上，实现更好的分割效果。

背景技术

随着机器学习与深度学习的发展，计算机视觉技术在医学图像分析中得到了广泛的应用。图像分割是医学图像分析的重要组成部分，特别是在计算机辅助诊断与图像引导的临床手术中发挥着重要作用。医学图像作为重要的信息载体，它能够反映解剖区域的内部结构和功能。医学成像类型包括磁共振成像、计算机断层扫描、发射型计算机断层扫描和功能性成像等，医生通过观察这些生物医学图像来评估组织或器官的当前状况，最终提高诊断的准确性。

目前医学图像分割处理的对象主要是各种人体器官、组织和病变的图像。医生往往需要借助医学图像分割技术来提供更加清晰的患者病情信息。这些信息不仅能够协助临床医生进行更有效地诊断，而且还能够提供治疗方案，使诊断的准确性和可靠性得到有效提高。因此，医学图像分割技术已经成为医疗领域中不可或缺的步骤之一。

在临床诊断上，准确且快速的医学图像分割有助于帮助医生快速确定病灶范围以及判断病变目标的情况，从而进行下一步诊断和治疗，为病人提供合适的治疗方案，极大的提高工作效率。卷积神经网络(Convolutional Neural Networks，CNN)和Transformer由于自身强大的特征提取能力，能够从大量的医学图像数据中捕获病灶的各种信息特征，为病情的诊断和治疗提供帮助。

目前，在医学图像分割任务中，CNN和Transformer的混合模型展现出较好的分割效果。但即使如此，利用融入Transformer的卷积神经网络模型处理医学图像仍然面临的巨大挑战。第一，目前针对医学图像分割所做的研究大多是针对单一目标的，现有算法对单一图像多目标区域和人体内部复杂结构的分割效果有待提升。第二，大多数注意力机制都集中在对目标区域的关注和理解上，忽略了区域与边界之间的特征信息，导致边界分割错误和边界不连贯。第三，卷积神经网络拥有强大的特征提取能力，但医学图像中病变组织的多变性与复杂性，以及病变区域与周围组织的模糊边界和不均匀强度严重干扰了特征的表达能力，且在采样过程中不可避免地会造成全局和空间信息的丢失。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于MAT-UNet的医学图像分割方法，用于准确分割医学图像。

为了实现上述目的，本发明所采用的技术方案如下。

基于MAT-UNet的医学图像分割方法，具体实现步骤如下：

步骤一，选择较小规模的公开数据集，将数据集划分为训练集、测试集和验证集，并对其中图像进行预处理；

步骤二，基于编码器-解码器结构的U型网络框架，构建MAT-UNet分割模型，利用传统卷积层和多种注意力机制，进行特征的提取和学习，并结合跳跃连接，保持低级特征；

步骤三，设计局部-全局高斯权重自注意力模块（LGG-SA模块），更多关注局部信息，节省计算资源。此模块将局部自注意力和全局自注意力进行结合，并在全局自注意力中加入高斯权重轴向注意力（GWAA）。GWAA通过一个可学习的高斯矩阵进行加权；

步骤四，设计基于混合注意力的Transformer模块（MATM），融合了局部-全局高斯权重自注意力（LGG-SA）和门控轴向注意力（GAA）。这一模块用于替代原始Transformer的SA模块，实现更好的性能；

步骤五，在跳跃连接中加入残差块（Residual Block）和多级特征编译模块（MLFC模块），考虑来自不同编码器级别的特征映射，以减少语义间隙。

在步骤一中，所选用的医学图像分割数据集为ACDC自动心脏诊断挑战数据集和Synapse多器官分割数据集，预处理时将所有图像调整为224×224大小的图像。

在步骤二中，构建基于编码器-解码器结构的U型网络框架分割模型，具体过程如下：

基于编码器-解码器结构的U型网络框架构建分割模型，编码器部分由传统卷积块和混合Transformer模块组成，解码器部分与编码器部分一一对应，由传统卷积块和混合Transformer组成，编码器和解码器间用跳跃连接进行连接。

在编码器部分，卷积阶段使用传统卷积块进行卷积运算，进行浅层特征的提取。通过卷积可以在建模全局关系前引入一些结构信息，更多关注局部关系，同时也包含更多的高分辨率细节信息。卷积阶段采用最大池化的方法进行下采样。在卷积过后的更深层次使用混合Transformer模块进行局部表征的学习。此时空间分辨率较小，计算成本也比较低，此阶段使用步长为2的步长卷积实现下采样。

在解码器部分，所有模块与编码器进行一一对应，较深层次使用混合Transformer模块，浅层使用传统卷积块，在整个编码器部分全部使用反卷积进行上采样。

在Bottleneck部分使用两个混合Transformer模块，在编码器和解码器之间使用跳跃连接，保持尺度特征。

在步骤三中，设计局部-全局高斯权重自注意力模块（LGG-SA模块），并在全局自注意力中加入高斯权重轴向注意力（GWAA），具体内容如下：

局部自注意力（LSA）只计算窗口内的依赖，然后将每个窗口的token聚合为一个全局token来表示该窗口的主要信息。聚合函数部分使用轻量级动态卷积（LDConv）效果最好。在对整个特征图进行下采样后，可以用更少的计算成本计算全局自注意力（GSA），最后可以得到局部和全局表述级联后最终的输出。对于输入特征图

其中，

此外，在GSA中加入高斯加权轴向注意力（GWAA）。GWAA通过一个可学习的高斯矩阵增强每个查询对附近标记的感知，同时轴向注意力计算复杂度也比较低。设

由于方差

在步骤四中，设计基于混合注意力的Transformer模块（MATM），替代原始Transformer的SA模块，实现更好的性能。

在上述LGG-SA的基础上，加入门控轴向注意力（GAA），将两者结合成一个混合注意力Transformer模块（MATM）。可以在细粒度的局部和粗粒度的全局上下文依次执行自注意力，又可以控制位置偏差的嵌入位置、施加的影响。

GAA能够以良好的计算效率计算非局部上下文，可以控制位置偏差对非局部上下文编码的影响。GAA应用于宽度轴的注意力机制可以表示为：

其中

在步骤五中，在跳跃连接中加入残差块（Residual Block）和多级特征编译模块（MLFC模块），考虑来自不同编码器级别的特征映射，以减少语义间隙。

一个残差块由一个3×3大小的卷积块构成，用来减少语义间隙。多级特征编译模块（MLFC模块）可以聚合来自多个编码器层的信息，并丰富各个编码器的特征映射。其中使用逐点卷积运算来总结跨不同语义级别特征映射的概述，并与相应的编码器特征映射合并，这种整体和个体信息的融合通过另一个卷积传递。假设这个卷积用来自其他层特征的信息丰富当前层特征，计算公式表示为：

其中，

本发明提出的方法主要有以下优点。

本发明设计了基于混合注意力的Transformer模块（MATM模块），替代原始Transformer模块中的自注意力模块，能以更低的计算成本学习局部表征，可以有效地捕获非局部的上下文信息，同时可以有效地嵌入位置信息，捕获特征映射之间的长程依赖关系。

本发明设计局部-全局高斯权重自注意力（LGG-SA），将局部自注意力和全局自注意力进行结合，并在全局自注意力中加入高斯权重轴向注意力（GWAA），可以在细粒度的局部和粗粒度的全局上下文依次执行SA。

本发明在跳跃连接中加入残差块（Residual Block）和多级特征编译模块（MLFC模块），考虑来自不同编码器级别的特征映射，以减少语义间隙。

附图说明

图1为本发明基于MAT-UNet的医学图像分割方法的流程图。

图2为本发明MAT-UNet网络的结构图。

图3为局部-全局高斯权重自注意力（LGG-SA）的结构图。

图4为基于混合注意力的Transformer模块（MATM）的结构图。

图5为门控轴向注意力（GAA）的结构图。

图6为残差块（Residual Block）的结构图。

图7为多级特征编译模块（MLFC模块）的结构图。

具体实施方式

以下结合附图对本发明做进一步说明，以便本领域的技术人员更好地理解本发明。需要指出的是，在不脱离本发明核心思想的前提下，本领域的技术人员可以对本发明做出一些改进，这些都属于本发明的保护范围。

如图1所示，一种基于MAT-UNet的医学图像分割方法的流程图，具体包括以下步骤：

步骤一，选择较小规模的公开数据集，将数据集划分为训练集、测试集和验证集，并对其中图像进行预处理。所选用的医学图像分割数据集为ACDC自动心脏诊断挑战数据集和Synapse多器官分割数据集，预处理时将所有图像调整为224×224大小的图像。

步骤二，构建基于编码器-解码器结构的U型网络框架分割模型。构建方式为：

如图2所示，基于编码器-解码器结构的U型网络框架构建分割模型，编码器部分由传统卷积块和混合Transformer模块组成，解码器部分与编码器部分一一对应，由传统卷积块和混合Transformer模块组成，编码器和解码器间用跳跃连接进行连接。

在编码器部分，卷积阶段使用传统卷积块进行卷积运算，进行浅层特征的提取。通过卷积可以在建模全局关系前引入一些结构信息，更多关注局部关系，同时也包含更多的高分辨率细节信息。卷积阶段采用最大池化的方法进行下采样。在卷积过后的更深层次使用混合Transformer模块进行局部表征的学习。此时空间分辨率较小，计算成本也比较低，此阶段使用步长为2的步长卷积实现下采样。

在解码器部分，所有模块与编码器进行一一对应，较深层次使用混合Transformer模块，浅层使用传统卷积块，在整个编码器部分全部使用反卷积进行上采样。

在Bottleneck部分使用两个混合Transformer模块，在编码器和解码器之间使用跳跃连接，保持尺度特征。

步骤三，设计局部-全局高斯权重自注意力模块（LGG-SA模块），并在全局自注意力中加入高斯权重轴向注意力（GWAA），如图3所示。

局部自注意力（LSA）只计算窗口内的依赖，然后将每个窗口的token聚合为一个全局token来表示该窗口的主要信息。聚合函数部分使用轻量级动态卷积（LDConv）效果最好。在对整个特征图进行下采样后，可以用更少的计算成本计算全局自注意力（GSA），最后可以得到局部和全局表述级联后最终的输出。对于输入特征图

其中，

此外，在GSA中加入高斯加权轴向注意力（GWAA）。GWAA通过一个可学习的高斯矩阵增强每个查询对附近标记的感知，同时轴向注意力计算复杂度也比较低。设

由于方差

步骤四，如图4所示，设计基于混合注意力的Transformer模块（MATM），替代原始Transformer模块中的SA模块，实现更好的性能。

在上述LGG-SA的基础上，加入门控轴向注意力（GAA），将两者结合成一个混合注意力Transformer模块（MATM）。可以在细粒度的局部和粗粒度的全局上下文依次执行自注意力，又可以控制位置偏差的嵌入位置、施加的影响。

如图5所示，GAA能够以良好的计算效率计算非局部上下文，可以控制位置偏差对非局部上下文编码的影响。GAA应用于宽度轴的注意力机制可以表示为：

其中

步骤五，在跳跃连接中加入残差块（Residual Block）和多级特征编译模块（MLFC模块），考虑来自不同编码器级别的特征映射，以减少语义间隙。

如图6所示，一个残差块由一个3×3大小的卷积块构成，用来减少语义间隙。如图7所示，多级特征编译模块（MLFC模块）可以聚合来自多个编码器层的信息，并丰富各个编码器的特征映射。其中使用逐点卷积运算来总结跨不同语义级别特征映射的概述，并与相应的编码器特征映射合并，这种整体和个体信息的融合通过另一个卷积传递，假设这个卷积用来自其他层特征的信息丰富当前层特征，计算公式表示为：

其中，