医学图像分割方法及电子设备

技术领域

本申请涉及医学影像技术领域，具体涉及一种医学图像分割方法及电子设备。

背景技术

医学影像检查是借助计算机断层扫描、磁共振成像和X射线等成像检查设备取得内部组织影像数据进行疾病诊断。目前，医学图像分割在医学研究和临床诊断等领域中有着广泛的应用。

但由于无论通过哪种成像方式，腹部解剖结构中的各内脏器官和骨组织所受到的强度不一致，致使邻近器官的位置重叠相互影响，导致图像分割边界不清晰、图像分割精度差，给医生的诊断工作增加了难度。

2015年提出了一种Unet网络可应用于医学图像分割，该网络是由“编码器-解码器”组成的U型结构，在编码器结构中以卷积和下采样为主，对图像由浅层向深层的语义特征信息进行提取，由解码器对其提取到的特征信息进行恢复，通过增加简单的跳跃连接，利用编码器提取的特征信息对解码器恢复的特征信息进行补充，但由于编码器提取的与解码器恢复的特征信息差异较大，直接使用浅层特征进行融合，会影响图像的分割结果的精度，难以满足腹部器官图像分割的精度要求。

发明内容

本申请实施例提供一种医学图像分割方法及电子设备，用以解决医学图像分割精度不佳的技术问题。

第一方面，本申请实施例提供一种医学图像分割方法，包括：

获取待分割医学图像；

输入所述待分割医学图像至医学图像分割网络，获得所述医学图像分割网络输出的医学图像分割图；

其中，所述医学图像分割网络包括：主编码网络、主解码网络、子编码网络和子解码网络；

所述主编码网络用于对所述待分割医学图像进行卷积和池化，得到主网图像提取特征；

所述子编码网络用于对所述待分割医学图像进行残差卷积和步长为2的卷积，得到子网图像提取特征，并对所述主网图像提取特征以及所述子网图像提取特征进行特征融合，得到融合图像特征；

所述子解码网络用于根据所述融合图像特征对所述子网图像提取特征进行上采样，得到子网图像上采样特征；

所述主解码网络用于对所述主网图像提取特征进行上采样，得到主网图像上采样特征，并根据所述主网图像上采样特征和所述子网图像上采样特征，得到所述医学图像分割图。

在一个实施例中，所述主编码层包括：N层主编码层；其中，N为大于3的整数；

所述子编码层包括：N层子编码层；

所述子解码层包括：N-1层子解码层；

第i层的子编码层用于对第i-1层的子网图像提取特征进行残差卷积和步长为2的卷积，得到第i层的子网图像提取特征，并对第i层的主网图像提取特征和第i层的子网图像提取特征进行特征融合，得到第i层的融合图像特征；其中，i∈{1,⋯,N}；

第i层的子解码层用于根据第i+1层的子网图像上采样特征和第i层的融合图像特征，得到第i层的子网图像上采样特征；

当i取N时，第i+1层的子网图像上采样特征为第N层的子网图像提取特征；

当i取1时，第i-1层的子网图像提取特征为所述待分割医学图像。

在一个实施例中，第i层主编码层包括n个串联的3×3的卷积层和1个池化层，用于对第i-1层的主网图像提取特征进行卷积和池化，得到第i层的主网图像提取特征；

当i取1时，第i-1层的主网图像提取特征为所述待分割医学图像；

当i∈{3,⋯,N}时，n为大于或等于4的整数。

在一个实施例中，所述医学图像分割网络，还包括：注意力门网络；

所述注意力门网络用于根据所述子网图像上采样特征和所述主网图像上采样特征得到注意力强化图像特征，并将所述注意力强化图像特征输入至所述主解码网络；

所述主解码网络还用于根据所述注意力强化图像特征与所述主网图像上采样特征得到所述医学图像分割图。

在一个实施例中，所述注意力门网络还用于对第j+2层主网图像上采样特征和第j+3层主网图像上采样特征分别进行上采样，并对上采样后的第j+2层主网图像上采样特征和上采样后的第j+3层主网图像上采样特征进行通道拼接，得到非邻层图像特征；以及用于根据所述非邻层图像特征、当前层的子网图像上采样特征和当前层的主网图像上采样特征，得到所述注意力强化图像特征，并将所述注意力强化图像特征输入至所述主解码网络；

其中，当前层为第j层，j∈{1,⋯,N-3}，N为所述主编码网络的层数且N为大于3的整数。

在一个实施例中，所述医学图像分割网络，还包括：全局上下文特征提取网络；

其中，所述全局上下文特征提取网络用于对所述融合图像特征进行全局上下文信息建模，得到精细化特征后的融合图像特征，并将所述精细化特征后的融合图像特征输入至所述子解码网络；

所述子解码网络用于根据所述精细化特征后的融合图像特征对所述子网图像提取特征进行上采样，得到所述子网图像上采样特征。

在一个实施例中，所述医学图像分割网络，还包括：多尺度特征提取网络；

所述多尺度特征提取网络用于对所述融合图像特征进行多尺度特征融合，得到语义增强后的融合图像特征，并将语义增强后的融合图像特征输入至所述子解码网络；

所述子解码网络用于根据语义增强后的融合图像特征对所述子网图像提取特征进行上采样，得到所述子网图像上采样特征。

在一个实施例中，所述医学图像分割网络，还包括：多尺度特征提取网络；

所述多尺度特征提取网络用于对所述精细化特征后的融合图像特征进行多尺度特征融合，得到语义增强后的融合图像特征，并将语义增强后的融合图像特征输入至所述子解码网络；

所述子解码网络用于根据语义增强后的融合图像特征对所述子网图像提取特征进行上采样，得到所述子网图像上采样特征。

在一个实施例中，所述全局上下文特征提取网络，包括：第一上下文分支、第二上下文分支和第三上下文分支；

所述第一上下文分支用于对所述融合图像特征依次进行1×1的卷积操作和激活函数操作，得到第一层精细化图像特征；

所述第二上下文分支用于将所述融合图像特征和所述第一层精细化图像特征点乘，得到中间图像特征，以及对所述中间图像特征依次进行1×1的卷积、归一化和激活函数的操作得到第二层精细化图像特征；

所述第三上下文分支用于对所述中间图像特征、所述第二层精细化图像特征和所述融合图像特征进行特征融合，得到所述精细化特征后的融合图像特征。

在一个实施例中，所述多尺度特征提取网络，包括：2个1×1的卷积层、2个3×3的卷积层、1个空洞卷积率为3的空洞卷积层、1个通道拼接层和1个特征融合层；

所述进行多尺度特征融合的过程如下：

依次利用1个1×1的卷积层和1个3×3的卷积层对输入所述多尺度特征提取网络的图像特征进行卷积，得到第一尺度特征；

利用1个3×3的卷积层对输入所述多尺度特征提取网络的图像特征进行卷积，得到第二尺度特征；

利用所述空洞卷积率为3的空洞卷积层对输入所述多尺度特征提取网络的图像特征进行卷积，得到第三尺度特征；

利用所述通道拼接层对所述第一尺度特征、所述第二尺度特征和所述第三尺度特征进行通道拼接，得到多尺度特征；

利用1个1×1的卷积层对所述多尺度特征进行卷积后，得到多尺度提取特征；

利用所述特征融合层对所述多尺度提取特征和输入所述多尺度特征提取网络的图像特征进行特征融合，输出所述语义增强后的融合图像特征。

在一个实施例中，所述主解码网络用于对所述主网图像提取特征进行反卷积，得到所述主网图像上采样特征；

所述子解码网络用于根据所述融合图像特征进行双线性插值，得到所述子网图像上采样特征。

第二方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的医学图像分割方法的步骤。

本申请实施例提供的医学图像分割方法，通过构建子编码解码网络，以残差卷积和步长为2的卷积进行图像特征提取，以获取含有空间信息的图像特征，并通过特征融合以弥补主编码网络中池化操作导致的空间特征信息丢失；由于子解码网络根据融合图像特征进行特征恢复，得到子网图像上采样特征，而融合图像特征保留有空间信息和细节信息，因此，缩小了子解码网络恢复的图像特征与子编码网络提取的图像特征之间的差异，使得深层语义与浅层细节相互协调，令子解码网络输出的子网图像上采样特征对空间信息的关注度得以提升，从而主解码网络得到医学图像分割图的过程中，利用子网图像上采样特征对主网图像上采样特征进行语义补充，进而提升了医学图像分割网络输出的医学图像分割图的分割精度，达到了腹部器官图像分割的精度要求。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的医学图像分割方法的流程示意图；

图2是现有技术中的基于Unet网络结构的主编码解码网络的网络结构示意图；

图3是本申请实施例提供的医学图像分割网络的网络结构示意图之一；

图4是本申请实施例提供的医学图像分割网络的网络结构示意图之二；

图5是本申请实施例提供的基于AG-Unet的医学图像分割网络的网络结构示意图；

图6是本申请实施例提供的注意力门网络的网络结构示意图；

图7是本申请实施例提供的具有三分支的注意力门网络的网络结构示意图；

图8是本申请实施例提供的全局上下文特征提取网络的网络结构示意图；

图9是本申请实施例提供的多尺度特征提取网络的网络结构示意图；

图10是本申请实施例提供的医学图像分割网络的网络结构示意图之三。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的医学图像分割方法的流程示意图之一。参照图1，本申请实施例提供一种医学图像分割方法，可以包括：

S11、获取待分割医学图像；

S12、输入待分割医学图像至医学图像分割网络，获得医学图像分割网络输出的医学图像分割图。

在步骤S11中，所述待分割医院图像可以为借助计算机断层扫描（CT，ComputedTomography）、磁共振成像（MRI，Magnetic Resonance Imaging）和X射线（X-radiation）等成像检查设备获取到的医学图像。

在步骤S12中，医学图像分割网络包括：主编码网络、主解码网络、子编码网络和子解码网络。

其中，主编码网络和主解码网络构成主编码解码网络，其网络结构可以参照Unet网络；所述主编码网络可以用于对待分割医学图像进行特征提取，输出主网图像提取特征，其中，特征提取的操作包括但不限于卷积和池化；所述主解码网络可以用于对主网图像提取特征进行上采样得到主网图像上采样特征，其中，上采样的操作包括但不限于反卷积。

为了便于理解，请参见图2，基于Unet网络结构的主编码解码网络包括多层主编码层和多层主解码层，主编码解码网络的图像特征处理过程如下：

将待分割医学图像输入至第一层主编码层，经过卷积和池化操作后，第一层主编码层将得到的第一层主网图像提取特征输入至第二层主编码层，第二层主编码层对第一层主网图像提取特征进行卷积和池化操作后，将得到的第二层主网图像提取特征输入至第三层主编码层，以此类推，最后一层主编码层将得到的主网图像提取特征输入至最后一层的主解码层，最后一层主解码层基于最后一层主网图像提取特征进行反卷积，得到最后一层的主网图像上采样特征并将其输入至上一层主解码层，以此类推，直至第一层主解码层恢复得到第一层的主网图像上采样特征。

在上述主编码解码网络中，主编码层的输出端还与同一层的主解码层的输入端相连接，形成跳跃连接结构，主编码层通过通道拼接操作，利用主编码层的主网图像提取特征对当前恢复得到的主网图像上采样特征进行语义补充，该层主解码层对通道拼接后得到的图像特征进行卷积操作，并将得到的图像特征输入至上一层主解码层。

上述基于Unet网络结构的主编码解码网络存在以下问题：

多次池化操作将图片尺寸缩小会造成图像特征细节缺失；主编码器提取的图像特征与主解码器恢复的图像特征之间差异较大，难以通过简单的跳跃连接以达到语义补充的目的，影响图像分割精度。

为了解决上述问题，本实施例构建了一个子编码解码网络，即本实施例所示的医学图像分割网络中的子编码网络和子解码网络。

其中，所述子编码网络用于对所述待分割医学图像进行残差卷积和步长为2的卷积，得到子网图像提取特征，并对所述主网图像提取特征以及所述子网图像提取特征进行特征融合，得到融合图像特征；

所述子解码网络用于根据所述融合图像特征对所述子网图像提取特征进行上采样，得到子网图像上采样特征；

所述主解码网络还用于根据所述主网图像上采样特征和所述子网图像上采样特征，得到所述医学图像分割图。

示例性地，所述主解码网络根据主网图像上采样特征和子网图像上采样特征，进行通道拼接和卷积，得到医学图像分割图。

为了便于理解，结合图3进行子编码解码网络的说明：

相较于上述基于Unet网络结构的主编码解码网络，本实施例的医学图像分割网络中，跳跃连接结构嵌入在子编码解码网络中，跳跃连接结构的输入端与主编码网络和子编码网络分别连接，跳跃连接结构的输出端与子解码网络连接。

子编码网络可以通过跳跃连接结构获取主网图像提取特征，并对主网图像提取特征以及子网图像提取特征进行特征融合，得到融合图像特征；子解码网络可以通过跳跃连接结构获取融合图像特征。

其中，子编码网络包括多层子编码层，子解码层包括多层子解码层，同一层级的子编码层和子解码层之间均可以通过跳跃连接结构实现连接。

基于上述子编码解码网络，主解码网络中的每一主解码层可以执行以下操作：将同一层子解码层输出的子网图像上采样特征与上采样得到的主网图像上采样特征进行通道拼接后，进行卷积操作，并将卷积操作后的图像特征输入至上一层主解码层；其中，第一层主解码层将第一层子解码层输出的子网图像上采样特征与第一层主网图像上采样特征进行通道拼接后，进行卷积操作，得到医学图像分割图。

本申请实施例提供的医学图像分割方法，通过构建子编码解码网络，以残差卷积和步长为2的卷积进行图像特征提取，以获取含有空间信息的图像特征，并通过特征融合以弥补主编码网络中池化操作导致的空间特征信息丢失；由于子解码网络根据融合图像特征进行特征恢复，得到子网图像上采样特征，而融合图像特征保留有空间信息和细节信息，因此，缩小了子解码网络恢复的图像特征与子编码网络提取的图像特征之间的差异，使得深层语义与浅层细节相互协调，令子解码网络输出的子网图像上采样特征对空间信息的关注度得以提升，从而主解码网络得到医学图像分割图的过程中，利用子网图像上采样特征对主网图像上采样特征进行语义补充，进而提升了医学图像分割网络输出的医学图像分割图的分割精度，达到了腹部器官图像分割的精度要求。

在一个实施例中，所述主编码层包括：N层主编码层；所述子编码层包括：N层子编码层；所述子解码层包括：N-1层子解码层；

其中，第i层的子编码层用于对第i-1层的子网图像提取特征进行残差卷积和步长为2的卷积，得到第i层的子网图像提取特征，并对第i层的主网图像提取特征和第i层的子网图像提取特征进行特征融合，得到第i层的融合图像特征；

第i层的子解码层用于根据第i+1层的子网图像上采样特征和第i层的融合图像特征，得到第i层的子网图像上采样特征；其中，N为大于3的整数；i∈{1,⋯,N}。

需要说明的是，当i取N时，第i+1层的子网图像上采样特征为第N层的子网图像提取特征；当i取1时，第i-1层的子网图像提取特征为所述待分割医学图像。

在本实施例中，子编码解码网络的处理过程如下：

将待分割医学图像输入第一层子编码层，进行特征提取操作后，第一层子编码层将得到的第一层子网图像提取特征输入至第二层子编码层，第二层子编码层对第一层子网图像提取特征进行特征提取操作后，得到第二层子网图像提取特征并将其输入至第三层子编码层，以此类推，最后一层子编码层将得到的子网图像提取特征输入至最后一层的子解码层，最后一层子解码层对最后一层的子网图像提取特征进行上采样操作，得到最后一层的子网图像上采样特征并将其输入至上一层子解码层，以此类推，直至第一层子解码层得到第一层的子网图像上采样特征；在此过程中，每一层子编码层在完成特征提取操作后，还会将得到的子网图像提取特征与同一层的主网图像提取特征进行特征融合，得到融合图像特征并将其输入至同一层的子解码层；该子解码层根据融合图像特征与上一层的子网上采样特征进行上采样，得到当前层的子网上采样特征。

其中，特征提取操作可以包括残差卷积和步长为2的卷积；上采样操作可以包括残差卷积和双线性插值；残差卷积可以通过将子编码层卷积操作前的图像特征与子编码层卷积操作后的图像特征融合，以避免随着子编码网络层数不断增加导致的梯度消失问题。

在一个实施例中，在上述医学图像分割网络的基础上，本实施例提出了另一种医学图像分割网络。

所述医学图像分割网络中，第i层主编码层包括n个串联的3×3的卷积层和1个池化层，用于对第i-1层的主网图像提取特征进行特征提取，得到第i层的主网图像提取特征。

当i取1时，第i-1层的主网图像提取特征为所述待分割医学图像；当i∈{3,⋯,N}时，n为大于或等于4的整数。

为了便于理解，本实施例结合图4进行说明：

如图4所示，主编码网络中包括五层主编码层，其中，第一层主编码层和第二层主编码层与传统Unet网络结构相同，采用2个3×3的卷积层和1个池化层进行下采样，第三层至第五层主编码层均为采用4个3×3的卷积层和1个池化层进行下采样。

需要说明的是，上述图4中n示例性地取值为4，在实际应用中也可以根据实际需求，设置n的取值为5或6，此处不作唯一限定。

示例性地，在一个实施例中，主解码层可以在与主编码层相应的层级中增加卷积层的数量，例如：

所述主解码网络包括N-1层主解码层；其中，第k层主解码层包括m个串联的3×3的卷积层、1个反卷积层以及1个通道拼接层；其中，k∈{1,⋯,N-1}，当k∈{3,⋯,N-1}时，m为大于或等于4的整数。

其中，第k层主解码层通过反卷积层处理第k+1层的主网图像上采样特征，得到第k层的主网图像上采样特征，并通过通道拼接层将第k层的主网图像上采样特征和第k层的子网图像上采样特征进行通道拼接后，通过m个串联的3×3的卷积层对上述通道拼接层输出的图像特征进行卷积操作，并将m个串联的3×3的卷积层输出的图像特征输入至第k-1层主解码层。

需要说明的是，当k取1时，第k层主解码层基于第k+1层的主网图像上采样特征，通过反卷积层得到第k层的主网图像上采样特征，通过通道拼接层将第k层的主网图像上采样特征和第k层的子网图像上采样特征进行通道拼接，以及通过m个串联的3×3的卷积层对上述通道拼接层输出的图像特征进行卷积操作，得到所述医学图像分割图。

需要说明的是，m的取值可以参照图4，与n取相同数值，也可以与n取不同数值，此处不作限定。

本申请实施例提供的医学图像分割网络，通过增加位于深层级的主编码层的卷积层数量，相较于传统Unet网络，能够提取到更具代表性的图像特征，增加了图像特征中语义的丰富度，进而提高医学图像分割网络的分割精度。

在一个实施例中，所述主编码网络中每一层主编码层可以利用VGG网络进行网络参数初始化设置，形成基于VGG网络扩展的医学图像分割网络，具体为：利用VGG网络中的参数初始化函数进行网络参数初始化。

需要说明的是，VGG网络可以为VGG16网络或VGG19网络。

本实施例通过VGG网络对主编码网络的网络参数进行初始化设置，能够在保证具有相同感受野的条件下提升网络的深度，提升主编码网络的网络性能。

在一个实施例中，可以在上述任一种医学图像分割网络中引入注意力门（AG，Attention Gate）结构，形成基于AG-Unet的医学图像分割网络。

参见图5，所述基于AG-Unet的医学图像分割网络，包括：注意力门网络；

所述注意力门网络用于根据所述子网图像上采样特征和所述主网图像上采样特征得到注意力强化图像特征，并将所述注意力强化图像特征输入至所述主解码网络；

所述主解码网络还用于根据所述注意力强化图像特征与所述主网图像上采样特征得到所述医学图像分割图。

在本实施例中，注意力门网络能够通过在图像特征中的高相关性区域标记较大权重，而低相关性区域标记较小权重的方式，提升图像特征对感兴趣区域的关注，并对无关区域的特征进行抑制。

在一个实施例中，以第一层主解码层对应的注意力门网络为例，对注意力门网络的工作过程进行说明：

注意力门网络以第一层子解码层输出的子网图像上采样特征为第一输入，以第一层主解码层输出的主网图像上采样特征为第二输入，所述注意力门网络将第一输入和第二输入分别进行1×1的卷积操作后，将第一输入和第二输入相加，并对相加后的第一输入和第二输入依次执行Relu激活函数操作、1×1的卷积操作、Sigmoid激活函数操作以及重采样操作，并将得到的图像特征与第一层子解码层输出的子网图像上采样特征相乘，得到注意力强化图像特征。

上述过程可以理解为，通过注意力门网络对子解码层输出的子网图像上采样特征进行优化，提升其对感兴趣区域的关注，并抑制其对无关区域的关注，进而在主解码网络中通过优化后的子网图像上采样特征对主解码层输出的主网图像上采样特征进行语义补充。

基于上述注意力门网络的工作过程可知，本实施例提供的注意力门网络如图6所示，包括：第一输入卷积层、第二输入卷积层、特征相加层、Relu激活函数层、1×1的卷积层Conv1×1、Sigmoid激活函数层、重采样层Resample以及特征相乘层；

其中，第一输入卷积层为一个1×1的卷积层，其输入端与子解码层的输出端连接，其输出端与特征相加层连接；

第二输入卷积层为一个1×1的卷积层，其输入端与主解码层的输出端连接，其输出端与特征相加层连接；

所述特征相加层用于将子网图像上采样特征和主网图像上采样特征相加，并将相加后的图像特征输入至Relu激活函数层；

所述Relu激活函数层以ReLu函数作为激活函数，对所述特征相加层输出的图像特征进行激活函数操作，并将激活函数操作后得到的图像特征输入至1×1的卷积层；

所述1×1的卷积层对Relu激活函数层输出的图像特征进行卷积后，将卷积后得到的图像特征输入至Sigmoid激活函数层；

所述Sigmoid激活函数层以Sigmoid函数作为激活函数，对所述1×1的卷积层输出的图像特征进行激活函数操作，并将激活函数操作后得到的图像特征输入至重采样层；

所述重采样层基于Sigmoid激活函数层输出的图像特征重新采样；

所述特征相乘层将重新采样后的图像特征与子解码层输出的子网图像上采样特征相乘，得到注意力强化图像特征，并将其作为优化后的子网图像上采样特征，并将所述注意力强化图像特征输入至所述主解码网络以对主网图像上采样特征进行语义补充。

本申请实施例提供的基于AG-Unet的医学图像分割网络通过引入注意力门网络，对每一层子解码层输出的子网图像上采样特征进行优化，达到抑制其对无关区域的关注，提升其对感兴趣区域的关注度，进而以优化后的子网图像上采样特征对主网图像上采样特征进行语义补充，使得医学图像分割网络的分割精度得以提高。

在一个实施例中，本申请实施例还提供了一种具有三分支的注意力门网络，所述注意力门网络还以非邻层图像特征作为输入之一，结合当前层的子网图像上采样特征和当前层的主网图像上采样特征，得到注意力强化图像特征：

所述注意力门网络还用于对第j+2层主网图像上采样特征和第j+3层主网图像上采样特征分别进行上采样，并对上采样后的第j+2层主网图像上采样特征和上采样后的第j+3层主网图像上采样特征进行通道拼接，得到非邻层图像特征；以及用于根据所述非邻层图像特征、当前层的子网图像上采样特征和当前层的主网图像上采样特征，得到所述注意力强化图像特征，并将所述注意力强化图像特征输入至所述主解码网络；

其中，当前层为第j层，j∈{1,⋯,N-3}，N为所述主编码网络的层数且N为大于3的整数。

为了便于理解，结合图7对本实施例所述的具有三分支的注意力门网络进行说明，假设当前注意力门网络对应第j层的子解码层：

所述注意力门网络包括：第一输入卷积层、第二输入卷积层、第三输入卷积层、特征相加层、Relu激活函数层、1×1的卷积层Conv1×1、Sigmoid激活函数层、重采样层Resample以及特征相乘层；

其中，第一输入卷积层、第二输入卷积层、Relu激活函数层、1×1的卷积层、Sigmoid激活函数层、重采样层以及特征相乘层已经在上文中进行了详细说明，此处不再赘述。

在利用注意力门网络对子网图像上采样特征进行优化之前，若第j层子解码层不存在对应的第j+2层和第j+3层的子解码层，则关闭第三输入卷积层，只需开启第一输入卷积层和第二输入卷积层；

若第j层子解码层存在对应的第j+2层和第j+3层的子解码层，则将第j+2层和第j+3层的子解码层输出的子网图像上采样特征分别进行上采样操作后，进行通道拼接，并将通道拼接后得到的非邻层图像特征输入至第三输入卷积层；其中，第三输入卷积层包括两个1×1的卷积层Conv1×1，用于对所述非邻层图像特征进行卷积操作；所述特征相加层将第一输入卷积层、第二输入卷积层和第三输入卷积层输出的图像特征相加，并将相加后得到的图像特征输入至Relu激活函数层。

本申请实施例提供的具有三分支的注意力门网络，通过增加一路分支引入非邻层图像特征，让主编码网络提取到的特征、子编码网络提取到的特征、主解码网络提取到的特征、子解码网络提取到的特征与主解码网络中其他层级的深层特征相互作用，抑制了无关区域的特征信息干扰，同时增加了感兴趣区域的特征信息，进而减少了上采样造成的边缘模糊问题，促进图像分割结果的提升。

在一个实施例中，所述医学图像分割网络，还包括：全局上下文特征提取网络；

其中，所述全局上下文特征提取网络用于对所述融合图像特征进行全局上下文信息建模，得到精细化特征后的融合图像特征，并将所述精细化特征后的融合图像特征输入至所述子解码网络；

所述子解码网络用于根据所述精细化特征后的融合图像特征对所述子网图像提取特征进行上采样，得到所述子网图像上采样特征。

在一个实施例中，所述全局上下文特征提取网络的网络结构如图8所示：

所述全局上下文特征提取网络包括：第一上下文分支、第二上下文分支和第三上下文分支；

其中，所述第一上下文分支用于对所述融合图像特征依次进行1×1的卷积操作和激活函数操作，得到第一层精细化图像特征；即第一上下文分支包括1个1×1的卷积层Conv1×1和1个Softmax激活函数层；

所述第二上下文分支用于将所述融合图像特征和所述第一层精细化图像特征点乘，得到中间图像特征，以及对所述中间图像特征依次进行1×1的卷积、归一化和激活函数的操作得到第二层精细化图像特征；即第二上下文分支包括1个特征相乘层、2个1×1的卷积层Conv1×1、1个特征归一化层和1个ReLu 激活函数层；

所述第三上下文分支用于对所述中间图像特征、所述第二层精细化图像特征和所述融合图像特征进行特征融合，得到所述精细化特征后的融合图像特征；即第三上下文分支包括1个特征融合层。

其中，特征归一化层可以采用基于LayerNorm的归一化方法，即通道方向的归一化方法。

为了便于理解，结合图8说明全局上下文特征提取网络的图像特征处理过程：

将融合图像特征

将上述

本申请实施例提供了一种引入全局上下文特征提取网络的医学图像分割网络，其基于融合图像特征进行全局上下文信息建模，通过两次具有残差结构的卷积操作，对融合图像特征进一步精细化处理，令子解码层基于更精细的图像特征进行解码，恢复得到更精准的子网图像上采样特征，以提高图像特征中对特征细节的关注，进而提高分割精度。

在一个实施例中，可以通过引入一个多尺度特征提取网络以提高医学图像分割网络中图像特征的语义丰富度。

在本实施例中，所述医学图像分割网络，还包括：多尺度特征提取网络；所述多尺度特征提取网络用于对所述融合图像特征进行多尺度特征融合，得到语义增强后的融合图像特征，并将语义增强后的融合图像特征输入至所述子解码网络。

在本实施例中，所述子解码网络用于根据语义增强后的融合图像特征对所述子网图像提取特征进行上采样，得到所述子网图像上采样特征。

在另一实施例中，所述多尺度特征提取网络可以与所述全局上下文特征提取网络结合，以完成对所述融合图像特征的优化。

在本实施例中，所述医学图像分割网络，还包括：多尺度特征提取网络；所述多尺度特征提取网络用于对所述精细化特征后的融合图像特征进行多尺度特征融合，得到语义增强后的融合图像特征，并将语义增强后的融合图像特征输入至所述子解码网络。

其中，所述子解码网络用于根据语义增强后的融合图像特征对所述子网图像提取特征进行上采样，得到所述子网图像上采样特征。

示例性地，参见图9，上文所述的多尺度特征提取网络，可以包括：2个1×1的卷积层、2个3×3的卷积层、1个空洞卷积率为3的空洞卷积层、1个通道拼接层和1个特征融合层；

其中，1个1×1的卷积层和1个3×3的卷积层依次串联在第一支路上；1个3×3的卷积层设置在第二支路上；1个空洞卷积率为3的空洞卷积层设置在第三支路上；第四支路直接将输入的图像特征输出至特征融合层；第一支路、第二支路、第三支路和第四支路均以融合图像特征为输入或均以全局上下文特征提取网络输出的图像特征为输入；第一支路、第二支路和第三支路的输出端均连接于通道拼接层concat的输入端，通道拼接层concat的输出端连接于1个1×1的卷积层的输入端，且该1×1的卷积层的输出端与所述特征融合层的一个输入端相连接。

所述进行多尺度特征融合的过程如下：

依次利用1个1×1的卷积层和1个3×3的卷积层对输入所述多尺度特征提取网络的图像特征进行卷积，得到第一尺度特征；

利用1个3×3的卷积层对输入所述多尺度特征提取网络的图像特征进行卷积，得到第二尺度特征；

利用所述空洞卷积率为3的空洞卷积层对输入所述多尺度特征提取网络的图像特征进行卷积，得到第三尺度特征；

利用所述通道拼接层对所述第一尺度特征、所述第二尺度特征和所述第三尺度特征进行通道拼接，得到多尺度特征；

利用1个1×1的卷积层对所述多尺度特征进行卷积后，得到多尺度提取特征；

利用所述特征融合层对所述多尺度提取特征和输入所述多尺度特征提取网络的图像特征进行特征融合，输出所述语义增强后的融合图像特征。

本申请实施例提供的多尺度特征提取网络能够通过多路不同的卷积操作，对不同感受野的特征信息进行提取，以得到不同尺度下的图像特征，进而丰富融合图像特征的语义；同时在特征提取过程中，通过残差结构将原输入的图像特征绕道与多尺度提取特征融合，既保护了图像特征中信息的完整性，又能够缓解网络层级增加时存在的梯度消失或爆炸的现象，简化网络的学习难度。

在一个实施例中，如图10所示，所述医学图像分割网络包括：主编码解码网络、子编码解码网络、全局上下文多尺度特征提取网络和注意力门网络；其中，主编码解码网络包括主编码网络和主解码网络；子编码解码网络包括子编码网络和子解码网络；全局上下文多尺度特征提取网络包括全局上下文特征提取网络和多尺度特征提取网络。

其中，主编码网络通过卷积和池化的下采样方式，对待分割医学图像进行图像特征提取，得到主网图像提取特征；主解码网络通过反卷积的上采样方式，对主网图像提取特征进行特征恢复；

其中，子编码网络通过残差卷积和步长为2的卷积，对待分割医学图像进行图像特征提取，得到子网图像提取特征；子解码网络通过残差卷积和双线性插值对子网图像提取特征进行特征恢复；其中，子编码网络在完成图像特征提取后，还将子网图像提取特征与主网图像提取特征进行特征融合后，将融合得到的融合图像特征输入至子解码网络，即通过跳跃连接结构以提升子解码网络中子网图像上采样特征对空间信息的关注度。

上述跳跃连接结构中，嵌入有全局上下文多尺度特征提取网络，其通过串联的全局上下文特征提取网络和多尺度特征提取网络对融合图像特征进行优化，令融合图像特征精细化，以提高图像分割的精度；其中，多尺度特征提取网络的输入端与全局上下文特征提取网络的输出端连接。

在主解码网络对子解码网络中的子网图像上采样特征以及主网图像上采样特征进行拼接前，通过注意力门网络对子网图像上采样特征进行优化处理，以抑制其对无关区域的关注，提升其对感兴趣区域的关注度，并通过增设非邻层图像特征的支路，让编码网络提取到的特征、解码网络提取到的特征与主解码网络中其他层级的深层特征相互作用，使得深层语义与浅层细节相互协调，优化后的子网图像上采样特征保留了不同空间特征信息，并减少了无效特征。

基于上述优化后的子网图像上采样特征，主解码网络结合主网图像上采样特征，通过通道拼接和卷积，在第一层主解码层中输出医学图像分割图。

上述主编码网络、主解码网络、子编码网络、子解码网络、全局上下文特征提取网络、多尺度特征提取网络以及注意力门网络的网络结构和工作过程已在上述实施例中进行了详尽说明，此处不再赘述。

在本实施例中，在实验阶段，将如图10 所示的医学图像分割网络与Unet网络、基于AG-Unet的医学图像分割网络和基于VGG网络扩展的医学图像分割网络进行对比：

实验在PyTorch框架环境下进行，上述各网络均采用SGD优化器，设置网络初始学习率为0.0001，衰减率为0.99，采用Dice Loss函数作为网络训练的损失函数。

实验采用了三类数据集进行测试和训练，包括：对应腹部多器官分割的CHOAS数据集、对应腰部脊柱分割的CSIG 2021数据集以及对应骨盆分割的CTPelvic1K数据集；其中，CHOAS数据集包含有CT采集与MRI采集的数据，且训练集和测试集分别含有20例数据；CSIG2021数据集中共有192例MRI采集的数据，其中训练数据为172例，测试数据为20例；CTPelvic1K数据集包含有CT采集的数据，其中训练数据117例，测试数据61例。

为避免训练过程中出现过拟合现象，在使用医学图像分割网络进行图像分割之前，可以进行数据增强，例如：由于CT采集的数据是通过X射线进行连续断层扫描后，根据人体不同组织和器官吸收X射线后的衰减系数计算出来的CT值，用以观察不同密度的正常组织或病变的区域，因此，为了凸显某一组织和器官的细节信息，可以依据实际情况设置窗宽和窗位。

为了评估上述各网络的分割性能，实验以平均Dice相似系数（Mean DSC，Meandice similarity coefficient）、平均交并比（MIoU，Mean Intersection Over Union）、准确性（ACC，Accuracy）以及平均精度（Mean ACC，Mean Accuracy）作为评估指标，得到以下表1至表3所示的实验结果：

表1

表2

表3

其中，Unet表示Unet网络；AG-Unet表示基于AG-Unet的医学图像分割网络；V19-Unet表示基于VGG网络扩展的医学图像分割网络；GM-Unet表示如图10 所示的医学图像分割网络。

根据上述表1至表3的数据可知，无论对于CT采集的数据还是MRI采集的数据，如图10 所示的医学图像分割网络GM-Unet相较于Unet网络、基于AG-Unet的医学图像分割网络和基于VGG扩展的医学图像分割网络，均表现出更优的网络性能，能够达到更高的图像分割精度。

另一方面，本申请实施例还提供一种电子设备，所述电子设备可以包括：处理器（processor）、通信接口（Communication Interface）、存储器（memory）和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的计算机程序，以执行基于Unet网络的医学图像分割方法的步骤，例如包括：

获取待分割医学图像；

输入待分割医学图像至医学图像分割网络，获得医学图像分割网络输出的医学图像分割图；

其中，医学图像分割网络包括：主编码网络、主解码网络、子编码网络和子解码网络；

主编码网络用于对待分割医学图像进行卷积和池化，得到主网图像提取特征；

子编码网络用于对待分割医学图像进行残差卷积和步长为2的卷积，得到子网图像提取特征，并对主网图像提取特征以及子网图像提取特征进行特征融合，得到融合图像特征；

子解码网络用于根据融合图像特征和子网图像提取特征进行上采样，得到子网图像上采样特征；

主解码网络用于对主网图像提取特征进行上采样，得到主网图像上采样特征，并根据主网图像上采样特征和子网图像上采样特征，得到医学图像分割图。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的医学图像分割方法的步骤，例如包括：

获取待分割医学图像；

输入待分割医学图像至医学图像分割网络，获得医学图像分割网络输出的医学图像分割图；

其中，医学图像分割网络包括：主编码网络、主解码网络、子编码网络和子解码网络；

主编码网络用于对待分割医学图像进行卷积和池化，得到主网图像提取特征；

子编码网络用于对待分割医学图像进行残差卷积和步长为2的卷积，得到子网图像提取特征，并对主网图像提取特征以及子网图像提取特征进行特征融合，得到融合图像特征；

子解码网络用于根据融合图像特征和子网图像提取特征进行上采样，得到子网图像上采样特征；

主解码网络用于对主网图像提取特征进行上采样，得到主网图像上采样特征，并根据主网图像上采样特征和子网图像上采样特征，得到医学图像分割图。

另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：

获取待分割医学图像；

输入待分割医学图像至医学图像分割网络，获得医学图像分割网络输出的医学图像分割图；

其中，医学图像分割网络包括：主编码网络、主解码网络、子编码网络和子解码网络；

主编码网络用于对待分割医学图像进行卷积和池化，得到主网图像提取特征；

子编码网络用于对待分割医学图像进行残差卷积和步长为2的卷积，得到子网图像提取特征，并对主网图像提取特征以及子网图像提取特征进行特征融合，得到融合图像特征；

子解码网络用于根据融合图像特征和子网图像提取特征进行上采样，得到子网图像上采样特征；

主解码网络用于对主网图像提取特征进行上采样，得到主网图像上采样特征，并根据主网图像上采样特征和子网图像上采样特征，得到医学图像分割图。

所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NANDFLASH）、固态硬盘（SSD））等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。