一种基于ghostnet的轻量级医学图像分割方法及系统

技术领域

本发明涉及自图像分割技术领域，具体涉及一种基于ghostnet的轻量级医学图像分割方法及系统。

背景技术

医学图像分割的目的是使图像中解剖或病理结构的变化更加清晰；它在计算机辅助诊断和智能医疗中发挥着至关重要的作用，极大地提高了诊断的效率和准确性。目前流行的医学图像分割任务包括肝脏和肝脏肿瘤分割，脑和脑肿瘤分割，视盘分割，细胞分割，肺分割和肺结节等。

2015年Olaf Ronneberger等提出了Unet网络模型，其基于编码器-解码器结构，并应用长距离跳跃连接结合来自底层的细节，有效的弥补了因下采样操作过程中空间信息缺失，帮助网络恢复更加精确的定位，这对于医学图像分割、遥感图像分割以及抠图这种对细节非常看重的密集型分割任务来说是至关重要的。

为了追求精度的提升，一些基于unet网络修改的模型拥有更深的卷积层，但是参数量往往不乐观，计算复杂，推理缓慢。在进行一些数据样本较少的分割任务时往往效果不佳。而且由于模型参数量过多，占用大量显存，成本过高，效率低，导致必须要有较好的外部条件才能使用这些神经网络进行训练。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于ghostnet的轻量级医学图像分割方法，该方法解决了上述的技术问题，并提供一种基于ghostnet的轻量级医学图像分割系统。

技术方案：本发明的一方面，提供基于ghostnet的轻量级医学图像分割方法，包括以下步骤：

构建图像分割模型，其采用改进的Unet网络模型ghsotnet作为主干特征提取网络，包括：编码器，解码器和CBAM注意力机制；

首先，将待分割图像输入到编码器进行编码，得到多个通道数的子特征图，所述编码器一共由六层编码层组成，分别为卷积层，ghostbottleneck1，ghostbottleneck2，ghostbottleneck3，ghostbottleneck4，ghostbottleneck5，通过编码器对待分割图片进行编码，得到通道数分别为16，24，40，112，160的子特征图E1～E5；

其次，将子特征图E1～E4分别输入至对应的CBAM注意力机制通道中，分别得到子特征图E1'～E4'，E5经过上采样得到M5，M5与E4'在通道维度上拼接，经过第四层解码层输出大小为M4的特征图，其再与E3'进行拼接，经过第三层解码层输出大小为M3的特征图，其与E2'进行拼接，经过第二层解码层输出大小为M3的特征图，其与E1'进行拼接，经过第一层解码层输出大小为M2的特征图，最后通过1*1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p0；

显示分割后的结果图。

进一步的，包括：

所述ghsotnet还包括：ghostbottleneck1～ghostbottleneck 5的分别由2，2，2，6，5个ghostbottleneck构成。

进一步的，包括：

所述ghostbottleneck对输入数据进行L次非线性化操作，L为ghostbottleneck的个数，所述非线性化操作包括：

若步数stride＝2时，对输入特征图T1依次进行ghostmodule，BN,ReLU激活，逐通道卷积，BN，ghostmodule，BN，最后得到特征图T2，再将输入特征图T1与特征图T2相加得到输出特征图T3；

若stride＝1时，对输入特征图T1进行ghostmodule，BN，ReLU激活，ghostmodule，BN得到特征图T2，再将输入特征图T1和特征图T2相加得到输出特征图T3，所述ghostmodule包括基本卷积和逐通道卷积，并在通道数上相加。

进一步的，包括：

CBAM注意力机制包括：

通道注意力：输入的特征图大小为H×W×C，在分别经过全局最大池化和全局平均池化之后，输出结果为两个C×1×1的特征图；再将它们一起输入到一个共用的多层感知机，将特征图先降维再升维，再将两张输出的特征图相加，经过sigmoid激活函数归一化特征图的每个通道的权重，将归一化后的权重和输入特征图相乘；

空间注意力：对通道注意力输出的特征图进行处理，分别进行全局最大池化和全局平均池化，将输出的两张特征图在通道数上进行连接，再用1×1卷积调整通道数，最后经过sigmoid函数归一化权重，最后将归一化权重和输入特征图相乘。

进一步的，包括：

所述解码层依次包括：Dsc-ghost卷积块，BN，ReLU激活，Dsc-ghost卷积块，BN，ReLU激活和上采样，所述Dsc-ghost卷积块流程包括输入特征图T1经过1*1卷积核卷积，BN和ReLU激活得到特征图T2，输入特征图T1经过基本卷积，BN和ReLU激活得到特征图T3，输入特征图T1经过逐通道卷积，BN，ReLU激活，逐点卷积，BN，ReLU激活得到特征图T4，将T3，T4在通道维度上相加得到特征图T5，T5经过挤压和激励网络机制得到特征图T6，将特征图T2和T6相加得到输出特征图T7。

进一步的，包括：

所述挤压和激励网络包括：

挤压网络部分：将一张特征图压缩成一维，当一开始的特征图维度是C*H*W，C为通道数，H和W为图片的高和宽，挤压网络通过全局平均池化将特征图压缩成C*1*1的大小；

激励网络部分：得到挤压网络部分的C*1*1的表示后，加入一个FC全连接层，对每个通道的重要性进行预测，得到不同通道的重要性大小，后再激励到之前的特征图的对应通道上进行操作。

另一方面，本发明一种基于ghostnet的轻量级医学图像分割系统，该系统包括以下模块：

图像获取模块，用于获取需要分割的医学图像

图像分割模型构建模块，用于采用改进的Unet网络模型ghsotnet作为主干特征提取网络，包括：编码器，解码器和CBAM注意力机制；

首先，将待分割的医学图像输入到编码器进行编码，得到多个通道数的子特征图，所述编码器一共由六层编码层组成，分别为卷积层，ghostbottleneck1，ghostbottleneck2，ghostbottleneck3，ghostbottleneck4，ghostbottleneck5，通过编码器对待分割图片进行编码，得到通道数分别为16，24，40，112，160的子特征图E1～E5；

其次，将子特征图E1～E4分别输入至对应的CBAM注意力机制通道中，分别得到子特征图E1'～E4'，E5经过上采样得到M5，M5与E4'在通道维度上拼接，经过第四层解码层输出大小为M4的特征图，其再与E3'进行拼接，经过第三层解码层输出大小为M3的特征图，其与E2'进行拼接，经过第二层解码层输出大小为M3的特征图，其与E1'进行拼接，经过第一层解码层输出大小为M2的特征图，最后通过1*1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p0；

显示模块，用于显示分割后的结果图。

有益效果：与现有技术相比，本发明的显著优点在于：

本发明提出一种轻量级的分割网络GAUnet，拥有更快的推理速度，更少的参数量，获得了更好的分割水平。GAUnet的轻量性、准确性以及高效率可以很好的适用于绝大部分机器，有非常好的良性市场前景。且该分割方法可以应用于医院以及医疗机构中，使图像中解剖或病理结构的变化更加清晰；它在计算机辅助诊断和智能医疗中发挥着至关重要的作用，极大地提高了诊断的效率和准确性。

附图说明

图1是本发明实施例所述的GAUnet结构图；

图2为本发明实施例所述的ghostbottleneck流程图；

图3为本发明实施例所述的ghost卷积块流程图；

图4为本发明实施例所述的Dsc-ghost卷积块流程图；

图5为本发明实施例所述的squeezeandexcitation模块流程图；

图6为本发明实施例所述的CBAM注意力机制流程图；

图7为本发明实施例所述的分割结果图。

具体实施方式

下面对本发明技术方案进行详细说明。

首先，本发明提供基于ghostnet的轻量级医学图像分割方法，包括以下步骤：

S1获取需要分割的医学图像，本实施例使用的是网上公开的多脏器分割数据集。

S2构建图像分割模型，其采用改进的Unet网络模型ghsotnet作为主干特征提取网络，包括：编码器，解码器和CBAM注意力机制；

首先，如图1所示，将大小为256*256像素的1通道待分割图像输入到编码器进行编码，得到通道数分别为16，24，40，112，160的子特征图E1～E5，每经过一层编码层，图像的尺寸缩小为原先的1/2，编码器一共由六层编码层组成，分别为卷积层，ghostbottleneck1，ghostbottleneck2，ghostbottleneck3，ghostbottleneck4，ghostbottleneck5；六层编码层中的卷积层的层数为1，ghostbottleneck1～ghostbottleneck 5的分别由2，2，2，6，5个ghostbottleneck(瓶颈层)构成。

如图2所示，ghostbottleneck对输入数据进行L次非线性化操作，L为ghostbottleneck的个数，所述非线性化操作包括当stride＝2(步长)时对输入特征图T1进行ghostmodule(ghost卷积块)，BN(归一化)，ReLU激活，逐通道卷积，BN，ghostmodule，BN，得到特征图T2，再将输入特征图T1与特征图T2相加得到输出特征图T3。当stride＝1时对输入特征图T1进行ghostmodule，BN，ReLU激活，ghostmodule，BN得到特征图T2，再将输入特征图T1和特征图T2相加得到输出特征图T3。如图3所示，ghostmodule包括基本卷积Primary_conv，逐通道卷积DepthWise convolution，在通道数上相加concat。

其次，使用解码器将子特征图恢复到输入图像的大小，输出分割结果p0，具体的，将子特征图E1～E4分别输入至对应的CBAM注意力机制通道中，分别得到子特征图E1'～E4'，E5通过上采样得到M5，M5与E4'在通道维度上拼接，经过第四层解码层输出大小为M4的特征图，其再与E3'进行拼接，经过第三层解码层输出大小为M3的特征图，其与E2'进行拼接，经过第二层解码层输出大小为M3的特征图，其与E1'进行拼接，经过第一层解码层输出大小为M2的特征图，最后通过1*1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图P1。

上述解码器包括四层解码层，每一层解码层均包括Dsc-ghostmodule，BN，ReLU激活(一种激活函数)，Dsc-ghostmodule(Dsc-ghost卷积块)，BN，ReLU激活，上采样，从下到上依次输出p4,p3,p2,p1。

如图4所示，Dsc-ghostmodule流程包括输入特征图T1经过1*1卷积核卷积，BN,ReLU激活得到特征图T2，输入特征图T1经过基本卷积，BN,ReLU得到特征图T3，输入特征图T1经过逐通道卷积，BN，ReLU激活，逐点卷积，BN，ReLU激活得到特征图T4，将T3，T4在通道维度上相加得到特征图T5，T5经过squeeze&excitation机制得到特征图T6，将特征图T2和T6相加得到输出特征图T7。

通道数为160的特征图E5通过反卷积将特征图大小变为112*16*16，与经过CBAM注意力机制的E4'在通道维度上拼接，经过第四层解码层输出大小为40*32*32，与E3'进行拼接，经过第三层解码层输出大小为24*64*64，与E2'进行拼接，经过第二层解码层输出大小为16*128*128，与E1'进行拼接，经过第一层解码层输出大小为16*256*256，最后通过1*1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p0。

如图5所示，为squeeze&excitation(挤压和激励)机制。Suqeeze部分，将一张特征图压缩成一维。当一开始的特征图维度是C*H*W，C为通道数，H和W为图片的高和宽，squeeze通过global average pooling特征图压缩成C*1*1的大小。

Excitation部分。得到Squeeze的C*1*1的表示后，加入一个FC全连接层(FullyConnected)，对每个通道的重要性进行预测，得到不同channel的重要性大小后再作用(激励)到之前的feature map的对应channel上再操作。

如图6所示，为CBAM注意力机制，首先，通道注意力：输入的特征图E大小为H×W×C，在分别经过global max pooling(全局最大池化)和global average pooling(全局平均池化)之后，width和height都变成1，输出结果为两个C×1×1的特征图。再将它们一起输入到一个共用的MLP，将特征图先降维再升维，再将两张输出的特征图相加，经过sigmoid激活函数归一化特征图的每个通道的权重。将归一化后的权重和输入特征图相乘。

空间注意力：对通道注意力输出的特征图进行处理，分别进行global maxpooling和global average pooling，将输出的两张特征图在通道数上进行concatenate，再用1×1卷积调整通道数，最后经过sigmoid函数归一化权重。将归一化权重和输入特征度相乘。

S3显示分割后的结果图。

本发明通过将ghostnet作为主干特征提取网络并添加了cbam注意力机制，cbam不仅是一个轻量级的注意力机制而且可以很好的结合空间和通道，忽略无关噪声信息而关注重点信息。同时改进了ghost卷积块，在ghost卷积块中添加逐点卷积获得更多的图片特征信息，加入squeezeandexcitation模块提高卷积的感受野，提高网络提取多尺度空间信息的能力并且引入残差思想缓解梯度下降消失和信息丢失的问题。在与较新以及当下主流的医学图像分割网络相比拥有更少的参数，更快的速度和更少的FLOPs，获得了相当或是更好的分割结果。GAUnet的轻量性、准确性以及高效率可以很好的适用于绝大部分机器。

对图中待分割区域进行标记，将其作为标签。本实例选择了623张待分割图像及其标签，其中500张为训练集，123张为测试集。输入上述GAUnet进行模型训练。然后仅向训练过的模型输入待分割测试图像，分割结果图如图7所示。_r为resnet34，_m为mobilenet_v2。

由图7所示可以看到，GAUnet在小目标，多目标，大目标分割上都能展现非常好的结果，体现出GAUnet的优异性。为了说明本方法的有效性，将相同的图像输入以resnet34和mobile_v2为主干特征提取网络的Unet，Unet++，DeepLabV3+中，计算模型输出的分割结果和真实标签的交并比(mIoU)，dice系数，召回率(Recall)，精准率(Precision)，对比结果如下表所示：

如表1中所示，GAUnet在mIoU和Precision两个指标要优于其他所有的对照网络，Dice以及Recall指标稍低于Uet++_resnet34。网络参数量以及模型大小如表2所示。

如表2所示，GAUnet拥有最少的参数量，在Dice以及Recall指标稍优的Uet++_resnet34参数量是GAUnet的7倍多，远大于GAUnet。而以轻量级网络mobilenet_v2作为主干特征提取网络的三个模型不仅参数量高于GAUnet，而且在各项指标上也普遍低于GAUnet。

分割结果图如图7所示。_r为resnet34，_m为mobilenet_v2。由图7所示可以看到，GAUnet在小目标，多目标，大目标分割上都能展现非常好的结果，体现出GAUnet的优异性。

另一方面，本发明一种基于ghostnet的轻量级医学图像分割系统，该系统包括以下模块：

图像获取模块，用于获取需要分割的医学图像

图像分割模型构建模块，用于采用改进的Unet网络模型ghsotnet作为主干特征提取网络，包括：编码器，解码器和CBAM注意力机制；

首先，将待分割的医学图像输入到编码器进行编码，得到多个通道数的子特征图，所述编码器一共由六层编码层组成，分别为卷积层，ghostbottleneck1，ghostbottleneck2，ghostbottleneck3，ghostbottleneck4，ghostbottleneck5，通过编码器对待分割图片进行编码，得到通道数分别为16，24，40，112，160的子特征图E1～E5；

其次，将子特征图E1～E4分别输入至对应的CBAM注意力机制通道中，分别得到子特征图E1'～E4'，E5通过上采样得到M5，M5与E4'在通道维度上拼接，经过第四层解码层输出大小为M4的特征图，其再与E3'进行拼接，经过第三层解码层输出大小为M3的特征图，其与E2'进行拼接，经过第二层解码层输出大小为M3的特征图，其与E1'进行拼接，经过第一层解码层输出大小为M2的特征图，最后通过1*1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p0；

显示模块，用于显示分割后的结果图。

本发明所述的系统的其他特征，与基于ghostnet的轻量级医学图像分割方法相似，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。