一种图像分割方法、装置、终端设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像分割方法、装置、终端设备及存储介质。

背景技术

图像分割技术是一种将图像分成若干个特定的区域，从而提取特定类型目标的技术。图像分割技术已广泛应用于遥感、医学等领域。以医学领域为例，通过图像分割技术可以提取医学图像中的器官或病灶所在的区域，以辅助医学专家做出相应的医疗诊断。

随着深度学习技术的快速发展，基于深度学习的图像分割方法已成为一种重要的图像分割技术。现有技术中，一般采用U-Net网络模型对图像进行分割，但是该网络模型仅采用简单的跳跃连接融合低级特征信息和高层语义信息，使得高层语义信息被稀释，从而导致图像分割结果不精确。

发明内容

本申请实施例提供一种图像分割方法、装置、终端设备及存储介质，可以解决现有的图像分割方法的图像分割结果不精确的问题。

第一方面，本申请实施例提供一种图像分割方法，该方法包括：获取待处理图像；将待处理图像输入已训练的图像分割模型中处理，输出分割图像；图像分割模型为编码器-解码器结构，且相互对应的编码器与解码器之间设置有组集成模块，组集成模块用于从编码器的第一输入特征中提取m个不同尺度的补偿信息，并将m个不同尺度的补偿信息输入到解码器中，m≥2。

在一个可能的实现方式中，组集成模块包括第一卷积层和m-1个语义补偿模块；第一卷积层用于从编码器的第一输入特征中提取第一尺度的补偿信息；m-1个语义补偿模块用于从第一尺度的补偿信息中提取m-1个与第一尺度不同尺度的补偿信息，其中，m-1个语义补偿模块中的第i个语义补偿模块的输出为第i+1个语义补偿模块的输入，1≤i≤m-1。

在一个可能的实现方式中，语义补偿模块包括依次连接的第二卷积层、多个第三卷积层和空洞卷积层。

在一个可能的实现方式中，解码器包括m个组卷积模块；

将m个不同尺度的补偿信息输入到解码器中，包括：

将解码器的第二输入特征分成m组；

通过m个组卷积模块中的每个组卷积模块对一组第二输入特征以及一个尺度的补偿信息进行解码处理，得到m组解码特征；

根据m组解码特征得到解码器的输出特征。

在一个可能的实现方式中，组卷积模块包括上采样模块和第一卷积模块；

通过m个组卷积模块中的每个组卷积模块对一组第二输入特征以及一个尺度的补偿信息进行解码处理，包括：

通过每个组卷积模块中的上采样模块对一组第二输入特征进行上采样处理，将上采样模块的输出与一个尺度的补偿信息进行拼接后作为组卷积模块中的第一卷积模块的输入。

在一个可能的实现方式中，编码器包括依次连接的第二卷积模块、下采样模块以及压缩和激励模块，第二卷积模块包括依次连接的批量归一化层、激励层和卷积层。

在一个可能的实现方式中，待处理图像为医学图像。

第二方面，本申请实施例提供了一种图像分割装置，包括：获取单元，获取待处理图像；分割单元，用于将待处理图像输入已训练的图像分割模型中处理，输出分割图像，图像分割模型为编码器-解码器结构，且相互对应的编码器与解码器之间设置有组集成模块，组集成模块用于从编码器的输入特征中提取m个不同尺度的补偿信息，并将m个不同尺度的补偿信息输入到解码器中，m≥2。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面中任一项的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面中任一项的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项的方法。

基于本申请所提供的图像分割方法、装置、终端设备及存储介质，在相互对应的编码器和解码器之间设置了组集成模块，通过组集成模块从编码器的第一输入特征中提取等多个不同尺度的补偿信息，并将这多个不同尺度的补偿信息输入到对应的解码器中进行处理，组集成模块可以增加网络层的感受野，通过多个不同尺度的补偿信息减小编码器中的低层边缘细节信息与对应解码器中的高级语义特征信息之间的差异，避免因低层边缘细节信息与高级语义特征信息的直接融合而导致高级语义特征信息被稀释，从而提高了模型对待处理图像的分割精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种图像分割模型的一种结构示意图；

图2是本申请一实施例提供的一种图像分割模型的另一种结构示意图；

图3是本申请一实施例提供的一种编码器的结构示意图；

图4是本申请一实施例提供的一种压缩和激励模块的结构示意图；

图5是本申请一实施例提供的一种组集成模块的结构示意图；

图6是本申请一实施例提供的一种语义补偿模块的结构示意图；

图7是本申请一实施例提供的一种解码器中的组卷积模块的结构示意图；

图8是本申请一实施例提供的一种图像分割装置的结构示意图；

图9是本申请一实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。且在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

针对目前采用U-Net网络模型处理图像分割任务时，仅采用简单的跳跃连接对将编码器中的低级边缘细节信息融合到解码器中的高级语义信息中，使得高层语义信息被稀释，从而导致图像分割结果的精确度较低的问题，本申请提供一种图像分割方法，在获取到待处理图像后，通过将待处理图像输入到本申请提供的基于编码器-解码器结构的图像分割模型中处理，获得待处理图像的分割图像。

在本申请提供的基于编码器-解码器结构的图像分割模型中，相互对应的编码器与解码器之间设置有组集成模块，通过组集成模块从编码器的第一输入特征中提取等多个不同尺度的补偿信息并输入到对应的解码器中，增加网络层的感受野，通过多个不同尺度的补偿信息减小编码器中的低层边缘细节信息与对应解码器中的高级语义特征信息之间的差异，解决现有的U-Net网络模型中直接将低层边缘细节信息与高级语义特征信息进行拼接而导致高级语义特征信息被稀释的问题，从而提高了模型对待处理图像的分割精度。

示例性的，参见图1，为本申请一实施例所提供的一种图像分割模型的结构示意图。图像分割模型包括2个卷积层、3个编码器以及与3个编码器一一对应的3个解码器，具体包括：依次连接的卷积层1、编码器1、编码器2、编码器3、解码器3、解码器2、解码器1以及卷积层2。

其中，如图2中所示，卷积层1包括32个卷积核，通过卷积层1对输入的待处理图像进行处理，增加特征图的通道数，得到通道数为32且大小为176×144的特征图。卷积层2包括1个卷积核，通过卷积层2对解码器1输出的通道数为32且大小为176×144的特征图进行处理，得到大小为176×144的分割图像。

如图3中所示，每个编码器均包括依次连接的第二卷积模块、下采样模块以及压缩和激励(Squeeze and Excitation，SE)模块。第二卷积模块用于增加特征图的通道数，下采样模块用于减小特征图的尺度，压缩和激励模块用于对每个通道的特征图进行重标定处理。

其中，第二卷积模块包括依次连接的批量归一化(Batch Normalization，BN)层、激励层和卷积层。示例性的，激励层可以为ReLU(整流线性单元)激励层。

如图4中所示，压缩和激励模块包括卷积操作F

在本申请实施例中，相互对应的编码器与解码器之间设置有组集成模块，组集成模块用于从编码器的输入特征中提取m个不同尺度的补偿信息，并将m个不同尺度的补偿信息输入到解码器中，m≥2。即如图1和图2中所示，组集成模块1用于从编码器1的输入特征中提取m个不同尺度的补偿信息输入至解码器1中，组集成模块2用于从编码器2的输入特征中提取m个不同尺度的补偿信息输入至解码器2中，组集成模块3用于从编码器3的输入特征中提取m个不同尺度的补偿信息输入至解码器3中。

如图5中所示，组集成模块(GE block)包括第一卷积层和m-1个语义补偿模块(Semantic Compensation Module，SCM)。其中，第一卷积层用于从编码器的输入特征中提取第一尺度的补偿信息，第一卷积层为大小为1×1的卷积核。m-1个语义补偿模块用于从第一尺度的补偿信息中提取m-1个不同尺度的补偿信息，其中，m-1个语义补偿模块中的第i个语义补偿模块的输出为第i+1个语义补偿模块的输入，1≤i≤m-1。

如图6中所示，每个语义补偿模块包括依次连接的一个第二卷积层、至少两个第三卷积层和空洞(Atrous)卷积层。其中，第二卷积层的卷积核的大小为1×1，每个第三卷积层的卷积核的大小均为3×3。空洞卷积层可以增加感受野，以便消除编码器的低级边缘信息和解码器的高级语义信息之间的语义差距。

示例性的，如图5中所示，组集成模块中的m-1个语义补偿模块包括SCM_1至SCM_m-1。组集成模块中的第一卷积层用于从编码器的输入特征中提取第一尺度的补偿信息y

如图7中所示，每个解码器包括m个组卷积模块。每个组卷积模块均包括上采样模块和第一卷积模块。将输入到解码器中的第二输入特征分成m组，m组第二输入特征与m个组卷积模块一一对应。通过m个组卷积模块中的每个组卷积模块对一组第二输入特征以及一个尺度的补偿信息进行解码处理，得到m组解码特征，根据m组解码特征可以得到解码器的输出特征。其中，解码器的第二输入特征为位于该解码器上一层的网络结构的输出，位于该解码器上一层的网络结构可以是图像分割模型中的最后一个解码器，也可以是位于该解码器上一层的另外一个解码器。

具体的，对于每一个组卷积模块，通过组卷积模块中的上采样模块对一组第二输入特征进行上采样处理，将上采样模块的输出与一个尺度的补偿信息y

其中，上采样模块包括卷积核为1×1的卷积层和反卷积层。第一卷积模块包括依次连接的批量归一化(Batch Normalization，BN)层、激励层和卷积层。示例性的，激励层可以为ReLU(整流线性单元)。

在一个示例中，以编码器3、组集成模块3和解码器3为例，假设，m＝4，编码器3的第一输入特征为通道数为128且大小为44×36的特征图，解码器中包括4个组卷积模块，即组卷积模块1至组卷积模块4。将编码器3的第一输入特征输入到组集成模块3中进行处理，得到4个不同尺度的补偿信息，即y

例如，针对第一组第二输入特征，组卷积模块1中的上采样模块用于从第一组第二输入特征中解码潜在空间的特征，将上采样模块的输出与第一尺度的补偿信息y

需要说明的是，本申请中的解码器利用组卷积代替了传统解码器中的卷积块。每个解码器中的m个组卷积模块为具有相同结构的子网络，每个子网络相当于一个分类器，利用组卷积不仅可以有效的减小参数数量，还可以根据多个分类器的预测多样性提高模型的分割精度。

本申请提供的图像分割模型可以应用于医学图像分割领域，实现对病灶、器官等区域的提取，例如脑组织分割、脑肿瘤分割、肺结节分割等任务。也可以应用于任意一个需要对待处理图像中的目标区域进行分割或提取任务。

示例性的，以脑肿瘤分割任务为例，对本申请提供的图像分割模型的训练过程和效果进行示例性的说明。

首先构建图像分割初始模型。针对脑肿瘤分割任务，采集对应的训练集，训练集包括多个图像样本对，每个图像样本对包括脑肿瘤图像样本以及与脑肿瘤图像样本对应的分割图像样本。利用训练集可以对图像分割初始模型进行迭代训练，以最小化损失函数，从而得到已训练的图像分割模型。

可以理解的是，采用上述已训练的图像分割模型进行图像分割的方法，和上述训练图像分割初始模型的方法可以是同一终端设备执行的，也可以是不同终端设备执行。该终端设备可以不限于各种智能手机、便携式笔记本，平板电脑、智能可穿戴设备、计算机、机器人等。

为了验证本申请实施例提供的图像分割模型的可行性，将本申请提供的图像分割模型应用于脑肿瘤分割。首先通过实验验证本申请提供的图像分割模型GEU-Net中的解码器的组卷积模块的个数对脑肿瘤分割结果的影响，并基于多个不同指标将实现结果与传统的小U-Net网络的分割结果进行对比。

表1

如表1中所示，评价指标包括Dice similarity coefficient(戴斯相似性系数)、Sensitivity(灵敏度)、Specificity(特异度)、Hausdorff 95和Parameter(参数)。其中，Dice similarity coefficient用来衡量网络分割结果与标准分割结果之间的相似性。Sensitivity用于衡量模型对正例的识别能力。Specificity用于衡量模型对负例的识别能力。Hausdorff 95用于度量形状相似性。Dice similarity coefficient、Sensitivity以及Specificity的数值越大，表示模型的性能越好，Parameter值越小表示模型中的参数量越小。

从表1中可以看出，解码器中的组卷积模块的个数对脑肿瘤分割结果的影响较大。当组卷积模块的个数为4时，本申请提供的GEU-Net模型在指标Dice similaritycoefficient上的性能最优。实际应用中，可以根据不同的分割任务设计合适的组卷积模块的个数。

此外，减小传统U-Net模型中的不同数量的参数，分别得到小U-Net模型、中U-Net模型。基于上述中的多个评价指标，将本申请的图像分割模型的分割结果与传统U-Net模型、小U-Net模型、中U-Net模型、DeepLabV3+模型、PSP-Net(Pyramid Scene ParsingNetwork，金字塔场景解析网络)模型以及Attention U-Net模型的脑肿瘤分割结果进行比较，实验结果如表2中所示。通过表2可以看出，本申请提供的GEU-Net模型相对于其他模型在指标Dice similarity coefficient、Sensitivity以及参数数量上具备较强的优势。

表2

综上可知，本申请实施例的提供的图像分割模型在相互对应的编码器与解码器之间设置组集成模块，通过组集成模块从编码器的第一输入特征中提取等多个不同尺度的补偿信息并输入到对应的解码器中，增加网络层的感受野，通过多个不同尺度的补偿信息减小编码器中的低层边缘细节信息与对应解码器中的高级语义特征信息之间的差异。其次，解码器中通过多个组卷积模块代替传统的单个卷积块，使得解码器类似于集成的多个分类器，不仅可以大幅度的减小参数数量，还可以集成多个分类器的输出结合提高模型的分割精度。本申请实施例提供的图像分割模型解决了现有的U-Net网络模型中直接将低层边缘细节信息与高级语义特征信息进行拼接而导致高级语义特征信息被稀释的问题，从而提高了模型对待处理图像的分割精度，在一定程度上解决了传统的U-Net模型分割结果的精度度较低的问题。

对应于上文实施例所述的一种图像分割方法，图8示出了本申请实施例提供的一种图像分割装置的一个实施例结构图。参见图8，该图像分割装置可以包括：

获取单元801，获取待处理图像。

分割单元802，用于将待处理图像输入已训练的图像分割模型中处理，输出分割图像，图像分割模型为编码器-解码器结构，且相互对应的编码器与解码器之间设置有组集成模块，组集成模块用于从编码器的输入特征中提取m个不同尺度的补偿信息，并将m个不同尺度的补偿信息输入到解码器中，m≥2。

可选的，组集成模块包括第一卷积层和m-1个语义补偿模块；第一卷积层用于从编码器的第一输入特征中提取第一尺度的补偿信息；m-1个语义补偿模块用于从第一尺度的补偿信息中提取m-1个与第一尺度不同尺度的补偿信息，其中，m-1个语义补偿模块中的第i个语义补偿模块的输出为第i+1个语义补偿模块的输入，1≤i≤m-1。

可选的，语义补偿模块包括依次连接的第二卷积层、多个第三卷积层和空洞卷积层。

可选的，解码器包括m个组卷积模块；

将m个不同尺度的补偿信息输入到解码器中，包括：

将解码器的第二输入特征分成m组；

通过m个组卷积模块中的每个组卷积模块对一组第二输入特征以及一个尺度的补偿信息进行解码处理，得到m组解码特征；根据m组解码特征得到解码器的输出特征。

可选的，组卷积模块包括上采样模块和第一卷积模块；

通过m个组卷积模块中的每个组卷积模块对一组第二输入特征以及一个尺度的补偿信息进行解码处理，包括：

通过每个组卷积模块中的上采样模块对一组第二输入特征进行上采样处理，将上采样模块的输出与一个尺度的补偿信息进行拼接后作为组卷积模块中的第一卷积模块的输入。

可选的，编码器包括依次连接的第二卷积模块、下采样模块以及压缩和激励模块，第二卷积模块包括依次连接的批量归一化层、激励层和卷积层。

可选的，待处理图像为医学图像。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于同一发明构思，本申请实施例还提供了一种终端设备。如图9所示，该实施例的终端设备900包括：处理器901、存储器902以及存储在存储器902中并可在处理器901上运行的计算机程序904。计算机程序904可被处理器901运行，生成指令903，处理器901可根据指令903实现上述各个图像色彩优化方法实施例中的步骤。或者，处理器901执行计算机程序904时实现上述各装置实施例中各模块/单元的功能，例如图8所示的单元801和单元802的功能。

示例性的，计算机程序904可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器902中，并由处理器901执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序904在终端设备900中的执行过程。

本领域技术人员可以理解，图9仅仅是终端设备900的示例，并不构成对终端设备900的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备900还可以包括输入输出设备、网络接入设备、总线等。

处理器901可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器902可以是终端设备900的内部存储单元，例如终端设备900的硬盘或内存。存储器902也可以是终端设备900的外部存储设备，例如终端设备900上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器902还可以既包括终端设备900的内部存储单元也包括外部存储设备。存储器902用于存储计算机程序以及终端设备900所需的其它程序和数据。存储器902还可以用于暂时地存储已经输出或者将要输出的数据。

本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。

本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

在本申请中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

此外，在本申请中，除非另有明确的规定和限定，术语“连接”、“相连”等应做广义理解，例如可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定、对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。