基于分割模型的图像分割方法、系统、电子设备及介质

技术领域

本发明涉及图像分割技术领域，尤其涉及一种基于分割模型的图像分割方法、系统、电子设备及存储介质。

背景技术

随着计算机视觉技术的快速发展，计算机视觉技术被应用在实际生活的各个领域，包括：物流运输领域、医疗器械领域、餐饮服务领域等等。在生物医学领域，研究表明，特定曲线解剖结构的形态和拓扑与各种疾病的存在与否或严重程度高度相关，如高血压、角膜炎、糖尿病视网膜病变等，其中，许多眼科疾病的早期症状反映在微血管和毛细血管异常。因此，各种曲线结构的精确分割对于计算机辅助诊断、定量分析和早期筛查，具有重要意义。近年来，受益于深度学习的发展，已经提出了许多基于深度学习的曲线结构分割算法，并且与传统的方法相比，这些算法表现出了压倒性的性能。然而，上述方法通常是完全监督的，需要大规模注释良好的数据集，导致注释数据集所需的金钱成本和时间成本的增加，并且由于曲线结构是细长的、多尺度的、形状复杂且细节精细，从而导致标注曲线结构的难度增大，降低图像分割的效率。

发明内容

以下是对本文详细描述的主题的概述。

本发明实施例提供了一种基于分割模型的图像分割方法、系统、电子设备及存储介质，能够提高标注准确性、减少标注成本，并提高图像分割效率。

第一方面，本发明实施例提供了一种基于分割模型的图像分割方法，所述分割模型包括图像修复模型和图像合成器，所述方法包括：

获取样本图像集，其中，所述样本图像集包括多张样本图像；

基于预设的空间殖民算法对所述样本图像的前景进行模拟，生成与所述样本图像对应的曲线结构库；

对所述样本图像进行骨架标注，并根据骨架标注后的样本图像对所述样本图像集进行划分，得到标注样本子集和原始样本子集；

将所述标注样本子集输入所述图像修复模型进行背景提取，输出图像背景库；

将所述曲线结构库和所述图像背景库输入所述图像合成器进行图像合成，输出合成图像集；

将所述合成图像集以及所述原始样本子集输入所述分割模型进行训练，得到目标分割模型；

获取待检测样本图像，并将所述待检测样本图像输入所述目标分割模型进行图像分割，得到分割结果。

本发明实施例提供的基于分割模型的图像分割方法，至少具有如下有益效果：首先，获取包括多张样本图像的样本图像集，并基于预设的空间殖民算法生成与样本图像的前景对应的曲线结构库，便于后续对图像合成器和分割模型的训练，提高分割模型的性能，之后对样本图像进行噪声骨架标注，并根据标注后的样本图像对样本图像集进行划分，得到标注样本子集和原始样本子集，便于后续对图像背景的提取，能够提高分割模型的全监督性能，减少标注的成本，再将标注样本子集输入图像修复模型进行背景提取，输出图像背景库，实现对标注样本子集中图像的前景的移出，提高提取全局背景的能力，将曲线结构库和图像背景库输入图像合成器进行图像合成，输出合成图像集，便于后续对分割模型的训练，最后，将合成图像集和原始样本子集输入分割模型进行训练，得到目标分割模型，实现对分割模型的训练，能够将弱监督问题转化为完全监督的问题，提高分割模型的性能，将获取到的待检测样本图像输入目标分割模型进行图像分割，得到分割结果，从而提高图像分割准确性。

在一些实施例中，所述基于预设的空间殖民算法生成所述样本图像对应的曲线结构库，包括：

根据所述空间殖民算法对所述样本图像进行前景模拟，得到吸引子集合和节点集合，其中，所述吸引子集合包括多个吸引子，所述节点集合包括多个节点；

根据预设的吸引距离对所述吸引子和所述节点进行联系，得到联系信息，其中，所述联系信息用于表征节点对吸引子的影响能力；

对于每个节点，根据所述联系信息确定影响所述节点的多个吸引子，并对所述多个吸引子的方向进行计算，得到至少一个平均方向信息；

根据所述平均方向信息、预设的段长信息以及预设的停止范围进行节点生成操作，确定目标节点数；

基于预设的边界信息和障碍物信息对所述段长信息、所述停止范围以及所述吸引距离进行调整，得到多种曲线结构，其中，所述停止范围用于表征吸引子设置的停止距离；

对所述曲线结构的分支进行直径模拟，生成所述曲线结构库。

在一些实施例中，所述根据所述平均方向信息、预设的段长信息以及预设的停止范围进行节点生成操作，确定目标节点数，包括：

将所述平均方向信息进行归一化，得到单位矢量；

对所述单位矢量以及所述段长信息进行计算，确定位置信息，其中，所述位置信息用于表征放置新节点的位置；

根据所述位置信息生成目标节点，并将所述停止范围与所述目标节点的位置信息进行对比，得到对比结果；

当确定所述对比结果为所述目标节点处于所述停止范围，删除与所述停止范围对应的吸引子，根据所述目标节点对节点集合进行更新，并对所述吸引子集合进行更新；

对于更新后的每个节点，根据所述联系信息确定影响更新后的节点的多个影响吸引子，并对所述影响吸引子进行计算，直至当前节点数满足预设节点数，根据所述预设节点数确定所述目标节点数。

在一些实施例中，所述标注样本子集包括多张掩模图像，其中，所述掩模图像由噪声骨架对所述样本图像标注膨胀得到，所述图像修复模型包括修复网络、鉴别器和修复器；所述将所述标注样本子集输入所述图像修复模型进行背景提取，输出图像背景库，包括：

将所述标注样本子集输入所述图像修复模型，使得所述图像修复模型中的修复网络对所述掩模图像进行图像补全，输出修复图像；

基于训练的残差网络对所述修复图像和所述样本图像进行距离评估，得到感知损失函数；

将所述修复图像以及所述样本图像输入所述鉴别器进行鉴别，输出鉴别参数，其中，所述鉴别参数用于表征所述鉴别器的特征定义性能和感知损失性能；

基于预设的梯度惩罚函数、预设的超参数、所述感知损失函数以及所述鉴别参数生成所述修复器的目标函数；

在预设的训练周期内，根据所述目标函数对所述修复器进行训练，得到目标修复器；

将所述掩模图像输入所述目标修复器，使得所述目标修复器根据所述噪声骨架对所述掩模图像中的前景进行去除，并对去除后的掩模图像进行背景提取，得到多张图像背景；

根据多张所述图像背景构建所述图像背景库。

在一些实施例中，所述将所述曲线结构库和所述图像背景库输入所述图像合成器进行图像合成，输出合成图像集，包括：

根据所述曲线结构库和所述图像背景库生成中间数据集，其中，所述中间数据集包括多个临时样本；

将所述中间数据集和所述原始样本子集输入所述图像合成器进行多层逐片对比学习，得到合成损失函数；

在预设的训练周期内，根据所述合成损失函数对所述图像合成器进行训练；

将所述曲线结构库和所述图像背景库输入训练后的图像合成器进行图像合成，输出所述合成图像集。

在一些实施例中，所述图像合成器包括编码器和多层感知器；所述将所述中间数据集和所述原始样本子集输入所述图像合成器进行多层逐片对比学习，得到合成损失函数，包括：

将所述中间数据集输入所述编码器进行图像下采样，得到高级特征图，并根据所述高级特征图得到与所述样本图像对应的面片信息，其中，所述面片信息与所述高级特征图中的像素对应；

通过所述编码器对所述面片信息进行特征提取，得到多尺度特征信息；

将所述多尺度特征信息输入所述多层感知器进行特征映射，输出特征堆栈；

根据所述特征堆栈确定面片特征信息和空间位置信息；

基于预设的噪声对比估计法对所述面片特征信息以及所述空间位置信息进行计算，得到合成目标函数；

将所述原始样本子集输入所述编码器进行样本选择，得到面片特征、负样本以及正样本；

根据所述面片特征、所述负样本以及所述正样本得到正则损失值；

根据所述合成目标函数、所述正则损失值以及预设的对抗性损失函数得到所述合成损失函数。

在一些实施例中，所述将所述合成图像集以及所述原始样本子集输入所述分割模型进行训练，得到目标分割模型，包括：

将所述合成图像集输入所述分割模型进行训练，得到粗分割器，并将所述原始样本子集输入所述粗分割器进行分割预测，得到伪标签信息；

根据预设的分割损失函数确定所述粗分割器的粗分割损失值，并根据所述伪标签信息确定伪标签损失值；

根据所述粗分割损失值和所述伪标签损失值确定目标损失函数；

基于所述目标损失函数、所述合成图像集和所述原始样本子集对所述分割模型进行训练，得到精分割器；

根据所述粗分割器和所述精分割器得到所述目标分割模型。

第二方面，本发明实施例还提供了一种基于分割模型的图像分割系统，所述系统包括：

样本获取模块，用于获取样本图像集，其中，所述样本图像集包括多张样本图像；

曲线生成模块，用于基于预设的空间殖民算法对所述样本图像的前景进行模拟，生成与所述样本图像对应的曲线结构库；

骨架标注模块，用于对所述样本图像进行骨架标注，并根据骨架标注后的样本图像对所述样本图像集进行划分，得到标注样本子集和原始样本子集；

背景提取模块，用于将所述标注样本子集输入所述图像修复模型进行背景提取，输出图像背景库；

图像合成模块，用于将所述曲线结构库和所述图像背景库输入所述图像合成器进行图像合成，输出合成图像集；

模型训练模块，用于将所述合成图像集以及所述原始样本子集输入所述分割模型进行训练，得到目标分割模型；

图像分割模块，用于获取待检测样本图像，并将所述待检测样本图像输入所述目标分割模型进行图像分割，得到分割结果。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于分割模型的图像分割方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的基于分割模型的图像分割方法。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的示例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明实施例提供的基于分割模型的图像分割方法的整体流程图；

图2是图1中的步骤S102的具体方法流程图；

图3是图2中的步骤S204的具体方法流程图；

图4是图1中的步骤S104的具体方法流程图；

图5是图1中的步骤S105的具体方法流程图；

图6是图5中的步骤S502的具体方法流程图；

图7是图1中的步骤S106的具体方法流程图；

图8是本发明一实施例提供的基于分割模型的图像分割系统的结构示意图；

图9是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于分割模型的图像分割方法，首先，获取包括多张样本图像的样本图像集，并基于预设的空间殖民算法生成与样本图像的前景对应的曲线结构库，便于后续对图像合成器和分割模型的训练，提高分割模型的性能，之后对样本图像进行噪声骨架标注，并将标注后的样本图像集进行划分，得到标注样本子集和原始样本子集，便于后续对图像背景的提取，能够提高分割模型的全监督性能，减少标注的成本，再将标注样本子集输入图像修复模型进行背景提取，输出图像背景库，实现对标注样本子集中图像的前景的移出，提高提取全局背景的能力，将曲线结构库和图像背景库输入图像合成器进行图像合成，输出合成图像集，便于后续对分割模型的训练，最后，将合成图像集和原始样本子集输入分割模型进行训练，得到目标分割模型，实现对分割模型的训练，能够将弱监督问题转化为完全监督的问题，提高分割模型的性能，将获取到的待检测样本图像输入目标分割模型进行图像分割，得到分割结果，从而提高图像分割准确性。

下面结合附图，对本发明实施例作进一步阐述。

需要说明的是，本实施例中的分割模型为一种新的单样本骨架/涂鸦监督曲线结构分割的弱监督框架，称为YoloCurvSeg，其中，分割模型包括用于生成与相应的样本图像前景类似的二进制曲线掩码的曲线生成器，用于从标记的样本中提取背景的背景生成器，用于生成合成图像的图像合成器以及需要进行训练的两阶段分割器。

参照图1，本发明实施例提供了一种基于分割模型的图像分割方法，基于分割模型的图像分割方法包括但不限于以下步骤S101至步骤S107。

步骤S101，获取样本图像集；

需要说明的是，样本图像集包括多张样本图像。

在一些实施例中，获取样本图像集，其中，样本图像集为对血管、神经纤维、细胞等进行采集得到，具体的样本图像集的类型可根据使用者需要自行采集，本实施例不做具体限制。

可以理解的是，样本图像集可以通过如下方式进行获取：从开源数据库中获取；自行拍照采集；显微镜观察记录等。

步骤S102，基于预设的空间殖民算法对样本图像的前景进行模拟，生成与样本图像对应的曲线结构库；

在一些实施例中，基于预设的空间殖民算法生成与样本图像的前景对应的曲线结构库。

可以理解的是，空间殖民算法是计算机图形学中的一种程序性建模算法，它可以用于模拟分支网络或树状结构的生长，包括脉管、叶脉、根系等。在本实施例中，它被用来模拟曲线结构的迭代生长。

需要说明的是，分割模型包括曲线生成器，步骤S102发生在曲线生成器中。

步骤S103，对样本图像进行骨架标注，并根据骨架标注后的样本图像对样本图像集进行划分，得到标注样本子集和原始样本子集；

在一些实施例中，对样本图像进行骨架标注，其中，经过膨胀的噪声骨架能够充分覆盖样本图像的前景，并根据骨架标注后的样本图像对样本图像集进行划分，得到标注样本子集和原始样本子集，便于对图像的修复以及背景的提取。

可以理解的是，原始样本子集为未标注的样本子集。

步骤S104，将标注样本子集输入图像修复模型进行背景提取，输出图像背景库；

在一些实施例中，将标注样本子集输入图像修复模型进行图像修复以及背景提取，并输出图像背景库，其中，图像背景库中包括多张标注图像的前景，实现对图像背景的提取，便于后续进行图像的合成。

步骤S105，将曲线结构库和图像背景库输入图像合成器进行图像合成，输出合成图像集；

在一些实施例中，将曲线结构库和图像背景库输入图像合成器，使得图像合成器提取曲线结构库中的曲线结构，并提取图像背景库中的图像背景，将提取到的曲线结构和图像背景进行图像合成，输出合成图像集，便于后续对分割模型的训练。

步骤S106，将合成图像集以及原始样本子集输入分割模型进行训练，得到目标分割模型；

在一些实施例中，将合成图像集以及原始样本子集输入分割模型进行训练，得到两阶段分割器，实现分割模型由粗到细的分割，得到目标分割模型，提高分割模型的分割能力。

步骤S107，获取待检测样本图像，并将待检测样本图像输入目标分割模型进行图像分割，得到分割结果。

在一些实施例中，获取待检测样本图像，并将待检测样本图像输入目标分割模型进行图像分割，从而实现对待检测样本图像的分割，得到最终的分割结果。

参照图2，在一些实施例中，为了生成与样本图像对应的曲线结构库，可以利用空间殖民算法生成与样本图像的图像前景类似的二进制曲线掩码，从而便于后续生成合成图像集，其中，步骤S102可以包括但不限于包括步骤S201至步骤S206：

步骤S201，根据空间殖民算法对样本图像进行前景模拟，得到吸引子集合和节点集合；

需要说明的是，吸引子集合包括多个吸引子，节点集合包括多个节点。

在一些实施例中，根据空间殖民算法对样本图像进行前景模拟，得到吸引子集合和节点集合，便于后续生成对应的曲线结构。

步骤S202，根据预设的吸引距离对吸引子和节点进行联系，得到联系信息；

需要说明的是，联系信息用于表征节点对吸引子的影响能力。

在一些实施例中，根据预设的吸引距离对吸引子和节点进行联系，得到联系信息，从而能够准确确定吸引子和节点之间的距离。

可以理解的是，随机或者按照预定的模式从吸引子集合中选取一组吸引子，并按照预设的吸引距离D

步骤S203，对于每个节点，根据联系信息确定影响节点的多个吸引子，并对多个吸引子的方向进行计算，得到至少一个平均方向信息；

在一些实施例中，对于每个节点，根据联系信息确定影响节点的多个吸引子，并对多个吸引子的方向进行计算，得到至少一个平均方向信息，便于后续确定新节点的位置。

步骤S204，根据平均方向信息、预设的段长信息以及预设的停止范围进行节点生成操作，确定目标节点数；

在一些实施例中，根据平均方向信息、预设的段长信息L

步骤S205，基于预设的边界信息和障碍物信息对段长信息、停止范围以及吸引距离进行调整，得到多种曲线结构；

需要说明的是，停止范围用于表征吸引子设置的停止距离。

在一些实施例中，在预设的边界信息和障碍物信息内，对段长信息L

需要说明的是，在参数调整的过程中，还需要通过调整根节点坐标C

步骤S206，对曲线结构的分支进行直径模拟，生成曲线结构库。

在一些实施例中，除了模拟曲线形状之外，还需要对曲线结构的分支进行直径模拟，从而生成曲线结构库。

需要说明的是，直径模拟的计算方法如下公式(1)所示：

其中，R为父分支的分支半径，

参照图3，在一些实施例中，为了对样本图像的图像前景进行精确模拟，可以根据平均方向信息、预设的段长信息以及停止范围进行节点的生成，从而增加模拟曲线结构的准确性，其中，步骤S204可以包括但不限于包括步骤S301至步骤S305：

步骤S301，将平均方向信息进行归一化，得到单位矢量；

步骤S302，对单位矢量以及段长信息进行计算，确定位置信息；

需要说明的是，位置信息用于表征放置新节点的位置。

步骤S303，根据位置信息生成目标节点，并将停止范围与目标节点的位置信息进行对比，得到对比结果；

步骤S304，当确定对比结果为目标节点处于停止范围，删除与停止范围对应的吸引子，根据目标节点对节点集合进行更新，并对吸引子集合进行更新；

步骤S305，对于更新后的每个节点，根据联系信息确定影响更新后的节点的多个影响吸引子，并对影响吸引子进行计算，直至当前节点数满足预设节点数，根据预设节点数确定目标节点数。

在一些实施例的步骤S301至步骤S305中，在确定目标节点数的过程中，需要首先将平均方向信息进行归一化，得到单位矢量，再根据单位矢量进行计算，并按照预设的段长信息L

参照图4，在一些实施例中，为了提取标注样本子集的背景，可以将标注样本子集输入图像修复模型进行背景提取，从而能够通过图像补全操作生成图像背景库，便于后续进行图像合成，其中，步骤S104可以包括但不限于包括步骤S401至步骤S407：

需要说明的是，标注样本子集包括多张掩模图像，其中，掩模图像由噪声骨架对样本图像标注膨胀得到，图像修复模型包括修复网络、鉴别器和修复器。

可以理解的是，修复网络为基于快速傅里叶卷积(Fast Fourier Convolution,FFC)的修复网络。

步骤S401，将标注样本子集输入图像修复模型，使得图像修复模型中的修复网络对掩模图像进行图像补全，输出修复图像；

在一些实施例中，将标注样本子集输入图像修复模型，使得图像修复模型中的修复网络对掩模图像进行图像补全，输出修复图像，从而实现对图像的修复。

需要说明的是，掩模图像表示为I⊙(1-m)，其中，I表示样本图像，m表示修复区域的二进制掩码，修复网络中的前馈修复网络f

值得注意的是，FFC建立在通道尺度快速傅里叶变换(Fast Fouriier Transform，FFT)的基础上，并具有覆盖整个图像的感受野。它将通道分为两个并行分支：一个局部分支使用常规卷积，而一个全局分支使用实数FFT来捕获全局上下文。实数FFT仅适用于实数信号，而逆实数FFT确保输出是实数。与FFT相比，实FFT只使用了频谱的一半。在FFC中，实数FFT首先被应用于输入张量，并且通过连接实部和虚部来执行复数到实数(Complex ToReal)运算。然后，它在频域中应用卷积。在实数到复数(Real To Complex)操作之后，应用逆变换来恢复空间结构。最后，局部和全局分支被融合。

步骤S402，基于训练的残差网络对修复图像和样本图像进行距离评估，得到感知损失函数；

在一些实施例中，基于训练的残差网络对修复图像和样本图像进行距离评估，得到感知损失函数，从而能够准确评估修复图像和样本图像之间的距离。

需要说明的是，与可能导致模糊预测的监督损失相比，感知损失通过预训练网络φ(·)评估修复图像和样本图像之间的距离，并且它不需要精确的重建，允许重建图像具有多样性。鉴于修复专注于理解全局结构，本实施例通过具有扩张卷积的预先训练的残差网络(Residual Network 50，ResNet50)φ

其中，

可以理解的是，

步骤S403，将修复图像以及样本图像输入鉴别器进行鉴别，输出鉴别参数；

需要说明的是，鉴别参数用于表征鉴别器的特征定义性能和感知损失性能。

在一些实施例中，将修复图像以及样本图像输入鉴别器

步骤S404，基于预设的梯度惩罚函数、预设的超参数、感知损失函数以及鉴别参数生成修复器的目标函数；

在一些实施例中，基于预设的梯度惩罚函数、预设的超参数、感知损失函数以及鉴别参数生成目标参数，从而保证修复器对图像进行修复过程中的局部细节和真实性，提高对图像修复的性能。

需要说明的是，生成修复器的目标函数如下公式(6)所示：

其中，λ

需要说明的是，本实施例中的超参数设置为λ

步骤S405，在预设的训练周期内，根据目标函数对修复器进行训练，得到目标修复器；

在一些实施例中，在预设的训练周期内，根据目标函数对修复器进行训练，鉴于修复器的训练数据不需要标注，并且它通过上下文理解学习了恢复缺失区域的一般能力，本实施例使用了一个统一的修复器，该修复器在Places Challenge数据集上进行了预训练，并对所用的所有数据集的组合进行了微调，得到目标修复器。

需要说明的是，本实施例对修复器进行训练的过程中，以8的批量(batch size)进行训练，并采用Adam优化器，学习率为10

步骤S406，将掩模图像输入目标修复器，使得目标修复器根据噪声骨架对掩模图像中的前景进行去除，并对去除后的掩模图像进行背景提取，得到多张图像背景；

在一些实施例中，在得到目标修复器之后，将掩模图像输入目标修复器，使得目标修复器去除噪声骨架标记的掩模图像的前景，并将扩张的噪声骨架作为掩码，对去除后的掩模图像进行背景提取，得到多张图像背景，从而实现图像背景的提取。

需要说明的是，本实施例对掩模图像进行背景提取的过程包括但不限于包括随机翻转、旋转等操作，本实施例不做具体限制。

步骤S407，根据多张图像背景构建图像背景库。

在一些实施例中，根据多张图像背景构建图像背景库，便于后续训练分割模型。

参照图5，在一些实施例中，为了得到合成图像，可以通过步骤S102得到的曲线结构库和步骤S104得到的图像背景库进行图像合成，从而生成合成图像集，提高图像合成的真实性，其中，步骤S105可以包括但不限于包括步骤S501至步骤S504：

步骤S501，根据曲线结构库和图像背景库生成中间数据集；

需要说明的是，中间数据集包括多个临时样本；

在一些实施例中，从曲线结构库B

步骤S502，将中间数据集和原始样本子集输入图像合成器进行多层逐片对比学习，得到合成损失函数；

在一些实施例中，将中间数据集X

步骤S503，在预设的训练周期内，根据合成损失函数对图像合成器进行训练；

在一些实施例中，在预设的训练周期内，根据合成损失函数对图像合成器进行训练，其中，训练周期可以为100、200或者300等，本实施例中为300。

需要说明的是，在对图像合成器训练的过程中，图像合成器的训练使用学习率为10

步骤S504，将曲线结构库和图像背景库输入训练后的图像合成器进行图像合成，输出合成图像集。

在一些实施例中，将曲线结构库B

参照图6，在一些实施例中，为了提高图像合成器的合成效率以及合成精度，可以将中间数据集和原始样本子集输入图像合成器进行多层逐片对比学习，从而实现对图像合成器的训练，增加图像合成的真实性，其中，步骤S502可以包括但不限于包括步骤S601至步骤S608：

需要说明的是，图像合成器包括编码器和多层感知器。

值得注意的是，对于非配对图像翻译，大多数现有方法都使用具有循环结构的生成对抗网络(Generative Adversarial Network,GAN)，依赖于循环一致性以确保高级别语义的对应。虽然使用循环结构的GAN有效，但是在循环一致性的背后的潜在双射有时过于限制/严格，这可能会减少生成样本的多样性。更重要的是，循环一致性不适合本申请的合成任务，因为它不能保证任何显式或隐式空间约束。在这种情况下，本申请引入了一种基于多层逐片对比学习的合成器，以学习从中间数据集到原始数据子集的映射，下面进行具体说明。

步骤S601，将中间数据集输入编码器进行图像下采样，得到高级特征图，并根据高级特征图得到与样本图像对应的面片信息；

需要说明的是，面片信息与高级特征图中的像素对应。

在一些实施例中，将中间数据集X

步骤S602，通过编码器对面片信息进行特征提取，得到多尺度特征信息；

在一些实施例中，通过编码器中的几个感兴趣的层E

步骤S603，将多尺度特征信息输入多层感知器进行特征映射，输出特征堆栈；

在一些实施例中，将尺度特征信息输入两层多层感知器进行特征映射，得到特征堆栈{v

步骤S604，根据特征堆栈确定面片特征信息和空间位置信息；

在一些实施例中，根据特征堆栈{v

步骤S605，基于预设的噪声对比估计法对面片特征信息以及空间位置信息进行计算，得到合成目标函数；

在一些实施例中，基于预设的噪音对比估计(Noise Contrastive Estimation,NCE)对面片特征信息以及空间位置信息进行计算，得到合成目标函数，从而能够在相同的空间位置保持局部信息，其中，具体得到合成目标函数的过程如下公式(8)所示：

其中，v

步骤S606，将原始样本子集输入编码器进行样本选择，得到面片特征、负样本以及正样本；

步骤S607，根据面片特征、负样本以及正样本得到正则损失值；

在一些实施例的步骤S606至步骤S607中，将原始样本子集输入编码器进行样本选择得到面片特征v

步骤S608，根据合成目标函数、正则损失值以及预设的对抗性损失函数得到合成损失函数。

在一些实施例中，根据合成目标函数

其中，λ

参照图7，在一些实施例中，为了实现对图像的精准分割，可以将合成图像集以及原始样本子集输入分割模型进行训练，从而提高分割模型的分割能力，实现分割模型由粗到细的分割，其中，步骤S106可以包括但不限于包括步骤S701至步骤S705：

需要说明的是，当利用合成图像集和原始图像子集的组合训练分割模型时，弱监督任务被转化为全监督或者半监督任务，本实施例中通过一个两阶段的从粗到细的分割技术路线来处理这个任务。

步骤S701，将合成图像集输入分割模型进行训练，得到粗分割器，并将原始样本子集输入粗分割器进行分割预测，得到伪标签信息；

在一些实施例中，首先将合成图像集

需要说明的是，粗分割器S

步骤S702，根据预设的分割损失函数确定粗分割器的粗分割损失值，并根据伪标签信息确定伪标签损失值；

在一些实施例中，根据预设的分割损失函数确定粗分割器的粗分割损失值

需要说明的是，在原始数据子集上训练得到粗分割器，根据分割损失函数确定粗分割损失值的公式如下公式(11)所示：

其中，

步骤S703，根据粗分割损失值和伪标签损失值确定目标损失函数；

在一些实施例中，根据粗分割损失值和伪标签损失值确定目标损失函数，其中，具体得到目标损失函数的过程如下公式(12)所示：

其中，λ

步骤S704，基于目标损失函数、合成图像集和原始样本子集对分割模型进行训练，得到精分割器；

在一些实施例中，通过目标损失函数在合成图像集以及原始样本子集的组合上进行训练，得到精分割器，从而提高对图像的分割精度。

步骤S705，根据粗分割器和精分割器得到目标分割模型。

在一些实施例中，本实施例采用具有16、32、64、128和256个特征通道的原始U-Net作为粗分割器S

请参阅图8，本申请实施例还提供一种基于分割模型的图像分割系统，可以实现上述基于分割模型的图像分割方法，该系统包括：

样本获取模块801，用于获取样本图像集，其中，样本图像集包括多张样本图像；

曲线生成模块802，用于基于预设的空间殖民算法对样本图像的前景进行模拟，生成与样本图像对应的曲线结构库；

骨架标注模块803，用于对样本图像进行骨架标注，并根据骨架标注后的样本图像对样本图像集进行划分，得到标注样本子集和原始样本子集；

背景提取模块804，用于将标注样本子集输入图像修复模型进行背景提取，输出图像背景库；

图像合成模块805，用于将曲线结构库和图像背景库输入图像合成器进行图像合成，输出合成图像集；

模型训练模块806，用于将合成图像集以及原始样本子集输入分割模型进行训练，得到目标分割模型；

图像分割模块807，用于获取待检测样本图像，并将待检测样本图像输入目标分割模型进行图像分割，得到分割结果。

该基于分割模型的图像分割系统的具体实施方式与上述基于分割模型的图像分割方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述基于分割模型的图像分割方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器901，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application SpecificIntegrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器902，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的基于分割模型的图像分割方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于分割模型的图像分割方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例的还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图9中的一个处理器901执行，可使得上述一个或多个控制处理器执行上述方法实施例中的基于分割模型的图像分割方法。

以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储系统、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明所限定的范围内。