图像处理方法及装置，模型的训练方法及装置，电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法及装置，模型的训练方法及装置，电子设备。

背景技术

对于骨骼CT图像分割的研究，其非常重要的临床价值体现在计算机辅助信息的识别和帮助神经病理学的临床研究。如果肋骨的结构没有被正确的分割和识别，那么所谓的用计算机描述的临床价值将受到局限。

发明内容

有鉴于此，本申请的实施例致力于提供一种图像处理方法及装置，模型的训练方法及装置，电子设备，不仅能够避免在对肋骨进行分割时出现欠分割、过分割等现象，还能够避免肋骨间的串色。

根据本申请实施例的第一方面，提供了一种图像处理方法，包括：根据待分割图像的当前第一椎节对应的关键点和实例分割模型，对所述待分割图像的椎骨肋骨掩模图像上的当前第二椎节对应的当前肋骨进行目标检测，以确定所述当前肋骨所在位置，其中，所述椎骨肋骨掩模图像包括所述待分割图像的背景、椎骨和肋骨的分割结果，一个当前第一椎节对应一个当前第二椎节；根据所述当前肋骨所在位置，对所述当前肋骨进行实例分割，以获得所述待分割图像的背景和当前肋骨的实例分割结果。

根据本申请实施例的第二方面，提供了一种实例分割模型的训练方法，包括：获取样本图像上的第一椎节对应的关键点和所述样本图像的椎骨肋骨掩模样本图像，其中，所述椎骨肋骨掩模样本图像包括所述样本图像的背景、椎骨和肋骨的分割结果；基于所述关键点和所述椎骨肋骨掩模样本图像，训练所述实例分割模型。

根据本申请实施例的第三方面，提供了一种图像处理装置，包括：目标检测模块，配置为根据待分割图像的当前第一椎节对应的关键点和实例分割模型，对所述待分割图像的椎骨肋骨掩模图像上的当前第二椎节对应的当前肋骨进行目标检测，以确定所述当前肋骨所在位置，其中，所述椎骨肋骨掩模图像包括所述待分割图像的背景、椎骨和肋骨的分割结果，一个当前第一椎节对应一个当前第二椎节；实例分割模块，配置为根据所述当前肋骨所在位置，对所述当前肋骨进行实例分割，以获得所述待分割图像的背景和当前肋骨的实例分割结果。

根据本申请实施例的第四方面，提供了一种实例分割模型的训练装置，包括：获取模块，配置为获取样本图像上的第一椎节对应的关键点和所述样本图像的椎骨肋骨掩模样本图像，其中，所述椎骨肋骨掩模样本图像包括所述样本图像的背景、椎骨和肋骨的分割结果；训练模块，配置为基于所述关键点和所述椎骨肋骨掩模样本图像，训练所述实例分割模型。

根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一实施例所述的方法。

根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的方法。

本申请的实施例所提供的一种图像处理方法，首先通过待分割图像的当前第一椎节对应的关键点和实例分割模型，对所述待分割图像的椎骨肋骨掩模图像上的当前第二椎节对应的当前肋骨进行目标检测，可以确定所述当前肋骨所在位置，再通过所述当前肋骨所在位置，对所述当前肋骨进行实例分割，可以获得所述待分割图像的背景和当前肋骨的实例分割结果。这样，不仅能够避免在对肋骨进行分割时出现欠分割、过分割等现象，还能够避免肋骨间的串色。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1所示为本申请实施例所提供的图像分类、目标检测、语义分割与实例分割的概念示意图。

图2所示为本申请实施例所提供的一种实施环境的示意图。

图3所示为本申请一个实施例提供的图像处理系统的示意图。

图4所示为本申请一个实施例提供的图像处理方法的流程示意图。

图5所示为本申请一个实施例提供的肋骨和椎骨的位置关系的示意图。

图6所示为本申请一个实施例提供的实例分割结果的示意图。

图7所示为本申请另一个实施例提供的图像处理方法的流程示意图。

图8所示为本申请一个实施例提供的高斯球的示意图。

图9所示为本申请另一个实施例提供的图像处理方法的流程示意图。

图10至图13所示为本申请一些实施例提供的实例分割模型的训练方法的流程示意图。

图14所示为本申请一个实施例提供的对抗训练过程的示意图。

图15至图20所示为本申请一些实施例提供的图像处理装置的框图。

图21和图24所示为本申请一些实施例提供的实例分割模型的训练装置的框图。

图25所示为本申请一个实施例提供的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。

神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。

生成式对抗网络是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。生成式对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，直到达到训练效果。

近年来，深度神经网络在图像、视频等视觉信号的自动化理解方面取得优异的表现。目前，计算机视觉的任务包括图像分类(image classification)、目标检测(objectdetection)、语义分割(semantic segmentation)与实例分割(instance segmentation)等任务。下面以图1为例，对图像分类、目标检测、语义分割与实例分割进行解释说明。如图1所示，图片中含有1个人、2只狗与1只猫。

图像分类是指对图像中的目标物体进行分类，以判断出每个目标物体所属的分类。例如，在学习分类中数据集有人、羊、狗和猫四种，图像分类就是要得到(或输出)给定的一个图片中含有哪些目标物体的分类。例如，如图1左上角所示的例子中，图像分类任务的输出是标注出图片中的分类：人、猫、狗。

目标检测就是求出图片里面有什么目标物体，以及这些目标物体的位置(例如，把目标物体用检测框，例如，矩形框，框住)。例如，如图1右上角所示的例子中，目标检测任务的输出为标注出图片中的1个人、2只狗、1只猫各自的边界框(矩形框)。

语义分割是指需要区分到图片中的每一点像素点，而不仅仅是用矩形框框住目标物体，但是同一目标物体的不同实例不需要单独分割出来。例如，如图1左下角所示的例子中，语义分割任务的输出是标注出图片中的人，狗，猫，但不需要标注出狗1与狗2。

实例分割是指目标检测和语义分割的结合。相对于目标检测的边界框，实例分割可精确到物体的边缘，相对于语义分割，实例分割需要标注出图上同一目标物体的不同实例。例如，如图1右下角所示的例子中，人有1个实例，狗有2个实例，猫有1个实例，实例分割任务要把这些实例都分别标注出来。

通常情况下，把这些实例都分别分割出来需要两个串行的步骤，首先要进行目标检测，以标注出各实例的边界框，然后对边界框中的实例进行实例分割，以得到每个实例的分割结果。

现有的肋骨分割方法一般是通过深度学习进行语义分割或者实例分割，但是由于不同人脊椎密度、形态差异较大，且对于不同的CT机，成像效果差异也较大，故经常出现欠分割、过分割等现象。且对于骨折、骨质增生等病人，其肋骨形态差异较大，某一肋骨实例的分割容易串入其他肋骨的实例，造成辅助诊断的误判。

现有的肋骨的实例分割均是通过如上所述的方式进行，即，对各个肋骨进行目标检测，以标注出各肋骨的边界框，然后对边界框中的肋骨进行实例分割，以得到每个肋骨的实例分割结果。但是在对肋骨进行目标检测时，得到的边界框很可能包含多个肋骨，也就是说，现有的目标检测所得到的边界框并不能够准确地将各个肋骨标注出来，这样得到的实例分割结果是不准确的，容易出现肋骨的欠分割、过分割等现象，还容易导致肋骨间的串色。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

图2是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪230、服务器220和计算机设备210。计算机设备210可以从CT扫描仪230处获取胸腹CT图像，同时，计算机设备210还可以与服务器220之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

CT扫描仪230用于对人体组织进行X线扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪230对胸腹部进行扫描，可以得到胸腹部X线正位片，即本申请中的胸腹CT图像。

计算机设备210可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备210可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备210的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备210可以为一个，或者上述计算机设备210为几十个或几百个，或者更多数量。本申请实施例对计算机设备210的数量和设备类型不加以限定。

服务器220是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。

在一些可选的实施例中，计算机设备210中可以部署有实例分割模型，用于对胸腹CT图像进行实例分割。首先，计算机设备210可以利用其上部署的实例分割模型和从CT扫描仪230处获取的胸腹CT图像的第一椎节对应的关键点，对胸腹CT图像的椎骨肋骨掩模图像上的第二椎节对应的肋骨进行目标检测，以确定第二椎节对应的肋骨所在位置。然后，计算机设备210再利用其上部署的实例分割模型和第二椎节对应的肋骨所在位置，对所述第二椎节对应的肋骨进行实例分割，以获得胸腹CT图像的背景与肋骨的实例分割结果。这样，不仅能够避免在对肋骨进行分割时出现欠分割、过分割等现象，还能够避免肋骨间的串色。

在一些可选的实施例中，服务器220利用胸腹CT样本图像对神经网络进行训练，以得到实例分割模型。计算机设备210可以将其从CT扫描仪230获取到的胸腹CT图像发送给服务器220。首先，服务器220可以实例分割模型和从计算机设备210处获取的胸腹CT图像的第一椎节对应的关键点，对胸腹CT图像的椎骨肋骨掩模图像上的第二椎节对应的肋骨进行目标检测，以确定第二椎节对应的肋骨所在位置。然后，服务器220再利用实例分割模型和第二椎节对应的肋骨所在位置，对所述第二椎节对应的肋骨进行实例分割，以获得胸腹CT图像的背景与肋骨的实例分割结果，并将实例分割结果发送给计算机设备210，以供医护人员查看。这样，不仅能够避免在对肋骨进行分割时出现欠分割、过分割等现象，还能够避免肋骨间的串色。

图3是本申请一个实施例提供的图像处理系统的框图。如图3所示，该系统包括：

检测模型31，用于对待分割图像A进行检测，获得待分割图像A上的第一椎节对应的检测框B；

关键点获取模块32，用于根据检测框B，获取待分割图像A的第一椎节对应的关键点C；

第二语义分割模型33，用于对待分割图像A进行语义分割，获得椎骨肋骨掩模图像D；

实例分割模型34，用于根据待分割图像A的第一椎节对应的关键点C和椎骨肋骨掩模图像D，获得待分割图像A的背景和肋骨的实例分割结果E。

参照图3中带箭头实线所示的数据流向，以此方式来获取本实施例中的实例分割结果E。

图4是本申请一个实施例提供的肺部病灶检测的方法的流程示意图。图4所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图4所示，该方法包括如下内容。

S410：根据待分割图像的当前第一椎节对应的关键点和实例分割模型，对所述待分割图像的椎骨肋骨掩模图像上的当前第二椎节对应的当前肋骨进行目标检测，以确定所述当前肋骨所在位置。

在一实施例中，该待分割图像可以是指原始胸腹部医学影像，其可以是通过计算机断层扫描摄影(Computed Tomography，CT)、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术直接获得的影像。

在一实施例中，该待分割图像也可以是指经过预处理后的图像，预处理后的图像可以是指对原始胸腹部医学影像进行预处理后，得到的医学影像。但是本申请实施例并不具体限定预处理的具体实现方式，预处理可以是指灰度归一化、去噪处理或图像增强处理等。

在一实施例中，该待分割图像可以是三维胸腹部平扫CT影像，也可以是三维胸腹部平扫CT影像中的一部分三维医学影像(即，3D块)，还可以是三维胸腹部平扫CT影像中的一层二维医学影像，本申请实施例对此并不作具体限定。

在一实施例中，椎骨肋骨掩模图像包括待分割图像的背景、椎骨和肋骨的分割结果，也就是说，对待分割图像进行椎骨和肋骨的分割，可以获得背景、椎骨和肋骨的分割结果，再利用预设阈值，对背景、椎骨和肋骨的分割结果进行二值化处理，可以得到椎骨肋骨掩模图像，即，该椎骨掩模图像上的各个像素点可以用0或1进行表示，1表示椎骨和肋骨区域的像素点，0表示背景区域的像素点。

例如，通过如下方式来获取椎骨肋骨掩模图像：将所述待分割图像输入第二语义分割模型，以获得所述椎骨肋骨掩模图像。

在一实施例中，第一椎节对应的关键点可以理解为是第一椎节上的一个实体的目标点或者一个像素点，该目标点可以位于第一椎节的任意位置，例如，位于椎节的重心。

在一实施例中，通过对待分割图像进行处理，可以获得待分割图像的第一椎节对应的关键点，但是需要说明的是，本申请实施例并不具体限定如何对待分割图像进行处理。

例如，可以通过如下方式获得待分割图像的第一椎节对应的关键点：将所述椎骨肋骨掩模图像输入第一语义分割模型，以获得椎节掩模图像，其中，所述椎节掩模图像包括所述待分割图像的背景和第一椎节的分割结果；对所述当前第一椎节进行连通域提取，以获得与所述当前第一椎节对应的连通域；确定所述连通域上的预设点为所述当前第一椎节对应的关键点。

通过第一语义分割模型，可以将椎骨肋骨掩模图像中的多个第一椎节分割出来，但是并不对各个第一椎节进行分类，从而得到待分割图像的背景和第一椎节的分割结果，对背景和第一椎节的分割结果进行如上所述的二值化处理，可以得到该椎节掩模图像。

在对待分割图像的第一椎节进行分割时，只是将椎骨肋骨掩模图像输入到第一语义分割模型，而没有将待分割图像直接输入到第一语义分割模型，这是因为不同的待分割图像的差异较大(例如，骨质疏松的病人的CT图像，或者CT剂量较低的CT图像)，容易造成过拟合，而只输入椎骨肋骨掩模图像，可以使第一语义分割模型通过肋骨、椎骨形状等特征，来得到第一椎节的分割结果，从而提高了鲁棒性，减少缺失、假阳等现象。

需要说明的是，本申请实施例并不限定第一语义分割模型个第二语义分割模型的具体网络结构，本领域技术人员可以根据实际需求，进行不同的选择，例如，可以为FCN、UNet、Deeplab等常用的语义分割模型。

但是需要说明的是，本申请实施例并不具体限定连通域提取的具体实现形式，例如，可以采用从局部到整体，逐个检查每个连通成分，确定一个“起始点”，再向周围邻域扩展地填入标记；还可以采用从整体到局部，先确定不同的连通成分，再对每一个连通成分用区域填充方法填入标记。这两类算法操作的最终目的就是把白色像素和黑色像素组成的一幅点阵椎节掩模图像中，将互相邻接的目标“1”值的像素集合提取出来，标记为椎节区域，将互相邻接的目标“0”值的像素集合提取出来，标记为背景区域。

在得到第一椎节对应的连通域后，可以确定连通域上的预设点为第一椎节对应的关键点，但是本申请实施例并不具体限限定预设点的具体位置，可以为连通域的重心，也可以为连通域的边缘。

再例如，还可以通过如下方式获得待分割图像的第一椎节对应的关键点：将所述待分割图像输入检测模型，以获得所述当前第一椎节对应的检测框；确定所述检测框上的预设点为所述当前第一椎节对应的关键点。

该检测模型可以通过3D检测网络训练得到的，例如，3D的Faster-rcnn、YOLO系列网络或者其他anchor-free网络等等，本申请实施例对此并不作具体限定。

该检测框包括第一椎间盘的起始点(x,y,z)以及大小(w,h,d)，再根据检测框的起始点和大小，计算检测框上的预设点的位置，确定检测框上的预设点为第一椎节对应的关键点，但是本申请实施例并不具体限限定预设点的具体位置，可以为检测框的重心，也可以为检测框的边缘。

在一实施例中，一个当前第一椎节对应一个当前第二椎节，因此，基于待分割图像上的每个第一椎节对应的关键点和与第一椎节对应的椎骨肋骨掩模图像上的第二椎节，均可以得到椎骨肋骨掩模图像上的每个第二椎节对应的肋骨所在的位置。

如图5可以看出，每个椎节510对应两个肋骨520、530，通过实例分割模型，可以定位出至少一个肋骨所在的位置，但是本申请实施例对至少一个肋骨的具体数量不作具体限定，可以为一个，也可以为两个。

因此，利用待分割图像上的第一椎节对应的关键点，能够准确地对椎骨肋骨掩模图像上的第二椎节对应的肋骨进行定位，从而避免出现现有的目标检测所得到的边界框不能够准确地将各个肋骨标注出来的情况，进而能够避免在对肋骨进行分割时出现欠分割、过分割等现象，还能够避免肋骨间的串色。

S420：根据所述当前肋骨所在位置，对所述当前肋骨进行实例分割，以获得所述待分割图像的背景和当前肋骨的实例分割结果。

在一实施例中，通过步骤S410中的目标检测，定位出椎骨肋骨掩模图像上的每个第二椎节对应的肋骨所在的位置后，实例分割模型还可以对个第二椎节对应的肋骨进行实例分割，即，不仅将肋骨分割出来，还对肋骨进行分类，从而得到待分割图像的背景与多个肋骨的实例分割结果。如图6所示为待分割图像的背景与多个肋骨的实例分割结果，其中，不同肋骨用不同的颜色来表示，即，不同肋骨的灰度值不同，有的肋骨的颜色为灰白色，有的肋骨的颜色为黑色，有的肋骨的颜色为白色。

在一实施例中，该实例分割结果不仅可以为背景和多个肋骨的实例分割结果，还可以为背景、肋骨和椎骨的实例分割结果，如图6所示，不同的椎骨也用不同的颜色来表示，即，不同椎骨的灰度值不同，有的椎骨的颜色为灰白色，有的椎骨的颜色为黑色，有的椎骨的颜色为白色。

以此类推，遍历椎骨肋骨掩模图像上的每个第二椎节，对每个第二椎节盘对应的两个肋骨均执行如上步骤S410和S420，能够得到待分割图像的背景和所有肋骨的实例分割结果。

在本申请另一个实施例中，如图7所示的方法是图4所示方法中的步骤S410的示例，如图7所示的方法包括如下内容。

S710：对所述当前第一椎节对应的关键点进行高斯映射处理，以获得所述当前第一椎节对应的高斯球。

在一实施例中，该高斯球是以关键点为球心，球心的值为1，离球心越远值越小，灰度呈高斯分布，如图8所示为高斯球的示意图。

该高斯球可以理解为一个概率图，距离第一椎节的中心较近的像素点的灰度值比较大，距离第一椎节的中心较远的像素点的灰度值比较小，这样实例分割模型能够学到由于灰度值不同而产生的距离信息，从而提高目标检测的精度。而且当关键点出现偏移的情况，通过高斯球学习得到的实例分割模型的鲁棒性更高。

S720：将所述高斯球和所述椎骨肋骨掩模图像输入所述实例分割模型，确定所述当前第二椎节所在位置。

在一实施例中，将高斯球和椎骨肋骨掩模图像输入实例分割模型中进行目标检测，由于一个高斯球对应椎骨肋骨掩模图像上的一个第二椎节，因此，通过该高斯球，可以在椎骨肋骨掩模图像上确定出当前第二椎节所在位置。

S730：根据所述当前第二椎节所在位置，确定所述当前肋骨所在位置。

在一实施例中，由于一个高斯球还对应椎骨肋骨掩模图像上的一个第二椎节对应的肋骨，因此，通过该高斯球和当前第二椎节所在位置，可以在椎骨肋骨掩模图像上确定出当前第二椎节对应的当前肋骨所在位置。

在本申请另一个实施例中，如图9所示的方法是图4所示方法中的步骤S410的示例，如图9所示的方法包括如下内容。

S910：将所述当前第一椎节对应的关键点和所述椎骨肋骨掩模图像输入所述实例分割模型，确定所述当前第二椎节所在位置。

在一实施例中，该关键点对应的像素点的灰度值为1，其他位置对应的像素点的灰度值为0。

在一实施例中，将第一椎节对应的关键点和椎骨肋骨掩模图像输入实例分割模型中进行目标检测，由于一个第一椎节对应的关键点对应椎骨肋骨掩模图像上的一个第二椎节，因此，通过该当前第一椎节对应的关键点，可以在椎骨肋骨掩模图像上确定出当前第二椎节所在位置。

S920：根据所述当前第二椎节所在位置，确定所述当前肋骨所在位置。

在一实施例中，由于一个第一椎节对应的关键点还对应椎骨肋骨掩模图像上的一个第二椎节对应的肋骨，因此，通过该关键点和当前第二椎节所在位置，可以在椎骨肋骨掩模图像上确定出当前第二椎节对应的当前肋骨所在位置。

除了图7和图9所示的将关键点或者高斯球与椎骨肋骨掩模图像输入实例分割模型外，还可以将待分割图像一起输入到实例分割模型中，其作为分割时的分割标准，从而进一步提高实例分割模型的分割的准确性和鲁棒性。

在一实施例中，上述提到的第一语义分割模型、第二语义分割模型以及实例分割模型可以通过3D的神经网络进行训练得到的3D模型。

图10是本申请一个实施例提供的实例分割模型的训练方法的流程示意图。图10所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图10所示，该方法包括如下内容。

S1010：获取样本图像上的第一椎节对应的关键点和所述样本图像的椎骨肋骨掩模样本图像，其中，所述椎骨肋骨掩模样本图像包括所述样本图像的背景、椎骨和肋骨的分割结果。

本实施例中的样本图像、样本图像上的第一椎节对应的关键点、椎骨肋骨掩模样本图像均与上述图4所示的方法中的待分割图像、待分割图像上的第一椎节对应的关键点、椎骨肋骨掩模图像相同，在此不再赘述。

本实施例中获取样本图像上的第一椎节对应的关键点、椎骨肋骨掩模样本图像的方法与上述图4所示的获取待分割图像上的第一椎节对应的关键点、椎骨肋骨掩模图像的方法相同，在此不再赘述。

S1020：基于所述关键点和所述椎骨肋骨掩模样本图像，训练所述实例分割模型。

在一实施例中，将关键点和椎骨肋骨掩模样本图像直接输入实例分割模型进行训练。在另一实施例中，对关键点进行高斯映射处理，以确定与关键点对应的高斯球，再将高斯球和椎骨肋骨掩模样本图像输入实例分割模型进行训练。

在本申请另一个实施例中，如图11所示，步骤S1020包括如下内容。

S1110：根据所述关键点，对所述椎骨肋骨掩模样本图像上的第二椎节对应的肋骨进行目标检测，以确定所述肋骨所在位置，其中，一个第一椎节对应一个第二椎节。

本实施例中确定肋骨所在位置的方法与上述图7和9所示的确定肋骨所在位置的方法相同，在此不再赘述。

S1120：根据所述肋骨所在位置，对所述肋骨进行实例分割，以获得所述样本图像的背景和肋骨的实例分割结果。

本实施例中对肋骨进行实例分割的方法与上述图4所示的对肋骨进行实例分割的方法相同，在此不再赘述。

S1130：根据所述实例分割结果和所述样本图像上的训练标签的差异，训练所述实例分割模型。

在一实施例中，利用损失函数，计算实例分割结果和样本图像上的训练标签的差异，可以得到损失函数值。将损失函数值进行梯度反传，以更新实例分割模型的参数，例如权重，偏值等，本申请对此不做限定。

在本申请另一个实施例中，如图12所示，步骤S1020包括如下内容。

S1210：根据所述关键点，对所述椎骨肋骨掩模样本图像上的第二椎节对应的肋骨进行目标检测，以确定所述肋骨所在位置，其中，一个第一椎节对应一个第二椎节。

本实施例中确定肋骨所在位置的方法与上述图7和9所示的确定肋骨所在位置的方法相同，在此不再赘述。

S1220：根据所述肋骨所在位置，对所述肋骨进行实例分割，以获得所述样本图像的背景和肋骨的实例分割结果。

本实施例中对肋骨进行实例分割的方法与上述图4所示的对肋骨进行实例分割的方法相同，在此不再赘述。

S1230：基于所述实例分割结果和所述样本图像中的肋骨掩模数据，对所述实例分割模型和判别模型进行交替对抗训练。

在一实施例中，该样本图像中的肋骨掩模数据可以理解为是样本图像上的训练标签对应的椎骨和与其对应的肋骨的实例，或者是样本图像上的训练标签对应的肋骨的实例。

在一实施例中，所述方法还包括：从所述样本图像中随机采样一个训练标签，确定该训练标签对应的椎骨和与其对应的肋骨的实例，或者该训练标签对应的肋骨的实例为所述肋骨掩模数据。

一个实例分割结果对应一个肋骨掩模数据，也就是说，实例分割结果所对应的肋骨与肋骨掩模数据中的肋骨的实例可以为同一个肋骨，但是本申请实施例对此并不作具体限定。

为了保证分割出的肋骨的完整性，即，肋骨之间不要出现串色或者缺失、假阳等现象，本申请采用生成对抗的训练方法，来提高实例分割模型的效果。

在本申请另一个实施例中，如图13所示，步骤S1230包括如下内容。

S1310：利用模糊算子，对所述实例分割结果进行模糊处理，以获得第一模糊图像。

S1320：利用所述模糊算子，对所述肋骨掩模数据进行模糊处理，以获得第二模糊图像。

为了更好地将梯度进行反传，使实例分割模型更容易学到判别模型反传的信息，可以对实例分割结果和肋骨掩模数据就行模糊处理。

模糊处理可以采用中值模糊、均值迷糊、高斯模糊等等，本申请实施例对此并不作具体限定。

S1330：根据所述第一模糊图像和所述第二模糊图像，对所述实例分割模型和所述判别模型进行交替对抗训练，以获得训练完成的实例分割模型。

在一实施例中，将第一模糊图像和第二模糊图像输入判别模型进行二分类训练，判别模型判断实例分割结果是实例分割模型生成出来的，还是真实的样本图像上分割出来的，并将损失值反向传播给实例分割模型，以更新实例分割模型的参数。

如图14所示，实例分割模型输出实例分割结果1410，从样本图像中随机采样一个肋骨掩模数据1420；采用模糊算子，对实例分割结果1410和肋骨掩模数据1420分别进行模糊处理，以得到第一模糊图像1430和第二模糊图像1440；将第一模糊图像1430和第二模糊图像1440输入判别模型进行二分类训练，判别模型判断实例分割结果是实例分割模型生成出来的，还是真实的样本图像上分割出来的。

在本申请另一个实施例中，步骤S1330包括：将所述第一模糊图像输入判别网络，获得第一损失值，其中，所述第一模糊图像的真伪标签设置为假；将所述第二模糊图像输入所述判别网络，获得第二损失值，其中，所述第二模糊图像的真伪标签设置为真；根据所述第一损失值和所述第二损失值，训练所述判别模型；将所述第一模糊图像输入所述判别网络，获得第三损失值，其中，所述第一模糊图像的真伪标签设置为真；根据所述第三损失值，训练所述实例分割模型。

在一实施例中，根据第一模糊图像对应的判别标签0(假)和判别网络输出的第一判别结果，通过第一损失函数，获得第一损失值；根据第二模糊图像对应的判别标签1(真)和判别网络输出的第二判别结果，通过第二损失函数，获得第二损失值；将第一损失值和第二损失值直接相加或者加权相加后，进行梯度反传，更新判别网络的参数，得到训练完成的判别模型。

在一实施例中，根据第一模糊图像对应的判别标签1(真)和判别网络输出的第三判别结果，通过第三损失函数，获得第三损失值；将第三损失值进行梯度反传，更新实例分割模型的参数。将第一模糊图像的真伪标签设置为真是为了可以朝着欺骗判别网络的方向训练，能够让判别网络以为实例分割模型生成的实例分割结果是真的。

在一实施例中，先将实例分割模型的参数固定，对判别网络的参数进行更新；然后将判别网络的参数固定，对实例分割模型的参数进行更新。两个网络相互对抗，不断调整参数。但是本申请实施例对实例分割模型和判别网络的先后训练顺序不作限定，还可以先将判别网络的参数固定，对实例分割模型的参数进行更新；然后将实例分割模型的参数固定，对判别网络的参数进行更新。

采用如下公式来计算判别模型的损失函数值：

L

采用如下公式来计算实例分割模型的优化目标：

G

其中，G代表生成网络(即，本申请中的实例分割模型)，D代表本申请中的判别模型。L

通过判别模型反传的梯度，优化实例分割模型的参数，让实例分割模型输出的实例分割结果越来越真实，减少缺失或假阳等现象，直到可以欺骗判别模型。

本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图15所示为本申请一个实施例提供的图像处理装置的框图。如图15所示，该装置1500包括：

目标检测模块1510，配置为根据待分割图像的当前第一椎节对应的关键点和实例分割模型，对所述待分割图像的椎骨肋骨掩模图像上的当前第二椎节对应的当前肋骨进行目标检测，以确定所述当前肋骨所在位置，其中，所述椎骨肋骨掩模图像包括所述待分割图像的背景、椎骨和肋骨的分割结果，一个当前第一椎节对应一个当前第二椎节；

实例分割模块1520，配置为根据所述当前肋骨所在位置，对所述当前肋骨进行实例分割，以获得所述待分割图像的背景和当前肋骨的实例分割结果。

在本申请另一个实施例中，如图16所示，目标检测模块1510可以包括：

高斯处理单元1511，配置为对所述当前第一椎节对应的关键点进行高斯映射处理，以获得所述当前第一椎节对应的高斯球；

第一输入单元1512，配置为将所述高斯球和所述椎骨肋骨掩模图像输入所述实例分割模型，确定所述当前第二椎节所在位置；

第一确定单元1513，配置为根据所述当前第二椎节所在位置，确定所述当前肋骨所在位置。

在本申请另一个实施例中，如图17所示，目标检测模块1510还可以包括：

第二输入单元1514，配置为将所述当前第一椎节对应的关键点和所述椎骨肋骨掩模图像输入所述实例分割模型，确定所述当前第二椎节所在位置；

第二确定单元1515，配置为根据所述当前第二椎节所在位置，确定所述当前肋骨所在位置。

在本申请另一个实施例中，如图18所示，图15所示的装置还包括：

第二输入模块1530，配置为将所述椎骨肋骨掩模图像输入第一语义分割模型，以获得椎节掩模图像，其中，所述椎节掩模图像包括所述待分割图像的背景和第一椎节的分割结果；

连通域模块1540，配置为对所述当前第一椎节进行连通域提取，以获得与所述当前第一椎节对应的连通域；

第二确定模块1550，配置为确定所述连通域上的预设点为所述当前第一椎节对应的关键点。

在本申请另一个实施例中，如图19所示，图15所示的装置还包括：

第三输入模块1560，配置为将所述待分割图像输入检测模型，以获得所述当前第一椎节对应的检测框；

第三确定模块1570，配置为确定所述检测框上的预设点为所述当前第一椎节对应的关键点。

在本申请另一个实施例中，如图20所示，图15所示的装置还包括：

第四输入模块1580，配置为将所述待分割图像输入第二语义分割模型，以获得所述椎骨肋骨掩模图像。

图21所示为本申请一个实施例提供的实例分割模型的训练装置的框图。如图21所示，该训练装置2100包括：

获取模块2110，配置为获取样本图像上的第一椎节对应的关键点和所述样本图像的椎骨肋骨掩模样本图像，其中，所述椎骨肋骨掩模样本图像包括所述样本图像的背景、椎骨和肋骨的分割结果；

训练模块2120，配置为基于所述关键点和所述椎骨肋骨掩模样本图像，训练所述实例分割模型。

在本申请另一个实施例中，如图22所示，训练模块2120可以包括：

目标检测单元2121，配置为根据所述关键点，对所述椎骨肋骨掩模样本图像上的第二椎节对应的肋骨进行目标检测，以确定所述肋骨所在位置，其中，一个第一椎节对应一个第二椎节；

实例分割单元2122，配置为根据所述肋骨所在位置，对所述肋骨进行实例分割，以获得所述样本图像的背景和肋骨的实例分割结果；

差异单元2123，配置为根据所述实例分割结果和所述样本图像上的训练标签的差异，训练所述实例分割模型。

在本申请另一个实施例中，如图23所示，训练模块2120还可以包括：

目标检测单元2121，配置为根据所述关键点，对所述椎骨肋骨掩模样本图像上的第二椎节对应的肋骨进行目标检测，以确定所述肋骨所在位置，其中，一个第一椎节对应一个第二椎节；

实例分割单元2122，配置为根据所述肋骨所在位置，对所述肋骨进行实例分割，以获得所述样本图像的背景和肋骨的实例分割结果；

对抗训练单元2124，配置为基于所述实例分割结果和所述样本图像中的肋骨掩模数据，对所述实例分割模型和判别模型进行交替对抗训练。

在本申请另一个实施例中，如图24所示，对抗训练单元2124包括：

第一模糊子单元21241，配置为利用模糊算子，对所述实例分割结果进行模糊处理，以获得第一模糊图像；

第二模糊子单元21242，配置为利用所述模糊算子，对所述肋骨掩模数据进行模糊处理，以获得第二模糊图像；

交替对抗子单元21243，配置为根据所述第一模糊图像和所述第二模糊图像，对所述实例分割模型和所述判别模型进行交替对抗训练，以获得训练完成的实例分割模型。

在本申请另一个实施例中，交替对抗子单元21243具体配置为：将所述第一模糊图像输入判别网络，获得第一损失值，其中，所述第一模糊图像的真伪标签设置为假；将所述第二模糊图像输入所述判别网络，获得第二损失值，其中，所述第二模糊图像的真伪标签设置为真；根据所述第一损失值和所述第二损失值，训练所述判别模型；将所述第一模糊图像输入所述判别网络，获得第三损失值，其中，所述第一模糊图像的真伪标签设置为真；根据所述第三损失值，训练所述实例分割模型。

下面，参考图25来描述根据本申请实施例的电子设备。图25图示了根据本申请实施例的电子设备的框图。

如图25所示，电子设备2500包括一个或多个处理器2510和存储器2520。

处理器2510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备2500中的其他组件以执行期望的功能。

存储器2520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器2510可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法、实例分割模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如椎骨肋骨掩模图像、椎节掩模图像等各种内容。

在一个示例中，电子设备2500还可以包括：输入装置2530和输出装置2540，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置2530可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置2530可以是通信网络连接器。

此外，该输入设备2530还可以包括例如键盘、鼠标等等。

该输出装置2540可以向外部输出各种信息，包括确定出的实例分割结果等。该输出设备2540可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图25中仅示出了该电子设备2500中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备2500还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、实例分割模型的训练方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、实例分割模型的训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。