图像处理的方法及装置

技术领域

本申请涉及医学图像处理领域，具体涉及一种图像处理的方法及装置。

背景技术

医学图像往往能够反映病人当前的身体状况，例如，计算机断层扫描(computedtomography，CT)等医学图像已经被广泛应用于疾病诊断、精准治疗、术前分析以及术中引导等场合。

随着深度学习方法及图像处理技术的快速发展，基于深度学习的图像处理方法在医学领域也得到了飞速的发展，许多研究人员已经开始研究和开发各种骨分割模型。

发明内容

有鉴于此，本申请实施例致力于提供一种图像处理的方法及装置，以解决现有技术中多种骨分割结果的融合结果精度不高的问题。

第一方面，提供了一种图像处理的方法，该方法包括：获取初始骨分割结果，所述初始骨分割结果包括多个不同的深度学习模型生成的多个骨分割结果；基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，得到目标骨分割结果。

在本申请实施例中，所述初始骨分割结果是由多个不同的深度学习模型生成，基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，可以对多个骨分割结果存在的问题进行针对性处理，从而可以提高多种骨分割结果的融合结果的精度。

在一个实施例中，所述初始骨分割结果包括骨分类结果、肋骨分类结果、肋骨实例分割结果、椎节实例分割结果、椎节关键点及椎间盘平面中的多个。

在一个实施例中，在所述初始骨分割结果包括骨分类结果及肋骨实例分割结果的情况下，所述基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，得到目标骨分割结果，包括：将所述肋骨实例分割结果映射到所述骨分类结果中的肋骨部分，得到候选骨分类结果；根据所述候选骨分类结果确定所述目标骨分割结果。

在一个实施例中，在所述初始骨分割结果包括肋骨分类结果的情况下，所述根据所述候选骨分类结果确定所述目标骨分割结果，包括：根据所述肋骨分类结果、所述候选骨分类结果及所述肋骨分类结果与所述候选骨分类结果之间的对应关系，确定所述目标骨分割结果中各个肋骨的第一初始标号信息，所述第一初始标号信息用于指示所述各个肋骨及其顺序。

在本申请实施例中，根据(所述肋骨分类结果中的)肋骨分类信息、(所述候选骨分类结果中的)肋骨实例信息以及二者之间的对应关系，推算出各个肋骨实例及其实际顺序，有助于提高各个肋骨实例及其实际顺序的精度。

在一个实施例中，在所述初始骨分割结果包括椎节实例分割结果的情况下，所述方法还包括：根据所述肋骨实例分割结果及所述椎节实例分割结果确定所述目标骨分割结果中各个椎节的第二初始标号信息，所述第二初始标号信息用于指示所述各个椎节及其顺序。

在本申请实施例中，根据(所述肋骨实例分割结果)肋骨实例信息及(所述椎节实例分割结果中的)椎节实例信息之间的关系推算各个椎节实例及其实际顺序，有助于提高各个椎节实例及其实际顺序的精度。

在一个实施例中，所述方法还包括：对所述第一初始标号信息和所述第二初始标号信息进行校正，得到第一标号信息及第二标号信息，所述第一标号信息用于指示所述各个肋骨及其顺序，所述第二标号信息用于指示所述各个椎节及其顺序。

在一个实施例中，所述方法还包括：按照预设的标号规则对所述目标骨分割结果中的所述第一标号信息、所述第二标号信息、肩胛骨、胸骨、锁骨进行重新标号。

在一个实施例中，所述初始骨分割结果包括椎节关键点及椎间盘平面的情况下，所述方法还包括：根据所述椎节关键点、所述椎间盘平面及所述骨分类结果中的椎骨修复所述目标骨分割结果中的骶骨尾骨。

在一个实施例中，所述方法还包括：计算所述骨分类结果及所述椎节实例分割结果中各个部分对应的独立连通域的体积；移除体积不满足预设条件的部分。

在本申请实施例中，通过移除所述骨分类结果及所述椎节实例分割结果中的细碎部分(即体积不满足预设条件的部分)，提高多种骨分割结果的融合结果的精度。

在一个实施例中，所述方法还包括：根据所述骨分类结果中的胸骨和椎骨确定所述目标骨分割结果中各个骨骼和前后分界面和左右分界面，所述前后分界面用于将所述各个骨骼划分为前后两部分，所述左右分界面用于将所述各个骨骼划分为左右两部分。

第二方面，提供了一种图像处理的装置，包括：获取单元，用于获取初始骨分割结果，所述初始骨分割结果包括多个不同的深度学习模型生成的多个骨分割结果；融合单元，用于基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，得到目标骨分割结果。

在本申请实施例中，所述初始骨分割结果是由多个不同的深度学习模型生成，基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，可以对多个骨分割结果存在的问题进行针对性处理，从而可以提高多种骨分割结果的融合结果的精度。

在一个实施例中，所述初始骨分割结果包括骨分类结果、肋骨分类结果、肋骨实例分割结果、椎节实例分割结果、椎节关键点及椎间盘平面中的多个。

在一个实施例中，在所述初始骨分割结果包括骨分类结果及肋骨实例分割结果的情况下，所述融合单元具体用于：将所述肋骨实例分割结果映射到所述骨分类结果中的肋骨部分，得到候选骨分类结果；根据所述候选骨分类结果确定所述目标骨分割结果。

在一个实施例中，在所述初始骨分割结果包括肋骨分类结果的情况下，所述融合单元具体用于：根据所述肋骨分类结果、所述候选骨分类结果及所述肋骨分类结果与所述候选骨分类结果之间的对应关系，确定所述目标骨分割结果中各个肋骨的第一初始标号信息，所述第一初始标号信息用于指示所述各个肋骨及其顺序。

在本申请实施例中，根据(所述肋骨分类结果中的)肋骨分类信息、(所述候选骨分类结果中的)肋骨实例信息以及二者之间的对应关系，推算出各个肋骨实例及其实际顺序，有助于提高各个肋骨实例及其实际顺序的精度。

在一个实施例中，在所述初始骨分割结果包括椎节实例分割结果的情况下，所述装置还包括确定单元，用于：根据所述肋骨实例分割结果及所述椎节实例分割结果确定所述目标骨分割结果中各个椎节的第二初始标号信息，所述第二初始标号信息用于指示所述各个椎节及其顺序。

在本申请实施例中，根据(所述肋骨实例分割结果)肋骨实例信息及(所述椎节实例分割结果中的)椎节实例信息之间的关系推算各个椎节实例及其实际顺序，有助于提高各个椎节实例及其实际顺序的精度。

在一个实施例中，所述装置还包括校正单元，用于：对所述第一初始标号信息和所述第二初始标号信息进行校正，得到第一标号信息及第二标号信息，所述第一标号信息用于指示所述各个肋骨及其顺序，所述第二标号信息用于指示所述各个椎节及其顺序。

在一个实施例中，所述装置还包括标号单元，用于：按照预设的标号规则对所述目标骨分割结果中的所述第一标号信息、所述第二标号信息、肩胛骨、胸骨、锁骨进行重新标号。

在一个实施例中，所述初始骨分割结果包括椎节关键点及椎间盘平面的情况下，所述装置还包括修复单元，用于：根据所述椎节关键点、所述椎间盘平面及所述骨分类结果中的椎骨修复所述目标骨分割结果中的骶骨尾骨。

在一个实施例中，所述装置还包括：计算单元，用于计算所述骨分类结果及所述椎节实例分割结果中各个部分对应的独立连通域的体积；移除单元，用于移除体积不满足预设条件的部分。

在本申请实施例中，通过移除所述骨分类结果及所述椎节实例分割结果中的细碎部分(即体积不满足预设条件的部分)，提高多种骨分割结果的融合结果的精度。

在一个实施例中，所述装置还包括划分单元，用于：根据所述骨分类结果中的胸骨和椎骨确定所述目标骨分割结果中各个骨骼和前后分界面和左右分界面，所述前后分界面用于将所述各个骨骼划分为前后两部分，所述左右分界面用于将所述各个骨骼划分为左右两部分。

第三方面，提供了一种图像处理的装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。

第四方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。

第五方面，提供一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。

在本申请实施例中，所述初始骨分割结果是由多个不同的深度学习模型生成，基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，可以对多个骨分割结果存在的问题进行针对性处理，从而可以提高多种骨分割结果的融合结果的精度。

附图说明

图1所示为适用于本申请实施例的一个应用场景图。

图2为本申请一个实施例中的图像处理的方法的示意性框图。

图3为本申请另一个实施例中的图像处理的方法的示意性框图。

图4为本申请实施例中的骨6分类掩膜的结构示意图。

图5为本申请实施例中的肋骨12分类掩膜的结构示意图。

图6为本申请实施例中的肋骨实例分割掩膜的结构示意图。

图7为本申请实施例中的椎节实例分割掩膜的结构示意图。

图8为本申请实施例中的左右分界面和前后分界面的前方视角。

图9为本申请实施例中的左右分界面和前后分界面的后方视角。

图10为本申请一个实施例中的膨胀操作的示意性框图。

图11为本申请一个实施例中的连通域操作的示意性框图。

图12为本申请一个实施例中的肋骨实例及其对应的椎节的示意图。

图13为本一个实施例中的骶骨尾骨分割的示意性框图。

图14为本申请一个实施例提供的图像处理的装置的示意性框图。

图15为本申请另一个实施例提供的图像处理的装置的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中的方法可以应用于各种需要对多种深度学习模型输出的骨分割结果进行融合的场景，本申请实施例中对此并不限定。

图1为适用于本申请实施例的一个应用场景图。

需要说明的是，图1所示的应用场景仅为示例而非限定，图1所示的应用场景中可以包括更多或更少的装置或设备，本申请实施例中对此并不限定。

图1中的应用场景100可以包括骨分割装置110、图像处理装置120。

其中，骨分割装置110可以包括骨分类模型、肋骨分类模型、肋骨实例分割模型及椎节实例分割模型等各种用于骨分割的模型；

图像处理装置120可以为计算机、终端设备、服务器(例如，云端服务器)或其他能够对多种骨分割结果进行处理的装置或设备。

在本申请实施例中，所述骨分割装置110可以基于医学图像进行骨分割处理，得到骨分割结果。

所述骨分割装置110可以包括多种骨分割装置，例如，骨分类模型、肋骨分类模型、肋骨实例分割模型及椎节实例分割模型等。

例如，以所述骨分割装置110中包括肋骨分类模型为例，肋骨分类模型可以基于医学图像进行肋骨分类处理，得到肋骨分类结果。

需要说明的是，这里的医学图像可以包括电子计算机断层扫描(computedtomography，CT)图像及磁共振成像(magnetic resonance imaging，MRI)图像或其他应用于医学领域的图像，本申请实施例中对此并不限定。

在本申请的一个实施例中，所述图像处理装置120可以对所述骨分割装置110输出的多种骨分割结果进行融合处理。

例如，所述图像处理装置120可以为计算机设备，所述计算机设备可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例中对此不做限定。

本领域技术人员可以知晓，上述计算机设备的数量可以为一个或大于一个，多个计算机设备的类型可以相同或者不同。本申请实施例中对终端的数量和设备类型不加以限定。

例如，计算机设备可以对所述骨分割装置110输出的多种骨分割结果进行融合处理，得到目标骨分割结果。

其中，所述骨分割结果可以包括骨分类结果、肋骨分类结果、肋骨实例分割结果、椎节实例分割结果、椎节关键点及椎间盘平面中的多项。

计算机设备可以为服务器或云端服务器，直接多种骨分割结果进行融合处理，得到目标骨分割结果。

或者，计算机设备也可以与服务器(图1中未示出)之间通过通信网络相连。计算机设备可以将其从所述骨分割装置110获取到的多种骨分割结果等发送给服务器，服务器基于多种骨分割结果进行融合处理，得到目标骨分割结果。

目前，研究人员已经开始研究和开发出多种骨分割模型，例如，骨分类模型、肋骨分类模型、肋骨实例分割模型及椎节实例分割模型等。但是，这些模型输出的结果往往只能指示某一类特定信息(或者称为结果)，例如，骨分类模型只能输出骨分类结果，肋骨实例分割模型只能输出肋骨实例分割结果。

为了便于后续的医疗诊断和分析，我们希望能够得到一种能够指示多类信息的高精度的骨分割模型，但是，目前基于多种模型输出的结果得到的融合结果的精度往往不高。

基于上述问题，本申请实施例中提出一种图像处理的方法及装置，可以对多种骨分割结果存在的问题进行针对性处理，从而能够提高多种骨分割结果的融合结果的精度。

下面结合图2至图13，对本申请实施例中的方法进行详细描述。

图2是本申请一个实施例的图像处理的方法200的示意性框图。所述方法200可以由图1中的所述图像处理装置120执行。

应理解，图2示出了方法200的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图2中方法200的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。

S210、获取初始骨分割结果。

其中，所述初始骨分割结果包括多个不同的深度学习模型生成的多个骨分割结果。

可选地，所述初始骨分割结果可以包括骨分类结果、肋骨分类结果、肋骨实例分割结果、椎节实例分割结果、椎节关键点及椎间盘平面中的多个。

例如，骨分类结果可以为骨6分类掩膜(mask)，肋骨分类结果可以为肋骨12分类掩膜(mask)、肋骨实例分割结果可以为肋骨实例分割掩膜(mask)、椎节实例分割结果可以为椎节实例分割掩膜(mask)、椎节关键点可以为椎节的关键点序列、椎间盘平面可以指示椎间盘所在的平面。

可选地，所述初始骨分割结果也可以包括其他模型(例如，其他非深度学习模型)生成的骨分割结果，本申请实施例中对此并不限定。

S220、基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，得到目标骨分割结果。

可选地，在所述初始骨分割结果包括骨分类结果及肋骨实例分割结果的情况下，上述S220可以包括：

将所述肋骨实例分割结果映射到所述骨分类结果中的肋骨部分，得到候选骨分类结果；根据所述候选骨分类结果确定所述目标骨分割结果。

所述候选骨分类结果中可以包括肋骨实例信息，所述肋骨实例信息用于指示多个肋骨实例。

进一步地，还可以校正所述候选骨分类结果中的串色问题。

例如，可以使用不同的实例标号指示肋骨实例中的不同肋骨，通常假设不同肋骨的颜色互不相同，也就是说，可以认为一个实例标号对应一个颜色(即一根肋骨)。

此时，对于所述候选骨分类结果中的每一根肋骨，如果该肋骨上出现多个对应不同实例标号的部分，则可以认为该肋骨出现串色问题。

在校正所述候选骨分类结果中的串色问题时，可以确定所述候选骨分类结果中的每一根肋骨上的颜色分布，若一根肋骨上存在多个颜色，则可以统计各种颜色对应部分的体积，确定其中体积最大的部分，将其余部分的颜色都设置为该体积最大的部分的颜色。

可选地，在所述初始骨分割结果包括肋骨分类结果的情况下，所述根据所述候选骨分类结果确定所述目标骨分割结果，可以包括：

根据所述肋骨分类结果、所述候选骨分类结果及所述肋骨分类结果与所述候选骨分类结果之间的对应关系，确定所述目标骨分割结果中各个肋骨的第一初始标号信息。

其中，所述第一初始标号信息可以用于指示所述各个肋骨及其顺序。

例如，可以选取所述肋骨分类结果中置信度最高的分类，并根据该置信度最高的分类确定多个肋骨的实际类别。

进一步，可以确定所述候选骨分类结果中的肋骨实例信息，并确定(所述肋骨实例信息指示的)多个肋骨实例与多个肋骨的实际类别之间的对应关系。

此时，可以根据多个肋骨实例与多个肋骨的实际类别之间的对应关系确定所述目标骨分割结果中各个肋骨及其顺序(例如，用于指示所述各个肋骨及其顺序的第一初始标号信息)。

可选地，还可以对所述第一初始标号信息出现错误时，对其进行校正。

例如，在(所述第一初始标号信息指示的)肋骨总数≤12且首位肋骨的标号≠1的情况下，可以将所有肋骨类别数平移至首位肋骨为第1肋为止(比如：将-1～9肋平移为1～11肋)。

相应地，此时，可以将校正后的所述第一初始标号信息作为所述目标骨分割结果中各个肋骨的第一初始标号信息。

可选地，在所述初始骨分割结果包括椎节实例分割结果的情况下，所述方法200还可以包括步骤230。

S230，根据所述肋骨实例分割结果及所述椎节实例分割结果确定所述目标骨分割结果中各个椎节的第二初始标号信息。

其中，所述第二初始标号信息可以用于指示所述各个椎节及其顺序。

所述椎节实例分割结果中可以包括椎节实例信息，所述椎节实例信息用于指示多个椎节实例。

例如，可以选定一根肋骨，从所述目标骨分割结果中确定该肋骨的实例信息。

进一步地，可以确定该肋骨对应的椎节标号，并根据所述椎节实例分割结果中的椎节实例信息确定各个椎节及其顺序(即所述第二初始标号信息)。

可选地，所述方法200还可以包括步骤240。

S240，对所述第一初始标号信息和所述第二初始标号信息进行校正，得到第一标号信息及第二标号信息。

其中，所述第一标号信息可以用于指示所述各个肋骨及其顺序，所述第二标号信息可以用于指示所述各个椎节及其顺序。

可选地，所述方法200还可以包括步骤250。

S250，按照预设的标号规则对所述目标骨分割结果中的所述第一标号信息、所述第二标号信息、肩胛骨、胸骨、锁骨进行重新标号。

例如，重新标号的所述第一标号信息不仅可以指示各个肋骨及其顺序，还可以区分左肋及右肋。

重新标号的所述第二标号信息不仅可以各个椎节及其顺序，还可以区分颈椎、胸椎、腰椎及骶骨尾骨。

重新标号的肩胛骨也可以区分左肩胛骨及右肩胛骨。

重新标号的锁骨也可以区分左锁骨及右锁骨。

本申请实施例中的所述预设的标号规则仅为示例而非限定，本申请对具体的标号规则并不限定。

可选地，所述初始骨分割结果包括椎节关键点及椎间盘平面的情况下，所述方法200还可以包括步骤260。

S260，根据所述椎节关键点、所述椎间盘平面及所述骨分类结果中的椎骨修复所述目标骨分割结果中的骶骨尾骨。

可选地，可以根据所述椎节关键点及所述椎间盘平面确定所述骨分类结果中的骶骨尾骨，并对该骶骨尾骨进行校正，接下来可以用校正后的骶骨尾骨替换所述目标骨分割结果中的骶骨尾骨。

例如，可以对该骶骨尾骨进行核为[1,1,1]的开运算，以去除该骶骨尾骨中的细碎分布，从而实现对该骶骨尾骨的校正。

可选地，所述方法200还可以包括步骤270及步骤280。

S270，计算所述骨分类结果及所述椎节实例分割结果中各个部分对应的独立连通域的体积；

S280，移除体积不满足预设条件的部分。

例如，可以对所述骨分类结果中的锁骨、胸骨、肩胛骨，依次执行上述S270及S280，并用处理后的锁骨、胸骨、肩胛骨替换所述骨分类结果中的对应骨骼部分。

再例如，也可以对所述椎节实例分割结果中的各个椎节依次执行上述S270及S280，并用处理后的各个椎节替换所述椎节实例分割结果中的对应骨骼部分。

可选地，所述方法200还可以包括步骤290。

S290，根据所述骨分类结果中的胸骨和椎骨确定所述目标骨分割结果中各个骨骼和前后分界面和左右分界面。

其中，所述前后分界面可以用于将所述各个骨骼划分为前后两部分，所述左右分界面可以用于将所述各个骨骼划分为左右两部分。

图3是本申请一个实施例的图像处理的方法300的示意性框图。所述方法300可以由图1中的所述图像处理装置120执行。

应理解，图3示出了方法300的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图3中方法300的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。

S310，移除细碎。

首先，可以获取多个不同的深度学习模型生成的多个骨分割结果。

例如，多个骨分割结果可以包括图4所示的骨6分类掩膜(mask)、图5所示的肋骨12分类掩膜(mask)、图6所示的肋骨实例分割掩膜(mask)、图7所示的椎节实例分割掩膜(mask)、椎节关键点及椎间盘平面。

或者，也可以获取其他模型(例如，其他非深度学习模型)生成的骨分割结果，本申请实施例中对此并不限定。

可选地，对于骨6分类掩膜中的锁骨、胸骨、肩胛骨，可以依次执行下列步骤以移除细碎：

a、计算对应骨骼类别的分割的总体积V0。

b、计算对应类别的独立连通域，并计算各个连通域的体积Vi。

c、对于Vi<0.2*V0的骨骼部分，则可以判定该骨骼部分为独立的细碎分割，在骨6分类掩膜中进行移除。

其中，V0、Vi均为正数。

类似地，对于椎节实例分割掩膜中的各个椎节，可以依次执行上述步骤a～c，以将椎节实例分割掩膜中的独立的细碎分割均移除。

接下来，可以将处理后的锁骨、胸骨、肩胛骨替换原骨6分类掩膜中的对应骨骼分割，得到处理后的骨6分类分割。该处理后的骨6分类分割中已去除三种骨骼碎片，可以记为S1-R1。

类似地，可以将处理后的椎节实例分割记为S1-R2。

S320，计算前后分界面及左右分界面。

例如，可以选取S1-R1中的胸骨和椎骨，计算胸骨分割的中心点C1，取椎骨上半区分割，计算其上半区(相当于原椎骨分割上四分之一区域)中心点C2、下半区(相当于原椎骨分割从上到下第二个四分之一区域)中心点C3。

基于C1，C2，C3三点共面，可以计算左右分割平面lr_plane，即左右分界面。

再例如，可以连接中心点C1及中心点C2，得到线段C1-C3，计算线段C1-C3中靠近C3的0.4分位点C4，计算过点C4且垂直于lr_plane的平面fb_plane，该平面fb_plane就是前后分割平面，也即前后分界面。

需要说明的是，平面fb_plane是通过lr_plane的方向向量或法向量计算得来的，具体的计算算法可以参考现有技术中立体几何的相关内容，这里不再赘述。

通过上述实施例得到的左右分界面和前后分界面具体可以如图8及图9中所示，其中，图8为前方视角，图9为后方视角。

可选地，根据lr_plane和fb_plane，通过平面方程，可以计算空间中任一点与平面的位置关系，输出其前后、左右位置关系。可以以此作为空间任一点的位置判定接口，记为S2-R1。

S330，映射肋骨实例。

在实际中，肋骨实例分割掩膜在分割上与骨6分类掩膜之间存在差异，需要将肋骨实例分割掩膜中的实例信息映射到骨6分类掩膜(中的肋骨分割)上，在映射的过程中还可以校正肋骨实例分割掩膜在肋骨前段容易出现的串色问题。

例如，可以使用不同的实例标号指示肋骨实例分割掩膜中的不同肋骨，通常假设不同肋骨的颜色互不相同，也就是说，可以认为一个实例标号对应一个颜色(即一根肋骨)。

此时，对于肋骨实例分割掩膜中的每一根肋骨，如果该肋骨上出现多个对应不同实例标号的部分，则可以认为该肋骨出现串色问题。

可选地，可以通过下述步骤a～d映射肋骨实例。

a、对肋骨实例分割掩膜进行核为[5,5,5]的膨胀操作(以期将可能存在的同一肋骨上的间断色块连接起来，建立完整的连通关系)，得到膨胀后的肋骨实例S3-R1。

如图10所示，图中的左部分为肋骨实例分割掩膜，右部分为膨胀后的肋骨实例S3-R1。

b、在骨6分类掩膜中的肋骨部分执行连通域操作，体积阈值为50像素体积；将(连通域操作的)结果中的体积按降序排序，对位于上位区的连通域执行核为[1,1,1]的开运算(以期将骨6分类掩膜中常见的肋骨间分割粘连断开，将各个肋骨处理为独立连通域)，并对(开运算的)结果再次执行连通域操作(此时，预期的输出中每个肋骨都处于独立连通域，不存在相邻肋骨由于粘连而位同一连通域的情况)，将结果记为S3-R2，将结果中的第一根肋骨标记为Li(即肋骨的标号信息为Li)，i为正整数。

如图11所示，图中的左部分为骨6分类掩膜中的肋骨部分，右部分为经过步骤b处理后得到的S3-R2。

c、使用S3-R2 mask S3-R1，可以得到映射了肋骨实例信息的分割图像S3-R3。由于肋骨实例(例如，S3-R1)在肋骨前段容易出现串色的情况，将S3-R3按独立的肋骨依次选出(通过S3-R2上的每个独立标号分别mask S3-R3得到)，计算此时独立肋骨上的颜色(标号信息为Li)分布，若只存在一个颜色则实例信息正常，若存在多个颜色，统计每个颜色的体积，设颜色i对应的体积为Vi，体积最大的颜色imax对应的体积为Vmax，对于所有的Vi≤Vmax，将颜色i均置为颜色imax(以去除肋骨上的小标号，小标号可能为串色)，该处理可以记为S3-R4。

可以将标号信息Li与实例信息Ii、位置信息Posi、连通域体积信息Vi之间的映射关系保存并记为S3-R5。

其中，Posi、Vi、Vmax均为正数。

上述步骤c中的mask可以指蒙版操作，即在图像A中只保留图像B的有效区域范围内的图像，其他区域置为背景(可视为A加上了以B为轮廓的滤镜)，该操作可以用B mask A表示。

d、以S3-R4为种子，骨6分类掩膜中的肋骨部分为轨道，进行区域生长操作，将肋骨标号信息填充至整个肋骨部分，得到完整的肋骨标号分割结果，将该结果记为S3-R6。

上述实施例中的膨胀操作、连通域操作、开运算及区域生长操作等形态学操作可以参考现有技术，本申请实施例中不再赘述。

S340，确定肋骨顺序。

在本申请实施例中，还可以对筛选肋骨12分类掩膜的分类信息进行筛选，选取其中置信度最高的分类信息以确定各个肋骨的实际顺序Oi，接下来可以基于肋骨实例信息中的顺序信息推算出肋骨实例信息Ii-肋骨标号信息Li和肋骨实际顺序Oi之间的映射关系，并进行必要的校正。

可选地，可以通过下述步骤a～e确定肋骨顺序。

a、可以将肋骨标号分割结果S3-R6按照S3-R5中肋骨实例信息Ii-肋骨标号信息Li的映射关系进行转换，得到肋骨实例分割结果，将该结果记为S4-R1。

b、依次抽取S4-R1中的每个肋骨实例，将其mask肋骨12分类掩膜(即肋骨的分类分割)中的对应肋骨，得到各个肋骨实例的分类分割，计算该(各个肋骨实例的)分类分割的交叉熵。

c、通过步骤b可以得到所有肋骨实例(的分类分割)的交叉熵，对各个肋骨按体积进行降序排序，取排序前5位的肋骨实例中交叉熵最小(即分类分割一致性最高)的类别信息，得到选定肋骨实例Is和实际类别(或者说实际顺序)Os之间的映射关系(即肋骨实例Is的肋骨对应实际是第几根肋骨)，其中，s为正整数。

d、依照肋骨实例的顺序和选定肋骨实例的实际类别推导出所有肋骨实例的类别。例如：肋骨实例为12-1(由上到下)，假设选定了2号实例，其对应的实际类别为第11肋，因而所有肋骨实例对应着第1-12肋(由上到下)。将该对应关系存储进S3-R5中，并将该对应关系记为S4-R2。

e、由于肋骨12分类掩膜中的分类信息存在一定比例的系统性错误(例如，可能会将1-11肋错误地分类为2-12肋)，需要在输出前对其进行校正。

例如，可以设置如下逻辑：

若肋骨总数≤12且首位肋骨数≠1，则将所有肋骨类别数平移至首位肋骨为第1肋为止。比如：可以将-1～9肋平移为1～11肋。将校正后的结果记为S4-R3。

S350，确定椎骨顺序。

可选地，可以依照选定的肋骨实例Is、肋骨实例分割掩膜及椎节实例分割掩膜之间的对应关系给出所有椎节的类别信息。

可选地，可以通过下述步骤a～b确定椎骨顺序。

a、可以取选定的肋骨实例Is(如图12中的左部分所示)，用该肋骨实例mask椎节实例分割掩膜，得到该肋骨实例共有的椎节(或者说，该肋骨实例对应的椎节，如图12中的右部分所示)，统计该椎节的标号信息，选取其最主要标号作为该椎节的椎节标号，即得到椎节标号和椎节实际顺序之间的对应关系。

例如，得到该肋骨实例共有的椎节标号为13，该椎节对应的肋骨实例标号为3，通过S4-R3得到该肋骨的实际顺序为第3肋，从而可以确定该13号椎节(即该椎节标号为13的椎节)为第3胸椎。

b、可以根据选定的椎节标号及其实际顺序，结合椎节实例分割掩膜中的椎节顺序，推导出所有椎节标号的实际顺序，可以将确定出的所有椎节标号的实际顺序记为S5-R1。

S360，校正逻辑。

可选地，可以对已有的肋骨标号-肋骨实例-肋骨顺序映射关系S4-R3和椎骨标号-椎骨顺序映射关系S5-R1进行校正，合并入骨骼分割(S1-R1)后对肋骨、锁骨、肩胛骨进行左右区分和重新标号。

例如，可以通过下述步骤a～d校正逻辑。

a、在实际的医学影像中，有极少比例含有颈肋，但颈肋不属于第一肋，是在颈椎处长出的较小的类似肋骨的骨骼，并不属于严格意义的1-12肋范畴，由于其形态类似肋骨，容易引发肋骨分割、肋骨实例等结果将其错误地分类为第一肋，进而引发整体肋骨分割分类的系统性错误。

因此，可以对已经分类完成的肋骨信息和椎骨信息进行提取，统计第一肋的体积V1和第一胸椎的体积V42，对于满足V1<0.2*V42的第一肋，可以将其判定为颈肋，此时，可以将肋骨、椎骨的整体顺序信息下移一位(即把原第2肋改为第1肋，原第2胸椎改为第1胸椎，以此类推)。

b、对已经确定顺序的肋骨(例如，S4-R3中的肋骨)，以及S1-R1中的肩胛骨、锁骨，计算其中各点的位置，并根据中心点位置计算其左右分布类别(例如，可以根据S2-R1计算)，依照计算结果及下述表1中预设的标号规则对各部分骨骼进行重新标号。

c、根据椎节标号(例如，椎节实例分割掩膜)及椎节顺序信息(例如，S5-R1)，依照表1中的预设的标号规则对各个椎节进行重标号。

d、将重标号完成的肋骨、椎骨、肩胛骨、锁骨替换原S1-R1中对应的骨骼分割，得到初始骨分割结果，可以将该初始骨分割结果标记为S6-R1。

表1预设的标号规则

S370，骶骨尾骨修复。

由于实际中椎节实例分割掩膜在骶骨尾骨处分割效果往往不佳，直接使用该骶骨尾骨处的分割将影响最终分割结果的效果，因此，可以借助椎节关键点、椎间盘平面及骨6分类分割掩膜中的椎骨进行修复。

例如，可以通过下述步骤a～d进行骶骨尾骨修复。

a、通过S6-R1可以得到第4节腰椎分割，通过椎间盘平面可以得到第4节腰椎下的椎间盘平面的平面信息。

b、将骨6分类掩膜映射至物理空间，根据步骤a所得的平面信息，计算椎骨区域各点距离第4节腰椎下的椎间盘所在平面的距离(distanceMap)，取该距离为负的区域(即位于该椎间盘所在平面下方的区域)，得到该椎间盘所在平面下部分割掩膜，该分割掩膜可以涵盖第5节腰椎及骶骨尾骨的分割。

c、将步骤b所得的分割掩膜，减去S6-R1中第5节腰椎的分割掩膜，随后对其进行核为[1,1,1]的开运算(以去除细碎分布)，得到骶骨尾骨分割，如图13所示。

d、将步骤c得到的结果(即骶骨尾骨分割)合并入S6-R1，得到最终的目标骨分割结果。

图14是本申请一个实施例提供的图像处理的装置1400的示意性框图。应理解，图14示出的装置1400仅是示例，本申请实施例的装置1400还可包括其他模块或单元。

应理解，装置1400能够执行图2及图3的方法中的各个步骤，为了避免重复，此处不再详述。

在本申请一种可能的实现方式中，所述装置包括：

获取单元1410，用于获取初始骨分割结果，所述初始骨分割结果包括多个不同的深度学习模型生成的多个骨分割结果；

融合单元1420，用于基于所述初始骨分割结果中的多个骨分割结果的特点及其之间的对应关系对所述初始骨分割结果进行融合，得到目标骨分割结果。

应理解，这里的图像处理的装置1400以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

作为一个示例，本申请实施例提供的图像处理的装置1400可以是处理器或芯片，以用于执行本申请实施例所述的方法。

图15是本申请一个实施例的图像处理的装置400的示意性框图。图15所示的装置400包括存储器401、处理器402、通信接口403以及总线404。其中，存储器401、处理器402、通信接口403通过总线404实现彼此之间的通信连接。

存储器401可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器401可以存储程序，当存储器401中存储的程序被处理器402执行时，处理器402用于执行本申请实施例的图像处理的方法的各个步骤，例如，可以执行图3及图4所示实施例的各个步骤。

处理器402可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的图像处理的方法。

处理器402还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的图像处理的方法的各个步骤可以通过处理器402中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器402还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成本申请实施例中图像处理的装置包括的单元所需执行的功能，或者，执行本申请方法实施例的图像处理的方法，例如，可以执行图3及图4所示实施例的各个步骤/功能。

通信接口403可以使用但不限于收发器一类的收发装置，来实现装置400与其他设备或通信网络之间的通信。

总线404可以包括在装置400各个部件(例如，存储器401、处理器402、通信接口403)之间传送信息的通路。

应理解，本申请实施例所示的装置400可以是处理器或芯片，以用于执行本申请实施例所述的图像处理的方法。

应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。