一种骨骼点检测方法与系统

技术领域

本申请涉及2D图像检测技术领域，尤其涉及一种骨骼点检测方法与系统。

背景技术

2D骨骼点检测是一种从2D图像中定位人体关节点(人体骨骼点)的检测方式，可应用于动作识别、目标跟踪、虚拟现实等多个领域。通过检测并输出人体关节点，以表征人体的实际位置。

人体骨骼点的表现形式包括坐标表示和heatmap(热图)，其中坐标表示为基于图像数据回归出各个人体骨骼点的位置数据，但通过回归得到的人体骨骼点的位置数据，在拟合效果较差的情况下，精度较低。而通过heatmap提取人体骨骼点的方式，是对于图像数据中每个像素位置进行预测，进而提高骨骼点的提取精度。

但在图像数据中的目标存在遮挡、或连续图像中的目标姿态变化大的情况下，通过heatmap提取人体骨骼点的准确率下降。此外，heatmap可以结合深度卷积网络对人体骨骼点进行提取以提高提取准确率。但在heatmap的基础上结合深度卷积网络的方式仍因图像数据的质量不佳，导致训练成本增加。

发明内容

本申请提供一种骨骼点检测方法与系统，以解决在heatmap的基础上结合深度卷积网络检测骨骼点时，因图像数据质量不佳导致训练成本增加的问题。

第一方面，本申请提供一种骨骼点检测方法，包括：

获取待检测图像，所述待检测图像包括多个待检测目标；

从所述待检测图像中提取检测目标框，所述检测目标框用于表征所述待检测目标；

基于所述检测目标框分割所述待检测图像，以获得待识别图像；

将所述待识别图像输入骨骼点检测模型，以输出所述检测目标框表征的待检测目标的骨骼点坐标；所述骨骼点坐标包括遮挡预测坐标和非遮挡预测坐标；其中，所述骨骼点检测模型在用于模型训练时，设置有多路结构，所述骨骼点检测模型在用于骨骼点检测时，将多路结构等效为单路结构。

在一些可行的实施例中，将所述待识别图像输入骨骼点检测模型之后，还包括：

对所述检测目标框执行预处理，所述预处理包括仿射变换、随机翻转、颜色增强中的至少一个。

在一些可行的实施例中，所述骨骼点检测骨干网络包括多个顺次连接的子网络结构；所述子网络结构中包括至少一个子网络单元；当前子网络结构中的第一子网络单元的数量小于后一级子网络结构中的第二子网络单元的数量；所述后一级子网络结构中，至少一个所述第二子网络单元的卷积分辨率低于所述第一子网络单元。

在一些可行的实施例中，将所述待识别图像输入骨骼点检测模型，还包括：

使用所述第一子网络结构对所述检测目标框执行过渡特征融合，得到过渡特征融合数据；

使用所述第二子网络结构对所述过渡特征融合数据执行目标特征融合得到目标特征融合数据；所述目标特征融合数据中包括遮挡特征融合数据以及非遮挡特征融合数据。

在一些可行的实施例中，所述骨骼点检测骨干网络包括遮挡预测输出端、第一非遮挡预测输出端以及第二非遮挡预测输出端；所述将所述待识别图像输入骨骼点检测模型，还包括：

使用所述遮挡预测输出端基于所述遮挡特征融合数据输出遮挡预测坐标；

使用所述第一非遮挡预测输出端以及第二非遮挡预测输出端基于所述非遮挡特征融合数据输出非遮挡预测坐标；所述第一非遮挡预测输出端用于输出第一方向上的骨骼点坐标，所述第二非遮挡预测输出端用于输出第二方向上的骨骼点坐标；所述骨骼点检测模型输出的骨骼点坐标数量至少为5对。

在一些可行的实施例中，使用所述第一非遮挡预测输出端以及第二非遮挡预测输出端基于所述非遮挡特征融合数据输出非遮挡预测坐标，包括：

基于所述非遮挡特征融合数据，设置缩放因子；

基于所述非遮挡特征融合数据和所述缩放因子，输出第一方向上的骨骼点坐标以及第二方向上的骨骼点坐标。

在一些可行的实施例中，输出所述检测目标框表征的待检测目标的骨骼点坐标，还包括：

保存所述骨骼点坐标；

若下一帧待检测图像中包含遮挡骨骼点，则调用保存的骨骼点坐标；

从保存的骨骼点坐标中提取与所述遮挡骨骼点关联的第一骨骼点和第二骨骼点；所述第一骨骼点与所述第二骨骼点互相邻近；

基于所述第一骨骼点、所述第二骨骼点，以及与所述遮挡骨骼点邻近的第三骨骼点的坐标计算所述遮挡骨骼点的坐标。

第二方面，本申请提供一种骨骼点检测系统，包括：接收模块、提取模块、骨骼点检测模块；

所述接收模块用于获取待检测图像，所述待检测图像包括多个待检测目标；

所述提取模块用于从所述待检测图像中提取检测目标框，所述检测目标框用于表征所述待检测目标；

所述提取模块用于基于所述检测目标框分割所述待检测图像，以获得待识别图像；

所述骨骼点检测模块用于将所述待识别图像输入骨骼点检测模型，以输出所述检测目标框表征的待检测目标的骨骼点坐标；所述骨骼点坐标包括遮挡预测坐标和非遮挡预测坐标；其中，所述骨骼点检测模型在用于模型训练时，设置有多路结构，所述骨骼点检测模型在用于骨骼点检测时，将多路结构等效为单路结构。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

其中，所述存储器存储有可被所述处理器执行的指令，以使所述处理器执行如第一方面所述的方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，包括：所述计算机可读存储介质中包括至少一个计算机指令，所述至少一个计算机指令用于使计算机执行如第一方面中所述的方法的步骤。

由上述技术内容可知，本申请提供一种骨骼点检测方法与系统。所述方法从包含多个待检测目标的待检测图像中提取检测目标框，基于检测目标框分割待检测图像，可以得到待识别图像。待识别图像中包括一个待检测目标，以用于待检测目标的骨骼点检测。将待识别图像输入至骨骼点检测模型，以输出检测目标框表征的待检测目标的骨骼点坐标。其中，在训练骨骼点检测模型时，将骨骼点检测模型设置为多路结构。在使用骨骼点检测模型时，将骨骼点检测模型的多路结构等效为单路结构。通过多路结构提升骨骼点检测模型的训练精度，在使用时将多路结构等效为单路结构，降低骨骼点检测模型的部署难度，提高骨骼点检测模型的适用性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的骨骼点检测方法示意图；

图2为本申请实施例提供的骨骼点检测模型的骨干网络结构图；

图3为本申请实施例提供的骨干网络中RepBlock模块的结构示意图；

图4为本申请实施例提供的骨骼点检测模型输出端结构示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

骨骼点检测是一项从2D图像中定位人体骨骼点的任务，基于骨骼点检测的结果可以输出2D图像中人体骨骼点的坐标，并应用于动作识别、行人跟踪、虚拟现实等多个场景。因此，骨骼点检测的准确度越高，则在各个场景中的应用效果越好。

相关技术中可以通过骨骼点检测模型根据待检测图像中的待检测目标提取骨骼点坐标。骨骼点检测模型可以由大量包括待检测目标的待检测图像进行训练，以得到训练好的骨骼点检测模型。在训练骨骼点检测模型的过程中，可以对数据集中的样本图像执行例如缩放、旋转、颜色抖动等全局图像变换以增强样本图像的丰富度，进而提升骨骼点检测模型的泛化性。

基于全局图像变换处理样本图像的方式有利于提升骨骼点检测模型的泛化性，但在样本图像(待检测图像)中，因待检测目标之间的遮挡现象、待检测目标因自身姿态形成的关节间的遮挡现象导致的图像样本质量低，容易导致模型训练困难。尽管在训练骨骼点检测模型之前，可以采用人工标注样本图像等方式标注遮挡图像，但训练成本较高。

如图1所示，本申请提供一种骨骼点检测方法，以解决上述问题。所述方法包括：

S100：获取待检测图像；

待检测图像包括多个待检测目标，其中，待检测图像可以为预先拍摄好的图像，也可以为实时拍摄的图像。即本申请实施例中的骨骼点检测模型，既可用于提取预先存储图像中待检测目标的骨骼点，也可用于实时拍摄图像中待检测目标的骨骼点。

需要说明的是，本申请实施例可应用于包含多个待检测目标的2D图像检测，并基于包含多个待检测目标的2D图像提取待检测目标的骨骼点。且本申请实施例应用于自上而下的骨骼点检测方式，以降低因人体关节部分重叠、遮挡对骨骼点提取准确度的影响。

S200：从所述待检测图像中提取检测目标框，所述检测目标框用于表征所述待检测目标；

可以理解的是，在提取待检测目标的骨骼点时，需要根据每个待检测目标进行提取，因此在待检测图像中可以预先提取用于表征待检测目标的检测目标框。如何在待检测图像中确定检测目标框不为本申请实施例描述的重点，可采用任意检测目标框提取技术，在此不一一赘述。

S300：基于所述检测目标框分割所述待检测图像，以获得待识别图像；

在一些实施例中，可以基于检测目标框，从待检测图像上crop(裁剪)各个待检测目标，以获得待识别图像。每个待检测图像中可能包含多个待检测目标，而在提取骨骼点时，需要根据单一待检测目标提取与其关联的骨骼点。因此，需要对待检测图像进行分割，即根据检测目标框分割待检测图像，以获得待识别图像。每个待识别图像中包含一个检测目标框，即包含一个待检测目标，可用于骨骼点提取。

S400：将所述待识别图像输入骨骼点检测模型，以输出所述检测目标框表征的待检测目标的骨骼点坐标；

所述骨骼点坐标包括遮挡预测坐标和非遮挡预测坐标；其中，所述骨骼点检测模型在用于模型训练时，设置有多路结构，所述骨骼点检测模型在用于骨骼点检测时，将多路结构等效为单路结构。

遮挡预测坐标指的是存在遮挡现象的骨骼点坐标，非遮挡预测坐标指的是不存在遮挡现象的骨骼点坐标。在一些实施例中，骨骼点检测模型可以直接基于待识别图像输出非遮挡预测坐标，而对于遮挡预测坐标可以进行一定的校正再进行输出，以提高骨骼点检测的准确性。此外，输出遮挡预测坐标也有利于提高多个预测结果之间的连贯性。

在一些实施例中，骨骼点检测模型在训练阶段，可以设置多路结构以提升模型训练精度。并基于结构重参数化的思想，可以在骨骼点检测模型的推理阶段，将多路结构等效为单路结构，提升推理速度。可以理解的是，如果在训练阶段采用单路结构，也可以提升模型的训练速度。此外，也有利于降低对部署骨骼点检测模型的终端设备的内存需求，以提高骨骼点检测模型的适应性。

在一些实施例中，将待识别图像输入骨骼点检测模型之后，还包括对检测目标框执行预处理。所述预处理包括仿射变换、随机翻转、颜色增强中的至少一个。需要说明的是，仿射变换包括缩放和旋转待识别图像，以使得图像尺寸符合骨骼点检测模型需求，例如经过放射变换后，待识别图像的尺寸调整为(1，3，256，192)其中，1为当前输入的样本数量为1，3为待识别图像的输入通道数量，(256，192)为待识别图像的高和宽。

而随机翻转、颜色增强用于在训练骨骼点检测模型时，起到数据增强的作用，以抵抗图像的全局变形现象。需要说明的是，在训练骨骼点检测模型时，可以制作部分遮挡样本，并通过设置标签以区分遮挡样本和非遮挡样本。例如，将样本图像中遮挡且未标注坐标的骨骼点设为0，将遮挡且标注坐标的骨骼点设为1。进而提升样本的丰富度，以提升骨骼点检测模型的泛化性。

对待识别图像进行预处理后，即可由骨骼点检测模型的骨干网络根据待识别图像提取待检测目标的骨骼点。如图2所示，骨骼点检测模型的骨干网络由HRNet网络(High-Resolution Net，高分辨率网络)为主体，所述骨骼点检测骨干网络包括多个顺次连接的子网络结构；所述子网络结构中包括至少一个子网络单元；当前子网络结构中的第一子网络单元的数量小于后一级子网络结构中的第二子网络单元的数量；所述后一级子网络结构中，至少一个所述第二子网络单元的卷积分辨率低于所述第一子网络单元。

在一些实施例中，将骨干网络划分为4部分stage结构(图上所示的stage1，stage2，stage3，stage4)，即4个子网络结构。子网络单元指的是子网络结构中的RepBlock模块(Replicate Elements of Vectors and Lists Block，复制向量和列表元素模块)。骨干网络整体始于一组高分辨率卷积，然后逐步添加低分辨率的卷积分支，并将卷积分支以并行的方式连接。通过在每个stage中重复进行多尺度融合，使得每个从高到低的分辨率表征反复接收来自其它并行表征的信息，从而产生丰富的高分辨率表征，以提升骨骼点检测的准确率。

需要说明的是，与相关技术中的HRNet模型相比，本申请实施例中将原始模型进行裁剪，以解决因HRNet模型参数量大，易导致运行效率低、不利于部署在终端设备上的问题。例如，将Stage2中两个子网络单元中的Repblock模块数量分别设置为1、4；将Stage3中三个子网络单元中的Repblock模块数量分别设置为1、1、4；将Stage4中四个子网络单元中的Repblock模块数量分别设置为1、1、1、4。进而通过减少Repblock模块数量的方式减少HRNet模型的参数量，以有利于将骨骼点检测模型部署在终端设备上。

如图3所示，在所述实施例中，Repblock模块在训练骨骼点检测模型时，设置为由多个3×3的卷积核与1×1的卷积核堆叠得到的模块，其中3×3的卷积核作为主干结构，1×1的卷积核作为分支结构。以通过较长的训练时间增强模型的训练效果。并且，基于Repblock模块的结构特征，可以结合结构重参数化思想，在使用训练好的骨骼点检测模型时，如图4所示，将3×3的卷积核与关联的1×1的卷积核的计算结果，等效为3×3的卷积结构，形成多路结构到单路结构的转化。进而在模型训练时，采用多路结构以获得更好的模型训练效果，在模型使用时，采用单路结构以降低对终端设备的内存需求，提升模型推理速度。

如图2所示，使用骨骼点检测模型提取骨骼点时，在多个子网络结构中分别对待识别图像执行重复的多尺度融合，以融合并行输入的待识别图像在多种分辨率下的表征，进而提高骨骼点检测的准确率。即所述将所述待识别图像输入骨骼点检测模型，还包括：

使用所述第一子网络结构对所述检测目标框执行过渡特征融合，得到过渡特征融合数据；

使用所述第二子网络结构对所述过渡特征融合数据执行目标特征融合得到目标特征融合数据；

需要说明的是，为了便于描述本申请的技术方案对多种分辨率下的待识别图像特征的融合过程，以第一子网络结构和第二子网络结构进行描述。并非指骨骼点检测模型的骨干网络中只包括第一子网络结构和第二子网络结构两部分。

在一些实施例中，如图2所示，骨骼点检测模型包括stage1、stage2、stage3、stage4四部分。以stage2至stage4的特征融合过程为例对特征融合过程进行描述。Stage2中设置有两个子网络单元RepBlock×1(H/4,W/4,C1/8)，RepBlock×4(H/8,W/8,C1/4)，以及两个add模块以用于融合RepBlock×1(H/4,W/4,C1/8)与RepBlock×4(H/8,W/8,C1/4)中的数据特征。经过add模块融合后可得到过渡特征融合数据，并输入至stage3中。

stage3中相比于stage2添加有新的卷积分支，新的卷积分支的分辨率低于RepBlock×4(H/8,W/8,C1/4)的分辨率，例如可以设置为RepBlock×4(H/16,W/16,C1/2)。stage3中还设置有三个add模块以用于融合三个卷积分支中的数据特征，进而经过计算继续得到过渡特征融合数据。

stage4相比于stage3仍添加有新的卷积分支，新的卷积分支的分辨率低于RepBlock×4(H/16,W/16,C1/2)的分辨率，例如可以设置为RepBlock×4(H/32,W/32,C1)。stage4中还设置有四个add模块以用于融合四个卷积分支中的数据特征。如图2所示，可以将stage4中经过多次多尺度融合的数据作为最终输出的数据，并用于骨骼点检测，即目标特征融合数据。

其中，在stage3、stage4中设置新的分辨率较低的卷积分支相当于下采样的过程，以从待识别图像中提取更多的特征，同时滤除非必要特征，以增强特征的提取能力进而获得更好的特征融合效果。有利于提升骨骼点检测的准确率。

目标特征融合数据包括遮挡特征融合数据和非遮挡特征融合数据。在一些实施例中，所述骨骼点检测骨干网络包括遮挡预测输出端、第一非遮挡预测输出端以及第二非遮挡预测输出端；所述将所述待识别图像输入骨骼点检测模型，还包括：

使用所述遮挡预测输出端基于所述遮挡特征融合数据输出遮挡预测坐标；

使用所述第一非遮挡预测输出端以及第二非遮挡预测输出端基于所述非遮挡特征融合数据输出非遮挡预测坐标；所述第一非遮挡预测输出端用于输出第一方向上的骨骼点坐标，所述第二非遮挡预测输出端用于输出第二方向上的骨骼点坐标；所述骨骼点检测模型输出的骨骼点坐标数量至少为5对。

可以理解的是，在本申请实施例中对于遮挡骨骼点的预测坐标与非遮挡骨骼点的预测坐标通过不同结构的输出端输出。因此，在输出骨骼点的预测坐标前还包括对骨骼点是否存在遮挡现象的判断。在一些实施例中，可以通过设置遮挡阈值的方式，判断骨骼点是否存在被遮挡的现象。

例如将遮挡阈值设置为0.6，即当骨骼点坐标对应的遮挡阈值大于0.6时，判定当前骨骼点被遮挡，进而通过遮挡预测输出端输出当前骨骼点的坐标。当骨骼点坐标对应的遮挡阈值小于或等于0.6时，判定当前骨骼点未被遮挡，进而通过非遮挡预测输出端输出当前骨骼点的坐标。

沿用上述实施例，可以理解的是，stage4输出的目标特征融合数据与骨骼点检测模型的预测输出端连接，以输出从待识别图像中提取的骨骼点坐标。其中，第一非遮挡预测输出端以及第二非遮挡预测输出端均基于stage4的四个不同尺度的卷积分支输出的特征数据，输出待识别图像在第一方向以及第二方向上的骨骼点坐标，其中，第一方向以及第二方向可以指的是基于待识别图像建立的笛卡尔坐标系上的x轴方向与y轴方向。

需要说明的是，stage4的四个不同尺度的卷积分支输出的特征数据(特征图)，还需由一个add模块进行融合得到热图，所述热图即目标特征融合数据。并设置一个用于输出非遮挡预测坐标的卷积层，所述卷积层的分辨率为待识别图像的初始分辨率的四分之一。新设置的卷积层的卷积核的数量至少为5，即表示新设置的卷积层输出的骨骼点坐标的数量至少为5对。在一些实施例中，如图4所示，新设置的卷积层的卷积核的数量可以设置为17，以表示骨骼点检测模型可输出的骨骼点坐标为17对。

如图4所示，第一非遮挡预测输出端以及第二非遮挡预测输出端均与新设置的卷积层连接，分别为两个轻量的全连接层(FC1，FC2)，以根据由四个不同尺度的卷积分支输出的特征图融合得到的热图输出非遮挡骨骼点坐标。即所述使用所述第一非遮挡预测输出端以及第二非遮挡预测输出端基于所述非遮挡特征融合数据输出非遮挡预测坐标，包括：

基于所述非遮挡特征融合数据，设置缩放因子；

基于所述非遮挡特征融合数据和所述缩放因子，输出第一方向上的骨骼点坐标以及第二方向上的骨骼点坐标。

设置缩放因子可以将热图中的每个像素均匀划分为多个bins，bin表示与像素关联的颜色空间划分呈的颜色区间。bin的数量越多，则表示对颜色的分辨率越强。通过设置缩放因子，可以在待识别图像的编码过程中将定位精度增强到比单个像素更小的级别，进而降低量化误差，形成更高效的表征方式。

在编码过程中设置缩放因子，在解码过程中也需要基于缩放因子对图像进行解码以输出骨骼点坐标。且设置缩放因子的方式，适用于骨骼点检测模型的训练过程以及推理过程。可以理解的是，在骨骼点检测模型的训练过程中，可以基于MSE(Mean SquaredError，均方误差)作为损失函数对非遮挡预测输出部分进行迭代训练。

在本申请实施例中，遮挡预测坐标与非遮挡预测坐标的输出方式不同。在一些实施例中，遮挡预测坐标基于stage4中输出的四个尺度不同的特征图中分辨率最低的特征图得到。遮挡预测端包括全局平均池化层和全连接层，全局平均池化层用于将特征图的所有像素值相加求取平均值，并以平均值表征特征图，以进行遮挡骨骼点的遮挡预测。例如，特征图的大小为(1，256，8，6)，经过全局平均池化层处理后，特征图的大小为(1，256，1，1)。基于经过全局平均池化层处理后的特征图，再使用全连接层根据特征图输出骨骼点的遮挡预测坐标。

全局平均池化层通过求取特征图内像素的平均值，可以减少参数数量以及计算量，进而有效缓解过拟合现象。此外，全局平均池化层求取特征图内像素的平均值的方式，涉及对空间信息进行求和，进而在适应特征图产生空间变化的场景时，具有更强的鲁棒性。

在骨骼点检测模型的训练过程中，可以通过计算遮挡预测结果的交叉熵作为损失函数对遮挡预测输出部分进行迭代训练。在使用骨骼点检测模型的推理过程中，以提取实时连续图像中待检测目标的骨骼点的应用场景为例，输入至骨骼点检测模型的待识别图像具有连续性，即可以保存当前待识别图像中未遮挡的骨骼点坐标，以用于其它帧图像中遮挡的骨骼点坐标的校正。即所述输出所述检测目标框表征的待检测目标的骨骼点坐标，还包括：

保存所述骨骼点坐标；

若下一帧待检测图像中包含遮挡骨骼点，则调用保存的骨骼点坐标；

从保存的骨骼点坐标中提取与所述遮挡骨骼点关联的第一骨骼点和第二骨骼点；所述第一骨骼点与所述第二骨骼点互相邻近；

基于所述第一骨骼点、所述第二骨骼点，以及与所述遮挡骨骼点邻近的第三骨骼点的坐标计算所述遮挡骨骼点的坐标。

遮挡骨骼点坐标因其在待检测图像中被遮挡的原因，容易导致预测准确率较低。因此，可以根据已经保存的未遮挡的骨骼点坐标对遮挡的骨骼点坐标进行校正。在一些实施例中，骨骼点检测模型从当前待检测图像中提取的骨骼点均为未遮挡状态，在当前待检测图像的下一帧图像中，因待检测目标的姿态发生变化导致部分骨骼点被遮挡，骨骼点检测模型输出遮挡骨骼点的预测坐标。

针对于遮挡骨骼点的预测坐标，骨骼点检测模型可以从当前待检测图像输出的骨骼点坐标中，提取与下一帧图像中被遮挡骨骼点关联的第一骨骼点和第二骨骼点，并获取第一骨骼点坐标与第二骨骼点坐标。当第一骨骼点与遮挡骨骼点为对应关系、第二骨骼点与第三骨骼点为对应关系时，可以通过计算第二骨骼点与第三骨骼点的变换角度、距离作为校正参数，进而在第一骨骼点的基础上结合校正参数对遮挡骨骼点的坐标进行校正。

可以理解的是，本申请实施例中着重于骨骼点检测模型可以基于已保存的未遮挡的骨骼点预测坐标，对遮挡骨骼点预测坐标进行校正的思想，而并不对遮挡骨骼点预测坐标校正的具体方法进行限定。通过对遮挡骨骼点预测坐标进行校正，有利于提高遮挡骨骼点的预测准确率。

在一些实施例中，本申请提供一种骨骼点检测系统，包括：接收模块、提取模块、骨骼点检测模块；

所述接收模块用于获取待检测图像，所述待检测图像包括多个待检测目标；

所述提取模块用于从所述待检测图像中提取检测目标框，所述检测目标框用于表征所述待检测目标；

所述提取模块用于基于所述检测目标框分割所述待检测图像，以获得待识别图像；

所述骨骼点检测模块用于将所述待识别图像输入骨骼点检测模型，以输出所述检测目标框表征的待检测目标的骨骼点坐标；所述骨骼点坐标包括遮挡预测坐标和非遮挡预测坐标；其中，所述骨骼点检测模型在用于模型训练时，设置有多路结构，所述骨骼点检测模型在用于骨骼点检测时，将多路结构等效为单路结构。

在一些实施例中，本申请提供一种电子设备，所述电子设备包括处理器、以及与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，以使所述处理器执行如方法类实施例中所述的方法的步骤。

在一些实施例中，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中包括至少一个计算机指令，所述至少一个计算机指令用于使计算机执行如方法类实施例中所述的方法的步骤。

由上述技术内容可知，本申请提供一种骨骼点检测方法与系统。所述方法从包含多个待检测目标的待检测图像中提取检测目标框，基于检测目标框分割待检测图像，可以得到待识别图像。待识别图像中包括一个待检测目标，以用于待检测目标的骨骼点检测。将待识别图像输入至骨骼点检测模型，以输出检测目标框表征的待检测目标的骨骼点坐标。其中，在训练骨骼点检测模型时，将骨骼点检测模型设置为多路结构。在使用骨骼点检测模型时，将骨骼点检测模型的多路结构等效为单路结构。通过多路结构提升骨骼点检测模型的训练精度，在使用时将多路结构等效为单路结构，降低骨骼点检测模型的部署难度，提高骨骼点检测模型的适用性。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。