掌桥专利:专业的专利平台
掌桥专利
首页

动作比对方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:19:16


动作比对方法、装置、电子设备及存储介质

技术领域

本公开涉及人机交互技术领域,具体而言,涉及一种动作比对方法、装置、电子设备及存储介质。

背景技术

随着生活水平的提高,越来越多的用户会对其他用户所做的动作进行模仿,以提高用户自身的身体素质,丰富生活内容。比如,在健身场景中,用户可以根据现实中教练或视频中教练所做的动作进行身体锻炼;在舞蹈场景中,用户可以对现实中舞蹈老师或视频中舞蹈老师所做的动作进行模仿,学习舞蹈老师的舞蹈动作。可知,用户对动作的模仿准确程度与用户的训练结果息息相关,但是目前对用户动作模仿准确度的评判较为主观,无法客观准确地评判用户动作模仿准确度。

发明内容

有鉴于此,本公开至少提供一种动作比对方法、装置、电子设备及存储介质。

第一方面,本公开提供了一种动作比对方法,包括:

获取第一用户的第一待检测图像,以及第二用户的第二待检测图像;所述第一用户为进行动作指导的用户,所述第二用户为接受动作指导的用户;

获取所述第一用户执行动作的动作类型;

基于与所述动作类型对应的人体关键点信息,提取所述第一待检测图像中与所述人体关键点信息匹配的第一关键点位置信息,以及所述第二待检测图像中与所述人体关键点信息匹配的第二关键点位置信息;

基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

上述方法中,通过获取第一用户执行动作的动作类型,基于动作类型对应的人体关键点信息,从第一待检测图像中提取第一用户的第一关键点位置信息、和从获取的第二待检测图像中提取第二用户的第二关键点位置信息,并基于第一关键点位置信息和第二关键点位置信息,确定第二用户与第一用户之间的第一动作匹配程度信息,可以对第二用户的动作与第一用户的动作之间的匹配程度进行直观了解,使得第二用户可以基于第一匹配程度信息调整所执行的动作,提高第二用户执行动作的准确度,完成对第二用户的动作指导。

一种可能的实施方式中,所述获取所述第一用户执行动作的动作类型,包括:

基于所述第一待检测图像,获取所述第一用户执行动作的动作类型;和/或,

基于获取的指示信息,得到所述第一用户执行动作的动作类型,其中,所述指示信息包括文字信息、语音信息、图像信息中的至少一种。

一种可能的实施方式中,所述第一动作匹配程度信息包括重合度信息;所述基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息,包括:

基于所述第一关键点位置信息,确定所述第一关键点位置信息对应的第一目标区域的位置信息;以及基于所述第二关键点位置信息,确定所述第二关键点位置信息对应的第二目标区域的位置信息;

基于所述第一目标区域的位置信息和所述第二目标区域的位置信息,确定所述第一目标区域和所述第二目标区域之间的重合面积;

基于所述重合面积和所述第一目标区域的面积,确定所述重合度信息。

考虑到用户在执行动作后,该动作对应的支点(用户的关键点)处于一个固定区域内,比如下蹲动作,用户屈膝下蹲后,膝部关键点位于特定区域内,故确定第一动作匹配程度信息可以包括重合度信息。具体的,基于第一关键点位置信息,确定第一关键点位置信息对应的第一目标区域的位置信息,以及基于第二关键点信息,确定第二关键点信息对应的第二目标区域的位置信息;并基于第一目标区域的位置信息和第二目标区域的位置信息,确定第一目标区域和第二目标区域之间的重合面积,基于重合面积和第一目标区域的面积,确定重合度信息;进而可以利用重合度信息,判断第二用户的动作与第一用户的动作之间的匹配程度。

一种可能的实施方式中,所述第一动作匹配程度信息包括角度差信息,所述基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度,包括:

基于所述第一关键点位置信息,确定所述第一用户的第一肢体弯曲角度;以及基于所述第二关键点位置信息,确定所述第二用户的第二肢体弯曲角度;

确定所述第二肢体弯曲角度与所述第一肢体弯曲角度之间的角度差信息。

考虑到用户在执行动作后,执行该动作的肢体之间存在角度信息,比如下蹲动作,用户屈膝下蹲后,用户的大腿与小腿之间存在弯曲的角度信息,故确定第一动作匹配程度信息可以包括角度差信息。具体的,可以基于第一关键点位置信息,确定第一用户的第一肢体弯曲角度;以及基于第二关键点位置信息,确定第二用户的第二肢体弯曲角度;再确定第二肢体弯曲角度与第一肢体弯曲角度之间的角度差信息,进而可以利用第二肢体弯曲角度与第一肢体弯曲角度之间的角度差信息,判断第二用户的动作与第一用户的动作之间的匹配程度。

一种可能的实施方式中,所述基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息,包括:

基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第一用户与所述第二用户的目标肢体的长度比例;所述目标肢体为与所述动作类型匹配的肢体;

基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息,包括:

利用确定的所述目标肢体的长度比例调整所述第二关键点位置信息,其中,调整后的第二关键点位置信息指示的所述第二用户的目标肢体的长度与所述第一用户的目标肢体的长度相同;

基于所述第一关键点位置信息和调整后的所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

这里,可以利用确定的目标肢体的长度比例,对第二用户的第二关键点位置信息进行调整,使得调整后的第二关键点位置信息指示的第二用户的目标肢体的长度与第一用户的目标肢体的长度相同;进而可以基于第一关键点位置信息和调整后的第二关键点位置信息,较准确的确定第二用户与第一用户之间的第一动作匹配程度信息。比如在下蹲动作,可以确定第一用户与第二用户的小腿的长度比例,利用确定的小腿的长度比例,调整第二用户的膝部关键点的位置信息,在利用调整后的第二用户的膝部关键点的位置信息和第一用户的膝部关键点的位置信息,可以较准确的确定膝部关键点对应的重合度信息。

一种可能的实施方式中,所述方法还包括:

基于与所述动作类型对应的人体轮廓点信息,提取所述第一待检测图像中与所述人体轮廓点信息匹配的第一轮廓点位置信息,以及所述第二待检测图像中与所述人体轮廓点信息匹配的第二轮廓点位置信息;

基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

考虑到用户的多个关键点可能存在抖动、被遮挡等情况,为了较准确的确定第二用户的动作与第一用户的动作之间的匹配程度,可以基于与动作类型对应的人体轮廓点信息,从第一待检测图像中提取第一用户的第一轮廓点信息、和从第二待检测图像中提取第二用户的第二轮廓点信息;再基于第一轮廓点位置信息和第二轮廓点位置信息,确定第二用户与第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息,包括:

基于所述第一轮廓点位置信息,确定与所述第一轮廓点位置信息对应的第一曲线的第一曲线位置信息,以及基于所述第二轮廓点位置信息,确定与所述第二轮廓点位置信息对应的第二曲线的第二曲线位置信息;

基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息,包括:

基于所述第一曲线位置信息,确定包含所述第一曲线的第三目标区域的位置信息;

基于所述第二曲线位置信息和所述第三目标区域的位置信息,确定所述第二曲线中位于所述第三目标区域内的第一长度和所述第二曲线的总长度;

基于所述第一长度和所述总长度,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

考虑到用户在执行动作之后,执行动作的肢体的轮廓线可以位于特定区域内。故上述实施方式中,可以基于第二曲线位置信息、和确定的包含第一曲线的第三目标区域的位置信息,确定第二曲线中位于第三目标区域内的第一长度和第二曲线的总长度;再基于第一长度和总长度,确定第二用户与第一用户之间的第二动作匹配程度信息,利用第一长度和总长度的比例,确定第二用户的动作与第一用户的动作之间的匹配程度。

一种可能的实施方式中,所述方法还包括:

基于所述第一动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第一指导信息;

通过电子设备输出所述第一动作匹配程度信息和所述第一指导信息。

采用上述方法,可以基于第一动作匹配程度信息,生成用于对第二用户所做动作进行指导的第一指导信息,并通过电子设备输出的第一动作匹配程度信息和第一指导信息,通过输出的第一动作匹配程度信息使得第二用户可以对所做动作的匹配程度有明确认知,并可以按照第一指导信息的指示调整第二用户所做动作,使得第二用户所做动作与第一用户所做动作较为一致。

一种可能的实施方式中,所述方法还包括:

基于所述第一动作匹配程度信息和所述第二动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第二指导信息;

通过电子设备输出所述第一动作匹配程度信息、第二动作匹配程度信息、和所述第二指导信息。

这里,基于第一动作动作匹配程度信息和第二动作匹配程度信息,能够生成较准确、较详细的第二指导信息,通过电子设备输出的第一动作匹配程度信息、第二动作匹配程度信息、和第二指导信息,使得第二用户可以对所做动作存在明确认知,并使得第二用户可以较准确的确定动作的调整方向,使得调整后的动作与第一用户的动作较为一致。

以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。

第二方面,本公开提供了一种动作比对装置,包括:

获取模块,用于获取第一用户的第一待检测图像,以及第二用户的第二待检测图像;所述第一用户为进行动作指导的用户,所述第二用户为接受动作指导的用户;

第一确定模块,用于获取所述第一用户执行动作的动作类型;

提取模块,用于基于与所述动作类型对应的人体关键点信息,提取所述第一待检测图像中与所述人体关键点信息匹配的第一关键点位置信息,以及所述第二待检测图像中与所述人体关键点信息匹配的第二关键点位置信息;

第二确定模块,用于基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述第一确定模块,在获取所述第一用户执行动作的动作类型时,用于:

基于所述第一待检测图像,获取所述第一用户执行动作的动作类型;和/或,

基于获取的指示信息,得到所述第一用户执行动作的动作类型,其中,所述指示信息包括文字信息、语音信息、图像信息中的至少一种。

一种可能的实施方式中,所述第一动作匹配程度信息包括重合度信息;所述第二确定模块,在基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息时,用于:

基于所述第一关键点位置信息,确定所述第一关键点位置信息对应的第一目标区域的位置信息;以及基于所述第二关键点位置信息,确定所述第二关键点位置信息对应的第二目标区域的位置信息;

基于所述第一目标区域的位置信息和所述第二目标区域的位置信息,确定所述第一目标区域和所述第二目标区域之间的重合面积;

基于所述重合面积和所述第一目标区域的面积,确定所述重合度信息。

一种可能的实施方式中,所述第一动作匹配程度信息包括角度差信息,所述第二确定模块,在基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度时,用于:

基于所述第一关键点位置信息,确定所述第一用户的第一肢体弯曲角度;以及基于所述第二关键点位置信息,确定所述第二用户的第二肢体弯曲角度;

确定所述第二肢体弯曲角度与所述第一肢体弯曲角度之间的角度差信息。

一种可能的实施方式中,所述第二确定模块,在基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息时,用于:

基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第一用户与所述第二用户的目标肢体的长度比例;所述目标肢体为与所述动作类型匹配的肢体;

基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述第二确定模块,在基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息时,用于:

利用确定的所述目标肢体的长度比例调整所述第二关键点位置信息,其中,调整后的第二关键点位置信息指示的所述第二用户的目标肢体的长度与所述第一用户的目标肢体的长度相同;

基于所述第一关键点位置信息和调整后的所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述装置还包括:第三确定模块,用于:

基于与所述动作类型对应的人体轮廓点信息,提取所述第一待检测图像中与所述人体轮廓点信息匹配的第一轮廓点位置信息,以及所述第二待检测图像中与所述人体轮廓点信息匹配的第二轮廓点位置信息;

基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述第三确定模块,在基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息时,用于:

基于所述第一轮廓点位置信息,确定与所述第一轮廓点位置信息对应的第一曲线的第一曲线位置信息,以及基于所述第二轮廓点位置信息,确定与所述第二轮廓点位置信息对应的第二曲线的第二曲线位置信息;

基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述第三确定模块,在基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息时,用于:

基于所述第一曲线位置信息,确定包含所述第一曲线的第三目标区域的位置信息;

基于所述第二曲线位置信息和所述第三目标区域的位置信息,确定所述第二曲线中位于所述第三目标区域内的第一长度和所述第二曲线的总长度;

基于所述第一长度和所述总长度,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述装置还包括:第一显示模块,用于:

基于所述第一动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第一指导信息;

通过电子设备输出所述第一动作匹配程度信息和所述第一指导信息。

一种可能的实施方式中,所述装置还包括:第二显示模块,用于:

基于所述第一动作匹配程度信息和所述第二动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第二指导信息;

通过电子设备输出所述第一动作匹配程度信息、第二动作匹配程度信息、和所述第二指导信息。

第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的动作比对方法的步骤。

第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的动作比对方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种动作比对方法的流程示意图;

图2示出了本公开实施例所提供的一种动作比对方法中,用户的多个关键点的位置信息的示意图;

图3示出了本公开实施例所提供的一种动作比对方法中,第二用户的肢体图像的示意图;

图4示出了本公开实施例所提供的一种动作比对方法中,确定的用户的肢体轮廓点位置信息;

图5示出了本公开实施例所提供的一种动作比对方法中,第一用户的肢体图像的示意图;

图6示出了本公开实施例所提供的一种动作比对方法中,电子设备的显示界面的界面示意图;

图7示出了本公开实施例所提供的一种动作比对装置的架构示意图;

图8示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

考虑到用户对动作的模仿准确程度与用户的训练结果息息相关,但是目前对用户动作模仿准确度的评判较为主观,无法客观准确地评判用户动作模仿准确度。为了较准确的对用户所做动作进行指导,本公开实施例提供了一种动作比对方法。

针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种动作比对方法进行详细介绍。本公开实施例所提供的动作比对方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该动作比对方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例所提供的动作比对方法的流程示意图,该方法包括S101-S104,其中:

S101,获取第一用户的第一待检测图像,以及第二用户的第二待检测图像;所述第一用户为进行动作指导的用户,所述第二用户为接受动作指导的用户;

S102,获取所述第一用户执行动作的动作类型;

S103,基于与所述动作类型对应的人体关键点信息,提取所述第一待检测图像中与所述人体关键点信息匹配的第一关键点位置信息,以及所述第二待检测图像中与所述人体关键点信息匹配的第二关键点位置信息;

S104,基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

上述方法中,通过获取第一用户执行动作的动作类型,基于动作类型对应的人体关键点信息,从第一待检测图像中提取第一用户的第一关键点位置信息、和从获取的第二待检测图像中提取第二用户的第二关键点位置信息,并基于第一关键点位置信息和第二关键点位置信息,确定第二用户与第一用户之间的第一动作匹配程度信息,可以对第二用户的动作与第一用户的动作之间的匹配程度进行直观了解,使得第二用户可以基于第一匹配程度信息调整所执行的动作,提高第二用户执行动作的准确度,完成对第二用户的动作指导。

下述对S101-S104进行详细说明。

针对S101:

以健身场景为例,具体实施时,第二用户可以在现实场景中模仿第一用户的动作,并获取现实场景中的第一用户的第一待检测图像,和第二用户的第二待检测图像;或者,第二用户也可以模仿健身视频中第一用户的动作,并获取现实场景中第二用户的第二待检测图像,和从健身视频中获取第一用户的第一待检测图像。

在实际应用过程中,第一用户指的可以是健身教练、舞蹈老师等用于为第二用户提供教学指导的人物或是虚拟影像;第二用户指的可以是学生等用于模仿第一用户执行动作的人物,即第二用户可以为需要进行动作指导的任一用户。其中,该动作比对方法可以应用于任一需要进行动作指导的场景中,比如,还可以为舞蹈教学场景等。

针对S102:

在获取了第一用户的第一待检测图像之后,可以得到第一用户执行动作的动作类型。其中,动作类型可以为预先设置的任一动作类型,且动作类型可以根据需要进行设置。比如,该动作类型可以为下蹲、开合跳等,或者,也可以将舞蹈动作进行拆解,该动作类型可以为第一动作类型、第二动作类型。

一种可选实施方式中,获取第一用户执行动作的动作类型,包括:基于第一待检测图像,获取第一用户执行动作的动作类型;和/或,基于获取的指示信息,得到第一用户执行动作的动作类型,其中,指示信息包括文字信息、语音信息、图像信息中的至少一种。

示例性的,可以使用训练后的用于动作识别的第一神经网络,对第一待检测图像进行识别,确定第一用户执行动作的动作类型。可以根据下述步骤训练第一神经网络:获取携带有标签数据的训练样本,该标签数据可以包括该训练样本中包括的用户的动作标签、用户肢体信息等;将携带有标签数据的训练样本输入至待训练的第一神经网络中,对待训练的第一神经网络进行多轮迭代,直至训练后的第一神经网络的准确度大于设置的阈值,得到训练后的第一神经网络。

指示信息可以为任一指导第二用户的动作的指令,该指示信息的类型可以根据实际需要进行确定。比如,该指示信息可以为图像信息、文字信息、语音信息等。在该指示信息可以为语音信息时,该语音信息可以为“对第二用户的比心动作进行模仿”,则获取到第一用户执行动作的动作类型的比心。或者,该指示信息可以为文字信息,该文字信息可以为“请模仿第一待检测图像中的下蹲动作”则获取到第一用户执行动作的动作类型为下蹲。需要说明的是,对于指示信息的内容,可以包括但不限于上述例举的情况,具体可以是引导用户模仿或是完成某一个或是某一系列的动作。

针对S103:

考虑到不同动作类型会引发肢体执行不同动作,因此,不同动作类型会对应相同或是不同的人体关键点信息,在确定了第一用户执行动作的动作类型之后,可以利用预先设置的动作类型与人体关键点信息之间的映射关系,确定与第一用户执行动作的动作类型对应的人体关键点信息。再可以基于与动作类型对应的人体关键点信息,提取第一待检测图像中与人体关键点信息匹配的第一关键点位置信息,以及提取第二待检测图像中与人体关键点信息匹配的第二关键点位置信息。比如,若动作类型为侧身屈肘的动作类型,则确定与该动作类型对应的人体关键点信息可以包括肩部关键点、手肘关键点和手腕关键点。当然,还可以包括膝部关键点和脚部关键点。

具体实施时,可以利用训练后的第二神经网络,分别对第一待检测图像和第二待检测图像进行肢体检测,确定第一用户的第一肢体检测信息和第二用户的第二肢体检测信息,其中,肢体检测信息中可以包括用户的多个关键点的位置信息。肢体检测信息中包括的关键点的数量和位置可以根据需要进行设置,比如,参见图2所示的一种动作比对方法中,用户的多个关键点的位置信息的示意图,图2中包括头部关键点0、颈部关键点1、左肩关键点2、右肩关键点3、左肘关键点4、右肘关键点5、左手腕关键点6、右手腕关键点7、左胯关键点8、右胯关键点9、左膝关键点10、右膝关键点11、左脚关键点12、右脚关键点13。

进而,在确定了第一用户的第一肢体检测信息和第二用户的第二肢体检测信息之后,可以从第一肢体检测信息中提取与人体关键点信息匹配的第一关键点位置信息,以及从第二肢体检测信息中提取与人体关键点信息匹配的第二关键点位置信息。

针对S104:

这里,可以基于第一关键点位置信息和第二关键点位置信息,确定第二用户与第一用户之间的第一动作匹配程度信息。

一种可选实施方式中,所述第一动作匹配程度信息包括重合度信息;基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息,包括:

步骤一、基于所述第一关键点位置信息,确定所述第一关键点位置信息对应的第一目标区域的位置信息;以及基于所述第二关键点位置信息,确定所述第二关键点位置信息对应的第二目标区域的位置信息;

步骤二、基于所述第一目标区域的位置信息和所述第二目标区域的位置信息,确定所述第一目标区域和所述第二目标区域之间的重合面积;

步骤三、基于所述重合面积和所述第一目标区域的面积,确定所述重合度信息。

这里,在第一动作匹配程度信息包括重合度信息时,第一关键点和第二关键点可以为动作的支点,比如,在动作类型为侧身屈膝时,计算重合度信息时,第一关键点可以为第一用户的左肘关键点(或右肘关键点)和左膝关键点(或右膝关键点)。

具体实施时,可以以第一关键点位置信息为中心,以设置的形状和/或尺寸信息,确定第一关键点位置信息对应的第一目标区域、以及确定第一目标区域的位置信息。比如,设置的形状为圆形,设置的尺寸信息为半径,则可以以第一关键点位置信息为圆心,以设置的半径,确定第一关键点位置信息对应的第一目标区域的位置信息。其中,第二目标区域的位置信息的确定过程与第一目标区域的位置信息的确定过程相同。即第一目标区域和第二目标区域的形状和尺寸相同。

再可以基于第一目标区域的位置信息和第二目标区域的位置信息,确定第一目标区域和第二目标区域之间的重合面积。并将该重合面积的值与第一目标区域的面积(或第二目标区域的面积)的值相除,确定重合度信息。

考虑到用户在执行动作后,该动作对应的支点(用户的关键点)处于一个固定区域内,比如下蹲动作,用户屈膝下蹲后,膝部关键点位于特定区域内,故确定第一动作匹配程度信息可以包括重合度信息。具体的,基于第一关键点位置信息,确定第一关键点位置信息对应的第一目标区域的位置信息,以及基于第二关键点信息,确定第二关键点信息对应的第二目标区域的位置信息;并基于第一目标区域的位置信息和第二目标区域的位置信息,确定第一目标区域和第二目标区域之间的重合面积,基于重合面积和第一目标区域的面积,确定重合度信息;进而可以利用重合度信息,判断第二用户的动作与第一用户的动作之间的匹配程度。

另一种可选实施方式中,所述第一动作匹配程度信息包括角度差信息,基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度,包括:

步骤一、基于所述第一关键点位置信息,确定所述第一用户的第一肢体弯曲角度;以及基于所述第二关键点位置信息,确定所述第二用户的第二肢体弯曲角度;

步骤二、确定所述第二肢体弯曲角度与所述第一肢体弯曲角度之间的角度差信息。

具体实施时,可以基于第一关键点位置信息,确定第一用户的第一肢体弯曲角度;以及基于第二关键点位置信息,确定第二用户的第二肢体弯曲角度。比如,在动作类型为侧身屈膝、第一动作匹配程度信息包括角度差信息时,第一关键点可以包括:左肩关键点、左肘关键点、左手腕关键点、左胯关键点、左膝关键点、左脚关键点;则可以基于第一用户对应的左肩关键点位置信息、左肘关键点位置信息、左手腕关键点位置信息,确定第一用户对应的左肩关键点至左肘关键点的线条、和左肘关键点至左手腕关键点的线条构成的第一角度;并可以基于第一用户对应的左胯关键点位置信息、左膝关键点位置信息、左脚关键点位置信息,确定第一用户的左胯关键点至左膝关键点的线条、和左膝关键点至左脚关键点的线条构成的第二角度;该第一角度和第二角度构成了第一用户的第一肢体弯曲角度。同时,还可以得到第二用户对应的第二肢体弯曲角度。

进而,将第二肢体弯曲角度与第一肢体弯曲角度相减,得到第二肢体弯曲角度与第一肢体弯曲角度之间的角度差信息。

参见图3所示的一种动作比对方法中,第二用户的肢体图像的示意图,该图3中包括右胯关键点9、右膝关键点11和右脚关键点13,则可以确定第二用户的第二肢体弯曲角度301。并将右膝关键点作为第二关键点,基于该第二关键点位置信息,确定了第二关键点位置信息对应的第二目标区域302,进而可以基于第二关键点位置信息对应的第二目标区域的位置信息、和第一关键点位置信息对应的第一目标区域的位置信息,确定第一目标区域和第二目标区域之间的重合面积;并基于重合面积和第一目标区域的面积,确定重合度信息。

考虑到用户在执行动作后,执行该动作的不同肢体区域之间存在角度信息,比如下蹲动作,用户屈膝下蹲后,用户的大腿与小腿之间存在弯曲的角度信息,故确定第一动作匹配程度信息可以包括角度差信息。具体的,可以基于第一关键点位置信息,确定第一用户的第一肢体弯曲角度;以及基于第二关键点位置信息,确定第二用户的第二肢体弯曲角度;再确定第二肢体弯曲角度与第一肢体弯曲角度之间的角度差信息,进而可以利用第二肢体弯曲角度与第一肢体弯曲角度之间的角度差信息,判断第二用户的动作与第一用户的动作之间的匹配程度。

一种可选实施方式中,基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息,包括:

步骤一、基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第一用户与所述第二用户的目标肢体的长度比例;所述目标肢体为与所述动作类型匹配的肢体;

步骤二、基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

在步骤一中,可以基于第一关键点信息,确定与动作类型匹配的目标肢体的长度;以及基于第二关键点信息,确定与动作类型匹配的目标肢体的长度。比如,若动作类型对应的目标肢体包括躯体、和手臂时,则可以基于第一关键点信息指示的头部关键点位置信息和左脚关键点位置信息(或右脚关键点位置信息),确定第一用户的身高,以及基于左肩关键点(或右肩关键点)位置信息和左手腕关键点(右手腕关键点)位置信息,确定第一用户的手臂长度;同时还可以得到第二用户的身高、和第二用户的手臂长度。

进而,可以将第一用户的身高与第二用户的身高相除,确定第一用户与第二用户的目标肢体(躯体)的长度比例,并将第一用户的手臂长度与第二用户的手臂长度相除,确定第一用户与第二用户的目标肢体(手臂)的长度比例。

其中,目标肢体的长度比例包括但不限于:身高的比例、手臂的长度比例、胯部的宽度比例、肩部的宽度比例。

在步骤二中,基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息,包括:

一、利用确定的所述目标肢体的长度比例调整所述第二关键点位置信息,其中,调整后的第二关键点位置信息指示的所述第二用户的目标肢体的长度与所述第一用户的目标肢体的长度相同;

二、基于所述第一关键点位置信息和调整后的所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

具体实施,可以利用确定的目标肢体的长度比例,对第二关键点位置信息进行调整,使得调整后的第二关键点位置信息指示的第二用户的目标肢体的长度和第一用户的目标肢体的长度相同。

进而,可以基于第一关键点位置信息和调整后的第二关键点位置信息,确定第二用户与第一用户之间的第一动作匹配程度信息。

这里,可以利用确定的目标肢体的长度比例,对第二用户的第二关键点位置信息进行调整,使得调整后的第二关键点位置信息指示的第二用户的目标肢体的长度与第一用户的目标肢体的长度相同;进而可以基于第一关键点位置信息和调整后的第二关键点位置信息,较准确的确定第二用户与第一用户之间的第一动作匹配程度信息。比如在下蹲动作,可以确定第一用户与第二用户的小腿的长度比例,利用确定的小腿的长度比例,调整第二用户的膝部关键点的位置信息,在利用调整后的第二用户的膝部关键点的位置信息和第一用户的膝部关键点的位置信息,可以较准确的确定膝部关键点对应的重合度信息。

一种可选实施方式中,所述方法还包括:

步骤一、基于与所述动作类型对应的人体轮廓点信息,提取所述第一待检测图像中与所述人体轮廓点信息匹配的第一轮廓点位置信息,以及所述第二待检测图像中与所述人体轮廓点信息匹配的第二轮廓点位置信息;

步骤二、基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

考虑到用户的多个关键点可能存在抖动、被遮挡等情况,为了较准确的确定第二用户的动作与第一用户的动作之间的匹配程度,可以基于与动作类型对应的人体轮廓点信息,从第一待检测图像中提取第一用户的第一轮廓点信息、和从第二待检测图像中提取第二用户的第二轮廓点信息;再基于第一轮廓点位置信息和第二轮廓点位置信息,确定第二用户与第一用户之间的第二动作匹配程度信息。

针对步骤一、基于与动作类型对应的人体轮廓点信息,提取第一待检测图像中与人体轮廓点信息匹配的第一轮廓点位置信息,和提取第二待检测图像中与人体轮廓点信息匹配的第二轮廓点位置信息。

示例性的,可以利用训练后的用于轮廓提取的第三神经网络,分别确定第一用户的肢体轮廓点位置信息和第二用户的肢体轮廓点位置信息;从确定的第一用户的肢体轮廓点位置信息中提取第一轮廓点位置信息,和从确定的第二用户的肢体轮廓点位置信息中提取第二轮廓点位置信息。

参见图4所示的一种动作比对方法中,确定的用户的肢体轮廓点位置信息。示例性的,若与动作类型对应的人体轮廓点可以为图4中的轮廓点52至轮廓点56,则可以从第一用户对应的肢体轮廓点位置信息中确定轮廓点52的位置信息、轮廓点53的位置信息、轮廓点54的位置信息、轮廓点55的位置信息、轮廓点56的位置信息(第一轮廓点位置信息),以及可以从第二用户对应的肢体轮廓点位置信息中确定轮廓点52的位置信息、轮廓点53的位置信息、轮廓点54的位置信息、轮廓点55的位置信息、轮廓点56的位置信息(第二轮廓点位置信息)。

针对步骤二、基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息,包括:

一、基于所述第一轮廓点位置信息,确定与所述第一轮廓点位置信息对应的第一曲线的第一曲线位置信息,以及基于所述第二轮廓点位置信息,确定与所述第二轮廓点位置信息对应的第二曲线的第二曲线位置信息;

二、基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

这里,可以先基于第一轮廓点位置信息,确定第一轮廓点位置信息对应的第一曲线的第一曲线位置信息;以及基于第二轮廓点位置信息,确定与第二轮廓点位置信息对应的第二曲线的第二曲线位置信息。进而,可以基于第一曲线位置信息和第二曲线位置信息,确定第二用户与第一用户之间的第二动作匹配程度信息。

一种可选实施方式中,基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息,包括:

步骤一、基于所述第一曲线位置信息,确定包含所述第一曲线的第三目标区域的位置信息;

步骤二、基于所述第二曲线位置信息和所述第三目标区域的位置信息,确定所述第二曲线中位于所述第三目标区域内的第一长度和所述第二曲线的总长度;

步骤三、基于所述第一长度和所述总长度,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

具体实施,可以基于第一曲线位置信息、和设置的形状,确定包含第一曲线的第三目标区域的位置信息。再基于第二曲线位置信息和第三目标区域的位置信息,确定第二曲线中位于第三目标区域内的第一长度和第二曲线的总长度。最后,将第一长度和总长度相除,确定第二用户与第一用户之间的第二动作匹配程度信息。

参见图5所示的一种动作比对方法中,第一用户的肢体图像的示意图,该图中包括第一用户的第一曲线对应的第三目标区域501,故可以基于第一用户对应的第三目标区域501的位置信息和第二曲线位置信息,确定第二曲线中位于第三目标区域501内的第一长度和第二曲线的总长度,进而可以得到第二动作匹配程度信息。

考虑到用户在执行动作之后,执行动作的肢体的轮廓线可以位于特定区域内。故上述实施方式中,可以基于第二曲线位置信息、和确定的包含第一曲线的第三目标区域的位置信息,确定第二曲线中位于第三目标区域内的第一长度和第二曲线的总长度;再基于第一长度和总长度,确定第二用户与第一用户之间的第二动作匹配程度信息,利用第一长度和总长度的比例,确定第二用户的动作与第一用户的动作之间的匹配程度。

一种可选实施方式中,所述方法还包括:

一、基于所述第一动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第一指导信息;

二、通过电子设备输出所述第一动作匹配程度信息和所述第一指导信息。

其中,电子设备指的是诸如电视、展示屏等具备输出功能的设备,具体可以输出语音、文字、图像等中的至少一项。

这里,可以基于第一动作匹配程度信息,生成用于对第二用户所做动作进行指导的第一指导信息。比如,第一指导信息可以为“提高手臂”、“重心向下”、“膝盖关键点位置较低”、“手臂关键点位置较低”等。其中,第一指导信息可以根据实际需要进行设置。

进而,可以通过电子设备输出第一动作匹配程度信息和第一指导信息。比如,可以在电子设备的显示界面上展示第一动作匹配程度信息和第一指导信息。或者,还可以在电子设备的显示界面上展示第一指导信息,以对第二用户所做的动作进行指导。

和/或,还可以通过电子设备上的语音播报装置将第一动作匹配程度信息和第一指导信息进行语音播放;或者,通过电子设备上的语音播报装置将第一指导信息进行语音播放。

采用上述方法,可以基于第一动作匹配程度信息,生成用于对第二用户所做动作进行指导的第一指导信息,并通过电子设备输出的第一动作匹配程度信息和第一指导信息,通过输出的第一动作匹配程度信息使得第二用户可以对所做动作的匹配程度有明确认知,并可以按照第一指导信息的指示调整第二用户所做动作,使得第二用户所做动作与第一用户所做动作较为一致。

另一种可选实施方式中,所述方法还包括:

一、基于所述第一动作匹配程度信息和所述第二动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第二指导信息;

二、通过电子设备输出所述第一动作匹配程度信息、第二动作匹配程度信息、和所述第二指导信息。

这里,可以基于第一动作匹配程度信息和第二动作匹配程度信息,生成用于对第二用户所做动作进行指导的第二指导信息。或者,可以基于第二动作匹配程度信息,生成用于对第二用户所做动作进行指导的第二指导信息。再控制电子设备输出第一动作匹配程度信息、第二动作匹配程度信息、和第二指导信息;或者,可以控制电子设备输出第二指导信息。

参见图6所示的一种动作比对方法中,电子设备的显示界面的界面示意图,该图中包括第一用户的肢体轮廓信息601和第二用户的肢体轮廓信息602,以及还包括第一动作匹配程度信息、第二动作匹配程度信息和第二指导信息,即“左膝关键点重合度信息为60%;左膝角度差信息为10度”、“手臂轮廓长度重合程度为0.8”、“请向上抬高手臂,并压低重心”。

这里,基于第一动作动作匹配程度信息和第二动作匹配程度信息,能够生成较准确、较详细的第二指导信息,通过电子设备输出的第一动作匹配程度信息、第二动作匹配程度信息、和第二指导信息,使得第二用户可以对所做动作存在明确认知,并使得第二用户可以较准确的确定动作的调整方向,使得调整后的动作与第一用户的动作较为一致。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思,本公开实施例还提供了一种动作比对装置,参见图7所示,为本公开实施例提供的一种动作比对装置的架构示意图,包括获取模块701、第一确定模块702、提取模块703、第二确定模块704,具体的:

获取模块701,用于获取第一用户的第一待检测图像,以及第二用户的第二待检测图像;所述第一用户为进行动作指导的用户,所述第二用户为接受动作指导的用户;

第一确定模块702,用于获取所述第一用户执行动作的动作类型;

提取模块703,用于基于与所述动作类型对应的人体关键点信息,提取所述第一待检测图像中与所述人体关键点信息匹配的第一关键点位置信息,以及所述第二待检测图像中与所述人体关键点信息匹配的第二关键点位置信息;

第二确定模块704,用于基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述第一确定模块702,在获取所述第一用户执行动作的动作类型时,用于:

基于所述第一待检测图像,获取所述第一用户执行动作的动作类型;和/或,

基于获取的指示信息,获取所述第一用户执行动作的动作类型,其中,所述指示信息包括文字信息、语音信息、图像信息中的至少一种。

一种可能的实施方式中,所述第一动作匹配程度信息包括重合度信息;所述第二确定模块704,在基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息时,用于:

基于所述第一关键点位置信息,确定所述第一关键点位置信息对应的第一目标区域的位置信息;以及基于所述第二关键点位置信息,确定所述第二关键点位置信息对应的第二目标区域的位置信息;

基于所述第一目标区域的位置信息和所述第二目标区域的位置信息,确定所述第一目标区域和所述第二目标区域之间的重合面积;

基于所述重合面积和所述第一目标区域的面积,确定所述重合度信息。

一种可能的实施方式中,所述第一动作匹配程度信息包括角度差信息,所述第二确定模块704,在基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度时,用于:

基于所述第一关键点位置信息,确定所述第一用户的第一肢体弯曲角度;以及基于所述第二关键点位置信息,确定所述第二用户的第二肢体弯曲角度;

确定所述第二肢体弯曲角度与所述第一肢体弯曲角度之间的角度差信息。

一种可能的实施方式中,所述第二确定模块704,在基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息时,用于:

基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第一用户与所述第二用户的目标肢体的长度比例;所述目标肢体为与所述动作类型匹配的肢体;

基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述第二确定模块704,在基于所述第一关键点位置信息、所述第二关键点位置信息、以及所述第一用户与所述第二用户的目标肢体的长度比例,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息时,用于:

利用确定的所述目标肢体的长度比例调整所述第二关键点位置信息,其中,调整后的第二关键点位置信息指示的所述第二用户的目标肢体的长度与所述第一用户的目标肢体的长度相同;

基于所述第一关键点位置信息和调整后的所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

一种可能的实施方式中,所述装置还包括:第三确定模块705,用于:

基于与所述动作类型对应的人体轮廓点信息,提取所述第一待检测图像中与所述人体轮廓点信息匹配的第一轮廓点位置信息,以及所述第二待检测图像中与所述人体轮廓点信息匹配的第二轮廓点位置信息;

基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述第三确定模块705,在基于所述第一轮廓点位置信息和所述第二轮廓点位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息时,用于:

基于所述第一轮廓点位置信息,确定与所述第一轮廓点位置信息对应的第一曲线的第一曲线位置信息,以及基于所述第二轮廓点位置信息,确定与所述第二轮廓点位置信息对应的第二曲线的第二曲线位置信息;

基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述第三确定模块705,在基于所述第一曲线位置信息和所述第二曲线位置信息,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息时,用于:

基于所述第一曲线位置信息,确定包含所述第一曲线的第三目标区域的位置信息;

基于所述第二曲线位置信息和所述第三目标区域的位置信息,确定所述第二曲线中位于所述第三目标区域内的第一长度和所述第二曲线的总长度;

基于所述第一长度和所述总长度,确定所述第二用户与所述第一用户之间的第二动作匹配程度信息。

一种可能的实施方式中,所述装置还包括:第一显示模块706,用于:

基于所述第一动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第一指导信息;

通过电子设备输出所述第一动作匹配程度信息和所述第一指导信息。

一种可能的实施方式中,所述装置还包括:第二显示模块707,用于:

基于所述第一动作匹配程度信息和所述第二动作匹配程度信息,生成用于对所述第二用户所做动作进行指导的第二指导信息;

通过电子设备输出所述第一动作匹配程度信息、第二动作匹配程度信息、和所述第二指导信息。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

基于同一技术构思,本公开实施例还提供了一种电子设备。参照图8所示,为本公开实施例提供的电子设备的结构示意图,包括处理器801、存储器802、和总线803。其中,存储器802用于存储执行指令,包括内存8021和外部存储器8022;这里的内存8021也称内存储器,用于暂时存放处理器801中的运算数据,以及与硬盘等外部存储器8022交换的数据,处理器801通过内存8021与外部存储器8022进行数据交换,当电子设备800运行时,处理器801与存储器802之间通过总线803通信,使得处理器801在执行以下指令:

获取第一用户的第一待检测图像,以及第二用户的第二待检测图像;所述第一用户为进行动作指导的用户,所述第二用户为接受动作指导的用户;

获取所述第一用户执行动作的动作类型;

基于与所述动作类型对应的人体关键点信息,提取所述第一待检测图像中与所述人体关键点信息匹配的第一关键点位置信息,以及所述第二待检测图像中与所述人体关键点信息匹配的第二关键点位置信息;

基于所述第一关键点位置信息和所述第二关键点位置信息,确定所述第二用户与所述第一用户之间的第一动作匹配程度信息。

此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的动作比对方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的动作比对方法的步骤,具体可参见上述方法实施例,在此不再赘述。

其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

相关技术
  • 动作比对方法、装置、电子设备及存储介质
  • 一种动作的比对方法、装置及计算机存储介质
技术分类

06120112880230