一种基于人体骨骼点深度图像的体育动作评估方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种基于人体骨骼点深度图像的体育动作评估方法及系统。

背景技术

近年来，随着生活水平的提升，全民对于体育锻炼的需求加强，但不正确、不规范的体育训练方法往往导致训练伤的产生，因而人们对于辅助体育训练系统的需求更加迫切。另外，在升学、任职等体技能考核过程中，普遍存在考官主观因素导致的考核标准不统一问题。因此需要一套能够客观评价训练质量和考核成绩的训练辅助系统。

传统的训练辅助装置需要大量且复杂的硬件设备作为支撑，通过一系列外部装置进行身体位置的固定，从而达到规范训练动作的目的。但是，在训练过程中携带大量的机械装置进行训练辅助，存在操作繁琐、器械固定不易展开等弊端，并且对外部机械装置的要求较高。新型的“智能化”操场，通过可见光摄像头、激光传感器及与之配套的计算机系统，建立训练项目的标准动作库，能够便于记录体育训练考核成绩。但其需要庞大的软硬件平台作为支撑，日常维护成本高，且“智能化”操场场地固定，降低了开展体育训练的灵活性。另外，可见光摄像头受外界光线环境干扰影响大，一定程度上制约了训练系统的使用时间和场地。利用Kinect捕捉人体的关节点，将模板动作与实时动作进行匹配，可以实现训练动作的判别。但由于人与人之间存在个体差异性，其模板动作的设定存在一定的局限性，将在一定程度上导致动作完成度判断的偏差。

因此，现有技术中对于体育训练的辅助和体育动作的评估存在较大的偏差。

发明内容

本发明的目的是提供一种基于人体骨骼点深度图像的体育动作评估方法及系统，以提高体育动作评估的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于人体骨骼点深度图像的体育动作评估方法，包括：

获取待评估体育动作对应的体育项目；

获取所述体育项目对应的每个动作的标准特征值；所述标准特征值包括关键骨骼点标准距离和骨骼点间向量的标准角度；不同的动作对应的标准特征值不同；

基于深度图像，获取待评估体育动作对应的人体骨骼的骨骼点坐标；

根据所述人体骨骼的骨骼点坐标，确定待评估体育动作的实际特征值；所述实际特征值包括关键骨骼点实际距离和骨骼点间向量的实际角度；

将所述关键骨骼点实际距离与所述关键骨骼点标准距离以及所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，得到所述人体骨骼对应的体育动作的评估结果。

可选的，所述基于深度图像，获取待评估体育动作对应的人体骨骼的骨骼点坐标，具体包括：

获取所述待评估体育动作对应的深度图像；

提取所述深度图像中人体骨骼的骨骼点；

根据所述深度图像的采集点，确定所述骨骼点的三维坐标；所述骨骼点的三维坐标所在的三维坐标系的原点为所述采集点、x轴为采集点指向人体骨骼的方向、y轴为人体骨骼的侧向以及z轴为采集点的高度方向。

可选的，所述深度图像中人体骨骼的骨骼点包括：脊椎底部骨骼点、旋中骨骼点、颈部骨骼点、头部骨骼点、左肩骨骼点、左肘骨骼点、左腕骨骼点、左手骨骼点、右肩骨骼点、右肘骨骼点、右腕骨骼点、右手骨骼点、左髋骨骼点、左膝骨骼点、左踝骨骼点、左脚骨骼点、右髋骨骼点、右膝骨骼点、右踝骨骼点、右脚骨骼点、脊柱肩骨骼点、左手尖骨骼点、左腹部骨骼点、右手尖骨骼点和/或右腹部骨骼点。

可选的，所述将所述关键骨骼点实际距离与所述关键骨骼点标准距离以及所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，得到所述人体骨骼对应的体育动作的评估结果，具体包括：

将所述关键骨骼点实际距离与所述关键骨骼点标准距离进行匹配，确定所述关键骨骼点实际距离与所述关键骨骼点标准距离是否一致；

将所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，确定所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度是否一致；

当所述关键骨骼点实际距离与所述关键骨骼点标准距离一致且所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度一致时，确定所述人体骨骼对应的体育动作为标准动作；

当所述关键骨骼点实际距离与所述关键骨骼点标准距离不一致时，根据所述关键骨骼点实际距离与所述关键骨骼点标准距离之间的差值，生成第一指导意见；

当所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度不一致时，根据所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度之间的差值，生成第二指导意见；所述第一指导意见和所述第二指导意见用于指导用户调节当前的体育动作。

本发明还提供一种基于人体骨骼点深度图像的体育动作评估系统，包括：

体育项目获取模块，用于获取待评估体育动作对应的体育项目；

标准特征值获取模块，用于获取所述体育项目对应的每个动作的标准特征值；所述标准特征值包括关键骨骼点标准距离和骨骼点间向量的标准角度；不同的动作对应的标准特征值不同；

骨骼点坐标提取模块，用于基于深度图像，获取待评估体育动作对应的人体骨骼的骨骼点坐标；

实际特征值获取模块，用于根据所述人体骨骼的骨骼点坐标，确定待评估体育动作的实际特征值；所述实际特征值包括关键骨骼点实际距离和骨骼点间向量的实际角度；

评估模块，用于将所述关键骨骼点实际距离与所述关键骨骼点标准距离以及所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，得到所述人体骨骼对应的体育动作的评估结果。

可选的，所述骨骼点坐标提取模块具体包括：

深度图像获取单元，用于获取所述待评估体育动作对应的深度图像；

骨骼点提取单元，用于提取所述深度图像中人体骨骼的骨骼点；

三维坐标确定单元，用于根据所述深度图像的采集点，确定所述骨骼点的三维坐标；所述骨骼点的三维坐标所在的三维坐标系的原点为所述采集点、x轴为采集点指向人体骨骼的方向、y轴为人体骨骼的侧向以及z轴为采集点的高度方向。

可选的，所述深度图像中人体骨骼的骨骼点包括：脊椎底部骨骼点、旋中骨骼点、颈部骨骼点、头部骨骼点、左肩骨骼点、左肘骨骼点、左腕骨骼点、左手骨骼点、右肩骨骼点、右肘骨骼点、右腕骨骼点、右手骨骼点、左髋骨骼点、左膝骨骼点、左踝骨骼点、左脚骨骼点、右髋骨骼点、右膝骨骼点、右踝骨骼点、右脚骨骼点、脊柱肩骨骼点、左手尖骨骼点、左腹部骨骼点、右手尖骨骼点和/或右腹部骨骼点。

可选的，所述评估模块，具体包括：

距离匹配单元，用于将所述关键骨骼点实际距离与所述关键骨骼点标准距离进行匹配，确定所述关键骨骼点实际距离与所述关键骨骼点标准距离是否一致；

角度匹配单元，用于将所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，确定所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度是否一致；

标准动作评估单元，用于当所述关键骨骼点实际距离与所述关键骨骼点标准距离一致且所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度一致时，确定所述人体骨骼对应的体育动作为标准动作；

第一指导意见生成单元，用于当所述关键骨骼点实际距离与所述关键骨骼点标准距离不一致时，根据所述关键骨骼点实际距离与所述关键骨骼点标准距离之间的差值，生成第一指导意见；

第二指导意见生成单元，用于当所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度不一致时，根据所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度之间的差值，生成第二指导意见；所述第一指导意见和所述第二指导意见用于指导用户调节当前的体育动作。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过采集受训者骨骼点的三维坐标数据后，对不同骨骼点向量计算得到实际特征值，并将其与训练动作的标准特征值进行匹配，根据匹配结果对实际训练动作进行纠正、计数，以达到训练考核、综合评价等目的。该方法操作简便，提升了体育训练辅助的灵活性；避免了主观人为因素导致的体育考核标准不统一的问题，体育训练考核的准确性高，误判率小，确保了体育考核的公平性，对训练效果的综合评价全面，训练效果好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于人体骨骼点深度图像的体育动作评估方法的流程示意图；

图2为本发明基于人体骨骼点深度图像的体育动作评估系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于人体骨骼点深度图像的体育动作评估方法的流程示意图。如图1所示，本发明基于人体骨骼点深度图像的体育动作评估方法包括：

步骤100：获取待评估体育动作对应的体育项目。

步骤200：获取体育项目对应的每个动作的标准特征值。所述标准特征值包括关键骨骼点标准距离和骨骼点间向量的标准角度；不同的动作对应的标准特征值不同。每个体育项目包括多个动作，每个动作都有相应的标准特征值，标准特征值是指关键骨骼点之间的特征标准值，包括关键骨骼点之间的标准距离、骨骼点间向量的标准角度等。不同的动作对应的关键骨骼点可能不同，以及关键骨骼点的标准距离也可能不同，同样的，不同的动作对应的骨骼点间向量可能不同，以及骨骼点间向量的标准角度也可能不同。

步骤300：基于深度图像，获取待评估体育动作对应的人体骨骼的骨骼点坐标。采用深度传感器可以实时采集人体骨骼的深度图像，然后提取该深度图像中人体骨骼的骨骼点，最后基于三维坐标系确定每个骨骼点的三维坐标。本发明的三维坐标系基于深度传感器的采集点构建，以采集点的坐标为坐标原点构建三维坐标系，以骨骼点的三维坐标P＝[x,y,z]为例，x表示前向坐标，即骨骼点与采集点的距离；y表示骨骼点相对采集点的侧向坐标；z表示骨骼点相对采集点的高度坐标。

步骤400：根据人体骨骼的骨骼点坐标，确定待评估体育动作的实际特征值。所述实际特征值包括关键骨骼点实际距离和骨骼点间向量的实际角度。例如，以关键骨骼点为骨骼点A和骨骼点B为例，关键骨骼点实际距离为骨骼点A和骨骼点B之间的距离。骨骼点间向量为两个骨骼点构成的第一向量与另外特定骨骼点构成的第二向量之间的角度λ，计算公式为：

步骤500：将关键骨骼点实际距离与关键骨骼点标准距离以及骨骼点间向量的实际角度与骨骼点间向量的标准角度进行匹配，得到人体骨骼对应的体育动作的评估结果。具体的，将所述关键骨骼点实际距离与所述关键骨骼点标准距离进行匹配，确定所述关键骨骼点实际距离与所述关键骨骼点标准距离是否一致；同时，将所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，确定所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度是否一致。当所述关键骨骼点实际距离与所述关键骨骼点标准距离一致且所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度一致时，确定所述人体骨骼对应的体育动作为标准动作。当所述关键骨骼点实际距离与所述关键骨骼点标准距离不一致时，根据所述关键骨骼点实际距离与所述关键骨骼点标准距离之间的差值，生成第一指导意见；当所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度不一致时，根据所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度之间的差值，生成第二指导意见；所述第一指导意见和所述第二指导意见用于指导用户调节当前的体育动作。

基于上述的体育动作评估方法，本发明还提供一种基于人体骨骼点深度图像的体育动作评估系统，图2为本发明基于人体骨骼点深度图像的体育动作评估系统的结构示意图。如图2所示，本发明基于人体骨骼点深度图像的体育动作评估系统包括：

体育项目获取模块201，用于获取待评估体育动作对应的体育项目。

标准特征值获取模块202，用于获取所述体育项目对应的每个动作的标准特征值；所述标准特征值包括关键骨骼点标准距离和骨骼点间向量的标准角度；不同的动作对应的标准特征值不同。

骨骼点坐标提取模块203，用于基于深度图像，获取待评估体育动作对应的人体骨骼的骨骼点坐标。

实际特征值获取模块204，用于根据所述人体骨骼的骨骼点坐标，确定待评估体育动作的实际特征值；所述实际特征值包括关键骨骼点实际距离和骨骼点间向量的实际角度。

评估模块205，用于将所述关键骨骼点实际距离与所述关键骨骼点标准距离以及所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，得到所述人体骨骼对应的体育动作的评估结果。

作为具体实施例，本发明基于人体骨骼点深度图像的体育动作评估系统中，所述骨骼点坐标提取模块203具体包括：

深度图像获取单元，用于获取所述待评估体育动作对应的深度图像。

骨骼点提取单元，用于提取所述深度图像中人体骨骼的骨骼点。

三维坐标确定单元，用于根据所述深度图像的采集点，确定所述骨骼点的三维坐标；所述骨骼点的三维坐标所在的三维坐标系的原点为所述采集点、x轴为采集点指向人体骨骼的方向、y轴为人体骨骼的侧向以及z轴为采集点的高度方向。

作为具体实施例，本发明基于人体骨骼点深度图像的体育动作评估系统中，所述深度图像中人体骨骼的骨骼点包括：脊椎底部骨骼点、旋中骨骼点、颈部骨骼点、头部骨骼点、左肩骨骼点、左肘骨骼点、左腕骨骼点、左手骨骼点、右肩骨骼点、右肘骨骼点、右腕骨骼点、右手骨骼点、左髋骨骼点、左膝骨骼点、左踝骨骼点、左脚骨骼点、右髋骨骼点、右膝骨骼点、右踝骨骼点、右脚骨骼点、脊柱肩骨骼点、左手尖骨骼点、左腹部骨骼点、右手尖骨骼点和/或右腹部骨骼点。

作为具体实施例，本发明基于人体骨骼点深度图像的体育动作评估系统中，所述评估模块205，具体包括：

距离匹配单元，用于将所述关键骨骼点实际距离与所述关键骨骼点标准距离进行匹配，确定所述关键骨骼点实际距离与所述关键骨骼点标准距离是否一致。

角度匹配单元，用于将所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度进行匹配，确定所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度是否一致。

标准动作评估单元，用于当所述关键骨骼点实际距离与所述关键骨骼点标准距离一致且所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度一致时，确定所述人体骨骼对应的体育动作为标准动作。

第一指导意见生成单元，用于当所述关键骨骼点实际距离与所述关键骨骼点标准距离不一致时，根据所述关键骨骼点实际距离与所述关键骨骼点标准距离之间的差值，生成第一指导意见。

第二指导意见生成单元，用于当所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度不一致时，根据所述骨骼点间向量的实际角度与所述骨骼点间向量的标准角度之间的差值，生成第二指导意见；所述第一指导意见和所述第二指导意见用于指导用户调节当前的体育动作。

下面提供一个具体实施例，进一步说明本发明的上述方案。

本实施例的体育动作为单杠动作。进行体育动作评估时，将本发明基于人体骨骼点深度图像的体育动作评估系统的硬件设备拉至任意单杠处，开始评估。本发明基于人体骨骼点深度图像的体育动作评估系统的硬件设备包括深度传感器、显示终端、供电模块和支撑部件，深度传感器、显示终端和供电模块均内置于支撑部件，供电模块分别与深度传感器和显示终端连接，深度传感器与显示终端连接。显示终端包括存储器，存储器能够作为数据库存储处理器的计算结果数据，并进行整合，长期记录进行训练指导并评估受训者的训练结果。显示终端优选采用小型计算机，供电模块优选采用便携式电源，支撑部件优选采用可伸缩结构，便于携带，并且能够提升系统的灵活性。显示终端同时连接有视频采集装置和语音输出装置，能够同步采集视频信息，使受训者能够在训练后结合评价数据对自己的动作进行纠正，提高训练的效果。

本实施例的具体过程如下：

步骤1：从深度传感器获取深度图像，并得到全身骨骼点三维坐标信息，存入集合{P

步骤2：提取骨骼点坐标。体育训练大纲对单杠动作的要求为：双手正握杠，间距比肩稍宽，呈直臂悬垂姿势，双臂协同向上用力，屈臂引体至下颌超过杠面，然后身体回落至两臂自然伸直，禁止引体时摆动身体超过单杠铅垂线15度。根据该动作要求，评价训练动作所需要的骨骼点数据如表1所示：

表1

其中骨骼点坐标系的坐标原点为深度传感器，x表示前向坐标，即骨骼点与深度传感器的距离。y表示骨骼点相对深度传感器的侧向坐标，左为正。z表示骨骼点相对深度传感器的高度坐标，上为正。

步骤3：计算特征标准值。对训练标准进行骨骼点向量标准化，后续向量

①两手间距比肩稍宽：令左右手腕关节骨骼点向量为

将该训练标准量化为：

②呈直臂悬垂姿势:令左肩关节骨骼点至左手肘关节骨骼点向量为

设定标准特征值

右手方法同理，设定标准特征值

将该训练标准量化为：

③屈臂引体至下颌超过杠面：令左手腕关节骨骼点至颈部骨骼点向量

右手腕关节骨骼点至颈部骨骼点向量

设定标准特征值

将该训练标准量化为：

④禁止引体时摆动身体超过单杠铅垂线15°：令臀部骨骼点至颈下脊椎骨骼点向量为

设定标准特征值

将该训练标准量化为：

将以上6项标准特征值组成标准特征值数组，即

表2

步骤4：根据受训者骨骼点数据，计算实际特征值数组。

①利用公式(1)计算实际特征值

②利用公式(2)计算实际特征值

③利用公式(3)、(4)计算实际特征值

④利用公式(5)计算实际特征值

将以上实际特征值进行组合，生成实际特征值数组，即

步骤5：将实际特征值与标准特征值进行匹配。

当实际特征值

当实际特征值

当实际特征值

当实际特征值

步骤6：综合上述实际特征值数组与标准特征值数组匹配数据，判断单杠动作是否满足体育训练标准要求，记录受训者的运动数据及所存在的问题，导入到数据库中，对受训者进行综合评价，给出相应的训练指导方案。

效果评价：

表3～表6为常用体育训练考核的标准判断数据统计表。

其中：标准动作误差＝(系统判定的标准动作个数-人为判定的标准动作个数)/总个数；

非标准动作误差＝(系统判定的非标准动作个数-人为判定的非标准动作个数)/总个数。

表3：单杠动作标准判断数据统计表

表4：双杠动作标准判断数据统计表

表5：俯卧撑动作标准判断数据统计表

表6：仰卧起坐动作标准判断数据统计表

由表3～表6中的数据可以看出，采用本发明进行体育训练考核的准确性高，误判率小。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。