一种人体关键点信息和篮球定位的动作相似度计算方法

技术领域

本发明涉及篮球训练技术领域，具体涉及一种人体关键点信息和篮球定位的动作相似度计算方法。

背景技术

动作训练是篮球培训中常见和十分有效的训练方式，目前国内篮球动作培训主要还是通过篮球教练的视觉主观评价学员动作标准与否，缺少客观定量评价指标，而且在这种培训方式下，教练一对多的同时对多个学员进行训练，对动作的评价效率及准确度随着学员人数的增加而越来越难以保证，这将不利于学员的培训效率，随着计算机视觉和深度学习技术的不断发展，越来越多的应用场景需要对人体动作进行分析和比较，例如体育竞赛、健康管理、安防监控等，在这些应用场景中，通常需要对不同的人体动作进行相似度计算，以便进行对比和评估，传统的基于像素的图像比较方法往往无法准确地反映出人体动作的关键信息，因此近年来，基于三维人体关键点信息和物体定位的动作相似度计算方法逐渐被广泛采用，在这种计算方法中，首先需要使用深度学习模型对人体进行关键点检测，从而得到人体在三维空间中的骨架信息。然后，需要使用物体定位算法对篮球进行定位，以便为动作比较提供参考，最后，可以使用各种距离或相似度度量方法计算不同动作之间的相似度得分，现有技术中，大多是基于传统的RGB图像的视频进行人体姿态识别(常用的有Mediapipe、OpenPose等)，再根据人体姿态识别结果，这种方案RGB图像获取方便，无需专业设备，可以实现快速的人体检测和姿态评估，适用于对效率要求较高的应用场景，针对静态图像的姿态评估精度较高，针对现有技术存在以下问题：

基于传统的RGB图像的视频进行人体姿态识别方案受到光照、背景等因素的影响，这些因素会对图像质量产生影响，并在一定程度上降低了人体姿态评估的精度，而且RGB图像无法获得物体的深度信息，对于人体姿态评估而言，无法准确获取关键点在空间中的位置信息，因此无法提供准确的三维姿态信息，并且没有结合篮球定位结果，缺乏重要的参考信息，不利于后面动作评估系统的开发。

发明内容

本发明提供一种人体关键点信息和篮球定位的动作相似度计算方法，以解决上述背景技术中提出的问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种人体关键点信息和篮球定位的动作相似度计算方法，包括以下步骤，步骤一，图像信息采集，步骤二，数据处理，步骤三，动作切分，步骤四，人体姿态信息截取，步骤五，信息上传，步骤六，评估反馈，步骤七，循环评估。

本发明技术方案的进一步改进在于：所述步骤一中利用Kinect深度相机实时采集学员训练时的图像信息。

本发明技术方案的进一步改进在于：所述Kinect深度相机为微软的Azure KinectDK，sdk版本为v1.4.1，配备高级像素技术的1兆像素ToF成像芯片和两个NIR激光二极管。

本发明技术方案的进一步改进在于：所述步骤二中通过后台数据处理，对视频中的每一个人检测32个关键点，得到篮球检测结果和人体关键点信息，关键点列表如图2所示。

本发明技术方案的进一步改进在于：所述步骤三中通过篮球与人体关键点的位置关系，确定每一轮动作的开始时间与结束时间。

本发明技术方案的进一步改进在于：所述步骤四中截取从动作开始到动作结束这段时间的人体姿态信息。

本发明技术方案的进一步改进在于：所述步骤五中将截取到的人体姿态信息与提前准备好的教练标准动作的人体姿态信息一起传入相似度计算算法中，所述相似度计算分为两部分，单个关节相似度和总体相似度。相似度比较算法根据检测到的人体关键点，提取索引值为7(WRIST_LEFT),6(ELBOW_LEFT),5(SHOULDER_LEFT),18(HIP_LEFT),19(KNEE_LEFT),20(ANKLE_LEFT),14(WRIST_RIGHT),13(ELBOW_RIGHT),12(SHOULDER_RIGHT),22(HIP_RIGHT),23(KNEE_RIGHT),24(ANKLE_RIGHT),27(NOSE)的三维坐标点，根据以上的坐标点位信息，可以计算出左右两侧的肘关节、肩关节、髋关节、膝关节共八个关节的角度，将一段视频中检测到的关键点位集合进行以上的处理即可得到八个关节角度的变化情况，再对比两个不同的人的同一动作，即可输出八个关节的相似度；将八个角度同时放入fastdtw算法中，可得到总体相似度。

本发明技术方案的进一步改进在于：所述步骤六中相似度计算算法将每一时刻的人体关键点信息转换成各个关节角度信息，再经过计算输出学员动作与教练动作的相似度。

本发明技术方案的进一步改进在于：所述步骤七中回到步骤三进行下一轮动作的评估，直到训练结束。

由于采用了上述技术方案，本发明相对现有技术来说，取得的技术进步是：

1、本发明提供一种人体关键点信息和篮球定位的动作相似度计算方法，通过采用Kinect深度相机捕捉学员训练信息，能够实现更高的调制频率和深度精度，捕获清晰的近距和远距对象，获取更加准确和稳定的深度信息，提高人体姿态评估的精度，特别是在三维人体姿态评估上，结合了深度信息会使得3D评估更加可靠，鲁棒性更好，准确度更高。

2、本发明提供一种人体关键点信息和篮球定位的动作相似度计算方法，通过采用体感人机交互方式，学员可以摆脱传统的鼠标和键盘等交互设备对身体位置的限制，无需佩戴复杂的动作捕捉设备，直接以人体训练动作与训练模块交互，交互方式更加便捷、自然，同时，训练动作还可以根据实际情况自定义，极大地提高了该发明的自由度。

3、本发明提供一种人体关键点信息和篮球定位的动作相似度计算方法，基于Pytorch框架进行开发的YOLOv5深度学习算法，利用DTW算法计算学员动作与标准动作之间的相似度，代码实现上采用了优化版的DTW算法--fastdtw，篮球定位算法为基于Pytorch框架进行开发的YOLOv5深度学习算法，利用DTW算法计算学员动作与标准动作之间的相似度，代码实现上采用了优化版的DTW算法--fastdtw，这个算法比标准DTW算法更加高效，可以更快地计算出两个时间序列的距离。

附图说明

图1为本发明的流程示意图；

图2为本发明中人体关键点示意图；

图3为本发明中相似度计算示意图；

图4为本发明中教练与学员动作八个关节角度相似度对比结果示意图；

图5为本发明中教练与学员动作总相似度对比结果示意图。

具体实施方式

下面结合实施例对本发明做进一步详细说明：

实施例1

如图1-5所示，本发明提供了一种人体关键点信息和篮球定位的动作相似度计算方法，包括以下步骤，步骤一，图像信息采集，步骤二，数据处理，步骤三，动作切分，步骤四，人体姿态信息截取，步骤五，信息上传，步骤六，评估反馈，步骤七，循环评估，步骤一中利用Kinect深度相机实时采集学员训练时的图像信息，Kinect深度相机为微软的Azure KinectDK，sdk版本为v1.4.1，配备高级像素技术的1兆像素ToF成像芯片和两个NIR激光二极管。

在本实施例中，Kinect深度相机的高级像素技术的1兆像素ToF成像芯片能够实现更高的调制频率和深度精度，两个NIR激光二极管能够实现近距和宽视场(FoV)深度模式，捕获清晰的近距和远距对象，深度相机将原始的调制IR图像传输到电脑主机，在电脑上，GPU加速的深度引擎软件会将原始信号转换为深度图。

实施例2

如图1-5所示，在实施例1的基础上，本发明提供一种技术方案：优选的，步骤二中通过后台数据处理，对视频中的每一个人检测32个关键点，得到篮球检测结果和人体关键点信息，关键点列表如图2所示，步骤三中通过篮球与人体关键点的位置关系，确定每一轮动作的开始时间与结束时间，步骤四中截取从动作开始到动作结束这段时间的人体姿态信息，步骤六中相似度计算算法将每一时刻的人体关键点信息转换成各个关节角度信息，再经过计算输出学员动作与教练动作的相似度，步骤七中回到步骤三进行下一轮动作的评估，直到训练结束。

在本实施例中，以地滚球动作为例，标准动作过程为：双眼目视前方，双腿屈膝，将球放到右脚脚尖前的位置，用右手轻轻拨动球使得球水平滚动，当滚动到左脚脚尖前的位置，再换成左手拨动篮球使得篮球回滚，当回到右脚脚尖前时，一轮动作完成，本例中以教练与学员、教练与教练的相似度对比来测试本发明的效果，教练1和教练2均为标准动作，学员在进行动作训练时没有屈膝。先将教练和学员的动作录制成视频，经过后台处理得到三维的人体关键点信息，截取三人的每一轮地滚球动作的人体关键点信息并保存成JSON文件，接着比较不同JSON文件中的关键点信息，结果如图4所示，从结果可以看出，教练的各个关节角度变化情况与标准动作的关节角度变化情况的相似度都是在0.95以上，其中有三个关节相似度在0.99以上，而学员与标准动作的相似度中，左右膝关节和左右肘关节的相似度较低，尤其是左右膝关节相似度，正好与学员动作训练时未屈膝的情况相对应，说明算法对动作的细节有一定的区分度。

实施例3

如图1-5所示，在实施例1的基础上，本发明提供一种技术方案：优选的，步骤五中将截取到的人体姿态信息与提前准备好的教练标准动作的人体姿态信息一起传入相似度计算算法中，相似度计算分为两部分，单个关节相似度和总体相似度。相似度比较算法根据检测到的人体关键点，提取索引值为7(WRIST_LEFT),6(ELBOW_LEFT),5(SHOULDER_LEFT),18(HIP_LEFT),19(KNEE_LEFT),20(ANKLE_LEFT),14(WRIST_RIGHT),13(ELBOW_RIGHT),12(SHOULDER_RIGHT),22(HIP_RIGHT),23(KNEE_RIGHT),24(ANKLE_RIGHT),27(NOSE)的三维坐标点，根据以上的坐标点位信息，可以计算出左右两侧的肘关节、肩关节、髋关节、膝关节共八个关节的角度，将一段视频中检测到的关键点位集合进行以上的处理即可得到八个关节角度的变化情况，再对比两个不同的人的同一动作，即可输出八个关节的相似度；将八个角度同时放入fastdtw算法中，可得到总体相似度。

在本实施例中，篮球定位算法为基于Pytorch框架进行开发的YOLOv5深度学习算法，利用DTW算法计算学员动作与标准动作之间的相似度，代码实现上采用了优化版的DTW算法--fastdtw，篮球定位算法为基于Pytorch框架进行开发的YOLOv5深度学习算法，利用DTW算法计算学员动作与标准动作之间的相似度，代码实现上采用了优化版的DTW算法--fastdtw，这个算法比标准DTW算法更加高效，可以更快地计算出两个时间序列的距离。

下面具体说一下该人体关键点信息和篮球定位的动作相似度计算方法的工作原理。

如图1-5所示，本发明采用Kinect深度相机捕捉学员训练信息，Kinect深度相机的高级像素技术的1兆像素ToF成像芯片能够实现更高的调制频率和深度精度，两个NIR激光二极管能够实现近距和宽视场(FoV)深度模式，捕获清晰的近距和远距对象，深度相机可以获取更加准确和稳定的深度信息，提高人体姿态评估的精度，特别是在三维人体姿态评估上，结合了深度信息会使得3D评估更加可靠，鲁棒性更好，准确度更高，再结合深度学习相关算法对深度相机提取的RGB图像进行篮球检测，根据两者的输出结果，结合篮球与人体的相对位置，再使用动态时间规整(DTW)算法，计算人体动作的相似度，本发明采用体感人机交互方式，学员可以摆脱传统的鼠标和键盘等交互设备对身体位置的限制，无需佩戴复杂的动作捕捉设备，直接以人体训练动作与训练模块交互，交互方式更加便捷、自然，同时，训练动作还可以根据实际情况自定义，极大地提高了该发明的自由度。

上文一般性的对本发明做了详尽的描述，但在本发明基础上，可以对之做一些修改或改进，这对于技术领域的一般技术人员是显而易见的。因此，在不脱离本发明思想精神的修改或改进，均在本发明的保护范围之内。