一种提示健身动作改进的智能比对分析方法及终端

技术领域

本发明涉及计算机视觉领域姿态估计技术领域，特别是涉及一种提示健身动作改进的智能比对分析方法及终端。

背景技术

近年来，姿态估计技术获得迅速发展，从单人姿态识别到多人姿态识别、从二维姿态识别到三维姿态识别，都取得了显著进步，但在应用上还面临一些问题。现有设备产品多数是基于3D双目摄像头，但在常规2D摄像头的应用上，包括手机摄像头、平板摄像头、笔记本电脑的摄像头等，相比体感游戏设备的3D双目摄像头少了一个维度的信息，处理上难度更大。

发明内容

本发明所要解决的技术问题是：提供一种提示健身动作改进的智能比对分析方法，克服或解决动作比对中存在的系列问题，包括2D摄像头的不同视角拍摄、动作不同步、异常提示高概率地集中在前臂等问题。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种提示健身动作改进的智能比对分析方法，包括以下步骤：

S1、利用三维姿态估计法获得第一关节坐标和第二关节坐标，所述第一关节坐标为教练动作视频中人体关节点的三维坐标，所述第二关节坐标为用户动作视频中人体关节点的三维坐标；

S2、根据所述第一关节坐标和第二关节坐标计算对应的第一肢体极坐标和第二肢体极坐标；所述第一肢体极坐标为：所述第一关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；所述第二肢体极坐标为：所述第二关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；

S3、采用动态时间规整方法对所述第一肢体极坐标和第二肢体极坐标的三维角度差异进行时间对齐，并对所有帧中每一肢体对应的极坐标角度差异的绝对值求和，获得每一肢体的角度差异累积和，并将所述角度差异累积和最大的肢体作为需要改进动作的肢体；

S4、对于所述需要改进动作的肢体给予智能提示。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种提示健身动作改进的智能比对分析终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、利用三维姿态估计法获得第一关节坐标和第二关节坐标，所述第一关节坐标为教练动作视频中人体关节点的三维坐标，所述第二关节坐标为用户动作视频中人体关节点的三维坐标；

S2、根据所述第一关节坐标和第二关节坐标计算对应的第一肢体极坐标和第二肢体极坐标；所述第一肢体极坐标为：所述第一关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；所述第二肢体极坐标为：所述第二关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；

S3、采用动态时间规整方法对所述第一肢体极坐标和第二肢体极坐标的三维角度差异进行时间对齐，并对所有帧中每一肢体对应的极坐标角度差异的绝对值求和，获得每一肢体的角度差异累积和，并将所述角度差异累积和最大的肢体作为需要改进动作的肢体；

S4、对于所述需要改进动作的肢体给予智能提示。

本发明的有益效果在于：提供一种提示健身动作改进的智能比对分析方法及终端，利用动态时间规整算法比对教练视频与用户视频中肢体的三维角度差异，优化前臂的三维角度差异数据，克服2D摄像头的不同视角拍摄、用户动作不同步、异常提示集中在前臂等问题。

附图说明

图1为本发明实施例的一种提示健身动作改进的智能比对分析方法的流程图；

图2为本发明实施例的一种提示健身动作改进的智能比对分析终端的示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

名词解释：

动态时间规整算法(Dynamic Time Warping)：按照距离最近原则，衡量两个长度不同的时间序列的相似度的方法，是一种非线性规整技术。

MediaPipe是一个用于构建机器学习管道的框架，用于处理视频、音频等时间序列数据。

一种提示健身动作改进的智能比对分析方法，包括以下步骤：

S1、利用三维姿态估计法获得第一关节坐标和第二关节坐标，所述第一关节坐标为教练动作视频中人体关节点的三维坐标，所述第二关节坐标为用户动作视频中人体关节点的三维坐标；

S2、根据所述第一关节坐标和第二关节坐标计算对应的第一肢体极坐标和第二肢体极坐标；所述第一肢体极坐标为：所述第一关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；所述第二肢体极坐标为：所述第二关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；

S3、采用动态时间规整方法对所述第一肢体极坐标和第二肢体极坐标的三维角度差异进行时间对齐，并对所有帧中每一肢体对应的极坐标角度差异的绝对值求和，获得每一肢体的角度差异累积和，并将所述角度差异累积和最大的肢体作为需要改进动作的肢体；

S4、对于所述需要改进动作的肢体给予智能提示。

从上述描述可知，本发明的有益效果在于：提供一种提示健身动作改进的智能比对分析方法，利用动态时间规整算法比对教练动作视频与用户动作视频中肢体的三维角度差异，优化前臂的三维角度差异数据，克服2D摄像头的不同视角拍摄、用户动作不同步、异常提示集中在前臂等问题。

进一步地，所述步骤S4之后还包括：

S5、利用激活函数构建评分函数，对用户整体动作相对教练动作的准确度进行评分；

所述评分函数为：

由上述描述可知，综合一组健身动作的智能比对分析数据，给用户提供更直观的健身动作准确度效果，便于用户自测运动效果、调整健身计划。

进一步地，所述步骤S1具体为：

所述第一关节坐标通过预先录制的教练动作视频获取；

所述第二关节坐标通过现场录制的用户动作视频获取。

由上述描述可知，关节坐标通过预先录制的教练动作视频预先进行计算，进一步获得肢体坐标和三维角度差异等数据并保存，减少重复计算。

进一步地，所述步骤S3中所述三维角度差异具体为：

用于动态时间规整对齐的每一肢体对应的角度差异的计算，包括减去该肢体对应的所述第一肢体极坐标和第二肢体极坐标的角度平均值的差异：

Δθ

其中，θ

由上述描述可知，在计算每一肢体对应的角度差异时，减去教练动作与用户动作的角度平均值的差异，消除教练和用户在视频中人体朝向不同的影响和拍摄视角的影响。克服2D摄像头的拍摄视角不同带来的动作比对困难、用户动作与教练动作不同步的问题。

进一步地，所述步骤S3具体为：

计算前臂肢体的角度差异累积和时，扣减胳膊对应的三维角度差异数据。

由上述描述可知，减少了运动幅度较大的前臂的基础角度差异，解决动作比对差异提示高概率地集中在前臂的问题。

一种提示健身动作改进的智能比对分析终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、利用三维姿态估计法获得第一关节坐标和第二关节坐标，所述第一关节坐标为教练动作视频中人体关节点的三维坐标，所述第二关节坐标为用户动作视频中人体关节点的三维坐标；

S2、根据所述第一关节坐标和第二关节坐标计算对应的第一肢体极坐标和第二肢体极坐标；所述第一肢体极坐标为：所述第一关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；所述第二肢体极坐标为：所述第二关节坐标中每两个相邻关节点三维坐标连线对应的一个肢体的三维极坐标角度；

S3、采用动态时间规整方法对所述第一肢体极坐标和第二肢体极坐标的三维角度差异进行时间对齐，并对所有帧中每一肢体对应的极坐标角度差异的绝对值求和，获得每一肢体的角度差异累积和，并将所述角度差异累积和最大的肢体作为需要改进动作的肢体；

S4、对于所述需要改进动作的肢体给予智能提示。

从上述描述可知，本发明的有益效果在于：提供一种提示健身动作改进的智能比对分析终端，利用动态时间规整算法比对教练动作视频与用户动作视频中肢体的三维角度差异，优化前臂的三维角度差异数据，克服2D摄像头的不同视角拍摄、用户动作不同步、异常提示集中在前臂等问题。

进一步地，所述步骤S4之后还包括：

S5、利用激活函数构建评分函数，对用户整体动作相对教练动作的准确度进行评分；

所述评分函数为：

由上述描述可知，综合一组健身动作的智能比对分析数据，给用户提供更直观的健身动作准确度效果，便于用户自测运动效果、调整健身计划。

进一步地，所述步骤S1具体为：

所述第一关节坐标通过预先录制的教练动作视频获取；

所述第二关节坐标通过现场录制的用户动作视频获取。

由上述描述可知，关节坐标通过预先录制的教练动作视频预先进行计算，进一步获得肢体坐标和三维角度差异等数据并保存，减少重复计算。

进一步地，所述步骤S3中所述三维角度差异具体为：

用于动态时间规整对齐的每一肢体对应的角度差异的计算，包括减去该肢体对应的所述第一肢体极坐标和第二肢体极坐标的角度平均值的差异：

Δθ

其中，θ

由上述描述可知，在计算每一肢体对应的角度差异时，减去教练动作与用户动作的角度平均值的差异，消除教练和用户在视频中人体朝向不同的影响和拍摄视角的影响。克服2D摄像头的拍摄视角不同带来的动作比对困难、用户动作与教练动作不同步的问题。

进一步地，所述步骤S3具体为：

计算前臂肢体的角度差异累积和时，扣减胳膊对应的三维角度差异数据。

由上述描述可知，减少了运动幅度较大的前臂的基础角度差异，解决动作比对差异提示高概率地集中在前臂的问题。

本发明上述一种提示健身动作改进的智能比对分析方法及终端，能够克服2D摄像头的不同视角拍摄、用户动作不同步、异常提示集中在前臂等问题，以下通过具体实施方式进行说明：

实施例一

一种提示健身动作改进的智能比对分析方法，包括以下步骤：

S1、利用三维姿态估计技术获得第一关节坐标和第二关节坐标，所述第一关节坐标为教练动作视频中人体关节点的三维坐标，所述第二关节坐标为用户动作视频中人体关节点的三维坐标；

所述第一关节坐标通过预先录制的教练动作视频获取；所述第二关节坐标通过现场录制的用户动作视频获取。

具体的，健身动作的比对分析和提示，使用预先录制的教练动作，与现场录制的用户动作进行比对分析。对教练视频图像、用户视频图像，都利用三维姿态估计技术，例如Mediapipe的姿态估计功能，获得人体关节点三维坐标，计算每两个关节点连线对应的一个肢体的三维极坐标角度，即获得每个肢体的三维极坐标角度，分为教练的

S2、根据所述第一关节坐标和第二关节坐标获取第一肢体极坐标和第二肢体极坐标；所述第一肢体极坐标为：所述第一关节坐标中每两个关节点三维坐标连线对应的一个肢体的三维极坐标角度；所述第二肢体极坐标为：所述第二关节坐标中每两个关节点三维坐标连线对应的一个肢体的三维极坐标角度；

S3、采用动态时间规整方法对所述第一肢体极坐标和第二肢体极坐标的三维角度差异进行时间对齐，并对所有帧中每一肢体对应的角度差异的绝对值求和，获得该肢体的角度差异累积和；

具体的，为处理教练和用户动作不同步情况下的比较，使用动态时间规整(Dynamic time wraping)比较方法，对教练和用户每个肢体的三维极坐标角度用进行对齐再计算角度差异。在此基础上，计算教练和用户的三维极坐标角度的差异时，要扣减掉两个人体的所有肢体角度平均值的差异，来消除两个人体朝向不同的影响和拍摄视角的影响。教练和用户的所有肢体角度平均值，计算如下：

θ

θ

计算教练和用户每个肢体的三维极坐标角度的差异，要扣减掉两个人体的所有肢体角度平均值的差异，如下：

Δθ

Δθ

Δθ

...

根据上述计算，对于每一个肢体计算所有帧中该肢体角度差异的绝对值求和，获得该肢体的角度差异累积和。例如对肢体1，所有帧累积求和:

S4、对于需要改进动作的肢体给予智能提示，所述需要改进动作的肢体为角度差异累积和最大的对应肢体。

选取角度差异累积和最大的肢体，作为要改进动作的肢体给予智能提示。例如在上述计算结果中，假设肢体5的角度差异累积和最大，则提示用户要改进肢体5的动作。

S5、利用激活函数对用户整体动作相对教练动作的准确度进行评分。

利用激活函数对用户整体动作相对教练动作的准确度进行评分。评分函数设计为：

实施例二

本实施例与实施例一的不同在于，进一步限定了步骤S3中三维角度差异数据的计算取值范围：

其中，所述三维角度差异为：用于动态时间规整对齐的每一肢体对应的角度差异的计算，包括减去该肢体对应的所述第一肢体极坐标和第二肢体极坐标的角度平均值的差异。

对于前臂肢体的三维角度差异，优选的扣减掉胳膊的三维角度差异，相当于减少了前臂的基础角度差异，克服前臂运动幅度大，导致的动作比对差异提示高概率地集中在前臂的问题。

实施例三

一种提示健身动作改进的智能比对分析终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一至二中的步骤。

综上所述，本发明提供的一种提示健身动作改进的智能比对分析方法及终端，通过利用动态时间规整算法比对教练视频与用户视频中肢体的三维角度差异，克服了2D摄像头的不同视角拍摄、用户动作不同步、异常提示集中在前臂等问题。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。