一种体育运动评分模型数据增强方法、装置、设备和介质

技术领域

本发明涉及一种体育运动评分模型数据增强方法、装置、设备和介质。

背景技术

体育运动评分是当前时代背景下对青少年成长至关重要的技术，但当前不平衡不充分的教师资源分布和学生亟需专业的运动指导之间的矛盾愈发显著，人工智能教师对体育运动监考、评分成为最优解决方案。而体育运动过程被视为关键点的时间序列，传统的数据增强方法包括使用对关键点或视频进行随机长度的随机区域掩码；使用基于生成的模型生成带有评分的关键点时间序列从而实现数据增强；对图像或关键点进行随机旋转、透视进行数据增强等。

不足：对关键点或视频随机掩码的方法仅对于运动分类问题有一定作用，无法解决动作评分回归问题的数据增强；基于生成的模型虽然可以很好的表现数据的分布，但训练这样的生成模型本身需要大量数据，与最初需求矛盾；并且对图像或关键点进行随机旋转、透视等变换的方法会生成大量不必要的数据量；另外，然而运动评分AI模型训练的重难点在于训练模型所需的体育运动视频素材需求量极大，但是现有符合规定要求的体育运动视频素材量极少。

发明内容

本发明要解决的技术问题，在于提供一种体育运动评分模型数据增强方法、装置、设备和介质，能够极大程度缓解动作评分模型训练难、数据量少的问题。

第一方面，本发明提供了一种体育运动评分模型数据增强方法，包括：

步骤1、根据项目对应的动作评分模型，对该项目进行视频设定角度、设定距离的数据采集，得到原始数据；

步骤2、将原始数据进行时间域数据增强，得到第一增强数据；

步骤3、将第一增强数据进行空间域数据增强，得到最终数据，所述最终数据用于动作评分模型的训练。

第二方面，本发明提供了一种体育运动评分模型数据增强装置，包括：

数据采集模块，根据项目对应的动作评分模型，对该项目进行视频设定角度、设定距离的数据采集，得到原始数据；

时间域增强模块，将原始数据进行时间域数据增强，得到第一增强数据；

空间域增强模块，将第一增强数据进行空间域数据增强，得到最终数据，所述最终数据用于动作评分模型的训练。

第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供的方法、装置、设备和介质，通过时间域和空间域的数据增强，并返回增强后的动作得分值，实现回归模型的数据增强；针对关键点时间序列增强而非视频增强，大大降低了数据增强和动作评分模型前处理的计算资源消耗，增强得到的数据，极大程度降低了动作评分深度学习模型的训练难度，极大程度提高了模型的预测能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明实施例一中方法中的流程图；

图2为本发明实施例二中装置的结构示意图；

图3为本发明中补帧归一化的示意图；

图4为本发明中均匀采样归一化的示意图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：本发明基于计算机视觉3D关键点检测技术，使用时间-空间域的关键点时间序列数据增强方法，实现对关键点时间序列进行归一化、时间域增强、空间域增强和得分计算，该方法能够批量生成增强数据集，提高动作评分模型的泛化表现。本发明中英文字母为斜体时表示变量值，正体时表示变量名。

1.数据采集

根据项目对应的动作评分模型，对该项目进行视频多种角度、多种距离的数据采集。角度和距离根据实际模型部署场景的应用范围而定。采集的关键点时间序列数据标签记为L，

2.时间域数据增强

2.1帧长度归一化

由于不同运动的时间长度，致使关键点时间序列L的不同运动视频bs之间帧长度fr不同，导致无法固定动作评分AI模型的输入，因此需要对帧长度归一化。本发明提出补帧-均匀采样融合的归一化方式。其中补帧归一化方式如图3所示，均匀采样归一化的方式如图4所示。

由图3所示，补帧归一化计算最长关键点时间序列的长度，并以此为时间序列目标长度，对每个时间序列在始端和末端处进行补帧，补帧的内容为起始帧和末端帧，该方法能够增强被训练模型对视频局部信息的特征提取能力。由图4所示，均匀采样归一化通过配置参数n′，通过式(1)计算采样步长sample_step，根据采样步长对时间序列进行缩放，其中n表示原始长度，n′表示指定的均匀采样归一化后长度，round表示四舍五入取整函数，该方法能够增强视频数据，增强被训练模型对动作的绝对速度特征提取能力。

经过补帧-均匀采样融合归一化后，原始数据量变为原来的2倍，即数据的6个维度分别为[bs1＝2×bs,,fr1＝n′,dim＝3,nok,cls,score1＝score]。

2.2时间域数据增强

对时间序列使用随机起点round(s)和随机长度round(l)的采样窗口进行随机采样，其中s～N(0,n′)，l～N(n′/6,n′/3)，s服从均值为0，方差为n’的正态分布；l服从均值为n’/6，方差为n’/3的正态分布；对采样到的时间序列使用可调节参数scale_rate进行帧长度缩放，即对采样到的时间序列使用指定长度为round(scale_rate·(l-s))的均匀采样归一化，再原时间序列中被采样的区域替换；由于替换后时间序列总长度改变，再次使用指定长度为n′的均匀采样归一化恢复时间序列长度。根据参数s,l和scale_rate，我们使用扣分惩罚项penalty1对该段时间序列所表征的动作进行扣分，如式(2)所示，式中的score为原始分值，penalty1为扣分值，对增强后的数据扣除penalty1分。

penalty1＝score·(1-scale_rate·(l-s)) (2)

2.3时间域增强采样

对每个关键点时间序列都使用时间域数据增强1000次，将数据集扩充为原来的1000倍，此时数据的6个维度分别为[2000×bs,fr1＝n′,dim＝3,nok,cls,score2]。由s、l的分布和式(2)可知，penalty不服从均匀分布，且分布极不均衡，将导致使用该数据集训练的模型不具有各分数段的综合评估能力，因此对数据根据score1值，从2000×bs组数据中每间隔0.05分采样400组数据，经过均匀采样后数据的6个维度分别为[8000,fr1＝n′,dim＝3,nok,cls,score2＝score-penalty1]，设定score为1(标准的视频动作得分为1，即满分为1分)，则得到1/0.05×400＝8000。

3.空间域数据增强

3.1空间域数据增强

对时间序列使用随机起点round(s)和随机长度round(l)的采样窗口进行随机采样，其中s～N(0,n′)，l～N(n′/6,n′/3)；对采样到的时间序列每帧内的关键点使用相同方式的变换，将人体关键点按身体部位划分为头部、双臂和手、双肩和双髋、双腿和脚共4部分，每个部分施加不同的随机偏移并进行扣分，具体如下。人体关键点包括25个点的人体关键信息，25个关键节点信息为({鼻子}，{颈部}，{右肩}，{右肘}，{右手腕}，{左肩}，{左肘}，{左手腕}，{中段}，{右臀}，{右膝}，{右脚踝}，{左臀}，{左膝}，{左脚踝}，{右眼}，{左眼}，{右耳}，{左耳}，{左大脚趾}，{左小脚趾}，{左脚后跟}，{右大脚趾}，{右小脚趾}，{右脚后跟}，)

头部的关键点(例如眼睛、鼻子、嘴等)通过均值的方法计算头部关键点中心，并以头部关键点中心为旋转点，将头部所有关键点旋转

对双肩(即左肩和右肩)和双髋(即左臀和右臀)通过均值的方法计算上半身关键点中心，并以上半身关键点中心为旋转点，将双肩和双髋关键点旋转

双臂和手、双腿和脚部分，根据肩手肘至手、膝盖至脚的连接关系，对关键点逐级进行随机旋转，即双肘分别根据双肩为旋转点旋转

根据参数

3.2空间域增强采样

对每个关键点时间序列都使用空间域数据增强20次，将数据集扩充为原来的20倍(即从8000变成160000)。由s、l和

为验证数据增强方案能够改善动作评分模型的训练，以ST-GCN模型作为动作评分模型，采集10组太极拳体育运动作为原始少量数据，按7:3划分训练集和验证集，训练batchsize设置为128，优化器为adam，对数据增强进行消融实验，实验结果如表1所示。其中得分平均误差表示形式x/1表示在验证集上，以满分为1分的回归模型平均绝对误差值为x。

表1数据增强消融实验

由表1消融实验可知，使用时间域增强，增加局部动作过快或过慢的数据后，平均绝对误差由0.26下降至0.06，模型性能显著提高；但此时的数据分布不均衡，通过增强采样后，不仅降低了数据量、减少训练时长，同时使平均绝对误差由0.06下降至0.03，性能更优；在此基础上使用空间域增强，增加错误动作的数据，平均绝对误差虽没有发生明显变化，但此时模型加强了对错误动作的识别能力；且由于空间域增强也会带来数据分布不均衡，因此再进行空间域增强采样，最终平均绝对差降至0.03。经表1结论证明，时间-空间域数据增强的方法能够极大程度缓解动作评分模型训练难、数据量少的问题，大量数据能够提高模型的鲁棒性，且实验证明在实际动作评分模型上能有更优表现。

实施例一

如图1所示，本实施例提供一种体育运动评分模型数据增强方法，包括：

步骤1、根据项目对应的动作评分模型，对该项目进行视频设定角度、设定距离的数据采集；采集的关键点时间序列数据标签记为L，

步骤2、将原始数据中的进行补帧归一化计算最长关键点时间序列的长度，并以此为时间序列目标长度，对每个时间序列在始端和末端处进行补帧，补帧的内容为该原视频的起始帧和末端帧，均匀采样归一化通过配置参数n′，通过式(1)计算采样步长sample_step，根据采样步长对时间序列进行缩放，其中n表示原始长度，n′表示指定的均匀采样归一化后长度，round表示四舍五入取整函数：

经过补帧以及均匀采样归一化后，原始数据量变为原来的2倍，即数据的6个维度分别为[bs1＝2×bs,fr1＝n′,dim＝3,nok,cls,score1＝score]，其中bs为原始数据批量；

时间域数据增强：对时间序列使用随机起点round(s)和随机长度round(l)的采样窗口进行随机采样，其中s～N(0,n′)，l～N(n′/6,n′/3)；对采样到的时间序列使用可调节参数scale_rate进行帧长度缩放，即对采样到的时间序列使用指定长度为round(scale_rate·(l-s))的均匀采样归一化，在原时间序列中被采样的区域替换；由于替换后时间序列总长度改变，再次使用指定长度为n′的均匀采样归一化恢复时间序列长度；根据参数s,l和scale_rate，使用扣分惩罚项penalty1对该段时间序列所表征的动作进行扣分，如式(2)所示，式中的score为原始分值，penalty1为扣分值，对增强后的数据扣除penalty1分：

penalty1＝score·(1-scale_rate·(l-s)) (2)

时间域增强采样：对每个关键点时间序列都使用时间域数据增强设定次次a，将数据集扩充为原来的a倍，此时数据的6个维度分别为[bs2＝2a×bs,fr1＝n′,dim＝3,nok,cls,score1]；对数据根据score1的值，从2a×bs组的数据中每间隔c1分数采样d1组数据，经过均匀采样后数据的6个维度分别为[bs3＝score/c1×d1,fr1＝n′,dim＝3,nok,cls,score2＝score-penalty1]，即得到第一增强数据；

步骤3、将第一增强数据进行空间域数据增强：对时间序列使用随机起点round(s)和随机长度round(l)的采样窗口进行随机采样，其中s～N(0,n′)，l～N(n′/6,n′/3)；对采样到的时间序列每帧内的关键点使用相同方式的变换，将人体关键点按身体部位划分为头部、双臂和手、双肩和双髋、双腿和脚共4部分，每个部分施加不同的随机偏移并进行扣分，具体如下：

头部的设定个关键点通过均值的方法计算头部关键点中心，并以头部关键点中心为旋转点，将头部所有关键点旋转

对双肩和双髋通过均值的方法计算上半身关键点中心，并以上半身关键点中心为旋转点，将双肩和双髋关键点旋转

双臂和手、双腿和脚部分，根据肩手肘至手、膝盖至脚的连接关系，对关键点逐级进行随机旋转，即双肘分别根据双肩为旋转点旋转

根据参数

空间域增强采样：对每个关键点时间序列都使用空间域数据增强b次，将数据集扩充为原来的b倍，对数据根据score1的值，从score/c1×d1×b组的数据中每间隔c2分数采样d2组数据，经过均匀采样后数据的6个维度分别为[bs4＝score/c2×d2,fr1＝n′,dim＝3,nok,cls,score3＝score-penalty1-penalty2]，即得到最终数据，所述最终数据用于动作评分模型的训练。

基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。

实施例二

如图2所示，在本实施例中提供了一种体育运动评分模型数据增强装置，包括：

数据采集模块，根据项目对应的动作评分模型，对该项目进行视频设定角度、设定距离的数据采集；采集的关键点时间序列数据标签记为L，

时间域增强模块，将原始数据中的进行补帧归一化计算最长关键点时间序列的长度，并以此为时间序列目标长度，对每个时间序列在始端和末端处进行补帧，补帧的内容为该原视频的起始帧和末端帧，均匀采样归一化通过配置参数n′，通过式(1)计算采样步长sample_step，根据采样步长对时间序列进行缩放，其中n表示原始长度，n′表示指定的均匀采样归一化后长度，round表示四舍五入取整函数：

经过补帧以及均匀采样归一化后，原始数据量变为原来的2倍，即数据的6个维度分别为[bs1＝2×bs,fr1＝n′,dim＝3,nok,cls,score1＝score]，其中bs为原始数据批量；

时间域数据增强：对时间序列使用随机起点round(s)和随机长度round(l)的采样窗口进行随机采样，其中s～N(0,n′)，l～N(n′/6,n′/3)；对采样到的时间序列使用可调节参数scale_rate进行帧长度缩放，即对采样到的时间序列使用指定长度为round(scale_rate·(l-s))的均匀采样归一化，在原时间序列中被采样的区域替换；由于替换后时间序列总长度改变，再次使用指定长度为n′的均匀采样归一化恢复时间序列长度；根据参数s,l和scale_rate，使用扣分惩罚项penalty1对该段时间序列所表征的动作进行扣分，如式(2)所示，式中的score为原始分值，penalty1为扣分值，对增强后的数据扣除penalty1分：

penalty1＝score·(1-scale_rate·(l-s)) (2)

时间域增强采样：对每个关键点时间序列都使用时间域数据增强设定次次a，将数据集扩充为原来的a倍，此时数据的6个维度分别为[bs2＝2a×bs,fr1＝n′,dim＝3,nok,cls,score1]；对数据根据score1的值，从2a×bs组的数据中每间隔c1分数采样d1组数据，经过均匀采样后数据的6个维度分别为[bs3＝score/c1×d1,fr1＝n′,dim＝3,nok,cls,score2＝score-penalty1]，即得到第一增强数据；

空间域增强模块，将第一增强数据进行空间域数据增强：对时间序列使用随机起点round(s)和随机长度round(l)的采样窗口进行随机采样，其中s～N(0,n′)，l～N(n′/6,n′/3)；对采样到的时间序列每帧内的关键点使用相同方式的变换，将人体关键点按身体部位划分为头部、双臂和手、双肩和双髋、双腿和脚共4部分，每个部分施加不同的随机偏移并进行扣分，具体如下：

头部的设定个关键点通过均值的方法计算头部关键点中心，并以头部关键点中心为旋转点，将头部所有关键点旋转

对双肩和双髋通过均值的方法计算上半身关键点中心，并以上半身关键点中心为旋转点，将双肩和双髋关键点旋转

双臂和手、双腿和脚部分，根据肩手肘至手、膝盖至脚的连接关系，对关键点逐级进行随机旋转，即双肘分别根据双肩为旋转点旋转

根据参数

空间域增强采样：对每个关键点时间序列都使用空间域数据增强b次，将数据集扩充为原来的b倍，对数据根据score1的值，从score/c1×d1×b组的数据中每间隔c2分数采样d2组数据，经过均匀采样后数据的6个维度分别为[bs4＝score/c2×d2,fr1＝n′,dim＝3,nok,cls,

score3＝score-penalty1-penalty2]，即得到最终数据，所述最终数据用于动作评分模型的训练。

由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。

实施例三

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。

由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。

实施例四

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。