人体运动的评分方法、装置、计算机设备及存储介质

技术领域

本发明涉及运动评估技术领域，尤其涉及一种人体运动的评分方法、装置、计算机设备及存储介质。

背景技术

人体动作科学是一门研究人体动作系统(HMS，Human Movement System)在相互依存，相互关联的机制中如何发挥功能的科学。这方面的研究成果被广泛应用于运动医学相关的诊断于治疗中。HMS主要研究的内容是对人体动作进行静态和动态的分析，实现一系列的病理评估。主要内容有静态姿势评估，动作模式，关节活动度评估，肌肉力量等。其中，人体运动评分是目前的研究难点。体运动评分的研究不仅用于运动功能障碍的诊断，也作用于一些特殊人群的运动健康评估中，例如青少年、孕妇以及老年人的运动功能状态评估的运动处方设计等。

现有的人体运动评分还依赖人的主观判断，无法解决客观性问题，即现有的人体运动评分的准确率和效率均较低。

发明内容

本发明提供一种人体运动的评分方法、装置、计算机设备及存储介质，用于对用户运动进行有效的监控，提高人体运动评分的准确率和效率。

本发明实施例提供一种人体运动的评分方法，所述方法包括：

获取用户的待识别骨架序列以及标准模板骨架序列，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架；

计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值；

将所述差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值；

根据所述待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分。

本发明实施例提供一种人体运动的评分装置，所述装置包括：

获取模块，用于获取用户的待识别骨架序列以及标准模板骨架序列，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架；

计算模块，用于计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值；

所述计算模块，还用于将所述差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值；

确定模块，用于根据所述待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人体运动的评分方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述人体运动的评分方法。

本发明提供的一种人体运动的评分方法、装置、计算机设备及存储介质，首先获取用户的待识别骨架序列以及标准模板骨架序列，然后计算待识别骨架序列和标准模板骨架序列中对应人体骨架的差异值，之后将差异值输入到动作模式识别模型中，得到待识别骨架序列中各个人体骨架的分值；最后根据待识别骨架序列中各个人体骨架的分值，确定用户的运动评分。其中，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架。相对于现有人体运动评分依赖于人的主观判断相比，本发明对于人体的运动评分的过程中，无需人工参与判断，仅需要确定待识别骨架序列，然后执行本发明提供的方法便可以自动得到用户的运动评分，从而通过本发明可对用户运动进行有效的监控，有效提高人体运动评分的准确率和效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中人体运动的评分系统结构示意图；

图2是本发明一实施例中人体运动的评分方法的流程图；

图3是本发明一实施例中确定用户的运动评分流程图；；

图4是本发明一实施例中人体运动的评分装置的原理框图；

图5是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下各实施例均可应用在图1示出的人体运动的评分系统当中，图1示出的人体运动的评分系统包括：监控设备、交互设备和计算设备，计算机设备与交互设备和监控设备通信，通过交互设备和监控设备获取用户的运动视频流，并依据获取用户的待识别骨架序列以及标准模板骨架序列，然后计算待识别骨架序列和标准模板骨架序列中对应人体骨架的差异值，之后将差异值输入到动作模式识别模型中，得到待识别骨架序列中各个人体骨架的分值；最后根据待识别骨架序列中各个人体骨架的分值，确定用户的运动评分。其中，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架。

其中，监控设备可以为集成心率监控与惯性传感器的定制手表。交互设备可以包括：显示器：用于显示测量信息，监控状态，动作完成情况等信息；读卡器：用于收集用户基本信息；摄像头：实时采集用户的运动视频或者动作照片；打印机：输出运动诊断报告；语音交互系统，根据分析结果提醒用户纠正动作，紧急情况下能够发出警报。计算设备用于从运动视频流中获取用户的待识别骨架序列以及标准模板骨架序列，然后计算待识别骨架序列和标准模板骨架序列中对应人体骨架的差异值，之后将差异值输入到动作模式识别模型中，得到待识别骨架序列中各个人体骨架的分值；最后根据待识别骨架序列中各个人体骨架的分值，确定用户的运动评分。

需要指出的是，图1示出的结构并不构成对人体运动的评分系统的限定，在其它实施例当中，该人体运动的评分系统可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

如图2所示，本发明实施例提供一种人体运动的评分方法，包括如下步骤：

S10，获取用户的待识别骨架序列以及标准模板骨架序列。

其中，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架，标准模板骨架序列中的人体骨架是从标准运动的视频流中提取的，其提取方式同待识别骨架序列一致。具体的，人体骨架是根据人体关键特征点确定的，人体关键特征点至少包括：四肢所在关节的位置点、手掌及脚掌位置点、头部位置点、躯干位置点等，本实施例对此不做具体限定。

具体的，本实施例可根据骨架生成算法确定视频流对应的待识别骨架序列，待识别骨架序列中包含多个按照时间序列排序的人体骨架，即人体骨架是根据视频流中的视频帧确定的，待识别骨架序列中的人体骨架对应视频流中的视频帧。其中，骨架生成算法是将视频流中的视频帧序列进行了降维，把一个视频帧中的动作识别问题，变成了一个低维度的骨架的动作识别问题。通过降维能够降低算法得复杂度，提高鲁棒性。

需要说明的是，本实施例还可根据用户运动的时间连续性过滤掉待识别骨架序列中异常的人体骨架。具体的，根据动作的连续性过滤掉极短时间内的各种识别跳动，如可以使用滤波算法过滤掉一些明显的异常值，以避免由于人体骨架识别不稳定而引起的运动评分不准确的问题。

对于本发明实施例，获取用户的待识别骨架序列，包括：

S101，获取用户的运动视频流；从所述运动视频流中提取视频帧。

具体的，本发明实施例可以通过摄像头拍摄用户的运动视频流，然后从运动视频流中提取视频帧，以便于基于视频帧获取用户的待识别骨架序列。需要说明的是，本实施例按照预置时间间隔从运动视频流中提取视频帧，以减少对视频帧处理的数量，如可以按照1秒、2秒或是3秒从运动视频流中提取视频帧，本实施例对提取视频帧的间隔时间不做具体限定。

S102，将所述视频帧输入到人体特征点识别模型，得到多个人体特征点。

其中，所述人体特征点至少包括人体四肢的关节特征点、躯干特征点、头部特征点。本实施例中，该人体特征点识别模型的训练过程可以为：获取样本运动视频流，从所述样本运动视频流中提取视频帧；对所述提取的视频帧进行人体特征点标注，根据所述提取的视频帧及对其标注的人体特征点进行模型训练，得到所述人体特征点识别模型。

S103，根据每个视频帧对应的所述人体特征点确定人体骨架。

具体的，可以根据人体特征点的位置关系进行连线确定人体骨架。

S104，按照视频帧的时间顺序，对人体骨架进行排序得到待识别骨架序列。

本实施例中按照视频帧的时间先后顺序，对根据视频帧确定的人体骨架进行排序得到待识别骨架序列，以便于根据该待识别骨架序列对用户的运动进行评分。

S20，计算待识别骨架序列和标准模板骨架序列中对应人体骨架的差异值。

其中，差异值具体可以为指相对位置的差异、相对角度的差异等，本实施例对此不做具体限定。

在本发明提供的一个可选实施例中，所述计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值，包括：

S201，获取待识别骨架序列和所述标准模板骨架序列中对应的人体骨架。

具体的，本实施例通过比对待识别骨架序列中和标准模板骨架序列中的人体骨架，将相匹配的人体骨架确定为相对应的人体骨架，例如通过匹配确定待识别骨架序列中的第2个人体骨架和待识别骨架序列中的第3个人体骨架的相似度最高，则将该第2个人体骨架和第3个人体骨架确定为对应的人体骨架；或是直接根据骨架序列中的人体骨架顺序确定相对应的人体骨架，即将待识别骨架序列和待识别骨架序列中的对应顺序的人体骨架确定为对应的人体骨架，如将待识别骨架序列中的第2个人体骨架和待识别骨架序列中的第2个人体骨架确定为对应的人体骨架，本实施例对此不做具体限定。

S202，确定所述对应的人体骨架中各个对应的人体特征点。

需要说明的是，本实施例中的人体骨架是又多个人体特征点组成的，每个人体特征点都对应标识信息，该标识信息用于唯一标识在人体骨架中的人体特征点，如可通过数字表示对应的标识信息，还可以通过四肢所在关节的位置点、手掌及脚掌位置点、头部位置点、躯干位置点分别对应的名称表示对应的标识信息，如头部位置点的标识信息可以为“头部”、左手掌位置点的标识信息可以为“做手掌”等，本实施例对此不做具体限定。

S203，计算对应的人体骨架中所有对应的人体特征点之间的差异值，并对所有差异值求和得到所述对应人体骨架的差异值。

在本实施例中，获取到待识别骨架序列和标准模板骨架序列中对应的人体骨架之后，对这两个人体骨架进行匹配分析，确定两个人体骨架中属于同一个人体特征点，然后分别确定该人体特征点在对应的人体骨架中的位置、以及相对其他人体特征点的角度，然后基于对应人体特征点的位置以及相对其他特征点的角度计算的差异值，最后对所有差异值求和得到对应人体骨架的差异值。

例如，人体骨架中由5个人体特征点构成分别为：人体特征点1、人体特征点2、人体特征点3、人体特征点4、人体特征点5，在获取到待识别骨架序列和标准模板骨架序列中对应的人体骨架之后，分别获取两个人体骨架中的人体特征点1的位置，以及人体特征点1相对于其他人体特征点的角度和位置，然后根据两个人体骨架中分别对应的人体特征点1的相对位置及角度，进行差异值计算(即计算人体特征点1的位置及角度的差异)得到两个人体骨架中关于人体特征点的1的差异值，最后将所有人体特征点(人体特征点1-人体特征点5)的差异值求和得到对应人体骨架的差异值。

S30，将所述差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值。

需要说明的是，本实施例在将差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值之前，还需要对模型进行训练得到运动模式识别模型，其具体的训练方式为：

S301，获取样本骨架序列和标准模板骨架序列。

其中，所述样本骨架序列中包括多个按照时间顺序排列的人体骨架。

S302，计算所述样本骨架序列和所述标准模板骨架序列中对应人体骨架的差异值。

优选的，所述计算所述样本骨架序列和所述标准模板骨架序列中对应人体骨架的差异值之前，所述方法还包括：所述样本骨架序列中各个人体骨架的四肢长度对应调整成所述标准模板骨架序列中人体骨架的四肢长度。

S303，根据所述样本骨架序列中各个人体骨架对应的运动分值标签和差异值进行模型训练，得到所述运动模式识别模型。

其中，运动分值标签是通过人工标记的，该运动分值标签可分类：错误(s<60)、合格(60<＝s<70)、达标(70<＝s<80)、优秀(80<＝s<90)、完美(90<＝s<100)等五个等级，其中s＝100是用标准动作本身来进行评分。然后基于这套标准我们可以手工标注出大量的样本，作为深度回归学习(Deep Regression Networks)训练样本，即根据样本骨架序列中各个人体骨架对应的运动分值标签和差异值进行模型训练，得到运动模式识别模型。

相应的，在计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值之前，所述方法还包括：所述待识别骨架序列中各个人体骨架的四肢长度对应调整成所述标准模板骨架序列中人体骨架的四肢长度。

S40，根据所述待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分。

进一步的，在得到用户的运动评分之后，对用户出现的运动评分低于一定的数值进行告警。具体的，可以通过显示屏进行告警，也可以通过语音播报方式进行告警，还可以通过震动用户佩戴的腕表进行告警，本发明实施例不做具体限定。

本发明实施例提供的一种人体运动的评分方法，首先获取用户的待识别骨架序列以及标准模板骨架序列，然后计算待识别骨架序列和标准模板骨架序列中对应人体骨架的差异值，之后将差异值输入到动作模式识别模型中，得到待识别骨架序列中各个人体骨架的分值；最后根据待识别骨架序列中各个人体骨架的分值，确定用户的运动评分。其中，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架。相对于现有人体运动评分依赖于人的主观判断相比，本发明对于人体的运动评分的过程中，无需人工参与判断，仅需要确定待识别骨架序列，然后执行本发明提供的方法便可以自动得到用户的运动评分，从而通过本发明可对用户运动进行有效的监控，有效提高人体运动评分的准确率和效率。

如图2所示，在本发明提供的一个可选实施例中，根据待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分，包括：

S401，确定待识别骨架序列中各个人体骨架分别对应的动作属性。

体育运动中包含很多个动作，有的动作是一系列关键动作的组合，例如：头顶击掌、后踢腿、坐站等。有些则是一个保持一个动作，比如跪姿对侧平衡、平板支撑等。为此，本实施例中将人体骨架对应的动作划分成不同的动作属性，以区分出人体骨架中的关键动作和非关键动作。即本实施例中的动作属性包括关键动作和中间动作，其中两个相邻关键动作之间的动作为中间动作。

S402，根据关键动作和中间动作分别对应的权重值，对待识别骨架序列中所有人体骨架的分值进行加权计算，得到用户的运动评分。

具体的，本实施例通过下述公式计算得到用户的运动评分；

其中，

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种人体运动的评分装置，该人体运动的评分装置与上述实施例中人体运动的评分方法一一对应。如图4所示，该人体运动的评分装置包括：获取模块10、计算模块20、确定模块30。各功能模块详细说明如下：

获取模块10，用于获取用户的待识别骨架序列以及标准模板骨架序列，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架；

计算模块20，用于计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值；

所述计算模块20，还用于将所述差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值；

确定模块30，用于根据所述待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分。

进一步的，所述装置还包括：训练模块40；

获取模块10，还用于获取样本骨架序列和标准模板骨架序列；所述样本骨架序列中包括多个按照时间顺序排列的人体骨架；

计算模块20，还用于计算所述样本骨架序列和所述标准模板骨架序列中对应人体骨架的差异值；

训练模块40，用于根据所述样本骨架序列中各个人体骨架对应的运动分值标签和差异值进行模型训练，得到所述运动模式识别模型。

进一步的，所述装置还包括：调整模块50；

调整模块50，用于所述待识别骨架序列中各个人体骨架的四肢长度对应调整成所述标准模板骨架序列中人体骨架的四肢长度；

调整模块50，用于所述样本骨架序列中各个人体骨架的四肢长度对应调整成所述标准模板骨架序列中人体骨架的四肢长度。

进一步的，确定模块30，用于确定所述待识别骨架序列中各个人体骨架分别对应的动作属性，所述动作属性包括关键动作和中间动作；

计算模块20，还用于根据所述关键动作和所述中间动作分别对应的权重值，对所述待识别骨架序列中所有人体骨架的分值进行加权计算，得到所述用户的运动评分。

进一步的，获取模块10，具体用于：

获取用户的运动视频流；从所述运动视频流中提取视频帧；

将所述视频帧输入到人体特征点识别模型，得到多个人体特征点；

根据每个视频帧对应的所述人体特征点确定人体骨架；

按照所视频帧的时间顺序，对所述人体骨架进行排序得到所述待识别骨架序列。

进一步的，计算模块20，具体用于：

获取所述待识别骨架序列和所述标准模板骨架序列中对应的人体骨架；

确定所述对应的人体骨架中各个对应的人体特征点；

计算对应的人体骨架中所有对应的人体特征点之间的差异值，并对所有差异值求和得到所述对应人体骨架的差异值。

进一步的，获取模块10，还用于获取样本运动视频流，从所述样本运动视频流中提取视频帧；对所述提取的视频帧进行人体特征点标注，所述人体特征点至少包括人体四肢的关节特征点、躯干特征点、头部特征点；

训练模块40，用于根据所述提取的视频帧及对其标注的人体特征点进行模型训练，得到所述人体特征点识别模型。

关于人体运动的评分装置的具体限定可以参见上文中对于人体运动的评分方法的限定，在此不再赘述。上述人体运动的评分装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人体运动的评分方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取用户的待识别骨架序列以及标准模板骨架序列，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架；

计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值；

将所述差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值；

根据所述待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取用户的待识别骨架序列以及标准模板骨架序列，所述待识别骨架序列中包括多个按照时间顺序排列的人体骨架；所述标准模板骨架序列中包括多个按照时间顺序排列的标准的人体骨架；

计算所述待识别骨架序列和所述标准模板骨架序列中对应人体骨架的差异值；

将所述差异值输入到动作模式识别模型中，得到所述待识别骨架序列中各个人体骨架的分值；

根据所述待识别骨架序列中各个人体骨架的分值，确定所述用户的运动评分。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。