一种运动动作检测方法和系统

技术领域

本发明涉及姿态识别领域，具体涉及一种运动动作检测方法和系统。

背景技术

姿态识别算法大致分为两类：自顶向下的姿态识别算法和自底向上的姿态识别算法。前者的基本原理是先检测图片中每个人的边界(bounding box)，再对每个人检测出骨骼关键点。后者是先检测图片中所有的骨骼关键点，最后再通过图匹配算法得到所有的个体，在自底向上的姿态识别算法中，在2016年COCO比赛中，当时的第一名就是OpenPose，即先找到图片中的每个关节的位置，然后提出Part Affinity Field(PAF)来做人体的组装。PAF方法通过对人体的不同肢体结构进行建模，使用向量场来模拟不同肢体结构，解决了单纯使用中间点是否在肢干上造成的错误连接问题。

然而，在碰到处理图像数据较多或者需要实时反馈要求较高时，对GPU即对图像处理的运算能力要求很高，一般需要专用的图像设备才能实现，而且识别出结果的速度较慢，特别是在运动过程中对动作标准与否的识别速度上，在移动终端上实现无法满足实时性需求，使得应用受限；另外，在评价武术或者舞蹈动作是否到位，整体动作是否美观等方面的评价上，单纯分析识别出身体各个关节点的运动趋势显然不够，还需要评价各个动作之间的衔接是否连贯和协调。

发明内容

本发明提供一种运动动作检测方法和系统，能够解决现有技术中的动作识别速度较慢、难以满足实时要求以及评价动作连贯和协调的问题。为解决上述技术问题，本发明采用的一个技术方案是：提供一种运动动作检测方法，包括如下步骤：

S100、获取人体的红外图像和三维加速度信息；

S200、根据所述红外图像识别关节点位中的点集；

S300、获取所述点集对应的深度点集；

S400、将三维加速度信息和所述深度点集融合计算下一周期关节点位位置，并根据获取的下一周期红外图像和三维加速度信息进行验证。

进一步的，所述S100中的人体的红外图像获取方式为：通过具有红外拍摄功能的双目摄像头或者多目摄像头拍摄获得，所述三维加速度信息通过无线方式获取设置在人体关节上的三维加速度模块采集的人体运动信息。

进一步的，在执行所述S200之前还执行以下机器学习步骤：

S10、收集若干人体红外图像，将所述人体红外图像作为学习对象；

S20、在所述学习对象上，标注关节位置以及关节轮廓；

S30、并根据所述标注过的关节位置和关节轮廓取若干特征点；

S40、人工筛选出最能反映关节点位的特征点，将所述若干特征点作为所述关节点位中的点集。

进一步的，所述S200中根据所述红外图像识别关节点位中的点集具体为：

根据所述机器学习方式识别出所述红外图像中的关节点位中的特征点，将所述特征点作为关节点位中的点集；

进一步的，所述S300中的获取深度点集的步骤如下：

S310、根据所述红外图像或者设备自带深度计算算法得到所述红外图像对应的深度图像；

S320、获取所述S200中的点集的位置数据；

S330、根据所述位置数据获取深度图像对应的位置数据，提取深度图像中的相应位置处的深度点集。

进一步的，所述S400中的三维加速度信息和所述深度点集融合计算下一周期关节点位位置的具体计算方法为：

S410、将所述三维加速度信息对应的关节点与所述深度点集对应，并计算所述深度点集的三维几何重心位置；

S420、根据三维加速度信息计算所述三维几何中心位置在下一周期所在的位置。

进一步的，所述S400中根据获取的下一周期红外图像和三维加速度信息进行验证的方法为：

S430、根据上述方法计算下一周期红外图像中各个关节点位对应的深度点集；

S440、计算所述下一周期深度点集的三维几何重心位置；

S450、比较S420中得到的下一周期位置和S440中的三维几何重心位置；如果未超出设定阈值，则执行S470，如果超出设定阈值，则执行S460；

S460、获取到所述下一周期时间内的三维加速度信息，并将所述三维加速度信息数据进行拟合得到三维加速度变化趋势，将所述三维加速度变化趋势与标准姿势中的各个关节点位的三维加速度变化趋势对比；

S470、继续下一周期的计算。

所述标准姿势中的各个关节点位的三维加速度变化趋势来自对标准姿势三维加速度的学习。

进一步的，在S400后还执行以下步骤S500：

S510、根据多个关节的所述深度点集，得到3D骨架；

S520、将所述3D骨架与现有的动作库进行匹配，得到相似度最高的动作作为动作类别；

S530、将所述动作类别的各个关节点位的下一周期动作的变化趋势与所述S420中的下一周期所在位置对应的变化趋势比较，得到变化趋势匹配度；

S540、统计各个关节点位的变化趋势匹配度并作出动作是否标准的判断。

本发明还提供一种运动动作检测系统，包括：

数据采集模块，用于获取人体的红外图像和三维加速度信息；

关节识别模块，用于根据所述数据采集模块采集到的红外图像识别关节点位中的点集；

深度图像处理模块，用于获取所述点集对应的深度点集；

信息融合模块，用于将三维加速度信息和所述深度点集融合计算下一周期关节点位位置，并根据获取的下一周期红外图像和三维加速度信息进行验证。

进一步的，所述数据采集模块包括：具有红外拍摄功能的双目摄像头或者多目摄像头，以及具有无线通信功能的设置在人体关节上的三维加速度模块。

进一步的，所述关节识别模块还用于收集若干人体红外图像，将所述人体红外图像作为学习对象，在所述学习对象上，标注关节位置以及关节轮廓，并根据所述标注过的关节位置和关节轮廓取若干特征点；人工筛选出最能反映关节点位的特征点，将所述若干特征点作为所述关节点位中的点集。

进一步的，所述深度图像处理模块根据所述红外图像或者设备自带深度计算算法得到所述红外图像对应的深度图像；获取所述点集的位置数据；根据所述位置数据获取深度图像对应的位置数据，提取深度图像中的相应位置处的深度点集。

进一步的，所述信息融合模块将所述三维加速度信息对应的关节点与所述深度点集对应，并计算所述深度点集的三维几何重心位置；根据三维加速度信息计算所述三维几何中心位置在下一周期所在的位置。

本发明的有益效果：通过加入三维加速度信息，结合红外图像关节识别后的深度点集计算，减少了现有技术中进行姿态估计时的积分运算量，加快了数据处理速度；还能通过分析三维加速度变化趋势以及关节点位置变化趋势评判动作是否连贯和协调，实时给出评判，结合整体动作给出更全面的评判。

附图说明

图1为运动动作检测方法流程图；

图2为红外图像关节点集机器学习步骤图；

图3为获取深度点集的步骤图；

图4为计算下一周期关节点位位置的具体计算方法图；

图5为根据获取的下一周期红外图像和三维加速度信息进行验证图；

图6为判断动作是否标准的流程图；

图7为运动动作检测系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明可用于各项运动动作姿态的识别与检测，舞蹈或者武术动作的识别效果很好，包括但是不限于对少林拳，南拳，咏春，太极，八级，螳螂拳、古典舞、芭蕾舞、民族舞等武术舞蹈类项目的应用。

实施例1

本实施例提供一种运动动作检测方法，如图1所示，包括如下步骤：

S100、获取人体的红外图像和三维加速度信息；

S200、根据所述红外图像识别关节点位中的点集；

S300、获取所述点集对应的深度点集；

S400、将三维加速度信息和所述深度点集融合计算下一周期关节点位位置，并根据获取的下一周期红外图像和三维加速度信息进行验证。

作为一种优选的实施方式，所述S100中的人体的红外图像获取方式为：通过具有红外拍摄功能的双目摄像头或者多目摄像头拍摄获得，所述三维加速度信息通过无线方式获取设置在人体关节上的三维加速度模块采集的人体运动信息。

作为一种优选的实施方式，如图2所示，在执行所述S200之前还执行红外图像关节点集机器学习步骤：

S10、收集若干人体红外图像，将所述人体红外图像作为学习对象；

S20、在所述学习对象上，标注关节位置以及关节轮廓；

S30、根据所述标注过的关节位置和关节轮廓取若干特征点；

S40、人工筛选出最能反映关节点位的特征点，将所述若干特征点作为所述关节点位中的点集。

作为一种优选的实施方式，所述S200中根据所述红外图像识别关节点位中的点集具体为：

根据所述机器学习方式识别出所述红外图像中的关节点位中的特征点，将所述特征点作为关节点位中的点集；

作为一种优选的实施方式，如图3所示，所述S300中的获取深度点集的步骤如下：

S310、根据所述红外图像或者设备自带深度计算算法得到所述红外图像对应的深度图像；

S320、获取所述S200中的点集的位置数据；

S330、根据所述位置数据获取深度图像对应的位置数据，提取深度图像中的相应位置处的深度点集。

作为一种优选的实施方式，如图4所示，所述S400中的三维加速度信息和所述深度点集融合计算下一周期关节点位位置的具体计算方法为：

S410、将所述三维加速度信息对应的关节点与所述深度点集对应，并计算所述深度点集的三维几何重心位置；

S420、根据三维加速度信息计算所述三维几何中心位置在下一周期所在的位置。

作为一种优选的实施方式，如图5所示，所述S400中根据获取的下一周期红外图像和三维加速度信息进行验证的方法为：

S430、根据上述方法计算下一周期红外图像中各个关节点位对应的深度点集；

S440、计算所述下一周期深度点集的三维几何重心位置；

S450、比较S420中得到的下一周期位置和S440中的三维几何重心位置；如果未超出设定阈值，则执行S470，如果超出设定阈值，则执行S460；

S460、获取到所述下一周期时间内的三维加速度信息，并将所述三维加速度信息数据进行拟合得到三维加速度变化趋势，将所述三维加速度变化趋势与标准姿势中的各个关节点位的三维加速度变化趋势对比；

S470、继续下一周期的计算。

所述标准姿势中的各个关节点位的三维加速度变化趋势来自对标准姿势三维加速度的学习。

作为一种优选的实施方式，如图6所示，在S400后还执行判断动作是否标准的步骤S500：

S510、根据多个关节的所述深度点集，得到3D骨架；

S520、将所述3D骨架与现有的动作库进行匹配，得到相似度最高的动作作为动作类别；

S530、将所述动作类别的各个关节点位的下一周期动作的变化趋势与所述S420中的下一周期所在位置对应的变化趋势比较，得到变化趋势匹配度；

S540、统计各个关节点位的变化趋势匹配度并作出动作是否标准的判断。

实施例2

本实施例提供一种运动动作检测系统，如图7所示，所述系统包括：

数据采集模块1，用于获取人体的红外图像和三维加速度信息；

关节识别模块2，用于根据所述数据采集模块采集到的红外图像识别关节点位中的点集；

深度图像处理模块3，用于获取所述点集对应的深度点集；

信息融合模块4，用于将三维加速度信息和所述深度点集融合计算下一周期关节点位位置，并根据获取的下一周期红外图像和三维加速度信息进行验证。

所述数据采集模块1包括：具有红外拍摄功能的双目摄像模块1-1或者多目摄像模块，以及具有无线通信功能的设置在人体关节上的三维加速度模块1-2。

作为一种优选的实施方式，所述关节识别模块2还用于收集若干人体红外图像，将所述人体红外图像作为学习对象，在所述学习对象上，标注关节位置以及关节轮廓，并根据所述标注过的关节位置和关节轮廓取若干特征点；人工筛选出最能反映关节点位的特征点，将所述若干特征点作为所述关节点位中的点集。

作为一种优选的实施方式，所述深度图像处理模块3根据所述红外图像或者设备自带深度计算算法得到所述红外图像对应的深度图像；获取所述点集的位置数据；根据所述位置数据获取深度图像对应的位置数据，提取深度图像中的相应位置处的深度点集。

作为一种优选的实施方式，所述信息融合模块4将所述三维加速度信息对应的关节点与所述深度点集对应，并计算所述深度点集的三维几何重心位置；根据三维加速度信息计算所述三维几何中心位置在下一周期所在的位置。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。