一种基于关节四元数的人体分类方法及装置

技术领域

本发明涉及人体分类技术领域，更具体地说，它涉及一种基于关节四元数的人体分类方法及装置。

背景技术

视觉处理系统是人类用以观测和感知外界的主要工具。当今社会，伴随着计算机处理能力不断地提高，工程师们希望计算机代替人类的双眼和大脑能够像人一样对外界事物、客观世界进行认知、观察以及交互，这便要求计算机具有人类视觉处理系统的几乎所有的能力。由于计算机硬件处理能力不断提高，同时计算机视觉技术也在突飞猛进地发展，这一期望更接近变成现实。计算机视觉技术研究的主要内容是，如何利用计算机视觉技术解决以人为中心的相关问题，包括人体检测与跟踪、人脸识别、人体运动分析等。

对于复杂混乱的背景，人体常常受障碍物以及其它非被测人体的遮挡，因此人体运动特征的提取变得比较困难。运动具有复杂性，并且对于存在肢体遮挡的姿态运动来说，如何保证运动特征能够被准确的、尽量实时的被提取和跟踪也是一个值得研究的问题。

在行为训练过程中，训练样本通常是在有限制条件的实验条件下采集的，但是，当在现实场景中使用相同方案进行的行为识别时，由于受光照、噪声等环境因素的影响，训练样本不能很好地贴近现实环境，因此行为识别的准确程度以及算法稳健程度会有所下降。除此之外，算法的快速性也受人体运动的复杂程度、特征信息预处理复杂程度所影响。因此，如何提高运动人体行为识别算法的准确性、鲁棒性、快速性，提高系统性能并降低系统的计算代价也是研究的难题之一。

发明内容

本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的一是提供一种准确性高、鲁棒性好的基于关节四元数的人体分类方法。

本发明的目的二是提供一种准确性高、鲁棒性好的基于关节四元数的人体分类装置。

为了实现上述目的一，本发明提供一种基于关节四元数的人体分类方法，包括：

对运动视频中的各个运动人体进行检测和分割得到各分割帧及运动人体的三维人体骨架；

建立标准体型库，利用标准体型库对所述三维人体骨架进行填充得到验证人体及验证帧，将验证帧内的验证人体与分割帧内的运动人体比对，若验证人体的区域与运动人体的区域重合，则保留该分割帧及运动人体的三维人体骨架；否则忽略该分割帧及运动人体的三维人体骨架；

根据所述三维人体骨架的三维信息计算得到左腿膝关节、右腿膝关节、其中一个肘关节的关节四元数；

在所述关节四元数中选取五个参数组成特征向量

M[LKga,RKga,Ea,LKa,RKa]，其中，LKga、RKga分别代表左膝盖旋转角度斜率的平均值以及右膝盖旋转角度斜率的平均值，Ea代表了采样周期内肘关节的旋转平均值，LKa、RKa分别代表左膝盖旋转角度的平均值和右膝盖旋转角度的平均值；

根据所述特征向量M对所述运动视频中的运动人体进行运动分类识别出步行或跑步结果。

作为进一步地改进，计算膝关节的关节四元数的过程为：

取大腿顶端关节点坐标(x

将向量V1、向量V2归一化处理：

将向量V1

axis(1)＝(y

axis(2)＝(z

axis(3)＝(x

对所述旋转轴向量axis归一化处理得到归一化axis

其中，W表述物体坐标系下的旋转角度信息，通过反余弦变换即可得到旋转弧度，

进一步地，所述其中一个肘关节为靠近图像采集设备的肘关节。

进一步地，对运动视频中的各个运动人体进行检测和分割包括：

对所述运动视频进行片段分割得到各视频帧；

对各视频帧内的各个运动人体的人体区域进行分割得到各人体图像；

建立各人体图像的三维人体骨架；

根据相邻两视频帧的三维人体骨架计算关键帧距离，并根据所述关键帧距离对所述运动视频分割得到分割帧及对应的三维人体骨架。

进一步地，还包括通过隐马尔可夫模型对各所述分割帧的关节四元数进行训练，并识别异常行为。

为了实现上述目的二，本发明提供一种基于关节四元数的人体分类装置，包括视频获取模块、分割模块、分类识别模块、输出模块；

所述视频获取模块用于获取运动视频，并发送至所述分割模块；

所述分割模块用于将所述运动视频分割得到分割帧及对应的三维人体骨架；并发送至所述分类识别模块、所述输出模块；

所述分类识别模块根据上述的方法识别出步行或跑步结果，并发送至所述输出模块，所述输出模块用于将所述识别结果、分割帧的三维人体骨架显示输出。

作为进一步地改进，所述视频获取模块为Kinect深度摄像头。

有益效果

本发明与现有技术相比，具有的优点为：

本发明通过获取运动人体的关节四元数，关节四元数中选取五个参数组成特征向量M来分类识别出步行或跑步结果，准确性高、鲁棒性好，识别速度快。

附图说明

图1为本发明的流程图；

图2为本发明中膝关节角度转换的示意图；

图3为本发明中关节点的选择图；

图4为本发明中实时显示人体骨架的示意图；

图5为本发明中训练样本行为的示意图；

图6为本发明中测试样本行为的示意图；

图7为本发明中多目标人体骨架的示意图；

图8为本发明中正常行为/异常行为的人体骨架的示意图；

图9为本发明中基于视频帧间距离分割模型整体流程图；

图10为本发明中帧间距离曲线的示意图；

图11为本发明中DBKF算法的结果图。

具体实施方式

下面结合附图中的具体实施例对本发明做进一步的说明。

参阅图1-11，一种基于关节四元数的人体分类方法，包括：

对运动视频中的各个运动人体进行检测和分割得到各分割帧及运动人体的三维人体骨架；

建立标准体型库，建立标准体型库是根据一个国家或地区的建康人体标准建立，如身高、体重、腰围等都是有对应标准的参考值，利用标准体型库对所述三维人体骨架进行填充得到验证人体及验证帧，将验证帧内的验证人体与分割帧内的运动人体比对，若验证人体的区域与运动人体的区域重合，则保留该分割帧及运动人体的三维人体骨架；否则忽略该分割帧及运动人体的三维人体骨架；可以过滤掉三维人体骨架不准确或误差大的分割帧，从而提高分类精度；

根据三维人体骨架的三维信息计算得到左腿膝关节、右腿膝关节、其中一个肘关节的关节四元数；其中一个肘关节为靠近图像采集设备的肘关节；

在关节四元数中选取五个参数组成特征向量M[LKga,RKga,Ea,LKa,RKa]，其中，LKga、RKga分别代表左膝盖旋转角度斜率的平均值以及右膝盖旋转角度斜率的平均值，Ea代表了采样周期内肘关节的旋转平均值，LKa、RKa分别代表左膝盖旋转角度的平均值和右膝盖旋转角度的平均值；

根据特征向量M对运动视频中的运动人体进行运动分类识别出步行或跑步结果。

人类行走步态是一个典型的循环,膝关节的角度展示如图2。通过观察视频中人们跑步和步行的姿势发现，这两种运动的主要区别在于下肢尤其是膝关节的运动,所以选择膝关节的主要特征点来区分这两个运动姿势。旋转接头的表达点显示在图3,假设从原点到Y轴的方向是相机拍摄,然后选择左手肘和膝盖转动信息。

正常健康的成年人的步态特征不同的年龄组对不同组样本的步态周期内的表现数据进行了对比试验，试验结果可以分析出，不同年龄段不同性别的成人在行走过程中膝关节所表现出的旋转角度特性是一致的，见表格1。由此也可以证明在本发明专利中，选取膝关节为主要参考关节点的可信度。

表1

以膝关节为例，阐述每一帧图像中如何获取关节点四元数，并生成特征点参数化时间序列的过程。四元数可以直观地表示姿态信息，固定的长度十分适用于在关键帧之间进行线性插值，利用四元数进行人体姿态识别并逐渐建立姿态数据库，可以用于进行的虚拟人物姿态仿真控制。

计算膝关节的关节四元数的过程为：

取大腿顶端关节点坐标(x

将向量V1、向量V2归一化处理：

将向量V1

axis(1)＝(y

axis(2)＝(z

axis(3)＝(x

对旋转轴向量axis归一化处理得到归一化axis

其中，W表述物体坐标系下的旋转角度信息，通过反余弦变换即可得到旋转弧度，

如图4所示是利用VS中的WPF模型做出的实时显示人体骨架以及特征关节四元数信息的控件，测试者分别处于步行和跑步的姿态，每幅图中的四元数如

表2所示，其中L代表左边，R代表右边。

表2

从表格2可以看出，在每帧图片中选取的三个特征点所包含四元数数据共有12个参数，利用Kinect sensor的采集速度为30帧/秒，可以得到成人的步频大概是95-125步/分钟，换算可以得到一个步行周期所需的时间为0.96-1.263秒，则在一个步行周期内Kinectsensor将采集到28-38个连续动作帧。也就是说，如果使用全部的参数化时间序列，每个步行周期内将有336-456个参数当作某一样本的特征向量去利用支持向量机去做姿态识别。在试验过程中，证明了这种方法是可以进行姿态识别的，但是很明显的是要承受很高的计算复杂度的。为了降级计算复杂度，每个样本仅仅取个带有五个参数的特征向量来进行姿态的区分识别工作，也得到了良好的实验效果。即在关节四元数中选取五个参数组成特征向量M[LKga，RKga，Ea，LKa，RKa]，其中前两个参数LKga、RKga分别代表，左膝盖旋转角度斜率的平均值以及右膝盖旋转角度斜率的平均值，选取斜率的是一个重要的举措，因为为了大量减少参数的数量，取平均数是一个有效的举措，但是如果单纯的取平均数的话，就忽略了时间这一重要的变量，而对于具有周期性特征的步行以及跑步姿态，时间是一个重要的参考变量。第三个参数Ea代表了采样周期内左肘部或者右肘部的旋转平均值，主要作用是辅助区分慢跑和快走这两个下肢运动极其相似的运动姿态。LKa、RKa则代表了左膝盖旋转角度的平均值和右膝盖旋转角度的平均值。

由于所选特征点的旋转信息几乎不受年龄与性别因素影响，因此本发明专利中选取成年女性的步态姿势作为训练样本。样本中正常步行40份，快走20份，慢跑40份，正常跑步20份，在120份样本中，测试者均以侧身面对摄像头，侧身方向是随机的。每个样本约4s，由于步行速率是随机的，因此每个样本中随机含有至少1.5个步态周期。训练样本如图5所示，训练关节四元数数据如表3所示。

表3

测试样本与训练集的训练人员完全独立，其中包括步行25份，跑步25份。测试样本如图6所示。

本发明中，实验仪器使用Kinect for windows V2深度传感器，传感器均以垂直于测试者行走方向摆放。视频图像处理及深度图像、骨架、旋转信息获取与处理使用VS编程工具在C#环境下配以WPF模块，SVM模型训练及行为识别使用MATLAB平台。

随机选择姿态测试样本数据库中的样本作为测试样本进行识别。进行测试的多目标人体骨架如图7所示。结果表明，凭借支持向量机算法在二值分类问题上的完美表现以及关节四元数对人体运动行为的精简、准确的表达，在实验环境下，利用关节四元数作为特征对走、跑这两个简单运动行为进行识别，平均准确率高达98％以上。

对运动视频中的各个运动人体进行检测和分割包括：

对运动视频进行片段分割得到各视频帧；

对各视频帧内的各个运动人体的人体区域进行分割得到各人体图像；

建立各人体图像的三维人体骨架；

根据相邻两视频帧的三维人体骨架计算关键帧距离，并根据关键帧距离对运动视频分割得到分割帧及对应的三维人体骨架。

取相邻两视频帧的骨架图像的膝关节角度差的绝对值得到时间距离：

DIFFKneeAngle(i)＝|KneeAngle(i+1)-KneeAngle(i)|；

取相邻两视频帧的骨架图像的脊柱中点三维坐标X轴坐标值之差的绝对值得到空间距离：

DIFFSpinZ(i)＝|SpinZ(i+1)-SpinZ(i)|；

利用归一化方法：

分别将时间距离、空间距离转换到(0，1)之间得到diffKneeAngle(i)、diffSpinZ(i)；

计算关键帧距离DBKF＝diffKneeAngle(i)+diffSpinZ(i)，并根据关键帧距离DBKF制作帧间距离曲线，如图10所示，获取所述帧间距离曲线的极值P；

设置过滤值F，计算极值放大值G＝(P-F)

设置分割阈值，当帧间距离曲线的相邻两个极值放大值G之间的差值的绝对值大于或等于分割阈值时作为连续动作的分割点，根据分割点得到分割帧骨架图像，并得到分割帧骨架图像如图11所示，可以减少分割点的数量，减少动作幅度过小的视频帧，从而高效分割复杂动作。

对人体区域进行分割包括两种方式：第一种方式为采用小波分析法通过预先检测到的人脸颜色分布对视频帧内的待测人脸区域进行预测定位，然后采用区域生长法分割出全部人体图像；

第二种方式为先完成人体图像模型的构建，再根据人体图像模型并结合图像分割方法，进一步利用人体区域的匹配的方法分割出人体图像。

第二种方式包括：利用多个实验样本预先在朴素贝叶斯框架下根据头部、身体主干和四肢的表征构建三维人体模型；然后利用此三维人体模型对图像中的人体区域进行分割；最后使用求解最优化参数的方法获得人体轮廓边界；在人体数据库基础上利用GrabCut分割算法实现人体分割。

本发明还包括通过隐马尔可夫模型对各分割帧的关节四元数进行训练，并识别异常行为。正常行为规定为步行或跑步，与此对应的异常行为设定为跳跃、下蹲等不合理或不常见的人体动作行为，通过隐马尔可夫模型可以有效识别异常行为，如图8所示。

一种基于关节四元数的人体分类装置，包括视频获取模块、分割模块、分类识别模块、输出模块；

视频获取模块用于获取运动视频，并发送至分割模块；

分割模块用于将运动视频分割得到分割帧及对应的三维人体骨架；并发送至分类识别模块、输出模块；

分类识别模块根据上述方法识别出步行或跑步结果，并发送至输出模块，输出模块用于将识别结果、分割帧的三维人体骨架显示输出。

视频获取模块为Kinect深度摄像头。

采用Kinect深度摄像机的优点在于对周边环境光照条件要求不高；对颜色和纹理不敏感，可以解决姿态轮廓的模糊性，简化了背景去除的预处理环节。本发明定义了深度图像的帧间距离，提出基于视频帧间距离(DBKF)的运动人体行为分割算法，基于人体三维空间内的旋转数据，构建人体帧间关节旋转差为时间距离，脊柱重点帧间位置差为空间距离，实现了简单方便的单一运动目标的连续动作分割，准确性高、鲁棒性好。

本发明通过获取运动人体的关节四元数，关节四元数中选取五个参数组成特征向量M来分类识别出步行或跑步结果，准确性高、鲁棒性好，识别速度快。

以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。