人体下肢运动模式实时分类方法及系统

技术领域

本发明涉及人体运动模式实时分类技术领域，具体地，涉及人体下肢运动模式实时分类方法及系统。

背景技术

人体下肢运动实时识别是可穿戴机器人(尤其是下肢外骨骼)人机交互控制的重要技术，可广泛应用于医疗保健、军事、劳动保护等领域，近年来受到学术界和工业界的广泛关注。由于人的运动(如步行、跑步和跳跃)具有不同的运动学和动力学特性，穿戴式机器人需要及时判断受试者的运动类型，从而达到助力的目的。人体下肢运动的实时识别就起到了这样的作用。

该领域的研究已拥有较多的科研成果，涉及不同的传感器、算法。

最常用的传感器有IMU、压力鞋垫和肌电传感器(EMG)。IMU和压力鞋垫测量已经很容易产生高精度的运动信号。肌电图估计的肌肉力量或扭矩可以用来预测肢体运动，但目前的解决方案仍然缺乏再现性。利用多传感器技术和信号融合可以很好地提高分类精度，但特征提取或分类的计算成本会增加。

特征提取是另一个研究重点。传统的频域特征虽然可以较好地描述运动特征，但需要较长的信号采样时间，往往多于一个步态周期，会引入不可接受的延时；机器视觉领域提出的人体运动特征描述具有一定的创新性且可以提高分类精度，但描述特征复杂，并不适用于运算性能不高的可穿戴系统；而当前给外骨骼系统做实时运动分类的方法也存在分类复杂度不高，各类数据较单一等问题。

专利文献CN111506190A(申请号：202010245346.3)公开了一种基于肌电的人体运动意图实时连续预测方法。所述方法具体为:提取人体单侧下肢EMG信号和IMU信号，设定评价阈值；分别选择大腿和小腿任意一个电极采集到的IMU信号，通过下肢运动学解算算法求得当前时刻膝关节角度；采用滑动时间窗法对下肢EMG信号和当前时刻膝关节角度进行重采样；建立五个相同网络结构的LSTM角度预测器，与实时膝关节角度进行对比，得到评价标准均方根误差RMSE，当评价标准均方根误差RMSE小于设定的阈值时，预测器输出角度准确。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种人体下肢运动模式实时分类方法及系统。

根据本发明提供的一种人体下肢运动模式实时分类方法，包括：

步骤S1：确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位，进行人体运动试验，并拍摄慢动作视频，IMU传感器采集腰部随体加速度、腰部角速度、腰部姿态矩阵、左右小腿的角速度以及左右小腿的姿态矩阵；

步骤S2：基于IMU传感器采集到的数据经过坐标变换获得左右小腿相对于腰部的角速度和IMU之间的相对旋转量的特征数据，并利用IMU传感器采集的特征数据描述人体的下肢运动；

步骤S3：基于拍摄的慢动作视频对IMU传感器采集到的腰部随体加速度、随体角速度、左右小腿相对于腰部的角速度和IMU之间的相对旋转量标注数据标签；

步骤S4：将人体下肢运动根据运动类别、水平运动方向以及竖直运动方向分解为不同运动子类；

步骤S5：针对不同运动子类，从特征数据中提取相对应的特征分量训练对应的基于SVM的分类器，得到训练后的SVM分类器；

步骤S6：利用训练后的SVM分类器进行实时运动模式识别。

优选地，所述步骤S1中确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位包括：利用IMU传感器采集人体在站立时各个IMU的姿态矩阵，使用计算Karcher Mean的算法在SO(3)流形上解算姿态矩阵的平均偏移量，以达到人在站立时，腰部IMU坐标系的X、Z轴分别与竖直向上方向、人体正前方对齐，左右小腿上的IMU坐标系与腰部IMU的坐标系对齐。

优选地，所述步骤S2中IMU之间的相对旋转量使用so(3)坐标描述。

优选地，所述步骤S4中运动类别包括：站立、行走、跑步和跳跃；

所述水平运动方向包括：直行、转体左转、跨步左转、转体右转和跨步右转；

所述竖直运动方向包括：平地、上行和下行。

优选地，所述步骤S5中对应的基于SVM的分类器包括：运动类别分类器、水平运动方向分类器和竖直运动方向分类器。

根据本发明提供的一种人体下肢运动模式实时分类系统，包括：

模块M1：确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位，进行人体运动试验，并拍摄慢动作视频，IMU传感器采集腰部随体加速度、腰部角速度、腰部姿态矩阵、左右小腿的角速度以及左右小腿的姿态矩阵；

模块M2：基于IMU传感器采集到的数据经过坐标变换获得左右小腿相对于腰部的角速度和IMU之间的相对旋转量的特征数据，并利用IMU传感器采集的特征数据描述人体的下肢运动；

模块M3：基于拍摄的慢动作视频对IMU传感器采集到的腰部随体加速度、随体角速度、左右小腿相对于腰部的角速度和IMU之间的相对旋转量标注数据标签；

模块M4：将人体下肢运动根据运动类别、水平运动方向以及竖直运动方向分解为不同运动子类；

模块M5：针对不同运动子类，从特征数据中提取相对应的特征分量训练对应的基于SVM的分类器，得到训练后的SVM分类器；

模块M6：利用训练后的SVM分类器进行实时运动模式识别。

优选地，所述模块M1中确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位包括：利用IMU传感器采集人体在站立时各个IMU的姿态矩阵，使用计算Karcher Mean的算法在SO(3)流形上解算姿态矩阵的平均偏移量，以达到人在站立时，腰部IMU坐标系的X、Z轴分别与竖直向上方向、人体正前方对齐，左右小腿上的IMU坐标系与腰部IMU的坐标系对齐。

优选地，所述模块M2中IMU之间的相对旋转量使用so(3)坐标描述。

优选地，所述模块M4中运动类别包括：站立、行走、跑步和跳跃；

所述水平运动方向包括：直行、转体左转、跨步左转、转体右转和跨步右转；

所述竖直运动方向包括：平地、上行和下行。

优选地，所述模块M5中对应的基于SVM的分类器包括：运动类别分类器、水平运动方向分类器和竖直运动方向分类器。

与现有技术相比，本发明具有如下的有益效果：

1、本发明使用的特征维数较低，便于移植到算力较低的可穿戴机器人(如外骨骼)控制系统中；

2、本发明所需的特征量都是瞬态量，而且对信号处理的窗长要求不高，不会造成较高的延时；(比如IMU的采样频率是100HZ，该算法只需4个采样周期的数据算个平均值就能得到特征量，该情况下的延时就是20ms)；

3、本发明总体分类的复杂度和精度都比较高；

4、本发明具有传感器安装方便，实时性好，可处理较复杂的数据，分类精度高等特点，可应用于下肢外骨骼系统的运动模式在线识别。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为人体下肢运动模式实时分类方法流程图；

图2为传感器布置图；

图3为运动特征描述图；

图4为试验场地图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种人体下肢运动模式实时分类方法，包括：

步骤S1：确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位，进行人体运动试验，并拍摄慢动作视频，IMU传感器采集腰部随体加速度、腰部角速度、腰部姿态矩阵、左右小腿的角速度以及左右小腿的姿态矩阵；

步骤S2：基于IMU传感器采集到的数据经过坐标变换获得左右小腿相对于腰部的角速度和IMU之间的相对旋转量的特征数据，并利用IMU传感器采集的特征数据描述人体的下肢运动；

步骤S3：基于拍摄的慢动作视频对IMU传感器采集到的腰部随体加速度、随体角速度、左右小腿相对于腰部的角速度和IMU之间的相对旋转量标注数据标签；

步骤S4：将人体下肢运动根据运动类别、水平运动方向以及竖直运动方向分解为不同运动子类；

步骤S5：针对不同运动子类，从特征数据中提取针对不同子类运动对应的特征分量训练对应的基于SVM的分类器，得到训练后的SVM分类器；

步骤S6：利用训练后的SVM分类器进行实时运动模式识别。

具体地，所述步骤S1中确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位包括：利用IMU传感器采集人体在站立时各个IMU的姿态矩阵，使用计算Karcher Mean的算法在SO(3)流形上解算姿态矩阵的平均偏移量，以达到人在站立时，腰部IMU坐标系的X、Z轴分别与竖直向上方向、人体正前方对齐，左右小腿上的IMU坐标系与腰部IMU的坐标系对齐。

具体地，所述步骤S2中IMU之间的相对旋转量使用so(3)坐标描述。

具体地，所述步骤S4中运动类别包括：站立、行走、跑步和跳跃；

所述水平运动方向包括：直行、转体左转、跨步左转、转体右转和跨步右转；

所述竖直运动方向包括：平地、上行和下行。

针对不同大类的运动，选择不同的特征训练对于的基于支持向量机(SVM)的分类器。最后将实时输入的数据放入各个分类器获得运动大类，并由这些运动大类确定当前下肢的具体运动模式。

具体地，所述步骤S5中对应的基于SVM的分类器包括：运动类别分类器、水平运动方向分类器和竖直运动方向分类器，并通过上述3个分类器的分类结果，组合成复杂的运动类别。

根据本发明提供的一种人体下肢运动模式实时分类系统，包括：

模块M1：确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位，进行人体运动试验，并拍摄慢动作视频，IMU传感器采集腰部随体加速度、腰部角速度、腰部姿态矩阵、左右小腿的角速度以及左右小腿的姿态矩阵；

模块M2：基于IMU传感器采集到的数据经过坐标变换获得左右小腿相对于腰部的角速度和IMU之间的相对旋转量的特征数据，并利用IMU传感器采集的特征数据描述人体的下肢运动；

模块M3：基于拍摄的慢动作视频对IMU传感器采集到的腰部随体加速度、随体角速度、左右小腿相对于腰部的角速度和IMU之间的相对旋转量标注数据标签；

模块M4：将人体下肢运动根据运动类别、水平运动方向以及竖直运动方向分解为不同运动子类；

模块M5：针对不同运动子类，从特征数据中提取相对应的特征分量训练对应的基于SVM的分类器，得到训练后的SVM分类器；

模块M6：利用训练后的SVM分类器进行实时运动模式识别。

具体地，所述模块M1中确定腰部IMU、左小腿IMU和右小腿IMU的姿态零位包括：利用IMU传感器采集人体在站立时各个IMU的姿态矩阵，使用计算Karcher Mean的算法在SO(3)流形上解算姿态矩阵的平均偏移量，以达到人在站立时，腰部IMU坐标系的X、Z轴分别与竖直向上方向、人体正前方对齐，左右小腿上的IMU坐标系与腰部IMU的坐标系对齐。

具体地，所述模块M2中IMU之间的相对旋转量使用so(3)坐标描述。

具体地，所述模块M4中运动类别包括：站立、行走、跑步和跳跃；

所述水平运动方向包括：直行、转体左转、跨步左转、转体右转和跨步右转；

所述竖直运动方向包括：平地、上行和下行。

针对不同大类的运动，选择不同的特征训练对于的基于支持向量机(SVM)的分类器。最后将实时输入的数据放入各个分类器获得运动大类，并由这些运动大类确定当前下肢的具体运动模式。

具体地，所述模块M5中对应的基于SVM的分类器包括：运动类别分类器、水平运动方向分类器和竖直运动方向分类器，并通过上述3个分类器的分类结果，组合成复杂的运动类别。

实施例2是实施例1的变化例

针对现有技术的不足，本发明提供了一种人体下肢运动模式实时分类方法，该方法使用的传感器较少，安装简单，实时性好，能通过大类分类器准确地粗分类型繁多的运动，并通过这些粗分类器的组合实现复杂度更高的运动分类。

为实现这一目的，本发明选用了3个IMU传感器，布置在腰部和左右小腿，如附图2所示。在确定各个IMU的姿态零位以后，进行人体运动试验，让人体做出多种下肢运动，并拍摄慢动作视频作为打标签的参考。完成数据的采集后，将从3个IMU得到的姿态、角速度和从固定在腰部的IMU得到的加速度数据使用公式(4)(5)转化成公式(6)-(8)形式的特征数据，特征数据中一部分被抽样出来当训练集，另一部分作为测试集，并使用部分数据作为训练集训练SVM分类器，再使用测试集的数据检验分类的效果。由于涉及的数据特征维度不高，且SVM分类模型较为简单，因此训练出的模型可以集成到外骨骼系统中。方法的整体流程如附图1所示。

在确定IMU的姿态零位时，需计算各个IMU的旋转偏移量

数据特征选择如图3所示。其中相对旋转使用so(3)坐标描述，解算形式如，相对角速度的解算如所示，

获得描述人体下肢运动的特征后，针对不同大类的分类任务，使用特征中不同的数据分量训练SVM分类器：

对第一大类(站立，行走，跑步，跳跃、跨越)，使用如下特征：

对于第二大类(直行，转体左转，跨步左转，转体右转，跨步右转)，使用如下特征：

对于第三大类(平地，上行，下行)，使用如下特征：

某些运动的起止关键帧定义如下：

行走、跑步按半步计，关键帧为某只脚面离地或者两次脚面离地的时间中点。

跳跃和跨越：下蹲至最低点开始，直至落地缓冲至最低点。

转弯按半步计，关键帧为某只脚面离地或者两次脚面离地的时间中点。

上下楼梯按步计，关键帧为两摆腿阶段的中点。

为添加数据标签，视频数据与IMU数据的离线同步方式如下：让受试者在每次开始记录数据时沿侧向抬高左腿，取视频中左腿的最高点和IMU数据中旋转矩阵R

实施例3是实施例1和/或2的变化例

使用3个型号为Xsens MTw的无线IMU传感器，将采样频率设为120Hz，并按照附图2b)的方式将IMU固定在受试者身上。试验场地如附图4，其中图4a)用于采集平地实验的数据，图中实线圆轨迹的直径为4m，虚线直线轨迹的轮廓尺寸约为4.5m×4m；图4b)用于采集上下楼梯的实验数据，楼梯共15阶，每阶的高度约为16cm，深度约为28cm。

让受试者依次完成下述动作：

1.沿着方形轮廓的对角线直走，重复3次；

2.沿着方形轮廓的对角线跑步，重复3次；

3.双脚朝上跳，重复3次；

4.双脚朝前跳，重复3次；

5.单脚跨越，左右各重复3次；

6.绕圆轨迹左转走3周，重复1次；

7.绕圆轨迹右转走3周，重复1次；

8.绕圆轨迹左转跑3周，重复1次；

9.绕圆轨迹右转跑3周，重复1次；

10.绕方形轮廓跨步式左转走3周，重复1次；

11.绕方形轮廓转体式左转走3周，重复1次；

12.绕方形轮廓跨步式右转走3周，重复1次；

13.绕方形轮廓转体式右转走3周，重复1次；

14.上楼梯，重复2次；

15.下楼梯，重复2次。

16.站立10s。

而后针对每个受试者的数据按照发明内容中描述的方式处理数据，为提高数据的稳定性，使用窗长为4的滑窗对数据进行滑动平均处理，再根据关键帧和给每一段数据打上3个大类的标签。训练某个分类器时，将每类数据各抽取1000个作为训练集，剩下的数据作为测试集，使用MATLAB的Classification Learner中的SVM分类器进行训练，并使用贝叶斯优化获得最优超参数，最后再使用测试集的数据检测模型，计算分类准确率和混淆矩阵，以评估分类器性能。测试了6个受试者，上述实验的分类效果如下表所示：

表1第一大类分类效果(准确率99％±0.56％)

表2第二大类分类效果(准确率98.62％±0.18％)

表3第三大类分类效果(准确率99.67％±0.26％)

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。