一种人体姿态识别方法

技术领域

本发明涉及姿态识别技术领域，特别涉及一种人体姿态识别方法。

背景技术

随着物联网、模式识别等技术的发展，可穿戴设备在市面上日渐流行，可以通过可穿戴设备进一步监测人体的状态，如AIOT设备，手环、手表等可穿戴传感器技术的飞速发展改变了对人类生活的监测情况。

得益于微电子技术的不断发展，可穿戴传感器在人类活动识别(Human ActivityRecognition，HAR)等现实世界中具有广泛的应用，这些应用程序包括安全监视系统、医疗保健监视、运动辅助、交互式3D游戏和智能家居。在安全方面，使用HAR系统检查不确定事件，包括战斗、跌倒和罢工等，采取安全措施来应对周围地区的暴力活动。在医疗保健监控中，可以分析患者的心率、身体运动、大脑活动和其他重要的健康数据，这些数据可以帮助他们检测正常或异常患者的行为。在智能家居中，则提供远程护理，例如儿童日托和老人活动监控。现在研究者们非常重视老年人的独居情况，尤其是跌倒检测，一旦发生可能造成严重的后果，及时的发现并且发送警报信息尤为重要。

目前市面上大多数的可穿戴设备，往往基于头部、手腕、腰部等vr设备、手环、腰带等，缺少基于足部的可穿戴设备对于人体的行为识别的研究。足部数据不同与其他部位，能够对于下肢敏感型的动作具有更高的分辨率。

人体行为识别是模式识别的一种，通过对传感器采集到的信息进行分析处理，最终实现人体动作的分类。但研究的难点在于人体的运动是一个复杂的过程，并非飞机、汽车等刚体，动作的种类比较复杂，且不同的人之间会存在差异性，因而人体上的行为识别还是存在很大的难点。

发明内容

本发明提供了一种人体姿态识别方法，其目的是为了提高姿态识别的准确度。

为了达到上述目的，本发明提供了一种人体姿态识别方法，包括：

步骤1，获取可穿戴设备上传的姿态数据；

步骤2，将姿态数据进行预置分类，得到非周期性姿态数据和周期性姿态数据，非周期性姿态数据包括第一加速度块信号数据和第一角速度块信号数据，周期性姿态数据包括第二加速度块信号数据、第二角速度块信号数据、加速度片信号数据和角速度片信号数据；

步骤3，将第一加速度块信号数据和第一角速度块信号数据进行分解，得到第一时序特征矩阵；

步骤4，将加速度片信号数据和角速度片信号数据分别输入第一残差网络和第二残差网络进行空间特征提取，得到空间特征矩阵，将第二加速度块信号数据和第二角速度块信号数据进行信号分解，得到第二时序特征矩阵，并将空间特征矩阵与第二时序特征矩阵进行融合，得到融合特征矩阵；

步骤5，将时序特征矩阵进行分类，得到第一姿态特征；

步骤6，将融合特征矩阵分别输入多个分类器进行分类，得到多个分类结果，并参考第一姿态特征，对多个分类结果进行投票，得到第二姿态特征；

步骤7，结合第一姿态特征和第二姿态特征对姿态数据进行判断，得到姿态识别结果。

进一步来说，步骤1包括：

设备终端以采样率为150Hz采集被测对象完成动作时的加速度和角速度，得到姿态数据。

进一步来说，步骤3包括：

对第一加速度块信号数据和第一角速度块信号数据进行离散小波变换；

将经离散小波变换后的第一加速度块信号数据和第一角速度块信号数据进行多层次的数据分解，得到多个信号细节系数；

利用多个信号细节系数对经离散小波变换后的第一加速度块信号数据和第一角速度块信号数据进行重构，得到第一重构信号数据；

将第一重构信号数据与数据块进行融合，得到第一数据块矩阵，并计算第一数据块矩阵的时序特征，得到第一时序特征矩阵。

进一步来说，步骤4包括：

对第二加速度块信号数据和第二角速度块信号数据进行离散小波变换；

将经离散小波变换后的第二加速度块信号数据和第二角速度块信号数据进行多层次的数据分解，得到多个信号细节系数；

利用多个信号细节系数对经离散小波变换后的第二加速度块信号数据和第二角速度块信号数据进行重构，得到第二重构信号数据；

将第二重构信号数据与数据块进行融合，得到第二数据块矩阵，并计算第二数据块矩阵的时序特征，得到第二时序特征矩阵；

基于三轴加速度和三轴角速度的多模融合特征，将加速度片信号数据和角速度片信号数据进行数据级融合，得到加速度矩阵和角速度矩阵；

将加速度矩阵输入第一残差网络进行空间特征提取，得到第一空间特征提取结果；

将角速度矩阵输入第二残差网络进行空间特征提取，得到第二空间特征提取结果，并采用主要成分分析对第二空间特征提取结果与第一空间特征提取结果进行压缩，得到空间特征矩阵；

将空间特征矩阵与第二时序特征矩阵进行融合，得到融合特征矩阵。

进一步来说，第一残差网络与第二残差网络均包括：第一权重层、第二权重层和输出层，第一权重层的输入端与输出层的输入端连接，第一权重层的输出端与第二权重层的输入端连接，第二权重层的输出端与输出层的输入端连接，第一残差网络中的第一权重层的输入端作为第一残差网络的输入端，第二残差网络中的第一权重层的输入端作为第二残差网络的输入端，第一残差网络中输出层的输出端作为第一残差网络的输出端，第二残差网络中的输出层的输出端作为第二残差网络的输出端。

进一步来说，可穿戴设备穿戴于足部，可穿戴设备包括：

传感器模块，用于采集被测对象完成动作时的加速度和角速度，得到姿态数据；

电源模块，用于保证设备终端的长期可靠运行；

处理模块，用于读取传感器采集的姿态数据并将其发送至上位机；

传感器模块的输入端与处理模块的输入端电连接，电源模块的输出端与处理模块的输入端电连接。

进一步来说，处理模块采用NodeMCU芯片，NodeMCU芯片搭载有ESP8266-WIFI芯片，用于实现处理模块与上位机之间的无线通信，将处理模块读取的姿态数据上传至上位机。

进一步来说，电源模块包括发射子模块、接收子模块和开关；

发射子模块的第一端与处理器的输入端连接，发射子模块的第二端与开关的第二端连接，开关的第一端与接收子模块的输出端连接，开关的第三端与处理模块的输入端连接。

进一步来说，传感器模块采用三轴加速度+三轴陀螺仪的传感器，芯片型号为MPU6050-GY521。

本发明的上述方案有如下的有益效果：

本发明通过获取设备终端上传的姿态数据；将姿态数据进行预置分类，得到非周期性姿态数据和周期性姿态数据；然后进行数据分解，得到第一时序特征矩阵；对周期性姿态数据进行空间特征提取，得到空间特征矩阵，并将空间特征矩阵与时序特征矩阵进行融合，得到融合特征矩阵；将时序特征矩阵进行分类，得到第一姿态特征；将融合特征矩阵进行分类，得到多个分类结果，并参考第一姿态特征进行投票，得到第二姿态特征；结合第一姿态特征和第二姿态特征对姿态数据进行判断，得到姿态识别结果；相较于现有技术来说，利用预置分类的方式得出周期性姿态数据和非周期性姿态数据，并分别提取周期性姿态数据和非周期性姿态数据的时序特征和空间特征，然后将时序特征和空间特征进行特征融合并分类，从而得到姿态识别结果，提高了人体姿态识别的准确度。

本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例的流程框图；

图3为本发明实施例中设备终端的模块原理图；

图4为本发明实施例中设备终端的电路原理图；

图5为本发明实施例中预置分类与特征提取的流程图；

图6为本发明实施例对于不同姿态的识别准确率的统计图；

图7为本发明实施例进行预置分类后与未进行预置分类的姿态识别对比图；

图8为本发明实施例采用加权随机森林与采用随机森林的姿态识别对比图；

图9为本发明实施例采用加速度和角速度融合与直接采用加速度或角速度进行姿态识别的对比图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明针对现有的问题，提供了一种人体姿态识别方法。

如图1所示，本发明的实施例提供了一种人体姿态识别方法，包括：

步骤1，获取可穿戴设备上传的姿态数据；

步骤2，将姿态数据进行预置分类，得到非周期性姿态数据和周期性姿态数据，非周期性姿态数据包括第一加速度块信号数据和第一角速度块信号数据，周期性姿态数据包括第二加速度块信号数据、第二角速度块信号数据、加速度片信号数据和角速度片信号数据；

步骤3，将第一加速度块信号数据和第一角速度块信号数据进行分解，得到第一时序特征矩阵；

步骤4，将加速度片信号数据和角速度片信号数据分别输入第一残差网络和第二残差网络进行空间特征提取，得到空间特征矩阵，将第二加速度块信号数据和第二角速度块信号数据进行信号分解，得到第二时序特征矩阵，并将空间特征矩阵与第二时序特征矩阵进行融合，得到融合特征矩阵；

步骤5，将时序特征矩阵进行分类，得到第一姿态特征；

步骤6，将融合特征矩阵分别输入多个分类器进行分类，得到多个分类结果，并参考第一姿态特征，对多个分类结果进行投票，得到第二姿态特征；

步骤7，结合第一姿态特征和第二姿态特征对姿态数据进行判断，得到姿态识别结果。

本发明实施例中，分类姿态包括静止姿态、走楼梯、平地行走、跑步、跳跃和摔跤6种，其中设定静止姿态、跳跃、摔跤为非周期性姿态，其中跳跃、摔跤只存在单独动作，并不具有单次动作的重复性，静止姿态不存在单次动作，只有一条平滑，没有起伏的直线；设定平地行走、跑步和上楼梯为周期性姿态，既具有单次动作、也具有单次动作的重复性，因此非周期性运动包含有单次动作的时序特征，周期性运动既包含单次动作的时序特征，同时包含多次动作的空间特征，空间特征作为周期性运动的独有特征，能够帮助周期性姿态的识别。

静止姿态属于六种姿态中最容易分辨的特征，静止姿态的数据特征对比其他姿态从加速度和角速度的时序图来看走呈现平稳状态，且数值都在0值附近振荡，加速度和角速度都变化不大，静止姿态在分类中存在的场景多，姿态数量较多，因此在分类中存在数据不平衡情况。

跳跃和摔跤这两种姿态是非周期性姿态，且是单次发生的动作，本发明实施例中所说的跳跃和摔跤都指单次动作，动作具有较大的随机发生性。

跳跃运动的加速度和角速度，可以看出不同的跳跃运动具有明显的随机性，且每个跳跃运动的力度和强度都有一定的不同，同时可以看出跳跃运动是在短时间内发生的，一般发生一个跳跃运动，其加速度在X，Y轴的振幅不超过±1g，但是Z轴方向上，跳跃运动会到达+2g，因为跳跃是一个正向上的运动，前跳跃的前期需要巨大的向上加速度以达到向上跳跃的目的，因此会导致Z轴正向有个+2g的加速度，而X，Z轴因为跳跃的形式不同，有向前和平地跳，因此X，Z轴的振幅并不具有泛化性，角速度方变化也没有明显特征。

摔跤与跳跃动作类似都是非周期运动，具有明显的随机出现性，且每次摔跤的倒向方向不同，因此每次摔跤也有不同之处，但是每次摔跤都是短时间发生的事一般发生在0.5s左右。摔跤动作的角速度在Y轴都是有一个很大的振幅，因为摔跤动作是倒地的动作，所以基于Y轴会有一个90度的幅度摔跤过程。

走楼梯、平地行走、跑步这三项运动都有一定的共同点也有区别之处。走楼梯、平地行走、跑步都是周期性运动，都在一定时间内重复某个相同的动作。因此可以从加速度和角速度的时序图中可以看出，在同一种运动姿态中的单次动作和下一次单次动作的时间距离相似。

走楼梯的姿态是周期性运动，走楼梯和平地行走的步频相似，大约在1分钟80步左右，相当于每个单次的动作间距0.7s-0.8s左右，且行走和楼梯的运动剧烈性也相同，区别于跑步运动，步频相当于单次动作之间的距离，属于动作的空间特征，因此对于周期性运动区分，空间特征有一定的帮助。走楼梯和行走的加速度振幅一般在±1g(最大振幅为±2g)，因此在周期运动中，走楼梯的足部数据与行走的足部数据相似，考虑到走楼梯的姿态在z轴总体是上升或者向下(上楼梯和下楼梯)，而行走姿态在z轴有抬腿和放下腿这二个子动作，但是行走在z轴的总体是不变的，因此行走与走楼梯在z轴有一定的区别。

行走运动就是一个平缓的周期性的运动，加速度和角度都具有一定的周期，不同的人行走速度和姿态不同，导致实验中的人群的行走数据有区别，但是大多数周期时间都是子0.6s-0.75s，每个人行走的时域图看出。加速度和角速度的振幅并不大。

跑步的加速度和角速度，可以看出虽然跑步也是周期性运动但是跑步的波峰波谷的周期距离与跳跃、行走、走楼梯有明显的区别，跑步是一项剧烈的运动，具有在短时间内的大振幅的改变，并且周期时间更短，实验中不同人的跑步速度不同，因此每个人的周期时间也不同，但是同一个人的周期时间相近，大多数人在0.2s-0.35s的区间内。而行走和楼梯的周期时间为0.7s-0.8s，因此跑步动作具有在周期时间上有一定的区分度。在加速度和角速度的振幅大小上也有区别，因为跑步的运动更剧烈性，加速度的振幅峰值一般会到达±2g，角速度的振幅峰值一般会到达±250度/s。

具体来说，如图2所示，第一残差网络与第二残差网络均包括：第一权重层、第二权重层和输出层，第一权重层的输入端与输出层的输入端连接，第一权重层的输出端与第二权重层的输入端连接，第二权重层的输出端与输出层的输入端连接，第一残差网络中的第一权重层的输入端作为第一残差网络的输入端，第二残差网络中的第一权重层的输入端作为第二残差网络的输入端，第一残差网络中的输出层的输出端作为第一残差网络的输出端，第二残差网络中的输出层的输出端作为第二残差网络的输出端。

具体来说，如图3所示，可穿戴设备穿戴于足部，可穿戴设备包括：

传感器模块，用于采集被测对象完成动作时的加速度和角速度，得到姿态数据；

电源模块，用于保证设备终端的长期可靠运行；

处理模块，用于读取传感器采集的姿态数据并将其发送至上位机；

传感器模块的输入端与处理模块的输入端电连接，电源模块的输出端与处理模块的输入端电连接。

具体来说，如图4所示，处理模块采用NodeMCU芯片，NodeMCU芯片搭载有ESP8266-WIFI芯片，用于实现处理模块与上位机之间的无线通信，将处理模块读取的姿态数据上传至上位机。

在本发明实施例中处理模块采用开源的物联网平台NodeMCU。NodeMCU搭载有ESP8266-WIFI芯片，NodeMCU是早期基于ESP8266二次封装中发展地最稳定好用的开发板之一。NodeMCU的二次封装包括了硬件、软件固件两部分，硬件上，NodeMCU在ESP8266的基础上增加了一些外围的USB串口电路。软件上，NodeMCU引入了轻量化的脚本语言Lua，支持事件驱动型API以及Arduino IDE开发。NodeMCU可以通过简单地接口调用，也能达到模块开启WIFI上网功能，能够搭建服务器，通过控制I/O口、PWM、定时器等实现物联网。本发明实施例中使用的NodeMCU通过Arduino编程能够接收传感器的数据并将其发送给上位机程序，NodeMCU专为移动设备，可穿戴电子产品和物联应用设计，也可以通过AT指令配置和单片机上的串口进行通信，通过WIFI进行数据传输。

具体来说，电源模块采用无线充电模块；无线充电模块分为发射子模块、接收子模块二个模块，接收子模块通过电磁线圈可以输出3.7V的稳定电压为设备终端供电或为锂电池充电；本发明实施例发射子模块使用的是3.7V锂电池，容量为1200毫安时，可以为设备终端供电约24-36小时，并能进行重复充电重复使用。

3.7V锂电池的第一端与NodeMCU芯片的GND引脚连接，3.7V锂电池的第二端与开关的第二端连接，开关的第一端与接收子模块的输出端连接，开关的第三端与NodeMCU芯片的Vin引脚连。

接收子模块具体包括：XKT-R2芯片、电阻R1、电阻R2、电阻R3、电阻R4、电阻R5、电阻R7、电容C1、电容C2、电容C3、开关管Q1、发光二极管D1、二极管D2、二极管D3和电感H1，XKT-R2芯片的第一引脚与发光二极管D1的阳极连接，发光二极管D1的阴极接地，XKT-R2芯片的第二引脚分别与开关管Q1的栅极、电阻R4的第一端连接，电阻R4的第二端分别开关管Q1的源极、电阻R3的一端、电容C1、二极管D2的阴极连接，开关管Q1的漏极分别与开关的第一端、电阻R1的一端连接，电容C1的另一端接地，二极管D2的阳极分别与二极管D3的阳极、电感H1的一端、电容C3的一端连接，二极管D3的阴极与电阻R7的一端连接，电阻R7的另一端分别与电容C2的第一端、电阻R5的一端、XKT-R2芯片的第五引脚连接，电感H1的另一端分别与电容C3的另一端、电容C2的另一端、电阻R5的另一端、XKT-R2芯片的第四引脚连接并接地，XKT-R2芯片的第三引脚分别与电阻R3的另一端、电阻R2的一端、电阻R1的另一端连接，电阻R2的另一端接地。

具体来说，传感器模块采用三轴加速度+三轴陀螺仪的传感器，芯片型号为MPU6050-GY521；它集成了3轴MEMS陀螺仪，3轴MEMS加速度计，具有全格感测范围为±250、±500、±1000与±2000°/sec的3轴角速度感测器(陀螺仪)以及±2g、±4g、±8g和±16g的3轴加速器和一个可扩展的数字运动处理器DMP(Digital Motion Processor)；使用方便，因此广泛应用于体育运动、无人机设备、AR/VR游戏和机器人等领域；NodeMCU通过arduino的编写程序在NodeMCU开发板通电时连接上位机，建立TCP连接。MPU6050-GY-521每秒读取150采样点，NodeMCU以3s为采样窗口，每个窗口中的采样点为450个。每收集到450*6个数据点，传输至上位机；MPU6050-GY-521芯片的第一引脚、第二引脚均与NodeMCU芯片的3.3V引脚、GND引脚连接，MPU6050-GY-521芯片的SCL引脚与NodeMCU芯片的D1引脚连接，MPU6050-GY-521芯片的SDA引脚与NodeMCU芯片的D2引脚连接。

本发明实施例中的设备终端可以是智能鞋，也可以是其他足部可穿戴设备，其大小为20cm*10cm*2cm，具有150hz采样率接收加速度、角速度、具有wifi传输数据至上位机功能、带有独立电源可提供长时间独立供电并且在设备闲置情况下可以通过无线充电给电源供电；目的为了实时且长时间的采集足部产生的角速度、加速度数据，传输数据至上位机，设备终端为上位机实现姿态识别提供硬件基础。

具体来说，步骤1包括：

设备终端以采样率为150Hz采集被测对象完成动作时的加速度和角速度，得到姿态数据。

具体来说，加速度存储在内存下标地址为0X3B，角速度存储在内存下标地址为0X43，从下标地址0X3B读取6个字节分别为A

a

a

a

g

g

g

其中的a

MPU6050-GY-521可以按150HZ采样率持续采集角速度和加速度，将采集到三个方向的加速度定义为a

/>

其中x、y、z表示三个方向，M为3*150个采样点。

随着MEMS微型电子设备的快速发展，传感器性能在不断提高，但是测量数据存在固有误差和测量误差，会影响后期的识别分类。因此，数据的预处理在流程中相当重要。

在本发明实施例中，需对进行预置分类之前的姿态数据进行预处理，预处理包括：数据去噪和数据归一化，收集的数据中的错误值和偏离值，数据中的噪声都会对行为分类模型的鲁棒性产生影响，常用的滤波的降噪方法如有巴特沃斯滤波、移动平均滤波、中值滤波等等，有效的降低测量中的噪声问题；本发明实施例采用的是巴特沃斯过滤器对数据进行去噪处理，巴特沃斯滤波器的特点是通频带内的频率响应曲线最大限度平坦；归一化(Normalization)是一种简化计算的方式。将特征数据以相同的测量单位表示，使用通用的刻度或范围。归一化赋数据同等的权重，因此，属性之间的比较与聚合更容易，数据的收敛条件更好，并提高了数据分析的效率。

本发明实施例中的6种姿态可以分为非周期性：跳跃、摔跤、静坐；周期性：行走、跑步、走楼梯二大类，基于上文的姿态种类和区分，姿态数据的不同性，通过预置分类器对归一化后的姿态数据进行预置分类，预置分类算法如图5所示，预置分类有助于后期的数据切割、空间特征的提取，以及分类的准确性；对于三轴加速度和三轴角速度采取滑动窗口，且窗口长度为3000采样点，窗口初始位置p

本发明实施例还需要对非周期性姿态数据和周期性姿态数据进行分割，对于非周期的姿态，提取出单次动作。

本发明实施例中对于单次动作时序片段统称为块信号，对于多次动作的集合的时序片段统称为片信号，对于周期性的姿态，既要截取出单次动作，获取动作时序特征，也要截取出单次动作的时序集合，提取姿态的空间特征。对于周期性姿态保存姿态数据，称为ACC片信号数据和GYRO片信号数据，片信号经过波峰切割，形成10个ACC块信号数据和GYRO块信号数据长度为200。对于非周期性运动中的跳跃和摔跤，截取波峰前240采样点和后260采样点，形成ACC块信号数据和GYRO块信号数据。如波峰数量阈值判断中为0，则将该姿态判断为静坐，将长3000的片信号分成5份ACC块信号数据和GYRO块信号数据。

具体来说，如图5所示，步骤3包括：

对第一加速度块信号数据和第一角速度块信号数据进行离散小波变换；

将经离散小波变换后的第一加速度块信号数据和第一角速度块信号数据进行多层次的数据分解，得到多个信号细节系数；

利用多个信号细节系数对经离散小波变换后的第一加速度块信号数据和第一角速度块信号数据进行重构，得到第一重构信号数据；

将第一重构信号数据与数据块进行融合，得到第一数据块矩阵，并计算第一数据块矩阵的时序特征，得到第一时序特征矩阵。

具体来说，步骤4包括：

对第二加速度块信号数据和第二角速度块信号数据进行离散小波变换；

将经离散小波变换后的第二加速度块信号数据和第二角速度块信号数据进行多层次的数据分解，得到多个信号细节系数；

利用多个信号细节系数对经离散小波变换后的第二加速度块信号数据和第二角速度块信号数据进行重构，得到第二重构信号数据；

将第二重构信号数据与数据块进行融合，得到第二数据块矩阵，并计算第二数据块矩阵的时序特征，得到第二时序特征矩阵；

基于三轴加速度和三轴角速度的多模融合特征，将加速度片信号数据和角速度片信号数据进行数据级融合，得到加速度矩阵和角速度矩阵；

将加速度矩阵输入第一残差网络进行空间特征提取，得到第一空间特征提取结果；

将角速度矩阵输入第二残差网络进行空间特征提取，得到第二空间特征提取结果，并采用主要成分分析对第二空间特征提取结果与第一空间特征提取结果进行压缩，得到空间特征矩阵；

将空间特征矩阵与第二时序特征矩阵进行融合，得到融合特征矩阵。

在本发明实施例中，第一时序特征矩阵和第二时序特征矩阵均由均值、中位数、方差、标准差、最大值、最小值、相关系数、过零点、信号幅值、信号矢量幅度、信号迁移率、信号复杂度、分形维数、功率谱熵、柯尔莫戈洛夫熵和香农熵组成。

具体来说，本发明实施例基于波峰数量的预置分类判断运动姿态的周期性以及对于数据的切割，详细实施如下：

通过获取起始位置P长度为3000采样点的去噪和归一化后ACC信号和GYRO信号，判断出长度3000采样点(20s内)的动作是否为周期性动作。对于判别为非周期性运动：如果存在的波峰数量为0，则认为20s内都是静止姿态，并将3000采样点分为6份、长度为500的块信号，并更新P值。如果存在波峰数为1的则认为是摔跤或者跳跃，并截取波峰前240采样点和后260采样点，并将P值置于波峰后800采样点。对于判别为周期性运动：对于每个波峰截取前140采样点和后160采样点形成块信号，计算各个波峰前后之间的距离，截取N＝20个波峰的块信号，并同时计算波峰之间距离，如果波峰与波峰之间的距离与前值的波峰距离差距过大，则将P更新片信号为当值，并截取片信号。

本发明实施例基于加速度和角速度的多模融合，以及基于残差网络的时空特征提取，详细实施如下：

将三轴的加速度信号ACC数据组成加速度矩阵，将三轴的角速度信号数据GYRO组成角速度矩阵。残差网络模型中存在二个权重层，输入的加速度矩阵和角速度矩阵经过二个权重层进行空间特征提取，同时，输入的ACC矩阵和GYRO矩阵利用跳线直接与输出层进行相接，通过获取经过权重层的特征以及ACC矩阵和GYRO矩阵的残差值，利用残差值反馈控制残差网络模型，提取更多的空间形态特征。提取出来的空间特征数量比较大，因此采用主要成分分析(PCA)对空间特征进行特征压缩和降维，生成空间特征矩阵F_space融合特征矩阵F_fusion＝{α·F_sequence,β·F_space}，其中α，β为经验参数。

由于特征数量越多特征信息也越多，但是特征过多增加了计算复杂度，导致信息的冗余，可能会抹杀事物内部规律，导致部分分类器对大量特征的分类识别效果不佳。因此，在本发明实施例中，通过特征降维，减少信息冗余是一个减少复杂度的方法。特征降维的主要目的是从原有的特征空间提取新的特征子集，新的特征子集相较于原本的特征维度更少，识别效果相同。

本申请中一共有二种特征矩阵：时间序列特征矩阵、空间序列特征矩阵。

对于时间序列特征举证的降维采用对时序举证进行分析，时序统计特征满足1.该特征在时序统计特征在所有的特征中，特征重要性排名前30％；2.该特征同时被三种不同的特征选择算法选择，单变量特征选择算法(UFS)、递归特征消除算法(RFE)、皮尔逊相关系数选择算法(PCCs)。

对于空间特征的特征降维主要采用了主成成分分析(PCA),对原本特征进行降维，再使用特征子集选择算法选择新的特征空间。

本发明实施例对于非周期性姿态的数据不平衡，提出的加权随机森林，具体实施如下：

给定一个包含n个样本的非周期姿态数据集合D，在非周期姿态数据集合D中的静止姿态样本数量远多于摔跤和跳跃，将数据集划分为训练集和测试集。

训练集中提取N个子训练集集，未被采样到的会形成包外样本(Out-Of-Bag)。

对于N个子集进行欠采样次，形成数据平衡的训练集，从而达到训练集中的三个类别样本数相同。

在N个平衡样本数下的训练集中，训练产生CART决策树{h

将每个CART决策数在OOB测试集上进行性能测试，得到每个OOB测试集上的F1-score：

每个决策树加权值

每个决策树的结果加权投票，最终每个决策树集合形成加权随机森林，表达式如下：

I(*)表示决策树分类正确时，输出为1，错误时，输出为0。

本发明实施例对于周期性运动的多分类器融合决策，具体实施如下：

训练支持向量机SVM，线性判别函数：

对于周期性运动产生的空间特征和时序特征的融合，经过三个分类器产生的结果进行投票，并参考片信号数据集合内块信号数据的时序特征产生的结果样本，最终产生周期性姿态数据对应的的姿态特征。

本发明实施例通过具体的实验进行技术效果演示：实验条件和数据具体情况：

实验人群为10人，6男4女，年龄分布在18-27岁。实验时统一将可穿戴设备放置于左脚脚尖。并且每个人都进行5分钟的静坐、5分钟的行走、5分钟的跑步、5分钟的走楼梯、5分钟的跳跃、模拟摔跤10次。将检测时收集到的数据进行切分成200采样点的采样窗口，并打上姿态标签；实验结果图如图5所示，从图6中可看出本发明所提供的方法，对于静止姿态、跳跃、摔跤、平地行走、走楼梯、跑步的姿态识别率分为98.8％，89.0％，91.0％，96.0％，96.5％，94.2％。从图7可看出，使用预置分类和不使用预置分类器对于各个姿态识别的准确率对比，从中可以看出预置分类器对于周期性的运动识别有很大的帮助。从图8可看出，由于静坐样本存在过多，导致不采用加权随机森林分类，会导致对于静坐姿态识别的过拟合，从而导致大多数样本被误识别为静坐，采用加权随机森林，对于摔跤和跳跃的识别率提升是巨大的。从图9可看出，多模融合融合了加速度和角速度的特征、单独的角速度特征、单独的加速度特征，对比发现多模融合加速度和角速度对于识别有提升。

由上可得出本发明实施例通过获取设备终端上传的姿态数据；将姿态数据进行预置分类，得到非周期性姿态数据和周期性姿态数据；然后进行数据分解，得到第一时序特征矩阵；对周期性姿态数据进行空间特征提取，得到空间特征矩阵，并将空间特征矩阵与时序特征矩阵进行融合，得到融合特征矩阵；将时序特征矩阵进行分类，得到第一姿态特征；将融合特征矩阵进行分类，得到多个分类结果，并参考第一姿态特征进行投票，得到第二姿态特征；结合第一姿态特征和第二姿态特征对姿态数据进行判断，得到姿态识别结果；相较于现有技术来说，利用预置分类的方式得出周期性姿态数据和非周期性姿态数据，并分别提取周期性姿态数据和非周期性姿态数据的时序特征和空间特征，然后将时序特征和空间特征进行特征融合并分类，从而得到姿态识别结果，提高了人体姿态识别的准确度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。