一种双通道混合图卷积网络的人体行为识别方法

技术领域

本发明涉及人体行为识别技术领域，尤其涉及一种双通道混合图卷积网络的人体行为识别方法。

背景技术

基于传感器的人类动作识别(HAR)作为人类行为感知的一大重要领域在行为分析、医疗保健、对老人的远程监护、智能家居、校园霸凌检测等方面广泛应用。这对人类的生活质量和安全提供了多维度的支持。

基于机器学习的HAR识别活动在最近十年中取得不错的效果。但是基于机器学习的解决方案完全依赖于对原始数据的预处理结果。换句话说，预处理提取出的特征越显著，分类结果就更突出。而这个挑战可以通过深度学习模型轻松解决或克服，且相对于机器学习有着更好的泛化性能和鲁棒性。为此很多研究人员将原始时间序列信号编码为图像，通过卷积神经网络(CNN)识别人类活动。然而这些模型更多的注重了单一样本的特征提取与分类，忽略了时序信号中上下文中存在着的潜在信息。又或是通过长短时记忆网络(LSTM)捕获时间上下文来提高分类性能，但他们却忽略了同种动作之间同样存在着潜在的关系信息。

与视频或时间序列信号不同，非欧空间的图结构数据包含了丰富的关系信息。图神经网络(GNNs)也因其强大的推理能力和良好的解释性成为了深度学习的焦点。目前，很少有研究者利用GNNs来学习和挖掘隐藏在基于可穿戴传感器系统技术的人类动作识别中的拓扑关系。

从生活中出发，不同人的同种动作存在差异性(类内差异性)，同个人不同动作存在相似性(类间相似性)；这些类内差异性和类间相似性可能来自于环境、疾病、习惯等等；当样本属性在所有要素维度上统一提取时，类内的差异成为了动作误分类的主要原因；识别这些隐藏的信息是非常困难的，但是其中充分蕴含了个人的习惯特征。

发明内容

针对现有算法的不足：本发明通过动作特征之间的相似性和个体动作之间的差异性彼此互补，并且可以自适应地融合，以获取与分类任务更深层次地相关信息。

本发明所采用的技术方案是：一种双通道混合图卷积网络的人体行为识别方法包括以下步骤：

步骤一、数据预处理；

进一步的，具体包括：

计算出加速度计和陀螺仪分别的三轴和加速度，并按照预设步长和重叠率的固定宽度滑动窗口对样本划分；

通过离散小波包变换算法对样本中时间序列数据进行时频域特征提取。

进一步的，离散小波包变换算法的公式为：

其中，d是小波包分解系数，h是高通滤波器系数，g是低通滤波器系数，j和n是小波包节点数。

步骤二、基于特征相似性的图卷积模块构建；

进一步的，具体包括：

步骤21、采用k近邻算法构造图G

选出最近的k个节点作为邻居节点的公式为：

其中，Dis

进一步的，动作特征图的邻接矩阵公式为：

其中，A

步骤22、将特征图G

进一步的，人类行为的相似性公式为：

其中，ReLU是激活函数，W

步骤三、基于个人特点差异的图卷积模块构建；

进一步的，具体包括：

步骤31、个人特点图构建；

进一步的，具体包括：

首先，将每个运动样本作为一个实体节点，对应的小波包变换特征作为节点特征X；

然后，使用无向边连接两个连续的时间段，通过个人特点图的相邻矩阵A

个人特点图的相邻矩阵A

其中，i表示节点的序号，j表示节点的序号，m表示节点i的时序数据起始采样点，n表示j节点的时序数据起始采样点。

步骤32、使用个人特点图G

其中，ReLU是激活函数，

步骤四、添加基于自注意力的双通道融合构建基于特征相似性和个人特点的双通道混合图卷积网络的人体行为识别模型；

进一步的，具体包括：

通过重要性公式自适应的获取图卷积在两张拓扑图中获得嵌入的重要性；

再对所学习到的重要性转换为对角矩阵，最后通过嵌入公式得到与最终分类任务相关的嵌入值。

进一步的，重要性公式为：

(α

其中，α

嵌入公式为：

H＝α

其中，α

本发明本发明的有益效果：

首先针对同类动作之间的相似性，通过计算动作特征之间的相似性构建出一张特征图；特征图中使用采样序列的小波系数作为节点特征且相关性较强的节点相互连接，并通过GCNs聚合邻居之间的特征从而加强相同动作之间的联系；然而，每个人的相同类别的动作存在差异；若仅通过类内动作的相似性构图，那必然导致其中存在的个体差异成为了节点特征之间的干扰信息，为了解决这一限制，通过对同一段时间内采集的个体动作按时间戳构建一个具有线性结构的个人特点图；个人特点图中节点特征与特征图相同，但是当且仅当两个节点的采样时间戳连续时节点之间相互连接，通过GCNs聚合邻居之间的特征从而使得动作的个体差异信息成为了动作个体的标识信息在图中进行传播；最后，为了更好的融合这两路卷积提取的特征，加入注意力机制来学习不同特征之间的重要性权重。

附图说明

图1是本发明的双通道混合图卷积网络的人体行为识别方法流程图；

图2是本发明的小波分解结构图；

图3是UCI-HAR数据集中部分动作样本所构建的特征图；

图4是本发明的基于特征相似性的图卷积模块；

图5是UCI-HAR数据集中两个不同的人的动作数据构造个人特点图；

图6是基于个人特点图的图卷积模块；

图7是基于特征相似性和个人特点的双通道混合图卷积网络的人体行为识别模型框架。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，一种双通道混合图卷积网络的人体行为识别方法包括以下步骤：

步骤一、数据预处理；

在本发明中，通过UCI-HAR公开的数据来评估本发明模型性能；

数据预处理的步骤包括：

步骤11、窗口划分：加速度传感器收集到的数据为三轴方向的加速度信号，为了减弱传感器安装所造成的方向误差，将三轴加速度信号进行幅值标量操作，合成三轴合加速度信号，式(1)为合加速度的幅值计算过程：

式中，A

步骤12、离散小波包变换：离散小波变换能够描述时序信号在时域和频域中的局部特征，是一种有效的信号分析技术；而离散小波包变换是对小波变换的一个改进，其在小波变换的基础上，在每一级信号分解时，同时对高低频子带进行进一步分解，最后通过最小化一个代价函数，计算出最优的信号分解路径；直观上，输入段的数据格式为D×T，其中，D为数据的通道数；这意味着使用两个传感器，每个传感器有4个通道(X，Y，Z，三轴和加速度)，将有一个8×128的输入矩阵；并基于DWPT对每行运动时序信号进行分解，小波包变换如公式(2)所示。

其中，d是小波包分解系数，h是高通滤波器系数，g是低通滤波器系数，j和n是小波包节点数。

采用UCI-HAR公开的数据来评估本发明方法的性能；首先，通过公式(1)计算出加速度计和陀螺仪分别的三轴和加速度，并以2.56s和50％重叠的固定宽度滑动窗口(128个读数、窗口)进行样本划分。

其次，通过离散小波包变换公式(2)对样本中的8条时间序列数据进行时频域特征提取。图2为一个样本的加速度计和陀螺仪传感器原始数据三层小波包分解结构示意图，左边为加速度计小波包变换，右边为陀螺仪。其中，每个传感器拥有四个通道；使用db3母小波对每个通道的运动信号分解，以获得从左至右频率由高到低的八个子带，并通过二范数计算子带长度；得到传感器上单个通道的8个时频域特征。对于一个三轴传感器，对X轴，Y轴，Z轴和三轴和加速度分别做小波变换就可以得到32个时频域特征；本发明使用的是三轴加速度计和三轴陀螺仪采集的传感器数据，因此对一个窗口下的传感器数据提取出了64维的特征，即样本x

如图4、步骤二、基于特征相似性的图卷积模块构建；

具体包括：

步骤21、特征图构建，为了捕捉同类动作之间的相似信息，通过k-近邻(kNN)基于节点特征矩阵X∈R

其中，Dis

动作特征图的邻接矩阵A

其中，A

将每个运动样本作为一个实体节点，其对应的64个小波包变换特征作为节点特征X；采用k近邻算法构造图G

步骤22、使用动作特征图G

其中，ReLU是激活函数，

将构建的特征图G

如图6所示，步骤三、基于个人特点差异的图卷积模块构建；

具体包括：

步骤31、个人特点图构建；

将数据分割并完成小波分解后，将X∈R

其中，i表示节点的序号i，j表示节点的序号j，m表示节点i的时序数据起始采样点，n表示j节点的时序数据起始采样点，且n＝m+T(T为采样点个数)。

将每个运动样本作为一个实体节点，其对应的64个小波包变换特征作为节点特征X；然后使用无向边连接两个连续的时间段，在节点与节点之间连接的想法来源于人类活动的数据在时间序列中两个连续的时间段在逻辑上是相连的，同时上一个动作会在人的习惯影响下生成下一个动作。因此，个人特点图的第一个和最后一个时间段的节点的度为1，其余节点的度为2，并通过公式(6)得到个人特点图如图5相邻矩阵A

步骤32、基于个人行为特点的图卷积模块构建；

与基于特征相似性的图卷积模块不同的是，基于个人特点图的图卷积模块注重一段时间内的个体动作之间的消息传递；使用个人特点图G

其中，ReLU是激活函数，

步骤四、添加基于自注意力的双通道融合构建基于特征相似性和个人特点的双通道混合图卷积网络的人体行为识别模型，如图7所示。

具体包括：

中心节点在特征图中与特征相似的同类节点进行消息传递；此时中心节点与更多的同类节点相连接时，中心节点就能获得与分类任务最相关的信息；然而某些节点与同类别节点的相似性很低，中心节点就难以获得与分类任务最相关的信息，从而导致这些节点分类错误；出现这种情况，很大可能是中心节点中的动作差异性信息成为了节点的干扰信息；这时就能利用个人特点图将这些差异信息转换为个人的习惯信息从而提高分类效果；当然，现实生活中人们动作的转换十分的迅速，中心节点与周围节点完全不同类的情况发生的概率很大，此时就需要借助特征图中进行同类动作之间的消息传递完成中心节点的分类，使用注意力机制如公式(24)来学习它们相应的重要性(α

(α

其中，α

H＝α

首先，通过公式(8)自适应的获取图卷积在两张拓扑图中获得嵌入的重要性，再对所学习到的重要性转换为对角矩阵，最后通过公式(9)得到与最终分类任务相关的嵌入H。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。