一种基于三轴加速度空时特征融合的手势识别方法及系统

技术领域

本发明涉及手势识别的研究领域，特别涉及一种基于三轴加速度空时特征融合的手势识别方法及系统。

背景技术

在三轴加速度的手势识别分类过程中，具有判别性的特征的提取需要大量的先验知识，这样的特征工程十分费事费力，同时这类特征密切影响着手势识别分类的性能。

深度学习对三轴加速度的手势识别分类具有良好的适用性，并且同时具备自动特征工程的能力，通过训练能够自动提取具有判别性的特征。

目前应用于三轴加速度的手势识别分类深度学习方法，主要包括深度学习中的卷积神经网络(CNN)分类模型和递归神经网络(RNN)(代表有门控循环单元(GRU))分类模型等训练后进行预测分类。

常见的三轴加速度信号是一种一维信号，对于一维信号的卷积神经网络模型，常用方法是使用一维卷积进行特征提取。

其中的一维卷积即试图提取信号在某一方向的平移不变特征，这里的三轴加速度信号是一种时间序列。因此，使用一维卷积进行提取的三轴加速度信号在时间方向的平移不变特征。

卷积神经网络作为一种前馈网络，其中各输入之间是相互独立的，每层神经元的信号只能向下一层传播，同一卷积层对不同通道信息的提取是独立的。因此，卷积神经网络擅长于提取信号中包含的空间特征，但却不能够有效处理时间序列数据。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于三轴加速度空时特征融合的手势识别方法及系统，旨在提升深度学习对手势识别算法准确性能不强的问题，同时提高模型的泛化性能；具体包含卷积提取时空域的特征原理、门控循环单元原理和空时域特征融合原理。卷积提取时空域的特征原理，通过在信号在空间上的卷积计算，可以获取空域信息作为模型的特征，门控循环单元原理具有长距离时序数据的信息特征提取能力，从而保证了系统具有处理有局部相关性的时序数据的能力。空时域特征融合原理，将三轴加速度信号的空域特征和时域特征作为分类特征进行输入，同时提升了手势识别分类方法的准确性，以及分类系统的鲁棒性。

本发明第一目的在于提供一种基于三轴加速度空时特征融合的手势识别方法；

本发明第二目的在于提供一种基于三轴加速度空时特征融合的手势识别系统。

本发明的第一目的通过以下的技术方案实现：

一种基于三轴加速度空时特征融合的手势识别方法，其特征在于，包括以下步骤：

获取三轴加速度历史样本数据，并使用标注分类标签进行数据集划分；

对数据集进行标准化处理，得到标准化数据集；

将标准化数据集进行空域特征提取和时域特征提取，得到空域特征数据和时域特征数据；

通过获取的空域特征数据和时域特征数据训练预测分类模型；

使用训练后的预测分类模型进行分类识别，得到识别结果。

进一步地，还包括步骤：对识别结果进行评价；所述对识别结果进行评价，具体为：

评估分类性能的指标，包括：精确率、灵敏度、特异性、马太相关系数；

精确率计算如下：

灵敏度计算如下：

特异性计算如下：

马太相关系数计算如下：

其中，TP表示真阳性的实例，TN表示真阴性的实例，FP表示假阳性的实例，FN表示假阴性的实例；马太相关系数MCC取值范围为-1到1。

进一步地，所述获取三轴加速度历史样本数据，具体为：通过数据采集器采集三轴加速度数据，包含抬手手势数据、甩手手势数据、走路时手势数据、跑步时手势数据。

进一步地，所述使用标注分类标签进行数据集划分，具体为：

将三轴加速度历史样本数据按照8：1：1的比例划分为训练集、验证集、测试集。

进一步地，所述对数据集进行标准化处理，具体为：对训练集进行标准化处理，假设变量序列为x

其中，标准化后的序列值服从正态分布，存储平均值和标准差值。

进一步地，所述将标准化数据集进行空域特征提取和时域特征提取，得到空域特征数据和时域特征数据，具体为：使用卷积模块进行空域特征提取，使用循环门控单元进行时域特征提取，其特征提取属于深度学习的标准过程；空域特征数据和时域特征数据的融合过程为：将卷积模块提取的空域特征和循环门控单元提取的时域特征分别归一化消除量纲影响后，直接拼接融合，作为后续模块的输入。。

进一步地，所述通过空域特征数据和时域特征数据训练预测分类模型，具体为：将空域特征数据和时域特征数据直接拼接映射到全连接层，最后输入到分类层，迭代计算损失函数交叉熵的极小值，这里属于深度学习的标准过程。

进一步地，使用训练后的预测分类模型进行分类识别，得到识别结果，具体为：通过softmax函数计算出对应概率最大的标签，该标签对应输入数据的分类，这里属于深度学习的标准过程。

本发明的第二目的通过以下技术方案实现：

一种基于三轴加速度空时特征融合的手势识别系统，用于实现权利要求1-8所述任一权利要求所述的基于三轴加速度空时特征融合的手势识别方法，其特征在于，包括：预处理模块、预测分类模块、特征融合模块、模型性能评价模块；

所述预处理模块，用于对三轴加速度历史样本数据进行预处理，得到预处理数据；

所述预测分类模型：包括输入模块、空域特征提取模块、时域特征提取模块、全连接层模块、分类模块、输出模块；预处理数据通过输入模块进入预测分类模块，通过空域特征提取模块获取预处理数据的空域特征，通过时域特征提取模块获取预处理数据的时域特征；分类模块用于对预处理数据进行分类，输出模块用于输出分类结果；

所述特征融合模块用于融合预处理数据的空域特征和时域特征；

所述模型性能评价模块用于对预测分类模块的性能进行评价。

本发明与现有技术相比，具有如下优点和有益效果：

本发明包含卷积提取时空域的特征原理、门控循环单元原理和空时域特征融合原理；卷积提取时空域的特征原理，通过在信号在空间上的卷积计算，可以获取空域信息作为模型的特征，门控循环单元原理具有长距离时序数据的信息特征提取能力，从而保证了系统具有处理有局部相关性的时序数据的能力；空时域特征融合原理，将三轴加速度信号的空域特征和时域特征作为分类特征进行输入，同时提升了手势识别分类方法的准确性，以及分类系统的鲁棒性。

附图说明

图1是本发明所述一种基于三轴加速度空时特征融合的手势识别方法的流程图；

图2是本发明所述实施例中三轴加速度在线预测分类模型的训练流程示意图；

图3是本发明所述实施例中预测分类模型的结构图；

图4是本发明所述实施例中三轴加速度手势识别深度学习分类训练模型对测试集的混淆矩阵图；

图5是本发明所述一种基于三轴加速度空时特征融合的手势识别系统结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

一种基于三轴加速度空时特征融合的手势识别方法，如图1所示，包括以下步骤：

获取三轴加速度历史样本数据，并使用标注分类标签进行数据集划分；

对数据集进行标准化处理，得到标准化数据集；

将标准化数据集进行空域特征提取和时域特征提取，得到空域特征数据和时域特征数据；

通过空域特征数据和时域特征数据训练预测分类模型；

使用训练后的预测分类模型进行分类识别，得到识别结果。

具体如下：

本发明实施例中时序信号采用单V5单导联的ECG信号数据；

图5为手势识别系统结构图，表达为流程图，该流程图包括以下步骤：

步骤301，划分历史数据集，其中的历史数据包括时长为2秒钟滑动窗长为0.5秒钟的原始三轴加速度数据，。

其中使用的三轴加速度数据包含用智能手表采集的抬手、甩手、走路和跑步下的手势共计20000个样本。

将20000个样本点按照8:1:1的比例划分为训练集、验证集和测试集，其中训练集、验证集和测试集的样本点数为16000个、2000个和2000个。

步骤302，标准化，对时长为2秒钟的原始ECG数据的训练集进行标准化。对训练集进行标准化处理，假设变量序列为x

其中，标准化后的序列值服从正态分布，存储平均值和标准差值。

步骤303，输入模块，这里的输入为模型的输入，输入数据的格式为3*100*1，即数据宽、高和通道数分别为3、100和1，输入的数据包括标准化的训练集，其中的训练集用于模型拟合，模型的优化器都使用sgdm(SGD with Momentum)方法。

步骤304，空域特征模块，本发明实施例的空域特征模块包括卷积层、池化层和全连接层，其中对应的具体结构如图2中的空域特征提取所示。

本发明实施例卷积层、全连接层和GRU层采用的激活函数为ReLU函数，其中对应计算公式为：

本发明实施例激活层采用的池化函数为最大池化函数。

步骤305，时域特征提取模块，本发明实施例采用两层分别包含32和32个隐藏单元的GRU层。

步骤306，全连接层模块，本发明实施例采用一层全连接层，其中多合并层输出的空时域融合信号进行映射，全连接层的输出个数等于模型的分类类别数。

步骤307，分类模块，本发明实施例采用的损失函数为交叉熵(Cross Entropy)。

步骤308，训练结束判断模块，通过初始化设置的训练最大轮数(MaxEpochs)进行控制，本发明实施例设置的最大轮数为100。训练完成保存模型，否则转步骤303。

步骤309，对测试集进行标准化，其中标准化的均值和方差值为步骤302中保存的μ和σ。这里使用训练集标准化模型参数的目的是将测试集通过训练集模型映射，确保超出训练集范围的数据也能够得到较好的恢复，提高模型的泛化能力。

步骤310，保存CNN-GRU模型，这里的模型为训练好的各层的权系数，通过输入归一化的三轴加速度数据，可以得到对应的分类标签值，该预测分类模型结构如图3所示。

步骤311,模型评价模块，本发明实施例采用一些常见的评估分类性能的指标包括：精确率(PPV)、灵敏度(Sn)、特异性(Sp)和马太相关系数(MCC)。

其中精确率(简称PPV)的计算公式为：

其中灵敏度(简称Sn)的计算公式为：

其中特异性(简称Sp)的计算公式为：

其中马太相关系数(MCC)的计算公式为：

其中TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性的实例。对马太相关系数MCC的取值范围从-1到1中，MCC为-1表示最坏的可能预测，而值为1表示最好的可能预测方案。此外，MCC为0表示随机预测。

通过设置训练参数,得到CNN-GRU模型对测试集得测试结果与实际的值的比较结果如图4所示。

这里的图4为混淆矩阵，从中可以看出总体的分类准确率达到了93.6％，单个类的分类准确率最低为86.8％。

通过评价指标：准确率、灵敏度、特异性和马太相关系数指标对CNN-GRU预测分类结果进行评价，具体结果入表1所示。

表1中示出的评价指标值，包括准确率、灵敏度、特异性和马太相关系数，可以看出CNN-GRU模型对三轴加速度的手势识别分类具有良好的性能。

表1

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。