一种基于数据手套的动态手势识别方法及系统

技术领域

本发明涉及信号处理与模式识别技术领域，具体而言，涉及一种基于数据手套的动态手势识别方法及系统。

背景技术

随着信息技术的发展，手势识别技术已经逐渐由人工识别变更为机器智能识别，并且在AR/VR，智能家居等发明有着重要意义。目前的手势识别技术主要分为基于视觉的识别技术、基于肌电传感器的识别技术和基于惯性传感系统的识别技术。三种技术由于其不同的应用场景各有特点，视觉识别技术主要依靠光学传感器手势图像，经过特征提取、融合后利用分类算法进行手势识别，它的缺点是十分依赖光学图像清晰度以及环境复杂度，在很多情况复杂场景下性能不够优良；肌电传感信号识别技术主要通过肌电传感器检测肌肉活动，提取特征后进行识别，它的缺陷是会对佩戴者的动作产生一定制约；而惯性传感器识别技术是可穿戴计算的重要研究方向，它不依赖于限定环境，主要依靠IMU捕捉人体和手势动作，通过姿态解算等方法提取特征，利用机器学习方法SVM等进行模式分类，它比较受限于传感器精度，而且惯性传感器难以安置在手部，且多个IMU(惯性测量单元)的安置给手部灵活性带来挑战。

发明内容

本发明解决的问题是如何对受试者佩戴数据手套时的手势动作进行准确的实时识别。

为解决上述问题，本发明提供一种基于数据手套的动态手势识别方法，包括步骤：

S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；

S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；

S3：利用多段阈值检测流程分析手势起始结束位置点；

S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。

在上述方法中，获取数据手套的传感数据，受试者穿戴数据手套，做出相应手势动作，程序采样数据点和标注动作类型；每个手势动作中选取30-60个数据点。对原始数据进行预处理，包括滤波去噪、数据切片与归一化等；对大量手势传感数据进行数据分析，设计动态手势识别算法，采用多流MS-1D-CNN神经网络训练动态手势；选择在验证集上具有最高识别率的训练模型应用于实时识别阶段。本发明识别方法能够对受试者佩戴数据手套时的手势动作进行准确的实时识别，且该方法具有识别率高，分析速度快的优点，能够将其推广应用到各种场景中。

进一步地，所述步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；

上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；

在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。

进一步地，所述步骤S2包括：

S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；

S22：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；

S23：将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。

进一步地，所述步骤S3中阈值检测流程包括：

S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；

S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；

S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。

一种基于数据手套的动态手势识别系统，包括：

数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；

训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；

分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；

动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。

进一步地，数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；

上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；

在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。

进一步地，训练模块包括：

划分单元：用于将数据采集模块中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；

特征提取单元：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；

测试单元：用于将处理后的动态手势数据样本的测试集输入到Multi-Stream 1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。

进一步地，分析模块包括：

分割单元：用于通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；

第一判断单元：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；

第二判断单元：用于读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。

本发明采用上述技术方案包括以下有益效果：

本发明能够通过设计Multi-Stream 1D-CNN神经网络模型识别动态手势，并简易实现了实时反馈。该方法通过活动端阈值检测算法区别提取动态手势数据段，通过滤波、归一化等预处理操作，再利用多传感器数据特性，综合挖掘和融合了多模态数据，取得动态手势的高识别率。该模型的训练在高识别率的同时也保证了识别速度，能够用在嵌入式系统识别方案中。该方法具有模型易训练，鲁棒性强，识别率高的优势，具有一定的推广价值。

附图说明

图1为本发明实施例一提供的基于数据手套的动态手势识别方法流程图一；

图2为本发明实施例一提供的基于数据手套的动态手势识别方法流程图二；

图3为本发明实施例一提供的基于数据手套的动态手势识别方法中数据手套数据处理流程示意图；

图4为本发明实施例一提供的基于数据手套的动态手势识别方法中Multi-Stream1D-CNN神经网络的架构图；

图5为本发明实施例二提供的基于数据手套的动态手势识别系统结构图一；

图6为本发明实施例二提供的基于数据手套的动态手势识别系统结构图二。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

本实施例提供了一种基于数据手套的动态手势识别方法，如图1和图2所示，本方法包括步骤：

S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；

S2：对采集到的传感数据信息进行手势识别模型的训练，采用1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；

S3：利用多段阈值检测流程分析手势起始结束位置点；

S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。

其中，步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；

上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；

在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。

具体的，根据受试者佩戴数据手套进行数据采集和实时识别，并通过准确有效手势段划分提高识别准确率与性能。

其中，步骤S2包括：

S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；

S22：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；

S23：将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。

其中，步骤S3中阈值检测流程包括：

S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；

S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；

S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。

参阅图3，具体的，数据手套动态手势识别流程，首先是通过传感数据手套将数据传输至上位机进行预处理，预处理的过程包括归一化、数据段切片和对滤波、异常值的处理。其中，对下位机串口数据制定配套的上位机程序，对不同手势动作进行定时定周期的数据点采样功能；对采集的不同手势数据文件进行统一标注动作类别；对多种手势数据csv文件进行划分与保存。再经过多流一维卷积手势识别受试者手势动作的含义。

具体的，受试者需要穿戴上数据手套。通过手套的无线通信模组并点击按钮与上位机进行连接和传输数据，同时PC端上位机数据采集软件通过串口采集11路传感数据，分别为大拇指、食指、中指、无名指和小拇指的弯曲角度数据，以及手套背部惯性测量单元的三轴加速度和三轴角速度数据。

具体的，上位机程序需要对接收到的数据进行预处理，采用去极值均值滤波算法来平滑惯性测量单元的六轴信号和五路弯曲传感信号，提高数据在训练和推理上的精度。对采集到的手势传感数据进行数据段切片和重采样，将每个数据样本的长度放缩到60个单位。再通过MAX-MIN归一化方法对11路传感器数据进行量纲消除，得到一系列数据样本。

经过上述步骤S1至S4，可得数据样本格式：N*11维，其中，N为样本数，每个样本包括五应变传感器、三加速度以及三角速度。在上位机程序中利用数据存取模块将批量数据生成数据集Data_Dynamic，并将数据集存到本地。采用多个一维卷积模块分流提取弹性及惯性数据的数据特征，融合后再进行分类，避免了特征工程。将动态手势数据集DATA_DYNAMIC数据集进行划分，按照四比一的比例划分训练集与测试集，生成相应的数据集文件。神经网络的输入定义为batch*60*11。多流一维卷积神经网络将分别得到三个模态流输入，其规格为batch*60*5，batch*60*3，batch*60*3，对每个样本数据，逐步计算该数据及其邻域范围内数据和卷积核矩阵对应位置处权值的内积，形成下一层的特征图。采用一维卷积，一维卷积即卷积核矩阵为一维向量，以单核卷积为例介绍卷积模型的工作原理：通常将输入层设为第0层：

其中，M表示数据预处理后时间窗口的大小，卷积层的输出为：

i＝1,…,M-φ+1；

其中，f(·)为激活函数；b为偏置项；q为一维卷积核向量；φ为q的长度。再将数据送入池化层MP，降低特征空间维度，抑制过拟合，MP输出为：

其中，R表示池化窗口的尺寸，池化层的输出即卷积层输出的特征图P。

经过上述的算法处理能够得到一组CNN的输出x，将其flatten为n*1维序列数据DATA_CNN_OUT。

将数据输出DATA_CNN_OUT送入softmax函数。将输出的一维特征图首尾拼接，形成一维特征向量：

s＝[p

其中，n表示卷积核数。特征向量s进入全连接层处理，输出为：

h＝f(Ws+ε)；

其中，W为全连接层的权重矩阵，ε为偏置向量。送入sotfmax层，得到最后的输出结果为：

其中，x为softmax的输入，即全连接层的输出；K为活动类别个数，K为10。softmax的结果为各类别的概率，其和为1。

参阅图4，在算法识别的过程中，对新输入的传感器信号也要做如上述方式进行数据预处理，然后将该一维识别向量输入到步已训练完成的神经网络模型中，即可对数据手套的数据进行实时的读取和识别，实现数据手套动态手势的识别。

具体的，基于QT编写界面实现人机交互，对于穿戴传感器手套的人员作出的手势，可以实时反馈相应的手势识别结果。

本方法通过设计Multi-Stream 1D-CNN神经网络模型识别动态手势，并简易实现了实时反馈。该方法通过活动端阈值检测算法区别提取动态手势数据段，通过滤波、归一化等预处理操作，再利用多传感器数据特性，综合挖掘和融合了多模态数据，取得动态手势的高识别率。该模型的训练在高识别率的同时也保证了识别速度，能够用在嵌入式系统识别方案中。该方法具有模型易训练，鲁棒性强，识别率高的优势，具有一定的推广价值。

实施例二

本实施例提供了一种基于数据手套的动态手势识别系统，如图5和图6所示，本系统包括：

数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；

训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；

分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；

动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。

其中，数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；

上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；

在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。

参阅图6，其中，训练模块包括：

划分单元：用于将数据采集模块中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；

特征提取单元：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；

测试单元：用于将处理后的动态手势数据样本的测试集输入到Multi-Stream 1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。

其中，分析模块包括：

分割单元：用于通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；

第一判断单元：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；

第二判断单元：用于读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。

本系统通过设计Multi-Stream 1D-CNN神经网络模型识别动态手势，并简易实现了实时反馈。通过活动端阈值检测算法区别提取动态手势数据段，通过滤波、归一化等预处理操作，再利用多传感器数据特性，综合挖掘和融合了多模态数据，取得动态手势的高识别率。该模型的训练在高识别率的同时也保证了识别速度，能够用在嵌入式系统识别方案中。根据受试者佩戴数据手套进行数据采集和实时识别，并通过准确有效手势段划分提高识别准确率与性能。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。