基于并行网络的手势识别方法及其系统

技术领域

本申请涉及AI机器视觉领域，且更为具体地，涉及一种基于并行网络的手势识别方法及其系统。

技术背景

近年来，随着人工智能技术的发展，各式各样的智能设备涌现出来，例如，智能冰箱、智能空调、AR设备、VR设备等。在智能设备中，手势控制是一个比较重要的功能配置选项。

表面肌电是利用电极在体表记录的反映肌肉活动的一种生物电信号，具有非侵入、易于获取的特点。由于表面肌电信号蕴含丰富的运动信息，常用来进行运动意图识别，因此被广泛应用于人机交互的系统设计中，如手势识别、假肢控制等。

但在实际智能设备的手势控制中，基于表面肌电信号的手势识别的准确率却不高，无法满足应用的需求。因此，期待一种更为优化的手势识别方案以提高对智能设备的手势控制的精准度，以提高智能设备的用户体验满意度。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于并行网络的手势识别方法及其系统，其采用具有并行子网结构的卷积神经网络模型对单通道表面肌电信号的波形图进行编码以得到第一特征图，并将使用包含嵌入层的上下文编码器对组织阻抗值进行基于全局的上下文语义编码以提取多个特征向量，接着使用卷积神经网络模型对由所述多个特征向量二维排列所得的特征矩阵进行显式空间编码以得到所述多个预定时间点的组织阻抗值在时序维度上的关联的高维隐含特征，也就是第二特征图，融合所述第一特征图和所述第二特征图以得到关联特征图并通过分类器以后，就可以来进行手势识别。通过这样的方式，可以提高手势识别的精准度。

根据本申请的一个方面，提供了一种基于并行网络的手势识别方法，其包括：训练阶段和推断阶段：

所述训练阶段，包括：

通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；

通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；

将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；

将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量；

将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；

对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量；

计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；

融合所述第一特征图与所述第二特征图以获得关联特征图；

将所述关联特征图通过分类器以获得分类损失函数值；以及

计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络；

所述推断阶段，包括：

通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；

通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；

将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；

将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量；

将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图；

融合所述第一特征图与所述第二特征图以获得关联特征图；以及将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

根据本申请的另一方面，提供了一种基于并行网络的手势识别系统，包括：训练模块和推断模块，其中，所述训练模块，包括：

训练单通道表面肌电信号采集单元，用于通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；

训练组织阻抗值获取单元，用于通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；

第一特征图生成单元，用于将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；

特征向量生成单元，用于将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量；

第二特征图生成单元，用于将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；

投影单元，用于对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量；

概率互相关度量值生成单元，用于计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；

关联特征图生成单元，用于融合所述第一特征图与所述第二特征图以获得关联特征图；

分类损失函数值生成单元，用于将所述关联特征图通过分类器以获得分类损失函数值；以及

损失函数值生成单元，用于计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络；

所述推断模块，包括：

推断单通道表面肌电信号采集单元，用于通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；

推断组织阻抗值获取单元，用于通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；

第一特征图生成单元，用于将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；

特征向量生成单元，用于将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量；

第二特征图生成单元，用于将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图；

关联矩阵图生成单元，用于融合所述第一特征图与所述第二特征图以获得关联特征图；以及

分类标签单元，用于将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

与现有技术相比，本申请提供的基于并行网络的手势识别方法及其系统，其采用具有并行子网结构的卷积神经网络模型对单通道表面肌电信号的波形图进行编码以得到第一特征图，并将使用包含嵌入层的上下文编码器对组织阻抗值进行基于全局的上下文语义编码以提取多个特征向量，接着使用卷积神经网络模型对由所述多个特征向量二维排列所得的特征矩阵进行显式空间编码以得到所述多个预定时间点的组织阻抗值在时序维度上的关联的高维隐含特征，也就是第二特征图，融合所述第一特征图和所述第二特征图以得到关联特征图并通过分类器以后，就可以来进行手势识别。通过这样的方式，可以提高手势识别的精准度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的基于并行网络的手势识别方法的场景示意图。

图2图示了根据本申请实施例的基于并行网络的手势识别方法中训练阶段的流程图。

图3图示了根据本申请实施例的基于并行网络的手势识别方法中推断阶段的流程图。

图4图示了根据本申请实施例的基于并行网络的手势识别方法中训练阶段的架构示意图。

图5图示了根据本申请实施例的基于并行网络的手势识别方法中推断阶段的架构示意图。

图6图示了根据本申请实施例的基于并行网络的手势识别系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

经研究发现生物组织含有大量的组织液、细胞内液等液体，其中含有多种导电粒子。当施加电流激励时，电流穿过细胞流向组织液，表现出阻抗的特性，可以采用阻抗描述其导电性能，组织阻抗会随肌肉活动发生一定的变化，这种阻抗变化反映了肌肉的运动状态。因此，在本申请的技术方案中，本申请尝试结合表面肌电信号和生物组织的组织阻抗值来构建手势识别方案。

具体地，在本申请的技术方案中，首先通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号，以及，通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值。

考虑到所述单通道表面肌电信号中在短时域内存在局部特征(例如，波动峰值等)，且在长时域内存在周期规律性特征(例如，手臂在运动时呈现出的规律性)，为了适配短时域和长时域的不同的特征跨度，在本申请的技术方案中，采用具有并行子网结构的卷积神经网络模型对所述单通道表面肌电信号的波形图进行编码，其中，所述卷积神经网络模型的不同子网结构采用具有不同尺寸的卷积核对所述单通道表面肌电信号进行编码以获得具有多分辨率特性的第一特征图。

进一步地，使用包含嵌入层的上下文编码器对所述多个预定时间点的组织阻抗值进行基于全局的上下文语义编码以提取所述多个预定时间点的组织阻抗值中各个组织阻抗值基于全局的深层隐含特征表示以得到多个特征向量。然后，使用卷积神经网络模型对由所述多个特征向量二维排列所得的特征矩阵进行显式空间编码以得到所述多个预定时间点的组织阻抗值在时序维度上的关联的高维隐含特征。

接着，融合所述第一特征图和所述第二特征图来进行手势识别。但考虑到所述第一特征图的多分辨率特性以及第二特征图相对于第一特征图的响应特性(也就是，组织阻抗值是受电流刺激产生的)，因此，如果直接以级联或者按位置加权和的方式来融合所述第一特征图和所述第二特征图，一方面会出现过拟合的问题，另一方面，也无法充分保留和利用所述第一特征图的多分辨率特性以及所述第二特征图相对于所述第一特征图的响应性特性。

特别地，在本申请的技术方案中，以如下公式来融合所述第一特征图和所述第二特征图：首先基于第一特征图的多分辨率特性以及第二特征图相对于第一特征图的响应特性，首先将第一特征图和第二特征图进行线性投影以获得第一特征向量V

其中cov(V

这样，通过以该特征概率互相关度量值作为损失函数来训练第一特征图和第二特征图所对应的模型分支，可以使得第一特征图和第二特征图在特征空间内通过子区域间相关性和子区域内相关性的迁移来促进特征图的双向逼近，以在保留多分辨率特性特征和响应特性特征的基础上，提高融合后的分类特征图的概率表达的分类性能，进而提高分类的准确性。

基于此，本申请提出了一种基于并行网络的手势识别方法，其包括：训练阶段，包括：通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量；将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量；计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；融合所述第一特征图与所述第二特征图以获得关联特征图；将所述关联特征图通过分类器以获得分类损失函数值；以及，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络；以及，推断阶段，包括：通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量；将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图；融合所述第一特征图与所述第二特征图以获得关联特征图；以及，将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

图1图示了根据本申请实施例的基于并行网络的手势识别方法的场景示意图。如图1所示，在该应用场景中，在训练阶段中，通过贴附于受试者手臂表面的单个表面电极(例如，如图1中所示意的E)和组织阻抗测量仪(例如，如图1中所示意的M)采集和获取单通道表面肌电信号、所述受试者的手臂在多个预定时间点的组织阻抗值。然后，将所述单通道表面肌电信号和所述所述受试者的手臂在多个预定时间点的组织阻抗值输入至部署有基于并行网络的手势识别算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够基于并行网络的手势识别算法以所述单通道表面肌电信号和所述所述受试者的手臂在多个预定时间点的组织阻抗值对用于检测的卷积神经网络进行训练。

在训练完成后，在推断阶段中，通过贴附于受试者手臂表面的单个表面电极(例如，如图1中所示意的E)和组织阻抗测量仪(例如，如图1中所示意的M)采集和获取单通道表面肌电信号、所述受试者的手臂在多个预定时间点的组织阻抗值。然后，将所述单通道表面肌电信号、所述受试者的手臂在多个预定时间点的组织阻抗值输入部署有基于并行网络的手势识别算法的服务器(例如，如图1中所示意的S)，其中，所述服务器能够以所述基于并行网络的手势识别算法对输入的信息进行处理以得到受试者的手势类型标签结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的基于并行网络的手势识别方法中训练阶段的流程图。图3图示了根据本申请实施例的基于并行网络的手势识别方法中推断阶段的流程图。如图2和图3所示，根据本申请实施例的基于并行网络的手势识别方法，包括：训练阶段和推断阶段。

如图2所示，所述训练阶段，包括：S110，通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；S120，通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；S130，将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；S140，将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量；S150，将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；S160，对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量；S170，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；S180，融合所述第一特征图与所述第二特征图以获得关联特征图；S190，将所述关联特征图通过分类器以获得分类损失函数值；以及，S200，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络。

图4图示了根据本申请实施例的基于并行网络的手势识别方法中训练阶段的架构示意图。如图4所示，在训练阶段中，在该网络架构中，首先将采集到的单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图，并将获取到的多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量。接着，将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图，并对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量。然后，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，并融合所述第一特征图与所述第二特征图以获得关联特征图。接着，将所述关联特征图通过分类器以获得分类损失函数值。然后，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络。

如图3所示，所述推断阶段，包括：S210，通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；S220，通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；S230，将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；S240，将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量；S250，将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图；S260，融合所述第一特征图与所述第二特征图以获得关联特征图；以及，S270，将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

图5图示了根据本申请实施例的基于并行网络的手势识别方法中推断阶段的架构示意图。如图5所示，在推断阶段中，在该网络结构中，首先将采集到的单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图，并将获取到的多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量。接着，将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图。然后，融合所述第一特征图与所述第二特征图以获得关联特征图。最后，将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

更具体地，在训练阶段中，在步骤S110中，通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号。由于肌肉的活动状态和功能状态之间存在着不同程度的关联性，因而肌电信号能在一定程度上反映神经肌肉的活动。可以通过在皮肤表面放置电极，记录邻近神经肌肉系统活动时的生物电信号。

在步骤S120中，通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值。经发现生物组织含有大量的组织液、细胞内液等液体，其中含有多种导电粒子。当施加电流激励时，电流穿过细胞流向组织液，表现出阻抗的特性，可以采用阻抗描述其导电性能，组织阻抗会随肌肉活动发生一定的变化，这种阻抗变化反映了肌肉的运动状态。因此，在本申请的技术方案中，尝试结合表面肌电信号和生物组织的组织阻抗值来构建手势识别方案。其中，组织阻抗值可以通过组织阻抗测量仪来获取。

在步骤S130中，将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图。考虑到所述单通道表面肌电信号中在短时域内存在局部特征(例如，波动峰值等)，且在长时域内存在周期规律性特征(例如，手臂在运动时呈现出的规律性)，为了适配短时域和长时域的不同的特征跨度，在本申请的技术方案中，采用具有并行子网结构的卷积神经网络模型对所述单通道表面肌电信号的波形图进行编码，其中，所述卷积神经网络模型的不同子网结构采用具有不同尺寸的卷积核对所述单通道表面肌电信号进行编码以获得具有多分辨率特性的第一特征图。

在一个示例中，在上述基于并行网络的手势识别方法中，将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图，包括：使用所述第一卷积神经网络的第一子网结构以第一卷积核对输入数据进行处理以生成第一初始特征图；使用所述第二卷积神经网络的第二子网结构以第二卷积核对输入数据进行处理以生成第二初始特征图，所述第一卷积核与所述第二卷积核具有不同的尺寸；以及，融合所述第一初始特征图和所述第二初始特征图以生成所述第一特征图。

在步骤S140中，将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量。也就是，使用包含嵌入层的上下文编码器对所述多个预定时间点的组织阻抗值进行基于全局的上下文语义编码以提取所述多个预定时间点的组织阻抗值中各个组织阻抗值基于全局的深层隐含特征表示以得到多个特征向量。

在一个示例中，在上述基于并行网络的手势识别方法中，将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量，包括：使用所述包含嵌入层的上下文编码器的嵌入层分别将所述多个预定时间点的组织阻抗值转化为输入向量以获得输入向量的序列；以及，使用所述包含嵌入层的上下文编码器的转换器对所述输入向量的序列进行基于全局的上下文语义编码以获得所述多个特征向量。

在步骤S150中，将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图。也就是，使用卷积神经网路模型对由所述多个特征向量二维排列所得的特征矩阵进行显式空间编码以得到所述多个预定时间点的组织阻抗值在时序维度上的关联的高维隐含特征。

在一个示例中，在上述基于并行网络的手势识别方法中，将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图，包括：所述第二卷积神经网络的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述第二特征图，所述第二卷积神经网络的第一层的输入为所述特征矩阵。

在步骤S160中，对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量。考虑到所述第一特征图的多分辨率特性以及第二特征图相对于第一特征图的响应特性(也就是，组织阻抗值是受电流刺激产生的)，因此，如果直接以级联或者按位置加权和的方式来融合所述第一特征图和所述第二特征图，一方面会出现过拟合的问题，另一方面，也无法充分保留和利用所述第一特征图的多分辨率特性以及所述第二特征图相对于所述第一特征图的响应性特性。因此，在本申请的技术方案中，首先将第一特征图和第二特征图进行线性投影以获得第一特征向量和第二特征向量，再计算特征向量间的特征概率互相关度量值作为损失函数来训练第一卷积神经网络和第二卷积神经网络。

具体地，在一个示例中，在上述基于并行网络的手势识别方法中，对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量，包括：以如下公式对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得所述第一特征向量和所述第二特征向量；其中，所述公式为：V

在步骤S170中，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成。这样，通过以该特征概率互相关度量值作为损失函数来训练第一特征图和第二特征图所对应的模型分支，可以使得第一特征图和第二特征图在特征空间内通过子区域间相关性和子区域内相关性的迁移来促进特征图的双向逼近，以在保留多分辨率特性特征和响应特性特征的基础上，提高融合后的分类特征图的概率表达的分类性能，进而提高分类的准确性。

具体地，在一个示例中，在上述基于并行网络的手势识别方法中，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，包括：以如下公式计算所述第一特征向量和所述第二特征向量之间的所述概率互相关度量值；其中，所述公式为：

其中V

在步骤S180中，融合所述第一特征图与所述第二特征图以获得关联特征图。所述关联矩阵表示融合了所述第一特征图和第二特征图之间的关联性特征。

在一个示例中，在上述基于并行网络的手势识别方法中，融合所述第一特征图与所述第二特征图以获得关联特征图，包括：以如下公式融合所述第一特征图与所述第二特征图以获得所述关联特征图；其中，所述公式为：

F

其中，F

在步骤S190中，将所述关联特征图通过分类器以获得分类损失函数值。

在一个示例中，在上述基于并行网络的手势识别方法中，将所述关联特征图通过分类器以获得分类损失函数值，包括：所述分类器以如下公式对所述关联特征图进行处理以生成分类结果，其中，所述公式为：

softmax{(W

其中Project(F)表示将所述关联特征图投影为向量，W

在步骤S200中，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络。即，基于所述分类损失函数值和所述概率互相关度量值的加权和更新所述第一卷积神经网络和所述第二卷积神经网络的参数。通过上述方式训练，使所述第一卷积神经网络和所述第二卷积神经网络的参数得以更新。

在训练完成后，进入推断阶段。也就是，按照上述方法可以得到经训练完成的所述具有并行子网结构的第一卷积神经网络、经训练完成的所述第二卷积神经网络，然后，将所述经训练完成的所述具有并行子网结构的第一卷积神经网络、所述经训练完成的所述第二卷积神经网络用于实际的推断中，以得到更为准确的受试者的手势类型标签的分类结果。

具体地，所述推断阶段，包括：首先，通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号。然后，通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值。接着，将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图。然后，将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量。接着，将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图。然后，融合所述第一特征图与所述第二特征图以获得关联特征图。进而，将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

综上，基于本申请实施例的基于并行网络的手势识别方法被阐明，其采用具有并行子网结构的卷积神经网络模型对单通道表面肌电信号的波形图进行编码以得到第一特征图，并将使用包含嵌入层的上下文编码器对组织阻抗值进行基于全局的上下文语义编码以提取多个特征向量，接着使用卷积神经网络模型对由所述多个特征向量二维排列所得的特征矩阵进行显式空间编码以得到所述多个预定时间点的组织阻抗值在时序维度上的关联的高维隐含特征，也就是第二特征图，融合所述第一特征图和所述第二特征图以得到关联特征图并通过分类器以后，就可以来进行手势识别。通过这样的方式，可以提高手势识别的精准度。

示例性系统

图6图示了根据本申请实施例的基于并行网络的手势识别系统的框图。如图6所示，根据本申请实施例的基于并行网络的手势识别系统600，包括：训练模块610和推断模块630。

如图6所示，所述训练模块610，包括：训练单通道表面肌电信号采集单元611，用于通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；训练组织阻抗值获取单元612，用于通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；第一特征图生成单元613，用于将所述单通道表面肌电信号通过具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；特征向量生成单元614，用于将所述多个预定时间点的组织阻抗值输入包含嵌入层的上下文编码器以获得多个特征向量；第二特征图生成单元615，用于将所述多个特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；投影单元616，用于对所述第一特征图和所述第二特征图进行线性投影以将所述第一特征图和所述第二特征图降维为一维的特征向量以获得第一特征向量和第二特征向量；概率互相关度量值生成单元617，用于计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；关联特征图生成单元618，用于融合所述第一特征图与所述第二特征图以获得关联特征图；分类损失函数值生成单元619，用于将所述关联特征图通过分类器以获得分类损失函数值；以及，损失函数值生成单元620，用于计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述第一卷积神经网络和所述第二卷积神经网络。

如图6所示，所述推断模块630，包括：推断单通道表面肌电信号采集单元631，用于通过贴附于受试者手臂表面的单个表面电极采集单通道表面肌电信号；推断组织阻抗值获取单元632，用于通过组织阻抗测量仪获取所述受试者的手臂在多个预定时间点的组织阻抗值；第一特征图生成单元633，用于将所述单通道表面肌电信号通过经训练完成的所述具有并行子网结构的第一卷积神经网络以获得具有多分辨率特性的第一特征图；特征向量生成单元634，用于将所述多个预定时间点的组织阻抗值输入所述包含嵌入层的上下文编码器以获得多个特征向量；第二特征图生成单元635，用于将所述多个特征向量进行二维排列为特征矩阵后通过经训练完成的所述第二卷积神经网络以获得第二特征图；关联矩阵图生成单元636，用于融合所述第一特征图与所述第二特征图以获得关联特征图；以及，分类标签单元637，用于将所述关联特征图通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。

在一个示例中，在上述基于并行网络的手势识别系统600中，所述第一特征图生成单元613，进一步用于：使用所述第一卷积神经网络的第一子网结构以第一卷积核对输入数据进行处理以生成第一初始特征图；使用所述第二卷积神经网络的第二子网结构以第二卷积核对输入数据进行处理以生成第二初始特征图，所述第一卷积核与所述第二卷积核具有不同的尺寸；以及，融合所述第一初始特征图和所述第二初始特征图以生成所述第一特征图。

这里，本领域技术人员可以理解，上述基于并行网络的手势识别系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的基于并行网络的手势识别方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的基于并行网络的手势识别系统600可以实现在各种终端设备中，例如用于基于并行网络的手势识别的智能设备等。在一个示例中，根据本申请实施例的基于并行网络的手势识别系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于并行网络的手势识别系统600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于并行网络的手势识别系统600同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于并行网络的手势识别系统600与该终端设备也可以是分立的设备，并且该基于并行网络的手势识别系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。