一种面向手势识别的领域自适应方法及系统

技术领域

本发明涉及手势识别技术领域，特别是涉及一种面向手势识别的领域自适应方法及系统。

背景技术

肌电手势识别系统在实际使用中不可避免地会遇到用户反复佩戴设备造成的电极位移、用户长期使用系统引起的肌肉疲劳、以及不同用户间存在的电极贴放位置不同、肌肉发力不同、皮肤阻抗不同、手势动作完成度不同等个体差异，这将导致来自不同用户、不同会话或不同肌肉疲劳状态的表面肌电信号之间存在较大的分布差异。从机器学习的角度来看，来自不同用户、不同会话或不同肌肉疲劳状态的表面肌电信号可以看作来自不同的领域，而不同领域之间的数据分布差异通常会引起领域偏移，使得手势识别模型的训练数据和测试数据之间不再符合“独立同分布”这一传统机器学习假设，从而导致训练好的模型在识别来自全新领域的数据时出现性能下降，严重影响肌电手势识别系统的跨领域手势识别鲁棒性和泛化能力。

为此，肌电人机接口领域的专家广泛采用机器学习中的领域自适应学习技术解决多种因素诱发的肌电信号领域偏移问题。在机器学习领域，通常把模型的训练数据看作是源域数据，待识别的全新数据看作是目标域数据，领域自适应学习的目标是最小化源域和目标域之间的概率分布差异并建立起能够在目标域中执行相应任务的机器学习模型。表面肌电信号具有多源性质，即来自不同用户、不同会话、不同肌肉疲劳状态下的表面肌电数据可以看作是来自于不同数据源的数据。因此，肌电手势识别中的领域自适应问题本质上是一个多源领域自适应问题，传统面向目标域与单个源域之间自适应学习的方法容易忽视不同源域与目标域之间的不同关联性。

发明内容

本发明的目的是提供一种面向手势识别的领域自适应方法及系统，能够对不同源域视角下的多个目标域手势识别模型结果进行融合，提高手势识别的准确性。

为实现上述目的，本发明提供了如下方案：

一种面向手势识别的领域自适应方法，包括：

获取用户的待识别目标域表面肌电信号；

将所述待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；所述目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；

根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。

可选的，所述源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；所述初始源域手势识别模型包括特征提取器和手势分类器；所述特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；所述手势分类器包括全连接层和softmax分类器；所述手势分类器中的全连接层包括多个隐单元；

所述领域自适应模型包括目标域特征编码器和领域判别器；所述目标域特征编码器的神经网络结构与对应源域的特征提取器相同；

所述目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。

可选的，在所述获取用户的待识别目标域表面肌电信号之前，还包括：

从多名被试者获取训练用表面肌电信号，构成训练表面肌电信号数据集，所述训练表面肌电信号数据集中同一被试者的多个训练表面肌电信号数据为同一源域视角下的数据；

对训练表面肌电信号数据集中多个训练用表面肌电信号中每一帧对应的手势种类进行标签标注；

构建多个初始源域手势识别模型；

确定任一源域为当前源域；

以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型。

可选的，所述以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型包括：

确定任一所述初始源域手势识别模型为当前初始源域手势识别模型；

确定当前初始源域手势识别模型中的特征提取器为当前特征提取器；

确定当前初始源域手势识别模型中的手势分类器为当前手势分类器；

将当前源域下的多个训练用表面肌电信号输入到当前特征提取器中得到多个当前源域表面肌电信号深度特征；所述当前源域表面肌电信号深度特征是当前特征提取器的输出结果；

将多个当前源域表面肌电信号深度特征输入到当前手势分类器中得到手势分类结果；所述手势分类结果包括任一当前源域表面肌电信号为每种手势类别概率。

可选的，在所述获取用户的待识别目标域表面肌电信号之前，还包括：

确定每个源域视角下的权重。

可选的，在所述以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型之后，还包括：

根据训练后的当前特征提取器的网络结构构建当前目标域特征编码器；

根据训练后的当前特征提取器的参数作为初始参数；构建当前领域判别器；

将所述当前源域的多个训练用表面肌电信号数据输入当前目标域特征编码器中进行编码，生成多个训练用表面肌电信号数据在当前源域视角下的多个深度编码特征；

将同一训练用表面肌电信号数据的多个深度编码特征和多个所述深度编码特征均输入当前领域判别器中进行区分，根据区分结果更新当前目标域特征编码器和当前领域判别器的参数。

可选的，所述确定每个源域视角下的权重，包括：

确定多个所述当前源域下表面肌电信号深度特征服从的分布为第一分布；

确定当前源域下的多个目标域表面肌电信号深度特征服从的分布为第二分布；

确定所述第一分布和所述第二分布的推土机距离(Wasserstein distance)；

根据所述推土机距离，利用公式

可选的，所述待识别目标域表面肌电信号的手势种类为：

其中；

一种面向手势识别的领域自适应系统，包括：

待识别目标域表面肌电信号获取模块，用于获取用户的待识别目标域表面肌电信号；

手势识别结果确定模块，用于将所述待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；所述目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；

手势种类确定模块，用于根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。

可选的，所述源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；所述初始源域手势识别模型包括特征提取器和手势分类器；所述特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；所述手势分类器包括全连接层和softmax分类器；所述手势分类器中的全连接层包括多个隐单元；

所述领域自适应模型包括目标域特征编码器和领域判别器；所述目标域特征编码器的神经网络结构与对应源域的特征提取器相同；

所述目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明的目的是提供一种面向手势识别的领域自适应方法及系统，获取用户的待识别目标域表面肌电信号；将待识别目标域表面肌电信号分别输入到多个手势识别模型中，得到多个源域视角下的目标域手势识别结果；任一目标域手势识别模型是基于当前源域手势识别模型和当前源域视角下的领域自适应模型构建的；任一源域手势识别模型由同一源域下的多个表面肌电信号训练所得，包括特征提取器和手势分类器；特征提取器由卷积神经网络、循环神经网络和若干全连接层相连构成；手势分类器由多个隐单元的全连接层和softmax分类器构成；任一源域视角下的领域自适应模型由目标域特征编码器和领域判别器构成；目标域特征编码器与当前源域特征提取器具备相同的神经网络结构，并使用其参数作为初始参数；当前源域的领域自适应模型的目标域特征编码器和当前源域的手势分类器共同构成目标域手势识别模型；不同目标域手势种类识别模型使用的训练数据的源域不同；根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。本发明通过构建不同源域视角下下的目标域手势识别模型，并基于多个手势识别模型的识别结果进行融合，提高手势识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中面向手势识别的领域自适应方法流程图；

图2为本发明实施例2中面向手势识别的领域自适应方法流程图；

图3为本发明实施例3中手势种类识别模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种面向手势识别的领域自适应方法及系统，能够对不同源域视角下的多个目标域手势识别模型结果进行融合，提高手势识别的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图1所示，本实施例提供了一种面向手势识别的领域自适应方法，包括：

步骤101：获取用户的待识别目标域表面肌电信号。

步骤102：将待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；初始源域手势识别模型包括特征提取器和手势分类器；特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；手势分类器包括全连接层和softmax分类器；手势分类器中的全连接层包括多个隐单元；领域自适应模型包括目标域特征编码器和领域判别器；目标域特征编码器的神经网络结构与对应源域的特征提取器相同；目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。

步骤103：根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。

在步骤101之前，还包括：

步骤104：从多名被试者获取训练用表面肌电信号，构成训练表面肌电信号数据集，训练表面肌电信号数据集中同一被试者的多个训练表面肌电信号数据为同一源域视角下的数据。

步骤105：对训练表面肌电信号数据集中多个训练用表面肌电信号中每一帧对应的手势种类进行标签标注。

步骤106：构建多个初始源域手势识别模型。

步骤107：确定任一源域为当前源域。

步骤108：以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一初始源域手势识别模型进行训练，得到当前源域手势识别模型。

步骤108包括：

步骤1081：确定任一初始源域手势识别模型为当前初始源域手势识别模型。

步骤1082：确定当前初始源域手势识别模型中的特征提取器为当前特征提取器。

步骤1083：确定当前初始源域手势识别模型中的手势分类器为当前手势分类器。

步骤1084：将当前源域下的多个训练用表面肌电信号输入到当前特征提取器中得到多个当前源域表面肌电信号深度特征；当前源域表面肌电信号深度特征是当前特征提取器的输出结果。

步骤1085：将多个当前源域表面肌电信号深度特征输入到当前手势分类器中得到手势分类结果；手势分类结果包括任一当前源域表面肌电信号为每种手势类别概率。

在步骤108之后还包括：

步骤109：根据训练后的当前特征提取器的网络结构构建当前目标域特征编码器。

步骤1010：根据训练后的当前特征提取器的参数作为初始参数；构建当前领域判别器。

步骤1011：将当前源域的多个训练用表面肌电信号数据输入当前目标域特征编码器中进行编码，生成多个训练用表面肌电信号数据在当前源域视角下的多个深度编码特征。

步骤1012：将同一训练用表面肌电信号数据的多个深度编码特征和多个深度编码特征均输入当前领域判别器中进行区分，根据区分结果更新当前目标域特征编码器和当前领域判别器的参数。

在步骤101之前，还包括：

步骤109：确定每个源域视角下的权重。

例如，步骤109包括：

步骤1091：确定多个当前源域下表面肌电信号深度特征服从的分布为第一分布。

步骤1092：确定当前源域下的多个目标域表面肌电信号深度特征服从的分布为第二分布。

步骤1093：确定第一分布和第二分布的推土机距离(Wasserstein distance)。

步骤1094：根据推土机距离，利用公式

具体的，待识别目标域表面肌电信号的手势种类为：

其中；

实施例2

如图2所示，本实施例提出了一种肌电手势识别无监督多视角对抗式领域自适应学习框架，以应用于上述实施例一提供的面向手势识别的领域自适应方法中。这一肌电手势识别无监督多视角对抗式领域自适应学习框架的构建过程包含基于多分支卷积循环神经网络的多视角肌电手势识别模型构建、多源视角下的无监督对抗式领域自适应学习模型构建、基于目标域和源域间相似度的多源视角融合三个主要步骤，每个步骤的详细描述如下：

1基于多分支卷积循环神经网络的多视角肌电手势识别模型构建

假设训练数据集包含属于k个源域(S

由于表面肌电本质上是时间序列，为了更有效地对每个源域的表面肌电数据进行时序建模，本实施例基于卷积循环神经网络(convolutional recurrent neuralnetwork，CRNN)设计多视角肌电手势识别模型中每个深度神经网络分支的结构。如图3所示，每个深度神经网络分支中的源域特征提取器F

如图3所示，多视角肌电手势识别模型中每个源域视角下的肌电手势识别流程描述如下：首先对每段表面肌电信号序列进行滑动窗口采样，然后把每一个滑动采样窗口中的M帧L通道表面肌电信号归一化到[0,1]区间后转化为M×L的表面肌电图像，输入由卷积层和局部连接层构成的卷积神经网络进行特征学习，并使用全连接层将卷积神经网络学习到的卷积特征映射到向量空间，随后将全连接层输出的向量形式深度特征输入循环神经网络(RNN)单元。我们把每个滑动采样窗口看作时序上的一个时间点，则每个滑动采样窗口的表面肌电信号x

2多源视角下的无监督对抗式领域自适应学习模型构建

肌电手势识别中多源无监督领域自适应学习的目标是在已知属于k个源域(S

对于每个源域S

本实施例基于Wasserstein距离对领域判别器和目标域特征编码器进行优化。在所有领域判别器均满足1-Lipschitz连续(利普希茨连续条件)的约束条件下，领域判别器D

其中，

对目标域特征编码器

3基于目标域和源域间相似度的多源视角融合

本实施例在多源视角下的无监督对抗式领域自适应学习模型基础上进一步构建多源视角下的目标域手势识别模型，获得不同源域视角下的目标域肌电手势分类结果。如图3所示，第i个源域S

通过上述流程，当有全新待识别目标域肌电数据X′

其中

(1)基于Wasserstein距离的源域视角权重计算方法：

其中，

(2)基于混淆得分的源域视角权重计算方法：

其中，α

实施例3

本实施例提供了一种手势识别系统，包括：

待识别目标域表面肌电信号获取模块，用于获取用户的待识别目标域表面肌电信号。

手势识别结果确定模块，用于将待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的。

手势种类确定模块，用于根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。

其中，源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；初始源域手势识别模型包括特征提取器和手势分类器；特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；手势分类器包括全连接层和softmax分类器；手势分类器中的全连接层包括多个隐单元；领域自适应模型包括目标域特征编码器和领域判别器；目标域特征编码器的神经网络结构与对应源域的特征提取器相同；目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。