掌桥专利:专业的专利平台
掌桥专利
首页

一种肌电无关手势判别方法、系统、电子设备及存储介质

文献发布时间:2024-01-17 01:27:33


一种肌电无关手势判别方法、系统、电子设备及存储介质

技术领域

本发明涉及信号处理和手势判别技术领域,尤其涉及一种肌电无关手势判别方法、系统、电子设备及存储介质。

背景技术

随着人工智能和深度学习技术的飞速发展,通过手势识别技术,实现人机交互逐渐成为当下的研究热点。表面肌电信号是从皮肤表面获取的生物电信息,具有非侵入性、无创伤、操作简单等优点。表面肌电信号直接反映了引起肢体运动的肌肉收缩状态,蕴含丰富的运动信息,可以实现对手部运动意图的预测。相比基于视觉的手势识别,基于表面肌电信号的手势识别表现出不受外界环境背景变化的影响、计算量较小、实时性高等优势。因此,随着深度学习技术的发展,基于表面肌电信号的手势识别技术在智能假肢、康复外骨骼、康复治疗、手语翻译等人机交互领域呈现出广阔应用前景。在肌电模式识别领域,大多数的研究主要集中在提高肌电手势识别的准确性方面,因此目前大部分手势识别技术能够在多种手势动作上达到较高的识别准确率,主要技术手段包括:

(1)通过选择性的提取肌电信号的各种时域频域等特征,比如平均绝对值MAV、均方根RMS、中值频率MDF、功率谱PS等,并结合循环神经网络RNN、卷积神经网络CNN、Transformer等深度学习模型捕捉肌电信号的局部或者全局肌肉活动信息,在多种手势动作上能够达到较高的准确率;

(2)在实验室环境下提出了LST-EMG-Net模型,进一步提高了肌电手势识别的准确率。

然而,相对于实验室的理想环境,在实际的肌电交互应用过程中,往往会存在许多差异或干扰,比如无关动作、电极偏移、肌肉疲劳、用户差异等,最终导致肌电识别准确性低、交互效果差。其中,无关动作干扰是非常容易出现的一类干扰。无关动作干扰是指受试者在使用过程中,会不经意间做出不属于预定义的目标类别的动作,此时分类器被迫选择所训练的运动之一,导致系统产生错误识别结果,损害设备和用户的安全。因此,设计一种无关动作的判别方法显得至关重要。

现有技术关于无关动作判别主要分为基于概率的方法和基于一对多分类规则的方法。

(1)基于概率的方法:此类方法的核心思想是通过比较分类器对测试样本的预测概率值与预设的概率阈值之间的关系,实现对目标样本和无关样本的有效区分。具体而言,分类器为测试样本计算一个预测概率值,如果预测概率值高于预设阈值,则将其归为目标样本,否则将其归为无关样本。基于概率的方法原理简单,实现成本低,但是许多目标样本的分类概率可能较低,而无关样本的分类概率较高,最终影响无关动作判别准确率。

(2)基于一对多分类规则的方法:此类方法的核心思想是通过为每个目标类别训练一个一类分类器,实现目标样本和无关样本的有效区分。具体而言,将测试样本输入到所有分类器中,获取每个分类器的二元分类结果,用于判断测试样本是否属于该分类器所对应的目标类别。如果测试样本不属于任何已知的目标类别,则将其归为无关样本,否则将其归为目标样本。基于一对多分类规则的方法中,部分简单的机器学习方法如GC和SVDD被用于区分无关手势,但其假设目标手势和无关手势在特征空间中存在明显差异,而实际应用中的手势却难以预测。

无关动作的检测与异常检测(又称离群点检测或新颖性检测,是指检测那些明显偏离大多数数据实例的过程)所解决的问题非常相似。自编码器AE是异常检测中比较经典的一种方法,AE方法通过计算重构误差,能够更加充分地挖掘目标手势和无关手势之间的微小差异,提高模型的判别性能和稳定性。然而,基于AE及AE变体的方法通常容易受到训练数据中呈现的数据噪声的影响,从而导致严重的过度拟合和异常的小重建误差以及模型的重构性能受限,只能少量应用于高密度肌电系统中。

随着ganomaly网络的发展,基于ganomaly的异常检测迅速成为一种流行的深度异常检测方法。ganomaly在生成真实实例方面表现出了卓越的能力,从而能够检测从潜在空间重建效果不佳的异常实例。然而ganomaly网络在肌电无关手势识别领域中的检测性能还有待进一步挖掘和提升。

发明内容

为了解决现有技术中存在的问题,本发明提供了一种肌电无关手势判别方法和系统,基于ganomaly网络架构,增加通道裁剪、跨层编解码特征融合和SE通道注意力机制对应的结构,进一步提高模型对目标样本的重构能力,提升无关动作判别的性能。

本发明一方面提出一种肌电无关手势判别方法,基于特征重构网络EMG-FRNet实现,包括:

S1,获取数据集,并对所述数据集进行数据划分以及数据预处理后形成肌电样本;

S2,建立特征重构网络EMG-FRNet,所述特征重构网络EMG-FRNet基于在原始ganomaly网络架构基础上增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略实现,所述原始ganomaly网络架构包括生成器和判别器,其中,所述生成器为由第一编码器、解码器和第二编码器组成的“编码-解码-编码”结构;

S3,将所述肌电样本输入所述特征重构网络EMG-FRNet,提取输入肌电样本的潜在特征,并对肌电样本的潜在特征进行重构获得重构潜在特征后输出所述肌电样本的潜在特征和所述重构潜在特征;

S4,计算潜在特征z和重构潜在特征

优选的,所述数据集包括现有和/或自采的包含多种手势动作的肌电数据集;所述数据划分包括对所述数据集进行第一划分和第二划分;所述第一划分为将所述肌电信号数据划分为目标类数据集和无关类数据集,所述第二划分为将所述肌电信号数据划分为训练集和测试集,其中训练集只有目标类动作相关的数据,测试集既有目标类动作相关的数据又有无关类动作相关的数据;所述数据预处理包括数据分割和维度变换;其中所述数据分割基于滑动窗口法对多通道肌电信号进行分割,以获得手势动作的肌电样本;所述维度变换包括将经过所述数据分割后的多通道肌电样本形成的二维矩阵的第一维度和第二维度进行变换;变换后的所述二维矩阵比变换前的所述二维矩阵更适应特征重构网络EMG-FRNet的输入要求。

优选的,所述S2包括:

S21,构建ganomaly网络基础架构;

S22,基于原始ganomaly网络基础架构增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略形成初始特征重构网络EMG-FRNet;

S23,使用目标类数据集对所述初始特征重构网络EMG-FRNet进行训练,使用所有类别的数据集作为所述测试集对所述初始特征重构网络EMG-FRNet进行测试,不断重复进行所述训练和所述测试直到测试效果达到最优时,形成所述特征重构网络EMG-FRNet。

优选的,所述通道裁剪策略用于实施通道裁剪,包括比例通道裁剪和幂次通道裁剪,其中所述比例通道裁剪包括根据网络输入样本的通道比例,对网络特征层的通道数量进行裁剪,所述幂次通道裁剪包括在比例通道裁剪基础上改变通道数量,使得幂次通道裁剪后的通道数量满足2的整数次幂的要求;

所述跨层编解码特征融合策略用于实施跨层编解码特征融合,在生成器的第一编码器和解码器之间添加多个跳跃连接,建立了上采样层和下采样层之间的直接通路,将下采样特征图和上采样特征图通过所述多个跳跃连接进行特征融合;所述特征融合通过在通道维度进行特征拼接将编码和解码过程中的特征信息进行所述特征融合后获得编解码器的特征拼接图;其中所述多个跳跃连接包括将第一编码器和解码器不同尺度的特征图进行多次特征融合;

所述SE通道注意力策略用于实施SE通道注意力方法,从而基于SE通道注意力机制由编解码器的特征拼接图得到包含权重信息的特征拼接图;所述SE通道注意力方法包括压缩操作、激励操作和缩放操作;其中压缩操作用于得到编解码器的特征拼接图各个通道的特征表示z;激励操作用于得到各个通道的权重向量,缩放操作用于获取包含权重信息的特征拼接图。

优选的,所述压缩操作包括:通过全局平均池化对编解码器的特征拼接图M进行降维,使得每个特征通道都有一个数值表示,从而得到编解码器的特征拼接图各个通道的特征表示,如公式(1)所示:

其中,z表示编解码器的特征拼接图M各个通道的特征表示,M表示编解码器的特征拼接图M,H和W分别表示编解码器的特征拼接图M的长和宽,i,j分别表示编解码器的特征拼接图M的长和宽方向上的通道编号;

所述激励操作包括:对编解码器的特征拼接图各个通道的特征表示进行非线性变换,并将结果映射到一个权重向量中,权重向量中不同的数值表示不同通道的权重信息,如公式(2)所示:

s=Excitation(z)=sigmoid(W

其中,s表示权重向量,W

所述缩放操作包括:通过乘法运算,使用权重向量对特征拼接图进行权重赋值,得到包含权重信息的特征拼接图,如公式(3)所示,

M-weight=Scale(M,s)=M×s   (3);

其中,M-weight为包含权重信息的特征拼接图。

优选的,所述使用目标类数据集对所述初始特征重构网络EMG-FRNet进行训练包括:基于用于肌电无关手势识别的特征重构网络EMG-FRNet的模型结构的损失对所述生成器和判别器进行交叉训练,所述损失包括生成器的损失和判别器的损失;所述生成器的损失包括肌电样本重构损失、肌电样本潜在特征重构损失以及对抗损失,所述肌电样本重构损失表示输入的肌电样本和生成器恢复的肌电样本之间的差异,所述肌电样本潜在特征重构损失表示肌电样本潜在特征和肌电样本重构潜在特征之间的差异,所述对抗损失表示真假肌电样本在判别器的中间层特征之间的差异,所述生成器的损失为肌电样本重构损失、肌电样本潜在特征重构损失以及对抗损失的加权和;所述判别器的损失基于二元交叉熵函数获得。

优选的,所述S4中所述特征重构误差为潜在特征和重构潜在特征之间的差;所述基于所述比较的结果确定所述肌电样本属于目标手势或无关手势包括:当所述特征重构误差小于预定义的阈值,确定所述肌电样本属于目标手势;当所述特征重构误差大于预定义的阈值,确定所述肌电样本属于无关手势。

本发明的第二方面在于提供一种肌电无关手势判别系统,包括:数据处理模块,用于获取数据集,并对所述数据集进行数据划分以及数据预处理后形成肌电样本;其中所述肌电样本为网络模型的训练和测试提供数据基础;特征重构网络建立模块,用于建立特征重构网络EMG-FRNet,所述特征重构网络EMG-FRNet基于原始ganomaly网络架构基础上增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略建立,所述原始ganomaly网络架构包括生成器和判别器,其中,所述生成器为由第一编码器、解码器和第二编码器组成的“编码-解码-编码”结构;特征重构模块,用于将所述肌电样本输入所述特征重构网络EMG-FRNet,提取输入肌电样本的潜在特征z,并对肌电样本的潜在特征进行重构获得重构潜在特征

本发明提供的肌电无关手势判别方法、系统、电子设备以及计算机可读存储介质,具有如下有益的技术效果:将肌电无关手势识别领域与异常检测领域相联系,提出了一种用于肌电无关手势识别的特征重构网络EMG-FRNet,首次将ganomaly应用于肌电无关手势识别,并在其基础上增加了通道裁剪、跨层编解码特征融合和SE通道注意力策略,使得网络对目标类别样本的特征重构误差小,而对无关类别样本的特征重构误差大,进而提高对目标样本和无关样本的识别能力。我们通过实验验证了所提方法的可行性,实验结果表明,本发明提出的方法在所有肌电数据集上的无关手势识别性能均能保持在一个较高的水平。具体地,本发明方法在DB1、DB5、自采数据集上的AUC值分别达到了0.940、0.926、0.962,优于AE的0.882、0.819、0.902和SVDD的0.744、0.753、0.723。

附图说明

图1为本发明所述的肌电无关手势判别方法流程图;

图2为本发明所使用的数据集的手势种类:其中图2(a)为公共数据集DB1/公共数据集DB5Exercise B数据集的8种手势;图2(b)为自采数据集7种手势;

图3为本发明所述的数据分割示意图;

图4(a)为原始ganomaly模型结构示意图;图4(b)为本发明所述的EMG-FRNet模型结构示意图;

图5为本发明所述的下采样层特征图的通道裁剪方法原理示意图,其中包括比例通道裁剪和幂次通道裁剪,粗体数字代表特征图的通道数量;

图6为本发明所述的跨层编解码特征融合示意图;其中下采样特征图和上采样特征图通过跳跃连接进行特征融合;

图7为本发明所述的SE通道注意力示意图;其中Squeeze操作得到特征拼接图M各个通道的特征表示z;Excitation操作得到各个通道的权重s;Scale操作得到包含权重信息的特征拼接图M-weight;

图8为本发明所述的混淆矩阵示意图;

图9为本发明所述的ROC曲线示意图;其中ROC曲线为图中深色曲线,横坐标是伪阳性率FPR,纵坐标是真阳性率TPR;

图10为本发明所述的对比实验中,各数据集第一名受试者设置不同目标手势时的AUC折线图;其中图10(a)-图10(c)分别为SVDD、AE、EMG-FRNet三种算法在DB1、DB5、自采数据集上第一名受试者的AUC折线图;

图11为本发明所述的对比实验中,各数据集不同受试者的AUC折线图;其中图11(a)-图11(c)分别为SVDD、AE、EMG-FRNet三种算法在DB1、DB5、自采数据集上不同受试者的AUC折线图;

图12为本发明所述的消融实验中,各数据集第一名受试者设置不同目标手势时的AUC折线图;其中图12(a)-图12(c)分别为ganomaly、ganomaly+CC、ganomaly+CC+CLEDF、EMG-FRNet四种算法在DB1、DB5、自采数据集上第一名受试者的AUC折线图;

图13为本发明所述的消融实验中,各数据集不同受试者的AUC折线图;其中图13(a)-图13(c)分别为ganomaly、ganomaly+CC、ganomaly+CC+CLEDF、EMG-FRNet四种算法在DB1、DB5、自采数据集上不同受试者的AUC折线图;

图14为本发明所述的肌电无关手势判别系统结构图;

图15为本发明所述电子设备结构示意图。

具体实施方式

为了更好地理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

实施例一

如图1所示,本实施例提供一种肌电无关手势判别方法,基于特征重构网络EMG-FRNet实现,包括:

S1,获取数据集,并对所述数据集进行数据划分以及数据预处理后形成肌电样本;其中所述肌电样本为网络模型的训练和测试提供数据基础;

作为优选的实施方式,所述数据集包括现有和/或自采的包含多种手势动作的肌电数据集。本实施例中现有的肌电数据集包括:公共数据集NinaproDB1、公共数据集NinaproDB5;自采的肌电数据集即为自采数据集。

1)公共数据集NinaproDB1:采用公共数据集DB1中Exercise B的8种基本手部姿势(如图2(a)),每个手势采集10次,共10名健康受试者。其采集设备为10个通道的Otto Bock13E200,采样频率为100Hz。

2)公共数据集NinaproDB5:采用公共数据集NinaproDB5中Exercise B的8种基本手部姿势(如图2(a)),每个手势采集6次,共10名健康受试者。其采集设备为两个Myo肌电手环,其中每个Myo手环有8个通道,采样频率为200Hz。

3)自采数据集:采用7种在生活中常用的手部动作(如图2(b)),每个手势采集6次,共6名健康受试者。其采集设备为一个Myo肌电手环,共有8个通道,采样频率为200Hz。

作为优选的实施方式,所述数据划分包括对所述数据集进行第一划分和第二划分;所述第一划分为将所述肌电信号数据划分为目标类数据集和无关类数据集,所述第二划分为将所述肌电信号数据划分为训练集和测试集。

本实施例中,目标类数据集和无关类数据集的划分:实验设置1个手势为目标类动作,其余手势为无关类动作,遍历所有可能的情况。具体而言,在公共数据集NinaproDB1和公共数据集NinaproDB5中,每名受试者共进行8次实验,在自采数据集中,每名受试者共进行7次实验。

训练集和测试集的划分:训练集只有目标类动作相关的数据,测试集既有目标类动作相关的数据又有无关类动作相关的数据。具体而言,在公共数据集NinaproDB1数据集实验中,目标类别的第1、3、4、6、8、9、10次手势重复数据用于构建训练集,目标类别的第2、5、7次手势重复数据和无关类别的所有手势重复数据用于构建测试集。在公共数据集NinaproDB5和自采数据集实验中,目标类的第1、3、4、6次手势重复数据用于构建训练集,目标类的第2、5次重复数据和无关类的所有手势重复数据用于构建测试集。

作为优选的实施方式,所述数据预处理包括数据分割和维度变换;其中所述数据分割基于滑动窗口法对多通道肌电信号进行分割,以获得手势动作的肌电样本;所述维度变换包括将经过所述数据分割后的多通道肌电样本形成的二维矩阵的第一维度和第二维度进行变换;变换后的所述二维矩阵比变换前的所述二维矩阵更适应特征重构网络EMG-FRNet的输入要求。

本实施例中,对所有数据集,均只采用8个通道的肌电数据。原因在于:肌电手势识别最重要的肌肉群集中于肘部下方前臂肱桡肌周围,现有技术提供的八通道肌电手环能够覆盖该部分肌肉,而且这种手环的配置方便携带,具有广泛的实际应用前景。因此,这种数据采集方案作为本发明肌电手势识别方法实施的首选方式。

(1)数据分割:如图3所示,本发明优选实施例采用滑动窗口法对多通道肌电信号进行分割,以获得手势动作的肌电样本,并用于模型的训练和测试。具体而言,滑动窗口的长度被设置为128个采样点(图3中windows1和windows2代表长度为128个采样点的肌电窗),滑动步长为16个采样点(图3中stride代表长度为16个采样点的步长)。该方法可以有效地分割肌电信号,从而提取有用的时域特征,并为后续的模型训练和测试提供数据基础。

(2)数据维度变换:为了在特征重构网络EMG-FRNet的基础GAN网络(即ganomaly网络模型)中更好地学习特征表示,本发明对数据进行了维度变换。具体地,将分割后的多通道肌电样本从8×128的二维矩阵转化为32×32的二维矩阵,以更好地适应特征重构网络EMG-FRNet的基础GAN网络的输入要求。

S2,建立特征重构网络EMG-FRNet,所述特征重构网络EMG-FRNet基于在原始ganomaly网络架构基础上增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略实现,所述原始ganomaly网络架构包括生成器和判别器,其中,所述生成器为由第一编码器、解码器和第二编码器组成的“编码-解码-编码”结构;

作为优选的实施方式,所述S2包括:

S21,构建ganomaly网络基础架构;

S22,基于原始ganomaly网络基础架构增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略形成初始特征重构网络EMG-FRNet;

S23,使用目标类数据集对所述初始特征重构网络EMG-FRNet进行训练,使用所有类别的数据集作为所述测试集对所述初始特征重构网络EMG-FRNet进行测试,不断重复进行所述训练和所述测试指导测试效果达到最优时,形成所述特征重构网络EMG-FRNet。

作为优选的实施方式,所述特征重构网络EMG-FRNet基于在原始ganomaly网络架构基础上增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略实现,以提高网络的重构性能,实现对无关动作的高可靠性识别。

本实施例中,原始ganomaly网络架构如图4(a)所示,主要由两部分构成,分别是生成器G和判别器D。其中,生成器网络G由编码器G

原始ganomaly网络在图像异常检测领域表现出较好的性能,但是在其应用于肌电无关手势识别时,网络性能还需要进一步提升。本发明实施例提出的一种用于肌电无关手势识别的特征重构网络EMG-FRNet的模型结构如图4(b)所示,测试时,所建立的特征重构网络EMG-FRNet具有对目标类数据集中的目标类样本的特征重构误差小,而对无关类样本的特征重构误差大的特点。

(1)通道裁剪策略:用于实施通道裁剪,如图4(a)所示,原始ganomaly网络输入为三通道RGB图像,而本发明优选实施方式中输入为单通道的肌电样本,网络存在大量冗余的特征通道,导致网络的参数量较多,训练难度增加,而且影响网络的性能。为了减少原始ganomaly网络冗余的特征通道,提升网络在肌电无关手势识别中的性能表现,通道裁剪方法通过按照一定比例对原始ganomaly网络的特征层通道数量进行裁剪,从而减少网络的冗余特征,提升网络精度和性能,并大幅度缩减网络参数规模。

本发明提出通道裁剪方法,该方法包括比例通道裁剪和幂次通道裁剪两个部分。

比例通道裁剪包括:根据网络输入样本的通道比例,对网络特征层的通道数量进行裁剪。

幂次通道裁剪包括在比例通道裁剪基础上,保证裁剪后的通道数量依然可以被2整除,以最大程度地发挥计算机的处理能力。这是由于计算机在处理数据时,最高效的方式是将数据划分为2的整数次幂个单元进行处理。

本实施例的通道裁剪方法如图5所示。由于三通道RGB图像和单通道肌电样本的通道比例为3:1,故比例通道裁剪部分按照3:1的比例对原始ganomaly网络的特征图进行裁剪。幂次通道裁剪部分保证裁剪后的通道数量满足2的整数次幂的要求。

图5表示下采样层特征图的通道裁剪过程,下采样特征层的通道数量由原来的(64,128,256)变为(16,32,64)。上采样特征层的通道数量也做类似的修改,由原来的(256,128,64)变为(64,32,16)。另外,网络输出的潜在特征z和

(2)跨层编解码特征融合策略:用于实施跨层编解码特征融合。原始ganomaly网络在原始输入数据X到潜在特征z的下采样的编码器G

为了弥补下采样过程中的信息损失,提升生成器的重构性能,本实施例采用跨层编解码特征融合的方法。如图6所示,图中编码器G

跨层编解码特征融合方法可以最大化地保留编码和解码过程中的特征信息,弥补信息损失,使得输入数据X和重构输入数据

(3)SE通道注意力策略:用于实施SE通道注意力方法。由于跨层编解码特征融合是将同尺度的编解码特征直接进行连接,这种连接机制使得跨层级的信息传递得以实现,从而能够弥补信息丢失的问题。然而,同尺度的特征往往包含相似但不完全相同的信息,所以通过跨层编解码特征融合传递的特征信息中可能会包含重复的冗余信息。这种冗余特征信息的存在会降低网络的泛化能力并可能导致过拟合问题。

为了避免跨层编解码特征融合中的冗余信息问题,本实施例提出使用SE通道注意力机制,给各个特征通道施加不同的权重,强化关键特征信息的传递,同时削弱冗余特征信息的影响。如图7所示,本实施例在通过跨层编解码特征融合得到编解码器的特征拼接图M后,通过SE通道注意力机制,得到包含权重信息的特征拼接图M-weight,使得解码器上采样过程中关注重要特征信息,从而提升网络的性能。SE通道注意力方法包括压缩(Squeeze)操作、激励(Excitation)操作和缩放(Scale)操作;其中压缩(Squeeze)操作用于得到编解码器的特征拼接图M各个通道的特征表示z;激励(Excitation)操作用于得到各个通道的权重向量s,缩放(Scale)操作用于获取包含权重信息的特征拼接图M-weight。

A.所述压缩(Squeeze)操作包括:通过全局平均池化对编解码器的特征拼接图M进行降维,使得每个特征通道都有一个数值表示,从而得到特征表示z,如公式(1)所示:

其中,z表示编解码器的特征拼接图M各个通道的特征表示,M表示编解码器的特征拼接图M,H和W分别表示编解码器的特征拼接图M的长和宽,i,j分别表示编解码器的特征拼接图M的长和宽方向上的通道编号;

B.所述激励(Excitation)操作包括:对编解码器的特征拼接图M各个通道的特征表示z进行非线性变换,并将结果映射到一个权重向量s中。这个过程通过两层全连接层完成,权重向量s中不同的数值表示不同通道的权重信息,如公式(2)所示:

s=Excitation(z)=sigmoid(W

其中,s表示权重向量,W

C.所述缩放(Scale)操作包括:将权重向量s应用到编解码器的特征拼接图M上,得到包含权重信息的特征拼接图M-weight。具体而言,通过乘法运算,使用权重向量s对特征拼接图进行权重赋值,得到包含权重信息的特征拼接图,如公式(3)所示,其中,M-weight为包含权重信息的特征拼接图。

M-weight=Scale(M,s)=M×s   (3)

在跨层编解码特征融合之后增加SE通道注意力的方法,不仅在保留编码和解码过程中的特征信息方面具有优势,而且可以进一步优化特征的传递和削弱冗余信息的影响,从而提高生成器的性能和模型的表现力。

作为优选的实施方式,基于用于肌电无关手势识别的特征重构网络EMG-FRNet的模型结构的损失对生成器和判别器进行交叉训练,所述损失由两部分构成,分别是生成器的损失L

(1)生成器的损失L

生成器的损失L

本实施例采用的损失比例为w1∶w2∶w3=50∶1∶1。

L=w

(2)判别器的损失L

其中,X表示输入的肌电样本;

S3,将所述肌电样本输入所述特征重构网络EMG-FRNet,提取输入肌电样本的潜在特征z,并对肌电样本的潜在特征进行重构获得重构潜在特征

S4,计算潜在特征z和重构潜在特征

作为优选的实施方式,所述计算潜在特征z和重构潜在特征

作为优选的实施方式,基于所述比较的结果确定所述肌电样本属于目标手势或无关手势包括:

当所述特征重构误差error小于预定义的阈值threshold,确定所述肌电样本属于目标手势;

当所述特征重构误差error大于预定义的阈值threshold,确定所述肌电样本属于无关手势。

本实施例中,将重构误差error和预定义的阈值threshold进行比较,如果重构误差大于阈值,则归为无关手势,如果重构误差小于阈值,则归为目标手势。如公式(9)所示,其中0代表目标手势,1代表无关手势。

特征重构网络EMG-FRNet的性能验证和评价:

一、具体实施例的实验环境及参数设置

本实施例的实验所使用的计算机配置如下:Intel Core i5-8250U CPU处理器(8GB内存),NVIDIA GeForce 940MX显卡(2GB显存),Windows 10操作系统,使用python3.7编程语言在Pytorch1.2.0深度学习框架下实现网络模型的训练和测试。

EMG-FRNet肌电无关手势识别特征重构网络的训练参数设置:使用Adam优化器,设置平滑常数(β1,β2)为(0.5,0.999),初始学习率lr为2e-3,batch size为64,训练轮数epoch为200。

二、评价指标

本实施例采用ROC(Receiver Operating Characteristic)曲线下的面积AUC指标来评估模型的性能优劣,AUC取值在0至1范围内,AUC值越大,代表模型的性能越好。

混淆矩阵是ROC曲线绘制的基础,如图8所示,混淆矩阵的每一行代表了数据的真实类别,每一列代表了数据的预测类别。二分类任务中,模型最终输出的结果是0或1,即positive或negative。混淆矩阵中,TP代表真正类,即样本的真实类别是正类,模型识别结果也是正类。同理,FN代表假负类,FP代表假正类,TN代表真负类。

根据公式(10)和公式(11),可以得到伪阳性率FPR(False Positive Rate)和真阳性率TPR(True Positive Rate)。FPR代表在所有实际为阴性的样本中,被错误地判断为阳性之比率。TPR代表在所有实际为阳性的样本中,被正确地判断为阳性之比率。

对于二分类任务,设定一个固定阈值,可以得到一个(FPR,TPR)对,将不同阈值对应的(FPR,TPR)对刻画在坐标系上,即可得到ROC曲线,如图9所示,ROC曲线代表了不同阈值下模型的识别性能。ROC曲线为图中深色曲线,横坐标是伪阳性率FPR,纵坐标是真阳性率TPR。

进一步地,本实施例采用ROC曲线下的面积AUC值来定量化评估模型的无关手势识别性能。

三、对比实验

将用于肌电无关手势识别的特征重构网络EMG-FRNet与现有的无关手势识别领域内较为前沿的方法:基于支持向量机SVDD的方法、基于自动编码器AE的方法进行比较。

每名受试者需进行多次实验,每次实验设置不同的目标手势类别。公共数据集DB1和公共数据集DB5分别设置8个不同的目标手势,自采数据集设置7个不同的目标手势。公共数据集DB1和公共数据集DB5分别有10名受试者,自采数据集有6名受试者。首先,实验记录了受试者设置不同目标手势时的AUC值。然后,对不同目标手势对应的AUC值取平均,得到受试者的AUC值。最后,对数据集所有受试者的AUC值取平均,得到数据集的AUC值。图10展示了各数据集第一名受试者设置不同目标手势时的AUC折线图。图11展示了各数据集不同受试者的AUC折线图。表1展示了各数据集的AUC值。

表1各数据集的AUC值

从图10可以看到,对于同一名受试者,当设置不同的目标手势时,相比于对比算法SVDD和AE,EMG-FRNet模型的AUC值总能够保持在一个较高且较为稳定的水平。从图11可以看到,对于不同的受试者,EMG-FRNet模型的性能依然优于对比算法SVDD和AE。具体地,如表1所述,在不同的数据集DB1、DB5和自采数据集上,EMG-FRNet的AUC值分别为0.940、0.926、0.962,优于SVDD的0.744、0.753、0.723,以及AE的0.882、0.819、0.902。

在上述对比实验中,SVDD表现最差,平均AUC值仅有0.740,其原因可能是采用的是传统的基于球形超平面的单类支持向量机方法,对于肌电样本这种复杂数据分布的情况,分类性能较差。AE的平均AUC值达到0.868,在SVDD基础上提升了0.128,其原因可能是AE采用了自编码器的方法进行特征学习和提取,能够更好地挖掘数据的内在特征。EMG-FRNet的平均AUC值达到0.943,在AE基础上提升了0.075,其原因可能是该方法利用了GAN在异常检测领域的优势,同时结合了通道裁剪、跨层编解码特征融合、SE通道注意力等策略,进一步提高了模型在肌电无关手势识别任务中的性能。

本发明所提出的EMG-FRNet在肌电无关手势识别任务中达到了最先进(SOTA)的性能。

四、消融实验

为了验证方法的有效性,进行如下消融实验:以原始的ganomaly网络为基础,依次加入通道裁剪(channel lipping,CC),跨层编解码特征融合(Cross layer encoding anddecoding feature fusion,CLEDF),SE通道注意力(SE channel attention,SE)。在下面的图例中,将ganomaly表示为Baseline,将ganomaly+CC表示为模型1,ganomaly+CC+CLEDF表示为模型2,ganomaly+CC+CLEDF+SE(EMG-FRNet)表示为模型3。

图12展示了各数据集第一名受试者设置不同目标手势时的AUC折线图。图13展示了各数据集不同受试者的AUC折线图。表2展示了各数据集的AUC值。

表2各数据集的AUC值

从图12可以看到,对于同一名受试者,当设置不同的目标手势时,Baseline、模型1、模型2、模型3的性能依次提高。从图13可以看到,对于不同的受试者,上述结果依然适用。具体地,如表2所述,在不同的数据集DB1、DB5和自采数据集上,Baeseline的AUC分别为0.900、0.739、0.870,模型1的AUC分别为0.902、0.870、0.934,模型2的AUC分别为0.930、0.919、0.960,模型3的AUC分别为0.940、0.926、0.962。

在上述消融实验中,ganomaly的平均AUC值为0.836。模型1的平均AUC值为0.902,在Baseline的基础上提高了0.066,其原因是通道裁剪减小了原始ganomaly网络中的冗余特征对模型性能的影响。模型2的平均AUC值为0.936,在模型1的基础上提高了0.034,其原因是跨层编解码特征融合能够弥补下采样过程中的信息损失。模型3的平均AUC值为0.943,在模型2的基础上提高了0.007,其原因是SE通道注意力能够避免特征融合带来的冗余信息问题,使得网络关注更加重要的特征,提高模型的重构性能。

模型EMG-FRNet的效果能够达到最佳,通道裁剪、编解码特征融合、SE通道注意力均不同程度的提高了模型在肌电无关手势识别任务中的表现。

实施例二

参见图14,本实施例提供一种肌电无关手势判别系统,包括:

数据处理模块101,用于获取数据集,并对所述数据集进行数据划分以及数据预处理后形成肌电样本;其中所述肌电样本为网络模型的训练和测试提供数据基础;

特征重构网络建立模块102,用于建立特征重构网络EMG-FRNet,所述特征重构网络EMG-FRNet基于原始ganomaly网络架构基础上增加通道裁剪策略、跨层编解码特征融合策略和SE通道注意力策略建立,所述原始ganomaly网络架构包括生成器和判别器,其中,所述生成器为由第一编码器、解码器和第二编码器组成的“编码-解码-编码”结构;

特征重构模块103,用于将所述肌电样本输入所述特征重构网络EMG-FRNet,提取输入肌电样本的潜在特征z,并对肌电样本的潜在特征进行重构获得重构潜在特征

无关手势判别模块104,用于计算潜在特征z和重构潜在特征

本发明还提供了一种存储器,存储有多条指令,所述指令用于实现如实施例一所述的方法。

如图15所示,本发明还提供了一种电子设备,包括处理器301和与所述处理器301连接的存储器302,所述存储器302存储有多条指令,所述指令可被所述处理器加载并执行,以使所述处理器能够执行如实施例一所述的方法。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

相关技术
  • 手势关键点检测方法、装置、电子设备及存储介质
  • 一种分布式系统部署方法、系统、电子设备及存储介质
  • 一种操作系统的预安装方法、系统、电子设备及存储介质
  • 裸电芯外观尺寸检测方法、电子设备、存储介质及系统
  • 海棠种和品种的判别方法、装置、存储介质及电子设备
  • 基于自适应学习的用户无关肌电手势识别系统
  • 一种基于力度无关鲁棒特征的肌电手势识别方法
技术分类

06120116226323