一种基于对抗式卷积神经网络的事件相关电位识别方法

技术领域

本发明涉及脑机接口技术领域，具体涉及一种基于对抗式卷积神经网络的事件相关电位识别方法。

背景技术

脑机接口(Brain-Computer Interface，BCI)可以利用脑部信号与外部设备进行直接连接，实现脑与设备的信息交换。在不同的脑信号中，由于脑电图(Electroencephalograph，EEG)信号具有较高的时间分辨率，非侵入性，廉价性，安全性等特性，目前以及被广泛研究。

基于EEG信号，事件相关电位(Event-related potential，ERP)是一种特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。为了提取EEG信号中的ERP特征，将多次重复刺激片段截取进行叠加平均。由于作为ERP背景的EEG波形与刺激间无固定的关系。而其中所含的ERP成份在每次刺激后具有锁时特性并且结构类似，经过叠加，ERP波幅与叠加次数成正比例增大。ERP反映了认知过程中大脑的神经电生理的变化，也被称为认知电位，也就是指当人们对某课题进行认知加工时，从头颅表面记录到的脑电位。ERP技术能够隔离在刺激、反应或其他事件后迅速展开的神经认知操作。目前许多ERP成份，如P300，N170，N400等已被识别和验证为感觉、认知、情感和运动过程的度量。近年来，由于开发了相对便宜的脑电记录系统以及用于处理ERP数据的商业和开源软件包，ERP技术已经被研究人员所使用。尽管BCI技术在各方面取的很大进展，但仍有一些问题阻碍了基于脑电的脑机接口的广泛部署和采用。例如，由于EEG信号采取非侵入式技术，信噪比较低。此外ERP信号对于每个个体存在较高的特异性，并且随着时间的推移，不同个体间相同信号的差异可能逐渐变大。虽然脑电图记录和处理的某些方面已经变得相对标准化，但是许多其他实验室甚至实验室内的研究差异很大。例如，P3成分已经在数千项研究中使用古怪范式进行了测量，但任务参数，记录设置和数据处理方法在研究中差异很大。随着BCI技术发展到新阶段，对稳健特征提取技术的需求只会进一步增加。

ERP成份对于每个个体存在较高的特异性，并且随着时间的推移，不同个体间相同信号的差异可能逐渐变大。此外，个体内部随着时间推移或注意力等因素影响，不同片段的ERP成份也会产生变化。传统的ERP成份分析仅能反应特定因素对受试者的整体影响无法对特定时间段进行分析，影响如临床，刑侦领域的实际应用。深度学习算法可以弥补这一点不足，但是现有技术中，针对ERP成份设计的网络模型不够充足，且各类模型性能对比尚存在不足，模型稳定性与准确率较为一般。模型在各种不同类型的范式适用情况、在受试者内部及跨受试者模式的模型效果研究不够全面。

发明内容

为解决上述问题，本发明提供一种基于对抗式卷积神经网络的事件相关电位识别方法，提出了一种针对各种范式条件下，受试者内部及跨受试者通用的深度学习模型。

为实现上述目的，本发明提供了如下的技术方案。

一种基于对抗式卷积神经网络的事件相关电位识别方法，包括以下步骤：

采集待识别的脑电图信号；

基于卷积神经网络构建特征提取网络；经过对抗式学习后，通过特征提取网络逐层提取脑电图信号在时间、空间和频率维度上关于事件相关电位的特征向量组；

构建分类器，通过分类器对事件相关电位的特征向量组进行识别，获得脑电图信号中的事件相关电位的成份类型；

其中，特征提取网络对抗学习时，对每次迭代所提取出的特征向量组进行聚类，计算聚类后错分样本占比，并以敌对的方式进行反向传播到特征提取网络进行学习。

优选地，还包括：

对脑电图信号经过滤波处理，并经过独立成分分析处理去除伪迹。

优选地，所述特征提取网络，包括依次连接的：

n

n

n

深度可分离卷积层，与点态卷积层，用于对之前提取到的所有特征特征组进行总结，并合并成最佳方式输出事件相关电位的特征向量组；

其中，所述深度可分离卷积层为n

优选地，所述分类器的第一层softmax层输出100维特征点，第二层输出2维特征点。

优选地，还包括：

采用最小化分类交叉熵损失函数，通过Adam优化器拟合整个网络模型；

通过多次训练迭代并执行验证停止，保存产生最低验证集损失的模型权重。

优选地，还包括：

通过Dropout技术对整个网络模型进行优化；其中，dropout probability设置为0.20，Batchsize设为32。

本发明的有益效果：

本发明提出一种基于对抗式卷积神经网络的事件相关电位识别方法，该方法提升了ERP识别的精度，并且具有良好的稳定性。在受试者内部对ERP成份具有良好的敏感度，跨受试者对ERP成份的敏感度有所降低，减少跨受试识别ERP成份的错误率。更适合当前的应用环境与实际要求。

附图说明

图1为本发明实施例的网络结构图；

图2为本发明实施例的受试者内部模型分析结果；

图3为本发明实施例的跨受试者模型分析结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于对抗式卷积神经网络的事件相关电位识别方法，如图1所示，包括以下步骤：

S1：采集待识别的脑电图信号。

S2：构建特征提取网络，包括多层卷积层；经过对抗式学习后，特征提取网络逐层提取脑电图信号在时间、空间和频率维度上关于事件相关电位的特征向量组。

S3：构建分类器，包括两层softmax层；通过分类器对事件相关电位的特征向量组进行识别，获得事件相关电位识别结果。

具体的：

(1)预处理

EEG数据为30通道(FP1、F3、F7、FC3、C3、C5、P3、P7、P9、PO7、PO3、O1、Oz、Pz、CPz、FP2、Fz、F4、F8、FC4、FCz、Cz、C4、C6、P4、P8、P10、PO8、PO4、O2)，采样频率为256H

(2)模型结构

整体模型结构如图1所示，为了训练一个深度神经网络来预测每个输入ERP的目标值，首先对ERP信号应用特征提取网络，得到特征向量组。特征提取网络采用Rouet-Leduc逐层提取时间维度上持续信号的思想。

网络由多层卷积层组成，首先通过n1个卷积核大小为(1，64)的2D卷积层，提取不同带通频率下EEG信号的特征向量组。然后使用n

这种结构组合十分适用与EEG信号，可以有效地综合不同尺度(时间、空间、频率)上的特征。受试者内部及跨受试者模式可以通过调整卷积核个数适应数据集，本实施例中，受试者内部(n

为了保证提取的特征不会偏向混淆因子，对每轮提取出的特征向量组进行聚类以评估特征中含有混杂因子的程度。计算聚类后错分样本占比，并以敌对的方式将这种损失以一定权重反向传播到特征提取模块。因此，特征提取器通过聚类后的损失程度来学习最小化预测分类的损失特征，同时有条件地独立于混杂因素。

分类器部分则由两层softmax层构成，第一层输出100维特征点，第二层输出2维特征点对应样本分别属于两类的概率。对抗模块产生的损失不会直接传递给分类器部分，会经由特征模块间接对分类器参数造成影响。经过不断迭代后将会基于无混杂因素提取特征，且特征向量组内仍保留与分类相关特征。

使用Adam优化器拟合模型，最小化分类交叉熵损失函数。运行500次训练迭代(EPOCH)并执行验证停止，从而保存产生最低验证集损失的模型权重。为了帮助模型规范化，防止过拟合，使用了Dropout技术，将模型的dropout probability设置为0.20。Batchsize设为32。更多网络参数见表1。

图1 ERPNET网络参数

本实施例中，

1实施例的构成

对受试者每轮任务的脑电数据进行截取。受试者内部模型部分，针对每名受试者数据训练模型。对比不同分类器在每名受试者脑电数据上的分类效果。此外，在各种任务上跨受试者模型表现往往低于受试者内部模型，因此消除不同受试者影响，提升模型稳定性也是模型重要的需求之一。将四名受试者划分为一组以确保交叉验证后每名受试者均作为验证集来评估模型性能。本实施例采用受试者内部及跨受试者分析训练模型。使用四折交叉验证，并比较不同分类器在不同数据集(P300；ERN)下的分类效果。

2作用效果

2.1受试者内部效果

对于受试者内部模型分析结果，请见图2，表2。基于CNN的网络模型以及DBN网络模型显著优于传统方法(p<0.01)。在P300数据集中,基于CNN的网络模型(NET；EEGNet；ShallowConvNet)显著优于DBN网络模型(p<0.01),并且DBN稳定性较差。DBN模型出现较为严重的数据偏向性，对非ERP成份十分敏感。

ERPNET网络模型在P300数据集中正确率达到86.9％，ERN数据集中正确率达到93.65％，均显著优于其他基于CNN的网络模型(P<0.01)。ERPNET相较于其他模型，对ERP成份具有更高的敏感度(p<0.01；P300:46.65％,ERN:53.89％)。在两种数据集上，EEGNet、DeepConvNet以及传统方法对ERP成份的敏感度显著优于ShallowConvNet,并且ShallowConvNet在敏感度方面的稳定性较差。在ERN数据集上，EEGNet相比DeepConvNet具有更高的敏感度(p＝0.04)在P300数据集上，EEGNet、DeepConvNet以及传统方法在敏感度方面并未形成显著差异。

表2为受试者内部模型分析结果

2.2跨受试者作用效果

对于跨受试者模型分析结果，请见图3，表3。DBN模型的偏向性更为严重(P300成份敏感度0.11％；ERN成份敏感度0％)。此外传统方法在ERN数据集上也出现较为严重的偏向性，敏感度：1.44％。基于CNN的网络模型数据偏向性较小，ERPNET正确率分别达到P300数据集：74.7％，ERN数据集88.06％，两种数据集上，网络显著优于EEGNet网络(p<0.01),此外在ERN数据集上，显著优于DeepConvNet模型(p＝0.03)。EEGNet与ShallowConvNet相较于其他基于CNN的网络模型，稳定性较差。

表3为跨受试者模型分析结果

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。