一种基于图神经网络的运动想象脑电信号分类方法

技术领域

本发明具体涉及一种基于图神经网络的运动想象分类方法，属于计算机软件领域。

背景技术

脑机接口(brain-computer interface，BCI)是指在人脑和外界环境间以计算机软硬件为基础建立连接，实现人脑和外界环境的信息交互。BCI按照电极放置位置可分为侵入式和非侵入式。非侵入式通过附着在头皮上的穿戴设备测量大脑的电活动，脑电图(electroencephalogram，EEG)是非侵入式方法之一。无创伤脑电图有着容易获取、采集成本低、信号时间分辨率高等特点，在脑机接口系统中有着广泛应用。

基于EEG的非侵入式脑机接口根据EEG的特性可分为主动式，反应式以及被动式。主动式BCI不需外界刺激，使用者可通过自主意识控制。反应式BCI是利用大脑对外界刺激的响应控制外部设备，大脑活动不受使用者控制。被动式BCI目的在于让外部设备适应大脑状态而不是利用包含使用者意图的脑活动控制外设。运动想象(motor imagery，MI)是BCI的重要范式之一，指人在心里感觉一个运动过程而实际上不执行实际运动的过程。运动想象脑电信号(MI-EEG)的产生无需外界刺激，是自发脑电信号。基于运动想象的脑机接口在医疗、军事交通和娱乐等方面都有广阔应用。

基于脑电信号的运动想象分类问题大致可以分为两方面：基于机器学习的方法和基于深度学习的方法。机器学习的方法主要分为特征提取和分类两个步骤。特征提取方面运动想象领域中代表算法是共空间模式(common spatial pattern，CSP)，该方法从多导脑电数据中提取每一类空间分布的分量并对其分类。后来，Ang等人提出了滤波器组共空间模式(filter bank common spatial pattern，FBCSP)，该方法在CSP的基础上增加了一种特征选择算法，提取不同频段的相应CSP特征。特征分类方法较为代表的是线性判别分析(LDA)，支持向量机(SVM)和k-最近邻算法(KNN)等。

近年来，越来越多的研究人员将深度学习技术应用到运动想象分类。卷积神经网络在EEG-MI领域也收到越来越多的关注，Schirrmeister等人提出的紧凑型的模型ShallowConvNet采用时域卷积和空间卷积进行特征提取，对处理后的特征进行分类，取得了不错的效果。考虑到传统卷积忽略了脑电电极分布并非天然的欧式空间的特点，有学者将图神经网络应用到运动想象分类当中。Sun等人利用电极的空间信息构建邻接矩阵，同时提出自适应邻接矩阵自学习脑电信号的空间特征，进一步提高了解码性能。Zhang等人提出构建空间邻接矩阵的三种方式，同时利用循环注意力网络在跨被试分类上取得了更高的分类精度。Li等人利用时空和频空双分支网络对运动想象进行分类，实现了多维特征的信息提取，在多个公共数据集上取得了不错的效果。Sun等人利用图卷积网络的自适应邻接矩阵修改不同脑电通道间的连接性构建通道主动推理模块，配合卷积神经网络对脑电数据进行分类。如何充分利用脑电电极非欧式空间的特性仍是当前的挑战。

为应对以上挑战，本发明提出了一种基于图神经网络的运动想象分类方法，采用自学习邻接矩阵实现脑电通道间的功能连接，同时利用脑电电极的空间位置构建距离连接，利用双视图进行空间图卷积，充分提取空间特征；然后对处理后的脑电信号按顺序进行时间卷积和空间卷积，最后进行分类。本发明的方法考虑了脑电通道间的联系，提高了多类运动想象脑电信号的识别准确率。

发明内容

本发明提出了一种基于图神经网络的运动想象脑电信号分类方法，该方法可充分考虑脑电通道间的联系，提高运动想象脑电信号的分类准确率；针对大脑区域之间的联系被忽略的问题，利用自学习图和先验图相结合的方式利用空间图卷积进行特征提取，从而提高分类准确率；

本方法方案如下：

首先对原始脑电数据集进行预处理；然后将数据集划分为训练集、验证集和测试集三部分，用于训练和测试新的网络模型——Multi View Graph Convolution Net模型；最后得出模型分类结果，并对分类结果进行评估，验证模型的准确性和泛化能力；

本发明技术方案的具体步骤如下：

步骤1.数据预处理：使用巴特沃斯带通滤波器对原始脑电信号进行带通滤波处理，随后对滤波后的信号做指数移动均值标准化；将脑电信号数据集划分为训练集、验证集和测试集；

步骤2.构建MVGCNet：构造两个脑视图，采用自学习图和先验图分别进行图卷积，以更好地考虑脑电通道间的功能和空间关系，实现信息互补；后采用时间卷积层和空间卷积层进行特征提取，捕获脑电数据的时空特征；

步骤3.将步骤1中的训练集和验证集输入到MVGCNet模型中进行训练,优化模型参数，提高模型的分类准确度和泛化能力；

步骤4.将步骤1中的测试集输入到步骤3中已训练好的模型中进行分类，评价分类的准确度。

本发明具有以下优点：

1.利用自学习邻接矩阵进行空间图卷积操作，可以充分考虑大脑不同区域间的功能联系，充分提取脑电信号的空间特征；

2.利用脑电电极的空间位置构建先验邻接矩阵，关注现实世界的脑电电极的空间近邻性，与自学习邻接矩阵实现信息互补。

附图说明

图1是本发明方法的总流程图；

图2是MVGCNet网络结构图；

图3是运动想象数据集的时间示意图；

图4到图12为训练过程中9个被试的验证集损失函数；

图13是本发明方法的9个被试的对比实验结果图；

图14是本发明方法的9个被试的消融实验结果图；

图15是本发明方法的9个被试的平均准确率对比实验结果图；

图16是本发明方法的9个被试的平均准确率消融实验结果图。

具体实施方式

本发明提出了一种基于图神经网络的运动想象脑电信号分类方法，该方法可充分考虑脑电通道间的联系，提高运动想象脑电信号的分类准确率；针对大脑区域之间的联系被忽略的问题，利用自学习图和先验图相结合的方式利用空间图卷积进行特征提取，从而提高分类准确率。

图1为本发明方法的总流程图，可分解为如下几个步骤：

步骤1.数据预处理，并划分数据集；

步骤2.构建MVGCNet模型；

步骤3.使用训练集和验证集对模型进行训练；

步骤4.测试模型效果，并评价分类的准确度。

下面对每个步骤的具体细节进行详细说明：

步骤1：

(1)对原始运动想象脑电信号用1阶4-40Hz的巴特沃斯带通滤波器进行带通滤波，过滤出所需频段的信号；

(2)对滤波后的信号做指数移动均值标准化，其中衰减因子设为0.999，以减少数值差异对模型效果的影响；

(3)开始训练之前，将经过预处理后的脑电数据集进行划分；进行了领域常见的单被试者实验(又称未见数据上的验证实验)，即将一个会话的数据用作训练样本，另一个会话的数据用作测试集；按其它文献中常见做法，将训练样本中随机选取80％的数据作为训练集，其余20％的数据作为验证集。

步骤2：

针对了大脑区域之间的联系被忽略的导致空间特征提取不充分、难以分类的问题，本发明提出了一种新的图神经网络模型脑电运动想象分类方法Multi View GraphConvolution Net，简称“MVGCNet”；该方法的网络结构如图2所示，主要概括为四部分：模块1，模块2，模块3，全连接层；此处使用Pytorch构建模型。下面对每一部分进行详细说明：

(1)模块1

首先对图卷积知识进行介绍：

一个无向图由G＝(V，E)组成，V为节点集合，E为边的集合；假设该无向图的节点个数为N，则该无向图的邻接矩阵为

o和p表示图中的节点，A

相应的图的拉普拉斯矩阵表示为L＝D-A，

采用归一化的拉普拉斯矩阵L

是单位矩阵，/>

为图上的节点向量，则图节点向量的傅里叶变换为：

Ff(x)＝U

其中Ff(x)表示对图节点向量做傅里叶变换；

傅里叶反变换为：

Ff

其中Ff

则x与滤波器g的图卷积表示为：

x*g＝U(U

其中⊙为对应元素乘积，*表示图卷积操作；g

利用切比雪夫多项式的K阶截断展开式进行近似公式5中的对角矩阵g

其中

其中

本模块中，利用不同的EEG节点定位方法实现不同邻接矩阵的EEG图表示；其中包括功能连接的脑视图和基于距离连接的脑视图；图由节点和边组成，记为无向图G

构造基于功能连接的脑视图和基于距离连接的脑视图，利用基于谱图理论的图卷积提取脑电信号的空间特征；

基于功能性连接的脑视图为自学习脑视图；该方法可以动态学习脑电的功能图结构；将输入的脑电信号定义为

其中

权向量ω通过式8更新；

λ为正则化参数，取值为0.01；||x

L

基于距离连接的脑视图利用真实世界的3D距离形成邻接矩阵，每个脑电通道视为图上的一个节点；定义一个节点和图上所有其他节点的距离集合为D

其M表示取平均值，

本模块采用切比雪夫图卷积，其中切比雪夫多项式中的K设为3，同时在进行图卷积操作之前对脑视图邻接矩阵A

其中

将

本模块将输入的脑电信号分成不同分支，分别利用自学习图和先验图进行图卷积空间特征提取，提取完特征后将结果连接输入；

本模块数据输入形式为(B，N

(2)模块2

利用时间卷积核对上层输出进行卷积处理，设置卷积核尺寸为(1，25)，卷积核数量为50；同时在该时间卷积层添加了最大范数约束进行正则化处理，设置最大范数权值约束为1；

本模块数据输入形式为(B，1，N

(3)模块3

首先对上层的输出进行空间卷积层特征提取，设置卷积核尺寸为(N

本模块数据输入形式为(B，50，N

(4)全连接层

最后，将得到的所有特征通过全连接层进行整合，输入到SoftMax中进行分类，得到最终结果；设置全连接层最大范数权值约束为0.5；

本模块数据输入形式为(B，50,1，((F

步骤3：

将脑电信号的训练集和验证集输入到MVGCNet模型中进行训练；训练阶段的迭代次数设为800，当验证集损失函数达到最低时保存模型；记录训练过程中验证集损失函数最低时的模型，用其预测测试集样本，记录测试集准确率；

训练的损失函数如式13，以Adam方法作为优化器，学习率均设为0.001；批训练的批大小设为64；

L

其中B

步骤4：

将步骤1中的测试集输入到步骤3中已训练好的模型中进行分类识别，评价分类的准确度；本发明方法所使用的数据集和实验结果描述如下：

1.数据集

本发明使用公开数据集BCI Competition IV Dataset2a进行实验，该数据集是第4届BCI竞赛的公开数据集；其中数据集的时间示意图如图3所示，所有实验数据都已使用0.5-100Hz的带通滤波器进行了预处理；该数据集包含了9位受试者进行左手、右手、双脚和舌头运动想象时的脑电信号，共涉及4个类别；这些脑电信号采集自22个Ag/AgCl电极，采样率为250Hz。所有信号都是单极记录，参考电极置为左乳突；该数据集包含两个会话，每个包含288个试次，每个类别为72个试次；提取展示提示后0秒至4秒的数据作为一个样本。所有样本均已打标签(即标记该样本对应哪个部位的运动想象)。

考虑到不同受试者之间脑电特征的差异性，我们需要对每个受试者进行独立的分类准确率计算，并将多个受试者的分类准确率求平均，以综合评估模型的性能；这是因为不同受试者的脑电信号可能受到个体差异、生理状态、技能水平等因素的影响，因此需要对每个受试者进行单独的分析，以更准确地评估分类模型在不同个体上的表现；通过求平均值可以综合考虑多个受试者的结果，提供对模型整体性能的评估。

2.实验结果与讨论

为了验证本发明方法的有效性和通用性，在公开数据集2a上进行了对比实验和消融实验，消融实验和对比实验的数据集划分和预处理等操作相同，实验结果证明了所提出的方法具有优越性；。图13、图15和表1为不同方法的跨会话实验的对比实验结果，图14、图16和表2为本发明方法的跨会话实验的消融实验结果；由图13、图15和表1可以看出，在2a数据集上，本发明提出的方法准确率和kappa值均高于对比方法，同时Wilcoxon符号秩检验中的p值均小于0.05，说明提出方法的性能显著优于对比方法；同时提出方法的标准差更低，说明提出方法的稳定性更强；由图14、图16和表2可知，本发明提出方法的准确率都比对比方法更高，且Wilcoxon符号秩检验中的p值均小于0.05；由此可说明这两个模块均是有效且必不可少的，都能提高运动想象的分类性能。

表1跨会话对比实验

表2跨会话消融实验