一种基于卷积神经网络的SSVEP分类方法

技术领域

本发明属于数据处理领域，具体涉及一种基于卷积神经网络的SSVEP分类方法。

背景技术

随着脑机接口技术的发展提供了一种通过大脑意念就能够直接控制外部设备的交互方式。基于脑电信号的脑机接口技术作为一种分侵入式的脑机接口技术，其通过算法解读、识别脑电信号并最终转换成为可用的指令。在各种基于脑电信号的脑机接口技术中，稳态视觉诱发电位(SSVEP)因为其拥有的高信息传输率和低用户训练等优势而受到了广泛的关注和研究。稳态视觉诱发电位(SSVEP)的产生是当用户注视不同闪烁频率的刺激时，大脑的视觉皮层会产生相应的振荡，从而导致脑电信号中相应频率和谐波的振幅更强。

目前的SSVEP分类方法主要可用分为传统方法和基于深度学习的方法。传统的分类方法如功率谱密度分析(PSDA)、典型相关性分析(CCA)、滤波器组典型相关性分析(FBCCA)等大多是基于固定的数学模型，通过将脑电信号与刺激目标进行逐一匹配或相关性分析以获得分类结果。基于深度学习的SSVEP分类方法利用时域或频域脑电信号作为输入，并采用卷积神经网络进行自动的特征提取和学习并最终分类。由于卷积神经网络能够根据训练数据中包含的特征自行的对网络权重参数进行调整，所以在对比传统基于固定数学模型的算法时能够表现出更佳的拟合特性。

但是，当前的各类基于深度学习的SSVEP方法忽略了一些重要的先验知识，例如SSVEP谐波成分间的相关性，由此导致网络的输入特征区分度低而不能彻底提取并学习部分重要特征的问题，难以进一步提高分类准确率。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于卷积神经网络的SSVEP分类方法，该方法包括：获取SSVEP数据，对获取的数据进行预处理；将预处理后的数据输入到训练好的多通道卷积神经网络模型中，得到SSVEP分类结果；

对多通道卷积神经网络模型进行训练的过程包括：

S1：获取原始SSVEP脑电数据集，对原始SSVEP脑电数据进行预处理，得到训练数据集；

S2：将预处理后的训练集数据分别输入到多通道卷积神经网络模型的各个通道中，得到各个一维特征向量；

S3：将各个通道得到的一维特征向量进行加权融合，将融合后的一维向量特征经过各自的全连接层完成全连接方式的卷积，生成一维全连接神经元；

S4：将所有的一维全连神经元在级联后通过全连接方式进行卷积输出对应各个SSVEP刺激目标的概率，根据SSVEP刺激目标的概率对数据进行分类得到分类结果；

S5：计算模型的损失函数，不断调整模型的参数，当损失函数最小时，完成模型的训练。

优选的，对训练集总的数据进行预处理的过程包括：对获取的SSVEP脑电信号数据进行标记；将标记后的SSVEP脑电信号数据通过滤波器组分割为多个不同独立频带；采用快速傅里叶变换对不同频带的时域脑电数据进行处理，得到各自的频谱数据矩阵。

进一步的，将标记后的SSVEP脑电信号数据进行分割过程中，分割得到的频带数据均覆盖SSVEP刺激频率基波和谐波。

进一步的，生成的频谱数据矩阵为：

优选的，多通道卷积神经网络的通道包括输入层、三个卷积层、特征增强层以及降维层；各个通道对输入的数据进行处理的过程包括：

步骤1：将频谱数据矩阵输入到输入层中进行二维向量尺度变换，得到二维特征矩阵；

步骤2：采用第一卷积层C1对二维特征矩阵进行卷积，得到尺度为2×M*M×(N-2)的第一特征矩阵；其中M表示脑电数据的采集通道数

步骤3：采用第二卷积层C2对第一特征矩阵进行卷积，得到尺度为2×M*(N-2)的第二特征矩阵；其中N表示频谱数据的长度；

步骤4：采用第三卷积层C3对第二特征矩阵进行卷积，得到尺度为2×M*(N-2-5/FFT resolution+1)的第三特征矩阵；其中5/FFT resolution表示频率跨度为5Hz；

步骤5：采用基于注意力机制的特征增强层对第三特征矩阵进行处理，得到重要特征矩阵；

步骤6：对重要特征矩阵进行降维处理，得到一维向量特征。

进一步的，得到第一特征矩阵、第二特征矩阵和第三特征矩阵的过程包括：在第一卷积层中采用2×M个大小为3×3的卷积核对输入的频谱数据矩阵进行卷积，得到第一特征矩阵；在第二卷积层中采用2×M个大小为M×1的卷积核对第一特征矩阵进行卷积，得到第二特征矩阵；在第三卷积层中采用2×M个大小为1×5/FFT resolution的卷积核对第二特征矩阵进行卷积，得到第三特征矩阵；其中，FFT resolution表示快速傅里叶变换结果的频率分辨度。

进一步的，采用基于注意力机制的特征增强层对第三特征矩阵进行处理的过程包括：通过全局平均池化操作对输入特征进行空间维度压缩，获得C个通道的全局感受，输出尺度为[1xC]；采用两个全连接层分别对N个通道进行压缩和拓展，第一个全连接层输出尺度为[1xC/r]，第二个全连接层的输出尺度为[1xC]，其中r表示压缩率；将输入特征与第二个全连接层的输出特征相乘，得到重要特征矩阵。

优选的，将各个通道得到的一维向量特征进行加权融合的过程包括：各卷积神经网络通道输出的一维特征向量通过两两相加的方式得到多个加权后的一维特征向量，其目的在于对各个对应不同谐波分量的特征进行两两融合以增强特征的表达力。随后通过各自的对应的全连接层得到尺度为[1x6*K]的一维全连接神经元，其中K是SSVEP刺激目标的数量，其目的在于压缩特征数量减少网络计算量。

优选的，对一维全连神经元进行分类的过程包括：各卷积神经网络通道输出的一维特征向量通过两两相加的方式得到多个加权后的一维特征向量；将加权后的一维特征向量输入到各自的对应的全连接层中，得到尺度为[1x6*K]的一维全连接神经元，其中，K表示SSVEP刺激目标的数量。

优选的，模型的损失函数的表达式为：

本发明利用SSVEP脑电信号中刺激目标所诱发的脑电电位存在着基波和各个谐波成分存在着互相关性的先验知识，使用时域滤波和快速傅里叶变换对脑电信号进行预处理提取出SSVEP信号的各个谐波成分并通过卷积神经网络来进行特征提取和分类，从而获得更高的分类准确率。

附图说明

图1为本发明的一种基于卷积神经网络的SSVEP分类方法的流程图；

图2为本发明的SSVEP脑电信号数据分割处理图；

图3为本发明的多通道卷积神经网络模型结构图；

图4为本发明的多通道卷积神经网络模型的通道结构图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于卷积神经网络的SSVEP分类方法，该方法包括：获取SSVEP数据，对获取的数据进行预处理；将预处理后的数据输入到训练好的多通道卷积神经网络模型中，得到SSVEP分类结果；其中SSVEP表示稳态视觉诱发电位。

一种基于卷积神经网络的SSVEP分类方法的具体实施方式，如图1所示，该方法包括：获取多通道SSVEP训练数据；对获取的数据进行预处理；将预处理后的数据输入到卷积神经网络中进行训练；获取预处理的待分类SSVEP数据，将待分类SSVEP数据输入到训练好的卷积神经网络中进行分类。

对多通道卷积神经网络模型进行训练的过程包括：

S1：获取原始SSVEP脑电数据集，对原始SSVEP脑电数据进行划分，得到训练数据集和测试数据集；

S2：将对训练集中的数据进行预处理；

S3：将预处理后的训练集数据分别输入到多通道卷积神经网络模型的各个通道中，得到各个一维特征向量；

S4：将各个通道得到的一维向量特征进行加权融合，将融合后的一维向量特征经过各自的全连接层完成全连接方式的卷积，生成一维全连接神经元；

S5：将所有的一维全连神经元通过全连接方式的卷积完成分类，得到分类结果；

S6：计算模型的损失函数；

S7：将测试集中的数据输入模型中进行测试，不断调整模型的参数，当损失函数最小时，完成模型的训练。

获取原始SSVEP脑电数据集的过程包括：获取多个被试的多通道SSVEP脑电数据，根据当前的不同SSVEP刺激频率对所获取的脑电数据进行标注，构成训练数据集。标注的内容为SSVEP脑电数据的频率，如8Hz、8.25Hz、8.5Hz等。

优选的，获取的原始SSVEP脑电数据集为加利福尼亚大学计算神经科学中心的SSVEP公开数据集。该数据集包含12个SSVEP刺激目标，采样频率为2048Hz。数据使用10折交叉验证法进行划分得到训练集和测试集。

如图2所示，对训练集中的数据进行预处理的过程包括：将标记后的SSVEP脑电信号数据通过滤波器组分割为多个不同独立频带；采用快速傅里叶变换对不同频带的时域脑电数据进行处理，得到各自的频谱数据矩阵。

具体的，原始多通道脑电时域数据通过滤波器组或小波分解被分割至多个不同的分别覆盖SSVEP刺激频率基波和谐波成分的独立频带，例如SSVEP刺激频率为8Hz、8.25Hz、8.5Hz等则第一个频带覆盖范围主要为8Hz-8.5Hz，第二个频带主要覆盖二次谐波频率范围16Hz-17Hz，以此类推第n个频带主要覆盖n次谐波频率范围。在此，滤波器组或小波分解的通带范围会稍大于SSVEP的各个频带范围以获得更佳的预处理效果，同时，综合考虑计算效率和分类准确度可选择将时域脑电信号分割至2-5个频带，经实验评估发现选择3个频带时可获得计算效率和分类准确度的最佳平衡。

快速傅里叶变换用于分别对不同频带的时域脑电数据进行处理，得到各自的频谱数据矩阵作为卷积神经网络的输入数据，以下公式表示频谱数据矩阵的形式。其中O

其中，I表示频谱数据矩阵，O

如图3所示，经过预处理之后的脑电频谱数据矩阵输入到卷积神经网络进行训练，对应的SSVEP刺激频率作为标签。每个神经网络通道分别对应一个脑电数据频带，如图4所示各神经网络通道分别由输入层、三个卷积层、特征增强层、降维层组成，其中所以卷积层均未采用补位填充。

输入层：输入层的尺度大小为脑电频谱数据组成的二维向量的尺度(M+2)×N，其中M表示脑电数据的采集通道数，N表示频谱数据的长度。

卷积层C1：卷积层C1将输入层的输入特征矩阵通过卷积得到其特征矩阵向量，卷积层C1的使用2×M个大小为3×3的卷积核进行卷积，因此得到的特征矩阵向量尺度为2×M*M×(N-2)。

卷积层C2：卷积层C2将卷积层C1的特征矩阵向量进行卷积得到其特征矩阵向量，卷积层C2使用2×M个大小为M×1的卷积核进行卷积，得到尺度为2×M*(N-2)的特征矩阵。

卷积层C3：卷积层C3将卷积层C2的特征矩阵向量进行卷积得到其特征矩阵向量，卷积层C3使用2×M个大小为1×5/FFT resolution的卷积核进行卷积，其中，FFTresolution表示快速傅里叶变换结果的频率分辨度，5/FFT resolution表示频率跨度为5Hz，卷积层C3得到的特征矩阵向量尺度为2×M*(N-2-5/FFT resolution+1)。

通过全局平均池化操作对输入特征进行空间维度压缩，获得C个通道的全局感受，输出尺度为[1xC]；采用两个全连接层分别对N个通道进行压缩和拓展，目的在于降低网络计算量的同时增加网络的非线性能力，第一个全连接层输出尺度为[1xC/r]，其中r表示压缩率，第二个全连接层的输出尺度为[1xC]；最后，将输入特征与第二个全连接层的输出特征相乘，其目的在于获取每个通道的重要性之后通过乘法加权的方式提升重要特征，抑制不重要特征。

特征增强层：通过引入注意力机制作为特征增强层可以有效的提高本发明一种基于卷积神经网络的SSVEP分类方法的分类准确率。该特征增强层通过全局平均池化、全连接层和矩阵乘法完成对输入特征的加权以对重要特征进行聚焦。

降维层：降维层将特征增强层输出的特征矩阵向量折叠得到顺序排列的一维向量特征。

如图3所示，为了对每个谐波分量进行加权，所有卷积神经网络通道的输出一维向量特征通过两两相加并经过各自的全连接层完成全连接方式的卷积，其全连接神经元个数为6×K，其中K表示SSVEP的刺激目标总数。最后所有的全连接神经元级联成一组新的一维全连接神经元，输入到输出全连接层通过全连接方式的卷积完成分类，输出对应分类结果的K个神经元。

本发明中采用分类交叉熵损失函数计算模型的损失函数，其损失函数的表达式为：

其中，n是样本数量，m是分类目标数量，y

采用本发明的SSVEP分类方法，使得SSVEP分类的准确率可达93.19％，远高于普通的SSVEP分类方法。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。