一种多头自注意力机制融合的时空卷积脑电解码方法

技术领域

本发明属于神经信息解码技术领域，具体涉及一种多头自注意力机制融合的时空卷积脑电解码方法。

背景技术

BCI(brain-computer Interface，脑机接口)是实现人脑与机器之间信息交互的关键技术，它利用EEG(electroencephalogram，脑电图)信号开辟了一种不依赖周围神经和肌肉的通信和控制新通道。脑电图信号可被解码成不同的指令，并输入机器进行相应操作。由于其实用性和巨大的潜力、价值，无创脑机接口得到了广泛的关注。

传统上，脑机接口根据信号源可分为诱发性脑机接口和自发性脑机接口两种类型，二者在BCI应用中都具有优异的性能。其中，诱发性脑机接口利用外部刺激唤起脑电图信号，不需要太多的训练，但需要特定的环境如快速串行视觉呈现，自发性脑机接口则是将受试者自主控制变化的脑电图信号作为输入，如MI(Motor imagery，运动意象)信号和IS(imagined-speech，想象语音)信号。

脑电解码过程通常包括五个阶段，即从不同范式获取脑电数据、进行预处理、特征提取、分类器训练和反馈阶段。大多数基于机器学习的脑机接口方法都遵循上述步骤，这些方法提供了许多有效的手工特征解决方案。但是，尽管手工特征在不同的脑电范式中发挥着重要的作用，仍然需要基于先验知识对其进行特定的修改。

随着深度学习方法的发展，脑电解码对手工特征的需求已经大大减少。基于深度学习的BCI方法能够保持原始数据的结构和配置信息，将特征提取和分类学习的步骤相结合，共同优化，从而提高了模型的性能。Li等人提出的HS-STDCN将时空信息的特征学习整合到统一的端到端模型中，在想象语音中准确率达到54.31％。此外，Lawhern等人提出的EEGNet采用端到端方法处理脑电图信号，应用于四种脑机接口范式:P300视觉诱发电位、错误相关负性反应、运动相关皮质电位和感觉运动节律。

基于深度学习的脑电信号解码方法已取得了一定的进展，但仍存在诸多难题：(1)脑电信号本身较微弱，电极分布不规则，特征不明显，导致对信号的精细化特征建模较为困难；(2)在不改变网络结构的情况下，难以处理多种不同类型的脑电信号，性能单调。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种多头自注意力机制融合的时空卷积脑电解码方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供一种多头自注意力机制融合的时空卷积脑电解码方法，包括：

采集脑电信号；

将所述脑电信号输入脑电解码网络，以使所述脑电解码网络中的第一时空特征提取模块和第二时空特征提取模块依次对所述脑电信号进行处理，其中，所述第一时空特征提取模块及所述第二时空特征提取模块用于提取输入数据在不同带通频率下的频谱特征，并基于所述频谱特征提取时间特征后，利用多头自注意力机制提取空间-时间特征；

对第二时空特征提取模块输出的空间-时间特征进行分类，得到所述脑电信号的分类结果。

在本发明的一个实施例中，所述第一时空特征提取模块与所述第二时空特征提取模块均包括时间特征提取模块和空间特征提取模块；

将所述脑电信号输入脑电解码网络后，所述第一时空特征提取模块按照如下步骤进行处理：

所述第一时空特征提取模块中的时间特征提取模块利用第一卷积层提取不同带通频率下脑电信号的频谱特征，并利用可分离卷积层对所述频谱特征进行深度卷积和点卷积，得到第一时间特征；

所述第一时空特征提取模块中的空间特征提取模块基于所述第一时间特征X，利用多头自注意力机制提取第一空间-时间特征。

在本发明的一个实施例中，所述第一卷积层的卷积核大小为(fs/2，1)，其中，fs为所述脑电信号的采样频率。

在本发明的一个实施例中，所述第一时空特征提取模块中的空间特征提取模块基于所述第一时间特征X，利用多头自注意力机制提取第一空间-时间特征的步骤，包括：

所述第一时空特征提取模块中的空间特征提取模块利用各自注意力头对第一时间特征X进行线性变换以投影至不同的低维特征子空间，得到向量Q、向量K和向量V：

(Q,K,V)＝Matmul(X,(W

式中，Matmul表示矩阵相乘，W

基于向量Q、向量K和向量V计算每个自注意力头的输出矩阵：

式中，d

拼接所有自注意力头的输出矩阵，得到结果矩阵：

X

式中，H表示自注意头的个数；

对所述结果矩阵X

X′＝BatchNorm(X+X

对归一化特征图X′进行特征映射，得到映射特征图；

对所述映射特征图与所述归一化特征图X′进行残差连接并使用BatchNorm进行归一化，得到第一空间-时间特征。

在本发明的一个实施例中，对归一化特征图X′进行特征映射，得到映射特征图的步骤，包括：

利用卷积核大小为1*1的第二卷积层对所述归一化特征图X′进行卷积运算后，进行归一化及非线性激活，并利用卷积核大小为1*1的第三卷积层再次进行卷积运算，得到映射特征图。

第二方面，本发明提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。

第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。

与现有技术相比，本发明的有益效果在于：

本发明提供一种多头自注意力机制融合的时空卷积脑电解码方法及装置，由于将脑电信号输入脑电解码网络后，第一时空特征提取模块和第二时空特征提取模块依次对脑电信号进行处理，即第一时空特征提取模块及第二时空特征提取模块用于提取输入数据在不同带通频率下的频谱特征，并基于频谱特征提取时间特征后，利用多头自注意力机制提取空间-时间特征，因此能够准确表征脑电信号。

此外，带有多时间尺度因子的可分离卷积层可以有效地解耦脑电任务和脑电信号之间的时间相关关系，在此基础上利用多头自注意力机制关注大脑的空间激活模式，从多个子空间中提取互补的空间表征信息，有利于实现脑电信号的准确分类。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的多头自注意力机制融合的时空卷积脑电解码方法的一种流程图；

图2是本发明实施例提供的多头自注意力机制融合的时空卷积脑电解码方法的一种示意图；

图3是本发明实施例提供的多头自注意力机制融合的时空卷积脑电解码方法的另一种示意图；

图4是本发明实施例提供的空间特征提取模块的原理图；

图5是本发明实施例提供的采集脑电信号的示意图；

图6a是本发明实施例提供的脑电任务的RSVP空间-时间特征可视化图；

图6b是本发明实施例提供的RSVP混淆矩阵示意图；

图6c是本发明实施例提供的脑电任务的MI空间-时间特征可视化图；

图6d是本发明实施例提供的MI混淆矩阵示意图；

图6e是本发明实施例提供的脑电任务的IS空间-时间特征可视化图；

图6f是本发明实施例提供的IS混淆矩阵示意图；

图7是本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

图1是本发明实施例提供的多头自注意力机制融合的时空卷积脑电解码方法的一种流程图，图2是本发明实施例提供的多头自注意力机制融合的时空卷积脑电解码方法的一种示意图。如图1-2所示，本发明实施例提供一种多头自注意力机制融合的时空卷积脑电解码方法，包括：

S1、采集脑电信号；

S2、将脑电信号输入脑电解码网络，以使脑电解码网络中的第一时空特征提取模块和第二时空特征提取模块依次对脑电信号进行处理，其中，第一时空特征提取模块及第二时空特征提取模块用于提取输入数据在不同带通频率下的频谱特征，并基于频谱特征提取时间特征后，利用多头自注意力机制提取空间-时间特征；

S3、对第二时空特征提取模块输出的空间-时间特征进行分类，得到脑电信号的分类结果。

应当理解，脑电信号作为大脑主观体验和感受的直接体现，可以直观反映不同脑机接口任务意图神经生理活动，同时，各种BCI任务的细微变化可以体现在脑电信号的时间维度以及不同程度的空间激活模式中。然而，脑电信号的特征微弱、空间激活模式相似且时间敏感度高，其分类结果高度依赖于空间和时间维度的特征提取能力。图3是本发明实施例提供的多头自注意力机制融合的时空卷积脑电解码方法的另一种示意图。如图3所示，考虑到这一点，本发明将脑电信号的解码过程分为时间特征提取和空间特征提取两部分，进而从原始的脑电信号中提取出高精度识别任务类别的特征信息，以提升脑电信号的特征质量。

可选地，请继续参见图2-3，第一时空特征提取模块与第二时空特征提取模块均包括时间特征提取模块和空间特征提取模块；

将脑电信号输入脑电解码网络后，第一时空特征提取模块按照如下步骤进行处理：

第一时空特征提取模块中的时间特征提取模块利用第一卷积层提取不同带通频率下脑电信号的频谱特征，并利用可分离卷积层对频谱特征进行深度卷积和点卷积，得到第一时间特征X；

第一时空特征提取模块中的空间特征提取模块基于第一时间特征X，利用多头自注意力机制提取第一空间-时间特征。

示例性地，第一卷积层的卷积核大小为(fs/2，1)，其中，fs为脑电信号的采样频率。

具体而言，对于输入的脑电信号，首先以卷积核大小为(fs/2，1)的卷积层来提取不同带通频率下脑电信号的频谱特征，这一卷积核大小设置基于奈奎斯特-香农采样定理，可以使得时间特征提取模块获得2Hz以上的频谱信息。在上述频谱特征的基础上，使用不同大小卷积核的可分离卷积层进一步挖掘具有分类能力的时间特征，利用可分离卷积层提取脑电信号中的时间特征，不仅使网络的可调权重矩阵大大减少，同时也使得时间特征提取模块能够从特征图中单独学习时间核(深度卷积)，然后以最佳的方式整合特征图(点卷积)，有效解耦时间维度的信息。

与传统卷积相比，可分离卷积层参数量少，计算复杂度低，适合于脑电信号这类小样本数据。例如，对于相同维度的输入矩阵X、维度为(c

需要说明的是，由于本实施例中第一时空特征提取模块与第二时空特征提取模块的结构相同，均包括时间特征提取模块和空间特征提取模块，二者的对于输入数据的处理过程也相同，因此本实施例仅对第一时空特征提取模块的处理过程进行详细说明。

图4是本发明实施例提供的空间特征提取模块的原理图。进一步地，如图3所示，第一时空特征提取模块中的空间特征提取模块基于第一时间特征X，利用多头自注意力机制提取第一空间-时间特征的步骤，包括：

第一时空特征提取模块中的空间特征提取模块利用各自注意力头对第一时间特征X进行线性变换以投影至不同的低维特征子空间，得到向量Q、向量K和向量V：

(Q,K,V)＝Matmul(X,(W

式中，Matmul表示矩阵相乘，W

基于向量Q、向量K和向量V计算每个自注意力头的输出矩阵；

拼接所有自注意力头的输出矩阵，得到结果矩阵：

X

式中，H表示自注意头的个数；

对结果矩阵X

X′＝BatchNorm(X+X

对归一化特征图X′进行特征映射，得到映射特征图；

对映射特征图与归一化特征图X′进行残差连接并使用BatchNorm进行归一化，得到第一空间-时间特征。

对归一化特征图X′进行特征映射，得到映射特征图的步骤，包括：

利用卷积核大小为1*1的第二卷积层对所述归一化特征图X′进行卷积运算后，进行归一化及非线性激活，并利用卷积核大小为1*1的第三卷积层再次进行卷积运算，得到映射特征图。

图5是本发明实施例提供的采集脑电信号的示意图。目前，广泛采用的非侵入式脑电记录方式如图5所示，其导联数一般为32-256个，然而，脑电信号在采集时会发生容积传导现象，从而出现信号的空间模糊效应，导致各BCI任务在大脑中的空间模式难以提取。而对于BCI任务的脑电信号而言，存在于导联分布之间的不同强度的空间激活模式是至关重要的分类特征。本实施例采用多头自注意力机制提取脑电信号的空间激活模式，关注空间域中不同空间层次的导联分布信息，学习不同激活模式的表征相似性，使得模型学习到更丰富的空间特征信息。

具体地，仍以第一时空特征提取模块中的空间特征提取模块为例进行说明，空间特征提取模块利用各个自注意力头从第一时间特征X中获取空间表征信息，其特征获取方式依赖于由输入特征X通过线性变换矩阵投影出的Q(Query)、K(Key)以及V(Value)三个向量，即：

(Q,K,V)＝Matmul(X,(W

式(1)中权重矩阵的差异可以保证向量Q、K、V投影在多个不同的低维特征子空间中，从而增加网络对空间特征的表达能力，提高模型的泛化能力，这里“低维”是指维度低于第一时间特征X的维度。

接着，对同一低维投影子空间中的Q、K向量进行点乘计算注意力分数，搬运子空间中记录的空间表征信息，同时进行缩放操作，以避免出现梯度消失问题。随后，将Softmax函数作用在上述注意力分数，并与向量V进行点乘完成信息提取过程，其数学表示如下：

这里，Z表示自注意力头的输出矩阵，d

多头自注意力机制将脑电信号的空间特征映射到不同的低维特征子空间中，每个自注意力头在不同的低维特征子空间中关注不同层次的空间信息。最终，将各自注意力头的输出矩阵拼接起来，实现信息互补，从而使得模型学习到更丰富的空间特征信息：

X

式(3)中，X

对自注意力头进行残差连接并使用BatchNorm(BN)进行数据归一化：

X′＝BatchNorm(X+X

残差连接有助于模型参数的反向传播优化，有效防止梯度消失，并且本实施例使用BN而非LayerNorm是因为前者更适合脑电数据。

进一步地，对归一化特征图X′进行两次特征映射，学习更加抽象、高级的空间特征。本实施例采用卷积核大小为1×1的第二卷积层和第三卷积层来完成这一映射过程，以减少网络的可学习参数：

FFN(X′)＝f

式(5)中，f

应当理解，脑电信号大多以时域形式存在，其微弱变化与BCI任务在时间维度具有一定的关联，但人脑是一个复杂的时变系统，传统的分析手段很难获取足够精度的时域特征，有效的时域特征难以提取。本发明通过设计多尺度因子卷积层，并基于深度可分离卷积提取脑电与BCI任务间的时间维度关联信息，进而融合空间激活信息形成时空特征，精细化表征脑电信号。

上述步骤S3中，考虑到全连接层(FC)会大大增加网络的可训练权值，存在过拟合的风险，因此本实施例采用全局平均池化(GAP)代替现有脑电解码方法中常用的全连接层来整合脑电信号的时空信息，全局平均池化可以在不增加参数的情况下完成FC的功能。具体地，GAP是一种池化层，它将每个通道的特征映射计算为平均值，可以接受任何大小的输入。本实施例在分类器的输入X_classifier上执行了两个卷积核大小为(1,1)的映射卷积，目的是先将输入的X_classifier映射到高维空间，然后再映射到低维空间，使网络具有提取更深、更抽象的时空特征的能力。同时，在第二次映射中调整特征图的输出通道，使其与类别数量一致。另外，本实施例还在每次映射后加入激活函数Relu，提高了非线性拟合能力。

接着，利用GAP对各通道的全局时空信息进行整合，将特征映射明确映射到类置信度p上，利用GAP，所提出的HCANN可以有效组织多尺度因子的时间特征和空间特征，强调关键的判别性时空信息，为最终决策提供简洁的信息。然后，Softmax对输入信号进行类别置信度p，完成对输入信号的类别预测，表示如下：

最终，采用交叉熵损失函数帮助网络进行训练，同时使用L2范数来约束网络参数，减少过拟合问题，如公式(7)所示：

其中，y和分别代表真实标签和预测标签，B为每次训练的样本数，θ代表网络的可训练参数。

下面通过仿真实验对本发明提供的多头自注意力机制融合的时空卷积脑电解码方法做进一步说明。

本实施例所使用的脑电信号数据如表1所示：

表1脑电信号数据集

(1)快速连续视觉呈现(RSVP)

本实施例使用RSVP数据集作为诱发脑电信号，该数据集包含了一名男性和七名女性(年龄在19-29岁)的脑电信号。在进行实验时，被试者被安置在光线昏暗的房子里，同时保持舒适的坐姿。他们在电脑屏幕上看到一个持续4.1秒的图像序列，频率为12Hz。在观看期间，参与者被要求根据图像内容(目标飞机/非目标)按下两个手指按钮中的一个。在训练过程中，正确/不正确的视觉反馈，即告知参与者他们的判断是否正确，会随着按钮的按下而给出。256通道的脑电图数据由BioSemi ActiveTwo系统记录，频率为256Hz。为了进行进一步的分析，信号被重新取样到128Hz，然后分成1秒的片段，导致每个样本的矩阵为256×128。随后，所有的样本都通过一个6阶带通巴特沃斯滤波器，其截止频率为0.1至48Hz。这个数据集被分为一个训练集和一个测试集，将直接用于模型的评估。

(2)运动想象(MI)

2008年BCI竞赛IV 2a数据集被用作MI的实验数据，由格拉茨科技大学提供。在该数据集中，9名参赛者在四个类别中进行了MI实验：左手、右手、双脚和舌头。每个参与者的576次试验的EEG信号都被记录下来。每次试验中的MI脑电信号由22个通道记录，采样率为250Hz。在接下来的实验中，考虑每次试验中开始提示后[1s，4s]的时间间隔，得出每个样本的22×750矩阵。本实施例采用因果关系的3阶巴特沃斯滤波器对样本进行过滤，截止频率从4到38Hz不等。在这次比赛中，2a数据集被分成了训练集和测试集。为了确保与其他解码作品进行公平和无偏见的比较，在以下实验中使用了相同的划分方式。

(3)想象言语(IS)

想象的言语是指在认知和语言活动正常运作的基础上，没有任何清晰的发音器运动的大脑言语活动。数据集包含了九个受试者的EEG信号，分为八个类别：狒狒、狮子、犀牛、斑马、苹果、香蕉、葡萄、西瓜。该实验使用图片作为IS内容的提示。被试首先被要求评估图片，然后在脑海中默读对应的单词，而不明显地移动声带或肌肉。这个过程持续一秒钟，作为一个单一的想象中的讲话。该数据集包含10个实验区块，每个区块有20个单元；每个单元包含8个想象的语音试验，对应8类单词。用BioSemi ActiveTwo系统记录了1024Hz的64通道EEG数据。之后，使用50Hz的FIR陷波滤波器来消除电力线的干扰；然后对原始脑电信号应用1-90Hz的零相FIR带通滤波器。脑电图被重新取样到256Hz，并使用z-score进行归一化。该数据集的最终样本量为64*256。脑电信号被训练和测试样本按8：2的比例划分。

表2列出了脑电解码网络对每个数据集的超参数设置，包括时间特征提取模块的卷积核大小T

Adan优化器被用来训练和优化模型参数。使用多步骤调度器，从第500个历时开始，每200个历时的学习率降低0.5倍。为了评估HCANN的性能，进行了分层的5倍交叉验证。

表2脑电分解网络在每个数据集上的超参数设置

表3三种数据集上的实验结果

接着对三种数据集上的实验结果进行分析。

(1)RSVP

本发明所提脑电解码网络表现出比基线略好的性能。与基线方法相比，上述脑电解码网络的准确率提高了19.14％，与专门为RSVP设计的模型(PPN)相比，准确率提高了1.91％。在标准偏差方面，它的性能也比其他方法更稳定。因此，多头自我注意可以有效地工作于RSVP任务。

(2)MI

从表3的结果来看，脑电解码网络的标准偏差比其他方法略小，但它的表现却有可靠的准确性。实验表明，CNN和多头自理机制的混合模型可以有效解码MI脑电信号。

(3)IS

在IS的分类中，本发明提出的脑电解码网络的表现优于HS-STDCN。与MI相比，IS的工作机制更有利于BCI的落地应用。

为了量化本发明提供的脑电解码方法的性能改进，进一步进行统计学意义测试。具体地，对HCANN和其他比较方法的结果进行了配对样本t检验，当统计结果的P值小于0.05时，可以认为两种方法之间存在着显著的差异。表4显示了所有的P值。可以发现，HCANN在三个数据集上的表现优于其他比较方法，而在IS数据集上的表现尤为出色。

表4配对t检验结果

图6a、6c、6e分别是本发明实施例提供的三个脑电任务的RSVP、MI、IS空间-时间特征可视化图，图6b、6d、6f分别是本发明实施例提供的RSVP、MI、IS混淆矩阵示意图。本发明所提出的方法使用多头自注意力机制和CNN来解码时空信息，并对三个BCI任务的EEG信号进行分类。为了对HCANN的信号解码过程有更直观的感受，使用t分布式随机邻居嵌入(t-SNE)方法对两个阶段的空间-时间特征进行可视化，这些特征分别来自HCANN的两个空间块后。此外，本发明还提出了HCANN在每个分类任务下的混淆矩阵。结果显示在图6a-6f中，“1

在空间模块中，堆栈的数量N

表5空间块参数分析

/>

为了进一步分析空间块中多头自注意力机制提取的特征的相似性，使用中心核对齐(CKA)来计算每一对自注意力头的头间相似度。CKA的值分布在0和1之间，较大的值代表较高的相似度。CKA即使在样本数量较少的情况下也表现得很稳健，这很适合对脑电数据的模型评估。表6显示了三个任务中两个解码阶段的CKA的平均值。其中，第1和第2阶段分别代表由第一和第二空间模块提取的表示特征。所有的CKA值都小于0.4，表明了各头的多样性。

表6三个任务中两个解码阶段的平均CKA

在变换器中，多头自注意力机制使用LN层对数据进行归一化。根据以往的研究，BN更适合于EEG信号。因此，本发明提供的脑电解码信号使用BN来归一化EEG特征。为了验证BN在EEG数据处理中是否优于LN，将脑电解码网络的变体用于三个任务并观察其结果。如表7所示，基于LN的脑电解码网络的性能低于基于BN的脑电解码网络，稳定性也很差。脑电信号的数据特征与NLP的数据特征不同，BN有利于稳定脑电特征分布，而LN更适合于处理可变长度的数据。

表7BN-based HCANN vs LN-based HCANN

综上，本发明提出的脑电解码网络是一种能够精细描述EEG特征的新型深度学习网络，它融合了CNN和多头自注意力机制的优势，具有多尺度因素的深度可分离卷积有效地解开了BCI任务和EEG信号之间的时间相关信息，这提高了模型描述时间特征的能力。针对EEG数据自适应修改的多头自注意力机制允许模型关注EEG通道之间复杂的空间激活模式，并提取多种空间表征，学习互补特征以提高辨别信息的质量。最后，利用全局平均集合层对空间-时间特征进行整合，获得鉴别性特征。实验结果表明，HCANN可以有效地提高所有三个EEG任务的分类性能。

本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：

采集脑电信号；

将脑电信号输入脑电解码网络，以使脑电解码网络中的第一时空特征提取模块和第二时空特征提取模块依次对脑电信号进行处理，其中，第一时空特征提取模块及第二时空特征提取模块用于提取输入数据在不同带通频率下的频谱特征，并基于频谱特征提取时间特征后，利用多头自注意力机制提取空间-时间特征；

对第二时空特征提取模块输出的空间-时间特征进行分类，得到脑电信号的分类结果。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。

对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述多头自注意力机制融合的时空卷积脑电解码方法的装置、电子设备及存储介质，则上述多头自注意力机制融合的时空卷积脑电解码方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。