一种基于注意力机制时空位置编码的脑电情感识别方法

技术领域

本发明属于脑电情感识别技术领域，具体涉及一种基于注意力机制时空位置编码的脑电情感识别方法。

背景技术

情绪在人类的日常生活中是基本的，因为它们在人类认知中起着重要的作用，即感知、理性决策、人类互动和人类智力。随着人工智能技术和深度学习的发展，情绪识别在人机交互和临床治疗方面有着广阔的前景，这一直受到研究者的广泛关注。人类情绪可通过言语、眨眼、面部表情和生理信号来识别。但前三种方法都不稳定，容易受到主观性的影响。受试者可能会故意隐藏自己的情绪，并导致识别错误。眼电图(EOG)、脑电图(EEG)、血压(BVP)等生理信号都是由人体自发产生的。因此，生理信号可以更准确地反映人们的情绪状态。在这些生理信号中，脑电图(EEG)是脑皮层或头皮表面电生理活动的整体反映，说明脑电图信号的变化可以用来表征人类情绪变化。将脑电信号应用于情感识别的过程包括情感诱发，脑电信号采集，脑电信号预处理，特征提取和选择，情感分类。在这些过程中，有效的特征提取和选择最终的情感分类器是最重要的两个步骤。研究者感兴趣的是四个频带的脑电信号，包括Theta(约4-7Hz)、Alpha(约8-12Hz)、Beta(约13-30Hz)和Gamma(约31-100Hz)。基本来说。每个频带上的脑电特征可以是时域特征，可以是频域特征，也可以是时频域特征。根据获得的脑电特征，构建大量的情感识别模型。

近年来，许多研究者建立了基于机器学习和深度学习模型的情绪识别模型。机器学习模型一般使用支持向量机、决策树、随机森林等；深度学习模型一般使用卷积神经网络、循环神经网络等。根据目前的研究结果证实，深度学习模型在情感识别任务中准确率更高。深度学习在脑电图情感识别任务中的虽然有出色表现，但是依然大部分需要进行手工特征提取，卷积神经网络和循环神经网络在处理脑电这类信号时仍然拥有不可避免的局限性。

发明内容

本发明针对上述的不足之处提供一种基于注意力机制时空位置编码的脑电情感识别方法。

本发明目的是这样实现的：一种基于注意力机制时空位置编码的脑电情感识别方法，其特征在于：该方法包括如下步骤：

步骤S1：原始脑电信号预处理；

设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；

步骤S2：构建情感分类模型，进行时间维度特征提取和空间维度特征提取；

步骤S3：Gate机制特征融合；

通过Gate机制学习时间特征和空间特征的权重分配进行特征的加权融合；

步骤S4：情感分类；

对加权融合后的特征，进行脑电情感分类。

优选的，所述步骤S1中设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移的具体操作如下：

选定一种合适的脑电情感识别长度L，以L/2为窗移进行划分；得到进行分类的原始脑电信号。

优选的，所述步骤S2中构建情感分类模型，情感分类模型包括时间特征提取模型和空间特征提取模型；

所述时间特征提取模型包括序列位置编码、第一多头注意力机制网络和第一前馈神经网络；

所述空间特征提取模型包括通道位置编码、第二多头注意力机制网络和第二前馈神经网络。

优选的，所述时间维度特征提取的操作如下：

将脑电信号在时间维度上进行时间序列位置编码，将编码好的序列送入多第一头注意力机制网络和第一前馈神经网络进行特征提取。

优选的所述空间维度特征提取的操作如下：

将脑电信号在空间维度上进行通道位置编码，将编码好的序列送入第二多头注意力机制网络和第二前馈神经网络进行特征提取。

优选的，所述步骤S3中通过Gate机制学习时间特征和空间特征的权重分配进行特征的加权融合具体操作如下：

步骤S3-1：向Gate中输入提取的时间特征和空间特征，权重参数学习通过如下公式所示：

h＝W·Concat(C,S)+b

其中，h为：学习到的权重分配系数；W为：待学习的权重参数矩阵；C为：空间特征；S为：时间特征；b为：线性层的偏置；

步骤S3-2：归一化学习到的权重参数，实现公式如下：

g1,g2＝softmax(h)

其中，g1为：空间特征归一化后的权重系数；g2为：时间特征归一化后的权重系数；h为：学习到的权重分配系数；

步骤S3-3：使用学习到的权重参数与时间特征和空间特征进行一个加权融合，得到融合后的特征；特征融合公式如下所示：

y＝Concat(C·g1,S·g2)

其中，g1为：空间特征归一化后的权重系数；g2为：时间特征归一化后的权重系数；C为：空间特征；S为：时间特征。

优选的，所述位置编码通过使用正弦函数和余弦函数进行编码，根据序列位置的不同得到不同的位置信息值，将位置信息值和输入序列进行相加；使用位置编码方式公式为：

其中，pos表示某个信号p在信号脉冲中的实际位置，PE表示信号在位置处的矢量，i表示矢量的维数；在编码过程中，每个通道的序列编码是按时间顺序编码的。

优选的，所述步骤S4中进行脑电情感分类使用全连接分类网络。

优选的，所述第一前馈神经网络和第二前馈神经网络中每一个线性层之后加入一个ReLU激活函数，其公式如下：

f(x)＝max(0,x)

其中，f(x)为：输出特征值；max为：取二者最大值函数；x为：输入特征值。

本发明的有益效果：1、通过建立情感分类模型中第一多头注意力机制网络和第二多头注意力机制网络，实现端到端的情感识别，并且减少手工提取造成的信息损失，提高脑电情感识别的准确率。

2、通过引入时间特征和空间特征，并采用Gate机制学习时间特征和空间特征的权重分配，并进行特征的加权融合，进一步提高脑电情感识别的准确率，提升情感分类模型的鲁棒性；同时，简化了脑电情感分类的步骤，提高脑电情感分类的效率。

附图说明

图1为本发明的流程图。

图2为多头注意力机制网络特征提取图。

图3为多头注意力机制网络结构示意图。

图4为发明的模型结构示意图。

具体实施方式

以下结合附图对本发明做进一步概述。

一种基于注意力机制时空位置编码的脑电情感识别方法，包括以下步骤：

步骤S1：原始脑电信号预处理：

将原始脑电信号进行切除处理，去除脑电信号中基线信号部分，只保留有情感变化的实验信号部分。

设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；

本实施例选定一种合适的脑电情感识别长度为2秒，以1秒为窗移进行划分；作为提取网络的输入。

步骤S2：构建情感分类模型，进行时间维度特征提取和空间维度特征提取；

情感分类模型包括时间特征提取模型和空间特征提取模型；时间特征提取模型包括序列位置编码、第一多头注意力机制网络和第一前馈神经网络；空间特征提取模型包括通道位置编码、第二多头注意力机制网络和第二前馈神经网络。

建立时间特征提取模型，将原始脑电经过时间序列位置编码后输入第一多头注意力机制网络进行训练。

本实施例从目标数据集中选取一组大小为[64,256]数据集，表示该组有64个样本，每个样本时长为2秒，一共256个采样点，经过原始脑电信号预处理处，获得尺寸大小为[64,128]，使用正余弦位置编码，将编码与样本按照位置进行相加得到注意力输入信号，通过第一多头注意力机制网络与第一前馈神经网络进行特征提取，多头注意力机制网络的计算方式为：

Q(query)，K(key)，V(value)为指定的输入，通过计算公式得到注意力的结果，这个结果代表query在key和value作用下的注意力表示。

时间特征提取模型具体操作如下：

准备输入；

本实施例每次输入为64个，每个输入有32个通道每个通道的维数为1x256，并进行时间序列位置编码编码i的取值范围为0-255；

初始化权重；

每个输入必须有三个表示，这些表示称为键(key)、查询(query)和值(value)；在本实施例中，这些表示的维数是32，每个输入的维数都是256，每组权重必须是256×32；

计算输入的注意力分数；

为了获得注意力得分，输入样本的查询和所有键之间取一个点积，通过有有32个输入，有32个键表示，得到32个注意力得分。

计算softmax；

在所有注意力得分中使用softmax

将得分和值相乘再相加；

每个输入的注意力分数乘以相应的值，结果得到32个对齐向量，对齐向量称为加权值，将加权值相加得到最后的第一多头注意力机制网络特征提取的输出。

第一前馈神经网络利用线性层降低注意层网络提取特征的纬度。

空间特征提取模型包括通道位置编码、第二多头注意力机制网络和第二前馈神经网络。空间特征提取模型具体操作如下：

将脑电信号在空间维度上进行通道位置编码，将编码好的序列送入第二多头注意力机制网络和第二前馈神经网络进行特征提取。

空间特征提取现方式和时间特征提取只有编码取值范围不同，空间通道位置编取值范围为0-31，因为电极位置只有32个。(加入具体操作)

准备输入；

本实施例每次输入为64个，每个输入有256个时间点，每个时间点的维数为1x32，并进行空间序列位置编码编码i的取值范围为0-31；

初始化权重；

每个输入必须有三个表示，这些表示称为键(key)、查询(query)和值(value)；在本实施例中，这些表示的维数是256，每个输入的维数都是32，每组权重必须是32×256；

计算输入的注意力分数；

为了获得注意力得分，输入样本的查询和所有键之间取一个点积，通过有有256个输入，有256个键表示，得到256个注意力得分。

计算softmax；

在所有注意力得分中使用softmax

将得分和值相乘再相加；

每个输入的注意力分数乘以相应的值，结果得到256个对齐向量，对齐向量称为加权值，将加权值相加得到最后的第二多头注意力机制网络特征提取的输出。

步骤S3：Gate机制特征融合；

通过Gate机制学习时间特征和空间特征的权重分配进行特征的加权融合具体操作如下：

步骤S3-1：向Gate中输入提取的时间特征和空间特征，权重参数学习通过如下公式所示：

h＝W·Concat(C,S)+b

其中，h为：学习到的权重分配系数；W为：待学习的权重参数矩阵；C为：空间特征；S为：时间特征；b为：线性层的偏置；

步骤S3-2：归一化学习到的权重参数，实现公式如下：

g1,g2＝soft max(h)

其中，g1为：空间特征归一化后的权重系数；g2为：时间特征归一化后的权重系数；h为：学习到的权重分配系数。

步骤S3-3：使用学习到的权重参数与时间特征和空间特征进行一个加权融合，得到融合后的特征；特征融合公式如下所示：

y＝Concat(C·g1,S·g2)

其中，g1为：空间特征归一化后的权重系数；g2为：时间特征归一化后的权重系数；C为：空间特征；S为：时间特征。

步骤S4：情感分类；

对加权融合后的特征，通过全连接分类网络进行脑电情感分类。对加权融合后时间特征和空间特征输入全连接网络，通过softmax层，实现情感分类。

本实施例是将脑电信号进行四分类，所以使用的全连接网络维度为768x4的,再将输出的值通过softmax网络归一化得到每一类的概率值。

工作原理：一种基于注意力机制时空位置编码的脑电情感识别方法，先对脑电样本进行了预处理，这个预处理只是为了获得足够的样本和去除一些干扰并没有使用手工特征提取，预处理过程并不复杂，主要包括去除基线信号，选择窗移和样本长度进行切分。然后将数据送入时间注意力网络和空间注意网络进行特征提取。接着对时空特征和空间特征使用Gate机制进行加权融合，最后通过softmax层进行情感的分类。情感分类模型的设计方法能够充分利用到脑电信号的所有信息，可以有效提高脑电情感识别率，并能实现一个端到端的在线识别。实现了使用原始信号进行脑电情感在线识别，准确率与其他使用原始信号的方法相比提升了20％左右。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。