脑电情感识别方法、系统、设备及存储介质

技术领域

本发明涉及认知计算与模式识别的技术领域，尤其是涉及一种脑电情感识别方法、系统、设备及存储介质。

背景技术

情感作为一种复杂的生理和心理现象，是人类区别于低级生物的重要特征，既包含人类对外界刺激的主要体验，又具有明显的客观生理表现。情感能力是人类智能的重要标记，在感知、推理、决策、计划、创造等诸多智能活动中都起着不可或缺的作用。

其中，脑电图EEG用于认知神经科学中去研究情绪的调节和处理。目前通过脑电图识别情感已经提出很多特征集，并且这些特征集对于分类有效，然而很大程度上并不清楚这些特征与情感的关系，难以准确解析出哪些特征表达哪一种情感，因此目前的脑电情感识别率较低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种脑电情感识别方法，提出的情感特征是基于情感认知过程的，具有可解释性，提高了脑电情感识别率。

本发明还提出一种脑电情感识别系统。

本发明还提出一种脑电情感识别控制设备。

本发明还提出一种计算机可读存储介质。

第一方面，本发明的一个实施例提供了脑电情感识别方法，包括：

获取脑电信号，并将所述脑电信号进行预处理；

将预处理后的所述脑电信号进行微状态分析以得到微状态序列；

根据所述微状态序列与预设参数确定所述脑电信号的情感特征；

根据所述情感特征和预设特征数据库确定刺激事件的情感属性，所述预设特征数据库包括：所述情感特征与所述刺激事件的情感属性的匹配信息。

本发明实施例的脑电情感识别方法至少具有如下有益效果：通过对预处理后的脑电信号进行微状态分析以得到微状态序列，然后根据微状态序列与预设参数确定情感特征，再通过情感特征与预设特征数据库以确定刺激事件的情感属性，使脑电情感识别准确，且识别率提高。

根据本发明的另一些实施例的脑电情感识别方法，所述脑电信号通过脑电数据库获取，所述脑电数据库包括预设脑电数据库和自定义脑电数据库。

根据本发明的另一些实施例的脑电情感识别方法，所述获取脑电信号，并将脑电信号进行预处理，包括：

通过所述预设脑电数据库或所述自定义脑电数据库获取所述脑电信号；

将所述脑电信号进行重参考处理；

将重参考处理后的所述脑电信号进行滤波处理；

将滤波处理后的所述脑电信号的伪迹成分去除后再重构所述脑电信号；

将去除伪迹的所述脑电信号进行基线矫正。

根据本发明的另一些实施例的脑电情感识别方法，所述将预处理后的所述脑电信号进行微状态分析以得到微状态序列，包括：

计算每个所述脑电信号的全域能量；

获取所述全域能量的最大值时的脑电拓扑结构；

根据所述脑电拓扑结构的参考指标和预设状态类别确定所述脑电信号的微状态类别；

将所述微状态类别拟合到数据中，并计算所述全域能量的最大值处的所述脑电拓扑结构与每个所述微状态类别的所述脑电拓扑结构的相似度；

将所述相似度最大的所述脑电拓扑结构的时段指定一个微状态标签以得到微状态序列。

根据本发明的另一些实施例的脑电情感识别方法，所述预设参数包括：所述微状态类别的平均持续时间、所述微状态类别的发生频率、所述微状态类别处于活动状态和总时间的比值、全局解释方差、特定所述微状态类别和其他所述微状态类别的转换概率。

根据本发明的另一些实施例的脑电情感识别方法，所述参考指标包括：全局解释方差和交叉验证准确。

第二方面，本发明的一个实施例提供了脑电情感识别系统，包括：

获取模块，用于获取脑电信号；

预处理模块，用于将所述脑电信号进行预处理；

分析模块，用于将预处理后的所述脑电信号进行微状态分析以得到微状态序列；

第一处理模块，用于根据所述微状态序列与预设参数确定所述脑电信号的情感特征；

第二处理模块，用于根据所述情感特征和预设特征数据库确定刺激事件的情感属性，所述预设特征数据库包括所述情感特征和所述刺激事件的情感属性的匹配信息。

本发明实施例的脑电情感识别系统至少具有如下有益效果：通过对预处理后的脑电信号进行微状态分析以得到微状态序列，然后根据微状态序列与预设参数确定情感特征，通过情感特征与预设特征数据库以确定刺激事件的情感属性，使脑电情感识别准确，且识别率提高。

根据本发明的另一些实施例的脑电情感识别系统，所述预处理模块包括：

重参考处理单元，用于将脑电信号进行重参考处理；

滤波单元，用于将重参考处理后的所述脑电信号进行滤波处理；

伪迹处理单元，用于将滤波处理后的所述脑电信号的伪迹成分去除再重构所述脑电信号；

基线矫正单元，用于将去除伪迹的所述脑电信号进行基线矫正。

第三方面，本发明的一个实施例提供了脑电情感识别控制设备，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的脑电情感识别方法。

第四方面，本发明的一个实施例提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的脑电情感识别方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本发明实施例中脑电情感识别方法的一具体实施例流程示意图；

图2是本发明实施例中脑电情感识别方法的另一具体实施例流程示意图；

图3是本发明实施例中脑电情感识别方法的另一具体实施例流程示意图；

图4是本发明实施例中脑电情感识别系统的一具体实施例模块框图；

图5是本发明实施例中脑电情感识别控制设备的一具体实施例模块框图。

附图标记：100、获取模块；200、预处理模块；300、分析模块；400、第一处理模块；500、第二处理模块；600、处理器；700、存储器。

具体实施方式

以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

作为人类智慧的源泉，大脑决定着人的情感、感知、思维和决策，在人工智能和拟人相关研究中具有举足轻重的地位。在过去的几十年里，脑电图EEG被用于认知神经科学中研究情绪的调节和处理。EEG具有无创、时间分辨率高等特点，能真实、直观地反映大脑的情绪变化。此外，EEG在穿戴性、价格、便携性和易用性等方面的进步，使其在情感脑机接口、神经科学、医疗保健等不同领域得到了广泛关注。利用计算机技术进行脑电情感识别是实现高级人机交互的关键技术，对于实现智能人机交互、脑机接口等具有重要意义。

基于EEG的情感识别早期工作可以追溯到1997年，近年来，随着计算机技术的发展，脑电情感识别的准确率得到了一定程度的提升。脑电情感识别的过程通常首先是特征提取，然后是分类器训练。Brouwer等人总结了六项建议，以避免基于神经生理信号的情感状态估计中常见的陷阱。其中一条建议提到，尽管目前研究已经提出很多特征集，并且这些特征集对于分类有效，然而很大程度上并不清楚这些特征与情感的关系，如果不考虑不同情感的神经生理过程的差异，就很难解释为什么某些特征集会比其他特征表现得更好。

基于此，本申请公开了一种脑电情感识别方法、系统、设备及存储介质，提出特征是基于情感认知过程，具有可解释性，提高了脑电情感识别率。

第一方面，参照图1，本发明实施例公开了一种脑电情感识别方法，包括：

S100、获取脑电信号，并将脑电信号进行预处理；

S200、将预处理后的脑电信号进行微状态分析以得到微状态序列；

S300、根据微状态序列与预设参数确定所脑电信号的情感特征；

S400、根据情感特征和预设特征数据库确定刺激事件的情感属性，预设特征数据库包括：情感特征与刺激事件的情感属性的匹配信息。

由于脑电信号直接获取，且脑电信号容易受到眼电、肌电等噪声影响，所以获取脑电信号后，将脑电信号进行预处理以得到脑电信号中的噪声干扰去除。将预处理后的脑电信号进行微状态分析以得到微状态序列，由于微状态代表了自发性意识加工的结构链，它们的发生和时间动态决定了心理状态的质量。微状态分析用于静息状态EEG脑电数据的分析，得到四种不同的微状态，具有跨研究的一致性，在不同研究中具有很高的可重复性，所以通过对脑电信号进行微状态分析得到微状态序列，对大脑情感认知解析研究具有重要意义。其中，微状态序列不同神经网络的顺序激活，与信息加工存在联系，不同的情感刺激时间诱发的脑电信号具有不同特征的微状态序列，因此通过微状态序列和预设参数确定脑电信号的情感特征，且通过微状态序列的分析以提取情感特征，可用于对比分析不同情感的微状态序列差异，以及用于脑电情感状态识别。确定了情感特征后，将情感特征与预设特征数据库以确定刺激事件的情感属性，以准确判断每一个脑电信号对应的刺激事件的情感属性，因此只需要分析脑电信号即可知道脑电信号对应的人物的情感，使得脑电情感识别准确。

在一些实施例中，脑电信号通过脑电数据库获取，脑电数据库包括预设脑电数据库和自定义脑电数据库。其中预设脑电数据库通过已公开的情感刺激事件所诱发的脑电数据库，也即通过网络获取预设脑电数据库。自定义脑电数据库通过用户根据实验目的，选择刺激事件，设置脑电实验以获取脑电信号，并将脑电信号存储至自定义脑电数据库。通过设置预设脑电数据库和自定义脑电数据库，以便于用户根据需求通过不同的脑电数据库获取脑电信号。

参照图2，在一些实施例中，步骤S100包括：

S110、通过预设脑电数据库或自定义脑电数据库获取脑电信号；

S120、将脑电信号进行重参考处理；

S130、将重参考处理后的脑电信号进行滤波处理；

S140、将滤波处理后的脑电信号的伪迹成分去除后再重构脑电信号；

S150、将去除伪迹的脑电信号进行基线矫正。

由于脑电信号通过采集设备记录下来，但是采集的脑电信号收到噪声干扰，而且易受到眼电、肌电等噪声影响，因此首先要对脑电信号进行一系列的预处理。主要的预处理包括：重参考、滤波、去除伪迹以及基线矫正。

首先对脑电信号进行重参考处理，选用重参考可以将脑电形图的整体振幅移动到更高或更低的水平，放大波形现象，脑电形图是由头皮通道之间电压的相对差异形成的，因此重参考不会影响脑电信号的脑电形图分布。进行重参考的脑电信号需要进行滤波处理，以滤除市电频率和电气设备的工作频率干扰，同时，考虑到脑电微状态的带宽特征，一般对滤波1-40Hz的脑电信号进行微状态分析，所以需要将1-40Hz以外的脑电信号进行滤波处理以得到1-40Hz的脑电信号。进行滤波处理后的脑电信号需要去除采集的脑电信号中眼电、肌电等伪迹成分，一般采用独立成分分析方法，将原本相互独立的脑电信号在空间中相互混合组成的复杂信号分解成若干独立成分，并将其中的伪迹成分去除然后再将其余的独立成分重构成脑电信号，以得到更加准确的脑电信号。去除伪迹成分后，将脑电信号进行基线矫正，以消除自发脑电活动导致的脑电噪声，以刺激0时刻点前的数据作为基线，用0时刻点后的数据减去0时刻点前的各点数据的平均值，可以消除部分的自脑电噪声。从而使经过基线矫正后的脑电数据从偏向横轴的某一侧变成围绕横轴上下波动，以得到更加准确的脑电信号。通过对脑电信号进行重参考、滤波、去除伪迹和基线矫正处理以得到更加准确的脑电信号，使得脑电情感识别更加准确。

参照图3，在一些实施例中，步骤S200包括：

S210、计算每个脑电信号的全域能量；

S220、获取全域能量的最大值时的脑电拓扑结构；

S230、根据脑电拓扑结构的参考指标和预设状态类别确定脑电信号的微状态类别；

S240、将微状态类别拟合到数据中，并计算全域能量的最大值处的脑电拓扑结构与每个微状态类别的脑电拓扑结构的相似度；

S250、将相似度最大的脑电拓扑结构的时段指定一个微状态标签以得到微状态序列。

预处理后的脑电信号可以用于微状态分析，脑电信号的微状态分析提供了大规模网络活动的时间特征的稀疏表征，是基于脑电信号的脑电形图分析的替代性EEG表示法。首先根据实验或分类目的，将脑电信号按照时间或者类别分组，然后计算每个脑电信号的全域能量，且全域能量用于测量全脑对事件的反应，或者描述大脑活动的快速变化。其中，计算脑电信号的全域能量，且t时刻的全域能量计算方法如下：

式中，u

由于不同时刻的全域能量是不同的，因此需要获取全域能量局部最大值时刻的全域能量的脑电拓扑结构，也即获取公式(1)中某些时刻段的脑电拓扑结构。得到脑电拓扑结构后，根据脑电拓扑结构的相似性和预设指标确定脑电信号的微状态类别，也即对脑电拓扑结构进行聚类处理。聚类的方法有很多种，其中k-means聚类及改进的K-means方法均需要预先设置微状态类别的数量，这些方法首先将EEG样本划分为固定数量的群集，然后将它们重新放置到迭代中，直到获得最佳群集分配为止。层次聚类方法无需预先设置微状态类别的数量，其中AAHC(Atomize and Agglomerate Hierarchical Clustering，)以及TAAHC(Topographic Atomize and Agglomerate Hierarchical Clustering)是为微状态分析而开发的聚类算法，AAHC聚类的结果具有确定性，但TAAHC算法由于初始化过程中存在随机性，其聚类结果具有不确定性。而本实施例先预先设置预设微状态类别，然后计算每个脑电拓扑结构的参考指标与预设状态类别的相关性以确定脑电信号的微状态类别。在本实施例中，参考指标包括全局解释方差和交叉验证准确，其中，全局解释方差用于衡量聚类得到的预设微状态类别与每个脑电拓扑结构的相似成度，且全局解释方差的计算公式如下：

式中，x

交叉验证准则可以预测残差方差，且交叉验证准则越低证明聚类效果越好，也即脑电信号分类越准确。交叉验证准则的计算公式如下：

式中，

将脑电拓扑结构分类后得到脑电信号的微状态类别，然后将微状态类别拟合到数据中，计算全域能量曲线局部极大值处的脑电拓扑结构与每个微状态类别的脑电拓扑结构的相似度，根据相似度最大的脑电拓扑结构对应的时刻指定一个微状态标签，得到一系列交替的微状态，也即微状态序列，每一个脑电信号对应一个微状态序列，且微状态序列是与潜在神经生理活动相关的符号时间序列。

对脑电信号进行微状态分析，由于脑电信号中只有少数微状态的脑电形图，且他们在持续事件约为100ms的离散块中交替，脑电微状态事件序列在不同时间尺度上的观测显示出完全的自相似性。脑电信号的微状态被人为是一种带宽现象，可以考虑到人脑中可观测到宽泛的频率成分。因此通过对脑电信号的一些列运算以得到微状态序列，以便于准确地判断处脑电信号对应的情感事件。

在一些实施例中，得到微状态序列后需要进行特征提取以得到情感特征，微状态序列需要根据预设参数进行特征提起。在本实施例中，预设参数包括:微状态类别的平均持续时间、微状态类别的发生频率、微状态类别处于活动状态和总时间的比值、全局解释方差、特定微状态类别和其他微状态类别的转换概率。通过分析微状态序列的预设参数以得到情感特征，且得到的情感特征准确。

获取情感特征后需要通过情感特征和预设特征数据库确定该情感特征对应的刺激事件的情感属性，也即分析出情感状态。因此，通过对每个刺激事件的脑电信号进行微状态分析并提取情感特征后，将提取的情感特征作为神经网络的输入，以得到每个脑电信号对应的刺激事件的情感属性，也即通过分析每个脑电信号即可判断该脑电信号对应的情感状态，以提高脑电情感状态识别的准确性。

下面参考图1至图3以一个具体的实施例详细描述根据本发明实施例的脑电情感识别方法。值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。

从预设脑电数据库或自定义数据库获取脑电信号，然后将脑电信号进行重参考、滤波、去除伪迹以及基线矫正处理，以将脑电信号中的眼电、肌电噪声去除。去除噪声后的脑电信号需要计算全域能量，然后获取全域能量局部最大值时刻的脑电拓扑结构，再根据预设微状态类别和脑电拓扑结构的参考指标确定脑电信号的微状态类别，主要判断脑电拓扑结构的全局解释方差和交叉验证准则以确定该脑电信号的微状态类别。得到微状态类别后需要根据预设参数提取情感特征，通过情感特征与预设特征数据库确定刺激事件的情感属性，也即确定了情感状态。因此，通过脑电信号识别对应的情感状态的操作简易且准确。

第二方面，参照图4，本发明实施例公开了一种脑电情感识别系统，包括：获取模块100、预处理模块200、分析模块300、第一处理模块400和第二处理模块500，获取模块100用于获取脑电信号；预处理模块200用于将脑电信号进行预处理；分析模块300用于将预处理后的脑电信号进行微状态分析以得到微状态序列；第一处理模块400用于根据微状态序列与预设参数确定脑电信号的情感特征；第二处理模块500用于根据情感特征和预设特征数据库确定刺激事件的情感属性，预设特征数据库包括情感特征和刺激事件的情感属性的匹配信息。

通过脑电信号进行预处理，然后预处理后进行微状态分析得到微状态序列，再通过微状态序列与预设参数确定情感特征，最后将情感特征和预设特征数据库内的匹配信息进行比对以确定刺激事件的情感属性，也即确定情感状态，使得脑电情感识别的操作简易且准确。

在一些实施例中，预处理模块200包括：重参考单元、滤波单元、伪迹处理单元以及基线矫正单元；重参考处理单元用于将脑电信号进行重参考处理；滤波单元用于将重参考处理后的脑电信号进行滤波处理；伪迹处理单元用于将滤波处理后的脑电信号的伪迹成分去除再重构脑电信号；基线矫正单元用于将去除伪迹的脑电信号进行基线矫正。

通过重参考单元、滤波单元、伪迹处理单元、基线矫正单元对脑电信号进行重参考、滤波、伪迹和基线矫正处理以将脑电信号中的眼电、脑电噪声去除，以得到准确的脑电信号。

其中，一种脑电情感识别系统的执行过程参照第一方面的一种脑电情感识别方法，此处不再赘述。

第三方面，参照图5，本发明实施例还公开了一种脑电情感识别控制设备，包括：至少一个处理器600，以及，与至少一个处理器600通信连接的存储器700；其中，存储器700存储有可被至少一个处理器600执行的指令，指令被至少一个处理器600执行，以使至少一个处理器600能够执行如第一方面的脑电情感识别方法。

脑电情感识别控制设备可以为移动终端设备，也可以为非移动终端设备。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理、CPE、UFI(无线热点设备)等；非移动终端设备可以为个人计算机、电视机、柜员机或者自助机等；本发明实施方案不作具体限定。

处理器600可以包括一个或多个处理单元，例如：处理器600可以包括应用处理器600(application processor，AP)，调制解调处理器600，图形处理器600(graphicsprocessing unit，GPU)，图像信号处理器600(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器600(digital signal processor，DSP)，基带处理器600，和/或神经网络处理器600(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器600中。

存储器700可以为外部存储器700，也可以为内部存储器700，外部存储器700为外部存储卡，例如Micro SD卡。外部存储卡通过外部存储器700接口与处理器600通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。内部存储器700可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。

第四方面，一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面的脑电情感识别方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。