一种基于互信息量的脑机接口中错误相关电位的监测方法

技术领域

本发明涉及一种错误相关电位的识别方法。

背景技术

脑机接口(Brain-computer interface,BCI)技术揭示了人的意图，并将意图传递给外部设备，为人与智能机器的有效沟通提供了光明前景；近年来，BCI技术已广泛应用于教学演示、技术表演、机器人设备控制以及特定工业操作的人机交互(human-computerinteraction,HCI)任务中；BCI在教学模式下可以增强学生的注意力和记忆力；一些互动游戏可以根据用户的意图控制虚拟物体，如光标到达指定目标；机器人等智能设备可以根据人类的指令完成一些特定的任务；工业外骨骼机械臂能协助加工搬运装卸重物，进行重复性精细操作，极大地节省了工人的体力同时显著提高生产效率；基于患者自身脑肌电信号的康复机器人可替代康复治疗师协助患者患肢进行高强度重复性康复训练；除了通过设定程序进行预期的任务外，被控对象是否正确按照用户意图执行对应操作也会影响HCI性能的有效性。

虽然被控虚拟对象或外部设备通常能在一定程度上按照用户的意图移动到指定目标或执行预期操作，意味着被控虚拟对象或外部设备具有的机器智能正逐渐逼近人类具有的生物智能；但有时虚拟对象或外部设备会移动到错误的目标或执行错误的非预期操作，意味着机器智能目前仍未达到人类生物智能的水平；这些错误会中断教学、工业生产及康复训练的进行，极大程度上影响HCI性能；在危险操作工作中，一些意想不到的错误甚至会引发工业事故；康复训练中，康复机器人的错误动作甚至会给患者带来二次伤害；此外，由于长时间的任务和对外部设备的过度依赖，用户容易变得粗心大意，这也不利于人机交互任务的进一步执行，因此有必要发现错误并及时中止。

聘请监督者提醒操作者的错误执行动作固然有助于人机交互任务的顺利进行，不过用户被动式操作的心理一直存在，不能完全做到主动积极参与；用户被反复提醒容易导致注意力被分散，同时增加了人力成本；为解决上述问题，需要用户本身在HCI任务中同步检测观察到的错误，以便及时纠正干预；错误相关电位(Error-related Potential,ErrP)应运而生；事实证明，当人类观察到一个错误动作时，无论发生什么类型的错误，ErrP信号都会在大脑中无意识地产生，而无需事先进行任何训练；ErrP信号的发生属于人类在外界事物违背自身意愿进行操作时的正常反应；ErrP信号频率主要集中在1-10Hz，趋于稳定，在监督特定任务中起着重要作用；基于ErrP的脑机接口错误监测技术可以显著提高用户的主动参与积极性与信心，执行预期任务时会更加专注谨慎；与传统BCI一样，ErrP信号通常需要单独检测，可以被视为BCI系统中的单源输入，通过检测ErrP来发现当下的错误并采取纠正措施，以防止错误动作被继续执行，在脑机接口中发挥了人类生物智能的作用；将脑机接口的机器智能和人类的生物智能有效结合便形成了混合增强智能，显著改善人机交互任务中用户的体验。

随着机器学习技术和强大计算资源的出现，神经信号的分类率得到了显着提高；随着BCI中ErrP自动纠错机制的集成，有望进一步推进；然而，目前普遍偏低的ErrP分类率构成了重大挑战；由于ErrP分类率较低，某些人机交互任务例如P300拼写器在ErrP集成方面几乎没有改进，参与者甚至发现自动更正策略更加混乱和不可预测；整体性能下降导致一些用户更喜欢使用P300拼写器而不进行更正，因为他们认为没有任何好处，使用ErrP-BCI的信心逐渐降低；因此，亟待提出一种处理错误相关电位信号的算法，提高ErrP信号的识别率，进行脑机接口错误的有效监测。

发明内容

本发明的目的是为了解决现有的脑机接口对错误相关电位信号识别率差的问题，提出了一种基于互信息量的脑机接口中错误相关电位的监测方法。

本发明所述的一种基于互信息量的脑机接口中错误相关电位的监测方法包括以下步骤：

步骤一、对原始脑电信号进行预处理，获取原始错误相关电位信号；

步骤二、对步骤一获取的原始错误相关电位信号进行无重叠滑动窗分析，提取出每个滑动窗口信号的平均绝对值，并将该平均绝对值作为原始错误相关电位信号的时域特征；

步骤三、利用Welch法对步骤一获取的原始错误相关电位信号进行特征提取，获取原始错误相关电位信号的频域特征；

步骤四、将步骤二获取的时域特征与步骤三获取的频域特征进行特征组合，获得组合后特征；

步骤五、利用互信息作为步骤四组合后特征与正误类别之间的测度，计算组合后特征与正误类别的互信息量并进行降序排序，获取并保留最佳模型；在最佳模型基础上，利用最小二乘支持向量机对错误相关电位进行分类。

本发明的有益效果为：本申请提出了一种新颖的基于错误相关电位(Error-related Potential,ErrP)的脑机接口错误监测方法：提取预处理后用户实时ErrP的时、频域特征并组合，计算特征和类别的互信息量并对互信息量进行排序，优先选择互信息量较大的特征并利用最小二乘支持向量机进行分类，对样本进行留一交叉验证，获取并保留个体最佳模型；本方法对特征进行了筛选优化，提高了ErrP的识别精度，为后续的人为干预提供方向和策略，发挥了人类生物智能的作用。将脑机接口的机器智能和人类的生物智能有效结合便形成混合增强智能，增强了人机交互过程的友好性。

附图说明

图1为具体实施方式一所述的一种基于互信息量的脑机接口中错误相关电位的监测方法流程图；

图2为具体实施方式一中基于互信息量的最佳特征数筛选流程示意图；

图3为具体实施方式一中被试者观测光标移动方向正误图；

图4为具体实施方式一中互信息分类Venn图；

图5为具体实施方式一中被试者错误相关电位波形及总平均波形图；

图6为具体实施方式一中各被试者FCz通道基于MAV、Welch功率谱及双特征组合后分类准确率对比图；

图7为具体实施方式一中各被试者Cz通道基于MAV、Welch功率谱及双特征组合后分类准确率对比图。

具体实施方式

结合图1至图7说明本实施方式，本实施方式所述的一种基于互信息量的脑机接口中错误相关电位的监测方法，该监测方法包括以下步骤：

步骤一、对原始脑电信号进行预处理，获取原始错误相关电位信号；

步骤二、对步骤一获取的原始错误相关电位信号进行无重叠滑动窗分析，提取出每个滑动窗口信号的平均绝对值，并将该平均绝对值作为原始错误相关电位信号的时域特征；

步骤三、利用Welch法对步骤一获取的原始错误相关电位信号进行特征提取，获取原始错误相关电位信号的频域特征；

步骤四、将步骤二获取的时域特征与步骤三获取的频域特征进行特征组合，获得组合后特征；

步骤五、利用互信息作为步骤四组合后特征与正误类别之间的测度，计算组合后特征与正误类别的互信息量并进行降序排序，获取并保留最佳模型；在最佳模型基础上，利用最小二乘支持向量机对错误相关电位进行分类。

在本实施方式中，利用公开数据库——欧盟脑机交互的未来：地平线2020计划(BNCIHORIZON 2020)数据库中的Dataset 22——Monitoring error-related potentials数据。受试者坐在电脑屏幕前，被要求观察光标是否朝正确目标移动，同时记录他们的脑电信号。屏幕上显示一个移动的光标(即灰色方块)。光标左侧或右侧的黑色方块表示目标位置，虚线方块表示光标之前的位置，如图1所示。在每个试次中，光标根据目标的位置水平移动。每个试次持续时间大约为2000毫秒。一旦到达目标，光标将保持在原位，并出现一个新的目标位置。在实验过程中，用户被要求监视系统的性能，评估其是否正常工作。为了研究由错误动作产生的信号，在每个试次中，光标都有向错误方向移动的概率(即与目标位置相反)。当受试者发现光标移动到错误的目标时，ErrP就会发生。该数据集包括6名受试者按照10-20国际标准采集的64通道全大脑皮层ErrP信号，采样率为512Hz。本发明仅选取错误概率为20％的数据，对每一位被试者的ErrP信号逐一进行分析。每位被试者被分为两个阶段采集，每个阶段相隔不同的天数。本发明选取第一个阶段的数据进行训练并构建个体最佳模型，用第二个阶段的数据进行测试。由于原始数据样本庞大且不同类别样本比例不平衡，利用randperm函数对多数类样本进行不重复的重排采样，随机抽取与少数类样本数量相同的多数类样本，使数据平衡。

优选实施例中，步骤一中的原始脑电信号进行预处理，获取原始错误相关电位信号的具体方法包括：对原始脑电信号依次采用公共平均参考法、中值滤波法、FIR带通滤波法、独立成分分析、抗混叠滤波、降采样以及滑动窗进行处理；其中，公共平均参考法为：对64个通道的原始脑电信号均值中的电极共有噪声进行去除，得到与错误相关电位信号的9个中央皮质区域的中央电极通道信号；

中值滤波法为采用窗口长度为201的中值滤波器去除基线漂移；

FIR带通滤波法为：通过1-10Hz的有限长单位冲激响应滤波器对数据进行带通滤波。

在本实施方式中，首先通过公共平均参考(Common average reference,CAR)法对64个通道的信号均值进行去除，消除所有电极共有的噪声，实现空间滤波。由于与错误相关的活动与中央皮质区域相关联，因此优先选择9个中央电极通道(FC1、FCz、FC2、C1、Cz、C2、CP1、CPz、CP2)进行进一步分析即可实现维度降低。此通道选择过程还有助于去除可能被眨眼和肌肉伪影污染的电极。

采用窗口长度为201的中值滤波器去除基线漂移，后通过1-10Hz的有限长单位冲激响应(Finite Impulse Response，FIR)滤波器对数据进行带通滤波，窗函数选用汉明窗，窗口长度50。最后利用独立成分分析(Independent Component Analysis，ICA)对眼电信号进行去除，重构ErrP信号。采用Hyvarinen提出的FastICA算法，也称为fixed-point算法，是一种批处理模式下的快速优化迭代算法。

将重构ErrP采用82阶FIR滤波器进行下采样之前的滤波，防止在下采样后出现频率混叠。进行降采样后，选取每个试次中固定长度的ErrP窗口时段进行分析。对该长度信号采用无重叠滑动窗分析方法，提取每个滑动窗口信号的平均绝对值(Mean Average Value,MAV)作为时域特征。

优选实施例中，步骤二中对原始错误相关电位信号进行无重叠滑动窗分析，提取出每个滑动窗口信号的平均绝对值的具体方法为：

设x

平均绝对值表达式如(1)所示：

其中，MAV为平均绝对值。

在本实施方式中，同样对该长度信号采用重叠滑动窗分析法，由于ErrP集中在1-10Hz内，包含delta(0.5-4Hz)，theta(4-8Hz)，与alpha1(8-10Hz)频段，在提取频域特征时，先分别提取了ErrP中上述3个波段的Welch功率谱特征进行分类，后提取1-10Hz频带内的Welch功率谱特征进行分类，比较提取不同频带频域特征对单通道单特征分类率的贡献大小。窗函数选用汉明窗，窗口长度64，重叠长度32。

优选实施例中，步骤三中获取原始错误相关电位信号的频域特征的具体方法为：

首先将原始错误相关电位信号分解成长度为N的数据x(m),n＝0,1,…,N-1分成L段，m为数据x(m)的第m个采样点，每段有M个数据，第t段数据表示为：

x

其中，x

把窗函数w(m)加到每段数据上，求出每段数据的周期图，第t段数据的周期图为：

其中，I

将每一段数据的周期图之间看作互不相关，功率谱密度为：

其中，P

每个试次有257个特征，优先选择9个中央电极通道进行分析，故每一次实验样本共提取9*257＝2313维特征；

所述功率谱密度即为频域特征。

在本实施方式中，先将每个通道的MAV与Welch功率谱特征向量分别利用LS-SVM留一交叉验证后，获取并比较单通道单特征ErrP分类准确率。再将MAV与功率谱组合后，每个试次共有9*(12+257)＝2421个特征，继续利用LS-SVM进行留一交叉验证，逐一比较单通道双特征分类率。

支持向量机(Support Vector Machine，SVM)是在20世纪90年代由Vapnik等人建立的统计学习理论(Statistical Learning Theory，SLT)的基础上发展起来的一种新的模式识别方法。与STL类似，SVM方法是针对小样本建立统计学习方法，可以有效克服神经网络方法收敛困难、解不稳定以及泛化能力差等缺点，特别是当训练样本数量较少时，仍然能够实现较好的分类效果。目前，SVM已在模式识别、信号处理、通信等方面得到了广泛的应用。

在分类学习方面，传统模式识别方法是对数据进行降维处理，而SVM恰恰相反，对于特征空间中的样本，SVM采用映射方法将其映射到高维空间，在高维空间中寻找各样本的最佳分类超平面。

优选实施例中，步骤五中频带分类包括delta频段、theta频段以及alpha1频段；

所述delta频段的范围为0.5Hz-4 Hz；

所述theta频段的范围为4Hz-8Hz；

所述alpha1频段的范围为8Hz-10Hz。

优选实施例中，步骤五中对组合后特征进行分类的具体方法为：利用最优分类函数对组合后特征进行分类；

设训练集为(x

定义如(6)所示原始Lagrange函数：

其中，L(w,b,α)为原始Lagrange函数的函数值，α

将上式分别对w和b求偏导，将其转化为二次规划对偶问题：

在约束条件为

其中，Q(α)为优化函数；

上式在不等式约束条件下存在唯一最优解，且满足：

α

若

则最优分类函数为：

其中，b

在非线性情况下，利用

其中，

因此，最优分类函数为：

在高维空间中进行分类时，利用核函数进行对最优分类函数进行降维；

所述核函数K(·)的定义为：

则优化函数变换为：

相应的最优分类函数为：

/>

优选实施例中，所述核函数包括：

(a)多项式核函数

此时，SVM为q阶多项式分类器；

(b)径向基核函数

K(x

||x

(c)S形核函数

其中，β

此外，核函数还包括数形径向核函数、傅里叶级数、样条函数和B样条函数。

优选实施例中，步骤六中利用互信息作为组合后特征与最优分类之间的测度的具体过程为：

互信息衡量了特征项与类别的关联程度，两个离散变量X和Y的互信息定义为：

其中，p(x,y)是X和Y的联合概率分布函数，而p(x)和p(y)分别是X和Y的边缘概率分布函数；两个随机变量的互信息是变量间相互依赖性的量度；互信息等价地表示成：

其中，H(X)和H(Y)是边缘熵，H(X|Y)和H(Y|X)是条件熵，而H(X,Y)是X和Y的联合熵；用Venn图表示如图4所示；

继续计算特征和类别的互信息量并对互信息量进行降序排列，优先保留互信息量较大的特征，利用LS-SVM进行留一交叉验证后，获取单通道联合分类准确率。最后将分类结果较高的通道筛选出，将其特征进行组合并用互信息进行筛选，同样利用LS-SVM进行留一交叉验证后，保留个体最佳模型，得到最终的ErrP分类准确率。具体按照互信息量从大到小的顺序将N个特征进行降序排列，在个体最佳模型基础上，选择第1至k个特征逐一利用最小二乘支持向量机分类，对样本进行了留一交叉验证，将分类准确率A

优选实施例中，步骤六中获取并保留最佳模型的具体方法为：

具体按照互信息量从大到小的顺序将N个特征进行降序排列，在个体最佳模型基础上，选择第1至k个特征逐一利用最小二乘支持向量机分类，对样本进行了留一交叉验证，将分类准确率A

优选实施例中，步骤五中利用最小二乘支持向量机对错误相关电位进行分类的具体方法为：最小二乘支持向量机采用最小二乘线性系统作为损失函数，将经典支持向量机算法中的二次规划方法改为解线性方程组；

最小二乘支持向量机算法的目标优化函数为：

约束条件：

其中，w为权重向量；γ为正则化参数；b为线性判别函数的截距；e

更新Lagrange函数为：

分别对w，b，e

整理式(23)得：

其中，l＝[1,1,...,1]

令

α

对未知样本x，最小二乘支持向量机的预测值为：

每次分类时，优先选取核函数，再利用训练数据和对应样本，先训练出最优正则参数γ与最优核参数σ，进而训练出拉格朗日系数α

实验结果：

以FCz通道为例，图5显示了所有被试者的错误相关电位波形及总平均波形。细线代表六位被试者的ErrP，粗线为总平均波形。ErrP具有高度的锁时性：在观测到错误约200ms后，首先出现初始正峰值，随后接近255ms处出现一个较大的负偏转，并在大约340ms处出现第二个较大的正峰值。

将重构ErrP降采样到128Hz后，选取每个试次中-50ms到700ms之间的ErrP信号时段进行分析。在训练模型时，选取RBF核函数，利用训练数据和对应样本首先训练出最优正则参数γ与最优核参数σ，进而训练出拉格朗日系数α与线性判别函数截距b。根据上述四个关键参数形成个体最佳模型，对测试数据的标签进行预测。

经比对后发现相比分别提取delta，theta，与alpha1，提取1-10Hz频带内的Welch功率谱特征进行分类准确率较高。另发现在9个通道中，FCz和Cz通道的分类率较高。因此利用FCz和Cz两个中央电极通道进一步进行分析。图6、7分别显示了FCz和Cz的单通道平均绝对值、单通道Welch功率谱及单通道平均绝对值与Welch功率谱特征组合后的识别率。

可见FCz通道的分类效果总体优于Cz；基于时域特征MAV的分类准确率高于频域特征Welch功率谱。对比单特征及特征组合后分类效果发现，特征数并不是越多对分类越有利，有些特征是冗余的，甚至对分类率有碍。

将FCz与Cz的时频特征进行组合进行双通道双特征联合分类，每个试次共2*(12+257)＝538。最后计算特征和类别的互信息量并对互信息量进行降序排列，优先选择互信息量较大的前k个特征逐一利用最小二乘支持向量机分类，对样本进行了留一交叉验证，将分类准确率最高时的k值进行保留。六位被试者的k值分别为8、11、7、6、8、9，结果如表1所示。可见，与单通道时频特征组合类似，多通道特征数的叠加并未显著提高分类率。相反，运算时间显著延长、计算量与复杂度提高。而经过互信息量排序并筛选后的特征显著提高了ErrP信号的联合分类率，对ErrP的识别贡献了主要作用。

表1各被试者双通道双特征组合及经互信息量筛选后分类准确率对比

。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。