一种瞳孔脑电混合脑机接口平台及其处理方法

技术领域

本发明属于人工智能技术领域，尤其涉及一种瞳孔脑电混合脑机接口平台及其处理方法。

背景技术

脑机接口(BCI)系统为患有严重肌肉疾病的人群提供了一种与外部世界通信的新方式。传统的脑机接口只从大脑采集一种信号作为输入，但是存在一些问题，比如：“BCI盲”，约有15％～30％的用户难以诱发出较强脑电响应信号；只使用一种脑电信号作为输入，信息传输率较低；针对特定的功能设计而成，可实现的功能较为单一。

目前脑机接口主要有三方面的应用：

第一类应用是文字拼写，常用的是基于SSVEP的脑机接口。当人眼在注视一个以固定频率闪烁的目标时，在大脑皮层会产生一个相应频率的脑电信号，即SSVEP，具有高信噪比和良好的分类性能。当拼写面板上的每个字符以不同的频率和相位闪烁，采集各目标所对应的脑电信号构成模板；实际使用时，将采集到的脑电信号与每个目标的模板进行匹配，找到相关性最高的目标就是正在注视的字符，从而实现拼写。但是，SSVEP信号只有在特定的中低频范围内(4.6Hz～50Hz)效果较好，当分类目标较多时，相邻目标的闪烁频率相差很小，会使得分类结果不准确。另外，高频段的刺激难以稳定，且适用人群有限；在低频段的闪烁感强，易引起主观不适；超低频段的脑电信噪比低。

第二类应用是目标识别，常用的是基于P300的RSVP脑机接口。让人注视一组快速呈现的图像序列，当看到小概率发生的目标图像时，脑电信号会在目标图像出现后的300ms出现正向峰值，因此称为P300。但是，在每一组图像中，只有目标和非目标两类图像，因此可分目标类别很少，若想实现更多目标的分类，还需进行大量的实验。

第三类应用是疲劳监测，当人在睁眼、眨眼和闭眼时，会在脑电上看到明显的波动，例如α波等。但是需要提前采集不同状态足够数量的脑电信号用于训练。

第四类应用是脑开关，常用的是基于SSVEP编码的异步脑机接口。屏幕上持续呈现一组编码的闪烁刺激，并实时同步采集用户的脑电信号。用户在需要使用脑机接口时才注视该刺激。若能够在大脑中检测到与刺激编码相同的响应，才给用户呈现正式的脑机接口刺激界面，让用户正常使用脑机接口。但是异步脑机接口通常应用在长时间监测中，随着使用时间的增长，用户易疲劳，脑电帽的长时间佩戴也会导致用户的不适，脑电信号的质量下降，从而导致脑开关的性能下降，虚警率升高。

面对现有技术中的诸多缺陷，需要设计出一种全新的适配型平台。

发明内容

本发明的目的在于提供一种通用的瞳孔脑电混合脑机接口平台及其处理方法。

眼动特征凭借其非接触式采集的便捷性而引起我们的注意。常用的眼动特征包括注视点位置、瞳孔大小和眼电。

针对第一类应用(文字拼写)：一方面可以直接检测用户的注视点位置，实现文字拼写。但是，在使用前必须进行校准，以确定测得的实际注视点位置的准确性。另外，当待分类目标过多时，相邻目标的距离很近，对眼动仪的注视点定位精度要求很高，否则会降低分类性能。另一方面，瞳孔大小会随着亮度的变化而变化，这种亮度调制是足够稳定的，不需要校准信号与光强的变化，也不需要用户训练来提高信号的稳定性。因此，当拼写面板上的每个字符以不同的频率闪烁，会诱发瞳孔大小产生与注视目标频率相同的周期性变化，从而检测出注视位置，实现文字拼写。特别的，只有在超低频段(<3Hz)的闪烁才能诱发瞳孔大小产生显著响应。

针对第二类应用(目标识别)：瞳孔会在特定目标出现后的1秒出现扩张，因此可以通过眼动仪检测瞳孔的直径，并构造出多种瞳孔扩张的速度、加速度等特征用于分类。但是瞳孔扩张需1s的反应时间，无法满足高速的目标图像呈现。

针对第三类应用(疲劳监测)：一方面可以实时监测人眼的瞳孔大小。若出现长时间信号丢失，则说明用户闭眼；若出现短时间多次丢失，则说明用户频繁眨眼。闭眼和频繁眨眼的出现说明被试正处于疲劳状态，可直接给予反馈或提醒。另一方面，人的眼球运动会在眼睛周围产生电位差，通过采集眼电可判定用户是否在眨眼或闭眼。

针对第四类应用(脑开关)：可以与用户约定一种简单的图形，当用户利用注视点位置画出这个图形后，脑开关开启，随后可正常使用脑机接口。

因此构造瞳孔+脑电混合脑机接口平台，一方面可以弥补单一模态脑机接口对于“BCI盲”人群在使用上的限制，另一方面可以实现更多的功能优化和扩展。

为了实现上述目的，本发明提供了一种瞳孔脑电混合脑机接口平台，包括，

实验主机，用以承载计算处理程序，

脑电采集装置，用以采集脑电信号数据，与实验主机之间的数据传输与接送，

眼动采集装置，用以采集眼动信号数据，与实验主机之间的数据传输与接送，

所述计算处理程序包括对接收得到的眼动信号数据进行校准并呈现校准界面和图像序列、同时向脑电采集装置和眼动采集装置发送触发信号以实现刺激与数据的同步、汇总接收得到的脑电信号和眼动信号数据进行融合计算然后分类。

作为本发明的进一步改进，所述计算机处理程序包括MATLAB及Psychtoolbox工具包，所述MATLAB包括第一MATLAB和第二MATLAB。

作为本发明的进一步改进，所述第一MATLAB呈现图像序列以及使用并口线向脑电采集装置和眼动采集装置发送触发信号以实现刺激与数据的同步；第二MATLAB呈现校准界面并将校准结果呈现在眼动采集装置的主机上。

作为本发明的进一步改进，所述脑电信号数据以及眼动信号数据经实验主机的第二MATLAB汇总处理后，处理得到的分类结果经过TCP/IP协议传输至实验主机的第一MATLAB。

作为本发明的进一步改进，经过所述融合计算然后分类之后的结果经过TCP/IP协议传送给第一MATLAB。

本发明还提供了一种瞳孔脑电混合脑机接口平台处理方法，包括以下步骤，

a、处理开始时，由实验主机的第二MATLAB呈现眼动校准界面，并将校准结果呈现在眼动采集装置的主机上；

b、校准通过后，由实验主机的第一MATLAB呈现图像序列；

c、刺激开始时，由实验主机的第一MATLAB使用并口线向脑电采集装置和眼动采集装置发送触发信号，以实现刺激与数据的同步；

d、脑电信号数据以及眼动信号数据由对应的采集装置上的主机经过TCP/IP协议传输至实验主机的第二MATLAB；

e、实验主机的第二MATLAB内汇总接收得到的脑电信号和眼动信号数据，经过特征提取和融合算法，将分类结果经过TCP/IP协议传送给第一MATLAB，从而向用户反馈结果。

f、返回步骤b，直至所有的刺激呈现、数据采集和分析完毕。

作为本发明的进一步改进，所述融合算法包括预处理、特征提取、融合计算。

作为本发明的进一步改进，所述预处理具体包括，

a、伪迹去除：预先采集眨眼时的脑电信号，以确定与眨眼相关的线性分量，在SSVEP/RSVP实验中将眨眼信号过滤出来，对于眼动信号，采用插值算法对眨眼时丢失的注视点位置和瞳孔大小的特征进行补全，

b、对脑电信号进行叠平均和滤波，以降低噪声的影响，

c、在保证信号可用的前提下，通过降采样来降低计算量。

作为本发明的进一步改进，所述特征提取包括脑电时域特征、脑电频域特征、脑电空域特征以及眼动特征。

作为本发明的进一步改进，所述脑电时域特征包括RSVP实验下的P300信号，从而构造有目标出现的脑电模板，以及疲劳监测实验下的闭眼/眨眼时的脑电信号，构造模板，

所述脑电频域特征包括SSVEP实验下的对时域信号进行傅里叶变换，实现其在相应频率上的显著响应，

所述脑电空域特征包括采集头皮上不同位置的脑电，获得脑电的空域特征，

所述眼动特征包括注视、跳动和追随运动三种基本形式。

作为本发明的进一步改进，所述融合计算包括以下步骤，

a、特征融合

将脑电时域特征、脑电频域特征、脑电空域特征以及眼动特征整合为一个更多维的特征，直接用于目标的分类；

b、决策融合

i.在串行模式下，选取某一种多维的特征作为开关或者选择，来控制另一种多维特征的使用；

ii.在并行模式下，分别使用两种多维的特征得到对应的分类结果，并对两种分类结果进行融合，得到最终的分类结果。

作为本发明的进一步改进，所述脑电采集装置使用NeuroScan，可采集64导的脑电信号以及水平和垂直方向上的眼电信号，采样率可达1000Hz，所述眼动采集装置包括EyeLink 1000Plus眼动仪，可供双眼2000Hz的采样率，可使用红外摄像机采集眼睛图像，并通过分析图像得到眼动数据，可记录20种以上的眼动特征以及10种以上的事件信息。

与现有技术相比，本发明具备以下有益效果：

本发明设计为一种可以在不同应用类别上通用的融合脑电+眼动的多模态脑机接口通用平台，方便使用；

其次，通过本发明提供了一套完整、规范的特征提取和融合算法框架，规范数据处理流程，优化算法参数，有效的提高系统性能；

最后，提供多组可行的、可实际应用、可以实现不同功能的方案，针对单模态脑际接口存在的：主观舒适度差、适用人群有限、可分类目标数有限、无法实现高速识别、长时间使用后脑电信噪比下降等问题，通过瞳孔+脑电混合脑机接口，扩大适用人群，提高系统使用舒适度，优化现有脑机接口性能，延长脑机接口连续使用时间。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中瞳孔脑电混合脑机接口平台模块示意图；

图2是本发明中眼动特征种类表。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。但该等实施方式并不限制本发明，本领域的普通技术人员根据该等实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

本实施方式提供了一种瞳孔脑电混合脑机接口平台，如图1所示，包括，

实验主机，用以承载计算处理程序，

脑电采集装置，用以采集脑电信号数据，与实验主机之间的数据传输与接送，

眼动采集装置，用以采集眼动信号数据，与实验主机之间的数据传输与接送，

所述计算处理程序包括对接收得到的眼动信号数据进行校准并呈现校准界面和图像序列、同时向脑电采集装置和眼动采集装置发送触发信号以实现刺激与数据的同步、汇总接收得到的脑电信号和眼动信号数据进行融合计算然后分类。

所述计算机处理程序包括MATLAB及Psychtoolbox工具包，所述MATLAB包括第一MATLAB和第二MATLAB。所述第一MATLAB呈现图像序列以及使用并口线向脑电采集装置和眼动采集装置发送触发信号以实现刺激与数据的同步；第二MATLAB呈现校准界面并将校准结果呈现在眼动采集装置的主机上。

所述脑电信号数据以及眼动信号数据经实验主机的第二MATLAB汇总处理后，处理得到的分类结果经过TCP/IP协议传输至实验主机的第一MATLAB。经过所述融合计算然后分类之后的结果经过TCP/IP协议传送给第一MATLAB。

本实施方式还提供了一种瞳孔脑电混合脑机接口平台处理方法，包括以下步骤，

a、处理开始时，由实验主机的第二MATLAB呈现眼动校准界面，并将校准结果呈现在眼动采集装置的主机上；

b、校准通过后，由实验主机的第一MATLAB呈现图像序列；

c、刺激开始时，由实验主机的第一MATLAB使用并口线向脑电采集装置和眼动采集装置发送触发信号，以实现刺激与数据的同步；

d、脑电信号数据以及眼动信号数据由对应的采集装置上的主机经过TCP/IP协议传输至实验主机的第二MATLAB；

e、实验主机的第二MATLAB内汇总接收得到的脑电信号和眼动信号数据，经过特征提取和融合算法，将分类结果经过TCP/IP协议传送给第一MATLAB，从而向用户反馈结果。

f、返回步骤b，直至所有的刺激呈现、数据采集和分析完毕。

所述融合算法包括预处理、特征提取、融合计算。

1)其中预处理具体包括，

a、伪迹去除：预先采集眨眼时的脑电信号，以确定与眨眼相关的线性分量，在SSVEP/RSVP实验中将眨眼信号过滤出来，对于眼动信号，采用插值算法对眨眼时丢失的注视点位置和瞳孔大小的特征进行补全，

b、对脑电信号进行叠平均和滤波，以降低噪声的影响，

c、在保证信号可用的前提下，通过降采样来降低计算量。

2)其中特征提取包括脑电时域特征、脑电频域特征、脑电空域特征以及眼动特征。

i、脑电时域特征包括RSVP实验下的P300信号，从而构造有目标出现的脑电模板，以及疲劳监测实验下的闭眼/眨眼时的脑电信号，构造模板，

ii、脑电频域特征包括SSVEP实验下的对时域信号进行傅里叶变换，实现其在相应频率上的显著响应，

iii、脑电空域特征包括采集头皮上不同位置的脑电，获得脑电的空域特征，iiii、眼动特征包括注视、跳动和追随运动三种基本形式，

①注视

注视的目的是使眼睛最灵敏的部位——中央窝对准观察的对象。事实上,注视时眼睛并不是完全不动的,而是伴随着三种微弱的运动：漂移，震颤和微小的不随意眼跳。

漂移：不规则的，缓慢的视轴变化。眼震颤：高频率，低振幅的视轴震动。微小的不随意眼跳：当对静止物体上某一点的注视超过一定时间(0.3-0.5s)，或者当注视点在视网膜上的成像由于漂移而离开中央窝过远时,就会出现这种小的不随意眼跳。

许多研究者认为，双眼跳动在持续时间、幅度和方向上是相同的。注视中的3种微小眼动在短时间内会影响视敏度。实验证明，视敏度越差，眼睛漂移的幅度越大，眼震颤也越大。但是，在长时间的注视中，微小的不随意眼动却能提高视觉能力。因为微小眼动可以经常变化视网膜上被刺激部位，避免了视网膜的疲劳(适应)，从而提高视觉能力。

②跳动

实际上我们在观察物体时眼球并不是在平滑地运动，而是从一个注视对象跳跃到下一个注视对象眼睛跳动的速度很快，在眼跳过程中视觉是模糊不清的。

③追随运动

当我们观看一个运动物体时，如果头部不动，为了保持注视点总是落在该物体上，眼睛则必须跟随对象移动，这就是眼球的追随运动。此外，当头部或身体运动时，为了注视一个运动物体，眼球要做与头部或身体运动方向相反的运动。这时，眼球的运动实际上是在补偿头部或身体的运动,这种眼动也称补偿眼动。

上述两种追随运动的目的都是使被注视的运动物体在视网膜上的成像恰好落在中央窝上。如果物体运动得过快或过慢，追随运动就会发生困难。当物体运动过远时，眼球追随到一定程度后，便会突然转向相反方向跳回到原处，再追随新的对象。在这种情况下，眼球的运动是按追随----向相反方向的跳跃----再追随----再跳跃的方式反复进行的，这就是视回动。

目前常用的眼动特征包括注视点位置、瞳孔大小和眼电信号，以及用瞳孔大小特征衍生出来的速度/加速度等特征，如图2所示。

3)其中融合计算包括以下步骤，

a、特征融合

将脑电时域特征、脑电频域特征、脑电空域特征以及眼动特征整合为一个更多维的特征，直接用于目标的分类；

b、决策融合

i.在串行模式下，选取某一种多维的特征作为开关或者选择，来控制另一种多维特征的使用；

ii.在并行模式下，分别使用两种多维的特征得到对应的分类结果，并对两种分类结果进行融合，得到最终的分类结果。

在本发明中实验主机需要满足以下三点要求：能够稳定呈现图像序列、可以与脑电和眼动采集设备同步、能够实时呈现在线反馈。脑电采集装置及其主机使用NeuroScan。可以采集64导的脑电信号，以及水平和垂直方向上的眼电信号，采样率可达1000Hz。眼动采集装置及其主机用EyeLink 1000Plus眼动仪。该设备使用红外摄像机采集眼镜图像，并通过分析图像得到眼动数据，可记录注视点位置、瞳孔大小等20余种眼动特征，可记录眨眼、注视、trigger等10余种事件信息，可提供双眼2000Hz的采样率。

对于本发明提供的瞳孔脑电混合脑机接口平台，具体可以使用与多种不同的场景，下面结合具体的应用实施例来做进一步的阐述。

一、针对第一类应用(文字拼写)

a)融合SSVEP+注视点位置

i.使用SSVEP闪烁刺激范式，同时采集脑电信号和注视点位置特征，提取脑电和瞳孔的周期性变化特征，进行决策融合。

b)融合SSVEP+瞳孔大小

i.使用超低频方波刺激范式，同时采集脑电信号和瞳孔大小，提取脑电和瞳孔周期性变化特征，进行特征融合或决策融合。

c)融合ERP+瞳孔大小

i.使用超低频方波刺激范式，同时采集脑电信号和瞳孔大小，提取瞳孔的周期性变化特征，提取脑电的ERP特征，进行决策融合。

ii.使用P300刺激范式，同时采集脑电信号和瞳孔大小，提取瞳孔大小的瞬时变化特征，提取脑电的P300特征，进行特征融合或决策融合。

2)针对第二类应用(目标识别)

a)融合P300+瞳孔大小特征。

3)针对第三类应用(疲劳监测)

a)融合脑电+眼电特征。

b)量化三种基本形式的眼运动特征，找到更多与疲劳相关的眼动特征用于融合、分类。

4)针对第四类应用(脑开关)

a)融合注视点位置+脑电特征

i.先根据注视点位置的轨迹确定脑开关的工作状态，例如：可以与用户约定一种简单的图形，如以屏幕的左上、右上、右下为顶点的三角形，通过检测用户的注视点位置，当用户的注视点依次经过这三个顶点并画出该三角形后，说明用户要使用脑机接口，脑开关开启，随后为用户呈现正式的脑机接口刺激界面，采集脑电来使用特定功能的脑机接口。

通过上述应用，我们发现本发明在针对不同使用场景上都取得了进步。

针对第一类应用(文字拼写)：扩大适用人群，可以实现更多目标的分类，提高系统使用效率，实现更多功能，提高系统使用舒适度。特别地，针对超低频闪烁刺激范式，在脑电信噪比较低的情况下，加入瞳孔特征，提高分类准确率；针对设计高频闪烁刺激范式，为了提高注视的舒适度，对于高频刺激分类效果不好的用户，可以通过加入注视点位置信息，提升分类性能。

针对第二类应用(目标识别)：实现图像更复杂、目标种类更多的分类任务。由于眼动特征延迟所不能实现的高速RSVP试验，可用P300信号弥补。基于各种眼运动方式，找到不同的视觉刺激各自对应的眼动特征，可以优化分类性能。

针对第三类应用(疲劳监测)：已知的眼电特征和眼动特征较少，探索疲劳与眼运动的相关性，得到更多可用的眼动特征。

针对第四类应用(脑开关)：在脑开关中，用眼动特征代替脑电特征，避免长时间使用后脑电信噪比下降，而导致脑开关失灵情况的发生。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施例加以描述，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。