一种融合基于摄像头式视线跟踪技术的脑机接口系统

技术领域

本发明涉及视线跟踪、脑机接口、脑电信号编解码处理与分析等多个技术领域，特别涉及一种新型脑机接口系统。

背景技术

脑电信号(Electro Encephalo Gram，EEG)是大脑神经细胞的电生理活动在大脑皮层的总体反映，由头皮电极进行记录，相对于功能性近红外成像(Functional Near-Infrared Spectroscopy，fNIRS)、脑磁图(Magneto Encephalo Graphy，MEG)、侵入式皮层脑电(Electro Cortico Gram，ECoG)等大脑信息获取方法来说，头皮脑电信号同时具有时间分辨率高、信号容易获取、采集成本低廉等优点，因此受到了更为广泛的关注。在工程应用方面，脑电信号常作为脑机接口(Brain-Computer Interface，BCI)的信息获取方式。

脑机接口是不依赖周围神经和外骨骼而实现大脑与外部设备之间直接通信的系统，能够替代、修复、增强、补充或改善正常神经系统的输出，在神经功能康复、脑状态监测等应用领域发展迅速。在现阶段的研究中，用于BCI系统控制的EEG电生理源主要包括事件相关同步化/去同步化(Event-Related Synchronization/Desynchronization，ERS/ERD)、稳态视觉诱发电位(Steady-State Visual Evoked Potential，SSVEP)、以P300、运动起止诱发电位(motion-onset Visual Evoked Potential，m-VEP)、编码调制诱发电位(code-modulation Visual Evoked Potential，c-VEP)为代表的事件相关电位(Event-RelatedPotential，ERP)等。利用以上电生理源可设计相关的脑机接口，利用ERS/ERD设计的脑机接口叫做运动想象型脑机接口(Motor Imagery BCI，MI-BCI)，利用SSVEP设计的脑机接口叫做基于稳态视觉诱发电位的脑机接口(SSVEP-BCI)，利用ERP设计的脑机接口常见有P300-BCI、mVEP-BCI、cVEP-BCI等。视线跟踪(Eye Tracking，ET)是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。随着计算机视觉、人工智能技术的快速发展，基于眼睛视频分析(Video Oculo graphic，VOG)的非侵入式视线跟踪技术成为当前热点研究方向。基于VOG的视线跟踪系统按硬件基础可分为基于眼动仪的视线跟踪系统和基于摄像头的视线跟踪系统，前者需要借助配套的眼动仪硬件系统实现视线跟踪，后者不需要借助眼动仪只需要利用计算机连接的摄像头获取人脸图像再经过软件处理就能实现视线跟踪。

一、传统脑机接口技术及问题

如图1所示，为现有技术的脑机接口架构示意图。首先通过脑电采集装置从大脑皮层提取诱发后的脑电信号，再将提取的脑电信号送入解码模块依次进行预处理、特征提取、模式识别等一系列处理，最终转换成控制外部设备的具体指令发送给具体的应用做出响应。

评价脑机接口的性能的指标一般为分类正确率(classification accuracy)和信息传输率(information transfer rate，ITR)。当前针对脑机接口技术的研究中，由于解码算法难度大、可编码刺激的信息有限等因素，大指令集的突破一直是一个瓶颈；而同一脑机接口下的指令集数量越多，其分类准确率就越低，信息传输率也越低；并且，指令集数量越大，所需训练/校准时间就越长，更容易使被试产生疲劳感。

二、融合视线跟踪的脑机接口技术及问题

目前融合视线跟踪的脑机接口研究基本都是采用基于眼动仪的视线跟踪技术与脑机接口技术结合，相比基于摄像头的视线跟踪系统精度较高，所以广泛采用眼动仪来满足视线追踪的需求，基于摄像头的眼动追踪技术未能得到很好地应用。

如图2所示，为融合基于摄像头视线跟踪技术的脑机接口系统中脑电编码示例图。上图中有30个字符用于脑电解码，视线跟踪的计算结果分为左、中、右三类，每次脑电解码计算出目标字符再进行视线提取，如果脑电解码的目标字符与视线提取的方向不一致，则不输出；反之，则输出目标字符。已有研究只限于将视线跟踪结果作为系统输出的一个开关。

如图3所示，为融合基于眼动仪视线跟踪技术的脑机接口系统脑电编码的一个示例图。融合基于眼动仪的视线跟踪技术的脑机接口系统按运行方式可以分为串行系统和并行系统，前者将视线跟踪结果作为系统输出的一个开关，或者先用视线跟踪粗略判断视线注视区域，再通过脑电解码来精确识别区域内的具体目标；后者同时计算视线跟踪结果和脑电解码结果，将两者融合作为最终输出的目标识别结果。在此主要介绍与本技术相关的串行融合系统。已有研究基本都建立在基于眼动仪的视线跟踪技术上，眼动仪的加入增加了脑机接口系统的价格成本和使用成本；相关融合视线跟踪技术的串行脑机接口的研究中，视线分类区域都是基于固定分区的，区域数量和位置固定，位于分区交界处的目标有被错分的风险，特别是对于眼动设备精度不高的系统。该示例中的脑电编码为视线跟踪与SSVEP-BCI混合编码范式。目前的融合基于眼动仪的视线跟踪技术的脑机接口系统大多都是视线跟踪与SSVEP-BCI的融合系统。图中有6×6个SSVEP刺激块，虚线划分出9个视线分类区域。系统开始首先利用眼动仪进行视线跟踪，计算最终被试的视线落点位于9个区域中的哪一个，接着再对此区域内的四个目标进行解码识别最终结果。除了以上所示视线分类区域的划分，还有多种变体，比如将视线分类区域两两交叠划分以降低视线跟踪结果分类的错误率。但这些方法本质上都是固定分区的方法，视线分类区域的数量和位置以及区域内的目标个数都是事先划分好的。

因此，融合视线跟踪技术的脑机接口存在以下问题：

第一，融合基于摄像头的视线跟踪技术的脑机接口的研究不足，而融合基于眼动仪的视线跟踪技术的脑机接口由于眼动仪的加入增加了系统的价格成本和使用成本；

其次，融合视线跟踪的串行脑机接口的视线分类区域的数量和位置是事先划定好的，所以存在这样的问题：仍以图3为例，当被试盯视A2目标时，由于视线跟踪的精度误差，计算的视线落点可能会落在图中的红色圆点处，此时视线分类结果为B区域，脑电解码B区域内的四个目标一定不会得出目标结果A2。所以固定分区的策略对于位于区域边界的目标存在有一定的错分风险。

现有与本发明相关的脑机机接口技术存在的缺陷归纳如下：

一、对于传统脑机接口：

(1)传统的脑机接口编码时的基本码元不能重复，编码不同指令需要用到不同的时/空/频/相信息或其组合，即一个基本码元不能用来编码多个指令；

(2)同一脑机接口下的指令集数量越多，其分类准确率就越低，信息传输率也越低；目前大多数脑机接口系统都是基于有校准的，指令集数量越多，训练时间也就越长，被试更容易疲劳；

(3)传统脑机接口普适性较差：不同个体大脑神经活动之间的差异性导致同一编码下不同个体的诱发的脑电响应不同。例如12Hz的SSVEP对A被试诱发有较好的脑电响应，但对于B被试，12Hz诱发的脑电效果并不理想，反而15Hz对他诱发有较好的脑电响应，即不同个体有不同的个体性优势编码。

二、对于已有融合视线跟踪的脑机接口：

(1)已有研究基本都建立在基于眼动仪的视线跟踪技术上，眼动仪的加入增加了脑机接口系统的价格成本和使用成本；

(2)相关融合视线跟踪技术的串行脑机接口的研究中，视线分类区域都是基于固定分区的，区域数量和位置固定，位于分区交界处的目标有被错分的风险，特别是对于眼动设备精度不高的系统。

发明内容

针对以上现有技术的局限性，本发明旨在提出了一种融合基于摄像头式视线跟踪技术的新型脑机接口系统，实现了一种新型脑机接口系统。

本发明利用以下技术方案实现：

一种融合基于摄像头式视线跟踪技术的脑机接口系统，该系统包括信号采集模块、视线提取模块、脑电动态编码模块和脑电信号解码模块；其中：

所述信号采集模块，用于使用摄像头和脑电采集设备分别实时采集人脸图像/视频和EEG信号；

所述视线提取模块，用于将采集到的人脸图像/视频作为模块的输入，计算获得视线落点的估计结果；

所述脑电动态编码模块，用于使用动态编码策略随视线落点的不同实现脑电范式的动态编码和呈现；

所述脑电信号解码模块，用于对动态区域内范式诱发的脑电信号进行解码，解码后的结果作为最终的控制指令下发给应用。

相比于已有技术，本发明能够达成以下有益技术效果：

(1)基于摄像头的视线跟踪技术缩小了脑电的编解码范围，从而大大减少了指令的编解码数量，实现一个码元编码多个指令，这样一来便可使用少量码元实现大指令集系统；

(2)由于减少了编解码数量，从而提高了系统解码正确率和信息传输率，对于有校准的脑机接口系统来说还缩短了使用者的训练时长，提升了使用者的舒适度；

(3)编码数量的大幅减少使得可以针对不同个体根据其优势编码定制个性化的编码指令集，提高了脑机接口系统的普适性；

(4)相比基于眼动仪的视线跟踪，基于摄像头的视线跟踪系统成本低廉，不占体积，可移植性强，适用范围广；

(5)动态编码策略根据视线跟踪的落点估计值和误差范围动态生成编码区域，能够保证解码目标一定位于所确定的区域内，去除了固定分区导致的目标指令不在解码区域内的可能性。

附图说明

图1为现有技术的脑机接口架构示意图；

图2为融合基于摄像头视线跟踪技术的脑机接口系统中脑电编码示例图；

图3为融合基于眼动仪视线跟踪技术的脑机接口系统中脑电编码示例图；

图4为本发明的一种融合基于摄像头式视线跟踪技术的脑机接口系统模块图；

图5为本发明的一种融合基于摄像头式视线跟踪技术的脑机接口系统实施场景示意图；

图6为被试注视某个目标点的情景示意图；

图7为目标点示例图；

图8为本发明具体实施例一框架示意图；

图9为本发明具体实施例二的眼控鼠标的指令示例图；

图10为眼-脑控鼠标系统的系统逻辑示意图。

具体实施方式

下面将结合附图和实施例，对技术方案进行清楚地描述。

本发明的一种融合基于摄像头式视线跟踪技术的脑机接口系统，系统方案的必要前提是融合基于摄像头的视线跟踪技术。区分于现有研究下的固定分区编解码策略，提出了一种动态编码策略避免视线解码结果导致的误分。

如图4所示，为本发明的一种融合基于摄像头式视线跟踪技术的脑机接口系统模块图。该系统包括信号采集模块100、视线提取模块200、脑电动态编码模块300和脑电信号解码模块400；

所述信号采集模块100，用于使用计算机内置/外置的摄像头实时采集人脸图像/视频，使用脑电采集装置实时采集EEG信号；

所述视线提取模块200，将采集到的图像/视频作为模块的输入，计算获得视线落点的估计值；

所述脑电动态编码模块300，用于使用动态编码策略随视线落点的不同实现脑电范式的动态编码和呈现；

所述脑电信号解码模块400，用于对动态区域内范式诱发的脑电信号进行解码，解码后的结果作为最终的控制指令下发给应用所对应的控制指令。

本发明的一种融合基于摄像头式视线跟踪技术的脑机接口系统实现流程，该流程包括以下步骤：

步骤1、搭建好系统环境，使用计算机内置/外置的摄像头实时采集人脸图像/视频，使用脑电采集装置采集EEG信号；

步骤2、将采集到的图像/视频输入软件的视线提取模块进行视线提取，计算获得视线落点的估计值；

步骤3、依据动态编码策略，以视线落点估计值为中心划定出一个区域，在区域内编码和呈现相关脑电范式；

步骤4、对动态区域内范式诱发的脑电信号送入脑电解码模块进行解码，解码后的结果作为最终的控制指令下发给应用所对应的控制指令。

步骤1中，使用的所述摄像头的种类不受约束，包括但不限于为普通摄像头或网络摄像头、连接方式为计算机内置摄像头或外置摄像头，非红外摄像头或者红外摄像头，亦或是以上几种摄像头的互相组合；

所述脑电采集装置的类型也不受约束，能够有效采集EEG信号的装置都包含在之内。

步骤2中，所述的视线提取模块，采用基于VOG的视线跟踪方法或者基于VOG的视线跟踪方法设计开发的应用程序都在包含在内，基于VOG的视线跟踪方法主要分为基于特征的视线跟踪方法和基于表现的视线跟踪方法。

步骤3中，所述脑电范式采用包括单一特征响应范式或混合特征范式，单一特征响应范式包括但不限于P300、SSVEP、c-VEP、m-VEP、MI等，以及，混合特征范式为混合两种或两种以上电生理特征的范式包括但不限于P300-SSVEP范式、SSVEP-MEG范式等等能够与视线追踪技术结合的任意脑电范式。

步骤4中所述的脑电解码模块，对应步骤1中所设计的范式编码方案选择适应的脑电解码策略进行解码。脑电解码策略一般分为预处理、特征提取、特征分类三部分，其中最核心的部分是特征提取和分类，需要采用有效的脑电解码算法提取EEG信号特征并进行分类。脑电解码算法可分为有训练算法和无训练算法，常见的无训练算法有功率谱密度分析(power spectral density analysis，PSDA)、多元同步系数(multivariatesynchronization index，MSI)、典型相关分析(canonical correlation analysis，CCA)等；常见的有训练算法有任务相关成分分析(task-related component analysis，TRCA)、判别典型模式匹配(discriminative canonical pattern matching，DCPM)、基于黎曼几何的分类器和基于深度学习的分类器等。以上所述脑电解码方法以及使用以上方法设计开发的应用程序都在所述范围内；

所述的控制指令下发方式，采用任意通信传输方式进行下发，诸如采用串/并口等有线传输方式或WiFi/蓝牙/移动网络等无线传输方式。

对步骤3中所述动态编码策略进行如下具体解释：

动态编码策略的思想是在视线处理得到视线落点的估计值之后，直接以估计值为中心生成一个区域呈现编码的脑电范式，后续再针对此区域进行脑电解码。由于每次计算的视线落点不固定，所以动态编码策略生成的编解码区域也是动态的。

动态编码策略的过程分为：1.动态划定编码区域2.在区域内呈现脑电范式。脑电范式已具体阐述，在此只对动态划定解码区域进行解释。

动态划定编码区域需要已知视线落点估计值(q，r)作为生成区域的中心位置坐标，生成区域的大小需要人为的给定，以下列举两种具体的编码区域大小计算方法：

如图6所示，为被试注视某个目标点的情景示意图。其中，对于精度为θ的视线跟踪系统，已知被试眼睛到屏幕的距离d，编码区域的大小具体计算过程如下：

被试水平注视屏幕中心O点，眼睛与O点的距离为d，此视线跟踪系统的平均精度为θ，A点为系统计算出的视线估计点，则得到误差半径，如下式所示：

得到误差范围∈，如下式所示：

其中，∈为最小误差范围大小，设置动态区域的大小时可用E做参考，动态区域的大小原则上应该不小于∈。

因此，动态划分的脑电编码区域表示为(p，A)，其中p＝(q，r)，A≥∈。

以上动态划分脑电编码区域是在已知视线跟踪系统精度的情况下，如果视线跟踪系统精度未知或数值有误，可采用实验的方法确定区域的大小，比如可以采用设置目标点的方式来计算视线跟踪的误差范围：

如图7所示，为目标点示例图。在屏幕上设置n个目标点μ＝(q

测试者注视对应目标点经过视线提取得到相应的视线落点(q

μ′＝(q

为了最终结果更加准确可重复以上步骤以获得每个点处更多的估计值；

计算估计值μ′与目标点真实位置μ的差值，得到各目标点下的误差距离，如下式所示：

选择合适的误差距离作为视线跟踪的误差半径：

对所有误差距离取平均作为误差半径，如下式所示：

或者，取最大的误差距离作为误差半径：

根据误差半径r得到误差范围∈，如下式所示：

∈＝π*r

综上，动态编码策略中编码区域大小的计算只有视线落点估计值(x，y)是必须的已知参数，其他参数不统一，可因采用方法的不同而选择不同的参数用于计算，因此只要符合动态编码策略的技术方案，(即以视线落点估计值为中心动态生成编码区域，在区域内呈现脑电范式然后解码)，使用与上述列举计算区域大小不同的参数计算解码区域的大小，以及不同的生成区域形状(圆形、椭圆、多边形等)都视为本发明的变体，应予以保护。本发明的具体实施例描述如下：

具体实施例一：此实施例为将基于摄像头的视线跟踪技术与大指令集脑机拼写系统结合的一个使用案例，系统指令集数目不受限制，仅以53指令的脑机微信打字系统作说明，指令集更多的脑机拼写系统设置思路与该系统相同。

如图8所示，为本发明具体实施例一框架示意图。系统逻辑结构如下：

该脑机微信打字系统分为视觉呈现模块、视线与脑电解码模块两部分。分别用图中的A端与B端表示。本实例基于单一摄像头捕捉用户眼部图像，用户佩戴有脑电采集装置。系统运行逻辑如下：

1-1、视线跟踪与处理：A端呈现有微信聊天窗口和均匀分布在其周围的53个字符指令，用户需要聊天打字时首先将视线转移到目标字符上，盯视该字符。此时摄像头会捕捉用户的眼部信息，送入视线解码模块，计算出对应的屏幕注视落点(图中圆点)。

1-2、动态编码策略生成区域呈现刺激范式：以注视落点为中心动态生成一个矩形区域(区域大小根据动态编码策略计算确定，比如上图中经过动态解码策略划分的区域大小最多可包含3×4＝12个字符指令，即可使用12个基础码元对53个字符进行编码)，矩形区域内的字符指令以视觉刺激的形式闪烁，可以是ssvep，也可以是P300等任何视觉刺激范式。

1-3、脑电解码：B端的脑电处理模块对试次内采集的脑电信号进行处理，解码出该试次脑电对应的字符结果。

1-4、下发控制指令：将解码的字符结果作为控制指令反馈给A端，触发对应的按键指令，输出目标字符到微信界面。

具体实施例一的技术效果为：在与使用者交互的流程中，采用本发明设计的新型脑机接口，带来如下有益技术效果：1)利用视线跟踪确定的动态解码区域缩小了脑电编解码的处理量，编码个数从原先需要53个不同频率和相位组合的编码缩小到12个编码，这样可根据被试情况挑选其优势编码组合作为指令集。2)由于编码数量的大幅减少，解码时构建滤波器模板数也大大降低了，提高了解码正确率和系统的信息传输率。3)由于编码信息的重复利用，被试的训练时间成倍缩短，被试反映在舒适度上有所提升。4)动态解码策略保证了解码范围的正确性，目标误分情况大大降低。

具体实施例二：眼控鼠标是视线跟踪技术的一个典型应用，使渐冻症患者人群操作计算机成为了可能。眼控鼠标对视线跟踪设备的精度有很高的要求，需要专业的眼动仪作为基础，使用成本较高。本实例设计了一种眼-脑控鼠标系统，使用基于摄像头的视线跟踪技术结合脑电来模拟鼠标控制。

如图9所示，为眼控鼠标的指令示例图。鼠标的功能主要分为光标的移动和按键指令，基础的按键指令包括左键单击、左键双击、右键单击、滚轮滑动、拖拽等操作。眼-脑控鼠标系统使用视线控制结合脑电调整的方案来实现光标的移动；各类按键指令以GUI叠加视觉刺激的形式呈现，用户通过脑电进行选择。

如图10所示，为眼-脑控鼠标系统的系统逻辑示意图。首先摄像头采集用户眼部信息，然后进行视线提取以识别用户的视线落点，将实时计算的视线落点作为光标的实时坐标来实现光标的移动操作。当用户要对目标执行按键操作时，用户注视该目标。此过程如图中左上方图所示：中间的1代表选择的目标，由于基于摄像头的视线跟踪技术的精度误差影响，注视该目标位置，光标最终的落点在图中圆圈2处。用户视线在目标上短暂停留以生成脑电编码区域(区域大小此前根据动态编码策略计算确定)，在此区域内激活脑电范式，然后进行脑电解码，脑控光标移动到目标所在的实际位置。此过程如图10中左下方小图所示：图中展示激活的脑电范式编码为一种利用空分多址编码的范式(此范式可替换成其他类型的脑电范式例如MI等)。注视范式的上下左右四个方向中的任一方向，解码范式可向所注视的方向移动。解码该范式诱发的脑电将光标移动到目标的实际位置。接着对按键指令集合GUI进行脑电解码，选择要执行的按键操作，识别输出命令完成对目标的点击或者其他操作。

本发明实例二的技术效果：在与使用者交互的流程中，采用本发明设计的眼-脑控鼠标系统，带来如下有益技术效果：1)此新型系统方案下，使用者不需要花费高昂的价格购买专业的眼动仪设备，降低了眼动追踪设备的应用成本；2)动态编码策略下的脑电解码弥补了摄像头下视线跟踪精度造成的误差，主观神经活动的加入避免了眼动系统的“米达斯接触问题”(眼动造成的误触发)。

上述两种实施例仅是所列举的两种使用本发明技术方案的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明精神、没有做出创造性劳动情况下做出的改进、润饰和等同替换，都将落入本发明的保护范围。