基于扩展现实游戏的运动想象脑机接口自适应训练系统

技术领域

本发明涉及脑机接口领域，尤其涉及一种基于扩展现实游戏的运动想象脑机接口自适应训练系统。

背景技术

脑-机接口(Brain-Computer Interface,BCI)是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。运动想象(Motor Imagery,MI)，是指大脑演练或模拟特定动作但不执行实际动作的心理过程，该过程会伴随大脑皮层特定区域的激活。但由于MI任务为主观的心理活动，MI-BCI用户通常需要长时间的BCI反馈训练才能熟悉运动想象方式，实现脑电特征的有效诱导。

有研究表明，三维运动引导在增强运动皮层激活方面比二维运动引导更有效。包括：虚拟现实、增强现实、混合现实在内的扩展现实技术(Extended Reality，XR)能够给受试者创建“身临其境”的虚拟环境，使受试者更容易感知想象的动作。而传统MI实验范式中，受试者常根据箭头方向进行运动想象，符号或文字给出的提示通常非常枯燥。游戏场景则允许受试者自由地运用大脑控制角色，在一定规则内达成目标取得胜利，减缓实验疲劳。因此，结合扩展现实游戏的运动想象新型范式既增强了运动想象信号的强度同时又增加了训练过程的趣味性。

此外，传统MI范式刺激时长固定，反馈时间固定，为了缩短BCI反馈训练时间，动态停止(Dynamic stopping,DS)策略在BCI范式研究中被提出。现有的动态停止策略通过循环对比贝叶斯后验概率和所设阈值，灵活控制了训练时长。然而固定的决策阈值却缺乏对用户个体状态的自适应性。

发明内容

本发明提供了一种基于扩展现实游戏的运动想象脑机接口自适应训练系统，在动态停止策略的基础上对决策阈值进行了自适应性调整，提出了一种动态阈值生成方法，具有良好的用户体验感和趣味性，可针对用户状态自适应调整训练难度，提升训练效率，对于运动想象在娱乐、医疗康复等领域应用落地具有重要意义。

一种基于扩展现实游戏的运动想象脑机接口自适应训练系统，所述系统包括：第一计算机、第二计算机、扩展现实设备，电极帽，SynAmps-2脑电放大器；

所述第一计算机用于设计及呈现新型刺激范式；所述第二计算机用于采集并处理脑电数据；

其中，所述新型刺激范式为：根据用户画像设计多功能趣味范式；所述脑电数据处理流程为：基于自适应生成阈值的动态停止策略，调整试次时长和训练难度。

其中，所述多功能趣味范式采用XR技术营造沉浸式交互环境，为用户量身定做具有不同肢体运动细节的虚拟角色引导其执行正确的MI动作。

所述多功能趣味范式具体为：

①面向卒中患者的上肢运动障碍严肃范式；②面向卒中患者的下肢运动障碍严肃范式；③面向学生的课外趣味科普范式；④面向大众群体的休闲娱乐虚拟范式。

其中，所述基于自适应生成阈值的动态停止策略为：

①计算贝叶斯后验概率：

设在线决策时，某一类运动想象任务的在线数据经过SVM算法返回的决策值为M，以离线各频带的分类正确率u为权重给M加权，作为该类任务的单试次决策系数向量v。

单试次用于分类的数据段长度为t，在不同t的条件下，预测正确和预测错误对应的先验概率分别为Ρ

其中，v

②计算决策阈值：

类别h的初始阈值由网格搜索法遍历离线数据得到，记为

其中，i为目标任务的试次数，μ为权重；

③判定并输出反馈结果；

将计算的贝叶斯后验概率Ρ

所述后验概率的最大值与其对应类别的决策阈值进行比较具体为：

当最大值大于所设阈值

本发明提供的技术方案的有益效果是：

1、本发明通过沉浸式的趣味游戏场景优化用户体验，强化诱发脑电特征；加入动态停止策略，缩短训练时长；针对个体性差异，通过置信度自检、阈值自适应，调整训练难度，提升训练效率；该系统有望在脑-机接口落地应用领域获得丰硕的研究成果，成为游戏与娱乐方面的新型技术，并带来一定的社会效益和经济效益；

2、本发明设计的系统具有良好的用户体验感和趣味性，可针对用户状态自适应调整训练难度，提升训练效率，对于运动想象在娱乐、医疗康复等领域应用落地具有重要意义；

3、本发明创新了运动想象脑电特征诱发范式和自适应阈值生成方法，有望提高训练效率和分类正确率；作为娱乐游戏，为BCI走向脑控电子竞技游戏领域开辟新市场；作为严肃游戏，研究用于军事训练、医疗康复、教育科研等领域；作为新型技术，降低人机交互成本，促进市场竞争力进而提高经济效益和社会效益；

4、本发明对老年人常见的脑卒中等疾病造成的运动功能性障碍，可以作为一种辅助治疗手段和传统功能训练一起使用；本发明创新了优质的扩展现实游戏内容，降低XR游戏研发成本，可用于扩大XR游戏的市场规模。

附图说明

图1为扩展现实游戏运动想象脑机接口自适应训练系统的示意图；

图2为基于运动想象的扩展现实游戏范式场景的示意图；

图3为基于贝叶斯后验概率的动态停止策略数据处理的流程图；

图4为基于自适应生成阈值的动态停止策略在线阈值更新及置信度计算方法的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例设计了一种结合扩展现实游戏和动态停止策略的运动想象脑机接口自适应训练系统。目前，运动想象脑-机接口(MI-BCI)正广泛应用于运动功能障碍和神经康复等领域，并已在临床实践中取得了较好的治疗效果。但与此同时，MI-BCI也存在着训练过程枯燥、训练时间长、个体差异大、分类正确率低等问题。本发明实施例设计了基于扩展现实技术(XR)的虚拟游戏运动想象范式，可提升MI-BCI训练过程的趣味性，提高运动想象诱发脑电信号质量；进一步设计了动态阈值生成方法应用于基于贝叶斯后验概率的动态停止策略，可实现针对不同训练个体与训练效果自适应调节训练时间；将上述范式与决策策略相结合形成的基于扩展现实游戏的MI-BCI自适应训练系统，有望提升用户运动想象能力从而实现更好的分类效果。

其技术流程是：针对不同用户对休闲娱乐或运动康复等需求，搭建多场景功能融合的XR游戏MI-BCI训练系统。对每个游戏类别设计离线系统，引导用户执行运动想象任务，采集并处理实验脑电数据，提取脑电数据特征，建立个体模型；设计在线系统，导入离线所建个体分类模型，随着在线实验的开展，更新用户个体模型及游戏系统数据库，利用基于自适应生成阈值的动态停止策略，实时反馈分类结果。

实施例2

下面结合图1-图4对实施例1中的方案进行进一步地介绍，详见下文描述：

本系统所需硬件为：计算机1(设计及呈现新型刺激范式)，计算机2(采集并处理脑电数据)，扩展现实设备(虚拟现实头盔、增强现实眼镜等)，Neruoscan公司生产的Quik-Cap电极帽，SynAmps-2脑电放大器。

本系统所需软件为：Unity 3D，Visual Studio，MATLAB，Scan4.5，扩展现实设备应用软件。

如图1所示，本系统共包括：多功能游戏系统搭建、刺激范式呈现、脑电信号采集、脑电数据处理这四个模块。系统使用Unity Technologies开发的Unity3D软件设计三维游戏场景，各游戏所需资源包在Unity Asset Store中下载。所用编程软件为Visual Studio，所需扩展现实设备为虚拟现实头显或增强现实眼镜。范式呈现模块根据不同用户类型选择合适的游戏范式引导用户进行运动想象。脑电信号采集模块使用Neuroscan脑电放大器，记录用户感觉运动皮层对应的28个通道(Fc5，Fc3，Fc1，Fc2，Fc4，Fc6，C5，C3，C1，C2，C4，C6，Cp5，Cp3，Cp1，CpZ，Cp2，Cp4，Cp6，P5，P3，P1，PZ，P2，P4，P6)的脑电信号，采样频率为1000Hz，电极放置按照国际标准10-20系统。参考电极为头顶，前额叶为地。实验开始之前，使用者须填写运动想象问卷(Movement Imagery Questionnaire，MIQ)进行运动想象能力的评估，排除不能进行运动想象(MIQ评定积分<25分)或混乱运动想象者。脑电数据处理模块使用MATLAB软件对数据做预处理，并用集成频带的共空间模式算法(Common Spatial Pattern，CSP)进行特征提取，用支持向量机算法(Support Vector Machine，SVM)进行模式识别，引入自适应阈值动态停止策略优化在线系统的指令输出速率。

如上述，传统运动想象BCI训练系统通常面临以下问题：

(1)受众群体针对性低，实验枯燥适用面窄，与实际应用脱节；

(2)运动模式难以客观描述，用户理解抽象，执行MI任务不准确；

(3)任务态持续时间固定，难以实现连续反馈控制；

(4)决策阈值固定，未满足个体差异化需求。

针对上述问题，本发明实施例主要做了两个方面的创新设计。首先，针对问题(1)和(2)，考虑到不同用户在运动康复、科教文化、休闲娱乐等多方面的应用需求，该运动想象新型范式根据用户画像设计了多功能趣味游戏场景，如：①面向卒中患者的上肢运动障碍严肃游戏；②面向卒中患者的下肢运动障碍严肃游戏；③面向学生的课外趣味科普游戏；④面向大众群体的休闲娱乐虚拟游戏等。使运动想象与实际应用接轨，走入大众。多场景功能融合的游戏系统采用XR技术营造沉浸式交互环境，为用户量身定做具有不同肢体运动细节的虚拟角色引导其执行正确的MI动作。其次，针对问题(3)和(4)，考虑到被试的特征响应时间和强度具有个体差异性，多场景功能融合的XR游戏-运动想象脑机接口系统设计了基于自适应生成阈值的动态停止策略，因人制宜地调整试次时长和训练难度。

除此之外，本系统还提供开放式应用程序编程接口(API)以供用户自主地使用现有游戏案例或更改添加新的游戏应用。使用XR游戏系统时，使用者头戴脑电极帽及扩展现实设备坐在椅子上，保持放松，并选择合适的游戏范式类型进行运动想象。

图2为各游戏范式场景示意图，具体各类游戏范式介绍如下：

①上肢运动障碍游戏范式：“切水果”，它是面向卒中患者的上肢运动康复严肃游戏，设计如下。游戏开始时，一个水果模型随机从显示屏左方底端或右方底端抛出到空中，在水果由上升到下落的过程中，用户通过左手或右手运动想象的方式输出指令，控制水果刀模型在空中切开这个水果。上述过程为一个游戏试次，随着游戏的进行，不同种类的水果被随机抛出，直至游戏结束。该游戏通过用户和水果互动的方式，逐步训练直至恢复患者的上肢运动能力。游戏根据水果的运动时间q划分了低、中、高三个游戏难度。低难度为初级训练水平，水果从被抛出到落地的时间q为4秒，运动速度最慢；中难度q为2.5秒，水果运动速度较快；高难度q为2秒，水果运动速度最快。若用户在低难度游戏关卡得到满分(100分)则可加大训练难度，显然，训练难度的提升标志着用户训练效果的提高。游戏中为确保数据对齐，范式呈现计算机1在水果抛出时需标记脑电信号标签并通过并口通信发送至脑电放大器。数据处理计算机2依据脑电放大器的标签截取并处理数据，之后再由用户数据报协议(User datagram protocol,UDP)将处理结果传输至范式呈现计算机1完成反馈。

根据技术流程，用户先完成离线游戏建立个体模型，才能进行有实时反馈的在线游戏。离线“切水果”游戏，水果从抛出至下落全程不被切开，在线“切水果”游戏，系统根据用户是否运动想象正确的输出指令控制水果被切开的状态。用户在进行在线“切水果”游戏时，单个游戏试次想象成功得到5个金币，拿到满分100个金币的用户则可进入高难度游戏关卡。如若用户在在线“切水果”游戏打破自身纪录，系统则更新该用户离线个体模型及得分记录，并统计该游戏所有用户得分及用时长短，更新排行榜。以上为“切水果”游戏的操作流程。

②下肢运动障碍游戏范式：“踢足球”，它是面向卒中患者的下肢运动康复严肃游戏，设计如下。游戏开始前，小球员(用户)面对教练员，以第一人称的角度站立在屏幕下方，小球员左右两侧各有一个相邻球员，四人成菱形方位站立。游戏开始时，小球员根据教练员随机的方向指示(手势及哨声)，通过左脚或右脚运动想象的方式输出屈膝踢球的指令，传球给其左侧球员或右侧球员。上述过程为一个游戏试次，随着游戏的进行，小球员根据教练员的方向提示反复传球给相邻球员，直至游戏结束。该游戏通过用户踢足球的方式，逐步训练以达到下肢神经康复的效果。该游戏，范式呈现计算机1在教练员给出方向提示的时刻标记脑电信号的标签。离线“踢足球”游戏，教练员给出提示后小球员保持站立状态，在线“踢足球”游戏，系统根据小球员是否运动想象正确的输出指令来控制小球员传球或站立的状态。

③趣味科普游戏范式：“游览地球”，它是面向学生的课外科普游戏，设计如下。游戏场景为一个乘坐热气球的探险家在地球上空飞行，游览世界各地的地理地貌、风土人情。游戏开始时，探险家(用户)乘坐热气球停留在中国北京上空。当用户处于静息态时探险家和热气球也处于静止状态，用户进行双脚、左手、右手运动想象分别控制探险家蹬脚踏板，摇动热气球的左方手柄和右方手柄进而控制热气球向北、向西、向东三个方向飞行。该游戏在地球上设置了100个游览点，当热气球停留在某游览点上空超过1秒种则会出现导游介绍该游览点。游戏过程中，用户可按照规则自由地选择游览点进行游览。离线“游览地球”游戏，每个游戏试次系统随机给出向北、向西、向东或静止的要求提示之后热气球保持静止，提示时刻即为标签时刻，之后用户根据提示进行运动想象并完成离线建模。在线“游览地球”游戏无方向提示，系统实时进行双脚、左手、右手运动想象及静息的四分类检测。

④休闲娱乐游戏：“卡丁车”，它是面向大众群体的娱乐竞技游戏，设计如下。该游戏是一个真实玩家(用户)和一个虚拟玩家的卡丁车比赛游戏，二者使用同一跑道，首先抵达终点的卡丁车获胜。进行游戏时，用户分别通过左手运动想象、右手运动想象、双脚运动想象来控制向左旋转方向盘，向右旋转方向盘以及踩油门加速。用户视野是第一人称的卡丁车视角，显示屏左上角显示时速表盘，右上角显示卡丁车在弯道地图上的实时运动轨迹。游戏开始后，用户卡丁车保持初始速度为e的匀速直线运动，当系统检测到左转、右转或加速的指令输出时则改变用户卡丁车的运动状态。根据弯道复杂程度以及卡丁车初始速度e，游戏分为底、中、高三个游戏关卡，低难度关卡e为20km/h，弯道复杂程度最低；中难度关卡e为30km/h，弯道复杂程度较高；高难度关卡e为40km/h，弯道复杂程度最高。若用户在低难度游戏关卡获胜则可进入更高的游戏关卡。离线“卡丁车”游戏，每个游戏试次系统随机给出左转、右转、加速的要求提示之后卡丁车保持静止，提示时刻即为标签时刻，之后用户根据提示进行运动想象以完成离线建模。在线“卡丁车”游戏，用户根据系统设置的方向提示，通过运用想象控制卡丁车左转、右转、加速，系统实时进行三分类检测。如若用户在在线“卡丁车”游戏打破自身纪录，系统则更新该用户离线个体模型及比赛记录，并统计该游戏所有用户等级及用时长短，更新用户排行榜。

1、基于贝叶斯动态停止策略的数据处理流程

脑电信号的预处理，首先将原始1000Hz的采样频率降采样为200Hz，接着截取刺激开始时刻之后(0.5s～4s)的任务态脑电数据段，在4-36Hz范围内有重叠非等长地划分为N

共空间模式算法是运动想象范式中常用的空间滤波算法之一，它的原理是寻找一个最优的空间滤波器ω，使滤波后两类信号的能量(方差)差异最大化。目标函数如式(1)所示：

其中，∑

其中，N

运动想象的频域特征常出现于μ节律(8～13Hz)和β节律(13～30Hz)，但个体频带特征却因人而异。因此，本发明实施例采用集成频带的共空间模式算法对CSP频带参数进行优化，以提升CSP特征的可分性，选择最佳个体特征。在离线系统中的具体做法为：

①划分训练集和测试集，对预处理阶段产生的N

②对①中各频带的分类正确率排序，选取最优的S个子频带用于离线建模及在线分类；

③选取①中各频带中最高的分类正确率作为离线分类正确率；

支持向量机算法是一种二分类模型，它的原理是是寻找一个分类超平面使得两类之间的间隔最大。训练样本

w

距离超平面F最近的几个样本称为支持向量，使得超平面F能够将训练样本D正确分类，异类支持向量到超平面的距离之和称为间隔。故想要找到最大间隔的划分超平面，即需要找到满足约束y

F(x)＝w

在本系统应用中，SVM算法用于多分类判别时采用one vs rest方法：假设要进行K分类，则构造K个二分类SVM模型，即每一类都跟其余的K-1类构成一个二分类模型。在Matlab中对测试集进行预测时，每个二分类器都返回一个决策值(decision_value)，其中最大决策值对应的类别即为对输入数据的预测结果。具体分类流程如图3离线系统所示。

本发明实施例提出了基于自适应生成阈值的动态停止策略，可以为不同用户个性化地调整每个试次的时长和游戏难度，在更短的时间内输出分类结果，提高训练效率。如图3在线系统所示，基于自适应生成阈值的动态停止策略步骤为：

①计算贝叶斯后验概率。结合上述处理流程，设在线决策时，某一类运动想象任务的在线数据经过SVM算法返回的决策值为M∈R

假设在线实验中，单试次用于分类的数据段长度为t，t的初始长度t

其中，v

②计算决策阈值。

由于被试的反应时间及特征强度因人而异，决策系数概率分布会随着游戏的进行发生较大变化。所以，本系统综合被试当前表现，对目标任务的第i个试次，数据长度为t时的决策阈值进行自适应调整，以同时优化指令输出速率与识别正确率。

下面以目标任务类别h为例介绍阈值更新过程。类别h的初始阈值由网格搜索法遍历离线数据得到，记为

/>

其中，

i为目标任务的试次数(i＝1,2,...,N

③判定并输出反馈结果。

如图3所示，对于在线系统中的某个游戏试次，将步骤①计算的贝叶斯后验概率Ρ

以上为基于自适应生成阈值的动态停止策略的数据处理流程。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。