多模态异步BCI与视觉融合的机器人协同控制方法及系统

技术领域

本发明涉及依靠脑电信号的智能机器人技术领域，特别涉及一种多模态异步BCI与视觉融合的机器人协同控制方法及系统。

背景技术

患有严重神经肌肉疾病或运动系统功能性损伤的人群，比如肌萎缩性脊髓侧索硬化症(amyotrophic lateral sclerosis,ALS)、脑干中风和脊髓损伤(spinal cordinjury,SCI)患者，通常无法自由操作上肢完成日常活动(例如，伸手抓取物体)。然而，通过建立与功能相关的神经连接，其中大多数人仍保留独自运用大脑与外部设备进行交互的能力。而机器人作为神经义肢设备，可帮助人们更高效处理与环境互动的相关事务。尽管如此，对于这些严重瘫痪的病人来说，如何协调好脑控机械臂的高自由度(degrees offreedom,DOFs)以实现拟人化的运动控制仍然是一个重大挑战。

目前基于脑电信号的用于机械臂运动控制的脑机接口主要使用运动想象、P300以及SSVEP等脑电模式，其中运动想象属于主动型的模式，但是能够提供的控制指令数量有限(通常为2个)，因此主要用于机械臂一维方向的运动控制。P300和SSVEP能够提供丰富的控制指令，但是它们的响应时间比较长，而且不容易实现异步控制。而多模态的策略，如将脑电信号与眼电信号(electrooculography,EOG)相结合不仅可以提供足够的三维方向的运动指令，而且也能搞实现高效的异步控制。

目前非侵入式的机器人脑机接口控制系统具有如下缺点：第一，不能快速准确地识别用户的控制意图和有效区分用户是否处于控制状态或休闲状态；第二，难以实现机器人在三维方向的运动控制；第三，难以操控机器人完成复杂的日常活动(抓取水杯并喝水)等动作的运动控制。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种控制方式灵活方便的可实现三维运动控制的多模态异步BCI与视觉融合的机器人协同控制方法及系统。

本发明解决其技术问题是通过以下技术方案实现的：

一种多模态异步BCI与计算机视觉融合的机器人协同控制方法，其包括步骤：

获取脑电信号与眼电信号；

根据所述脑电信号与眼电信号生成脑控指令，所述脑控指令用于指示机器人模块根据目标物体的位姿信息完成指定动作。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制方法，进一步地，所述脑电信号与眼电信号的生成方法，具体包括步骤：

脑机接口模块将刺激界面投射到计算机显示屏上，刺激界面包括控制按键和相对应的脑电的刺激频率以及眼电的眨眼提示；频率刺激采用联合频率相位编码的形式调制，眨眼提示通过瞬间缩小按键的尺寸来实现；

使用者集中注意力感受目标控制按键的频率刺激并在眨眼提示出现时同步完成眨眼动作，进而诱发脑电信号与眼电信号。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制方法，进一步地，根据所述脑电信号与眼电信号生成脑控指令，具体包括步骤：

所诱发的脑电信号与眼电信号被数据获取单元所采集，并通过数据分析单元进行特征提取，然后通过决策输出单元解码使用者的控制意图，最后将使用者的意图与机器臂的执行动作一一映射起来，进而生成脑控指令完成对机械臂的运动控制。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制方法，进一步地，机器人模块根据目标物体的位姿信息完成指定动作，具体包括步骤：

机器人模块的机械臂根据使用者的指令选择步进运动模式或连续运动模式，并在BCI引导的控制下向三维空间的目标物体运动，机器视觉模块在机械臂上的摄像头识别到目标物体时将其位姿信息反馈给机器人模块并给使用者提供视觉反馈；

机器人模块在使用者选择其中的目标物体并发出特定抓取任务的控制命令后，在机器视觉模块的引导控制下抓取目标物体并完成特定的抓取任务并自动将物体放回原处。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制方法，进一步地，根据所述脑电信号与眼电信号生成脑控指令，具体包括步骤：

脑机接口模块对采集到的脑电信号及眼电信号进行预处理操作；

脑机接口模块对经过预处理操作的脑电信号采用滤波器组典型相关分析进行特征提取，采用以下加权相关系数p

式中，n是子带的指数，N是子带总数，p

w(n)＝n

式中，a和b是最大化分类性能的常数，参考信号的频率与最大加权相关系数p

脑机接口模块对眼电信号采用波形检测的方法进行特征提取；

脑机接口模块在决策输出单元采用以下三个准则对脑电信号及眼电信号的候选结果进行判断：

准则I:

准则II:pk的最大值>脑电信号的预设阈值δ1。

准则III:pk的最大值与次大值的比值>脑电信号的预设阈值δ2；

采用三维矢量合成策略建立脑机接口模块的脑控指令与机器人模块的机械臂三维运动之间的联系，其中，为了操控在机械臂三维空间的运动，使用者使用脑机接口模块首先确定机器臂在垂直方向的运动趋势，然后在水平面的八个运动中选择一个，进而，在三维空间中的指令的运动方向

其中，

一种多模态异步BCI与计算机视觉融合的机器人协同控制系统，其包括：

机器人模块，

脑机接口模块，其与所述机器人模块通过UDP协议进行通讯；

机器视觉模块，其通过二维码识别方式提取目标物体的位姿信息；

其中，所述脑机接口模块通过对稳态视觉诱发电位与眼电的多模态信号进行分析、特征提取以及综合决策并生成计算机可识别的脑控指令，所述机器人模块根据该脑控指令驱使所述机器人模块的多关节机器人完成指定动作。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制系统，进一步地，所述脑机接口模块采用多模态异步脑机接口模块，该模块包括对脑电信号与眼电信号的视觉刺激单元、数据获取单元、数据分析单元与决策输出单元。视觉刺激单元通过刺激界面为脑电信号提供视觉刺激并未眼电信号提供眨眼提示，数据获取单元通过电极帽与使用者大脑皮层连接用于采集脑电信号与眼电信号，数据分析单元对数据获取单元采集的脑电信号与眼电信号分别进行信号处理并产生候选目标，决策输出单元对脑电信号与眼电信号的候选目标进行综合评估并形成控制指令。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制系统，进一步地，所述多模态异步脑机接口模块的视觉刺激界面包括15个命令，呈现3×5排列，对应的刺激频率分别为7.2、7.6、8.0、8.4、8.8、9.2、9.6、10.0、10.4、10.8、11.2、11.6、12.0、12.4、12.8Hz。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制系统，进一步地，所述多模态异步脑机接口模块采用电极为24个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ，脑电采样率为250Hz，并进行在线50Hz工频陷波处理。

如上所述的多模态异步BCI与计算机视觉融合的机器人协同控制系统，进一步地，所述机器视觉模块采用安装在机械臂末端的深度相机对目标物体进行拍照，通过识别目标物体上的二维码获取物体的位姿信息，并将其映射到机器人坐标系以实现对目标物体的定位功能；所述机器人模块采用多自由度关节型机械臂作为被试发出脑控指令的执行器，所述机器人模块运行在机器人操作系统的平台上；所述机器人模块的机械臂运动有BCI引导的控制与机器视觉引导的控制两种实现方式，在BCI引导的控制下，机械臂接收到使用者的控制意图后以步进运动或连续运动的模式在三维空间向目标物体移动，其步进运动或连续运动模式由使用者选择；在机器视觉引导的控制下，机械臂接收到机器视觉模块返回的目标物体的位姿信息后移动至目标物体附近进行抓取并完成指定抓取动作。

本发明与现有技术相比，其有益效果在于：本发明公开了一种多模态异步BCI与计算机视觉融合的机器人协同控制方法及系统，该系统的一个关键挑战是使用非侵入式BCI控制机械臂在三维(3D)环境中运动并完成复杂的日常任务。用户使用该系统可实现对15个脑控指令的输出控制，且每个指令对应不同的3D空间中的机械臂动作。这种BCI引导的机器人控制使用户可在脑控状态下自由移动机械臂，使其能在大范围内向目标靠近。此外，计算机视觉模块则实现在BCI引导控制后对目标进行精准识别，并协助机械臂完成更精细的抓取任务。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统框架示意图；

图2为本发明实施例的系统图形界面示意图；

图3为本发明实施例的脑控指令与机械臂在三维空间运动方向的对应关系示意图；

图4为本发明实施例的脑电信号与眼电信号的数据处理流程示意图；

图5为本发明实施例的机械臂共享运动控制流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例：

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，一种多模态异步BCI与计算机视觉融合的机器人协同控制系统，包括脑机接口模块、机器视觉模块和机器人模块；所述脑机接口模块与机器人模块通过UDP协议进行通讯，传输脑电控制指令；所述机器视觉模块通过二维码识别方式提取目标物体的位姿信息；所述脑机接口模块通过对稳态视觉诱发电位(steady state visual evokedpotentials,SSVEP)与眼电(electrooculography,EOG)的多模态信号进行分析、特征提取以及综合决策并生成计算机可识别的脑控指令；所述机器人模块根据脑控指令驱使多关节机器人在运动行程范围内向三维空间中坐标位置的物体运动，并根据机器视觉模块提供的目标位置信息实现自主抓取动作。

所述脑机接口模块采用多模态异步脑机接口模块，该模块包括对脑电信号与眼电信号的视觉刺激单元、数据获取单元、数据分析单元与决策输出单元。视觉刺激单元通过刺激界面(如图2所示)为脑电信号提供视觉刺激并未眼电信号提供眨眼提示，数据获取单元通过电极帽与使用者大脑皮层连接用于采集脑电信号与眼电信号，数据分析单元对数据获取单元采集的脑电信号与眼电信号分别进行信号处理并产生候选目标，决策输出单元对脑电信号与眼电信号的候选目标进行综合评估并形成控制指令。

所述多模态异步脑机接口模块的视觉刺激界面包括15个命令，呈现3×5排列，对应的刺激频率分别为7.2、7.6、8.0、8.4、8.8、9.2、9.6、10.0、10.4、10.8、11.2、11.6、12.0、12.4、12.8Hz。

在本实施例中，计算机主机采用惠普ProDesk 480G4 MT(i5-75008G 1T)计算机屏幕采用华硕27英寸、分辨率1920×1080及刷新率120Hz的液晶显示器。所述多模态异步脑机接口模块采用Nueroscan公司的Synamps2脑电放大器，采用电极为24个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ，脑电采样率为250Hz，并进行在线50Hz工频陷波处理。

在本实例中，机器视觉模块采用安装在机械臂末端的深度相机，型号为RealsenseD435，通过对目标物体进行拍照并识别物体上的二维码获取物体的位姿信息，最终将其映射到机器人坐标系以实现对目标物体的定位功能。

在本实例中，机器人模块采用多自由度关节型机械臂作为被试发出脑控指令的执行器，型号为Kinova Gen3，末端配备2指，机械臂的移动空间是长度为0.5m的立方体，且手指固定在末端执行器的笛卡尔坐标系中。机器人模块运行在机器人操作系统(robotoperating system,ROS)的平台上。

所述机器人模块的机械臂运动有BCI引导的控制与机器视觉引导的控制两种实现方式。在BCI引导的控制下，机械臂接收到使用者的控制意图后以步进运动或连续运动的模式在三维空间向目标物体移动，其步进运动或连续运动模式由使用者选择；在机器视觉引导的控制下，机械臂接收到机器视觉模块返回的物体位姿信息后移动至目标物体附近进行抓取并将其返回至受试者嘴边完成喝水动作。

一种多模态异步BCI与计算机视觉融合的机器人协同控制系统的实现方法，包括以下步骤：

步骤1、将脑机接口模块、机器视觉模块与机械臂模块连接在一起形成机器人的协同控制系统；

步骤2、脑机接口模块将刺激界面投射到计算机显示屏上，刺激界面包括控制按键和相对应的脑电的刺激频率以及眼电的眨眼提示；频率刺激采用联合频率相位编码的形式调制，眨眼提示通过瞬间缩小按键的尺寸来实现。

步骤3、使用者集中注意力感受目标控制按键的频率刺激并在眨眼提示出现时同步完成眨眼动作。如图4所示，所诱发的脑电信号与眼电信号被数据获取单元所采集，并通过数据分析单元进行特征提取，然后通过决策输出单元解码使用者的控制意图，最后将使用者的意图与机器臂的执行动作一一映射起来，进而完成对机械臂的运动控制。

步骤4、机器人模块的机械臂根据使用者的指令选择步进运动模式或连续运动模式并在BCI引导的控制下向三维空间的目标物体运动，机器视觉模块在机械臂上的摄像头识别到目标物体时将其位姿信息反馈给机器人模块并给使用者提供视觉反馈。

步骤5、机器人模块在使用者选择其中的目标水杯并发出抓取喝水的控制命令后，在机器视觉引导的控制下抓取目标水杯并将其递送至使用者嘴边完成喝水动作并自动将物体放回原处。

步骤6、返回步骤4并重复执行，对下一个目标进行由BCI引导的三维运动以及由机器视觉引导的抓取喝水动作。

所述步骤3的具体处理过程如下：

(1)脑机接口模块对采集到的脑电(SSVEP)信号及眼电(EOG)信号进行预处理。包括分割及去基线漂移、在线50Hz陷波去工频处理及对每个刺激频率进行不同子带的带通参数组滤波；

(2)脑机接口模块对SSVEP信号采用滤波器组典型相关分析(filter bankcanonical correlation analysis,FBCCA)进行特征提取，采用采用以下加权相关系数p

其中n是子带的指数，N是子带总数，p

w(n)＝n

其中a和b是最大化分类性能的常数。参考信号的频率与最大加权相关系数p

(3)脑机接口模块对EOG信号采用波形检测的方法进行特征提取。

(4)脑机接口模块在决策输出单元采用以下三个准则对SSVEP与EOG的候选结果进行判断。

准则I:

准则II:pk的最大值>SSVEP的预设阈值δ1。

准则III:pk的最大值与次大值的比值>SSVEP的预设阈值δ2。

准则I的采用由受试者对稳态视觉诱发电位(SSVEP)的相应决定。如果其在离线SSVEP训练中取得低于平均水平的准确率(即92％)，则采用以上三个准则进行决策分析。即如果同时满足准则I、II和III，则[r1,r2,...,rm]中拥有最大pk值对应的候选字符为目标字符，否则不输出结果。反之，如果以上准确率高于92％，则采用准则II和III进行决策分析。即如果满足准则II和III，则输出所有候选字符中拥有最大pk值的作为目标字符，否则不输出结果。

(5)采用一种三维矢量合成的策略建立脑机接口模块的控制指令与机器人模块的机械臂三维运动之间的联系。如图2所示，第一列中的三个按键(标记为”1”、”6”和”11”)分别表示机械臂末端执行器在垂直方向上的向上、向下和居中运动(分别缩写为”U”、”M”和”D”)。另外八个带有不同箭头的按键(标记为”2”、”3”、”4”、”7”、”9”、”12”、”13”、”14”)允许机器人沿水平面向八个对应的方向移动(即”左前”、”前”、”右前”、”左”、”右”、”左后”、”后”和”右后”，对应的控制代码分别缩写为”LF”、”F”、”RF”、”L”、”R”、”LB”、”B”、”RB”)。为了操控在机械臂三维空间的运动，受试者使用脑机接口模块首先确定机器臂在垂直方向的运动趋势，然后在水平面的八个运动中选择一个。进而，在三维空间中的指令的运动方向

其中，

所述步骤4的具体处理过程如下：

(1)如图5所示，通过BCI引导控制和视觉引导控制实现在ROS系统下对于机械臂复杂操作任务的共享控制。其中，ROS框架中机械臂子系统的控制体系结构由多个组件和模块组成，它们共同工作以实现机器人的控制和交互。控制系统初始化阶段涉及使用URDF(统一机器人描述格式)文件来定义机器人的物理结构和准确的运动学，用于机器人描述。随后，使用MoveIt！配置模块生成了SRDF(指定机器人描述文件)文件，该文件提供了高级信息，如组、关节限制和允许碰撞，从而实现了MoveIt！包的定制。该包集成多种运动学求解器(例如，在本发明中应用了Kinematics and Dynamics Library(KDL))，允许前向和逆向运动学计算，以及用于生成轨迹的规划接口。用于运动学计算的目标位置可以通过BCI检测生成或者通过视觉识别生成，前者用于BCI引导控制，后者用于视觉引导控制。这些计划的轨迹随后由在笛卡尔空间或关节空间中命令机械臂关节位置或速度的方式执行。此外，生成的轨迹在RViz中可视化，提供实时监控和调试功能。

(2)视觉引导控制组件采用ArUco检测库来识别相机视频中带有QR码的追踪标记，从而实现对感兴趣物体的精确定位。随后，将这些标记的姿态从相机坐标系转换到机器人基坐标系，使其能够集成到MoveIt！运动规划管道中。采用ROS节点订阅与每个目标对象相关的ArUco标记。此外，识别出的物体在RViz中进行可视化，为实验对象提供实时反馈。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。