一种基于脑机融合的空地协同多机器人系统

技术领域

本发明涉及脑机融合技术领域，特别是涉及一种基于脑机融合的空地协同多机器人系统。

背景技术

近年来，随着无人机系统以及多机器人系统的发展，无人机与机器人被越来越多地应用到多个领域，在目标勘测、救援、安全巡逻、完成特殊任务等方面都有广泛应用。无人机与机器人具有适用各种极端环境、纬度高、速度高、安全性强等优点，因此非常适合用于完成紧急救援等任务。

然而，现有的无人机系统或是机器人系统，都是面向单一操作任务的系统，即操控者在远程操控时，只能操作单个无人机系统或者单个机器人系统去完成单个任务。如果可以实现面向多任务的多个系统协同操控，这对提升救援能力将有很大帮助。在操控者进行单个无人机系统或者单个机器人系统的远程控制时，操控者四肢通常已被该系统占用，在该类情况下，再要求操控者同时控制多个操作系统，不仅操作难度高，而且容易干扰其他操作任务、影响任务完成。因此，如何发展一种不依赖四肢的辅助接口，并利用该接口帮助操控者进行面向多任务的远程操控，具有很高的研究价值。

脑机接口(BCI)是一种可以在人脑和外部设备之间建立直接联系，而不依赖外围神经和肌肉组织的信息交流系统，它可以通过采集和解析人的神经信号，直接获得人的意图。BCI可以不依赖于用户的运动执行，直接通过视觉刺激范式诱发大脑不同电位，通过解析不同的神经活动，从而传达出不同的控制命令，因此十分适合辅助操控者进行多任务操控。

因此，提供一种基于脑机融合的空地协同多机器人系统显得尤为必要。

发明内容

本发明的目的是提供一种基于脑机融合的空地协同多机器人系统，以解决现有技术中存在的技术问题，能够辅助操控者完成空地协同的多任务远程救援，同时有效降低了操控者操作的负担，提高了救援的安全性以及效率。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于脑机融合的空地协同多机器人系统，包括：脑电采集系统、命令刺激系统、脑电解析系统、命令输出及机器人群协同控制系统、无人机控制系统、多机器人系统、无人机；

所述脑电采集系统、脑电解析系统、命令输出及机器人群协同控制系统、多机器人系统依次连接；所述无人机控制系统与所述无人机连接；

所述脑电采集系统用于对操控者的脑电信号进行实时采集；

所述命令刺激系统用于对操控者进行视觉刺激；

所述脑电解析系统用于对采集到的脑电信号进行脑电解析，得到控制命令；

所述命令输出及机器人群协同控制系统用于将解析得到的控制命令传输给多机器人系统，并基于模型预测控制器MPC对机器人系统进行协同控制；

所述多机器人系统用于完成地面救援任务；

所述无人机控制系统用于通过所述操控者的肢体对所述无人机进行控制；

所述无人机用于对救援现场进行信息收集以及目标搜索。

优选地，所述命令刺激系统包括若干组刺激单元，每组刺激单元包括若干个符号，每个符号对应不同的命令，不同刺激单元中的符号均相同。

优选地，每组刺激单元包括六个符号，各符号对应的命令分别用于控制领航机器人的启/停、左转、右转、编队扩大、编队缩小以及直行。

优选地，基于模型预测控制器MPC对机器人系统进行协同控制的方法包括：

首先，通过接口模型对用户脑控命令进行量化，并将量化后的控制命令发送至领航者MPC控制器；

其次，通过所述领航者MPC控制器对量化后的控制命令进行优化，并通过优化后的控制命令对领航机器人进行控制；

再次，基于用户输出的队形命令，通过编队规划器获取各跟随机器人的控制命令，完成对跟随机器人的控制。

优选地，所述领航者MPC控制器基于用户的脑控命令以及领航机器人直流减速电机的工作极限对量化后的控制命令进行优化。

优选地，所述编队规划器基于跟随机器人之间以及跟随机器人与领航机器人之间的安全距离获取跟随机器人的理想位置和理想速度，并基于跟随机器人的理想位置与当前位置的位置差，以及理想速度与当前速度的速度差，获取跟随机器人的控制命令。

优选地，所述脑电解析系统进行脑电解析的具体方法包括：脑电信号预处理、脑电信号特征提取、脑电信号分类。

优选地，所述脑电信号预处理包括：信号截取与叠加、基线修正、带通滤波、运动伪迹滤除、眼电滤除。

优选地，运动伪迹滤除的具体方法包括：

a.从原始脑电数据中提取参考数据；

b.采用IIR滤波器对所述参考数据进行滤波处理，并基于滤波处理后的参考数据确定伪迹成分识别的阈值；

c.基于步骤b中对步骤b中IIR滤波后但未进行伪迹成分去除的脑电数据所计算出的协方差矩阵做特征值分解，基于特征值分解结果、伪迹成分识别的阈值，进行数据重构，完成伪迹成分的滤除。

优选地，所述脑电信号特征提取过程中，首先，提取脑电信号的时域特征，然后，采用互信息对所提取的时域特征进行特征选择，完成脑电信号特征提取。

本发明公开了以下技术效果：

本发明利用BCI，建立一个面向多任务操控的空地协同系统，在该系统中操控者主任务为通过双手远程操控无人机对救援现场进行信息收集和目标搜索，同时辅助任务为通过BCI完成对多机器人系统的操控，并基于MPC实现对多机器人系统的协同控制，从而展开救援任务。该系统能够辅助操控者完成空地协同的多任务远程救援，同时有效降低了操控者操作的负担，提高了救援的安全性以及效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于脑机融合的空地协同多机器人系统结构示意图；

图2为本发明实施例中命令刺激系统的显示界面示意图；

图3为本发明实施例中脑电采集设备结构示意图；

图4为本发明实施例中伪迹子空间重构算法原理图；

图5为本发明实施例中眼电伪迹滤除原理图；

图6为本发明实施例中多机器人系统中的领航机器人与跟随机器人的位置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种基于脑机融合的空地协同多机器人系统，用于进行紧急救援下的多任务操作控制，包括：脑电采集系统、命令刺激系统、脑电解析系统、命令输出及机器人群协同控制系统、无人机控制系统、多机器人系统、无人机；

所述脑电采集系统、脑电解析系统、命令输出及机器人群协同控制系统、多机器人系统依次连接；所述无人机控制系统与所述无人机连接；

所述脑电采集系统用于对操控者的脑电信号进行实时采集，并将采集到的脑电信号传输至所述脑电解析系统。本实施例中，采用脑电采集设备进行脑电信号的采集，如图3所示，根据“10-20国际标准导联”，脑电采集电极位置为Cz、C3、C4、Fz、F3、F4、CP1、Oz、O1、O1、POz、Pz、P3、P4、P7、P8，参考电极放置于CPz位置，接地电极放置于AFz位置。此外，将两个电极放置于眼睛的外眦下方用来采集眼电信号。脑电信号采样频率为1000Hz，头皮与电极间阻抗小于10KΩ。

所述命令刺激系统采用HUD(Head-Up Display，平视显示器)对操控者进行视觉刺激，诱发对应不同命令的脑电信号。所诱发的脑电信号为事件相关电位ERP(Event-RelatedPotentials，事件相关电位)。所述命令刺激系统包括若干组刺激单元，每组刺激单元包括若干个符号，每个符号对应不同的命令，不同刺激单元中的符号均相同。本实施例中，视觉刺激界面如图2所示。该刺激界面为2*6矩阵形式。矩阵每行包括大写英文字母A-F在内的六种字母，分别对应六种不同的命令。矩阵每列对应的英文字母相同。启动该刺激界面，12个字母随机闪烁，每个字母闪烁120ms，且字母闪烁间没有时间间隔，每轮字母总闪烁时间为120*12＝1440ms。当操控者注意力集中于六个大写字母中的一个时，该字母的闪烁可视为目标刺激，其余五个字母的闪烁为非目标刺激。当操控者集中注意力于目标刺激时可诱发ERP。对于每个大写字母来说，每个字母将闪烁两次(每行一次)，为了使目标刺激更容易识别，与目标刺激出现时刻相关的脑电图信号将叠加在一起。每个大写字母分别对应一种输出命令，用于控制多机器人系统，不同命令的输出可以通过选择不同字母作为目标刺激实现。

所述脑电解析系统用于对采集到的脑电信号进行脑电解析，得到操控者控制意图，即控制命令，所述控制命令用于对多机器人系统的操控；

所述脑电解析包括脑电信号预处理、脑电信号特征提取、脑电信号分类。

所述脑电信号预处理包括：信号截取与叠加、基线修正、带通滤波、运动伪迹滤除、眼电滤除，以滤除信号中包含的伪迹，提高信噪比；其中，

信号截取与叠加的方法包括：

对于每个刺激，截取512ms窗的数据用作分析，即每轮刺激截取长度为11*120+512＝1832ms。由于脑电信号本身比较微弱，为了消除随机噪声的影响，加强对目标刺激的识别，将每轮中目标字母对应的两段脑电信号叠加平均处理，同样各个非目标字母对应的两段脑电信号也做叠加平均处理。此外，为了减少计算量，本发明将信号降采样至100Hz用作后续分析。

基线修正的方法包括：

为了消除信号中零点漂移的影响，采用基线修正抑制信号中漂移的趋势。本发明中采用的基线修正滤波思想是滑动减平均值。对于每段1832ms的数据，前512ms对应的各个数据点分别减去整段数据前512ms信号的平均值，而对于513-1832ms的各个数据点，分别减去各自数据点以前512ms数据的平均值，其计算如下：

其中，m

带通滤波的方法包括：

本发明中所诱发的ERP主要集中于中低频，为了滤除噪音干扰，采用快速傅里叶变换进行带通滤波，滤波频带为0.1-15Hz。

运动伪迹滤除的方法包括：

本发明中，操控者主任务为操作无人机，其上肢及手部运动会带来运动伪迹的干扰，本发明采用伪迹子空间重构ASR以滤除运动伪迹对脑电信号的干扰。ASR能够自动识别并利用脑电信号的干净成分作为参考数据，进而确定阈值以滤除伪迹成分，最后将滤除后的成分重构为脑电数据，其算法原理图如图4所示。ASR处理包括如下三个步骤：

a.从原始数据中提取参考数据：

根据信号方差分布选取脑电数据的干净部分。具体来说，ASR在1秒窗口上计算通道上的均方根(RMS)值，基于均方根值，对每个单独通道的所有值做z-score处理，然后将z-score值在-3.5-5.5间的窗认为没有伪迹的干净窗，最后将所有干净的窗进行串联，得到参考数据X

b.基于参考数据确定伪迹成分识别的阈值

采用IIR滤波器对参考数据X

计算

基于特征向量矩阵V

计算投影数据

R

式中，R

c.滤除伪迹成分并重构得到干净数据

对步骤b中IIR滤波后但未进行伪迹成分去除的脑电数据所计算出的协方差矩阵做特征值分解：

式中，

其中，特征值分解沿着滑动窗进行，窗长为0.5秒、步长为0.25秒。这里的IIR滤波器与步骤(b)相同。

对于每个窗来说，识别第j个带有方差的PC成分是否超过从V

式中，V

如果不等式成立，那么该成分的值将被替换为零向量：

式中，X

眼电滤除的方法包括：

眨眼、眼睛移动等伪迹会对脑电信号造成干扰，本发明采用独立主成分分析ICA并计算相关系数的方法对眼电伪迹进行滤除，如图5所示，具体步骤为：

对脑电信号做ICA变换得到脑电数据的独立成分，并对眼电信号与各个独立成分的数据分别做相关分析，选择相关系数在0.7以上的独立成分认为是与眼动相关的成分并将该成分置为0；对处理后的独立成分做IC反变换回到时域，得到滤除眼电后的脑电信号。

脑电信号特征提取具体包括：

1)特征提取：

本发明中，通过视觉刺激诱发的脑电信号为事件相关电位(ERP)，该ERP是通过小概率事件刺激诱发的，具有在事件发生大概300ms后会出现正向偏移的时域特征。考虑到这一特性，本发明提取脑电信号的时域特征，即脑电信号在每个采样点的振幅作为分类特征。

2)特征选择：

为了减少信息冗余、提高计算速度，本发明采用互信息对所提取的样本特征进行特征选择。互信息是度量两个事件集合之间的相关性，用来表示两个变量之间的相互依赖程度，计算公式如下：

式中，I(X；Y)表示特征X和特征Y的互信息，p(x，y)为X和Y的联合概率分布函数，p(x)、p(y)分别为X、Y的边缘概率分布函数。

从信息增益的角度来看,信息增益越大，意味着特征X包含的有助于将Y分类的信息越多(即Y的不确定性越小)。具体来说，在利用互信息进行特征选择时，首先对脑电数据的数据集按照特征维度进行划分，即一维展开，然后利用互信息对划分后的各子数据集的特征进行排序，根据信息熵的增益选择前n个特征利用分类器进行训练，最后测试该特征子集的分类效果，选择测试效果最好的特征维度n。

脑电信号分类具体包括：

对脑电信号特征提取过程中所得到的脑电特征，采用线性判别分析(LDA)进行分类，判别该段脑电信号对应刺激为目标刺激还是非目标刺激，若为目标刺激，则输出该刺激对应的命令到命令输出及机器人群协同控制系统。LDA基本思想将数据样本的特征投影至一条直线，使两类样本最大可分，即同类样本尽量集中，非同类样本尽量分散。LDA进行分类的步骤如下：

1)样本标定

本发明中共有A-F六类刺激，每轮实验要求操控者注视其中一个字母作为目标刺激，其余字母闪烁作为非目标刺激。分别截取每个字母闪烁后512ms数据作为样本，并对同个字母对应样本叠加平均，将目标刺激所对应的样本标定为目标样本，非目标刺激所对应的样本标定为非目标样本。

2)确定投影方向

首先，计算各类样本x在投影空间的均值e

式中，m

总累内离散度为：

D

累间离散度为：

D

最优投影方向为：

3)线性判别分类

LDA线性判别的分类模型如下：

f(x)＝ω

其中，x＝[x

所述命令输出及机器人群协同控制系统用于将解析得到的控制命令传输给多机器人系统，并基于MPC(Model Predictive Controller，模型预测控制器)实现对多机器人系统的协同控制。

所述多机器人系统由一个领航机器人及多个跟随机器人组成多机器人编队，所述多机器人编队由队形控制算法控制跟随机器人以一定的距离间隔跟踪领航机器人的位置和方向。本发明中，对多机器人系统的脑电控制为辅助任务，通过脑电解析得到的控制命令(A-F，6个)分别用于控制领航机器人的启/停、左转、右转、编队扩大、编队缩小以及直行，操作者远程操控多机器人系统完成地面救援任务。多机器人系统中的领航机器人与跟随机器人的位置示意图如图6所示，图中方块L表示领航机器人，方块F

定义机器人的状态为：X＝[x y θ]

其中，x，y代表机器人在坐标系中的位置，θ为机器人在坐标系中的速度的方向。v代表机器人的线速度，ω代表机器人的角速度。在本发明中定义：领航机器人的状态为：X

由于通过脑机接口系统输出的是用户的脑控命令，而脑控命令是一个定性的命令，因此需要通过接口模型对用户的脑控命令进行量化。具体表达式为：

其中，ω

本发明中，采用模型预测控制器(Model Predictive Controller,MPC)对领航机器人进行智能控制，假定领航者MPC控制器从接口模型得到的用户脑控命令的意图为u

基于这一控制目标，领航者MPC控制器的代价函数设计如下：

其中，A

领航机器人k+1时刻的状态为：

x

y

θ

其中，Ts表示采样时间。

同时，对领航机器人进行物理约束，因为在真实实验中，移动机器人的运动是由左右两个直流减速电机所驱动，因此需要考虑电机的输入限制和保障驱动电机在安全范围内工作，约束如下：

Δu

其中，u

对于编队规划器，其能够根据用户的输出的队形命令，求解出跟随机器人的理想位置，维持机器人编队的队形。其输入是用户的编队缩放命令l

上述式子用于保证跟踪用户对于编队队形的意图。基于这一控制目标，编队规划器的代价函数设计如下：

x

y

其中，A

对于跟随者控制器，其能够让跟随机器人跟踪编队规划器规划出的理想位置，保持多机器人队形的稳定，并保证跟随机器人的安全性。其输入是跟随机器人当前位置与编队规划器输出的理想位置之间的位置差ep、领航机器人的速度差值，输出是给跟随机器人的纵横向速度命令u

u

x

y

θ

Δu

其中，代价函数输入位置差是为了跟随机器人能够较好的跟踪理想位置，输入与领航机器人的速度差是为了当跟随机器人已经在理想位置附近时，能够与领航机器人速度保持一致，以维护整体队形的稳定。通过以上式子，能够保证跟随机器人较好的跟踪给定理想位置的同时保证其安全性。

所述无人机控制系统为该协同系统中的主任务操作系统，操控者通过遥控装置对无人机进行远程操控，具体为，操控者根据远程救援任务要求，控制无人机的升/降、转向、速度转换等。

所述无人机用于对救援现场进行信息收集与目标搜索。

本发明基于脑机融合的空地协同多机器人系统的操作步骤包括：

步骤1，操控者根据救援要求远程操控无人机，对救援现场进行信息收集与目标搜索，本任务为操控者所要执行的主任务；

步骤2，将脑电信号诱发的视觉刺激通过HUD显示给操控者，通过目标刺激以及非目标刺激的闪烁诱发脑电信号，不同目标刺激可对于不同的输出命令；

步骤3，利用脑电采集系统实时采集并传输操控者脑电信号；

步骤4，对采集到的脑电信号进行预处理、特征提取与分类，解析操控者的脑电信号，判别操控者所注视刺激；

步骤5，将脑电解析结果所得到的目标刺激与输出命令相对应，并将该控制命令传输给多机器人系统，远程控制多机器人系统的移动与编队队形，完成地面救援任务，这种通过脑电控制多机器人系统的操作为操控者所要执行的辅助任务。

本发明的目的是利用BCI，建立一个面向多任务操控的空地协同系统，在该系统中操控者主任务为通过双手远程操控无人机对救援现场进行信息收集和目标搜索，同时辅助任务为通过BCI完成对多机器人系统的操控，从而展开救援任务。该系统能够辅助操控者完成空地协同的多任务远程救援，同时有效降低了操控者操作的负担，提高了救援的安全性以及效率。本发明并不限于远程操控救援，还能够应用于其他空地协同多机器人系统。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。