一种基于脑机接口与计算机视觉的辅助抓取系统及方法

技术领域

本发明涉及一种物品辅助抓取系统及其方法，特别涉及一种基于脑机接口与计算机视觉的辅助抓取系统及方法，应用于肢体障碍人群的自理辅助器具领域，还应用于医工交叉和助老助残型机器人领域。

背景技术

目前，我国残疾人总数超8500万，其中肢体残疾人数达2500万，残疾人辅助器具适配率仅为62.9％，远远无法满足残疾人日益增长的生活需求，同时也给患者家属带来了极大的护理照料成本。随着国家推进残疾人社会保障体系不断完善，残疾人辅助器具的需求不断增强。针对残疾人辅助器具需求巨大与适配率低之间的矛盾愈加严峻，普适性高、实用性强的智能化残疾人辅助器具亟待出现。

针对肢体功能障碍人群的辅助器具，有传统的轮椅、拐杖和助行器等，然而这些辅助器具都是针对残疾程度较低的人群，无法满足由脑卒中、肌萎缩侧索硬化症等疾病导致的瘫痪、半瘫痪患者的需求；还有如脑控轮椅、脑控字符拼写器和智能假肢等先进辅助器具，它们可以辅助残疾患者行走、语言表达等生活基本需求。然而如何让重度残障患者在无护理人员的帮助下自理取得日常物品，是一项极具挑战且具有重大意义的技术难题。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于SSVEP范式脑机接口与计算机视觉的辅助抓取系统及方法，能够辅助残障人士准确、方便地自理取得生活常见物品。本发明利用脑机接口和计算机视觉技术，让头戴脑电帽的患者只需注视人机交互界面中想要获得的物品，即可控制机械臂抓取到目标物。本发明通过脑机接口技术仅需利用患者的脑电信号即可实现对目标的抓取，操作简便、适用范围广。本发明可以有效地辅助肢体功能障碍患者抓取日常生活用品，降低护理照料成本，提高患者的生活质量。

为达到上述发明创造目的，本发明采用如下技术方案：

一种基于脑机接口与计算机视觉的辅助抓取系统，由SSVEP脑机接口模块和计算机视觉模块连接机械臂抓取模块构成；

所述SSVEP脑机接口模块包括人机交互界面、脑电信号采集单元和脑电信号处理与解码单元，所述人机交互界面中显示不同的目标物品，各物品块的闪烁频率不同，人机交互界面用于诱发稳态视觉诱发电位脑电信号的产生和视觉听觉反馈；脑电信号采集单元用于实时采集位于大脑枕区视觉皮层中的SSVEP脑电信号，并将信号放大后通过无线传输到脑电信号处理与解码单元；脑电信号处理与解码单元首先对脑电信号进行低频滤波，然后利用滤波器组典型相关分析(Filter Bank Canonical CorrelationAnalysis,FBCCA)算法对信号特征提取、分类识别解码患者的意图，并通过TCP/IP通信协议将解码出的目标传输到机械臂抓取模块中的中央处理单元；

所述计算机视觉模块包括数据集制作、目标检测模型搭建、目标检测模型训练与测试单元和实时目标检测单元，所述目标检测模型搭建包括对模型的设计与构建，数据集制作的所述数据集包括训练集和测试集两部分，目标检测模型训练与测试单元进行目标检测模型训练与测试时，利用数据集中的训练集对模型近似联合训练；利用测试集验证模型的有效性与准确性，实时目标检测单元进行实时目标检测时，利用深度相机获取视频流，利用目标检测模型对视频流实时识别目标的种类与位置，并通过ROS通信协议将解码出的目标传输到机械臂抓取模块中的中央处理单元；

所述机械臂抓取模块包括中央处理单元和机械臂抓取单元，所述中央处理单元接收来自SSVEP脑机接口模块解码出的抓取目标种类和计算机视觉模块识别出的目标种类及其在相机坐标系下的位姿，将目标在相机坐标系下的坐标通过转换矩阵转换为相对于机械臂底座的坐标，将坐标位姿发送到机械臂抓取单元，通过制定的机械臂抓取策略控制七自由度轻量型机械臂拟人化抓取指定目标。

作为本发明优选的技术方案，人机交互界面中布置有苹果、香蕉、杯子、橘子、可乐、红蛇果、猕猴桃、矿泉水、柠檬、牛奶、Confirm和Cancel共十二个闪烁块，闪烁块的闪烁频率分别为8Hz、10.5Hz、13Hz、9Hz、10Hz、8.5Hz、11Hz、13.5Hz、9.5Hz、12Hz、15Hz、11.5Hz，通过不同闪烁频率诱发患者大脑中出现不同的电位响应，此种频率布置方案最大化相邻闪烁块间的闪烁频率，产生更大区分度的脑电信号，识别成功后有视听觉反馈，实现人机交互体验。具有良好的人机交互体验。

作为本发明优选的技术方案，脑电采集单元使用64导联的非侵入式湿电极帽，采集位于患者枕叶区与视觉相关的9个通道：Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2的脑电信号，其中参考电极置于人耳垂，AFz位置设置接地电极；防止在采集过程中的脑电信号干扰。采集过程简便，患者佩戴后舒适，电极阻抗小可采集的脑电信号干扰小。

作为本发明优选的技术方案，脑电信号处理与解码单元对采集的原始脑电信号使用切比雪夫二阶无限脉冲响应数字滤波器进行带通滤波处理，去除了信号中的低频噪声伪迹；在预处理之后，利用滤波器组典型相关分析FBCCA算法提取脑电信号的特征向量，并分类识别出脑电信号对应的闪烁频率区块，解码出患者注视的目标物。

作为本发明优选的技术方案，数据集制作过程中包括了十类生活中常见的物品，通过将原始数据量为2000张的数据集进行数据增强处理，对原始数据进行旋转、移位和加高斯噪声操作，将数据量扩充到5000张，按照7：3的比例将数据集分为训练集与测试集，训练集用于模型的近似联合训练，训练迭代次数为80000次；测试集用于测试目标检测模型的有效性和准确性。

作为本发明优选的技术方案，在目标检测模型搭建中设计了一种基于计算机视觉的新型Faster-RCNN目标检测模型，模型设计主要基于VGG16网络框架，在生成候选网络RPN层中设计了四组尺寸大小分别为64*64、128*128、256*256、512*512，每组由三种长宽比分别为1：2、1：1、2：1的anchor候选框构成，共十二个anchor候选框，搭建的新型Faster-RCNN目标检测模型能提高模型对小目标物的泛化能力及模型的识别准确率。

作为本发明优选的技术方案，在实时目标检测单元中设置的深度相机获取的视频流中包含图像的RGB信息和深度信息，目标检测模型训练与测试单元得到的Faster-RCNN模型对图像的RGB信息进行识别，得到图像中物体的类别与检测框，图像的深度信息通过轻量型神经网络GG-CNN转换为二维平面中的抓取框，将平面抓取框映射到三维空间中，通过计算得到物体表面的抓取位姿。

作为本发明优选的技术方案，中央处理单元通过TCP/IP协议接收来自脑电信号处理与解码单元解码出的抓取目标种类，并通过ROS中topic通讯机制订阅实时目标检测单元发布的相机坐标系下目标物体位姿信息；同时将目标在相机坐标系下的坐标通过转换矩阵转换为相对于机械臂底座的坐标，利用action通讯机制建立C/S模式将抓取位姿数据传输到机械臂。

作为本发明优选的技术方案，在机械臂抓取单元中设置预抓取、抓取、放置位姿的运动路径轨迹策略，从起始位置到预抓取位姿和预抓取位姿到抓取位姿这两段路径轨迹间存在停顿现象，采用多轨迹连续运动策略，实现平滑控制机械臂运动。

一种基于脑机接口与计算机视觉的辅助抓取方法，采用本发明基于脑机接口与计算机视觉的辅助抓取系统进行操作，按照实验范式框架所设计出的实验过程，包括如下步骤：

a.初始化系统并启动SSVEP脑电信号诱发程序；

b.佩戴脑电帽的患者注视人机交互界面中想要抓取的物品；

c.根据视听觉反馈的结果确定是否执行此次抓取任务；

d.确认执行此次抓取任务则注视Confirm闪烁块，机械臂会拟人化抓取指定物品，并将物品放置到预定位置。完成后若不退出，系统将开始下一个block；

e.取消执行此次抓取任务则注视Cancel闪烁块，结束此次抓取任务；取消后若不退出，系统开始下一个block；

f.退出系统。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明能解决重度残障患者对日常生活辅助器具的需求，通过SSVEP范式脑机接口技术让患者只需要注视屏幕即可实现辅助抓取生活物品的任务，操作简单、普适性广，令其在残疾人辅助器具领域具有巨大优势；

2.本发明将64通道的湿电极非侵入式脑电设备应用在脑电采集单元，提高了系统的安全性与准确性；本发明利用切比雪夫二阶无限脉冲响应数字滤波器进对脑电信号预处理，通过FBCCA算法对脑电信号特征提取、分类识别，提高了对脑电信号解码的准确率；本发明基于计算机视觉对目标物自动识别，通过设计一种新型的基于深度学习算法的Faster-RCNN目标检测模型，可以实时地对相机场景内的物体进行种类识别与位姿确定；

3.本发明的残疾辅助器具结合了脑机接口与计算机视觉技术，可以准确地辅助重度残障人士抓取指定物品；发明的辅助抓取系统抓取准确率高、适用性广、智能化程度高且成本低，可以有效地提高残障人士的生活质量；

4.本发明方法简单易行，成本低，适合推广使用。

附图说明

图1为本发明优选实施例的基于脑机接口与计算机视觉的辅助抓取系统结构原理图。

图2为本发明优选实施例的基于脑机接口与计算机视觉的辅助抓取系统实现流程图。

图3为本发明优选实施例的人机交互界面示意图。

图4为本发明优选实施例的Faster-RCNN目标检测模型结构图。

图5为本发明优选实施例的目标检测模型中的anchor候选框结构图。

图6为本发明优选实施例的实验范式实现流程图。

图7为本发明优选实施例的系统实验操作示意图。

具体实施方式

以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：

实施例一：

在本实施例中，参见图1，一种基于脑机接口与计算机视觉的辅助抓取系统，由SSVEP脑机接口模块(一)和计算机视觉模块(二)连接机械臂抓取模块(三)构成；

所述SSVEP脑机接口模块(一)包括人机交互界面1、脑电信号采集单元2和脑电信号处理与解码单元3，所述人机交互界面1中显示不同的目标物品，各物品块的闪烁频率不同，人机交互界面1用于诱发稳态视觉诱发电位脑电信号的产生和视觉听觉反馈；脑电信号采集单元2用于实时采集位于大脑枕区视觉皮层中的SSVEP脑电信号，并将信号放大后通过无线传输到脑电信号处理与解码单元3；脑电信号处理与解码单元3首先对脑电信号进行低频滤波，然后利用FBCCA算法对信号特征提取、分类识别解码患者的意图，并通过TCP/IP通信协议将解码出的目标传输到机械臂抓取模块(三)中的中央处理单元8；

所述计算机视觉模块(二)包括数据集制作4、目标检测模型搭建5、目标检测模型训练与测试单元6和实时目标检测单元7，所述目标检测模型搭建5包括对模型的设计与构建，数据集制作4的所述数据集包括训练集和测试集两部分，目标检测模型训练与测试单元6进行目标检测模型训练与测试时，利用数据集中的训练集对模型近似联合训练；利用测试集验证模型的有效性与准确性，实时目标检测单元7进行实时目标检测时，利用深度相机获取视频流，利用目标检测模型对视频流实时识别目标的种类与位置，并通过ROS通信协议将解码出的目标传输到机械臂抓取模块(三)中的中央处理单元8；

所述机械臂抓取模块(三)包括中央处理单元8和机械臂抓取单元9，所述中央处理单元8接收来自SSVEP脑机接口模块(一)解码出的抓取目标种类和计算机视觉模块(二)识别出的目标种类及其在相机坐标系下的位姿，将目标在相机坐标系下的坐标通过转换矩阵转换为相对于机械臂底座的坐标，将坐标位姿发送到机械臂抓取单元9，通过制定的机械臂抓取策略控制七自由度轻量型机械臂拟人化抓取指定目标。

本实施例基于SSVEP范式脑机接口与计算机视觉的辅助抓取系统，能够辅助残障人士准确、方便地自理取得生活常见物品。本发明利用脑机接口和计算机视觉技术，让头戴脑电帽的患者只需注视人机交互界面中想要获得的物品，即可控制机械臂抓取到目标物。本实施例通过脑机接口技术仅需利用患者的脑电信号即可实现对目标的抓取，操作简便、适用范围广。本发明可以有效地辅助肢体功能障碍患者抓取日常生活用品，降低护理照料成本，提高患者的生活质量。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

在本实施例中，参见图1和图3，人机交互界面1中布置有苹果、香蕉、杯子、橘子、可乐、红蛇果、猕猴桃、矿泉水、柠檬、牛奶、Confirm和Cancel共十二个闪烁块，闪烁块的闪烁频率分别为8Hz、10.5Hz、13Hz、9Hz、10Hz、8.5Hz、11Hz、13.5Hz、9.5Hz、12Hz、15Hz、11.5Hz，通过不同闪烁频率诱发患者大脑中出现不同的电位响应，此种频率布置方案最大化相邻闪烁块间的闪烁频率，产生更大区分度的脑电信号，识别成功后有视听觉反馈，实现人机交互体验。在注视指定物品后脑电信号处理与解码单元3对采集的脑电信号解码，将解码出的物品通过视觉和听觉反馈给患者，以确定是否执行本次抓取任务，开发的界面具有良好的人机交互体验。

在本实施例中，参见图1和图7，脑电采集单元2使用neuracle公司的64导联的非侵入式湿电极帽，采集位于患者枕叶区与视觉相关的9个通道：Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2的脑电信号，其中参考电极置于人耳垂，AFz位置设置接地电极；防止在采集过程中的脑电信号干扰。采集过程简便，患者佩戴后舒适，电极阻抗小可采集的脑电信号干扰小。

在本实施例中，参见图1和图2，脑电信号处理与解码单元3对采集的原始脑电信号使用切比雪夫二阶无限脉冲响应数字滤波器进行带通滤波处理，去除了信号中的低频噪声伪迹；在预处理之后，利用滤波器组典型相关分析FBCCA算法提取脑电信号的特征向量，并分类识别出脑电信号对应的闪烁频率区块，解码出患者注视的目标物。

在本实施例中，参见图3，数据集制作4过程中包括了十类生活中常见的物品，通过将原始数据量为2000张的数据集进行数据增强处理，对原始数据进行旋转、移位和加高斯噪声操作，将数据量扩充到5000张，按照7：3的比例将数据集分为训练集与测试集，训练集用于模型的近似联合训练，训练迭代次数为80000次；测试集用于测试目标检测模型的有效性和准确性。

在本实施例中，参见图1、图4和图5，在目标检测模型搭建5中设计了一种基于计算机视觉的新型Faster-RCNN目标检测模型，模型设计主要基于VGG16网络框架，在生成候选网络RPN层中设计了四组尺寸大小分别为64*64、128*128、256*256、512*512，每组由三种长宽比分别为1：2、1：1、2：1的anchor候选框构成，共十二个anchor候选框，搭建的新型Faster-RCNN目标检测模型能提高模型对小目标物的泛化能力及模型的识别准确率。

在本实施例中，参见图1，在实时目标检测单元7中设置的深度相机获取的视频流中包含图像的RGB信息和深度信息，目标检测模型训练与测试单元6得到的Faster-RCNN模型对图像的RGB信息进行识别，得到图像中物体的类别与检测框，图像的深度信息通过轻量型神经网络GG-CNN转换为二维平面中的抓取框，将平面抓取框映射到三维空间中，通过计算得到物体表面的抓取位姿。

在本实施例中，参见图1和图2，中央处理单元8通过TCP/IP协议接收来自脑电信号处理与解码单元3解码出的抓取目标种类，并通过ROS中topic通讯机制订阅实时目标检测单元7发布的相机坐标系下目标物体位姿信息；同时将目标在相机坐标系下的坐标通过转换矩阵转换为相对于机械臂底座的坐标，利用action通讯机制建立C/S模式将抓取位姿数据传输到机械臂。

在本实施例中，参见图1和图7，在机械臂抓取单元9中设置预抓取、抓取、放置位姿的运动路径轨迹策略，机械臂抓取单元9采用Kinova的7自由度轻量型机械臂作为执行器抓取物品，从起始位置到预抓取位姿和预抓取位姿到抓取位姿这两段路径轨迹间存在停顿现象。

为了实现平滑控制采用多轨迹连续运动策略，多轨迹连续运动实现步骤为：

(1)分别规划从起始位置到预抓取位姿的轨迹1和预抓取位姿到抓取位姿轨迹2；

(2)创建一个新的轨迹对象；

(3)将轨迹1和轨迹2都push到新的轨迹对象；

(4)利用IPTP时间最优化算法重定义新轨迹对象的位置、速度、加速度和时间运动参数；

(5)最后执行新的轨迹对象实现多轨迹连续运动,控制机械臂拟人化抓取指定目标物。

本实施例能解决重度残障患者对日常生活辅助器具的需求，通过SSVEP范式脑机接口技术让患者只需要注视屏幕即可实现辅助抓取生活物品的任务，操作简单、普适性广，令其在残疾人辅助器具领域具有巨大优势。本实施例将湿电极非侵入式脑电设备应用在脑电采集单元，提高了系统的安全性与准确性；本实施例利用切比雪夫二阶无限脉冲响应数字滤波器进对脑电信号预处理，通过FBCCA算法对脑电信号特征提取、分类识别，提高了对脑电信号解码的准确率；本实施例基于计算机视觉对目标物自动识别，通过设计一种新型的基于深度学习算法的Faster-RCNN目标检测模型，可以实时地对相机场景内的物体进行种类识别与位姿确定。本实施例的残疾辅助器具结合了脑机接口与计算机视觉技术，可以准确地辅助重度残障人士抓取指定物品；发明的辅助抓取系统抓取准确率高、适用性广、智能化程度高且成本低，可以有效地提高残障人士的生活质量。

实施例三：

本实施例与上述实施例基本相同，特别之处在于：

在本实施例中，参见图1和图2，脑电信号处理与解码单元3中对采集的SSVEP脑电信号放大，再通过路由器无线传输到计算机，使用切比雪夫二阶无限脉冲响应数字滤波器进行带通滤波处理，去除了信号中可能存在的EOG、EMG等低频噪声伪迹；信号预处理后利用FBCCA算法提取脑电信号的特征向量，首先构造N个子带通滤波器，使用多子带滤波器组对多通道EEG信号分别滤波，获得N个子带滤波结果X

最后，根据得到的最大典型性相关系数求得最大相关系数ρ

其中，ρ(x，y)表示变量x与y间的典型相关性系数，y

对不同频率的参考信号进行上述处理，即可提取到不同EEG信号的特征,求解出与患者注视相对应的闪烁频率块，解码出患者注视的目标物。

实施例四：

本实施例与上述实施例基本相同，特别之处在于：

在本实施例中，一种基于脑机接口与计算机视觉的辅助抓取系统及方法，采用上述相同进行操作，按照实验范式框架所设计出的实验过程，包括如下步骤：

1.初始化系统并启动SSVEP脑电信号诱发程序；

2.佩戴脑电帽的患者注视人机交互界面中想要抓取的物品；

3.根据视听觉反馈的结果确定是否执行此次抓取任务；

4.确认执行此次抓取任务则注视Confirm闪烁块，机械臂会拟人化抓取指定物品，并将物品放置到预定位置。完成后若不退出，系统将开始下一个block；

5.取消执行此次抓取任务则注视Cancel闪烁块，结束此次抓取任务。取消后若不退出，系统开始下一个block；

6.退出系统。

上述实施例基于脑机接口与计算机视觉的辅助抓取系统。由SSVEP脑机接口模块(一)、计算机视觉模块(二)、机械臂抓取模块(三)三大模块组成。其中SSVEP脑机接口模块(一)包括人机交互界面1、脑电信号采集单元2和脑电信号处理与解码单元3。人机交互界面用于诱发SSVEP脑电信号的产生和视觉听觉反馈；脑电信号采集单元用于采集大脑的SSVEP脑电信号；脑电信号处理与解码单元3首先对脑电信号进行预处理，然后利用FBCCA算法对信号分类识别解码患者的意图。计算机视觉模块(二)包括数据集制作4、目标检测模型搭建5、目标检测模型训练与测试单元6和实时目标检测单元7。目标检测模型搭建包括对模型的设计与构建，数据集包括训练集和测试集，目标检测模型训练与测试单元利用训练集对模型近似联合训练；利用测试集验证模型的准确性，实时目标检测单元利用目标检测模型实时识别相机场景中的目标种类与位置。机械臂抓取模块(三)包括中央处理单元8和机械臂抓取单元9。中央处理单元接收来自SSVEP范式脑机接口模块(一)解码出的抓取目标种类和计算机视觉模块(二)识别出的目标种类及其在相机坐标系下的位姿，将目标在相机坐标系下的坐标通过转换矩阵转换为相对于机械臂底座的坐标，将坐标位姿发送到机械臂，控制其拟人化抓取指定目标。通过该系统辅助肢体功能障碍患者抓取日常生活用品，降低护理照料成本，提高患者的生活质量。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。