一种基于脑电信号的残疾人辅助智能驾驶系统和方法

技术领域

本发明涉及残疾人自主驾驶领域，尤其是涉及一种基于脑电信号的残疾人辅助智能驾驶系统和方法。

背景技术

残疾人是社会生活的弱势群体，由于身体原因，他们的生活面临着各种各样的困难和问题。汽车已经成为人们现代生活中不可或缺的交通工具，随着经济与科学技术的发展，残疾人驾车的条件也在逐渐放宽，目前根据国家规定，残疾人申请驾驶证需要达到一定的要求，根据身体残疾的部位不同可以申请相应的驾照，大大提高了这一社会弱势群体的生活和工作效率。但是，无论是肢体哪个部位有残疾，在驾驶方面都有一定的困难和局限性，而对于肢体残疾较为严重的人，目前还不可以申请驾驶证，不能实现自主驾驶。

就目前来说，符合驾驶要求的残疾人在进行驾车时需要使用残疾人专用汽车，残疾人专用汽车的生产和销售在我国还没有实现，目前主要依靠对汽车添加辅助装置器械来帮助残疾群体完成手动驾驶，比如在汽车方向盘下部的塑料外壳处安装固定支撑，还有的是在驾驶室右方安装手动杆辅助驾驶，但是这样会占用驾驶室的空间给驾驶员造成不便，另外很多辅助驾驶器械的安装容易造成油门和刹车的混淆，而且这几种辅助设备对原汽车形态的装置破坏很大，破坏了汽车原有的布局，总体科学性不大，不适用多种车型和不同残疾类型的驾驶员，同时对驾驶员操作驾驶也存在一定的安全隐患。

综上所述，现有技术存在以下缺点：①添加装置对原汽车形态装置破坏很大，总体改造也不科学，存在驾驶风险；②辅助驾驶器械的安装会占用驾驶室空间，给驾驶员造成不便；③对于身体有重大残疾的群体，即使使用辅助驾驶装置器械，依然不能实现自主驾驶；④多处汽车操作辅助手动杆均放在手部，容易造成混淆，存在驾车安全隐患。⑤要根据驾驶员残疾情况私人定制辅助驾驶装置，设备不具有统一适用性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种具有广泛的适用性的基于脑电信号的残疾人辅助智能驾驶系统和方法，使不同残疾程度的人群都可以实现自主驾驶，不需要针对残疾部位的不同制定特定的驾驶装置器械，不同身体部位残疾的病人可以使用同一套脑电辅助驾驶系统，节省资源，提高残疾人的生活质量和工作效率。

本发明的目的可以通过以下技术方案来实现：

一种基于脑电信号的残疾人辅助智能驾驶系统，包括脑电信息采集帽、信号处理模块和车辆控制模块，所述的信号处理模块分别与脑电信息采集帽和车辆控制模块无线通信连接，所述的脑电信息采集帽佩戴于残疾人驾驶员头上，用于获取残疾人驾驶员的运动想象脑电信号，所述的车辆控制模块与车辆通信连接，用于驱动车辆运行；

所述的脑电信息采集帽采集残疾人驾驶员六个通道的运动想象脑电信号，并通过信号放大后发送至信号处理模块，所述的信号处理模块利用至少两种卷积神经网络对运动想象脑电信号进行解码处理，输出脑电解码信号并发送至车辆控制模块，所述的车辆控制模块将脑电解码信号与驾驶车辆运行指令进行接口对接，驱动车辆运行实现辅助智能驾驶。

进一步地，所述的脑电信息采集帽包括由多根弧形金属条装配而成的支撑架以及分别设置于支撑壳上的通道电极、信号放大器和开关，所述的通道电极设置六个，分别用于获取六个通道的运动想象脑电信号，所述的信号放大器分别与通道电极和信号处理模块连接，用于放大通道电极采集的运动想象脑电信号并发送至信号处理模块。

进一步地，所述的支撑架佩戴于头顶时，六个通道电极分别对应国际10-20系统中OZ、O、O、C、Cz和C六个位点，分别采集该六个位点的脑电信号。

更进一步地，所述的脑电信息采集帽还包括信号灯，所述的信号灯设置于支撑架上，且与通道电极相互连接，用于指示通道电极是否成功采集到运动想象脑电信号。

更进一步地，所述的支撑架包括第一金属条、第二金属条和第三金属条，所述的第一金属条和第二金属条相互平行设置，所述的第三金属条分别与第一金属条和第二金属条的中点连接，形成“土”字形结构，且与头顶形状对配的框架；

所述的通道电极三个为一组，分别设置于第一金属条和第二金属条上，所述的信号放大器设置于第三金属条上，位于第一金属条和第二金属条之间，所述的开关设置于第二金属条的一端。

更进一步地，所述的第一金属条上的三个通道电极中，一个设置于第一金属条的中央，另外两个对称设置于该通道电极的两侧；所述的第二金属条上的三个通道电极中，一个设置于第二金属条的中央，另外两个对称设置于该通道电极的两侧，所述的通道电极为干电极。

进一步地，所述的信号处理模块分别与脑电信息采集帽和车辆控制模块通过蓝牙通信连接。

进一步地，所述的信号处理模块包括蓝牙模块和处理模块，所述的处理模块用于对脑电信息采集帽发送的放大信号进行预处理和解码处理，并向车辆控制模块输出脑电解码信号；所述的车辆控制模块将脑电解码信号与驾驶车辆运行指令进行接口对接，并将脑电解码信号与驾驶车辆运行指令之间形成一一映射关系，实时将脑电解码信号转化为车辆运行指令，实现辅助智能驾驶。

更进一步地，所述的预处理包括去除伪影、共平均参考、校准和带通滤波，所述的解码处理包括长短期记忆神经网络、脉冲神经网络和EEGNet神经网络。

一种如所述的基于脑电信号的残疾人辅助智能驾驶系统的工作方法，包括以下步骤：

S1：将脑电信息采集帽佩戴于残疾人驾驶员头上；

S2：脑电信息采集帽获取残疾人驾驶员的六个通道的运动想象脑电信号，并发送至信号处理模块；

S3：信号处理模块对接收到的运动想象脑电信号依次进行预处理操作；

S4：将预处理完成的运动想象脑电信号分别输入至少两种卷积神经网络进行分类解码；

S5：比较不同卷积神经网络分类解码的结果是否一致，若是，则执行步骤S6，否者返回执行步骤S2；

S6：将分类解码的结果发送至车辆控制模块；

S7：车辆控制模块根据收到的分类解码的结果，与驾驶车辆运行指令匹配，得到对应车辆运行指令；

S8：根据车辆运行指令对驾驶车辆进行相应的操作，实现辅助智能驾驶。

与现有技术相比，本发明具有以下优点：

1)本发明通过设置脑电信息采集帽，可以对驾驶车辆过程中的运动想象脑电信号进行解码，实现各种残疾人利用脑电信号进行智能驾驶，大大的提高了残疾人尤其是重度残疾群体的生活质量和水平；

2)本发明将解码后的脑电信号和驾驶操作指令进行了一一映射，并通过接口信息传输进行操作，并没有对汽车原始设计进行设备器械的添加和改动，大大降低了不合理改造带来的安全隐患；

3)本发明与添加手柄等辅助驾驶的设备相比，更具有适用性和统一性，即使身体残疾部位不同，也不需要进行针对性的脑电信号处理，该系统适用性较强；

4)本发明中的脑电信号解码使用两种不同的神经网络，解码后的信号具有较高的准确率和较强的可靠性，使得到的驾驶指令的安全和可靠性系数更加稳妥；

5)本发明可广泛辅助各类残疾人进行智能驾驶，推广使用后能大大的提高残疾人群的生活水平和效率，具有良好的经济效益和社会效应。

附图说明

图1为本发明系统的结构示意图；

图2为本发明脑电信息采集帽的结构示意图；

图3为信号处理模块进行信号处理和解码的流程示意图；

图4为实施例中第一种驾驶动作的速度控制方法流程图；

图5为实施例中第二种驾驶动作的速度控制方法流程图。

1、脑电信息采集帽，11、支撑架，111、第一金属条，112、第二金属条，113、第三金属条，12、通道电极，13、信号放大器，14、开关，15、信号灯，2、信号处理模块，3、车辆控制模块。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明公开了一种基于脑电信号的残疾人辅助智能驾驶系统和方法，使用脑电信号进行机械控制是脑机接口技术之一，对运动想象脑电信号进行解码可以实现肢体残疾人群利用脑电信号控制机械臂，协助残疾人完成一定范围的动作。利用脑电信号协助残疾人进行智能驾驶不需要添加汽车辅助装置器械，同时还可以兼顾不同程度残疾的患者，无论是何种身体残疾，都可以共用一套脑电协助驾驶设备，不需要根据残疾患者的情况进行私人定制，具有很好的使用性，很好的提高了残疾患者的生活质量和水平。

如图1所示，该系统包括脑电信息采集帽1、信号处理模块2和车辆控制模块3，信号处理模块2分别与脑电信息采集帽1和车辆控制模块3无线通信连接，脑电信息采集帽1佩戴于残疾人驾驶员头上，用于获取残疾人驾驶员的运动想象脑电信号，车辆控制模块3与车辆通信连接，用于驱动车辆运行，本实施例中，信号处理模块2分别与脑电信息采集帽1和车辆控制模块3通过蓝牙通信连接。

如图2所示，脑电信息采集帽1包括由多根弧形金属条装配而成的支撑架11以及分别设置于支撑壳上的通道电极12、信号放大器13和开关14，本实施例中，脑电信息采集帽1还包括信号灯15。

支撑架11包括第一金属条111、第二金属条112和第三金属条113，第一金属条111和第二金属条112相互平行设置，第三金属条113分别与第一金属条111和第二金属条112的中点连接，形成“土”字形结构，且与头顶形状对配的框架。

通道电极12设置六个，分别用于获取六个通道的运动想象脑电信号，支撑架11佩戴于头顶时，六个通道电极12分别对应国际10-20系统中OZ、O1、O2、C3、Cz和C4六个位点，分别采集该六个位点的脑电信号。具体地，通道电极12三个为一组，分别设置于第一金属条111和第二金属条112上，第一金属条111上的三个通道电极12中，一个设置于第一金属条111的中央，另外两个对称设置于该通道电极12的两侧；第二金属条112上的三个通道电极12中，一个设置于第二金属条112的中央，另外两个对称设置于该通道电极12的两侧，通道电极12为干电极。

信号放大器13分别与通道电极12和信号处理模块2连接，用于放大通道电极12采集的运动想象脑电信号并发送至信号处理模块2，具体地，信号放大器13设置于第三金属条113上，位于第一金属条111和第二金属条112之间，开关14设置于第二金属条112的一端。

信号灯15设置于支撑架11上，且与通道电极12相互连接，用于指示通道电极12是否成功采集到运动想象脑电信号，具体地，信号灯15共两个，分别设置于第一金属条111的两端。

本实施例中，支撑架11的为金属材质，可进行松紧调节适应，方便用户在佩戴时适应不同大小的头型，使采集信号的通道与驾驶员头部通道紧密对应，不发生错位，与头部接触一侧设置防水织物，与驾驶员头部紧密接触，长时间佩戴舒服不勒头，在脑电信息采集帽1有六个通道电极12用来采集大脑运动想象的脑电信号，基于国际10-20系统，分别选择OZ、O1、O2、C3、Cz、C4六个通道的脑电信号，通道电极12的类型均为干电极。

第二金属条112左侧设有开关按钮，第一金属条111两侧带有信号灯15，当佩戴正确并能采集到脑电信号时，信号灯15亮，反之，信号灯15不停闪烁。

在第三金属条113下面有无线信号放大器13，对采集的信号进行放大，黄色按钮为开关14，当开关14打开且无线连接正常时，黄色开关14为黄色灯亮，连接出现问题时黄色开关14按钮闪烁，无线连接方式为蓝牙连接，内部设有信号放大、数模转换和蓝牙模块，通过蓝牙将脑电数据传送到信号处理及解码模块。

信号处理模块2包括蓝牙模块和处理模块，处理模块用于对脑电信息采集帽1发送的放大信号进行预处理和解码处理，并向车辆控制模块3输出脑电解码信号；车辆控制模块3将脑电解码信号与驾驶车辆运行指令进行接口对接，并将脑电解码信号与驾驶车辆运行指令之间形成一一映射关系，实时将脑电解码信号转化为车辆运行指令，实现辅助智能驾驶，其中，预处理包括去除伪影、共平均参考、校准和带通滤波，解码处理采用至少两种不同的卷积神经网络，通过对比两种卷积神经网络分类结果的不同，来判断解码是否准确，卷积神经网络可以采用长短期记忆神经网络、脉冲神经网络、EEGNet等现有的卷积神经网络，通过对每个驾驶员的运动想象脑电信号进行采集并分类训练得到。

本发明的工作原理为：

脑电采集帽1为残疾人驾驶员佩戴，采集需要佩戴者对驾车相应操作动作进行想象产生的运动想象脑电信号，此运动想象脑电信号为驾驶员想象相应驾驶动作时的脑电信号，采集后的运动想象脑电信号经由信号放大器13放大后，经过蓝牙无线传输传送到信号处理模块2；

信号处理模块2进行信号处理，并分别利用两种神经网络进行识别解码后，将识别后的脑电解码信息通过蓝牙传输到车辆控制模块3；

车辆控制模块3将解码后的信号与驾驶车辆运行指令进行接口对接，实现脑电解码信息与驾驶车辆运行指令之间的一一映射，对驾驶车辆进行相应的操作，实时准确的利用解码后的脑电信号实现智能驾驶。

脑电信号采集的是驾驶员的运动想象脑电信号，运动想象是指驾驶员在进行驾驶操作时对驾驶动作的想象，包括手部转动方向盘和脚部踩刹车和油门等，比如要转动方向盘，驾驶员会在大脑中想象两只手转动方向盘的动作，包括在转动过程中的速度快慢。当驶驾员在刹车或者踩油门的时候会在大脑中想象脚对应的动作，所有在驾驶过程中涉及到的动作在驾驶员进行驾驶之前都会对对应的运动想象动作进行脑电信号采集，将采集的信号预处理后，使用至少两种卷积神经网络进行分类解码的预训练。

除了驾驶过程中所涉及到的驾驶动作以外，还会进一步采集到脚部和手部移动的运动想象动作脑电信号，因为驾驶员在驾驶过程中会有手和脚移动的需要，比如油门和刹车之间的转换等。

车辆控制模块3设有一个小型显示器，显示器中会有虚拟驾驶员以及其手部和脚部在驾驶室中的虚拟展示，且会随着驾驶员运动想象脑电信号的变化来实时调整位置，比如此时脚部在油门位置，手部在方向盘位置，该显示器上都会有个虚拟驾驶员和真实的驾驶员有实时一一对应，当驾驶员的动作或身体部位有变化时，屏幕中的虚拟驾驶员对应的位置也会实时对应变化。主要作用是让驾驶员实时查看自己的手部和脚部位置，以防出现位置错乱，在驾驶启动开始时，显示器中驾驶员的初始位置是双手放到方向盘，脚放到油门位置。

对驾驶动作速度的控制可使用两种方案实现：

方案一如图4所示：

驾驶员对同一驾驶动作进行运动想象，在想象的过程中主要是速度不同，速度分为慢、中、快三个等级。在进行驾驶动作运动想象脑电信号解码后，进一步识别速度，识别后输入到接口，并进行驾驶操作。

方案二如图5所示：

在小型显示器侧边添加速度模块，驾驶员只需要进行驾驶动作的运动想象，对采集的运动想象不涉及速度的进一步识别，在显示器上可以选择速度大小，分为慢、中、快三个等级。驾驶员在显示器上选定相应的速度后，只需要进行驾驶运动想象即可实现脑电进行驾驶。

如图3所示，该基于脑电信号的残疾人辅助智能驾驶系统的工作方法，包括以下步骤：

S1：将脑电信息采集帽1佩戴于残疾人驾驶员头上；

S2：脑电信息采集帽1获取残疾人驾驶员的六个通道的运动想象脑电信号，并发送至信号处理模块2；

S3：信号处理模块2对接收到的运动想象脑电信号依次进行预处理操作；

S4：将预处理完成的运动想象脑电信号分别输入至少两种不同的卷积神经网络进行分类解码；

S5：比较不同卷积神经网络分类解码的结果是否一致，若是，则执行步骤S6，否者返回执行步骤S2；

S6：将分类解码的结果发送至车辆控制模块3；

S7：车辆控制模块3根据收到的分类解码的结果，与驾驶车辆运行指令匹配，得到对应车辆运行指令；

S8：根据车辆运行指令对驾驶车辆进行相应的操作，实现辅助智能驾驶。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。