基于眼电的飞行器控制方法、控制系统及飞行装置

技术领域

本发明是关于无人机飞行控制技术，特别是关于一种基于眼电的飞行器控制方法、控制系统及飞行装置。

背景技术

随着人工智能的发展以及马斯克推出脑机接口，脑机接口与脑机融合可以有效的替代、恢复、增强、补充或改善大脑中枢神经的自然输出。脑机接口是在人脑与计算机或其它电子设备之间建立的直接的交流和控制通道，通过这种通道，人就可以直接通过脑来表达想法或操纵设备，而不需要语言或动作。

在现有技术《基于脑机接口的脑控无人机系统及其控制方法》，主要介绍了基于脑电信号控制无人机的方法。基于BCI脑机接口控制物体的缺点有如下几点：脑电信号特别微弱，是μV(微伏)级别的，采集微伏级别的脑电信号对ADC采样芯片的位数及性能要求特别高，且对脑电信号的后续处理要求特别高，需要对掺杂有噪声的微弱脑电信号进行滤波提取以及放大处理。而眼电信号是mV(毫伏)级别的，与脑电信号相差1000数量级。对眼电信号的提取及处理，要比对脑电信号的处理容易很多。脑电信号是因个体而异的一种信号。虽然都可以从采集出的原始脑电信号中提取α波，β波，γ波，θ波以及δ波这些脑电特征值，但是这四种波的频率都是在一定的范围内波动的。α波频率范围是8～13Hz，β波频率范围是13～30Hz，γ波频率范围是30～100Hz甚至更高，θ波频率范围是4～8Hz，δ波频率范围是0.5～4Hz。这几种脑电波的频率成分有部分重合，且频率跨度也比较大，γ波频率甚至还被划分为低频段，中频段和高频段三个部分。脑电波频率范围跨度之大，也导致了不同人群产生的脑电波各不相同。这些差异包括性别，年龄，人种等。甚至同一个人在同一天内不同的时间段因为喜怒哀乐不同的心情，产生的脑电波也不相同。根据这些脑电波特征值组合编码转换为无人机控制指令也具有很大的差异性。也即是说，根据这些脑电波特征值，经过算法处理，转换为控制无人机飞行的指令，在某个时刻某个人的处理上是有效的，转移到另一个时刻另一个人来测试的时候，可能需要对算法进行微调，或者修正。这导致了脑电控制无人机的方式不具有普适性。《一种基于眼电编码的人机交互系统及其交互方法》，主要是对眼球动作进行编码，然后用来在屏幕中打字。要求人的眼球在屏幕中进行8个方向的转动，分别是上、下、左、右，左上，左下，右上，右下。这种方式极度不友好，用户的眼球并不是完全按照这8个方向进行转动，且在测试过程中，用户的眼球很容易因为旁边事物的干扰造成眼球向别的方向转动。且这篇专利里面对八种方向的眼球转动进行了严格的编码与解码操作，使得计算量特别巨大，这种编码与解码增加了CPU处理的时间。

在现有技术中《一种基于便携式眼电采集装置的无人机控制系统》，该专利在采集人的眼电的时候，需要一个刺激模块对人眼进行刺激(实际面向用户的产品中，用户都是使用眼睛来观察无人机的飞行状况的，用户不盯着无人机而盯着刺激屏幕，友好性不太好。)。且需要使用这个刺激模块前期进行至少10次以上的训练，得到训练数据的阈值作为后期的决策因子。这种训练模式及得到的决策因子是因人而异的，因而该系统的一致性及对测试人员的普适性没法得到保证。而我们的眼控无人机系统，不需要刺激模块对人眼进行刺激。只需正常采集人眼眼电数据即可，确保了系统的一致性和普适性。

此外，该专利为了避免正常眨眼的误操作，算法上面需要连续选中2～3次才判定为正确结果，这样的系统没有实时性(或者实时性较差)，我们的专利是实时采集人眼数据并且实时分析得到人眼状态监测结果。

最后，该专利采用的是均值滤波或者卡尔曼滤波，该专利的滤波范围是0.1HZ～20HZ，而普通人眨眼每秒钟最多眨眼不超过5次。本专利采用了1型切比雪夫滤波器，代替了均值滤波和卡尔曼滤波，滤波得到的通带范围缩小至0.1HZ～5HZ，这样的眼电信号更加精确。

《基于PYNQ和多模态脑机接口的飞行器控制系统及方法》，该专利是基于PYNQ的FPGA进行开发的，首先FPGA成本比较高，单颗芯片可以高达1000元人民币，更不谈基于PYNQ的FPGA外围电路设计的成本，而我们是采用单片机进行开发处理的，单片机的成本为30～50元人民币，成本要比它低。该专利基于PYNQ,而PYNQ是指向大面积的开发者和设计者的，板子面积比较大，我们的眼电采集头环总面积才16平方厘米，不仅负责眼电信号的采集，还负责眼电信号的处理。其次我们是采用蓝牙进行数据的透传，而该专利是采用USB wifi进行数据传输。WiFi的功耗平均是150mA～190mA,而蓝牙的传输功耗是20mA左右，数量级相差7倍左右。且该专利利用了PYNQ这款FPGA的数据运算处理能力，进行了大量运算，如滤波，归一化，小波变换以及卷积神经网络等，这些处理都比较消耗CPU的算力，不利于嵌入式产品的节能，功耗比较大。

最后，该专利是基于眼电和脑电的组合进行多模态无人机的控制。如前文所述，脑电信号比眼电信号微弱，处理起来比眼电更加复杂，且基于运动想象的成功率是受被测试者影响，运动想象的成功率有60％～70％，这样就对无人机系统的稳定性有很大的影响。用户明明想象成向右，可是解析错误，未按指定要求飞行，系统稳定性不高。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于眼电的飞行器控制方法、控制系统及飞行装置，其通过采用眼电信号转换成飞行器控制指令的方式，极大地简化了操控难度，提供控制性能，降低计算量，具有更高的人机效能。

为实现上述目的，本发明的实施例提供了基于眼电的飞行器控制方法，包括如下步骤，依据眼电信号状态获取眼电指令，进行信号编码，建立用于飞行器控制的眼电指令库，眼电指令库中每一个编码指令具有匹配的飞行指令；飞行器判定其所处的初始状态；依据接收到的编码指令，读取眼电指令库，飞行器执行飞行指令。

在本发明的一个或多个实施方式中，眼电信号状态包括睁眼产生的正向的波峰电压信号、闭眼产生的负向的波谷电压信号、眨眼产生的连续的波峰-波谷电压信号。

在本发明的一个或多个实施方式中，信号编码为依据眼电信号状态的连续性变化实施。

在本发明的一个或多个实施方式中，信号编码所依据的眼电指令至少包括：单次波峰电压信号所匹配的第一指令、单次波谷电压信号所匹配的第二指令、单次连续的波峰-波谷电压信号所匹配的第三指令、至少两个连续的波峰-波谷电压信号所匹配的第四指令。单次连续的波峰-波谷电压信号即顺次包含一个波峰-波谷或一个波谷-波峰的电压信号，即一次眨眼所形成的完整波信号，以正弦波或者余弦波为例即可以近似地认为形成了一个的正弦或者余弦波段。在具有更多个连续的波峰-波谷电压信号时则可以同理类推。

在本发明的一个或多个实施方式中，眼电指令中的一种或者几种的组合形成的编码指令，编码指令各自匹配的飞行指令包括如下至少一种：上升a距离、下降b距离、前进c距离、后退d距离、左向平飞e距离、右向平飞f距离、起飞、降落、悬停、关机。这里的a、b、c、d、e、f分别表示移动的距离。

在本发明的一个或多个实施方式中，获取眼电指令时，通过设置眼电信号阈值对有效的眼电指令进行判定，当相邻的波峰和波谷的间隔超过眼电信号阈值时，则判定为独立的睁眼或闭眼，否则则判定为眨眼。

在本发明的一个或多个实施方式中，眼电信号状态的获取为将原始眼电信号经过1型切比雪夫滤波器滤波、一阶差分、查找峰值后判断得到。

在本发明的一个或多个实施方式中，眼电信号阈值设定依据为时间段t或者采样频次m或电压阈值T。这里眼电信号阈值可以选择为：眼电信号的电压阈值，可以设置为T＝1.4；或眼电信号的采样点，可以设置为波峰和波谷之间的间隔不能超过50个采样点阈值。

在本发明的一个或多个实施方式中，运行如前述的基于眼电的飞行器控制方法的控制系统，包括，设置于飞行器上的用于接收编码指令的接收器；设置于飞行器上的用于执行飞行指令的飞行控制器；用于从用户处采集眼电指令和/或发送编码指令的采集器；用于将眼电指令编译为编码指令的编码装置。还可以设置用于增强并向飞行器发送编码指令的中继器。

在本发明的一个或多个实施方式中，飞行装置，包括如前述的基于眼电的飞行器控制系统或包括执行了如前述基于眼电的飞行器控制方法的存储器。

在本发明的一个或多个实施方式中，飞行装置为多轴飞行器。

与现有技术相比，根据本发明实施方式的基于眼电的飞行器控制方法、控制系统及飞行装置，提供了一种新的控制无人机飞行的方案，且更加具有普适性，适合不同性别，不同年龄段，不同人种在各个时间段的使用。还可以有效避免现有技术中检测眼球向八个方向转动时造成的误判，只需判断眼睛睁开，闭合以及眨眼三种状态。且避免了对眼球八个方向转动编码造成的大数据量计算，极大地简化了操控难度，提供控制性能，降低计算量，具有更高的人机效能。

附图说明

图1是根据本发明一实施方式的基于眼电的飞行器控制的流程框图；

图2是根据本发明一实施方式的原始的眼电信号；

图3是图2的经过1型切比雪夫滤波器过滤后得到的0.1HZ～5HZ的通带频率信号；

图4是图3的一阶差分运算的信号；

图5是根据本发明一实施方式的“滤波差分峰值检测”的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

人在闭眼的时候，会产生一个正向的波峰电压，人在睁眼的时候，会产生一个负向的谷峰电压，人在眨眼的时候，会产生一个连续的波峰-波谷电压。可以通过检测波峰和波谷电压的连续性，把眼电信号转换成控制无人机飞行的指令。因此眼电信号相对于脑电信号更具有应用的普适性。

如图1至图5所示，根据本发明优选实施方式的基于眼电的飞行器控制方法中：

采集并确认眨眼所产生的眼部肌电信号基本类型，定义眼部电压信号基本类型至少包括：睁眼产生的正向的波峰电压信号、闭眼产生的负向的波谷电压信号、眨眼产生的连续的波峰-波谷电压信号。并据此建立眼电指令组合形成编码指令，可以如下表1所示，表中指令1至指令n所指代的编码指令可以以实际操控相关而进行设定匹配的飞行指令，这些编码指令所匹配的飞行指令可以选自包括而不限于如下：上升a距离、下降b距离、前进c距离、后退d距离、左向平飞e距离、右向平飞f距离、起飞、降落、悬停、关机等。指令1至指令n所指代的编码指令可以为模拟指令信号，也可以为数字信号。

表1编码指令组成示意表

上表1中连续的多组波峰-波谷信号所代表的多次眨眼，并非仅限定为连续的眨眼，也可以为相邻两次眨眼的间隔小于误差限值即可，以1000HZ的采样率为例，可以设定连续两次眨眼的判定依据为误差限值不大于100ms，则当相邻两次眨眼的间隔小于等于100ms时则认为形成了连续的眨眼，否则则判定为独立的眨眼。

此时，即完成了眼电指令库的建立。在接通飞行器控制后，系统优先判定当前飞行器所处于的状态，则可以判定哪些编码指令是当前可执行指令，哪些指令为无效指令。如当前飞行器(如四轴无人机)为在地面的待起飞状态时，则包括起飞、关机等编码指令为可执行指令，而上升a距离、下降b距离、前进c距离、后退d距离、左向平飞e距离、右向平飞f距离、降落、悬停等为无效指令。佩戴于用户头部的采集器采集获取眼电眼电指令信号，该信号可以直接在采集器内置的编码装置中进行信号处理，也可以传递至中继器由其中设置的编码装置进行信号处理(中继器是非必要件，用于进行信号中继、辅助数据处理和辅助操控等功能，以提升操控性、响应速度等)，其中信号处理包括而不限于过滤、放大、编码等。通过接收器，飞行器在接收到有效的编码指令后，飞行控制器则依据编码指令所匹配的飞行指令，控制飞行，比如控制飞行器发动机的功率、转速、飞行角度等。当然在四轴无人机中飞行姿态角度的控制，也是通过控制四个螺旋桨输出功率和转动方向而实现的。

具体地讲：

如图1所示为本发明的系统框图。本系统可以包括5个部分。

眼电信号采集

该模块可以是头环形式或者帽子形式或头盔形式等。作为头环时，该眼电采集设备可以佩戴到头上采集眼电。该眼电采集头环可以有四个电极，其中前面两个电极是放到额头上面用于采集眼电数据，属于两通道采集模式，如果只需要一通道采集眼电，也可以只安装其中一个电极，两只耳朵后面分别有一个电极，分别作为参考和接地。使用时，需开启头环设备的开关。

预处理

预处理模块主要是采集端硬件系统对外界噪声做一些过滤及眼电信号放大等处理工作。

滤波差分峰值检测处理

该算法是本发明主要采用的眼电信号处理算法，也是本专利需要保护的算法。该算法可以对眼电信号进行处理，并把眼电信号转换为控制无人机起飞，降落，上升和下降等的指令。具体地说，该算法可以经过三步来处理原始眼电信号。第一步，采用1型切比雪夫滤波器滤波。第二步，一阶差分，第三步，查找峰值。

由于眼电信号是在0.1HZ～5HZ范围之内。首先需要对0.1HZ～5HZ频带内的眼电信号采用1型切比雪夫滤波器进行通带过滤。

如图2是原始的眼电信号。

如图3是图2经过1型切比雪夫滤波器过滤后得到的0.1HZ～5HZ的通带频率信号。

如图4是对图3滤波后的脑电信号进行一阶差分运算，一阶差分运算之后就可以查找到峰值。上图有三个峰值，左边是一个波峰和一个波谷，代表了是眨眼状态。右侧的一个波峰代表的是闭眼状态。在检测波峰和波谷的时候，需要指定眼电信号的阈值。图中两条平行的黑线就代表正负阈值。

具体的，“滤波差分峰值检测”算法可以如图5所示。

中继器

在执行“滤波差分峰值检测”算法后，把检测到的眼电数据转换成控制四轴飞行器起飞、降落、上升或者下降的指令，该指令经过蓝牙传输给中继器，再由中继器通过ISM射频转发给四轴飞行器进行上升或者下降飞行。

中继器的主要作用是可以提升四轴飞行器的飞行高度，具有信号加强的作用。

飞行器

以四轴飞行器为例，四轴飞行器与中继器之间可以采用ISM射频进行通信。飞行器接收到中继器的控制指令后，可以进行起飞、降落、上升或者下降飞行。目前我们的四轴飞行器的飞行维度只有上升和下降两个维度，没有前后飞行以及左右飞行四个维度。

眼电控制四轴飞行器系统的操作步骤

Step1：选取四个电极安装到眼电采集头环上。可以选用干电极、凝胶电极、八爪鱼电极或者尼龙布电极中的任一种。使用酒精棉擦拭额头表面及耳后区域，降低电极与皮肤的接触阻抗。

Step2:佩戴眼电采集头环，开启头环电源。

Step3：开启中继器，确保中继器和眼电采集头环蓝牙建立连接。有指示灯指示蓝牙建立成功连接。

Step4：开启无人机电源，确保无人机和中继器ISM射频通信建立连接。有指示灯指示射频通信建立连接。

Step5：连续眨眼四次，无人机一键起飞，并定点到1.5米的高度。

Step6：闭眼、睁眼或者眨眼，无人机上升飞行0.1米。

Step7:连续眨眼两次，无人机下降0.1米。

Step8：连续眨眼四次，无人机一键降落，回到地面。

Step9：重复Step5～8的动作。

在执行滤波差分峰值检测处理时，其中：

切比雪夫滤波器设计由以下步骤得到：

Step1:根据下面的二维向量公式设置切比雪夫滤波器过滤眼电信号的通频带以及缓冲带。

Wp＝[fls1/fs_nyq,fhs1/fs_nyq]

Ws＝[fls2/fs_nyq,fhs2/fs_nyq]

Wp为通频带，也叫保留频带。眼电的截止频率为0.1HZ～5HZ,fls1对应于切比雪夫滤波器截止频率的低截止频率，也即0.1HZ。fhs1对应于切比雪夫滤波器截止频率的高截止频率，也即5HZ。Wp的含义是对眼电信号中的通频带信号进行保留(即保留采集到的眼电信号中的0.1HZ～5HZ的频率成分)

Ws为阻带。fls2为阻带频率中的低的部分，设置为0.01HZ，fhs2为阻带频率中的高的部分，设置为15HZ。Ws的含义是确保对眼电信号中低于0.01HZ的频率成分以及眼电信号中高于15HZ的频率成分进行去除。之所以存在Ws阻带，是因为完美的切比雪夫滤波器在现实中实现是不存在的，需要设置一个0.01HZ～0.1HZ以及5HZ～15HZ的缓冲频带。也就是说，理论需要保留眼电信号中Wp(0.1HZ～5HZ)部分，实际软件实现切比雪夫滤波器需要设置一个缓冲频带Ws(0.01HZ～0.1HZ以及5HZ～15HZ)部分。缓冲频带以外，即0.01HZ以下，15HZ以上，需要滤除，保留0.01HZ～15HZ中的0.1HZ～5HZ部分。

fs_nyq为奈奎斯特采样频率，本发明中，眼电的采样率fs为1000HZ，根据那奎斯特采样定理，fs_nyq为眼电采样率的一半即可，即fs_nyq＝fs/2＝500HZ即可。

通频带Wp和阻带Ws之所以要使用频率除以fs_nyq是为了归一化，确保通频带Wp和阻带Ws的数值在0～1的范围内。数值为1就代表是归一化的奈奎斯特采样频率。

Step2：根据Wp，Ws预估切比雪夫滤波器N阶多项式的阶数

N＝cheb1ord(Wp,Ws,3,40)

N是切比雪夫滤波器阶数估计值，3是Wp通带允许的最大损耗，单位是分贝，40是阻带到通带的向下衰减的分贝数。本发明中，阶数估计为2。

Step3：根据N阶数设计通频带Wp,阻带Ws的切比雪夫滤波器传递函数系数：

A＝[1,-3.95561767945936,5.86829896627537,-3.86974404579756,0.957062759362739]

B＝[0.000331845925452347,0,-0.000663691850904694,0,0.000331845925452347]

Step4：根据Step3设计的切比雪夫传递函数系数A,B，对原始眼电数据的幅值进行过滤。

即

对1～N个眼电数据进行滤波，主要步骤就是基于上面的切比雪夫传递系数为1*5的向量A、B,对原始眼电数据X(i)进行变换，其中变量i的取值范围是1～N(这里N设置为1000，代表1000个眼电数据采样点)，j的范围是1～5，是传递系数A和B向量的维度。

对上述眼电数据进行了初步的第一次滤波后，需要对Y(i)进行求逆，然后再按照上述传递系数A,B进行第二次滤波变换，即：

Y(i)＝Rinv(Y(i))

在执行过程中，设置1型切比雪夫滤波器的估计阶数及通带范围，经滤波处理后，就可以得到0.1HZ～5HZ通带范围内的眼电信号幅值。

一阶差分处理

ΔY(i)＝Y(i+1)-Y(i)

上式为一阶差分公式。对滤波后的原始脑电信号进行后项减去前项就得到处理后的一阶差分信号。上式中的i为采样点的下标,Y(i)为i点采样坐标的具体值。

上式是对一阶差分处理后的信号先求均值，并且对每个差分信号减去均值，降低数据运算量。

查找峰值处理

设置眼电信号阈值，用于查找一阶差分信号中的波峰和波谷。对于睁眼信号，只有一个波谷，对于闭眼信号，只有一个波峰，对于眨眼信号，有一个波峰和波谷，且波峰和波谷之间是连续递减函数关系。波峰和波谷的间隔不能超过50个眼电信号采样点，否则就判断是独立的睁眼和闭眼，而不是眨眼。对于1000HZ的采样率，50个采样点(50个频次)对应的时间是50ms，也即眨眼检测波峰和波谷的时间间隔是50ms内。如图4所示，小圆圈标示部分即标示出了两个波峰和一个波谷。

以下是波峰波谷检测睁眼，闭眼及眨眼的具体算法：

Step1：查找峰值

对一阶差分后的眼电信号ΔY(i)进行遍历处理，查找大于阈值ThreadHold的眼电信号，本发明中，ThreadHold阈值信号设置为1.4。在所有大于阈值ThreadHold的值中，查找采样间隔中最大的值，作为峰值，并且返回保留峰值的下标index和峰值的具体值value。眼电数据的采样点是用1遍历到N。

Step2:查找谷值

把一阶差分眼电信号进行翻转，采用与Step1同样的方式，遍历处理，查找大于ThreadHold阈值的眼电信号，并且求出采样间隔内的最大值，作为谷值。返回每个谷值的具体下标index和具体的谷值value。

Step3:排序

把采样的峰值和谷值按照index大小进行冒泡排序，方便后续对睁眼、闭眼及眨眼判断：PeakNum＝Sort(P|

Step4:判断睁眼，闭眼，眨眼，举例地讲可以如下所示：

通过上述过程获取的眼电信号经过编码与指令匹配后，转换成无人机控制指令。

为了容错，人在自然情况下，如表2所示，不经意或者刻意的睁眼、闭眼以及眨眼，四轴飞行器指令为上升0.1m。连续2次眨眼情况下，判断为人刻意，飞行器指令为下降0.1米。在200ms内连续眨眼四次，该眨眼信号会被转换成一键降落或者一键起飞指令。

表2本发明一实施例中部分的眼电指令编码操控示意

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。