一种远程无人机控制方法和设备

技术领域

本发明属于数据处理技术领域，尤其涉及一种远程无人机控制方法和设备。

背景技术

随着科技的不断进步，无人机技术在军事、民用及商业领域都得到了广泛应用。传统的遥控方式虽然便捷，但在一些特殊情况下，如复杂环境、高风险区域或需要高度准确性的任务中，遥控方式的局限性逐渐显现。为了克服这些限制，脑机接口技术逐渐崭露头角，其中脑控远程无人机成为了一种备受关注的控制方式。

脑控远程无人机技术是一种创新的控制方式，利用人脑电信号解码操作者的意图，将其转化为无人机的控制命令，实现无人机在远距离内的精准操控。相较于传统的遥控方式，脑控远程无人机技术具有许多优势。首先，它消除了传统遥控中需要手部操作的需求，使得操作者能够更加专注于任务本身。其次，脑控远程无人机技术具备潜在的高度精确性，可以在复杂环境中完成精细的控制任务。此外，脑控技术为行动不便或残疾人士提供了更为自主的操控手段，拓展了应用范围。

目前，在脑控远程无人机技术中，最常用的脑电信号解码技术之一是SSVEP技术，即闪烁视觉诱发电位技术。这种技术通过在屏幕上以不同频率闪烁的刺激来引发特定频率的脑电信号，操作者通过注视不同频率的刺激来传达控制意图。尽管SSVEP技术为脑控远程无人机技术带来了前所未有的可能性，但目前仍存在一些挑战和问题。特别是在空间感知能力和空间控制能力方面存在一些困难。在空间感知能力方面，操作者往往能够更好地感知二维空间，但在面对三维空间时，其认知效果显著下降。这导致操作者难以通过意念在三维空间中精准地操控无人机。因此，对于三维空间内的一些障碍物信息，操作者在远程控制的条件下对无人机进行快速精准的调整。此外，脑机接口解码模块输出的控制指令存在离散化和延迟的问题，而实际场景中往往需要连续、流畅的控制，这限制了脑控远程无人机技术的应用领域。

发明内容

为解决上述技术问题，本发明提出了一种远程无人机控制方法和设备，用于解决现有脑控远程无人机技术中空间感知能力差和空间控制能力差的问题。

为实现上述目的，一方面，本发明提供了一种远程无人机控制方法，包括：

获取本地控制场景，其中，所述本地控制场景由利用压缩感知控制范式将所述远程无人机的三维环境信息进行处理获取；

获取操作者观看所述本地控制场景时产生的脑电信号；

采用意图分析算法对所述脑电信号进行分析，获取所述操作者对所述远程无人机的原始控制指令；

通过环境自适应控制算法对环境信息和所述原始控制指令进行优化，获取连续化的无人机控制指令，其中所述环境信息为障碍物位置信息和雷达位置信息，所述原始控制指令为矢量速度控制指令；

将所述连续化的无人机控制指令发送至所述远程无人机，并基于运动学模型对所述远程无人机进行控制。

可选的，获取本地控制场景包括：

通过雷达对所述三维环境信息进行采集，获取所述障碍物位置信息；

并采集所述雷达位置信息和目标点位置信息；

基于所述障碍物位置信息、所述雷达位置信息、所述目标点位置信息和时间戳，获取原始数据包；

将所述原始数据包进行压缩后传输到本地，对压缩后的数据进行解码和重建，获取所述本地控制场景。

可选的，获取所述本地控制场景之后还包括:在所述本地控制场景中的远程无人机周围设置若干动态闪烁刺激块，所述动态闪烁刺激块用于控制方向，其中，每个所述动态闪烁刺激块具有唯一的ID和固定频率的闪烁刺激。

可选的，采用意图分析算法对所述脑电信号进行分析，获取所述操作者对所述远程无人机的原始控制指令包括：

对所述脑电信号进行预处理和加窗处理，获取数据矩阵；

基于所述脑电信号的分类结果和对应的所述动态闪烁刺激块的闪烁刺激，获取模板矩阵；

将所述数据矩阵和所述模板矩阵输入相关性网络，获取相关系数矩阵；

获取所述相关系数矩阵中的最大值，并将所述最大值与预设阈值进行比较，获取最终脑电分类结果；

根据所述最终脑电分类结果，获取所述原始控制指令。

可选的，对所述脑电信号进行预处理和加窗处理，获取数据矩阵包括：

通过陷波滤波操作对所述脑电信号进行工频干扰的去除，并通过带通滤波对所述脑电信号中包含特征电位的频段进行提取，完成对所述脑电信号的预处理；

基于预设长度的时间窗对预处理后的脑电信号进行截取并矩阵化，获取所述数据矩阵。

可选的，所述相关性网络包括输入层、卷积层、池化层、全连接层和输出层；

所述输入层，用于将所述数据矩阵和所述模板矩阵输入所述卷积层；

所述卷积层，用于获取所述数据矩阵和所述模板矩阵的局部特征，并提取出不同尺度的特征图；

所述池化层，用于对所述特征图进行下采样，获取池化后的特征图；

所述全连接层，用于将所述池化后的特征图展平为向量，通过所述全连接层将特征映射到所述相关性系数矩阵的空间，获取归一化的相关性系数矩阵；

所述输出层，用于输出归一化的相关性系数矩阵。

可选的，通过环境自适应控制算法对环境信息和所述原始控制指令进行优化，获取连续化的无人机控制指令包括：

S1、将所述远程无人机的运动学模型作为系统模型，将所述系统模型进行离散化；

S2、根据所述远程无人机的任务特征建立目标函数；

S3、获取所述环境信息和所述原始控制指令，在当前离散时间步骤，基于所述目标函数、所述环境信息和所述原始控制指令建立预测优化问题；

S4、利用优化算法对所述预测优化问题进行求解，获取当前时间步骤所述远程无人机的最佳控制输入；

S5、进入下一个离散时间步骤，重复步骤S3-S4，获取连续化的无人机控制指令。

可选的，所述目标函数为：

其中，J为目标函数，w

另一方面，本发明还提供了一种远程无人机控制设备，包括：

包括：压缩感知控制单元、脑电信号采集单元、意图分析单元、环境自适应控制单元、远程通信单元和无人机单元；

所述压缩感知控制单元，用于利用压缩感知控制范式将所述远程无人机的三维环境信息进行处理，获取本地控制场景；

所述脑电信号采集单元，用于获取操作者观看所述本地控制场景时产生的脑电信号；

所述意图分析单元，用于采用意图分析算法对所述脑电信号进行分析，获取所述操作者对所述远程无人机的原始控制指令；

所述环境自适应控制单元，用于通过环境自适应控制模型对环境信息和所述原始控制指令进行优化，获取连续化的无人机控制指令；

所述远程通信单元，用于将所述连续化的无人机控制指令发送至所述远程无人机；

所述无人机单元，用于接收所述连续化的无人机控制指令，并基于运动学模型对所述远程无人机进行控制。

可选的，所述压缩感知控制单元包括环境信息采集子单元、压缩数据传输子单元、二维场景重建子单元和动态刺激生成子单元；

所述环境信息采集子单元，用于通过雷达对所述三维环境信息进行采集，获取障碍物位置信息，并采集雷达位置信息和目标点位置信息，基于所述障碍物位置信息、所述雷达位置信息、所述目标点位置信息和时间戳，获取原始数据包；

所述压缩数据传输子单元，用于将所述原始数据包进行压缩并传输到本地；

所述二维场景重建子单元，用于对压缩后的数据进行解码和重建，获取所述本地控制场景；

所述动态刺激生成子单元，用于在所述本地控制场景中的无人机周围部署闪烁刺激块，为每一个方向的控制分别分配唯一的ID和固定频率的闪烁刺激。

本发明技术效果：

本发明采用压缩感知控制范式技术手段，将远程无人机的真实场景转换为操作者本地观看的控制场景，从而消除了操作者在现场的需要，提升了远程控制的便捷性。通过压缩感知技术，本发明有效编码和传输场景信息，确保操作者能够准确感知控制场景，进一步增强了控制精度。

本发明采用脑机接口技术手段，解决了传统遥控方式在特殊环境下的局限性问题。通过获取操作者在观看控制场景时产生的脑电信号，将其转化为无人机的控制命令。这种创新的控制方式不仅消除了手部操作的需求，使操作者更专注于任务本身，还赋予了行动不便或残疾人士更为自主的操控手段，拓展了无人机应用的范围。

本发明采用环境自适应控制算法技术手段，解决了脑机接口技术中控制指令离散化和延迟的问题。通过对操作者的原始控制指令以及环境信息进行优化，生成连续化的无人机控制指令。这种优化策略不仅提升了控制指令的流畅性，也使得无人机在复杂环境中的操控更为精准稳定。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种远程无人机控制方法的流程示意图；

图2为本申请实施例提供的压缩感知控制范式的功能模块示意图

图3为本申请实施例提供的压缩感知控制范式的操作界面示意图，其中301为前进，302为后退，303为右行，304为左行、305为上升，306为下降，307为无人机的高度显示，308为障碍物；

图4为本申请实施例提供的意图分析算法的流程图；

图5为本申请实施例提供的相关性网络的架构图；

图6为本申请实施例提供的环境自适应控制算法的输入输出示意图；

图7为本申请实施例提供的期望无人机速度的合成示意图；

图8为本申请实施例一种远程无人机控制设备的结构示意图；

图9为本申请实施例提供的传统SSVEP控制范式的界面示意图，其中，901为无人机的前方向，902为无人机的后方向，903为无人机的左方向，904为无人机的右方向，905为无人机的上方向，906为无人机的下方向，907为无人机周围环境的图像。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种远程无人机控制方法，包括：

S101，使用压缩感知控制范式将远程无人机的真实场景转换为操作者本地观看的控制场景；

S102，操作者通过观看控制场景感知无人机的环境信息，产生对远程无人机的控制意图，诱发出和控制场景相关联的脑电信号，使用脑电采集设备获取到脑电信号；

S103，使用意图分析算法对脑电信号进行分析，得到操作者对无人机的原始控制指令；

S104，使用环境自适应控制算法对所述控制指令进行优化，得到连续化的无人机控制指令；

S105，将要连续化的无人机控制指令发送给远程无人机，基于运动学模型实现远程无人机在三维空间内的位置和姿态的调整。

压缩感知控制范式共涉及4个主要的功能模块，如图2所示，分别是环境信息采集模块201、压缩数据传输模块202、二维场景重建模块203和动态刺激生成模块204。压缩感知控制范式实现流程如下。首先通过部署在远程无人机上的雷达对三维环境进行数据采集，雷达数据中可以检测到障碍物的位置信息。雷达采集到的环境信息为二维数据，需要将该数据传输回本地。同时，远程无人机的自身位置信息和目标点位置信息也需要传输本地。环境信息采集模块将远程无人机产生的雷达数据、自身位置信息、目标点位置信息和时间戳打包成一个原始数据包，完成了数据传输的准备工作。在数据传输过程中，由于原始数据包可能过于庞大，传输所需的带宽和时间会成为限制因素。压缩数据传输模块的目标是将采集到的原始数据进行压缩，以减少数据量，从而降低传输成本。压缩的数据传输到本地之后，二维场景重建模块负责将压缩后的数据转换回原始的场景信息。通过对压缩数据进行解码和重建，从而重新构建出原始的二维场景表示。最后，动态刺激生成模块在二维场景中的无人机周围部署闪烁刺激。这些闪烁刺激并不是固定位置的刺激，而是随着无人机空间位置的改变进行实时调整。动态刺激生成模块为每一个方向的控制分别分配了一个唯一的ID和固定频率的闪烁刺激。压缩感知控制范式的操作界面示意图，如图3所示。在无人机的控制中，一共需要6个方向的控制，分别是前进301、后退302、右行303、左行304、上升305和下降306，则其ID分别被设置为id

第i个方向的闪烁刺激的频率被设置为

其中，f

意图分析算法包括四个步骤，如图4所示，分别为脑电信号的前处理与加窗、构建模板脑电信号、基于相关性网络生成相关系数、基于判别阈值生成脑电分类结果。

S401，脑电信号的前处理与加窗：

对于采集到的脑电信号进行50Hz的陷波滤波操作去除工频干扰，并使用1-30Hz的带通滤波提取包含特征电位的频段。基于指定长度的时间窗长度λ对各通道前处理后的脑电信号进行截取并矩阵化。矩阵化后得到数据矩阵X，数据矩阵X可以表示为

其中，N为通道数目，f

S402，构建模板脑电信号

基于脑控无人机系统中的各个脑电分类结果及其所对应的闪烁刺激块的闪烁频率f

其中，f

S403，基于相关性网络生成相关系数

对矩阵化后的数据矩阵X和模板矩阵Y同时输入相关性网络，网络输出为数据矩阵X与模板矩阵Y之间的相关系数矩阵R。

S404，基于判别阈值生成脑电分类结果

获取相关系数矩阵R中的最大值，判断其与预设阈值r之间的大小，如果高于预设阈值r，则输出第i(最大值的索引)个脑电分类结果，否则不输出脑电分类结果。

根据脑电分类结果，得到远程无人机的原始控制指令。

相关性网络由输入层、卷积层、池化层、全连接层和输出层组成，如图5所示：

S501，输入层，用于将数据矩阵X和模板矩阵Y同时输入网络。将每个矩阵视为一个图像，将矩阵中的每个元素作为图像的像素值，将矩阵化的数据输入到标准的卷积神经网络中。

S502，卷积层，使用多个卷积核对输入的数据进行卷积操作。卷积操作用于捕捉输入数据的局部特征，每个卷积核将在输入数据中滑动，通过学习得到的权重提取出不同尺度的特征。

S503，池化层，对特征图进行下采样，减少特征图的维度，提取主要特征。可选的池化方法有最大池化和平均池化。

S504，全连接层，将池化后的特征图展平为向量，然后通过全连接层将特征映射到相关性系数矩阵R的空间。全连接层的输出被归一化以得到最终的相关性矩阵。

S505，输出层，最后一层将输出归一化的相关性系数矩阵R。这个矩阵包含了数据矩阵X和模板矩阵Y之间的相关性信息。

环境自适应控制算法，如图6所示，包括环境自适应控制算法的输入是环境信息和原始控制指令，输出为连续化的无人机控制指令。环境信息包括部署在无人机的雷达采集到的雷达数据、无人机的自身位置信息。原始控制指令为矢量速度控制指令，连续化的无人机控制指令也为矢量速度控制指令。环境自适应控制算法采用模型优化问题的思路进行设计，目标函数J为

其中，v

v

u

d

M是预测时域长度，表示优化问题考虑的时刻数量。

w

w

w

w

w

运动学模型分为位置运动学方程和姿态运动学方程。

位置运动学方程，无人机在地球坐标系中的位置变化可以由其速度来描述：

其中，v

姿态运动学方程，无人机的姿态变化由其角速度来描述：

在本实施例中，p、q、r分别表示绕机体坐标系三个轴的角速度，

在小扰动的情况下，即各个角度的变化较小的前提下，姿态角的变化率与机体的旋转角速度近似相等，则姿态运动学方程可以简化为

所述环境自适应控制算法的计算过程如下：

使用无人机的运动学模型作为系统模型，并且将其离散化，使用差分方程进行描述；

根据无人机任务特征设计目标函数J；

获取环境信息和原始控制指令；

在离散时间步骤k，基于目标函数J、环境信息和原始控制指令建立预测优化问题，以预测未来一段时间步骤内(时间步记为k，k+1，...，k+W，其中W为预测步长)无人机的行为；

使用优化算法(可选用非线性规划或二次规划)来求解上述建立的预测优化问题，以找到无人机最佳的控制输入序列u(k),u(k+1),...,u(k+W)；

从优化问题的解中提取当前时间步骤k的远程无人机的最佳控制输入u(k)；将u(k)应用于实际系统，并将系统推进到下一个时间步骤k+1，获取无人机最佳的控制输入序列u(k+1),...,u(k+W)，从优化问题的解中提取当前时间步骤k+1的远程无人机最佳控制输入u(k+1)。

重复上述过程，不断更新无人机的控制输入，以应对系统的实际行为和测量误差，最终获取远程无人机的输入序列即连续化的无人机控制指令u(k),u(k+1),...,u(k+W)。在每个时间步骤k，重新计算优化问题，但只应用第一个控制输入u(k)。

实施例二

如图8所示，本发明实施例还提供了一种远程无人机控制设备，包括：

压缩感知控制单元801，该单元负责将远程无人机的真实场景转换为操作者本地观看的控制场景。通过压缩感知技术，将场景信息进行有效编码和传输，确保操作者在本地能够获取到准确的控制场景。

脑电信号采集单元802，用于获取操作者在观看控制场景时产生的脑电信号。这些信号与操作者对远程无人机的控制意图相关联。

意图分析算法单元803，采用意图分析算法对从脑电信号采集设备获取到的脑电信号进行处理和分析。通过识别脑电信号中的特征模式，得到操作者对无人机的原始控制指令。

环境自适应控制单元804，基于操作者的原始控制指令以及环境信息，该单元对控制指令进行优化和调整，生成连续化的无人机控制指令。确保在各种环境中能够平稳控制无人机。

远程通信单元805，用于将连续化的无人机控制指令发送给远程无人机。确保操作者在本地产生的控制指令能够实时传输到无人机。

无人机单元806，无人机根据接收到的连续化控制指令，在三维空间内对无人机的位置和姿态进行调整。

压缩感知控制单元包括环境信息采集子单元、压缩数据传输子单元、二维场景重建子单元和动态刺激生成子单元；

环境信息采集子单元，用于通过雷达对三维环境信息进行采集，获取障碍物位置信息，并采集雷达位置信息和目标点位置信息，基于障碍物位置信息、述雷达位置信息、目标点位置信息和时间戳，获取原始数据包；

压缩数据传输子单元，用于将原始数据包进行压缩并传输到本地；

二维场景重建子单元，用于对压缩后的数据进行解码和重建，获取本地控制场景；

动态刺激生成子单元，用于在本地控制场景中的无人机周围部署闪烁刺激块，为每一个方向的控制分别分配唯一的ID和固定频率的闪烁刺激。

实施例三

为了验证本申请提出的一种远程无人机控制方法和设备的有效性和实现效果，进行了如下的科学实验。

被试招募：

为了对本申请提出的方法和设备进行评估，选择了8名健康的本科生或研究生作为实验志愿者。这些志愿者的年龄在23至30岁之间，以确保实验的对象具有相对均衡的年龄分布。在实验正式开始之前，采取了一系列预防措施，以保证志愿者的健康和实验数据的准确性。

在志愿者选拔过程中，首先进行了详细的问卷调查，以确认每位志愿者在实验前具备良好的身体状况。问卷涵盖了多个方面，包括但不限于：(1)是否曾经有过脑部外伤史；(2)是否患有任何精神类疾病；(3)在过去的半年内是否存在药物依赖情况；(4)是否存在智力低下状况(智商小于70)；(5)是否存在对中文的理解障碍；(6)在过去的半年内是否接受过电休克治疗等。所有志愿者均详细填写了问卷，结果显示在上述方面均没有相关情况存在，保证了志愿者的适宜性。此外，志愿者的视力在正常范围内或已经通过矫正手段进行了矫正，这一点不会对实验数据的采集产生任何影响。在年龄、性别和受教育程度等方面，志愿者之间均没有显著差异，确保了实验的可比性。

在实验进行之前，确保每位志愿者都有充足的休息，以确保在实验过程中他们处于最佳状态。同所有志愿者在参与实验前均接受了详细的解释和说明，包括实验流程、数据使用方式以及可能的实验后果。在充分了解实验内容的前提下，他们自愿同意参与实验，并签署了相关的知情同意书，确保了实验的透明度和合规性。

数据采集：

为了使实验结果更加真实可靠，特意在日常使用环境中进行了数据采集，而没有采取屏蔽室或电磁干扰屏蔽措施，并且没有排除周围环境中的杂音干扰，以保持实验的真实性。实验操作人员向参与者清楚地介绍了实验的目标和内容，以确保他们了解实验过程和目的。

在本实验中，选用OpenBCI放大器设备(https://openbci.com/)来收集脑电信号。在脑电采集中，参考电极位于头顶位置，接地电极位于前额顶部。除了参考电极和接地电极，还同时采集了来自3个通道(O1、O2、OZ)的脑电数据，并且严格保持了电极的阻抗在10KΩ以下，以确保信号的稳定性。

本实验中采用是OpenBCI脑电设备是一个开源的脑-机接口硬件，旨在使研究人员、开发者和创客能够更轻松地进行脑电信号采集和分析，以实现脑与计算机之间的直接交互。OpenBCI提供了开放的硬件设计和软件工具，使用户能够构建自己的脑电信号采集系统，同时也提供了易于使用的界面和库，方便进行数据分析和处理。

实验中的视觉刺激是通过液晶显示屏(DELL 27，1920x1080，60fps，尺寸44.0x31.9cm)呈现给参与者的。在脑电数据采集的同时，确保参与者将视线保持在距离刺激呈现显示器80±10cm的距离，以保持一致的视觉距离。

实验过程：

本实验旨在对比分析本申请提出的一种远程无人机控制方法和设备、与基于传统SSVEP控制范式的无人机控制方法和设备之间的性能差异。因此，同时实现了基于传统SSVEP控制范式的无人机控制方法和设备，传统SSVEP控制范式的界面如图9所示。通过在屏幕上固定放置六个闪烁方块，分别代表无人机的前方向901、无人机的后方向902、无人机的左方向903、无人机的右方向904、无人机的上方向905和无人机的下方向906。操作者在观察闪烁方块的同时，通过外部摄像头实时获取无人机周围环境的图像907，并在屏幕上实时显示。这样，操作者能够根据环境信息实时调整无人机的运行状态。

实验结果：

本申请提出的一种远程无人机控制方法和设备的响应时间、信息传输率均显著高于基于传统SSVEP控制范式的无人机控制方法和设备。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。