一种基于任务驱动的多通道3D实感无人机控制交互方法

技术领域

本发明属于无人机指挥控制应用领域，具体涉及一种基于任务驱动的多通 道3D实感无人机控制交互方法。

背景技术

随着无人机在军事领域应用的不断深入，以广域协调、集群控制为代表的 新型作战需求相继涌现，传统操纵装置的触控式交互模式以无法充分满足未来 多无人机监控、海量信息数据的作战环境。

目前的现有无人机指控系统交互方式主要存在三大不足，第一，交互模式 单一，基本仅依靠传统操纵装置实现人机交互，即操作杆、油门杆、脚蹬、链 路天线操作杆、控制面板的按压和杆量位移实现指令交互，其他自然交互如语 音、手势等多通道交互模式欠缺。第二，交互反馈缺乏，操作员交互反馈基本 没有，指令发出后，仅能从监控软件查验指令发送结果，无形中增加了操作员 的监控成本，缺少如3D语音告警、振动等反馈形式。第三，智能化水平低下， 缺乏对操作员的智能辅助能力，依托于人工智能、大数据的多模式交互、智能 推显等新兴交互方式基本没有在现有无人机地面站上使用，现有交互智能化水平低下，交互辅助能力弱，操作员负荷没有得到有效减轻。如何有效整合海量 信息，减轻操作人员工作负荷，支撑无人机操作员快速响应和决策成为了无人 机地面站发展的关键。

发明内容

本发明提供一种基于任务驱动的多通道3D实感无人机控制交互方法。该技 术创新性的设计了多级无人机地面站人机交互架构，减轻操作人员工作负荷， 支撑无人机操作员快速响应和决策成为了无人机地面站发展的关键。

本申请一种基于任务驱动的多通道3D实感无人机控制交互方法，所述方法 包括：

通过传统触控式设备或智能化非接触式设备，接收控制交互数据；

预先存储操作数据集、任务相关系统参数、情境相关系统参数；

基于混合非线性支持向量机算法，将所述控制交互数据、操作数据集、任 务相关系统参数和情境相关系统参数，融合到意图预测模型中；

通过训练自学习的聚类分析提取所述意图预测模型中的控制交互特征；

根据所述控制交互特征，在所述操作数据集中，查找对应的待显示信息；

对所述待显示信息进行显示。

具体的，所述传统触控式设备包括主动设备、被动设备、主/被动式设备；

所述智能化非接触式设备包括触摸控制、手势控制、语音识别、眼动检测。

具体的，对所述待显示信息进行显示，具体包括：

通过信息增强方式和降压式界面切换方式，对所述待显示信息进行显示。

具体的，所述操作数据集包括飞行员基本信息、年龄、飞行时长；

所述控制交互数据包括飞行员的实时操作数据、站内外传感器探测到的图 像数据、视频数据、语音数据和系统参数；

所述任务相关系统参数包括不同飞行任务阶段的飞机位置、高度、航线和 任务载荷启用状态参数；

所述情境相关系统参数包括不同传感器采集的计划变更参数、区域气候恶 劣情况和设备故障情况。

具体的，所述系统参数包括高度参数、速度参数和坐标参数。

具体的，飞行任务阶段包括起飞前准备、起飞出航、监视任务执行、攻击 任务执行、返航着陆、飞行后处理。

具体的，所述信息增强方式具体为：通过已高亮、闪烁或者动画效果，在 界面上突出显示待显示信息。

具体的，所述降压式界面切换方式具体为：通过减少无关显示内容，基于 当前任务和来自多源通道的操作员操作信息，根据无人机不同的操作要求，在 界面上突出显示待显示信息。

综上所述，本发明提供一种基于任务驱动的多通道3D实感无人机控制交互 技术，极大地提升了现有无人机地面站人机交互能力。具体如下：

1、该技术创新性的设计了通用化多级无人机地面站人机交互架构，明确了 未来交互模式下的输入层、模型层、输出层信息，该架构不受地面站硬件环境 影响，可灵活运用于现有地面站中。

2、有效整合海量信息，该技术通过制定信息增强显示和降压式界面切换逻 辑，自适应切换信息推送，整合海量信息和有限的显示界面。

3、提高地面站交互的智能化水平，通过设计了包含传统触控式(主动、被 动、主/被动式)、智能化非接触式的多通道交互和反馈能力，极大地提高了无 人机地面站智能交互能力。

附图说明

图1为本申请提供的一种基于任务驱动的多通道3D实感无人机控制交互技 术实现流程示意图；

图2为本申请提供的一种传统接触式无人机地面站人机交互方式示意图；

图3为本申请提供的一种融合智能化非接触式地面站多通道人机交互图；

图4为本申请提供的一种通用化多级无人机地面站人机交互架构图；

图5为本申请提供的一种基于任务驱动的多通道无人机界面切换逻辑图。

具体实施方式

下面根据附图对本发明作进一步详细说明。

本发明实施方案流程如下：

一种基于任务驱动的多通道3D实感无人机控制交互方法包括：

S10：包含传统触控式(主动、被动、主/被动式)、智能化非接触式的多通 道交互和反馈能力；

其中，传统触控式交互主要指人为肢体接触后，通过相互间的作用力完成 人机交互的手段。目前主流的接触式无人机地面站人机交互装置可分为三类， 分别是以人施加作用力操作的成为主动式交互装置，以装置通过振动或者其它 形式反馈给操作员的成为被动式交互装置，以及兼具主动操作和反馈的为主/ 被动式交互装置。传统触控式无人机地面站人机交互方式如表1和图2所示：

表1典型触控式人机交互方式表

智能化非接触式交互是指依托图像、手势和语音等信息识别进行控制指令 发送的手段，该类技术主要通过提取原数据中的特征信息，对比数据库模型， 寻找匹配模型信息，然后通过识别到的模型赋予原数据对应的指令信息，最后 实现指令的发送。该技术融合眼、耳、嘴、手等多模式交互设计实现，将可以 极大提升无人机人机交互水平。智能化非接触式交互实现流程如图3所示。

表2典型智能化非接触式交互方式表

S20：设计通用化多级无人机地面站人机交互架构；

具体的，通用化多级无人机地面站人机交互架构设计突破现有地面站人机 交互模式，引入多维度传感器，其主要由以下部分组成，如图所示：

S201：输入层是一种多元输入，包含了操作数据集、隐式反馈(触控式和 智能非接触式数据)。

该架构以人机智能认知信息架构框架理论中的任务结构为基础，使用多元 参数作为输入，包括操作数据集、控制交互数据。操作数据集主要包含飞行员 基本信息、年龄、飞行时长等等；控制交互数据包含了飞行员的实时操作数据、 站内外传感器探测到的数据(图像、视频、语音等)和系统参数(如高度、速 度、坐标等)等。

S202：模型层是基于自学习前融合的算法，将有情景、任务、显示反馈、 隐式反馈融合到一个模型中，通过训练自学习的聚类分析提取数据中的特征作 形成统一的推送结果。

模型层的建立依托于由第一级交互方式(传统接触式)产生的操作参数， 以及由第二级交互方式(智能化非接触式)产生的任务和情境相关系统参数， 任务相关系统参数由飞机位置、高度、航线、任务载荷启用状态等结合现在所 处的飞行任务阶段(起飞前准备、起飞出航、监视任务执行、攻击任务执行、 返航着陆、飞行后处理)进行判定。情境相关系统参数包括计划变更，区域气 候恶劣，某设备故障等，由传感器获得参数进行判定。

S203：输出层为结合了操作员状态表示(显示反馈、隐式反馈)和情景任 务表示所形成的操作意图识别。

输出层结合了操作员状态表示(显示反馈、隐式反馈)和情景任务表示所 形成的操作特定意图识别作为输出层，形成对信息增强显示和降压式界面切换 逻辑的输入。

基于任务与情境意图理解思路能将意图理解的过程化繁为简，实现实时操 作员意图预测。通过基于任务状态和情境状态的操作员意图理解技术，可以自 下而上地把庞大的操作员意图总集，根据给定的任务与情境条件，缩减为元素 较少的操作员意图集合；再通过基于操作员监控行为特异性表达的操作员意图 理解，可以在操作员意图集合中进一步识别出当前操作员的意图。

以眼动分析和操作员操作数据为例，操作员监控行为特异性表达在这里采 用了实时眼动分析和实时操作数据分析这两种方法，依次为基础，有效地实现 针对操作员在监控作业中的操作员意图识别。其中，定义眼动指标包括显式眼 动指标(直接反应操作员对视觉信息反应过程的指标，如注视点、注视时间等) 和隐式眼动指标(间接反应操作员生理状态的眼动指标，如瞳孔大小可以反应 操作员的紧张程度，眨眼频率、眼角开合角度反应操作员疲劳程度等)。

得到数据后，由过程化混合非线性支持向量机算法来完成最后的意图分析， 得到结果。把任务情景分析技术、操作员行为分析技术和操作员意图进行一一 对应。该计算方法先把收集到的数据样本(眼动、操作数据)映射到多维空间， 然后通过加入核函数，完成在这个多维空间内建立最优分类。具体原理如下： 设所有的计算都是内积运算，假设非线性函数φ：R

决策函数的输入与中间若干层节点构成一个类似神经网络的线性组合。单 个支持向量(如眼动、行为数据)输入内积的映射后，形成一个中间节点，即 支持向量网络。通过支持向量机算法建立意图理解模型，将实现操作员意图的 识别，并为下一步驱动动态时域人机交互界面打下基础。

S30：制定信息增强显示和降压式界面切换逻辑，支撑先进交互技术实现， 技术实现流程如图1所示。

在有限的显示资源条件下，自适应地驱动时域人机系统页面切换，根据 操作员的状态完整地显示匹配操作员当前监控作业意图所需的认知信息，以降 低工作负荷、增强态势感知。

结合当前无人机任务场景，以及来的多通道操作员实际操作情况，整合和 显示要素的设置(如字体大小、颜色等)，设计信息增强显示和降压式界面切换 两类切换逻辑，实现基于任务驱动的多通道无人机界面切换逻辑设计，如图所 示。

(1)信息增强显示即已高亮、闪烁、动画等效果，在界面上突出显示某些 信息。基于任务驱动的多通道交互技术可以捕捉任务阶段信息和来自多源通道 的操作员操作信息，根据无人机不同的操作要求，设计不同的信息增强显示逻 辑。

此处仅以通用的操作需求为例，如当系统收集到操作员对某一点信息长时 间注视时，系统自动在界面右侧些换出该点信息推送，并在左侧界面增强信息 显示。

(2)降压式界面切换遵循减轻操作员监控压力，通过减少无关显示内容， 基于当前任务和来自多源通道的操作员操作信息，根据无人机不同的操作要求， 设计不同的降压式界面切换逻辑。

此处仅以通用的操作需求为例，如当系统收集到操作员疲劳度上升后，系 统自动切换界面，减少正常信息(界面绿色信息)显示，减轻操作员的操作负 担。