一种基于注意力分配与突变代价的界面优化方法

技术领域

本发明涉及人机工程领域，尤其是一种基于注意力分配与突变代价的界面优化方法，用于对无人机监督控制系统界面进行优化。

背景技术

近年来，随着无人机技术的发展，无人机执行任务复杂性随之不断提高，无人机系统正朝着网络化、集群化的方向发展。与此同时，无人机监督控制系统需要发展与无人机相匹配的地面站，现有的无人机地面站大多都未针对多无人机进行监控，且在无人机监督控制系统中，当前设计的传统人机界面构造在理论方法层面仍然存在着一些缺陷，例如多无人机监督控制系统界面比较固定，缺乏智能化构建思想，且没有考虑操作员状态对人机交互的影响，不能有效满足多架次无人机的协同任务监控。

无人机监督控制系统的人机交互界面作为操作员与无人机系统的人机交互媒介，在人机交互过程中起决定性作用，其好坏决定了人机交互效率的高低，间接影响了任务的成功率。在进行多架次无人机的协同任务监控时，由于操作员需要同时监视多架无人机的状态，信息密度大，糟糕的界面布局设计会增加操作员通过界面获取信息的难度，而合理的界面布局能使操作员快速感知到其中的重要信息，减小操作失误的概率。因此需要对界面进行优化，不仅需要保证无人机操作界面完备的功能，还需要考虑操作员的状态。

发明内容

针对传统无人机监督控制系统在进行多架次无人机的协同任务监控时，存在界面固定，缺乏智能化，未考虑人机交互因素的缺陷，本发明基于现阶段多无人机监督控制系统通用样式设计，结合操作员视觉注意力分配因素和界面要素突变代价，提出一种融合视觉注意力分配与界面突变代价的界面布局优化方法

本发明的技术方案为：

所述一种基于注意力分配与突变代价的界面优化方法，包括以下步骤：

步骤1：定义态势地图、无人机状态监控、目标信息以及任务规划四种界面要素作为无人机监督控制系统的界面构建单位；并对每个界面要素进行参数化描述：

对于第i个界面要素IEF

geometry

x

对于第i个界面要素IEF

r

步骤2：基于注意力分配进行界面要素量化：

对于第i个界面要素IEF

显著性S：

其中

式中，d

努力EF：

其中，N为界面要素总数；

期望EX：

式中，W

价值V：

四种界面要素态势地图、状态监控、目标信息和任务规划价值量化依次为0.8、0.4、0.6、0.4；

步骤3：构造基于界面要素的损失函数：

界面要素布局的损失函数为：

loss＝∑error(IEF

其中error(IEF

对于第i个界面要素IEF

其中，S

构造界面要素布局突变代价

IEFMC＝Δgeometry+Δcolor

式中Δgeometry为几何突变代价，Δcolor为颜色突变代价；

几何突变代价Δgeometry由界面要素的位置变化和面积变化两个因素构成：

式中Δd为界面要素位置变化带来的影响，ΔS为界面要素面积变化带来的影响；(x

颜色突变代价Δcolor由界面要素背景颜色突变与界面信息颜色突变两个因素组成：

式中，ΔC

步骤4：根据损失函数对界面要素布局进行优化构建：

首先在位置约束条件下，随机选取界面要素的位置参数值，计算关键注意力分配因素值，进而计算得到注意力分配误差函数值，再与原始界面布局计算界面要素布局突变代价，得到最终的损失函数值；

在随机的位置参数中，选择最低的损失函数值对应的界面布局，其次在该界面布局周围再寻找最优解，将最终所确定的最小损失函数对应的界面布局作为最终优化后的界面要素布局。

进一步的，步骤1中，取人机交互界面的左上角为原点，向右为x轴正向，向下为y轴正向，x

进一步的，步骤1中，第i个界面要素IEF

所述不重叠约束为任意两个界面要素IEF

y

进一步的，采用凝视时间、凝视次数、总的完成时间以及内敛度和发散度进行人机交互界面综合评价；其中

内敛度IN：

式中Na为界面要素区域的凝视次数；M为整个界面的凝视次数；Ta为界面要素区域的凝视时间；T为凝视时间和扫视时间之和，即总的时间；

发散度DI：

有益效果

目前，多无人机监督控制系统界面呈现出一种相对固定的模式，缺乏智能化构建思想，同时也未考虑操作员状态对人机交互的潜在影响。针对这一现状，本发明以操作员执行多无人机监督控制任务的实际场景为基础，展开界面智能构建的研究工作，充分考虑了操作员的状态因素，提出一种优化多无人机监督控制系统人机交互界面的方法。

所提出的方法致力于实现人机交互界面的动态适应，使其能够根据操作员的状态进行灵活调整，根据操作员视觉注意力分配因素和界面要素突变代价进行界面优化。这种调整能够提高人机交互的效率，使得操作员在执行监督控制任务时能够更加顺畅地与系统进行交互。本发明为多无人机监督控制系统的界面设计和人机交互模式的智能化升级提供了有益的思路和方法，对无人机技术的发展具有显著的促进作用。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1：最佳视角示意图；

图2：原始界面要素布局示意图；

图3：优化算法迭代过程示意图；

图4：优化后的界面要素布局示意图；

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施例以无人集群监督控制系统人机交互界面为研究对象，以监督控制无人机摧毁敌方地面防空火力任务这一典型作战任务为场景，充分考虑操作员的状态，提出一种多无人机监督控制系统人机交互界面的优化方法，使人机交互界面动态适应操作员的状态，提高人机交互效率。

具体包括以下步骤：

步骤1：界面要素参数化

现有的人机交互图形界面通常呈现区域化的特点，即整个界面由若干区域组成，不同区域具有不同的功能，例如菜单栏、状态栏等；各个区域包含具有相同或相似功能的单元，例如菜单栏的各项菜单、状态栏的各种状态等。结合多无人机监督控制任务场景特点，定义界面要素(IEF,interface essential factor)为组成整个多无人机监督控制系统界面的区域，即交互界面中的各个功能模块。

基于现阶段多无人机监督控制系统通用样式，为了涵盖多无人机监督控制的全部功能要求，且多无人机监督控制环境下不需要对单架无人机的飞控进行操作，故本发明定义态势地图、无人机状态监控、目标信息以及任务规划四种界面要素作为无人机监督控制系统的界面构建单位。

界面要素作为构成界面的基础功能模块，同时也是界面要素层构建模型的基本单元，要进行快速的智能优化及界面构建，需要对界面要素进行参数化的描述。界面要素个体用IEF表示，第i个界面要素表示为IEF

根据多无人机监督控制系统界面设计惯例以及国家标准，本研究界面要素基本形状取为矩形，故界面要素位置和面积等因素可以完备地由左上角横坐标、左上角纵坐标、宽度以及高度组成的四元组表示，另外，优化模型重点关注界面布局结构对人机交互效率的作用，需要尽可能避免硬件参数的影响，故界面要素的位置描述不以像素点为衡量单位，而将界面要素的位置描述为其长度占整个多无人机监督控制系统界面宽和高的比例。对于第i个界面要素IEF

geometry

式中，取人机交互界面的左上角为原点，向右为x轴正向，向下为y轴正向。x

对于位置描述为(x

同时对于任意两个界面要素IEF

y

对于色彩方面的，颜色对于界面的影响比较复杂，界面要素中的颜色可能不止一种，操作员从界面获取信息时颜色的影响主要来自界面要素中信息的表现色彩和背景的色差，故对于第i个界面要素IEF

color

其中，color

步骤2：基于注意力分配的界面要素量化

在操作员对多架无人机进行监督控制的过程中，若遇到复杂情境，通常会有大量信息出现，争夺操作员有限的注意力资源。操作员是否能将注意力优先分配给那些价值较高且急需处理的信息，这将直接影响到操作员的态势认知能力和人机交互的效率。优秀的交互界面产生较小的注意力消耗，而糟糕的交互界面会大量消耗操作员的注意力资源。因此，本发明在SEEV模型的基础上，通过四种关键注意力分配因素量化界面的数值，分别是：显著性(S)、努力(EF)、期望(EX)和价值(V)。

(1)显著性

显著性(S)是用来描述物体的可感知性，受界面要素面积显著性C

式中，d

(2)努力

努力因素(EF)是转移注意力的困难程度。通过计算不同界面要素之间的相对距离来量化操作员注意转移所需付出努力的大小，如下式所示：

式中，EF

(3)期望

期望(EX)表示操作员应当关注该界面要素的程度，将其量化为界面要素的期望权重占全部界面要素期望权重之和的比例，如下式所示：

式中，W

(4)价值

信息优先度具体体现为信息的价值(V)。在执行多无人机监督控制任务的过程中，操作员总是倾向于将注意力分配给那些价值较高的信息。参考美国联邦航空局民用航空医学研究所Beringer的问卷调查数据结果，根据无人机信息类型定义4个信息优先度，与无人机监督控制系统界面包含的信息相对应。具体的分类结果如下：

表1界面中信息对应的信息优先度

故对四种界面要素态势地图、状态监控、目标信息和任务规划价值量化依次为0.8、0.4、0.6、0.4，价值量化向量如下式所示：

V＝{0.8,0.4,0.6,0.4}(1-8)

步骤3：构造基于界面要素的损失函数

根据步骤2的结果，显著性和努力因素描述了交互界面对注意力分配的影响，期望和价值描述了操作员对注意力分配的影响，一个优秀的界面要素布局应是交互界面和操作员完美的统一。对于界面要素IEF

其中，S

同时对于人机交互界面来说，优化前后的两种界面要素布局之间可能存在差异，从而打破操作员对于界面要素布局的心理模型，带来一定的代价，因此，本发明将这种代价称之为界面要素布局突变代价(IEFMC,Interface Essential Factor Mutation Cost)。

界面要素突变代价主要来自界面要素重新构建前后的差异，故界面要素突变代价主要包含几何突变代价和颜色突变代价两部分，如下式所示：

IEFMC＝Δgeometry+Δcolor(1-11)

式中，Δgeometry为几何突变代价，Δcolor为颜色突变代价。

其中几何突变代价Δgeometry由界面要素的位置变化和面积变化两个因素构成，如下所示：

式中Δd为界面要素位置变化带来的影响，ΔS为界面要素面积变化带来的影响。(x

颜色突变代价Δcolor由界面要素背景颜色突变与界面信息颜色突变两个因素组成，如下所示：

式中，ΔC

综上所述，界面要素布局的损失函数如下所示：

loss＝∑error(IEF

其中，IEF

通过上述分析可以看出，界面要素布局误差函数中包含一些参数需要确定，这些参数并非来自界面要素自身，而是用来优化各部分的影响关系，包括：ω

多无人机监督控制为较稳定的环境，操作员与交互界面的距离通常保持不变，这里将d确定为操作员注视交互界面的水平视角等于60°时的值，如图1所示。

如图1所示，根据角度关系可知

通过层次分析法，对于界面要素的期望权重值W

设定初始界面布局，态势地图、状态监控、目标信息、任务规划这四个界面要素的初始位置为左上、右上、右下、左下，且各个界面要素的高h与宽w均占屏幕百分比的50％，具体示意图如图2所示。

原始界面要素布局的位置参数信息如下表所示：SS

表2优化前原始界面要素布局的位置参数

通过对原始界面要素基于注意力分配的界面要素量化，可以计算得到原始界面的损失函数，如下表所示：

表3优化前界面要素布局的损失函数

由于原始界面未发生界面要素突变情况，故突变代价为0。

然后根据损失函数对界面要素布局进行优化：

对界面要素优化主要是优化界面要素的布局位置参数，结合突变代价，得到最低损失函数的过程，其整体可以理解为在一定的约束条件下，求解出损失函数的最小值，下面给出界面要素布局优化算法：

界面要素布局优化算法思路是，首先在位置参数的约束条件下，随机选取一些位置参数值，计算其影响因素数值，即得到显著性、努力、期望、价值、颜色的量化值，进而计算出误差函数，再结合与原始界面布局的界面要素突变代价，得到最终的损失函数。在这些随机的位置参数中，选择最低的损失函数值，其次在其周围寻找最优解，即更小的损失函数值，将最终所确定的最小损失函数对应的参数值，其就能够代表最优界面要素布局的具体参数。可以从图3可以看到，经过200次的随机迭代，可以得到最优界面要素的损失函数值0.0049。

经过计算优化后界面的误差函数和界面要素突变代价，匹配最佳优化界面的损失函数，得到优化后的最优界面要素布局，示意图如图4所示：

优化前后的界面要素的位置参数信息如下表所示：

表4优化前后界面要素布局的位置参数

采用仿真平台模拟操作员监督控制无人机集群进行对敌防空压制的任务流程，操作员分别对两种人机交互界面进行操作，优化后界面的损失函数较原先降低了0.7336，下降了98.54％，如下表所示：

表5优化前后界面要素布局的损失函数

接下来，我们基于眼动数据对人机交互界面进行综合评价：

基于注意力分配的界面要素优化构建方法是以界面要素自身参数为基础，计算界面要素布局的损失函数，属于客观指标评价方法，需要配合基于生理指标的评价方法，检验构建优化界面对于人的认知状态的作用效果。可以使用包括：凝视时间、凝视次数等相关眼动数据，建立基于眼动指标的人机交互界面综合评价方法。

数字界面认知眼动评价，需要从信息加工的角度考察用户的眼动行为表征。多数学者认为凝视时间、凝视次数、总的完成时间(含凝视时间和扫视时间)与信息加工有关，凝视时间和总的完成时间越长，凝视次数越多，界面设计就越差。这种看法存在片面性，没有将界面中的信息加工认知与一般视觉活动分开。本发明中提出，分析界面的信息加工应该选择一个界面要素区域，界面要素区域中的凝视时间和凝视次数占整个界面的完成时间和凝视次数的比例越大，说明用户对界面的信息加工越好，无效的外在认知负荷较少，整个界面越内敛。引入内敛度概念，内敛度IN定义如下：

式中：Na为界面要素区域的凝视次数；M为整个界面的凝视次数；Ta为界面要素区域的凝视时间；T为凝视时间和扫视时间之和，即总的时间。研究表明，凝视的持续时间越长，加工难度就越大，与用户解释界面要素表征耗时就越长。因此，在此基础上计算有效凝视时间之和与凝视次数的比值来反映加工的发散程度。发散度值越高，表示其单个元素的信息加工越难，界面认知负荷越高，整体不够收敛，偏发散，数字界面设计差。发散度DI定义如下：

因此，本实施例基于界面眼动认知评价模型，通过凝视次数、凝视时间、内敛度、发散度对人机交互界面进行综合评价，验证界面要素布局优化模型的效果。在四等分原始界面与优化界面两种情况下各进行30组仿真实验，操作员执行多无人机监督控制任务过程中，在各界面要素的眼动数据的均值如下表所示：

表6优化前后界面要素布局的眼动数据对比

原始界面情况下，操作员总凝视次数为41.59次，总凝视时间为28.94秒，优化界面情况下，操作员总凝视次数为44.78次，总凝视时间为28.58秒，可以看到优化界面相对于原始界面，操作员凝视次数增大，而总凝视时间基本不变，甚至略微减小，这是由于优化构建模型即使已经考虑了界面变化带来的突变代价，但仍使操作员在某些情况需要在优化构建后的界面重新寻找信息，导致凝视次数的增大，但优化界面智能调整了界面要素的位置、面积等因素，使信息更容易被获取，操作员总的凝视时长没有增加，而每次凝视的平均时长由0.70秒降低至0.64秒，表明优化界面的信息获取难度更低。

从内敛度和发散度的角度来看，原始界面情况下，操作员在各界面要素的总内敛度为0.0196，总发散度为2.9256，优化界面情况下，操作员在各界面要素的总内敛度为0.0196，总发散度为2.5864，可以看到，优化界面在总内敛度基本保持不变的情况下，使界面的总发散度更低，表明优化界面的用户解释界面要素表征耗时更短，使操作员更容易获取信息，提升了人机交互效率。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。