一种无人机光电图像目标搜索量化指示方法、设备及介质

技术领域

本发明涉及目标指示技术领域，更为具体的，涉及一种无人机光电图像目标搜索量化指示方法、设备及介质。

背景技术

目标指示技术是对通过不同手段获取的目标信息，经过映射计算，建立目标与本平台载荷坐标之间的相对关系的过程。目标指示技术的基本方法是方位距离法，该方法针对平台雷达等传感器的探测目标、人工装订目标或外部指定目标，利用不同目标相对平台载荷的方位和距离进行目标指示。随着目标信息探测越来越复杂，干扰因素越来越多，方位距离法无法支撑高精度的目标指示需求，因此，纯方位目标指示法在目标的末端引导等领域被提出并应用。纯方位目标指示法需要建立目标指示区域的数学模型和纯方位目标搜索引导模型。在目标指示区域的数学模型中，一般采用平台机动过程中对监视区域目标进行多方位测向，进行无源多交叉定位。假设平台运动过程中获取了不同时刻的测量目标方位，利用该组方位，组成一组测向向量，利用该测向向量进而求得该目标相对该平台载荷的相对方位。在纯方位目标搜索引导模型中，以平台载荷的工作时段内的地理坐标为原点，平台载荷坐标系为坐标，建立指示目标在该坐标系下的搜索引导路线，以供平台对该目标进一步的捕获和锁定。

光电图像目标指示技术是目标指示技术的一种特殊形成，是对不同手段获取目标坐标，映射到光电载荷坐标系的一种指示方式，进而为操作用户提供当前指定目标相对该光电载荷方位差异、距离、抵近方向等即时的提示信息。目前光电图像目标指示技术主要依靠二维或三维的态势地图，将平台、载荷和指示目标的地理分布分别进行绘制，操作员通过理解态势地图上的各种分布和运动趋势，进而制定进一步的操作行为。这种光电图像目标指示技术只能指出目标与地理坐标系、载荷与平台、平台与地理坐标系之间的相对关系，无法简明地提供当前目标与光电载荷或光电图像的直接关系，因此指示信息的维度有限，引导精度不高，理解难度较高。这些问题，是本领域技术人员广泛关注的热点问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无人机光电图像目标搜索量化指示方法、设备及介质，具备多维度信息指示、高精度量化引导、自然友好可视化方式的优点，能够辅助无人机操作人员高效完成指示目标锁定。

本发明的目的是通过以下方案实现的：

一种无人机光电图像目标搜索量化指示方法，包括以下步骤：

S1，利用无人机光电吊舱摄像机绝对参数计算，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；

S2，利用光电吊舱摄像机视场角计算，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；

S3，指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；

S4，通过目标指示引导可视化设计，便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；

S5，进行指示目标动态可视化绘制，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。

进一步地，在步骤S1中，所述位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度；所述姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角Y

进一步地，在步骤S2中，所述成像内参数包括光电吊舱摄像机的焦距和像元尺寸信息；所述视角角度包括横向视场角度V

进一步地，进一步地，在步骤S3中，所述指示目标相对光电吊舱摄像机坐标系的指示信息，包括该目标在光电吊舱摄像机坐标系的方位角Y

进一步地，在步骤S4中，所述目标指示引导可视化设计，具体对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计。

进一步地，在步骤S5中，所述指示目标动态可视化绘制，具体包括对目标指示引导可视化要素的绘制，并通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。

进一步地，所述位置信息通过无人机平台的经度Lon

所述姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角Y

所述覆盖范围信息通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域S

进一步地，所述目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度V

一种无人机光电图像目标搜索量化指示设备，包括

无人机光电吊舱摄像机绝对参数计算模块，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；

光电吊舱摄像机视场角计算模块，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；

指示目标相对位姿计算模块，获取指示目标相对光电吊舱摄像机坐标系的指示信息；

目标指示引导可视化设计模块，通过该模块便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；

指示目标动态可视化绘制模块，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。

一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如上任一项所述的方法。

本发明的有益效果包括：

本发明技术方案解决了已有目标指示方法指示信息单一、目标指示精度不高、指示界面可视化方式不直观的技术问题。

本发明技术方案指示信息维度多，不仅提供了目标在地理坐标系下的绝对地理位置，同时提供了多个目标在光电吊舱摄像机坐标系的方位角、俯仰角、斜距、多个目标与光电吊舱摄像机的地距。另外，本发明技术方案也将光电吊舱摄像机在地理坐标系下的偏航角、俯仰角、横滚角，以及光电吊舱摄像机图像在地面投影的四边形区域进行可视化渲染显示，配合光电吊舱摄像机的等效焦距、横向视场角度、纵向视场角度，为无人机操作人员提供多维度的及时反馈可视化引导指示界面。

本发明技术方案操作引导高精度量化，基于计算机视觉和光学成像模型，将多个指示目标分别在地理坐标系、导航坐标系、光电吊舱摄像机坐标系、图像坐标系下分别进行投影，充分利用了多个指示目标在不同维度的区分度，进而保障指示信息的高灵敏度和高精度。

本发明技术方案指示要素可视化自然友好，不仅为无人机操作人员提供多维度、高精度的目标引导指示量化数值，同时还提供了目标动态可视化绘制，可视化信息区分度高，具备明确的物理意义，指示要素可视化效果自然友好，易于学习和理解。

本发明技术方案适用于动态复杂场景、多目标的航空观测、目标搜索定位、光电成像引导以及目标确认等场景。

本发明技术方案中，利用无人机光电吊舱摄像机绝对参数计算，实现地理导航坐标系下的光电吊舱摄像机相对位姿和覆盖范围计算；利用光电吊舱摄像机视场角计算，计算获取光电吊舱在该时刻的横向视场角度、纵向视场角度和等效焦距；利用指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；目标指示引导可视化设计，便于操作员理解和认知的目标指示引导要素；利用指示目标动态可视化绘制，完成对目标指示引导可视化要素的绘制。本发明技术方案能够为无人机操作人员提供包括导航坐标系下的摄像机位置、姿态、覆盖范围，摄像机的视场角、焦距，摄像机坐标系下的目标位置、方位，目标相对光轴落地点的方位、距离在内的目标搜索、指示及引导信息，辅助无人机操作人员高效完成指示目标锁定。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例无人机光电图像目标搜索量化指示场景示意图；

图2为本发明实施例无人机光电图像目标搜索量化指示方法流程图；

图3为本发明实施例目标指示窗口要素示意图；

图中，1-三维场景，2-无人机平台，3-光电吊舱摄像机，4-光电吊舱摄像机视场范围，5-光轴落地点，6-指示目标I，7-指示目标II，8-指示目标III，9-光电吊舱摄像机在地理坐标系下的偏航角刻度，10-光电吊舱摄像机在地理坐标系下的俯仰角刻度，11-光电吊舱摄像机横向视场角度，12-光电吊舱摄像机纵向视场角度，13-指示目标I可视化标识，14-指示目标II可视化标识，15-指示目标III可视化标识。

具体实施方式

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

鉴于背景技术中的问题，本发明的发明人进一步思考分析后，认识到如下技术问题：目前本领域技术人员对光电图像的目标指示引导主要通过在二维态势地图上标绘目标与无人机及光电吊舱摄像机的相对方位进行操作行为引导和反馈，也即操作人员需要通过理解二维态势地图上的标绘信息，制定自己的即时性操作行为。这种指示引导信息相对单一，反馈信息需要操作人员进一步分析判读，在多目标动态场景下，该方式无法高效准确地为提供指示目标与当前光电吊舱之间的直接关系，进而影响目标搜索、侦察、打击及确认的效率。因此，本发明构思设计一种高效的无人机光电目标指示引导方法，并对其引导和指示信息进行量化和可视化，辅助无人机操作人员高效完成指示目标锁定。

本发明所提方法可以由无人机、无人机光电吊舱摄像机、三维场景、指示目标共同组成的场景进行说明，如图1所示，包括三维场景1、无人机平台、光电吊舱摄像机3、光电吊舱摄像机视场范围4、光轴落地点5、指示目标I 6、指示目标II 7、指示目标III8(需要说明，本发明技术方案不限于此场景，类似的，在航空观测、目标搜索定位、光电成像引导以及目标确认等领域都有广泛应用的目标指示技术领域，也可进行应用)。无人机利用光电吊舱摄像机对地进行成像观测，其中，三个目标超出光轴落地点和观测视场，无人机操作人员观察到的为光电吊舱摄像机视频图像数据，如何为无人机操作员提供引导指示信息，使得其高效快速地定位到需要观测的目标，是本发明技术方案解决的问题场景。

本发明技术方案为无人机光电图像目标的搜索提供导航坐标系下的摄像机位置、姿态、覆盖范围，摄像机的视场角、焦距，摄像机坐标系下的目标位置、方位，目标相对光轴落地点的方位、距离等信息。

在进一步的发明构思中，本发明提供一种无人机光电图像目标搜索量化指示方法，如图2所示，首先，利用由无人机平台的地理位置参数和无人机平台的姿态参数，配合光电吊舱摄像机相对无人机平台的相对姿态，通过无人机光电吊舱摄像机绝对参数计算模块，计算获取光电吊舱摄像机在地理坐标系下的偏航角、俯仰角和横滚角，计算获取光电吊舱摄像机在地理坐标系下的经度、纬度和高度，并计算获取该时刻光电吊舱摄像机图像覆盖的地理范围坐标。然后，利用光电吊舱摄像机的焦距和像元尺寸信息，通过光电吊舱摄像机视场角计算模块，计算获取该光电吊舱在该时刻的视角角度和等效焦距。再然后，利用指示目标相对位姿计算模块，计算得到指示目标相对光电吊舱摄像机坐标系的偏航角、俯仰角和斜距。目标指示引导可视化设计模块对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计，最终在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。

在进一步的发明构思中，所述无人机光电吊舱摄像机绝对参数计算模块，目的是计算获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息。其中，位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度，姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角Y

在进一步的发明构思中，所述光电吊舱摄像机视场角计算模块，利用光电吊舱摄像机的放大倍率、像元尺寸S

在进一步的发明构思中，所述指示目标相对位姿计算模块，目的是计算获取指示目标相对光电吊舱摄像机坐标系的指示信息，该指示信息包括该目标在光电吊舱摄像机坐标系的方位角Y

在进一步的发明构思中，所述目标指示引导可视化设计模块，目的是设计便于操作员理解和认知的目标指示引导要素，并通过可视化的方式进行展示。如附图3所示，包括，光电吊舱摄像机在地理坐标系下的偏航角刻度9、光电吊舱摄像机在地理坐标系下的俯仰角刻度10、光电吊舱摄像机横向视场角度11、光电吊舱摄像机纵向视场角度12、指示目标I可视化标识13、指示目标II可视化标识14和指示目标III可视化标识15。本发明中，目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度V

在进一步的发明构思中，所述指示目标动态可视化绘制模块，主要完成对目标指示引导可视化要素的绘制，通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。

在具体实现过程中，本发明实施例技术方案，包括如下步骤：无人机光电吊舱摄像机绝对参数计算步骤、光电吊舱摄像机视场角计算步骤、指示目标相对位姿计算步骤、目标指示引导可视化设计步骤以及指示目标动态可视化绘制步骤五个步骤。在无人机光电吊舱摄像机绝对参数计算步骤中，主要包括如下子步骤：

首先，计算获取光电吊舱摄像机在地理坐标系下的位置信息。位置信息通过无人机平台的经度Lon

然后，计算光电吊舱摄像机在地理坐标系下的姿态信息。姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角Y

其中

光电吊舱摄像机在地理坐标系下的旋转矩阵R

在该计算过程，计算无人机平台在地理坐标系下的偏航角Y

在该计算过程，光电吊舱摄像机在地理坐标系下的旋转矩阵R

其中，INV表示矩阵求逆运算符号。

最后计算光电吊舱摄像机在地理坐标系下的覆盖范围信息。覆盖范围信息是通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域S

所述光电吊舱摄像机视场角计算步骤，利用光电吊舱摄像机的放大倍率、像元尺寸S

其中，W

纵向视场角度V

其中，H

所述指示目标相对位姿计算步骤，计算获取指示目标相对光电吊舱摄像机坐标系的指示信息，该指示信息包括该目标在光电吊舱摄像机坐标系的方位角Y

Y

其中，(Lon

所述目标指示引导可视化设计步骤，目的是设计便于操作员理解和认知的目标指示引导要素，并通过可视化的方式进行展示。本实施例中，目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度V

所述指示目标动态可视化绘制步骤，在本实施例中，主要完成对目标指示引导可视化要素的绘制，通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。

需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。

实施例1

一种无人机光电图像目标搜索量化指示方法，包括以下步骤：

S1，利用无人机光电吊舱摄像机绝对参数计算，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；

S2，利用光电吊舱摄像机视场角计算，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；

S3，指示目标相对位姿计算，获取指示目标相对光电吊舱摄像机坐标系的指示信息；

S4，通过目标指示引导可视化设计，便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；

S5，进行指示目标动态可视化绘制，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。

实施例2

在实施例1的基础上，在步骤S1中，所述位置信息包括光电吊舱摄像机在地理坐标系下的经度、纬度和高度；所述姿态信息包括光电吊舱摄像机在地理坐标系下的偏航角Y

实施例3

在实施例1的基础上，在步骤S2中，所述成像内参数包括光电吊舱摄像机的焦距和像元尺寸信息；所述视角角度包括横向视场角度V

实施例4

在实施例1的基础上，在步骤S3中，所述指示目标相对光电吊舱摄像机坐标系的指示信息，包括该目标在光电吊舱摄像机坐标系的方位角Y

实施例5

在实施例1的基础上，在步骤S4中，所述目标指示引导可视化设计，具体对指示目标相对光电吊舱摄像机坐标系的方位角、俯仰角、斜距、摄像机的视场角和焦距进行可视化设计。

实施例6

在实施例1的基础上，在步骤S5中，所述指示目标动态可视化绘制，具体包括对目标指示引导可视化要素的绘制，并通过对无人机操作人员的可视化界面即时反馈和量化数值反馈，辅助无人机操作员制定下一步精确操控指令。

实施例7

在实施例2的基础上，所述位置信息通过无人机平台的经度Lon

所述姿态信息通过将光电吊舱摄像机相对无人机平台的偏航角Y

所述覆盖范围信息通过计算获取得到的光电吊舱摄像机位置信息和姿态信息，通过光电成像原理，组建共线方程，利用最优化原理计算获取得到光电吊舱摄像机图像在地面投影的四边形区域S

实施例8

在实施例5的基础上，所述目标指示引导可视化要素包括光电吊舱摄像机的等效焦距f、视场横向角度V

实施例9

一种无人机光电图像目标搜索量化指示设备，包括

无人机光电吊舱摄像机绝对参数计算模块，获取光电吊舱摄像机在地理坐标系下的位置信息、姿态信息和覆盖范围信息；

光电吊舱摄像机视场角计算模块，通过成像内参数和光电吊舱摄像机视场角计算获取该光电吊舱在该时刻的视角角度和等效焦距；

指示目标相对位姿计算模块，获取指示目标相对光电吊舱摄像机坐标系的指示信息；

目标指示引导可视化设计模块，通过该模块便于操作员理解和认知的目标指示引导可视化要素，并通过可视化的方式进行展示；

指示目标动态可视化绘制模块，将在二维态势地图、光电吊舱摄像机视频画面和目标指示窗口进行量化的指示信息可视化绘制。

实施例10

一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如实施例1～实施例8任一项所述的方法。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

根据本发明的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。