一种军民航机场全自动进近着陆监视方法

技术领域

本发明属于多源信息处理技术领域，尤其涉及一种军民航机场全自动进近着陆监视方法。

背景技术

空中交通管制用于防止飞机与飞机相撞、飞机与障碍物相撞，实现维护和加快空中交通的有序流动的目的，包括塔台管制、进近管制和区域管制。区域管制保障航路飞行安全；塔台管制和进近管制主要保障飞机起降阶段的飞行安全。

目前，军民航机场主要以I类盲降系统进行配置，少数大型民航机场(首都机场、广州白云机场、上海浦东机场等)配置有II类盲降系统，主要包含指点信标、MLS(微波着陆系统)、ILS(仪表着陆系统)、TACAN(塔康)、着陆雷达(793、794)等。军航机场以国产设备为主，飞行员根据机载仪表指示(包括方位、下滑角等)进行飞行降落；塔台管制利用着陆雷达回波、VHF电台等手段进行语音引导指挥，管制员通过望远镜观察飞机降落阶段的飞行姿态、起落架的收放状态。现有机场进近着陆监视手段及系统存在以下缺点：(1)民航机场依靠广播式自动相关监视系统设备、军航机场依靠着陆雷达进行降落航线监视，监视手段单一、信息化和自动化水平不足；(2)管制员通过望远镜目视飞机降落阶段的飞行姿态、起落架的收放状态，值班压力大，系统显示不直观；(3)在不良天气条件中(例如雾霾、夜晚等能见度天气)，保障能力受限，增加了飞机的着陆风险。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种军民航机场全自动进近着陆监视方法，全自动监视飞机降落全过程，为塔台指挥员或飞行员提供精准的飞机着陆信息，最大程度保障飞机降落着陆安全，用于满足军民航机场飞机进近着陆阶段的可视化引导和全自动监视的用户需求。本发明方法具体包括如下步骤：包括如下步骤：

步骤1：获取目标的航迹数据和图像数据；

步骤2：根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；

步骤3：建立雷达、广播式自动相关监视系统目标跟踪通道模型；

步骤4：判断图像跟踪位置是否处于目标跟踪通道，如果处于目标跟踪通道，继续跟踪；否则，返回步骤2；

步骤5：根据图像跟踪位置，计算目标区域，利用深度卷积神经网络检测模型识别目标起落架收放状态。

步骤1包括：

所述目标的航迹数据包括雷达、广播式自动相关监视系统或光电设备提供的方位、俯仰和距离信息；所述图像数据是指光电设备提供的红外和可见光图像。

步骤2包括如下步骤：

步骤2-1：根据潜在目标的灰度特征、尺寸特征、角点特征，建立目标优先级模型，计算所有目标点的锁定优先级权重，选择锁定优先级权重最高目标进行自动锁定；

步骤2-2：构建图像特征匹配跟踪模型，对锁定目标进行高精度稳定跟踪。

步骤2-1包括：

利用canny分割算子计算潜在目标外接矩形框，基于潜在目标的灰度特征、尺寸特征和角点特征建立目标优先级模型，公式如下：

潜在目标的灰度特征计算公式如下：

其中，w

潜在目标的尺寸特征计算公式如下：

其中，w

潜在目标的角点特征：基于目标区域寻找面向快速和旋转的BRIEF即ORB(Oriented FAST and Rotated BRIEF，ORB：An Efficient Alternative to SIFT orSURF，http://www.willowgarage.com/sites/default/files/orb_final.pdf)角点，基于如下公式计算所述潜在检测目标的角点特征系数值w

其中，Pn为ORB角点个数，Pmax为目标最多有效角点数；

目标优先级模型如下：

w＝a

其中，w为锁定优先级权重，a

步骤2-2包括：

在基于锁定优先级权重选定锁定目标后，目标外接矩形为跟踪模板，构建图像多特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行跟踪：

模板匹配时，计算跟踪模板和匹配区域的相似程度，以最相似位置为匹配点，采用以下的匹配准则作为T(i,j)和f(i,j)的相似性测度：

其中，d(x

步骤3包括如下步骤：

步骤3-1：分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：

(x-a)

其中，(x，y)是当前跟踪位置坐标，(a，b)是历史通道中心坐标，r是历史通道半径；

步骤3-2：基于信号时空强相关特征，通道切面更新为：

其中，中间参数a

其中，(a

步骤4包括如下步骤：

步骤4-1：按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道：

a＝a

b＝b

r＝r

步骤4-2：判断图像跟踪位置是否处于目标跟踪通道，如果是，继续跟踪；否则，返回步骤2：

当(x-a)

当(x-a)

当(x-a)

步骤5包括如下步骤：

步骤5-1：通过目标特征分割算法计算飞机区域；

步骤5-2：构建起落架训练样本库，建立深度卷积神经网络检测模型，对目标起落架收放状态进行智能识别。

步骤5-1包括：

通过目标区域分割提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割是采用canny边缘算子，围绕当前第p帧(x

Height

步骤5-2包括：构建起落架训练样本库，基于历史数据对飞机起落架区域进行标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类别标签；积累两张以上标注样本形成起落架训练样本库；

采用深度卷积神经网络检测模型，即YOLOV3模型对起落架训练样本库中的样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率，基于起落架训练样本库进行训练，在模型收敛后停止；最后通过训练得到收敛的YOLOV3模型，将步骤5-1得到的(x

本发明还提供了军民航机场全自动进近着陆监视系统，包括信息获取设备、数据处理设备和显示控制设备三部分。信息获取设备由雷达、光电、广播式自动相关监视系统、信号转换与传输设备(含红外SDI图像采集卡、可见光SDI图像采集卡、以太网卡、光纤收发器)组成，分别获取雷达、光电、广播式自动相关监视系统设备的航迹数据和光电设备的图像数据，其中，航迹数据通过以太网发生到数据处理设备和显示控制设备；图像数据经光纤收发器进行光电转换将电信号转换为光信号，发送到数据处理设备和显示控制设备；数据处理设备由图像处理工作站、数据处理工作站、信号转换与传输设备组成(含SDI图像采集卡、以太网卡、光纤收发器)，通过以太网接收航迹数据；通过光纤收发器进行光电转换将光信号转换为电信号，利用SDI图像采集卡接收图像数据；显示控制设备由显示控制工作站、显示屏、信号转换与传输设备组成(含SDI图像采集卡、以太网卡、光纤收发器)，通过以太网接收航迹数据；通过光纤收发器进行光电转换将光信号转换为电信号，利用SDI图像采集卡接收图像数据。

本发明与现有技术和系统相比，显著优点是：全自动运行，能够自动引导、自动锁定目标并跟踪、自动计算下滑道偏差和识别起落架收放状态；融合雷达、广播式自动相关监视系统、光电等多源信息，形成统一的目标态势信息；显示直观和清晰，系统根据目标距离远近，利用红外热像仪和可见光摄像机进行自动高倍连续变焦，在远近距离均可清晰地看清飞行姿态、起落架收放状态；在不良天气条件中(例如雾霾、夜晚等能见度天气)，能够清晰监视飞机降落的全过程。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明工作流程图。

图2是本发明架构图。

图3a是本发明输入的光电图像数据。

图3b是经本发明处理后的起落架识别结果。

具体实施方式

如图1、图2所示，本发明提供了一种军民航机场全自动进近着陆监视方法，包括如下步骤：

(1)获取目标的航迹和光电图像数据，如图3a所示；

雷达目标的航迹数据具体包括方位、俯仰、距离和二次代码；

广播式自动相关监视系统设备输出经度、纬度、高度、二次代码(5707)和目标地址码信息(FF085D91)，通过地理坐标转球坐标，获得目标的航迹数据，具体包括方位、俯仰、距离信息二次代码5707；

光电设备目标的航迹数据具体包括方位、俯仰、距离、尺寸、灰度等信息。

(2)根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；

(a)目标自动锁定

自动锁定策略利用canny分割算子计算潜在目标1外接矩形框(120,345,64,28)、潜在目标2外接矩形框(273,254,14,67)两个潜在目标，基于潜在目标灰度、尺寸和角点等特征建立目标优先级模型，

潜在目标灰度特征：

潜在目标1灰度特征

潜在目标尺寸特征，R

潜在目标角点特征，基于潜在目标区域寻找ORB角点，Pmax设置为8，潜在目标1角点数为5，潜在目标2角点数为1，角点特征系数值：

a

w

w

潜在目标1权重高于潜在目标2权重，选定潜在目标1进行自动锁定。

(b)图像特征匹配跟踪

在基于优先级选定锁定目标后，通过潜在目标外接矩形建立跟踪模板，构建图像特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行高精度稳定跟踪。依次得到每一帧目标位置(x

(3)建立雷达、广播式自动相关监视系统目标跟踪通道模型；

(a)分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：

(x-a)

其中，(x，y)＝(237.6，3.56)是当前跟踪位置，单位是角度，(a，b)＝(237，3)是历史通道中心，单位是角度，r是历史通道半径为0.8度，单位是角度。

(b)通道切面更新为：

其中，a

其中，(x，y)＝(237.6，3.56)是当前跟踪位置，单位是角度，(a，b)＝(237，3)是历史通道中心，单位是角度，r是历史通道半径为0.8度，单位是角度，(a

(4)判断图像跟踪位置是否处于目标跟踪通道，若处于目标跟踪通道，继续跟踪；否则，返回步骤2；

(a)按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道。

a＝a

b＝b

r＝r

其中，(a，b)是历史通道中心，r是历史通道半径，(a

(b)判断图像跟踪位置处于目标跟踪通道，继续跟踪；否则，返回步骤2。

当(x-a)

当(x-a)

当(x-a)

(5)根据图像跟踪位置，计算目标区域，利用深度卷积神经网络识别目标起落架收放状态。

(a)确认目标区域

确认目标区域主要是通过图像目标分割算法提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割主要是采用canny边缘算子，围绕当前2028帧周边区域执行边缘提取获取外接矩形框为(118，349，60，29)，最终用于起落架识别区域为(x

Height

得到实际区域为(133,364,30,29)。

(b)深度学习方法识别起落架

构建起落架训练样本库，基于历史数据对飞机起落架区域进行人工标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类别标签。积累2000张以上标注样本形成样本库。采用深度卷积神经网络检测模型YOLOV3模型对样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率等参数基于样本库进行训练，在模型收敛后停止。最后通过训练得到收敛的YOLOV3模型，将5-1步中的(133,364,30,29)区域对应图片输入YOLOV3网络模型中，进行起落架检测，从而得到精确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落架收放状态，如图3b所示。检测到两个左右侧起落架、一个前起落架，认为飞机起落架均放下。

本发明提供了一种军民航机场全自动进近着陆监视方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。