基于视觉图像的飞行区大型活动目标监视方法

技术领域

本发明属于目标检测技术领域，尤其是涉及一种基于视觉图像的飞行区大型活动目标监视方法。

背景技术

近年来随着民航运输发展，飞行区内运行航空器和保障设备逐渐增多，碰撞冲突、运行安全等问题也随之产生。一系列事故的发生，是由于现有目标监视技术并不精准导致，如ADS-B、多点定位存在目标分裂、假目标、丢点等问题，场监雷达存在针对廊桥、下行道等遮蔽区域监视信号较差问题，且定位技术都为点源定位，无法体现目标轮廓信息，对飞行区日渐复杂的交通场景难以适应。故研究适用于飞行区的稳定精确监视方法，且能通过轮廓估计体现目标长宽等数据属性的技术或策略越发重要。国内外学者们在技术或策略方面都进行了改进研究，但对于机场飞行区监视方法改进的研究仍有如下问题值得进一步深入：1)许多现有目标检测方法只能处理小区域范围内的目标检测，如何适用于机场飞行区大场景、小目标、相互遮蔽多的情况，且平衡实时处理和准确性是一个问题，仍需进一步研究；2)对于机场飞行区复杂交通情况下的目标定位仍为点源定位，无法体现目标长宽等数据信息，且存在易跳变、易丢点的问题，需要对其进行一定程度上的轮廓估计和稳定性的提升。

发明内容

有鉴于此，本发明提出了一种基于视觉图像的飞行区大型活动目标监视方法，实现飞行区目标监视更加稳定，并体现目标轮廓信息，使监视更加精确。

为达到上述目的，本发明的技术方案是这样实现的：

基于视觉图像的飞行区大型活动目标监视方法，包括如下步骤：

步骤1：构建基于MobileNetV3和YOLOv5的网络模型；

步骤2：利用步骤1构建的网络模型对机场飞行区中的大型目标进行识别及边界框的确定；

步骤3：基于步骤2中识别的大型目标的图像进行特征点提取，删除不在边界框内的特征点，并基于欧几里德聚类算法对特征点进行聚类，根据识别目标类型进行轮廓划分，实现对大型目标轮廓的估计。

进一步的，所述步骤1中，构建的基于MobileNetV3和YOLOv5的网络模型包括输入端、MobileNetV3网络、Neck网络和检测端，所述输入端用于对输入数据进行预处理，包括对数据集进行选择数据增强、自适应锚框计算以及自适应图像填充处理；所述MobileNetV3网络用于对图像进行特征提取，所述Neck网络用于实现特征融合。

进一步的，所述步骤3中特征点提取的方法包括构建图像金字塔、图像区域分割、以及根据区域设定特征点提取数量并提取。

进一步的，所述步骤3中特征点提取的方法具体包括：

步骤301：图像金字塔的构造分为两步，分别为不同尺度的高斯模糊和图像下采样，定义原图大小为I(x,y)，而尺度空间是由原图像与高斯模糊卷积得到，则尺度空间的表达式如下所示：

式中：σ为尺度大小。当σ＝0则表示对原图像无操作；σ越大，尺度越大，模糊程度越高；

步骤302：将图像均匀的划分为大小相同的R×C个区域，其中特征点是随机分布的，同时将阈值设置为j，如下所示：

式中：P

步骤303：采用FAST算法用于检测每个区域中的特征点，当阈值为t时，将每个区域中检测到的特征点数量与j进行比较，如果小于j，则t将减少并重新检测，t的定义为当两点灰度值之差的绝对值；

如果不小于j，则需要从点中筛选出j个最佳特征点，并使用非极大抑制进行筛选：设A和B为相邻点，分别计算两个点与周围16个点之间的差值和，删除差值和最小的点，直到剩余点的数量等于所需数量，停止筛选，所剩点为最佳特征点；

最后遍历图像所有分割区域，直到提取的特征点总数等于所需数量，特征点提取完成。

进一步的，所述步骤3中对特征点进行聚类包括：对于某个在空间中的特征点P(x,y,0)，通过KD-Tree最近邻搜索算法找到离特征点P最近的聚类中心k点，将距离小于阈值的点聚类到集合Q中，如果集合Q中的元素数量没有增加，整个聚类过程结束，否则，在集合中选择另一点重复上述过程，直到集合大小停止增加。

相对于现有技术，本发明所述的基于视觉图像的飞行区大型活动目标监视方法具有以下优势：

本发明采用基于MobileNetV3和YOLOv5的网络模型，将视频图像作为监视数据，使监视方法更加稳定，监视盲区小，成本低，且可以使管制人员更加清晰、直观的监视飞行区目标的运动状态；

本发明通过特征点提取以及确定最小包围盒的方式，描述出大型目标的大致轮廓，在一定程度弥补了点源定位的不足，使飞行区监视方法更加精准。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的深度可分离卷积示意图；

图2为本发明的MobileNetV3-YOLOv5网络结构示意图；

图3为本发明的KD-Tree算法流程示意图；

图4为本发明的视觉图像轮廓定位模型示意图；

图5为本发明的视觉图像数据示例示意图；

图6为本发明的MobileNetV3-YOLOv5图像识别示意图；

图7为本发明的图片特征点提取结果示意图；

图8为本发明的删除冗余特征点结果示意图；

图9为本发明的特征点聚类结果示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

本发明提供了一种基于视觉图像的飞行区大型活动目标监视方法，具体实现过程如下：

1、构建目标检测模型

本发明将易产生冲突风险的航空器与保障车辆定义为飞行区大型目标，为解决针对大型目标的检测问题，同时平衡处理效率和检测准确性的需求，提出一种基于轻量级检测神经网络的目标检测方法MobileNetV3-YOLOv5。该方法是在YOLOv5的主干部分使用MobileNetV3来提高目标检测速度。

1.1 MobileNetV3网络

MobileNetV3的基本卷积单元称为深度可分离卷积，是其在较小计算量和参数量情况下保证较高准确率的重要原因。由一层深度卷积(Depthwise convolution,DW)和一层逐点卷积(Pointwise Convolution,PW)组成，每一层卷积之后都紧跟着批规范化和ReLU激活函数。其卷积过程，如图1所示。

首先进行深度卷积操作，得出的特征图各通道之间是不关联的，接着进行逐点卷积，把深度卷积输出的特征图各通道关联起来。深度可分离卷积使用了更小的空间代价(参数减少)和更少的时间代价(计算量更少)实现了标准卷积层一样的效果(提取特征)。

一般的设D

C

式中，C

深度可分离卷积的计算成本，即DW和PW的总和，见式(2)：

C

式中，C

通过将卷积分为两步进行，显著减少了计算量，见式(3)：

因此，在网络特征提取阶段，采用MobileNetV3将显著降低计算成本。

1.2 MobileNetV3-YOLOv5模型

本发明提出的基于MobileNetV3和YOLOv5的网络模型，预处理需要对数据集进行选择数据增强、自适应锚框计算以及自适应图像填充处理。MobileNetV3-YOLOv5模型包括输入端、MobileNetV3网络、Neck网络和检测端，所述输入端用于对输入数据进行预处理，包括对数据集进行选择数据增强、自适应锚框计算以及自适应图像填充处理；所述MobileNetV3网络用于对图像进行特征提取，所述Neck网络用于实现特征融合，MobileNetV3-YOLOv5结构如图2所示。

如图2所示，在对机场飞行区大型目标进行检测时，该模型首先需要输入图像数据，并对图像进行卷积与标准化来压缩图片尺寸，同时扩张通道。之后，用MobileNetV3网络替换YOLOv5的Backbone部分进行图像的特征提取，实现在浅层网络使用ReLU激活函数，深层网络使用h-wish激活函数。最后在特征融合时，使用深度可分离卷积替代原本YOLOv5中的PANet网络的普通卷积，从而达到减少计算量，提升实时性的目标。

2、目标轮廓估计方法

在对图像中目标检测边界框的基础上，对图像进行特征点检测，删除不在边界框内的特征点，并基于欧几里德聚类算法对特征点进行聚类。最后根据识别目标类型进行轮廓划分，实现对目标轮廓的估计。

2.1特征点提取

本发明提出了一种基于优化特征点提取的改进ORB算法，将图像分割成多个区域，分别提取每个区域的特征点，同时设置自适应阈值，当该区域提取的特征点数量达到所需数量时，提前终止特征提取，以减少提取时间。改进的ORB算法流程步骤主要为构建图像金字塔、图像区域分割、根据区域设定特征点提取数量并提取，下面就进行详细阐述：

由于FAST提取的特征点不具有尺度不变性，故本文首先采用SIFT高斯金字塔来改善这一不足。图像金字塔的构造分为两步，分别为不同尺度的高斯模糊和图像下采样。定义原图大小为I(x,y)，而尺度空间是由原图像与高斯模糊卷积得到，则尺度空间的表达式，见式(4)：

式中：σ为尺度大小。当σ＝0则表示对原图像无操作；σ越大，尺度越大，模糊程度越高。

改进ORB算法接着将图像均匀的划分为大小相同的R×C个区域，其中特征点是随机分布的，同时将阈值设置为j，见式(5)：

式中：P

FAST算法用于检测每个区域中的特征点。当阈值为t时，将每个区域中检测到的特征点数量与j进行比较。如果小于j，则t将减少并重新检测。t的定义为当两点灰度值之差的绝对值，因为只有当两点之间灰度值差值的绝对值大于t时，才可以认为两点不同，可以进行下一次检测。因此，通过减小t的值，可以检测到更多的角点以进行筛选。

如果不小于j，则需要从点中筛选出j个最佳特征点，并使用非极大抑制(nonmaximum suppression：NMS)进行筛选：假设A和B为相邻点，分别计算两个点与周围16个点之间的差值和，删除差值和最小的点。直到剩余点的数量等于所需数量，停止筛选，所剩点为最佳特征点。以A点为例，差值和的计算，见式(6)：

式中：I

最后遍历图像所有分割区域，直到提取的特征点总数等于所需数量，特征点提取完成。

2.2特征点聚类

对视频图像提取到的特征点，既包括了飞行区大型目标，也包括了飞行区交通场景的所有特征点，所以无法直接区分属于大型运动目标的特征点。本发明先对提取出的特征点进行筛选，删除不在目标边界框的特征点。但在初筛后仍会存在远离目标中心的特征点，故本文选取欧式聚类算法删除这些点，欧式聚类是一种基于欧式距离的聚类算法，其中基于K-dimension tree(以下缩写为KD-Tree)的近邻查询算法是欧式聚类的重要预处理算法。其聚类流程如图3所示。如图3所示，对于某个在空间中的特征点P(x,y,0)，通过KD-Tree最近邻搜索算法找到离特征点P最近的聚类中心k点。将距离小于阈值的点聚类到集合Q中。如果集合Q中的元素数量没有增加，整个聚类过程结束。否则，我们在集合中选择另一点重复上述过程，直到集合大小停止增加。最后，我们考虑了点集的几何中心作为目标的中心，构造集合的最小包围正多边形作为目标的轮廓形状，即根据目标识别类型确定轮廓形状，识别目标为航空器则确定轮廓形状为菱形；识别目标为保障车辆则确定轮廓形状为矩形。从而实现对机场飞行区大型目标的轮廓估计。

综上，本发明在采用MobileNetV3-YOLOv5模型进行目标检测的基础上，提出基于视觉图像特征点提取的轮廓估计方法，其完整模型框架如图4所示。

3实例分析

3.1数据集与训练环境

本发明所使用的硬件训练平台为NvidiaRTX3060GPU和Intel(R)Core(TM)i5-12500H CPU 3.0GHz，软件环境为Windows10系统下的Pytorch深度学习框架，torch版本为1.8.1。

本发明实验所采用的数据来源于西安咸阳国际机场监控视频数据。本发明通过监视视频创建数据集，选取该机场某周的数个机位监控视频，抽帧制成10537幅静态图像的数据集。

3.2大型目标检测

本发明以图5所示四幅图为示例，所选的示例图前三张为航空器停靠机坪时收集图像，包括了开阔场景、多目标场景；时间上涵盖了清晨、夜间和白天；目标上既有航空器、保障车辆，也有一些无动力设备和工作人员等干扰目标，且目标多为局部。后两张为航空器滑行时收集图像，且镜头正对航站楼，故场景复杂，为开阔场景，目标众多且完整，距离较远。

本发明先通过提出的MobileNetV3-YOLOv5模型对机场飞行区中的大型目标，即航空器和保障车辆进行识别及边界框的确定。目标检测结果如图6所示，图中红色框标注的目标为保障车辆，蓝色框为航空器。其中，图6(a)中对带拖曳车头的行李框和不带有拖曳车的无动力行李框实现了精准识别；并且对于被遮挡的两架航空器的识别效果也都十分优秀。同时，由图6(c)可知，本发明提出的MobileNetV3-YOLOv5模型对于夜间较复杂场景，也可以实现准确的目标识别。因此，图6的图虽是示例，但是能够在一定程度上体现本发明识别模型的准确性和适用性，能够实现在各类场景，早晚夜间全都对飞行区监视对象进行准确识别的任务。并为后续的轮廓估计提供了基础。

同时，本发明对比了相关目标识别算法的精确性和效率，本文设置batch size为8；初始的learning rate为0.01，经过100个epoch后达到0.001。并设定IOU(intersectionover union)阈值为0.5，通过各类别平均精度值mAP(mean average precision)来评价精度，通过每秒传输帧数FPS(frames per second)，即每秒检测图片数量来评价效率。其中FPS是指检测器每秒钟检测图片的个数，即检测图片数量与检测时间的比值。

对于mAP的计算，首先要计算准确率(precision)和召回率(recall)，计算公式如式(7)，式(8)所示：

式中：E

准确率和召回率绘制成的曲线面积即为平均精度AP值，在对于类别总数求均值，即可获得mAP值。

对比算法分别为SSD(single shot multibox detector)目标检测算法，原始YOLOv5算法的YOLOv5s、YOLOv5m和YOLOv5l三种网络结构。因为识别目标为飞行区大型目标，且需要兼顾实时性，本发明舍弃网络结构最复杂的YOLOv5x结构。性能对比结果如表1所示。

表1

FPS为15已经是计算机视频格式所能允许的最低帧率了，故为满足时效性要求，本发明将目标检测算法的FPS要求定为15。由表1可知，在五种对比算法中，YOLOv5l算法的精确度最高，但FPS最低，难以满足时效性的需求；SSD算法虽然效率有所提升，但是仍不满足需求，且精度太低。其余的YOLOv5s、YOLOv5m和MobileNetV3-YOLOv5三种算法，都能够满足实时性的要求，在这种情况下对比其精确性，明显MobileNetV3-YOLOv5算法的精度要高于其他两种YOLOv5模型。经过对比，本发明所提出的算法可以在满足实时性的要求下，更加准确的对机场飞行区大型目标进行识别，并获得其边界框。

3.3特征点提取

本发明采用优化特征点提取的改进ORB算法，尤其是配合目标检测框，将图像分割成多个区域，分别提取每个区域的特征点，增加了对目标的特征点提取数量。可以在保证ORB算法优势的同时，完善其对噪声敏感、不具备不变性的不足，并使后续的轮廓估计更加准确。特征点提取结果如图7所示。

但即使是采取划分区域的ORB特征点提取算法，提取出的特征点还是包括了目标前方机场飞行区交通场景内的所有特征点，并且无法直接区分属于特定大型目标的特征点。因此需要对提取出的特征点进行初步筛选，本发明选择使用目标检测算法得出的目标边界框进行初步筛选，删除不在目标边界框内的特征点，保留框内的特征点。筛选结果如图8所示。通过初步筛选，可以方便的剔除那些不属于识别目标的特征点，但仍保留了一些不属于识别目标的交通场景特征点，这些特征点在图像中靠近目标识别边框，或是直接因视角原因存在于目标识别框中。因此，还需要对这些特征点进行二次筛选。

3.4特征点聚类

将经过初筛后的特征点投影到地面，特征点距离识别目标中心会有远有近，故采取欧几里得聚类算法对特征点进行二次筛选，并以集合的最小包围矩形来作为保障车辆目标的形状，集合的最小包围菱形作为目标航空器的形状。选取四幅示例图的第一幅图像为例，其具体过程如图9所示。

图9(a)为经过初步筛选的特征点投影到地面的结果，特征点投影涉及相机的焦距校正，内参标定以及外参标定的相关内容本文不加赘述。图9(b)为经过欧式聚类后对保障车辆和航空器的大概轮廓位置的判断。

通过在西安咸阳机场图像的数据测试，发现在近距离时，即距离在60m之内的目标检测效果较好；在简单交通场景，即大型目标较少，识别干扰物较少的情况下目标检测效果较好。在识别目标之间存在遮挡，且距离较远时，往往效果较差，甚至可能会丢失目标。

对于轮廓估计，本发明采用了计算聚类后轮廓中心与识别目标中心远近距离来进行比较，其中大型目标实际中心坐标由北斗差分直接获得。误差的结果如表2所示。

表2

由表2可知，在0到60m的视频监视范围内，相对位置的定位误差约为2.9％，在50m的范围内，平均定位误差更是可以达到2％左右。考虑到一般机场滑行规定为：航空器与其他目标间距离不得小于50米，若小于50则视为存在滑行冲突风险，2％左右的误差完全在冲突风险判定的可接受范围内。所以本发明提出的基于视觉图像的对大型目标检测和轮廓估计，从而弥补现监视系统不足的方法，能够对飞行区内存在冲突风险的两目标，即相对位置小于50m的大型目标提供较为准确的目标识别及轮廓估计，从而在飞行区交通场景中体现出大型目标的长宽轮廓信息，提高监视系统的安全性，并协助机场管制人员完成冲突风险的解脱。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。