一种基于组合标注的机场地面服务保障事件判断方法

技术领域

本发明涉及机场地面服务保障技术领域，尤其涉及一种基于组合标注的机场地面服务保障事件判断方法。

背景技术

机场地面服务保障是机场的重要职能，针对机场地面服务保障问题，现有的方法是通过人力实现，停机坪内各活动目标的工作环节、工作进程和该进程完成的时刻通过对讲机实现记录，人工录入可能会造成数据漏报、数据误差、数据延迟，而且作业强度较大容易疲劳，极大增加了人力成本，不符合机场高效管理。

由于现有机场对服务保障车辆事件的采集大部分是基于人力进行，很少使用图像识别的方法采集事件，而且直接采用深度学习目标检测方法，需要做划线闯入检测，而且精度不高。

因此，如何有效提高机场服务保障车辆事件检测和识别效率、实现机场的高效管理是一个亟需解决的技术问题。

发明内容

为了解决上述问题，本发明提供了一种基于组合标注的机场地面服务保障事件判断方法，该方法包括如下步骤：

S1：选择服务保障车辆正在作业的图像样本，并将该数据集设为M，选择其他非作业的服务保障车辆图像样本，并将该数据集记为N；

S2：选择M数据集，将服务保障车辆与飞机部分标注成一个整体，选择以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行组合标注，并形成一个组合标注框；

S3：将标注的M集样本与N集样本组合成训练集，采用目标检测模型进行模型训练；

S4：对服务保障车辆作业事件进行预测判断。

优选的，数据集M样本至少为500张，数据集N样本至少为500张。

优选的，所述步骤S2组合标注框中服务保障车辆与飞机像素各占50%。

优选的，所述步骤S2服务保障车辆需要全部进入组合标注框中。

优选的，所述数据集N为负样本。

优选的，所述步骤S3采用公知的目标检测模型，如YOLOv4、fasterRcnn、ssd等算法模型进行训练。

优选的，所述步骤S4服务保障车辆靠近飞机后，检测器检测到训练过的组合标注框，当稳定持续2s检测到组合框后，则表示服务保障车辆作业事件开始；当组合框消失，稳定持续2s消失后，则表示服务保障车辆作业事件结束，并结束退出。

优选的，所述服务保障车辆包括餐车和/或加油车和/或牵引车和/或廊桥。

本发明的有益效果在于：本发明可自动通过现有监控摄像画面实时识别并跟踪停机坪内车辆位置，记录停机坪内各活动目标的工作环节、工作进程和该进程完成的时刻，提高机场服务保障车辆事件检测和识别的效率。

附图说明

图1为本发明的流程图；

图2为本发明的服务保障车辆作业判断流程图；

图3为本发明的餐车标注方法示意图；

图4为本发明的廊桥标注方法示意图；

图5为本发明的牵引车标注方法示意图；

图6为本发明的加油车标注方法示意图；

其中：1-组合框，2-餐车，3-飞机，4-廊桥，5-牵引车，6-加油车。

具体实施方式

为了对本发明的实施例进行详细说明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。本发明的主要目的在于提供一种基于组合标注的机场地面服务保障事件判断方法，旨在解决如何提供一种采用图像算法代替人对服务保障车辆事件判断的方法，减少算法复杂度，同时提高检测精度和实时性，提高机场服务保障车辆事件检测和识别的效率。

为实现上述目的，本发明提供了一种实施例，如图1所示，图1为本发明提供的一种基于组合标注的机场地面服务保障事件判断方法流程图，所述基于组合标注的机场地面服务保障事件判断方法包括：数据筛选、数据标注、模型训练及预测判断，具体的：

S1：选择服务保障车辆正在作业的图像样本，并将该数据集设为M，选择其他非作业的服务保障车辆图像样本，并将该数据集记为N；

S2：选择M数据集，将服务保障车辆与飞机部分标注成一个整体，选择以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行组合标注，并形成一个组合标注框；

S3：将标注的M集样本与N集样本组合成训练集，采用目标检测模型进行模型训练；

S4：对服务保障车辆作业事件进行预测判断。

具体的，选择服务保障车辆正在作业的数张图像样本（约5000张），将该数据集设为M，选择其他数张非作业的服务保障车辆样本（约500张），该数据集记为N。

具体的，作业样本数据的选择（选择服务保障车辆像素距离飞机≤0pixel的样本）；服务保障车辆离开样本数据的选择（服务保障车辆离开飞机像素距离＞0 pixel的样本）。

具体的，选择M数据集，标注方法为服务保障车辆与飞机部分标注成一个整体，选择以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行标注，在组合标注框中服务保障车辆与飞机像素各占50%，其中服务保障车辆需要全部进入组合部件中，其中数据集N为负样本。

具体的，将标注的M集样本与N集负样本组合成训练集，用公知的目标检测模型，如YOLOv4、fasterRcnn、ssd等算法模型进行训练。

如图2所示，图2为本发明提供的服务保障车辆作业判断流程图，服务保障车辆作业时靠近飞机，当服务保障车辆靠近飞机后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框后，则表示服务保障车辆作业事件开始；当组合框消失，稳定持续2s消失后，则表示服务保障车辆作业事件结束，并结束退出。

具体的，本发明采用图像组合标注（将飞机和服务保障车辆作为一个整体标注）可以减少算法复杂度，同时提高检测精度和实时性。

可以理解的，飞机停在机坪上后，服务保障车辆作业位置相对固定，因此可以通过组合标注的方法，将服务保障车辆和飞机部件当成一个整体，当检测到有该部件时表示作业开始，当该部件消失时表示作业完成，将逻辑事件和图像识别绑定在一起，降低了后端逻辑设计的压力。具体步骤为：首先是选数据，然后是标注数据（在组合标注框中飞机部分和服务保障车辆各占50%），训练得到模型后，上线识别业务逻辑是，当服务保障车辆靠近飞机并停稳，检测到组合部件时，通过运动检测算法得到组合框前后处于较小波动，可以判断为服务保障车辆作业开始；当服务保障车辆离开飞机时，服务保障车辆与飞机形成的组合标注框稳定消失一段时间后，可以判定为服务保障车辆作业结束。

可以理解的，服务保障车辆作业有较强的稳定性，其位置相对于机身较为固定，因此可以在数据标注上采用组合标注方法，该发明能降低后端业务逻辑设计复杂度，提高识别率，在机场服务保障车辆事件（作业开始和完成作业）的检测和识别属于首创，本专利具有较好的应用创新及算法框架创新。

进一步的，所述服务保障车辆包括餐车2和/或加油车6和/或牵引车5和/或廊桥4。

如图3所示，图3为本发明提供的餐车2标注方法示意图，在此实施例中：当餐车2作业时首先会靠近飞机3左后方，当餐车2靠近飞机3后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框1后，则表示餐车2作业事件开始；当组合框1消失，稳定持续2s消失后，则表示餐车作业事件结束，并结束退出。

如图4所示，图4为本发明提供的廊桥4标注方法示意图，在此实施例中：当廊桥4作业时首先会靠近飞机3左侧机头位置，当廊桥4靠近飞机3后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合1框后，则表示廊桥4作业事件开始；当组合框1消失，稳定持续2s消失后，则表示廊桥4作业事件结束，并结束退出。

如图5所示，图5为本发明提供的牵引车5标注方法示意图，在此实施例中：当牵引车5作业时首先会靠近飞机3正面机头位置，当牵引车5靠近飞机3后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框1后，则表示牵引车5作业事件开始；当组合框1消失，稳定持续2s消失后，则表示牵引车5作业事件结束，并结束退出。

如图6所示，图6为本发明提供的加油车6标注方法示意图，在此实施例中：当加油车6作业时首先会靠近飞机3右侧机翼位置，当加油车6靠近飞机1后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框1后，则表示加油车6作业事件开始；当组合框1消失，稳定持续2s消失后，则表示加油车6作业事件结束，并结束退出。

具体的，本发明所提出的方法/技术已经上线试运行1年时间，与人为判断进行对比，其效果比人眼准确，达到秒级精度，得到客户较高认可。相关检测模块选用了成熟的深度学习技术路线，且标注方法与工程相结合，降低算法复杂度，能大大提高准确率和实时性。

上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。