一种非法运动目标的跟踪方法及装置

技术领域

本公开的实施例一般涉及机场安保领域，并且更具体地，涉及机场停机坪的非法运动目标的跟踪方法、装置、设备和计算机可读存储介质。

背景技术

随着社会生活水平的提高，航空运量也迅猛增长，机场规模不断扩大，而机场场面活动日趋复杂，已成为影响机场飞行安全、吞吐量和运行效率的重要因素，因此对机场的场面活动目标进行智能化监控十分重要，以使机坪运行管理人员能够及时了解机场内飞机、车辆的实时位置和行驶状况，对车辆行人越界、入侵进行自动告警提示。

现有的监控系统或者是采用红外监控系统和视频监控系统共同完成机场地面的辅助监视，当发生入侵行为，工作人员根据红外监控系统发出的警报调取视频监控系统的监控视频，确认入侵对象并驱除。虽然红外监控系统能准确的预报入侵行为，但却无法识别入侵对象而误报入侵行为，如小动物闯入围界或树叶的飘动都有可能触发入侵报警，增加了工作人员的工作量。

或者是，采用视频算法自动检测入侵行为，但是，由于机场视频监控的光照变化大，遮挡较多，监控相机的视角限制等复杂条件，视频监控系统的目标检测与跟踪精度较差，存在误判率较高、入侵位置检测误差大等问题，很难实现对特定监控区域的目标入侵检测。并且，现有视频算法主要针对地面目标有效，对空中目标的跟踪精度较差。

进一步地，当发现入侵行为后，需要人工对其进行跟踪，例如操作摄像机云台进行跟踪或切换摄像机，当出现多个入侵目标的情况下，很容易顾此失彼，造成安防漏洞。

发明内容

根据本公开的实施例，提供了一种非法运动目标的跟踪方案。

在本公开的第一方面，提供了一种非法运动目标的跟踪方法。该方法包括：

获取布防区域的监控视频；

根据所述监控视频进行目标识别及判断；

对非法目标进行位置判断；

根据所述非法目标的位置，对所述非法目标进行跟踪。

进一步地，获取布防区域的监控视频包括：

通过进行了预先标定的摄像机进行视频监控，所述摄像机为双目摄像机，或视野范围互相重叠的摄像机。

进一步地，根据所述监控视频进行目标识别及判断包括：

对人员通过其属性信息进行目标合法性判断；对车辆通过其属性信息进行目标合法性判断；对动物、鸟类、无人机等都判断为非法目标。

进一步地，

对于双目摄像机，获取目标的三维空间信息，并将所述三维空间信息从摄像机坐标系转换到机场坐标系；

对于视野范围互相重叠的摄像机；进行影像匹配，确定两个摄像机的影像中的同一目标，进而确定所述目标的三维空间信息，并将所述三维空间信息从摄像机坐标系转换到机场坐标系。

进一步地，根据所述非法目标的位置，对所述非法目标进行跟踪包括：

对目标进行跟踪，判断其运动轨迹及运动方向。

进一步地，对目标进行跟踪包括：跨摄像机进行多目标跟踪，分别判断其运动轨迹及运动方向。

进一步地，跨摄像机进行多目标跟踪，分别判断其运动轨迹及运动方向包括：

获取各摄像机当前帧视图中的待跟踪目标；

对各摄像机的待跟踪目标与各摄像机的前一帧跟踪目标进行一次匹配；

若一次匹配成功，则将所述前一帧跟踪目标的ID赋予所述待跟踪目标，并将所述待跟踪目标记为第一跟踪目标进行跟踪；

若一次匹配失败，则根据预设规则获取所述待跟踪目标中的候选跟踪目标和所述前一帧跟踪目标中的丢失跟踪目标；

对所述候选跟踪目标和所述丢失跟踪目标进行二次匹配；

若二次匹配成功，则将所述丢失跟踪目标的ID赋予所述候选跟踪目标，并将所述候选跟踪目标记为第一跟踪目标进行跟踪；

若二次匹配失败，则为所述候选跟踪目标初始化新的ID，并记为第二跟踪目标进行跟踪；并将所述丢失跟踪目标记为第三跟踪目标进行跟踪。

在本公开的第二方面，提供了一种非法运动目标的跟踪装置。该装置包括：

视频获取模块，用于获取布防区域的监控视频；

目标识别模块，用于根据所述监控视频进行目标识别及判断；

位置判断模块，用于对非法目标进行位置判断；

跟踪模块，用于根据所述非法目标的位置，对所述非法目标进行跟踪。

在本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面和/或第二发面的方法。

本申请实施例提供的非法运动目标的跟踪方法，通过获取布防区域的监控视频；根据所述监控视频进行目标识别及判断；对非法目标进行位置判断；根据所述非法目标的位置，对所述非法目标进行跟踪。实现了对非法运动目标的精准定位及跟踪。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例性运行环境的示意图；

图2示出了根据本公开的实施例的非法运动目标的跟踪方法的流程图；

图3示出了根据本公开的实施例的非法运动目标的跟踪装置的方框图；

图4示出了能够实施本公开的实施例的示例性电子设备的方框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出了能够在其中实现本公开的实施例的示例性运行环境100的示意图。在运行环境100中包括摄像机102、目标跟踪系统104。

图2示出了根据本公开实施例的非法运动目标的跟踪方法200的流程图。方法200可以由图1中的目标跟踪系统104执行。

在框202，获取布防区域设置；

在一些实施例中，所述布防区域包括警戒区域和入侵区域，当目标出现在警戒区域，则需要对目标进行跟踪/预警，提示安保人员注意可疑目标；当目标进入入侵区域，则需要进行报警，提示安保人员立即驱除入侵目标。

在一些实施例中，所述布防区域可以在预先建立的机场停机坪平面模型中进行设置，所述布防区域为地面范围。

在一些实施例中，所述布防区域可以在预先建立的机场停机坪三维模型中进行设置，所述布防区域包括了其地面范围和空中范围，形成立体布防区域。

其中，所述机场停机坪平面模型/三维模型为根据机场设计图建立的数字模型，还可以与机场管理系统相连，实时显示机场停机坪上的飞机，还可以显示飞机的型号、状态等信息，方便为不同的飞机设置不同的布防区域及布防等级。

在一些实施例中，所述布防等级包括可以进入布防区域的车辆类型、人员类型等。

在一些实施例中，可以为停机坪中的停机位单独设置布防区域，例如，飞机在未进入机位前是不允许任何目标非法进入停机位区域。例如，需要对进入停机位的目标进行识别，判断其是否非法目标。

在一些实施例中，可以在飞机进入停机位后设置布防区域。布防区域可以是根据停机位上的飞机的形状设置，也可以是以停机位中心/停机位上的飞机中心为原点设置的圆形/半球形。多个停机位对应的布防区域可以存在相互覆盖的情况。

在一些实施例中，也可以是将停机坪设置为警戒区域，而为停机位单独设置入侵区域。

在一些实施例中，可以为停机坪中的飞机单独设置布防区域或入侵区域，即根据飞机的形状设置，也可以是以飞机中心为原点设置的圆形/半球形。所述布防区域可以跟随飞机在停机坪上的移动而移动。例如，需要对进入停机位，靠近飞机的目标进行识别，判断其是否非法目标。

在框204，获取所述布防区域的监控视频；

在一些实施例中，对机场停机坪进行视频监控的摄像机是进行了预先标定的摄像机；其中，

在一些实施例中，在预先建立的机场停机坪模型，如机场停机坪三维模型中对机场视频监控系统的摄像机进行标定，以确定每一个摄像机的视野范围，以及摄像机坐标系与机场停机坪三维模型坐标系的转换矩阵。在一些实施例中，根据在机场停机坪上预设的标定点在摄像机成像中的位置，对摄像机参数进行内标定。

在一些实施例中，所述摄像机为双目相机，可以实现对目标的景深判断。

在一些实施例中，利用两个不同摄像机的重叠视野，可以实现对目标的景深判断。例如，两个摄像机各有一半以上的视野另一个摄像机重叠，依次类推，实现了对机场停机坪的成像的重叠。

在一些实施例中，对摄像机进行标定后，确定其视野是否覆盖了停机坪的所有区域，若否，则根据未覆盖区域设置补盲摄像机。

在一些实施例中，所述摄像机带有云台及变焦功能，可以通过云台对入侵目标进行跟踪拍摄，通过变焦获取入侵目标的清晰图像。

在框206，根据所述监控视频进行目标识别；

在一些实施例中，对所述监控视频的视频帧进行目标识别及定位，对视频帧中出现的目标进行报警。在一些实施例中，所述目标为除飞机以外的其他目标。通过目标识别及定位，即使单个摄像机被停机位上的飞机遮挡，仍可通过其他角度的摄像机进行目标识别及定位。在一些实施例中，所述目标还可以包括飞机，通过对飞机的识别及定位，并通过与机场管理系统相连，可以确定某架飞机是否位于正确的停机位上等。

在一些实施例中，对每个摄像机得到的监控视频分别进行目标识别。

在一些实施例中，为了减少运算量，提高运算速度，可以定期，如每秒，每4秒，截取所述监控视频的视频帧进行目标识别及定位。

在一些实施例中，为了减少运算量，提高运算速度，仅对当前帧图像与上一帧图像的对比，若为静态图像，则不进行目标识别，若为动态图像，则通过比较得到图像的变化部分，作为目标区域，对所述目标区域的图像进行目标识别。

在一些实施例中，将所述图像信息输入预先训练的目标识别模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率。其中，该目标识别由以下方式获得：训练数据为从机场监控系统摄像头中采集的图片数据，针对这些图片首先进行人工标注，标注方式为通过勾画多边形将目标区域分割出来，形成一个基于像素级别的区域掩码，同时标注出该目标的类别。目标的坐标框可通过掩码自动生成，即多边形的外接矩形。然后将所述训练样本输入到预先建立的神经网络模型，对所述训练样本进行学习，输出训练样本中的目标坐标、目标像素掩码，以及目标类别和对应的概率，当输出结果与标识结果的差异度大于预设阈值时，对神经网络的模型的参数进行修正；重复上述过程，直到输出结果与标识结果的差异度小于所述预设阈值。本实施例中的目标坐标可以由目标的外接矩形框的对顶点的坐标来表示。在一些实施例中，所述训练样本中包括机场安保中常见的入侵目标类型，例如，人员、车辆、动物、鸟类、无人机等。

在一些实施例中，若摄像机的视野中包括地面和天空，还需对天空中的云朵进行过滤。

在一些实施例中，所述目标识别仅需要输出目标类型，例如，人员、车辆、动物、鸟类、无人机等。

在一些实施例中，所述目标识别还包括对目标合法性进行判断，其中，对人员通过其属性信息进行目标合法性判断；对车辆通过其属性信息进行目标合法性判断；对动物、鸟类、无人机等都判断为非法目标。

在一些实施例中，所述人员属性可以是穿着属性，也可以是行为属性。可以通过属性识别模型对所述人员对应的图像进行识别，得到其人员属性；若得到的人员属性为可疑或非法，则判断所述人员为非法目标。同理，对所述车辆对应的图像进行识别，得到其车型、涂装、车牌等属性信息，若得到的车辆属性不在预先登记的合法车辆属性列表中，则判断所述车辆为非法目标。

在框208，对所述目标进行位置判断；

在一些实施例中，根据布防区域的设置，不仅需要能够识别出现在摄像机视野中的目标，还需要对目标进行定位，确定其是否出现在布防区域中。

在一些实施例中，对于双目相机，则可以直接获取目标的三维空间信息，根据摄像机坐标系与机场坐标系的转换关系，转换为机场坐标系下的三维空间信息，即可得到目标的位置信息。

在一些实施例中，对于用两个不同摄像机的重叠视野，可以实现对目标的景深判断。则需要对两个不同摄像机的影像进行匹配，并根据两个摄像机的坐标系，确定目标在机场坐标系中的位置信息。

其中，机场坐标系可以采用大地坐标系等，实现各目标的三维空间信息的统一。

在一些实施例中，由于视频监控系统中可以获取摄像机的水平指向角度、垂直俯仰角度、变焦倍数等参数，通过事先对摄像机进行的标定，可以确定摄像机坐标系之间的变化关系。接下来，通过同一目标在两个摄像机的影像中的位置，结合两个摄像机坐标系间的变换关系，以及与机场坐标系间的变换关系，即可确定目标的位置信息。

在一些实施例中，为了确定两个摄像机的影像中的同一目标，需要进行影像匹配，由于影像间存在角度、比例尺等差异，直接应用灰度相关等匹配方法很难实现影像的自动匹配，时间开销大，匹配效率低。因此，采用基于DURF特性的影像初匹配和几何约束的像方空间一致性影像精匹配，以确定两个摄像机的影像中的同一目标，进而通过三角定位原理确定目标的三维空间信息，将目标的三维空间信息转换到机场坐标系中。

通过上述操作，不仅可以对地面上的目标进行入侵检测，还可以对空中目标，如无人机等进行入侵检测，提高了机场安保的安全性。

在一些实施例中，将目标属性、位置信息相结合进行目标合法性判断，进一步提高目标合法性判断的准确率。进一步地，可以将上述信息与机场管理系统中的作业数据进行关联查询，以确定其是否为正常作业流程，如人员、车辆是否按照作业流程出现在规定位置。

在框210，根据所述目标的位置，对所述目标进行跟踪。

在一些实施例中，若所述目标为非法目标，则对其进行跟踪。

在一些实施例中，若所述目标位于警戒区域，则提示安保人员对其进行监视，或广播驱离；若所述目标位于入侵区域，则提示安保人员对其进行驱离。

在一些实施例中，若所述目标位于警戒区域，则对目标进行跟踪，判断其运动轨迹及运动方向，根据运动方向升级或解除预警。

在一些实施例中，对目标的运动轨迹进行四次多项式拟合，获取目标运动曲线方程，根据运动曲线方程式，判断目标的运动方向，最后根据运动方向升级或解除预警。

在一些实施例中，还可以根据目标的运动方向，对目标的历史运动轨迹进行倒查，调取历史监控视频，以便对其进行身份识别，密切接触者跟踪等操作。即将当前帧中识别得到的目标与上一帧中识别得到的目标进行匹配

在上述实施例中，对于同一摄像机获取的视频，可以通过上述方式对目标进行跟踪。但是，在机场安保中，停机坪面积巨大，需要使用多个摄像头进行监控。当目标从一个摄像头的视野进入另一个摄像头的视野时(例如摄像机为双目摄像机)，虽然能够识别目标，但是很难判断识别到的目标是同一目标；另外，通常会存在多个目标，对跨摄像机的多目标跟踪，更是一个需要解决的问题。一般的，当目标从某一摄像机中出现，然后再从该摄像机中消失时，捕获到该目标生命周期中的最佳轨迹并分配身份ID；当该目标进入相邻摄像机时仍需要为该目标分配相同的ID，如此这样确保目标经过的所有摄像机均分配相同ID，就可以知道目标的运动轨迹，同时将在每个像机捕获的目标存入数据库，方便安防布控、降低以图搜图难度。

在一些实施例中，获取各摄像机当前帧视图中的待跟踪目标；对各摄像机的待跟踪目标与各摄像机的前一帧跟踪目标进行一次匹配；若一次匹配成功，则将所述前一帧跟踪目标的ID赋予所述待跟踪目标，并将所述待跟踪目标记为第一跟踪目标进行跟踪；若一次匹配失败，则根据预设规则获取所述待跟踪目标中的候选跟踪目标和所述前一帧跟踪目标中的丢失跟踪目标；判断各候选跟踪目标与各丢失跟踪目标之间的距离是否超出预设距离阈值，若超出所述预设距离阈值，则为所述候选跟踪目标初始化新的ID，并记为第二跟踪目标进行跟踪(在一些实施例中，可直接采用ReID算法对所述候选跟踪目标和所述丢失跟踪目标进行二次匹配)；若未超出所述预设距离阈值，则采用ReID算法对所述候选跟踪目标和所述丢失跟踪目标进行二次匹配；若二次匹配成功，则将所述丢失跟踪目标的ID赋予所述候选跟踪目标，并将所述候选跟踪目标记为第一跟踪目标进行跟踪；若二次匹配失败，则为所述候选跟踪目标初始化新的ID，并记为第二跟踪目标进行跟踪；并将所述丢失跟踪目标记为第三跟踪目标进行跟踪。其中，使用预设的ReID算法对各候选跟踪目标和各丢失跟踪目标进行特征提取，以分别获取各候选跟踪目标以及各丢失跟踪目标的特征向量；根据所述特征向量计算中心距离在预设距离阈值之间的各候选跟踪目标和各丢失跟踪目标之间的余弦距离，然后通过余弦距离进一步判断两者之间的关系。

在一些实施例中，还可以将非法运动目标的运动轨迹在机场停机坪二维/三维模型上进行显示。所述非法运动目标的运动轨迹上还可以显示有其ID，或者通过不同颜色的轨迹显示不同的非法运动目标。如果通过身份识别获取了其身份，还可以将其身份显示在机场停机坪二维/三维模型上。

根据本公开的实施例，实现了以下技术效果：

能够自动检测机场停机坪上的入侵行为，对入侵目标的检测与定位精度较高；还可以对非法入侵目标进行跟踪。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

图3示出了根据本公开的实施例的非法运动目标的跟踪装置300的方框图。如图3所示，装置300包括：

视频获取模块302，用于获取布防区域的监控视频；

目标识别模块304，用于根据所述监控视频进行目标识别及判断；

位置判断模块306，用于对非法目标进行位置判断；

跟踪模块308，用于根据所述非法目标的位置，对所述非法目标进行跟踪。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4示出了可以用来实施本公开的实施例的电子设备400的示意性框图。如图所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可以存储设备400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元401执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由CPU 401执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，CPU 401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。