一种基于机器视觉的管制员值班状态检测系统及方法

技术领域

本发明涉及航空管制领域，尤其是一种基于机器视觉的管制员值班状态检测系统及方法。

背景技术

随着空域飞行流量的持续快速增长，在安全和发展的两大浪潮冲击下，空管安全服务工作面临着极大的挑战。空管管制员责任重大，负责指挥、监控空中、地面上的航空器起飞、飞行、降落，直接事关飞机上乘客安全。2014年7月8日，东航B737-800/B-5731飞机执行MU2528航班任务，在武汉进近阶段联系塔台时，因管制员在岗位上睡着，多次呼叫无人应答，未能与塔台建立联系，后经进近管制员指挥下复飞。依据《民用航空其他不安全事件样例》(AC-396-AS-2010-05)第1.19条，构成一起人为责任原因的不安全事件。为了防止管制员在值班过程中出现脱岗和睡岗导致不安全事件发生，现有的常见做法是采用领导值班方式进行值班现场不定期督查。这个方式不但浪费人力，而且效率低下，无法完全杜绝意外情况发生。现有技术针对管制员脱岗和睡岗检测方法，多从单一方面判断管制员是否处于睡岗状态或者脱岗状态，且对管制员睡岗或脱岗情况误判率极高，无法满足管制值班现场的管制员脱岗行为和睡岗行为检测。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于机器视觉的管制员值班状态检测系统及方法，提高航空管制的安全性。

第一方面

本发明提供了一种基于机器视觉的管制员值班状态检测系统，包括：

数据采集装置，用于实时接收管制席位监控视频数据；

位置分析模块，用于通过空间定位法将管制席位监控视频数据按照管制席位空间位置进行区域划分，得到管制席位在监控视频数据中的位置坐标；

目标检测模块，用于通过卷积神经网络目标检测算法对所述管制席位监控视频数据进行人体目标检测，得到人体目标的中心点坐标；

脱岗分析模块，用于计算所述人体目标的中心点坐标与所述管制席位在监控视频中的位置坐标的距离，若距离大于或等于预设值，判断管制员脱岗。

优选地，还包括第一睡岗分析模块，用于通过人体姿态估计算法对所述管制席位监控视频数据检测人体姿态数据；若检测到管制员趴在席位上的姿态保持时间大于或者等于第一预设时间，判断管制员睡岗。

优选地，还包括第二睡岗分析模块，用于通过眼睛闭合状态检测算法对所述管制席位监控视频数据检测管制员眼睛闭合状态；若检测到管制员眼睛闭合状态保持时间大于或者等于第二预设时间，判断管制员睡岗。

优选地，所述数据采集装置还用于实时接收飞行计划数据和值班考勤数据；

所述系统还包括值班信息分析模块，用于对管制席位监控视频数据、飞行计划数据和值班考勤数据进行检测计算分析，得到管制员在岗情况检测数据。

优选地，还包括告警模块，当脱岗分析模块判断管制员脱岗时，进行告警提醒。

优选地，还包括数据分析和记录模块，用于分析和记录告警提醒信息。

第二方面

本发明提供了一种基于机器视觉的管制员值班状态检测方法，包括以下步骤：

实时接收管制席位监控视频数据；

通过空间定位法将管制席位监控视频数据按照管制席位空间位置进行区域划分，得到管制席位在监控视频数据中的位置坐标；

通过卷积神经网络目标检测算法对所述管制席位监控视频数据进行人体目标检测，得到人体目标的中心点坐标；

计算所述人体目标的中心点坐标与所述管制席位在监控视频中的位置坐标的距离，若距离大于或等于预设值，判断管制员脱岗。

优选地，还包括以下步骤：

通过人体姿态估计算法对所述管制席位监控视频数据检测人体姿态数据；若检测到管制员趴在席位上的姿态保持时间大于或者等于第一预设时间，判断管制员睡岗。

优选地，还包括以下步骤：

通过眼睛闭合状态检测算法对所述管制席位监控视频数据检测管制员眼睛闭合状态；若检测到管制员眼睛闭合状态保持时间大于或者等于第二预设时间，判断管制员睡岗。

优选地，还包括以下步骤：

判断管制员脱岗时，进行告警提醒。

本发明的有益效果：

一、采用计算机视觉技术，融合监控视频数据、开合扇数据、值班考勤数据，适用于管制区调、进近、塔台不同应用场景检测管制员脱岗和睡岗行为；

二、采用改进的YOLO v5实现人体目标识别，结合管制席位在监控视频中空间位置判断管制员是否脱岗；采用OpenPose姿态估计算法实现人体目标行为分析，检测计算管制员存在趴着行为状态并保持达到预设分钟数，判断管制员睡岗；采用OpenCv的PERCLOS算法检测管制员眼睛闭合状态并保持达到预设值，判断管制员睡岗。针对不同检测目的采用不同的算法，降低脱岗和睡岗误判率；

三、能够预防管制现场因管制员脱岗和睡岗行为发生的不安全事件，可为空管系统基层管理提供创新型现代化的安全管理手段，对于保障飞行安全、提升管制服务品质具有重要现实意义。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例一的结构示意图；

图2为本发明实施例二的流程示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

实施例一

如图1所示，本发明实施例提供了一种基于机器视觉的管制员值班状态检测系统，包括：

数据采集装置，采用固定角度的摄像头采集固定区域的管制席位，实时接收管制席位监控视频数据；还用于实时接收飞行计划数据、值班考勤数据和GPS时钟数据；

值班信息分析模块，用于对管制席位监控视频数据、飞行计划数据和值班考勤数据进行检测计算分析，得到管制员在岗情况检测数据；具体地，对飞行计划数据分析，得到管制扇区开合状态数据；对值班考勤数据进行分析，得到管制席位值班人员和上岗时间信息。并且，通过GPS时钟数据，将系统时间同步为监控视频数据和值班考勤数据的同一时间基准，保证计算结果时间的准确性；

位置分析模块，用于通过空间定位法将管制席位监控视频数据按照管制席位空间位置进行区域划分，得到管制席位在监控视频数据中的位置坐标；

目标检测模块，对管制席位监控视频数据进行降噪、滤波处理，并提取特征值；提取特征后，通过YOLO v5卷积神经网络目标检测算法对特征值进行人体目标检测，得到人体目标的中心点坐标；

脱岗分析模块，用于计算人体目标的中心点坐标与管制席位在监控视频中的位置坐标的距离，具体地，是计算人体目标的中心点坐标与管制席位在监控视频中的位置坐标的中心点的距离。若距离大于或等于预设值，判定管制员脱岗；否则，判定管制员在岗。

本发明实施例还包括第一睡岗分析模块，在管制员在岗的情况下，用于通过OpenPose人体姿态估计算法对管制席位监控视频数据检测人体姿态数据；若检测到管制员趴在席位上的姿态保持时间大于或者等于第一预设时间，判定管制员睡岗；否则，判定管制员未睡岗；

还包括第二睡岗分析模块，用于通过眼睛闭合状态检测算法对管制席位监控视频数据检测管制员眼睛闭合状态；若检测到管制员眼睛闭合状态保持时间大于或者等于第二预设时间，判定管制员睡岗；否则，判定管制员未睡岗。

本发明实施例还包括告警模块，当管制员脱岗或睡岗时，自动进行告警提醒。其中，告警提醒可以是声光信号的形式，也可以通过短信的形式发送至预设终端。本发明实施例中，自动告警分三种情况，一是根据监控视频检测人体目标、计算扇区开合状态和值班考勤时间判断岗位值班人员是否在岗位，若检测到管制员不在岗位，系统自动进行脱岗告警提醒；二是检测管制席位值班人员存在趴着睡觉姿势并保持至预设分钟数时，系统自动进行睡岗告警；三是检测管制席位值班人员眼睛闭合并保持至预设分钟数时，系统自动进行睡岗告警提示。

还包括数据分析和记录模块，用于基于管制员在岗情况检测数据分析和记录告警提醒信息，其中告警提醒信息包括管制员信息、脱岗或睡岗时间信息等。

本发明实施例还包括配置模块，用于配置系统参数，包括针对固定角度监控视频划定席位空间位置、设置管制员在岗位同一行为姿态时间间隔。

本发明实施例引接管制席位监控视频数据、飞行计划数据、值班考勤数据、参数配置数据融合检测计算，判断管制席位岗位值班人员是否存在脱岗和睡岗行为。包括数据采集装置接收席位监控视频数据、飞行计划数据、值班考勤数据和GPS时钟数据，系统计算服务器融合接收的数据和配置的参数进行检测和计算分析，得到管制席位人员在岗情况，若系统判断出管制员脱岗和睡岗，则自动告警，并将告警信息进行分析和记录。

实施例二

本发明实施例提供了一种基于机器视觉的管制员值班状态检测方法，如图2所示，包括以下步骤：

步骤一：分别从席位视频数据接口、飞行计划数据接口、值班考勤数据接口、GPS数据接口实时接收管制席位监控视频数据、飞行计划数据、值班考勤数据和GPS时钟数据；

步骤二：对管制席位监控视频数据、飞行计划数据、值班考勤数据和GPS时钟数据进行数据解析、存储和预处理；

步骤三：对飞行计划数据分析，得到管制扇区开合状态数据；对值班考勤数据进行分析，得到管制席位值班人员和上岗时间信息。并且，通过GPS时钟数据，将系统数据计算服务器时间同步为监控视频数据和值班考勤数据为同一时间基准，保证计算结果时间的准确性；

步骤四：在管制员处于上岗时间时，通过空间定位法将管制席位监控视频数据按照管制席位空间位置进行区域划分，得到管制席位在监控视频数据中的位置坐标；对管制席位监控视频数据进行降噪、滤波处理，并提取特征值；提取特征后，通过YOLO v5卷积神经网络目标检测算法对特征值进行人体目标检测，得到人体目标的中心点坐标；计算人体目标的中心点坐标与管制席位在监控视频中的位置坐标的距离，具体地，是计算人体目标的中心点坐标与管制席位在监控视频中的位置坐标的中心点的距离。若距离大于或等于预设值，判定管制员脱岗；进行脱岗告警提醒；否则，判定管制员在岗；其中，脱岗告警提醒可以是声光信号的形式，也可以通过短信的形式发送至预设终端；并记录告警提醒信息，告警提醒信息包括管制员信息、脱岗或睡岗时间信息等。

步骤五：在管制员在岗的情况下，通过OpenPose人体姿态估计算法对管制席位监控视频数据检测人体姿态数据；若检测到管制员趴在席位上的姿态保持时间大于或者等于第一预设时间，判定管制员睡岗，进行睡岗告警提醒；否则，判定管制员未睡岗；其中，睡岗告警提醒可以是声光信号的形式，也可以通过短信的形式发送至预设终端；并记录告警提醒信息，告警提醒信息包括管制员信息、脱岗或睡岗时间信息等。

步骤六：在步骤五判定管制员未睡岗的情况下，通过眼睛闭合状态检测算法对管制席位监控视频数据检测管制员眼睛闭合状态；若检测到管制员眼睛闭合状态保持时间大于或者等于第二预设时间，判定管制员睡岗，进行睡岗告警提醒；否则，判定管制员未睡岗。其中，睡岗告警提醒可以是声光信号的形式，也可以通过短信的形式发送至预设终端；并记录告警提醒信息，告警提醒信息包括管制员信息、脱岗或睡岗时间信息等。

按照上述步骤循环检测管制员的值班状态。

本发明实施例提供的一种基于机器视觉的管制员值班状态检测系统及方法，采用改进的YOLO v5目标检测算法实现人体目标检测，将人体目标与管制席位在监控视频中的位置信息进行比对，若计算出人体目标的中心点与管制席位在监控视频中空间位置中心点距离达到预设值，则可判断管制席位管制员脱岗；采用OpenPose姿态估计算法实现人体行为分析，检测计算管制员存在趴着行为状态并保持至预设分钟数，判断管制员睡岗；采用OpenCv的PERCLOS算法检测管制员眼睛存在闭合状态并保持至预设值，则判断管制员睡岗。本发明实施例融合管制扇区开合状态、管制员值班考勤时间、参数配置组件，判断检测管制员在岗期间是否存在脱岗和睡岗行为，若存在脱岗和睡岗行为，系统自动发出告警提示，提高岗位值班人员和管理人员防范意识，防止意外发生。且本发明实施例针对不同检测目的采用不同的算法，降低脱岗和睡岗误判率。本发明实施例能够预防管制现场因管制员脱岗和睡岗行为发生的不安全事件，可为空管系统基层管理提供创新型现代化的安全管理手段，对于保障飞行安全、提升管制服务品质具有重要现实意义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。