一种基于虚实融合的空管管制员模拟训练系统和方法

技术领域

本发明涉及机场交通管控技术领域，特别是涉及一种基于虚实融合的空管管制员模拟训练系统和方法。

背景技术

近年来，随着民航运输周转量的快速增长，造成一线成熟空管管制员人员数量紧张，需要培训大量新学员到管制一线工作，为了保证民航运行安全，提高空管管制员培训效果十分有必要。

现有的管制培训手段主要以模拟机为主，通过构建三维虚拟机场场景、航空器等，并设计模拟各个飞行阶段的管制场景来培训管制员。由于机场场面情况复杂多变，三维虚拟机场场景与实际运行环境必然存在较大差异，难以真实展现机场实际运行情况，不能使空管管制员得到充分的培训，难以保证培训效果。因此，为了提高培训效果，真实地再现空管管制员的管制工作环境，需要利用先进的信息技术建设新的空管管制员培训系统。

专利文献(CN115116296A)提供了一种基于数字孪生的塔台飞行指挥仿真方法和系统，其公开的技术方案中，通过摄像机识别一些机场的实时运行信息，然后放到三维场景里，构建虚拟机场模型。该文献虽然在虚拟机场模型中添加了机场的实时运行信息，但是最终呈现出来的还是在三维引擎中构建的三维场景，所呈现的场景还是与真实场景存在差别。

发明内容

针对上述技术问题，本发明采用的技术方案为：

本发明一实施例提供一种基于虚实融合的空管管制员模拟训练系统，所述系统包括：前端摄像机、全景拼接器、场景生成器、虚实融合器、模拟训练端和模拟机长控制端，其中，

所述前端摄像机，设置在目标机场中，用于采集目标机场的实时视频画面并发送给所述全景拼接器；

所述全景拼接器，用于将接收到的实时视频画面拼接成机场实时全景视频，以用于模拟目标机场的管制员从塔台管制室观察机场的视景，并发送给所述虚实融合器；

所述场景生成器，用于根据当前控制指令生成关于需要管制的航空器的运行数据，并将生成的运行数据发送给所述虚实融合器；所述运行数据至少包括航空器的运行轨迹、机型和航班号；

所述虚实融合器，用于基于接收到的运行数据，在所述机场实时全景视频中生成对应的虚拟航空器，并将生成的虚拟航空器与所述机场实时全景视频进行融合，得到模拟训练场景并发送给所述模拟训练端和所述模拟机长控制端；

所述模拟训练端，用于将接收到的模拟训练场景发送给训练对象，并与所述训练对象进行信息交互，以进行模拟管制训练；

所述模拟机长控制端，用于基于所述模拟训练端发送的管制指令生成对应的控制指令，并发送给所述场景发生器。

本发明另一实施例提供一种基于虚实融合的空管管制员模拟训练方法，所述方法包括：

S100，获取目标机场的实时视频画面。

S200，基于所述实时视频画面拼接机场实时全景视频，以用于模拟目标机场的管制员从塔台管制室观察机场的视景。

S300，根据当前控制指令生成关于需要管制的航空器的运行数据；所述运行数据至少包括航空器的运行轨迹、机型和航班号。

S400，基于生成的运行数据，在所述机场实时全景视频中生成对应的虚拟航空器，并将生成的虚拟航空器与所述机场实时全景视频进行融合，得到模拟训练场景。

S500，将所述模拟训练场景发送给训练对象，并与所述训练对象进行信息交互，以进行模拟管制训练。

S600，响应于接收到变更虚拟航空器的运行轨迹的管制指令，生成对应的当前控制指令，执行S300。

本发明至少具有以下有益效果：

本发明实施例提供的系统和方法，通过采集机场现场的实时全景视频，呈现机场真实运行态势，同时在实时全景视频中模拟生成航空器，并可根据需要为空管管制员培训设计航空器的行为，能够实现在真实机场场景的背景下结合虚拟生成的航空器对空管管制员进行培训的目的，管制员仿佛置身于实际塔台中进行飞行指挥，使得模拟训练更加真实准确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于虚实融合的空管管制员模拟训练系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于虚实融合的空管管制员模拟训练系统，如图1所示，所述系统包括：前端摄像机1、全景拼接器2、场景生成器3、虚实融合器4、模拟训练端5和模拟机长控制端6。

其中，在本发明实施例中，所述前端摄像机1，设置在需要进行模拟训练的虚拟航空器对应的目标机场中，用于采集目标机场的实时视频画面并发送给所述全景拼接器2。

在本发明实施例中，目标机场为需要训练的空管管制员所在的机场。

在本发明实施例中，前端摄像机1可设置在目标机场的视野好的地方，例如塔台顶上或者航站楼顶上，以便能够获取到从目标机场的塔台管制室观察到的机场画面即可。

在本发明实施例中，前端摄像机1的视角范围可大于180°，可包括n个摄像机，每个摄像机的视角范围可约等于

本领域技术人员知晓，在包括n个摄像机的情况下，可将n个摄像机采集的画面进行拼接得到目标机场的实时视频画面。拼接方法可为现有技术。

进一步地，在本发明实施例中，所述全景拼接器2，用于将接收到的实时视频画面拼接成机场实时全景视频，以用于模拟目标机场的管制员从塔台管制室观察机场的视景，并发送给所述虚实融合器4。

在本发明实施例中，全景拼接器可为现有结构。本领域技术人员知晓，任何基于机场的实时视频画面拼接成机场实时全景视频的拼接方法均属于本发明的保护范围。

进一步地，在本发明实施例中，所述场景生成器3，用于根据模拟机长控制端发送的控制指令生成关于需要管制的航空器的运行数据，并将生成的运行数据发送给所述虚实融合器4；所述运行数据至少包括航空器的运行轨迹、机型和航班号。

在本发明实施例中，场景生成器可为现有结构。本领域技术人员知晓，任何基于模拟训练所需要的条件生成关于所述虚拟航空器的运行数据的方法均属于本发明的保护范围。

进一步地，在本发明实施例中，所述虚实融合器4，用于基于接收到的运行数据，在所述机场实时全景视频中生成虚拟航空器，并将生成的虚拟航空器与所述机场实时全景视频进行融合，得到模拟训练场景并发送给所述模拟训练端和模拟机长控制端。

在本发明实施例中，所述虚实融合器4中设置有与所述目标机场对应的虚拟场景，所述虚拟场景基于地图的SHAPE和位图生成，所述虚拟场景中设置有与所述前端摄像机对应的虚拟摄像机。

其中，虚拟场景对应的虚拟世界坐标系和目标机场对应的真实世界坐标系可通过如下方式进行统一：

在Unreal Engine 4引擎坐标中构建WGS84坐标系，采集目标机场的经纬度信息导入引擎，使用带有Mercator投影的给定的WGS84参考位置将给定的WGS84位置转换为笛卡尔直角坐标系，从而实现虚拟场景对应的虚拟世界坐标系和目标机场对应的真实世界坐标系的统一。

进一步地，虚拟摄像机通过如下方式生成：

首先，标定真实摄像机在虚拟世界中对应的虚拟世界坐标；

接着，根据虚拟世界坐标在虚拟世界中放置与真实摄像机对应的虚拟摄像机。这样，虚拟摄像设备在虚拟世界中的坐标位置和拍摄角度与真实摄像机的坐标位置和拍摄角度一致，因此两者拍摄的场景图像在空间位置上是一致对应的。

然后，同步真实摄像机与虚拟摄像机的FOV(视场角)，使得两相机拍摄画面一致。

进一步地，虚拟场景可通过如下步骤生成：

S10，基于地图的SHAPE文件和位图获取目标机场的地形信息，包括飞机的跑道信息、草坪信息、建筑物信息及基础的地形贴图。地图的SHAPE文件和位图可通过现有技术获取。

S12，将获取的地形信息经过3DMax加工处理后最终导入设定的虚幻引擎例如Unreal Engine 4引擎，并利用SHAPE数据与位图数据，构建与真实场景相对应的基础虚拟场景。

S14，使用三维空间真实天空模拟工具例如True Sky，在基础虚拟场景中实时渲染逼真的天空、云和大气效果及二十四小时光照，并经过后期处理盒子Post ProcessVolume的后期滤镜处理，得到与真实场景更贴近的虚拟场景。

进一步地，所述虚实融合器4通过如下步骤生成所述模拟训练场景：

S20，在所述虚拟场景中生成虚拟球体，所述虚拟球体用于包裹住所述虚拟摄像机。可采用现有技术生成虚拟球体。

S22，将所述机场实时全景视频投影拼接至虚拟球体的内表面。可采用现有技术将机场实时全景视频投影拼接至虚拟球体的内表面。

S24，基于所述运行数据，在拼接了所述机场实时全景视频的虚拟场景中生成与所述运行数据相对应的虚拟航空器，得到所述模拟训练场景。

具体地，虚实融合器通过ZeroMQ协议从所述场景生成器获取运行数据，并实时在虚拟场景中生成对应的虚拟航空器模型和设置有对应航班号的航班标牌。

ZeroMQ协议以每秒4帧的速率发送数据量。在本发明实施例中，所述虚实融合器还用于对获取的运行数据进行平滑处理，这样，能够为生成的虚拟航空器提供更为平滑的飞行效果。可采用现有的平滑处理方法进行处理。

进一步地，虚实融合器4还用于将虚拟航空器的虚拟世界坐标通过透视矩阵变换，能够实现航空器近大远小的远景关系，这样不管航空器在虚拟场景中还是在现实全景贴图中，都能准确的贴合在场景轨道中。

所述模拟训练端5，用于将接收到的模拟训练场景发送给训练对象，并与所述训练对象进行信息交互，以进行模拟管制训练。

在本发明实施例中，训练对象为需要进行模拟训练的空管管制员。本领域技术人员知晓，与所述训练对象进行信息交互，以进行模拟管制训练，可为现有技术。此外，模拟训练端也会和模拟机长控制端进行信息交互，以模拟机长和管制员之间的对话。

所述模拟机长控制端6，用于基于所述模拟训练端发送的管制指令生成对应的控制指令，并发送给所述场景发生器，以及时调整虚拟航空器的运行轨迹，使得模拟训练更加真实。

综上，本发明实施例提供的系统，通过采集机场现场的实时全景视频，呈现机场真实运行态势，同时在实时全景视频中模拟生成航空器，并可根据需要为空管管制员培训设计航空器的行为，即在真实的机场视频里面嵌入需要管制的虚拟航空器，能够实现在真实机场场景的背景下结合虚拟生成的航空器对空管管制员进行培训的目的，管制员仿佛置身于实际塔台中进行飞行指挥，使得模拟训练更加真实准确。

基于同样的发明构思，本发明实施例还提供一种基于虚实融合的空管管制员模拟训练方法，所述方法可包括：

S100，获取目标机场的实时视频画面。

在S100中，通过设置在目标机场的前端摄像机获取所述实时视频画面。

在本发明实施例中，所述前端摄像机1，设置在需要进行模拟训练的虚拟航空器对应的目标机场中，用于采集目标机场的实时视频画面并发送给所述全景拼接器2。

在本发明实施例中，前端摄像机1可设置在目标机场的视野好的地方，例如塔台顶上或者航站楼顶上，以便能够获取到从目标机场的塔台管制室观察到的机场画面即可。

在本发明实施例中，前端摄像机1的视角范围可大于180°，可包括n个摄像机，每个摄像机的视角范围可约等于

本领域技术人员知晓，在包括n个摄像机的情况下，可将n个摄像机采集的画面进行拼接得到目标机场的实时视频画面。拼接方法可为现有技术。

S200，基于所述实时视频画面拼接机场实时全景视频，以用于模拟目标机场的管制员从塔台管制室观察机场的视景。

本领域技术人员知晓，任何基于机场的实时视频画面拼接成机场实时全景视频的拼接方法均属于本发明的保护范围。

S300，根据当前控制指令生成关于需要管制的航空器的运行数据；所述运行数据至少包括航空器的运行轨迹、机型和航班号。

当前控制指令为指示生成当前需要管制的航空器所需要的运行数据的指令。本领域技术人员知晓，任何基于模拟训练所需要的条件生成关于所述虚拟航空器的运行数据的方法均属于本发明的保护范围。

S400，基于生成的运行数据，在所述机场实时全景视频中生成虚拟航空器，并将生成的虚拟航空器与所述机场实时全景视频进行融合，得到模拟训练场景。

S400进一步包括：

S410，基于Shape文件和目标机场的位图图像生成对应的虚拟场景，所述虚拟场景中设置有与所述前端摄像机对应的虚拟摄像机。

其中，虚拟场景对应的虚拟世界坐标系和目标机场对应的真实世界坐标系可通过如下方式进行统一：

在Unreal Engine 4引擎坐标中构建WGS84坐标系，采集目标机场的经纬度信息导入引擎，使用带有Mercator投影的给定的WGS84参考位置将给定的WGS84位置转换为笛卡尔直角坐标系，从而实现虚拟场景对应的虚拟世界坐标系和目标机场对应的真实世界坐标系的统一。

进一步地，虚拟摄像机通过如下方式生成：

首先，标定真实摄像机在虚拟世界中对应的虚拟世界坐标；

接着，根据虚拟世界坐标在虚拟世界中放置与真实摄像机对应的虚拟摄像机。这样，虚拟摄像设备在虚拟世界中的坐标位置和拍摄角度与真实摄像机的坐标位置和拍摄角度一致，因此两者拍摄的场景图像在空间位置上是一致对应的。

然后，同步真实摄像机与虚拟摄像机的FOV(视场角)，使得两相机拍摄画面一致。

进一步地，虚拟场景可通过如下步骤生成：

S4101，基于地图的SHAPE文件和位图获取目标机场的地形信息，包括飞机的跑道信息、草坪信息、建筑物信息及基础的地形贴图。地图的SHAPE文件和位图可通过现有技术获取。

S4102，将获取的地形信息经过3DMax加工处理后最终导入设定的虚幻引擎例如Unreal Engine 4引擎，并利用SHAPE数据与位图数据，构建与真实场景相对应的基础虚拟场景。

S4103，使用三维空间真实天空模拟工具例如True Sky，在基础虚拟场景中实时渲染逼真的天空、云和大气效果及二十四小时光照，并经过后期处理盒子PostProcessVolume的后期滤镜处理，得到与真实场景更贴近的虚拟场景。

S420，在所述虚拟场景中生成虚拟球体，所述虚拟球体用于包裹住所述虚拟摄像机。可采用现有技术生成虚拟球体。

S430，将所述机场实时全景视频投影拼接至虚拟球体的内表面。可采用现有技术将机场实时全景视频投影拼接至虚拟球体的内表面。

S440，基于所述运行数据，在拼接了所述机场实时全景视频的虚拟场景中生成与所述运行数据相对应的虚拟航空器，得到所述模拟训练场景。

具体地，虚实融合器通过ZeroMQ协议从所述场景生成器获取运行数据，并实时在虚拟场景中生成对应的虚拟航空器模型和设置有对应航班号的航班标牌。

ZeroMQ协议以每秒4帧的速率发送数据量。在本发明实施例中，所述虚实融合器还用于对获取的运行数据进行平滑处理，这样，能够为生成的虚拟航空器提供更为平滑的飞行效果。可采用现有的平滑处理方法进行处理。

进一步地，虚实融合器4还用于将虚拟航空器的虚拟世界坐标通过透视矩阵变换，能够实现航空器近大远小的远景关系，这样不管航空器在虚拟场景中还是在现实全景贴图中，都能准确的贴合在场景轨道中。

S500，将所述模拟训练场景发送给训练对象，并与所述训练对象进行信息交互，以进行模拟管制训练。

在本发明实施例中，训练对象为需要进行模拟训练的空管管制员。本领域技术人员知晓，与所述训练对象进行信息交互，以进行模拟管制训练，可为现有技术。

S600，响应于接收到变更虚拟航空器的运行轨迹的管制指令，生成对应的当前控制指令，执行S300。

变更虚拟航空器的运行轨迹的管制指令可由模拟训练端出，当前控制指令可由模拟机长控制端发出。

在接收到变更虚拟航空器的运行轨迹的管制指令时，会及时对虚拟航空器的运行轨迹进行调整，以使得模拟训练更加真实。

综上，本发明实施例提供的方法，通过采集机场现场的实时全景视频，呈现机场真实运行态势，同时在实时全景视频中模拟生成航空器，并可根据需要为空管管制员培训设计航空器的行为，能够实现在真实机场场景的背景下结合虚拟生成的航空器对空管管制员进行培训的目的，管制员仿佛置身于实际塔台中进行飞行指挥，使得模拟训练更加真实准确。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。