一种多无人机的虚实结合仿真方法、装置及系统

技术领域

本发明实施例涉及计算机虚实仿真技术领域，特别涉及一种多无人机的虚实结合仿真方法、装置及系统。

背景技术

无人机仿真，是设计无人机、验证无人机相关算法、构想无人机作战样式等行动必须经过的一环。目前的无人机仿真，在无人机动力学、无人机避障、无人机集群任务规划等领域大放光彩，起到了不可替代的作用。虚实结合仿真，是近年来发展较快的仿真方法，在武器效能评估、作战装备试验、工业生产组装等方面起到了良好的效果。虚实结合的仿真方法，将计算机虚拟空间中的元素与现实世界中的元素相结合，起到跨空间调配资源、跨时间调用环境的作用。虚实结合仿真可以在有限的实物条件下，以虚拟环境中的要素来补充实物的不足，例如在将实物无人机与虚拟传感器相结合，使实物无人机在虚拟的环境中进行仿真，达到与实际环境中仿真相同的效果。

仿真，是装备研制与战术技术训练的先行官。而无人机仿真，则是无人机算法验证和战法研究的有力工具。随着遗传算法、模拟退火算法、粒子群算法、蚁群算法等各种智能算法的发展，无人机有关问题的解决，也逐渐采用了改进的智能算法。为了验证这些算法的有效性，纯物理系统存在着诸多限制，第一，无人机数量受限，普通的实验室无法使用几十上百架无人机进行算法验证。第二，能量受限，无人机的能源往往只能支撑其留空数小时的时间，无法进行长时间或者多次仿真，需要重新充电和部署系统，过程十分繁琐。第三，由于被验证算法往往无法一次成功，在过程中会出现无人机的损坏，导致后续验证无法进行。

目前往往采用计算机仿真的形式验证算法的可行性，但计算机仿真受限于理想的环境，导致被验证的算法无法直接部署到实物无人机上，需要根据实际测试情况进行调整，延长了算法开发的周期。虚实结合仿真是在全物理仿真难以做到，纯虚拟仿真的可信度无法达到要求时，应运而生的一种仿真技术，虚实结合是完成系统的虚拟仿真和实际待测设备互换互联的结合方式，该方式能发挥虚拟系统仿真具备的接口抽象、功能模拟和测试功能迭代开发的特点，同时结合实际设备的真实性，使得测试满足全面、高效和可靠要求。虚实结合的仿真方式，充分调动了仿真系统中的数字资源和物理资源，使原本如设计—建模—仿真—验证呈线性进行的开发流程，能在仿真与验证阶段并行开展，有效提高了开发效率。

构建虚实结合仿真系统的关键在于实现虚拟空间与实物空间信息的互联互通，在此基础上才能实现对两个空间资源的统一调配。但是现有的方案均无法做到将虚拟无人机与实物无人机融合，实现真正的虚实结合仿真。

发明内容

本发明提供了一种能够将实物无人机与虚拟无人机相结合，实现真正的虚实结合仿真的多无人机的虚实结合仿真方法、装置及系统。

为了解决上述技术问题，本发明实施例提供了一种多无人机的虚实结合仿真方法，包括：

确定实物场景特征；

基于所述实物场景特征搭建虚拟场景；

确定无人机集群中实物无人机的数量与虚拟无人机的数量；

基于所述虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在所述虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道；

构建所述实物无人机与虚拟无人机间的通信控制系统，所述通信控制系统用于在所述实物无人机与虚拟无人机间进行数据交互；

基于所述通信控制系统确定所述实物无人机与虚拟无人机的状态信息；

基于所述通信控制系统，结合所述状态信息、编队及各无人机的飞行航道分别控制所述虚拟无人机、实物无人机的飞行。

作为一可选实施例，所述确定无人机集群中的实物无人机数量与虚拟无人机数量，包括：

确定无人机集群中实物无人机的数量；

在所述虚拟场景中分别构建与每个所述实物无人机对应的孪生体；

确定所述虚拟无人机与所述孪生体的数量。

作为一可选实施例，所述基于所述虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在所述虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道，包括：

确定目标编队队形及无人机集群的目标飞行航道；

在所述虚拟场景中，基于所述实物无人机数量、虚拟无人机数量及目标飞行航道按时间序列分别为每个所述实物无人机、虚拟无人机确定各时刻的航点；

基于所述实物无人机、虚拟无人机的航点确定所述编队及各虚拟无人机、实物无人机的飞行航道。

作为一可选实施例，所述构建所述实物无人机与虚拟无人机间的通信控制系统，包括：

设置定位系统，所述定位系统用于为所述实物无人机进行身份识别与定位；

设置服务计算机，所述服务计算机与定位系统通信连接，用于处理所述定位系统的反馈信息形成对应在所述虚拟场景中的三维信息，并至少用于结合智能算法计算确定所述实物无人机期望飞行位置；

设置控制计算机，所述控制计算机与所述服务计算机、定位系统及实物无人机通信连接，至少用于接收服务计算机的所述期望飞行位置并生成对应的控制指令发送至所述实物无人机、获得所述实物无人机的相关信息并基于UDP协议转发至所述服务计算机。

作为一可选实施例，所述定位系统包括设置在所述实物无人机上的GPS模块，以及布设在所述实物场景中的多个摄像头和设置在所述实物无人机上的多个反光球，所述控制计算机与所述GPS模块相连，所述服务计算机与所述摄像头相连以获得所述反馈信息，并能够将所述反馈信息发送至所述控制计算机。

作为一可选实施例，不同所述实物无人机上的多个反光球的设置数量和/或设置位置不同；

所述服务无人机或控制无人机能够基于摄像头的反馈信息中关于多个反光球的的设置数量和/或设置位置确定各个所述实物无人机的ID及在实物场景下的位置状态。

作为一可选实施例，所述基于所述通信控制系统，结合所述状态信息、编队及各无人机的飞行航道分别控制所述虚拟无人机、实物无人机的飞行，包括：

基于所述服务计算机分别确定各实物无人机、虚拟无人机的编队位置及其飞行航道；

基于所述服务计算机结合所述实物无人机当前的状态信息确定其是否首次进入所述飞行航道的第一坐标阈值，所述第一坐标阈值为所述飞行航道中任意一个目标位置点对应的坐标阈值，所述目标位置点与所述期望飞行位置对应；

若是，则所述服务计算机将所述实物无人机的状态信息发送至在编队中位于该实物无人机后方的目标虚拟无人机或目标实物无人机，使所述目标虚拟无人机或目标实物无人机基于各自的飞行航道飞往匹配的目标位置点，并反馈状态信息至所述服务无人机；

当所述服务计算机基于所述目标虚拟无人机或目标实物无人机的状态信息确定其飞至所述匹配的目标位置点时，通知所述控制计算机，使所述控制计算机基于各所述实物无人机、虚拟无人机当前状态信息、编队及各自的飞行航道分别为所述实物无人机、虚拟无人机生成并发送飞往下一个目标位置点的指令。

本发明另一实施例同时提供一种多无人机的虚实结合仿真装置，包括：

第一确定模块，用于确定实物场景特征；

搭建模块，用于基于所述实物场景特征搭建虚拟场景；

第二确定模块，用于确定无人机集群中实物无人机的数量与虚拟无人机的数量；

第三确定模块，用于基于所述虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在所述虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道；

构建模块，用于构建所述实物无人机与虚拟无人机间的通信控制系统，所述通信控制系统用于在所述实物无人机与虚拟无人机间进行数据交互；

第四确定模块，用于基于所述通信控制系统确定所述实物无人机与虚拟无人机的状态信息；

控制模块，用于基于所述通信控制系统，结合所述状态信息、编队及各无人机的飞行航道分别控制所述虚拟无人机、实物无人机的飞行。

作为一可选实施例，所述确定无人机集群中的实物无人机数量与虚拟无人机数量，包括：

确定无人机集群中实物无人机的数量；

在所述虚拟场景中分别构建与每个所述实物无人机对应的孪生体；

确定所述虚拟无人机与所述孪生体的数量。

本发明另一实施例还提供一种多无人机的虚实结合仿真系统，包括:

一个或多个处理器；

存储器，配置为存储一个或多个程序；

当该一个或多个程序被该一个或多个处理器执行时，使得该一个或多个处理器实现如上文中任一项实施例所述的多无人机的虚实结合仿真方法。

本发明另一实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中任一项实施例所述的多无人机的虚实结合仿真方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例中的多无人机的虚实结合仿真方法的流程图。

图2为本发明实施例中的多无人机的编队方法流程图。

图3为本发明实施例中的多无人机执行任务的过程图。

图4为本发明实施例中的通信控制系统的结构关系图。

图5为本发明实施例中的多无人机间的通信流程图。

图6为本发明实施例中的多无人机的虚实结合仿真装置的结构框图。

具体实施方式

下面，结合附图对本发明的具体实施例进行详细的描述，但不作为本发明的限定。

应理解的是，可以对此处公开的实施例做出各种修改。因此，下述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

下面，结合附图详细的说明本发明实施例。

如图1所示，本发明实施例提供一种多无人机的虚实结合仿真方法，包括：

S101：确定实物场景特征；

S102：基于实物场景特征搭建虚拟场景；

S103：确定无人机集群中实物无人机的数量与虚拟无人机的数量；

S104：基于虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道；

S105：构建实物无人机与虚拟无人机间的通信控制系统，通信控制系统用于在实物无人机与虚拟无人机间进行数据交互；

S106：基于通信控制系统确定实物无人机与虚拟无人机的状态信息；

S107：基于通信控制系统，结合状态信息、编队及各无人机的飞行航道分别控制虚拟无人机、实物无人机的飞行。

基于上述实施例所述的方法，可以有效实现实物无人机与虚拟无人机融合，真正实现无人机的虚实结合仿真，而且可应用于在军事领域中，特别是在城市作战行动中，无人机以其小巧灵活的特点，可以穿行于建筑内部，完成侦察任务。而利用虚实结合的方法可以基于少量实物无人机配合虚拟无人机来模拟实际行动场景，为实际应用奠定基础，提供有效参考。尤其是实际应用中，无人机会在建筑内进行勘察，而建筑内部大多通过房门、窗户等将各个房间连接起来。因此，顺利穿越门窗是无人机执行侦察任务的必备条件，但门窗具有空间狭窄的形状特点，如果未能预先进行无人机的飞行训练，飞行数据的处理，极容易导致勘察任务失败，尤其是当有多架无人机执行侦察任务时，往往需要经过编队才能顺利通过门窗，故预先基于本实施例中的方法训练无人机，利用虚实结合方法模拟实际行动场景可有效辅助实际勘察行动的顺利进行。

进一步地，在基于实物场景搭建虚拟场景时，应满足虚拟场景的边界服从实物场景的条件。虚拟场景与实物场景的布设可以结合仿真服务的内容来确定，例如实物实体同步虚拟实体在虚拟空间中的运动，且验证在实物场景中的性能时，需要使实物场景与虚拟场景保持一致，包括地形、障碍物的尺寸和位置等。在本实施例中，虚拟场景除了提供仿真对象运动的环境外，还可以提供相应的感知能力，例如碰撞感知的能力。当无人机执行运动出现偏差时，或算法设计存在错误，导致虚拟无人机与环境发生碰撞时，虚拟场景能够实时将碰撞信息反馈给控制计算机(下文将介绍)，同时在虚拟场景中对碰撞效果进行实时渲染，以符合用户的认知的状态为用户展现碰撞状态。

进一步地，确定无人机集群中的实物无人机数量与虚拟无人机数量，包括：

S108：确定无人机集群中实物无人机的数量；

S109：在虚拟场景中分别构建与每个实物无人机对应的孪生体；

S110：确定虚拟无人机与孪生体的数量。

也即，无人机集群是由部分实物无人机与部分虚拟无人机配合形成的，其中，虚拟无人机基于虚拟场景建模形成，实物无人机为了实现与虚拟无人机组队，需要在虚拟场景中构建孪生体，以基于该孪生体实现与实物无人机的状态同步。在确定无人机集群的数量时，是确定虚拟无人机与孪生体的数量。具体地，应用时，虚拟场景、孪生体以及仿真软件均可使用虚幻引擎搭建，同样地，虚拟无人机也可使用虚幻引擎中的模型进行创建。而实物实体可使用四旋翼无人机，其具有体积小巧、滞空时间长、反应灵敏的优点。在构建孪生体时可以使用三维建模软件对实物无人机进行建模后，将其导入虚幻引擎，进而形成虚拟无人机。

进一步地，基于虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道，包括：

S111：确定目标编队队形及无人机集群的目标飞行航道；

S112：在虚拟场景中，基于实物无人机数量、虚拟无人机数量及目标飞行航道按时间序列分别为每个实物无人机、虚拟无人机确定各时刻的航点；

S113：基于实物无人机、虚拟无人机的航点确定编队及各虚拟无人机、实物无人机的飞行航道。

例如，无人机集群执行编队与无人机集群编队变换要求单个无人机按照编队协同算法，与队内其他无人机保持相对固定的位置飞行，以形成指定的队形，即目标编队队形。基于航点的无人机编队方法适用于规模较小的无人机集群，通过控制计算机不断更新编队内每个无人机在下一个时刻的航点，来实现无人机的编队控制，也即是基于实物无人机、虚拟无人机的航点确定编队，同时可基于每个时刻的航点来确定各虚拟无人机、实物无人机的飞行航道。具体根据每个时刻的航点确定编队的算法流程可参考图2所示，图2中的＝号代表赋值。

进一步地，无人机集群的路径跟踪算法与无人机集群执行编队和编队变换的算法有所区别，无人机需要在队形约束的条件下前往目标位置点，因此“获取目标编队队形”即为获取目标航迹(即目标飞行航道)，该航迹可由路径规划算法根据无人机集群的队形以及目标位置点的位置给出。对于编队方式，其可以采用领航者—跟随者模型，即通过给出领航者的位置，跟随者的位置即可通过对编队位置解算后得出。而路径跟踪的终点也将是领航者的终点，编队内其余无人机的位置根据编队内相对位置关系解算得出。

例如，结合图3所示，其示出了无人机集群全任务流程以及队形变换方式，具体包括一架实物无人机与两架虚拟无人机在收到指令后，按照实物无人机、一号虚拟无人机、二号虚拟无人机的顺序起飞，实物无人机的悬停位置为(0.0,1.5,1.0)，一号虚拟无人机的悬停位置为(1.0,5.0,1.5)，二号虚拟无人机的悬停位置为(-1.0,5.0,1.5)。在二号虚拟无人机到达指定位置后，三架无人机编队向前飞行。实物无人机到达(0.0,1.0,1.0)，一号虚拟无人机到达(1.0,3.0,1.5)，二号虚拟无人机到达(1.0,3.0,1.5)后，执行队形变换的指令。需要通过的门下侧两端位于(0.5,0.0,0.0)，(-0.5,0.0,0.0)，高度为1.8米。实物无人机首先前往(0.0,-1.5,1.0)，一号虚拟无人机沿(1.0,3.0,1.5),(0.0,3.0,1.5),(0.0,-1.0,1.5)的路径到达目标点，二号虚拟无人机沿(-1.0,3.0,1.5),(0.0,3.0,1.5),(0.0,-0.5,1.5)的路径到达目标点后，三架无人机执行降落指令。

进一步地，虚实结合仿真系统在性能指标上最基本的要求是仿真的实时性，实时性要求仿真系统的运行满足一定的时间约束条件，如果仿真系统的实时性得不到保证，仿真系统的运行将进入一种不确定的状态，系统的行为将不可控制，系统的运行结果将不可预测，这样就很难保证仿真结果的可信性。

因此，虚实结合仿真系统在实时性上的要求主要有：

(1)仿真系统响应外部指令的时间t

(2)虚拟实体状态与实物实体状态互相同步的时间t

虚实结合仿真是人在回路型的仿真系统，在仿真系统运行过程中，人会给予仿真系统以外部指令，如发送队形变换、任务变更、火力打击等指令，而仿真系统则需要对这些指令有及时的响应。对于外部指令的响应，通常需要设定一个预设的等待时间t

在虚实结合仿真中，虚拟实体与实物实体需要实时获取对方的状态以实现虚实交互。例如在虚拟无人机与实物无人机呈领航者—跟随者队形混合编队时，二者需要实时获取对方位置，才能根据预设编队的相对位置关系获取自身的位置。否则虚拟无人机与实物无人机将会进入一个位置不确定的状态，进而影响仿真结果。虚拟实体状态与实物实体状态互相同步的时间，指虚拟实体与实物实体中一方将自身状态信息发送给对方，对方收到信息且完成参数装订的时间。这个时间应当尽可能小，以确保无人机有足够的时间响应飞行参数的变化，避免虚拟实体与实物实体的状态脱节。

进一步地，本实施例中在构建实物无人机与虚拟无人机间的通信控制系统时，包括：

S114：设置定位系统，定位系统用于为实物无人机进行身份识别与定位；

S115：设置服务计算机，服务计算机与定位系统通信连接，用于处理定位系统的反馈信息形成对应在虚拟场景中的三维信息，并至少用于结合智能算法计算确定实物无人机期望飞行位置；

S116：设置控制计算机，控制计算机与服务计算机、定位系统及实物无人机通信连接，至少用于接收服务计算机的期望飞行位置并生成对应的控制指令发送至实物无人机、获得实物无人机的相关信息并基于UDP协议转发至服务计算机。

本实施例中的定位系统包括设置在实物无人机上的GPS模块，以及布设在实物场景中的多个摄像头和设置在实物无人机上的多个反光球，控制计算机与GPS模块相连，服务计算机与摄像头相连以获得反馈信息，并能够将反馈信息发送至控制计算机。

其中，不同实物无人机上的多个反光球的设置数量和/或设置位置不同；

服务无人机或控制无人机能够基于摄像头的反馈信息中关于多个反光球的的设置数量和/或设置位置确定各个实物无人机的ID及在实物场景下的位置状态。

具体地，定位系统的布设为无人机活动的实物场景划定了边界，本实施例中的实物实体的定位系统使用室内动作捕捉系统，通过实物无人机上布设的反光球，以及布设在场地周边的12个摄像头进行实物实体的位置和姿态信息获取，其室内定位精度可以到达毫米级。不同的实物无人机上布设的反光球的数量和/或位置不定，基于不同的数量和/或位置的反光球，可以确定该无人机的ID。进一步地，本实施例中的仿真系统的通信使用ROS和DDS搭建，同时采用Mavlink(小型无人载具通信协议)作为控制计算机与无人机之间的通信协议，将服务计算机、控制计算机、室内定位系统、无人机连接起来。具体结构如图4所示，图中箭头代表信息流动的方向。

优选地，相比于WIFI连接，有线连接的通信速度、带宽和稳定性都更好，因此，本实施例中不可移动的控制计算机与服务计算机之间优选采用有线连接的方式接入局域网，无人机则使用WIFI和路由器接入局域网。

在本实施例中，控制计算机主要实现以下功能：

(1)获取来自服务计算机的实物无人机的运行指令，并转换为Mavlink(小型无人载具通信协议)消息发送给实物无人机。

(2)实物无人机根据自身的GPS模块获取自身位置，通过WIFI发送给控制计算机，控制计算机将来自定位系统中的信息源的位置消息进行对比印证，最终确认实物无人机的状态。

(3)控制计算机运行python脚本，将实物无人机消息相关的信息统一，并通过UDP协议发送给服务计算机，实现融合了定位系统和实物无人机自身GPS数据的实物无人机状态数据获取。

服务计算机包括定位系统软件、虚幻引擎及智能算法，其主要实现以下功能：

(1)运行定位系统软件，实时获取并在界面上显示实物无人机的运动状态数据和三维空间位置，获取各无人机在一定时间内的运行轨迹，以及使用VRPN向控制计算机转发来自定位系统的位置信息。

(2)虚幻引擎与室内定位系统在ROS2环境中使用DDS通信。虚幻引擎将算法的计算结果通过UDP协议发送给控制计算机，控制计算机生成Mavlink指令后发送给对应的无人机，使该无人机受控运动。

(3)运行智能算法，虚幻引擎支持蓝图、C++、python语言编程，本实施例中的仿真平台使用Python作为智能算法的开发语言，通过运行python脚本调用虚拟引擎中的相关资源以及控制无人机完成仿真服务。

定位系统通过实物场景周边布置的摄像头与实物无人机上面分布不同的反光球来确定各个实物无人机的ID和状态信息，该状态信息包括位置信息，是否完成目标位置点飞行任务的信息等。

进一步地，在虚实结合仿真中，当实物实体与虚拟实体同时参与时，二者的状态同步是达成协同效果的重要保证。在实物无人机到达目标位置点后，需要将自己已达到指定地点的信息通知虚拟无人机，虚拟无人机获取后，执行对应自身的下一步指令。

当仿真在纯虚拟环境中进行时，各项仿真条件都十分理想，在无人机的定位系统、控制器和信息交流上，理想条件的优势显得尤为突出。传感器和控制器的优越性使得虚拟仿真的状态同步方法较为简单，只需在对象执行完指定的命令后，通过简单调用的方式，即可将信息传递给其他对象。同时，无人机的计算机仿真相关应用或软件开发的较为成熟，已将虚拟无人机的命令执行与结果确认封装完毕，用户只需对函数进行调用，即可完成上述步骤。而将实物无人机引入后，需要通过DDS中的数据读取或者获取无人机的实时位置，自行设计无人机的命令执行与结果确认环节，以实现实物实体与虚拟实体之间的状态同步。

实物无人机存在定位系统中的传感器与无人机的控制器性能限制，这会导致实物无人机将在目标位置点附近抖动。因此，需要在目标点附近设计一个阈值区间(即本申请的第一坐标阈值)，当无人机进入阈值区间时，即判定无人机已到达目标点，阈值需要根据无人机所执行任务的地理尺度和无人机自身传感器、控制器与定位系统的性能来确定。

由于阈值区间的存在，会导致无人机在阈值区间内时，一直向外发送已到达目标点的信息。这会导致即使该无人机已执行完本次指令，前往下一个目标点时，仍然向其他实体发送自身才到达前一个目标点的信息。由此会导致其他实体对该无人机的状态产生误判，进而引起各个仿真实体的互锁。为了解决上述问题，在本实施例中，根据实物无人机、虚拟无人机的特性与仿真系统的通信结构，以实物无人机到达既定坐标点后，同时向两个虚拟无人机发送指令，并接收二者的反馈结果为例。

例如，结合图5所示，基于通信控制系统，结合状态信息、编队及各无人机的飞行航道分别控制虚拟无人机、实物无人机的飞行，包括：

S101：基于服务计算机分别确定各实物无人机、虚拟无人机的编队位置及其飞行航道；

S117：基于服务计算机结合实物无人机当前的状态信息确定其是否首次进入飞行航道的第一坐标阈值，第一坐标阈值为飞行航道中任意一个目标位置点对应的坐标阈值，目标位置点与期望飞行位置对应；

S118：若是，则服务计算机将实物无人机的状态信息发送至在编队中位于该实物无人机后方的目标虚拟无人机或目标实物无人机，使目标虚拟无人机或目标实物无人机基于各自的飞行航道飞往匹配的目标位置点，并反馈状态信息至服务无人机；

S119：当服务计算机基于目标虚拟无人机或目标实物无人机的状态信息确定其飞至匹配的目标位置点时，通知控制计算机，使控制计算机基于各实物无人机、虚拟无人机当前状态信息、编队及各自的飞行航道分别为实物无人机、虚拟无人机生成并发送飞往下一个目标位置点的指令。

如图6所示，本发明实施例同时提供一种多无人机的虚实结合仿真装置100，包括：

第一确定模块，用于确定实物场景特征；

搭建模块，用于基于所述实物场景特征搭建虚拟场景；

第二确定模块，用于确定无人机集群中实物无人机的数量与虚拟无人机的数量；

第三确定模块，用于基于所述虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在所述虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道；

构建模块，用于构建所述实物无人机与虚拟无人机间的通信控制系统，所述通信控制系统用于在所述实物无人机与虚拟无人机间进行数据交互；

第四确定模块，用于基于所述通信控制系统确定所述实物无人机与虚拟无人机的状态信息；

控制模块，用于基于所述通信控制系统，结合所述状态信息、编队及各无人机的飞行航道分别控制所述虚拟无人机、实物无人机的飞行。

作为一可选实施例，所述确定无人机集群中的实物无人机数量与虚拟无人机数量，包括：

确定无人机集群中实物无人机的数量；

在所述虚拟场景中分别构建与每个所述实物无人机对应的孪生体；

确定所述虚拟无人机与所述孪生体的数量。

作为一可选实施例，所述基于所述虚拟场景、实物无人机数量与虚拟无人机数量至少确定无人机集群在所述虚拟场景中的编队及各虚拟无人机、实物无人机的飞行航道，包括：

确定目标编队队形及无人机集群的目标飞行航道；

在所述虚拟场景中，基于所述实物无人机数量、虚拟无人机数量及目标飞行航道按时间序列分别为每个所述实物无人机、虚拟无人机确定各时刻的航点；

基于所述实物无人机、虚拟无人机的航点确定所述编队及各虚拟无人机、实物无人机的飞行航道。

作为一可选实施例，所述构建所述实物无人机与虚拟无人机间的通信控制系统，包括：

设置定位系统，所述定位系统用于为所述实物无人机进行身份识别与定位；

设置服务计算机，所述服务计算机与定位系统通信连接，用于处理所述定位系统的反馈信息形成对应在所述虚拟场景中的三维信息，并至少用于结合智能算法计算确定所述实物无人机期望飞行位置；

设置控制计算机，所述控制计算机与所述服务计算机、定位系统及实物无人机通信连接，至少用于接收服务计算机的所述期望飞行位置并生成对应的控制指令发送至所述实物无人机、获得所述实物无人机的相关信息并基于UDP协议转发至所述服务计算机。

作为一可选实施例，所述定位系统包括设置在所述实物无人机上的GPS模块，以及布设在所述实物场景中的多个摄像头和设置在所述实物无人机上的多个反光球，所述控制计算机与所述GPS模块相连，所述服务计算机与所述摄像头相连以获得所述反馈信息，并能够将所述反馈信息发送至所述控制计算机。

作为一可选实施例，不同所述实物无人机上的多个反光球的设置数量和/或设置位置不同；

所述服务无人机或控制无人机能够基于摄像头的反馈信息中关于多个反光球的的设置数量和/或设置位置确定各个所述实物无人机的ID及在实物场景下的位置状态。

作为一可选实施例，所述基于所述通信控制系统，结合所述状态信息、编队及各无人机的飞行航道分别控制所述虚拟无人机、实物无人机的飞行，包括：

基于所述服务计算机分别确定各实物无人机、虚拟无人机的编队位置及其飞行航道；

基于所述服务计算机结合所述实物无人机当前的状态信息确定其是否首次进入所述飞行航道的第一坐标阈值，所述第一坐标阈值为所述飞行航道中任意一个目标位置点对应的坐标阈值，所述目标位置点与所述期望飞行位置对应；

若是，则所述服务计算机将所述实物无人机的状态信息发送至在编队中位于该实物无人机后方的目标虚拟无人机或目标实物无人机，使所述目标虚拟无人机或目标实物无人机基于各自的飞行航道飞往匹配的目标位置点，并反馈状态信息至所述服务无人机；

当所述服务计算机基于所述目标虚拟无人机或目标实物无人机的状态信息确定其飞至所述匹配的目标位置点时，通知所述控制计算机，使所述控制计算机基于各所述实物无人机、虚拟无人机当前状态信息、编队及各自的飞行航道分别为所述实物无人机、虚拟无人机生成并发送飞往下一个目标位置点的指令。

也就是，实物无人机确定已到达对应的目标位置点后会通知虚拟无人机，使虚拟无人机执行移动指令，到达其对应的目标位置点，接着反馈给实物无人机，实物无人机确定虚拟无人机执行完其任务后，则飞往下一个目标位置点，并反馈给虚拟无人机，使其同样前往其对应的下一个目标位置点，周而复始，实时进行状态同步。

本发明另一实施例还提供一种多无人机的虚实结合仿真系统，包括:

一个或多个处理器；

存储器，配置为存储一个或多个程序；

当该一个或多个程序被该一个或多个处理器执行时，使得该一个或多个处理器实现上述多无人机的虚实结合仿真方法。

进一步地，本发明一实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的多无人机的虚实结合仿真方法。应理解，本实施例中的各个方案具有上述方法实施例中对应的技术效果，此处不再赘述。

进一步地，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可读指令，所述计算机可执行指令在被执行时使至少一个处理器执行诸如上文所述实施例中的多无人机的虚实结合仿真方法。

需要说明的是，本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、系统或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、天线、光缆、RF等等，或者上述的任意合适的组合。

另外，本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。