一种面向数字孪生的四旋翼无人机目标检测与避障方法

技术领域

本发明属于数字孪生技术和无人机领域，涉及一种面向数字孪生的四旋翼无人机目标检测与避障方法。

背景技术

四旋翼无人飞行器是一种外形小巧，性能优越的垂直起降无人飞行器，具有结构简单、操作灵活、带载能力强等特点，具有重要的军事和民用价值。四旋翼无人机可以使用遥控器进行手动飞行，也可以使用地面站和MAVSDK等高级应用程序接口实现定点悬停和固定航迹飞行。由于其能够搭载各种设备抵达复杂区域完成人力难以完成的任务，多旋翼无人机被广泛地应用于军事和民用领域，比如高空巡检、森林火警侦查，以及救灾物资投运等。在四旋翼无人机的飞行过程中，面对特定的目标侦察任务需要精度高速度快的目标检测算法给与支撑，另外如何对飞行路径上的障碍物实现避障也是需要解决的问题。

随着计算机仿真技术的发展，有关环境和无人机建模的手段也越来越成熟。为了实现对无人机飞行过程的实时监控和预测，许多学者开始采用数字孪生的方法。数字孪生是以数字化方式创建物理实体的虚拟实体，借助历史数据、实时数据以及算法模型等，模拟、验证、预测、控制物理实体全生命周期过程的技术手段。利用数字孪生技术对飞行环境进行建模，构建环境数字孪生平台，可以精确分析环境对无人机飞行的影响；利用数字孪生技术对四旋翼无人机进行建模，构建四旋翼无人机孪生体，可以精确跟踪无人机的飞行状态和安全。

虽然目前很多目标检测算法和避障算法实验验证中取得了非常好的效果，但是这些都是在现实的环境下进行的无人机航拍目标检测和避障，而且存在避障效果差，低空目标检测算法仿真场景搭建难等问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种面向数字孪生的四旋翼无人机目标检测与避障方法，利用数字孪生技术完成数字孪生平台搭建并在地面端操控四旋翼无人机进行特定目标检测和避障。

技术方案

一种面向数字孪生的四旋翼无人机目标检测与避障方法，其特征在于：以四旋翼无人机自身搭载的各类传感器获取无人机前方障碍物的信息，对接收到的各类传感器数据进行处理，实现对障碍物类型的检测和避障；步骤如下：

步骤1、搭建基于虚幻引擎UE的环境模型：以真实体育场的环境和尺寸，在UE中搭建真实体育场的孪生模型；

步骤2、搭建基于AirSim的四旋翼无人机孪生模型：

定义惯性坐标系即静坐标系—地球坐标系，以及非惯性坐标系即动坐标系—机体坐标系；

对四旋翼无人机进行假设：均匀对称的刚体、质量和转动惯量不发生改变、只受重力和螺旋桨拉力以及螺旋桨一条轴为逆时针转动，另一条轴为顺时针转动；

在AirSim中搭建四旋翼无人机孪生模型：

动力学模型：输入为螺旋桨提供的拉力和力矩，输出为四旋翼的速度和角速度；

运动学模型：输入为动力学模型的输出，即四旋翼的速度和角速度，输出为四旋翼的位置和姿态；

步骤3：采用YOLOv5s目标检测算法，对四旋翼无人机航拍图像进行目标检测；

所述YOLOv5s目标检测算法为改进的YOLOv5目标检测算法，改进策略为：

1、锚框K-Means算法改为K-Means++；

2、加入小目标检测层，对较浅特征图与深特征图拼接后进行检测；

3、使用α-IoU损失函数进行测试；

步骤4：四旋翼无人机采用MavLink消息格式和RPC协议与搭建于AirSim的孪生无人机进行通信；四旋翼无人机搭载的PX4飞控将无人机飞行的状态和位置信息发送搭建于AirSim的孪生无人机的地面计算机，将四旋翼无人机传感器的数据通过数传和图传发送到数字孪生平台的四旋翼无人机孪生的运动学模型模型，包括动力学模型的；

步骤5：数字孪生平台采用步骤3采用YOLOv5s目标检测算法，对四旋翼无人机航拍图像进行目标检测；同时采用基于深度图像的三位避障算法计算得到避障途径；数字孪生平台将避障途径，通过发送MavLink命令至真实四旋翼无人机，控制真实四旋翼无人机避障。

所述四旋翼无人机运动学模型为：

其中，

所述数字孪生模拟端采用UE引擎和AirSim仿真平台。

有益效果

本发明提出的一种面向数字孪生的四旋翼无人机目标检测与避障方法，将其应用在四旋翼无人机飞行过程中，从而使四旋翼无人机在陌生环境中检测出障碍物目标类型的情况下，快速做出相应的规避动作。通过搭载各种传感器和数据传输设备，实现四旋翼无人机与虚拟场景中孪生无人机进行实时高效交互，达到了一定程度上的时空一致性，可以准确的映射出真实四旋翼无人机的飞行状态；在地面计算机中引入包含高效目标检测算法与避障算法的数字孪生平台，实现高精度的人机交互，实现多传感器融合进行信息处理，达到远程高精度处理无人机信息，实现四旋翼无人机安全、快速的避障，使得无人机更加高效。

与现有技术相比，本发明具有以下技术特点：

1.基于数字孪生技术，进一步提升无人机控制能力，在一些复杂的地形，恶劣的天气下，采用数字孪生技术通过分析真实无人机的各种飞行数据和传感器数据，实现虚拟的孪生无人机对真实无人机的反馈控制。

2.基于数字孪生技术，实现真实四旋翼无人机与虚拟的孪生无人机的实时交互，包括正向控制和负反馈，通过以孪生无人机为主的辅助决策平台使得四旋翼无人机飞行变得更安全和高效。

附图说明

图1为本发明模型体系框架结构示意图；

图2为体育场模型；

图3为孪生无人机模型；

图4为改进后的YOLOv5网络的结构图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明采用结合了UE4渲染引擎、AirSim仿真平台、改进的YOLOv5目标检测算法和基于深度图像的三位避障算法，最后使用原生的MavLink命令实现对四旋翼无人机的飞行控制。

面向数字孪生的四旋翼无人机目标检测与避障方法，其特征在于，面向数字孪生的四旋翼无人机实时交互与控制，可用于四旋翼无人机在复杂环境与恶劣天气条件下，基于自身搭载的各类传感器获取无人机前方障碍物的信息，地面计算机中搭载的仿真软件实时显示无人机飞行状态，对接收到的各类传感器数据进行处理从而实现对特定障碍物类型的快速检测和避障。

步骤1，搭建基于虚幻引擎UE的环境模型

环境模型建模主要包括对选取的特定环境-体育场的建模。Unreal Engine，简称UE，中文译名为虚幻引擎，是非常出名的游戏引擎，它是一套完整的游戏开发工具，目前已经被广泛应用于游戏开发、建筑设计与渲染、汽车展示、广播与实况活动、影视渲染、训练与模拟等各个领域中。虚幻引擎同时还具备编辑器功能，具有照片级逼真的视觉渲染水平、支持动态物理模拟的效果，能够制作出栩栩如生的动画。其丰富而强大的数据接口，能够为各行各业的专业人士带来无限的创作自由。本发明测量了真实体育场的环境和尺寸并在UE中搭建了孪生模型。

步骤2，搭建基于AirSim的四旋翼无人机孪生模型

在AirSim中搭建四旋翼无人机孪生模型四旋翼无人机孪生模型主要是对真实四旋翼无人机进行动力学建模，将建立的无人机模型进行标注

建立模型之前需要先定义惯性坐标系(静坐标系)—地球坐标系，以及非惯性坐标系(动坐标系)—机体坐标系。建立四旋翼飞行器模型的目的在于分析四旋翼飞行器在受到外力、外力矩的情况下，其位置和姿态的变化情况。其中，动力学模型的输入为螺旋桨提供的拉力和力矩，输出为四旋翼的速度和角速度；运动学模型的输入为动力学模型的输出，即四旋翼的速度和角速度，输出为四旋翼的位置和姿态。为便于建立模型，现对四旋翼无人机进行以下假设：

(1)四旋翼无人机是均匀对称的刚体

(2)四旋翼无人机的质量和转动惯量不发生改变

(3)四旋翼无人机的几何中心与其重心重合

(4)四旋翼无人机只受重力和螺旋桨拉力

(5)螺旋桨一条轴为逆时针转动，另一条轴为顺时针转动

从多维度构建构建无人机孪生模型与环境模型。多维度模型搭建的前提是掌握无人机实体与环境实体的各种物理层级的数据与约束关系，从而使得模型精确地刻画物理实体，在此基础上还需对这些物理数据与约束关系进一步地融合，最后通过试验得到模型的正确性和有效性。

无人机运动学模型由下式表示：

其中，

步骤3，改进的YOLOv5目标检测算法

YOLOv5是YOLO系列新一代的目标检测算法。YOLOv5目标检测网络方给出了YOLOv5s、YOLOv5m、YOLOv51以及YOLOv5x四个算法。其中YOLOv5s算法是YOLOv5这一系列中深度最小，特征图宽度最小的网络，而YOLOv5m、YOLOv51以及YOLOv5x这三个算法都是在YOLOv5s的基础上不断加深以及加宽的产物。由于检测任务对检测速度要求较高，因而本发明采用检测速度最快的YOLOv5s来进行四旋翼无人机航拍图像的目标检测。该目标检测算法主要通过3个指标进行评价：交并比(intersection of union，IoU)、检测速度(framesper second，FPS)、平均精确度均值(mean average precision，mAP)。具体的改进策略为：

(1)锚框K-Means算法改为K-Means++

YOLOv5s采用K-Means聚类之前首先需要完成的就是初始化k个簇中心。同时，也正是因为这个原因，使得K-Means聚类算法存在着一个巨大的缺陷—收敛情况严重依赖于簇中心的初始化状况，采用K-Means++可以有效缓解这一问题，从而一定程度上能够提高检测精度和效果。K-Means++算法实际就是修改了K-Means算法的第一步操作，之所以进行这样的优化，是为了让随机选取的中心点不再只是趋于局部最优解，而是让其尽可能的趋于全局最优解，因此K-Means++能够聚类出更好的先验框。

(2)增加小目标检测层

YOLOv5s小目标检测效果不好的一个原因是因为小目标样本的尺寸较小，而YOLOv5的下采样倍数比较大，较深的特征图很难学习到小目标的特征信息，因此提出增加小目标检测层对较浅特征图与深特征图拼接后进行检测。加入小目标检测层，可以让网络更加关注小目标的检测，提高检测效果。

(3)损失函数使用α-IoU

YOLOv5s采用CIOU损失函数，优点：CIOU就是在DIOU的基础上增加了检测框尺度的loss损失，增加了长和宽的loss损失，这样预测框就会更加的符合真实框。但是有纵横比描述的是相对值存在一定的模糊、未考虑难易样本的平衡问题的缺点。针对以上问题，采用α-IoU损失函数进行测试。

步骤4，建立真实四旋翼无人机和孪生无人机之间的通信

四旋翼无人机基于MavLink消息格式和RPC协议与孪生无人机进行通信。四旋翼无人机搭载的PX4飞控可以将无人机飞行的状态和位置信息发送到地面计算机。

步骤5，基于数字孪生技术的实时交互

四旋翼无人机基于MavLink消息格式与孪生无人机进行通信。四旋翼无人机搭载的PX4飞控可以将无人机飞行的状态和位置信息发送到地面计算机，通过数传和图传将图像等数据发送到数字孪生平台，数字孪生平台通过发送MavLink命令控制真实四旋翼无人机避障。

搭建真实与孪生数据通信接口，即通过各种通信方式将真实无人机的飞行状态数据、轨迹数据和传感器数据传到数字孪生平台，数字孪生平台发送避障命令给真实无人机。

本发明设计一种面向数字孪生的四旋翼无人机目标检测与避障方法，实现旋翼无人机和孪生无人机交互，达到以虚映实和以实控虚，解决了四旋翼无人机智能化程度较低、数据融合差、复杂环境下避障困难等问题，通过数字孪生平台，实现四旋翼无人机安全、快速的避障，使得无人机更加高效。