一种无人机动态自组网方法

技术领域

本发明属于无人机通信技术领域，特别涉及一种无人机动态自组网方法。

背景技术

在现代通信领域，随着无人机技术的快速发展和广泛应用，无人机通信成为一个备受关注的领域。传统的通信系统依赖于地面站或云中央实体来协调和管理通信任务，但在某些情况下，无法部署地面站或云中央实体，因此需要寻求一种新的方法来实现无人机之间的高效通信。

当前在无人机通信领域存在一些问题：无地面站通信限制，传统的通信系统依赖于地面站来协调和管理通信任务，然而，在某些情况下，如偏远地区、紧急救援等，无法部署地面站。无人机移动决策困难：由于无人机的能源消耗、环境条件等因素的影响，无人机在执行任务时需要进行合理的移动决策，如何在通信范围变化下动态组网，以最大程度地保持通信链路的稳定性仍然是一个挑战。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种无人机动态自组网方法，以解决现有技术中无地面站通信限制以及无人机移动决策困难的问题。

本发明具体提供如下技术方案：一种无人机动态自组网方法，包括以下步骤：

通过无人机的预设坐标位置构建初始化网络拓扑结构，并根据无人机的位置将无人机划分为普通节点和代理节点；

在所述初始化网络拓扑结构中进行通信，若目标点未接收到报文，则计算普通节点与通信单元内另一个节点的距离d1、代理节点与通信单元的距离d2以及代理节点与起始点的距离d3；

根据无人机信号的自由空间路径损耗计算所有节点的通信范围半径rad；

根据当前环境状态S，各个节点根据通信范围半径rad和计算得到的距离d1-d3，使用路由表、无人机坐标和能量大小进行深度Q网络DQN训练，获得普通节点和代理节点参数融合后的本地DQN网络模型及参数；

利用所述本地DQN网络模型生成移动决策，各个节点执行所述移动决策，获得环境状态S'，并重复计算S'下的普通节点与通信单元内另一个节点的距离d1'、代理节点与通信单元的距离d2'，代理节点与起始点的距离d3'；

若|d*'-rad|<＝10，赋给奖励函数中通信边界ru

优选的，所述通过无人机的预设坐标位置构建初始化网络拓扑结构，包括如下步骤：

构建初始化网络，并向无人机的本机数据库存储所述初始化网络中的路由表、初始位置坐标与能量大小；

令所述无人机飞行至预设的位置坐标，构建一字型的初始化网络结构。

优选的，所述计算普通节点与通信单元内另一个节点的距离d1、代理节点与通信单元的距离d2以及代理节点与起始点的距离d3，包括如下步骤：

将预设经纬度坐标(L,B)转换为直角坐标系下的坐标：

x＝Rcos(L)sin(B)

y＝Rsin(L)sin(B)

z＝Rcos(B)

根据转换后的坐标(x,y,z)与海拔高度h，计算无人机i、j之间的欧式距离：

其中，R为地球半径6378.137km，L为经度，B为纬度，其中d包括d1、d2和d3。

优选的，所述根据无人机信号的自由空间路径损耗计算所有节点的通信范围半径rad，包括如下步骤：

根据自由空间路径损耗模型，各个节点的通信范围半径rad计算表达式为：

其中，P

优选的，通过一个或多个普通节点构建所述通信单元，采用CSMA/CA协议消除通信单元内的信号碰撞，所述通信单元仅与代理节点直接通信，所述代理节点最多与两个通信单元直接通信，且代理节点与通信任务的起点和目标点直接通信。

优选的，所述根据无人机信号的自由空间路径损耗计算所有节点的通信范围半径rad之后，初始化通信单元中普通节点和代理节点的奖励函数，包括如下步骤：

初始化普通节点u与代理节点距离奖励r

初始化代理节点p与代理节点距离奖励r

优选的，所述普通节点u总的奖励R

R

其中，α、β、γ为分配给每种奖励的权重。

优选的，所述普通节点u总的奖励R

R

其中，α、β、γ、δ为分配给每种奖励的权重。

优选的，所述使用路由表、无人机坐标和能量大小进行深度Q网络DQN训练，获得普通节点和代理节点参数融合后的本地DQN网络模型及参数，包括如下步骤：

对普通节点和代理节点同时使用路由表、无人机坐标和能量大小进行深度Q网络DQN训练；

普通节点将训练好的模型参数上传至相邻的代理节点，代理节点进行参数聚合，再将新的数据返回给普通节点；

每个普通节点将本地DQN网络模型参数与代理节点的更新参数进行融合，获得新的本地DQN网络模型及参数。

优选的，所述获得环境状态S'后，还包括步骤：

计算当前状态S'下的u的距离奖励ru

普通节点u相对于单元内其他普通节点u的移动距离Δdu＝d1'-d1，逼近奖励r

代理节点p相对于通信单元的移动距离Δdp1＝d2'-d2，逼近奖励r

代理节点p相对于起始点的移动距离Δdp2＝d3'-d3，逼近奖励r

将各节点步数加一，获得步数奖励ru2＝-su、rp3＝-sp。

与现有技术相比，本发明具有如下显著优点：

本发明提出的一种基于多代理的无人机群动态自组网方法，利用了无人机各类型节点之间的距离，节点移动步数以及是否处于其他节点的通信范围边界上的加权和作为DQN网络的奖励机制，同时通过多次距离计算，判断距离跟通信半径的差是否达到阈值，来实现多智能无人机协同通信的目的，解决了在通信受限情况下的通信问题以及高动态无人机自组织网的通信链路不稳定的问题，能够在没有地面站和云中央实体的特殊情况下，实现无人机的协同通信；同时，它还能够优化无人机的移动决策，以确保通信链路的稳定性和数据的可靠传输，以更好地应对各种应用场景下无人机通信的挑战，提升通信效率和可靠性。

附图说明

图1为本发明实施例提供的无人机群动态自组网深度强化学习奖励训练流程图；

图2为本发明实施例提供的基于多代理的无人机群动态自组网方法中去中心化联邦学习架构图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明中采用了深度强化学习和联邦学习，其中深度强化学习是一种机器学习方法，通过智能体与环境的交互来学习最优策略。联邦学习可以在保护隐私的前提下，通过合并各个智能体的局部模型来得到一个更强大的全局模型。

参照图1-2，本发明提供了一种无人机动态自组网方法，包括以下步骤：

步骤S1：通过无人机的预设坐标位置构建初始化网络拓扑结构，并根据无人机的位置将无人机划分为普通节点和代理节点。

在本步骤中，首先构建初始化网络；然后向无人机本机数据库中存储初始化网络的路由表、初始位置坐标与能量大小；最后令无人机飞行至预设的位置坐标构建一字型的初始化网络结构。

步骤S2：如图2所示，尝试在初始化网络拓扑结构中进行通信，由起点发送一个HELLO报文，观察目标点能否在最大限度时间内接收到此报文，如果可以接收到则可以进行下一步通信工作，通信工作失败或目标点未接收到报文，则计算普通节点与通信单元内另一个节点的距离d1、代理节点与通信单元的距离d2以及代理节点与起始点的距离d3。

在本步骤中，计算距离包括如下步骤：

将预设经纬度坐标(L,B)转换为直角坐标系下的坐标：

x＝Rcos(L)sin(B)

y＝Rsin(L)sin(B)

z＝Rcos(B)

根据转换后的坐标(x,y,z)与海拔高度h，计算无人机i，j之间的欧式距离：

其中，R为地球半径6378.137km，L为经度，B为纬度，其中d无人机之间的欧式距离，包括d1、d2和d3。

步骤S3：根据无人机信号的自由空间路径损耗计算所有节点的通信范围半径rad。

在本步骤中，根据自由空间路径损耗模型，各个节点的通信范围半径rad计算表达式为：

其中，P

通过一个或多个普通节点组成所述通信单元，采用CSMA/CA协议最大程度的避免单元内信号碰撞，仅与代理节点直接通信，且最多通过两个通信单元直接与代理节点通信，代理节点还与通信任务的起点和目标点直接通信。

还包括步骤：初始化通信单元中普通节点和代理节点的奖励函数。

在本步骤中，包括普通节点u初始化和代理节点p初始化，具体为：

初始化普通节点u与代理节点距离奖励r

其中，普通节点u总的奖励R

R

初始化代理节点p与代理节点距离奖励r

其中，代理节点p总的奖励R

R

其中，α、β、γ、δ为分配给每种奖励的权重。

通过无人机搭载的惯性融合导航获得计算距离的数据。

步骤S4：根据当前环境状态S，各无人机根据通信范围半径rad和计算得到的距离d1-d3(当前环境状态S)，使用本地数据(路由表(计算所得到的与其他无人机或起始点的距离)、本机位置坐标与能量大小(与发射功率有关，即能量越大，发射功率越大，rad也就越大))对无人机的各个节点进行深度Q网络DQN训练，获得普通节点和代理节点参数融合后的本地DQN网络模型及参数。

本步骤具体包括：

对普通节点和代理节点同时使用路由表、无人机坐标和能量大小进行深度Q网络DQN训练。

普通节点将训练好的模型参数上传至相邻的代理节点，代理节点进行参数聚合后，将新的数据返回给普通节点，每个普通节点将自己的本地DQN网络模型参数与代理节点的更新参数进行融合，从而得到新的本地DQN网络模型及参数。

步骤S5：利用本地DQN网络模型生成移动决策，各个节点执行当前DQN网络生成的移动决策(升/降/前/退/停)，获得环境状态S'，并重复目标点未接收到报文时计算S'下的各个距离d1'-d3'；即计算S'下普通节点与通信单元内另一个节点的距离d1'、代理节点与通信单元的距离d2'，代理节点与起始点的距离d3'。

获得环境状态S'后，还包括步骤：

计算当前状态S'下的u的距离奖励r

普通节点u相对于单元内其他普通节点u的移动距离Δdu＝d1'-d1，逼近奖励r

代理节点p相对于通信单元的移动距离Δdp1＝d2'-d2，逼近奖励r

代理节点p相对于起始点的移动距离Δdp2＝d3'-d3，逼近奖励r

将各节点步数加一，获得步数奖励ru2＝-su、rp3＝-sp。

步骤S6：若|d*'-rad|<＝10，赋给奖励函数中通信边界r

以上内容是结合具体优选实施方式对本发明做进一步详细说明，对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。