一种多跳无人机中继网络数据传输方法

技术领域

本发明属于通信技术领域，具体涉及一种多跳无人机中继网络低时延数据传输方法。

背景技术

传统的地面通信系统主要依赖基站等地面通信基础设施。在应急通信场景中，地面用户(Ground Users，GUs)无法获得通信服务。通过利用无人机(Unmanned AerialVehicle，UAV)辅助通信可以为GUs提供临时的通信服务，并且具备其他明显的优势。首先，UAV具有高度灵活性，使得UAV协助式通信系统的部署更加快捷，能有效应对紧急情况的发生，适用于灾区等特定场景。其次，基于UAV移动性，可以动态调整传输路径，为数据传输提供更好的通信质量，减小传输干扰。

在无线通信中，UAV中继网络常用来扩展通信范围、实现应急通信、数据传输等。传统的UAV中继通信多以静态双跳系统为主，存在系统吞吐量较小，应对干扰的能力较弱，传输距离较短等问题。相比于静态双跳的UAV中继通信系统，动态多跳UAV中继网络能建立多跳传输网络，从而显著扩展了通信范围；UAV的移动性也可以显著提高数据吞吐量；通过优化传输路径来应对单点故障等问题，有效提高了系统的稳定性。然而，多跳中继网络带来了更复杂的网络结构，可能导致较高的数据传输时延。其次，环境中的未知干扰源会对UAV通信产生干扰，从而存在通信中断风险。

为了应对上述问题，本发明提出了一种基于多跳UAV中继网络辅助的低时延数据传输方案。改方案基于提出多智能体强化学习分解(Decomposed Multi-agentReinforcement Learning，DMARL)方法，将每架UAV作为两个子智能体，分别使用双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic policy gradient，TD3)和基于优势更新的演员-评论家(Advantage Actor-Critic，A2C)算法来优化UAV轨迹、传输功率和路由选择，并通过混合网络输出联合状态-动作值，以最小化网络数据传输总时间。

发明内容

为了最小化网络数据传输总时间并减少未知干扰对无人机的传输干扰，本发明提出一种多跳无人机中继网络低时延数据传输方法，具体包括以下步骤：

构建包括无人机、地面用户、未知干扰和远端基站的网络场景；

在构建的网络场景下对地面用户进行聚类得到多个簇，令无人机飞行到与其最近距离的簇对应的质心，构建无人机与无人机之间、无人机与地面用户之间的通信链路；

基于深度多智能体强化学习，将无人机视为两个子智能体，无人机根据当前状态输出最佳的下一跳路由以及该无人机下一时刻的飞行方向和传输功率。

进一步的，构建包括无人机、地面用户、未知干扰和远端基站的网络场景，在构建的网络场景中地面用户与远端基站之间没有可靠的直接连接信道，通过将无人机作为地面用户与远端基站之间的中继站来为地面用户提供临时通信服务，若包括K个地面用户，并且进行聚类后划分为M个簇，每个簇划分一个无人机，且令当前簇的质心作为当前簇无人机的最佳悬停位置并令该簇内的地面用户与该无人机关联。

进一步的，构建无人机与无人机之间、无人机与地面用户之间的通信链路时，地面用户与无人机之间的无线信道采用视距链路和非视距链路，一个簇内的用户与该簇对应的无人机进行信息交互时采用正交频分多址接入，且每个地面用户发送的数据包大小必须小于该无人机缓冲区可容量的大小；无人机之间的无线信道采用视距链路，无人机之间进行信息交互时采用时分多址接入。

进一步的，基于深度多智能体强化学习，将无人机视为两个子智能体时，其中一个子智能体采用A2C算法优化路由选择，另一个子智能体采用TD3算法优化无人机飞行方向和传输功率。

进一步的，无人机m的状态空间表示为o

进一步的，无人机m的动作空间表示为a

进一步的，在深度多智能体强化学习中，无人机m的总体奖励值的计算包括：

其中，r

进一步的，无人机m'接收从无人机m发出的大小为ρ

其中，R

本发明方法结合了多智能体框架和强化学习的知识，提高了UAV对复杂环境的适应性；同时，该方法分解了包含轨迹设计、功率优化和路由选择的大动作空间，显著降低了问题的复杂度，提高了算法的收敛速度。

附图说明

图1为本发明中多跳UAV中继辅助的数据传输系统模型图；

图2为本发明中多智能体强化学习分解方法框架图；

图3为本发明基于多跳UAV中继网络辅助的数据传输流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种多跳无人机中继网络低时延数据传输方法，

构建包括无人机、地面用户、未知干扰和远端基站的网络场景；

在构建的网络场景下对地面用户进行聚类得到多个簇，令无人机飞行到与其最近距离的簇对应的质心，构建无人机与无人机之间、无人机与地面用户之间的通信链路；

基于深度多智能体强化学习，将无人机视为两个子智能体，无人机根据当前状态输出最佳的下一跳路由以及该无人机下一时刻的飞行方向和传输功率。

图1示出了本发明实施例所涉及的多跳UAV中继网络辅助GUs数据传输系统的一种可能的结构示意图。如图1所示，在边长为L Km的正方形区域中，分别了多架UAVs、大量GUs、一个远端基站，且随机分布了未知干扰源。GUs通过k-means聚类算法进行分簇，每个簇中的GUs与同一架UAV关联。UAVs组成多跳中继网络，每架UAV接收其关联簇中的GUs发送的数据，并通过中继网络传输到基站。其中，目的无人机始终盘旋在基站附近，保持与基站的连接。图中的干扰源会影响UAVs和GUs、UAV之间的通信，UAV通过执行DMARL方法，优化其飞行轨迹，传输功率和路由选择来最小化网络数据传输总时间。

将图1中正方形区域的左下顶点作为坐标原点，左边界和下边界分别作为x轴和y轴，空中作为z轴建立三维笛卡尔坐标系。该区域部署了M架无人机组成多跳UAV中继网络，记为

基于以上场景，采用k-means++算法将K个GUs聚类为M个簇，UAV飞行至距离最近的簇的质心并与其关联。将系统一个工作周期为分为T个时隙，即

其中，η

假设系统总带宽为B，平均分配给M架UAVs用于转发GUs的数据，令P

其中，

基于此，GU k与UAV m在时隙t的数据传输速率为：

其中，δ

此外，UAV之间为LoS链路，则UAV m和UAV m'之间的信道增益可表示为：

其中，β

从无人机m到无人机m'处的信噪比可表示为：

其中，

UAV m'接收来自从UAV m的大小为ρ

由于中继UAV与目的UAV之间距离较远，超过了直接通信范围，因此每个数据包要经过多跳传输到达目的UAV M。设

其中，w

在本实施例中提出DMARL方法，在该方法中将UAV与环境交互的过程表述为部分可观察的马尔可夫决策过程(Partially Observed Markov Decision Process，POMDP)，并将UAV作为两个子智能体，分别使用A2C算法和TD3算法来优化UAV的路由选择，飞行轨迹和传输功率，最后通过混合网络输出联合状态-动作值，以最小化网络数据传输总时间。

图2所示为多智能体强化学习分解方法框架图，其中

在DMARL方法框架中，将UAV视为两个子智能体，子智能体1采用A2C算法优化路由选择，子智能体2采用TD3算法优化无人机轨迹和传输功率，最后通过混合网络输出联合状态-动作值。基于标准的强化学习过程，需要有具体的状态空间、动作空间和奖励函数，即：

状态空间：UAV m的观察空间由o

动作空间：UAV m的动作空间由a

奖励函数：UAV的奖励函数由r

其中，r

图3所示为基于多跳UAV中继网络辅助的数据传输流程图，具体包括以下步骤：

S301：系统初始化；

S302：构建包括UAVs、GUs、远端基站和干扰源的通信网络场景；

S303：提取GUs分布特征，执行k-means++聚类算法，将GUs聚类成M个簇；

S304：部署M架UAV分别与M个簇关联，并飞行到最佳位置，即簇的质心；

S305：建立UAV和GU之间的通信链路，考虑空地信道；建立UAV之间的通信链路，考虑空-空信道；此外，干扰源影响加入通信链路中；

S306：建立最小化数据包传输时间优化模型；

S307：初始化所有UAV的网络，包括TD3和A2C算法中的演员网络和动作网络，以及DMARL方法框架中的混合网络，假设网络参数均已训练有素；

S308：初始化经验回放缓冲区；

S309：输入初始观测状态o

S310：子智能体1执行TD3算法输出飞行方向和传输功率方案；子智能体2执行A2C算法输出路由选择；

S311：将两个子智能体的评价网络输出的状态-动作值输入混合网络，输出联合状态-动作值；

S312：将观测状态o

S313：随机采样经验池中小批量经验集进行训练，使网络更加稳定，并打破数据之间的相关性，使网络具有更强的泛化能力；

S314：计算最小化损失更新网络；

S315：执行结束。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。