一种动态环境中无人机辅助通信系统的三维轨迹设计方法

技术领域

本发明属于无人机轨迹设计和无人机辅助无线通信领域，涉及一种动态环境中无人机辅助通信系统的三维轨迹设计方法。

背景技术

近年来，无人机辅助通信领域取得了显著进展，带来了许多新的可能性和优势。无人机通信系统具备广泛的覆盖能力，搭载通信设备的无人机可充当飞行基站，从而将连接扩展至服务不便地区和资源匮乏地带等。此外，无人机还能在网状网络中充当中继节点，以支持应急响应行动、辅助搜索救援任务，甚至在大型活动期间促进通信。在6G通信系统中，无人机同样扮演重要角色，它们占据空中空间，构建了地面与空间网络之间的关键网络层。无人机可与地面站和卫星站进行通信，形成天空地一体化网络，为完全整合的6G异构网络奠定基础。

目前的研究工作中无人机所服务的对象都被设定为不可移动的，这有助于系统性能分析和资源分配优化，但在实际通信环境中，往往存在各种不可抗力因素迫使服务对象位置发生改变，或者无人机所服务的对象本身具有移动性，即环境是动态的，当环境发生改变时，之前的无人机飞行轨迹已不再适用。另一方面，二维轨迹没有充分发挥无人机的高机动性优势，即调整无人机飞行高度提高通信链路质量，飞行-悬停的飞行方式也忽略了无人机的加减速影响。此外，被服务对象仅仅只被允许在小范围限制区域内移动，这也并不适用于实际环境中的复杂情况。因此，很少有研究工作能够在用户大范围自由移动的无人机辅助通信系统中，充分发挥无人机在三维空间中高机动性，于是，本发明提出了一种动态环境中无人机辅助通信系统的三维轨迹设计方法。

发明内容

有鉴于此，本发明的目的在于提供一种动态环境中无人机辅助通信系统的三维轨迹设计方法，使无人机可根据地面用户位置的变化，自主调整飞行方向和速度，提高通信链路质量及系统吞吐量。

为达到上述目的，本发明提供如下技术方案：

一种动态环境中无人机辅助通信系统的三维轨迹设计方法，其包括以下步骤：

S1、将无人机在用户移动的动态环境中的探索建立为马尔可夫决策过程；

S2、使用先验知识的方法加快无人机在动态环境中的探索效率；

S3、将先验经验填充进经验回放池，然后训练并生成神经网络模型，通过向训练好的神经网络模型输入无人机状态以得到无人机的动作，从而实现无人机的三维轨迹规划。

进一步地，步骤S1中，无人机在某一时隙n的状态s

式中，x

无人机在某一时隙n的动作a

a

式中，λ

无人机在某一时隙n的移动策略为：

x

y

z

式中，δ

无人机在某一时隙n的奖励r

r

式中，r

r

式中，N表示时隙数量，T表示无人机最大飞行时间，

r

r

式中，

进一步地，步骤S1中，用户的位置更新表示为：

式中，

进一步地，步骤S1中，无人机与所有用户在时隙n的总传输速率R

式中，K表示用户数，

式中，

其中，

进一步地，步骤S2中，基于先验知识的动作表示为：

式中，random(0,1)为[0,1]区间内的随机数，v

式中，R

进一步地，步骤S3中，神经网络模型的训练方式包括：

S31、随机初始化Critic网络中的两个Q网络；随机初始化Actor网络；将Critic网络和Actor网络的网络参数复制给对应的目标网络；初始化经验回放池；训练轮数置为0；

S32、设置当前时隙n＝0，设置无人机位于起点q

S33、基于下式选择执行动作：

S34、如果无人机超出三维空间限制，则无人机位置保持不变；如果无人机超出加速度限制，则令下一时刻无人机速度v

S35、计算奖励r

S36、如果经验回放池中的经验条数量R

①通过最小化损失函数来更新Critic网络；

②每当无人机在环境中执行了d次动作，则通过确定性策略梯度更新Actor网络的参数，并将Critic网络和Actor网络的网络参数复制给对应的目标网络；

S37、当前时隙n自增1，若时隙自增后等于

本发明的有益效果在于：本发明能够在地面用户随机移动和任务时间限制的情况下，无人机自主调整其在三维空间中的飞行方向和飞行速度，提高通信链路质量，从而提高系统吞吐量。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为无人机辅助通信系统结构示意图；

图2为无人机在三维空间中的飞行示意图；

图3为模型训练框架图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示为本发明所述的无人机辅助通信系统结构示意图，该系统中，通过无人机为地面K个用户提供服务，这些用户随机分布在给定的区域内且保持移动。为了在用户自由移动环境下提高无人机辅助通信系统的性能，本实施例提供了一种动态环境中无人机辅助通信系统的三维轨迹设计方法。

根据图1，设无人机和用户在t时刻的位置分别表示为

如图2所示，无人机在三维空间中的移动策略用球坐标系v

x

y

z

考虑在n＝0的初始时刻，所有用户随机分布，在各个时隙δ

式中，0≤ω≤1为用于设置随机程度的调优参数，

在n时隙无人机和用户k之间的LoS概率可以表示为：

式中，b

无人机和用户k在时隙n的LoS和NloS链路的路径损耗可以表示为：

式中，

无人机和用户k在时隙n的传输速率

式中，B表示无人机的总带宽，p

因此，通过轨迹设计最大化系统吞吐量的问题可表述为：

C6:q

式中，a

无人机在第n个时隙的状态s

式中，

无人机在第n个时隙的动作a

a

无人机在第n个时隙的奖励r

r

奖励r

①r

r

式中，c

②r

式中，

③r

式中，

式中，c

④r

式中，

基于先验知识的动作被定义为：

式中，random(0,1)为[0,1]区间内的随机数，λ

式中，R

如图3所示，训练并生成模型的具体步骤为：

1)随机初始化Critic网络中的两个Q网络；随机初始化Actor网络；将Critic网络和Actor网络的网络参数复制给对应的目标网络；初始化经验回放池；训练轮数置为0。

2)设置当前时隙n＝0，置无人机于起点q

3)根据式(27)选择并执行一个动作a

4)如果无人机超出三维空间限制，即

5)计算奖励r

6)如果经验回放池中的经验条数量R

①通过最小化损失函数来更新Critic网络；

②每当无人机在环境中执行了d次动作，则通过确定性策略梯度更新Actor网络的参数，并将Critic网络和Actor网络的网络参数复制给对应的目标网络。

如果R

7)当前时隙n自增1，如果时隙自增后等于

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。