一种6G RIS辅助全双工无人机系统能效优化方法及装置

技术领域

本发明涉及移动通信技术领域，具体涉及一种6G RIS辅助全双工无人机系统能效优化方法及装置。

背景技术

6G，即第六代移动通信标准，也被称为第六代移动通信技术。6G的数据传输速率可能达到5G的50倍，时延缩短到5G的十分之一，在峰值速率、时延、流量密度、连接数密度、移动性、频谱效率、定位能力等方面远优于5G。可重构智能表面(ReconfigurableIntelligent Surface，RIS)技术可以智能地反射基站与地面用户间的接收信号，创建更可控的智能无线通信环境。无人机(Unmanned Aerial Vehicles，UAV)被用于城市无线网络设施，以增强服务质量并消除网络覆盖漏洞,然而无人机-地面用户间视距(Line of Sight，LoS)链路可能会受到地面障碍物的阻碍。RIS是大量低成本无源反射元件组成的平面，每个元件都能够独立地改变入射信号的振幅和相位，从而协同实现反射波束赋形，优化接收信号的强度。然而，现有的RIS辅助UAV系统的研究中，大部分都没有考虑到在6G高速数据传输下全双工(full-duplex，FD)UAV、全双工UAV路径规划与推进能量消耗的关系，而现有技术中的方法复杂度大且难以及时求解。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种6G RIS辅助全双工无人机系统能效优化方法及装置，用于解决现有技术中的的问题。

为实现上述目的及其他相关目的，本发明提供一种6G RIS辅助全双工无人机系统能效优化方法，所述方法包括：

根据双深度Q网络算法获取所述全双工无人机的最优三维轨迹；

根据获得的所述最优三维轨迹得到全双工无人机位置坐标；

根据所述全双工无人机位置坐标和地面用户坐标对RIS进行无源波束赋形，实现最大用户总吞吐量的同时最小化全双工无人机能耗。

于本发明的一实施例中，所述6G RIS辅助全双工无人机系统，包括：

地面用户、安装在高层建筑上的RIS以及作为空中基站的全双工无人机。

于本发明的一实施例中，所述全双工无人机包括：

至少一个发射天线以及至少一个接收天线。

于本发明的一实施例中，所述方法还包括：

在给定全双工无人机三维轨迹的情况下，通过调整RIS波束赋形矩阵以实现地面用户处的信号相位对准，从而实现上行链路通信用户与下行链路通信用户平均信道增益和数据速率最大化。

于本发明的一实施例中，所述6G RIS辅助全双工无人机系统能效定义为：

其中，EE表示系统能效，e

于本发明的一实施例中，所述全双工无人机在第k个时隙的推进能量定义为：

其中，e

于本发明的一实施例中，所述第k个时隙上行链路通信用户与下行链路通信用户处的数据传输速率分别定义为：

其中，

于本发明的一实施例中，所述根据双深度Q网络算法获取所述全双工无人机的最优三维轨迹，具体包括：

初始化经验缓冲区、时隙计数、训练回合数以及原始Q网络的参数和目标网络的参数，其中初始化后的原始Q网络的参数与初始化后的目标网络的参数相等；

每个训练回合内，利用深度神经网络学习从动作空间选择对应的动作并执行，同时更新对应的RIS波束赋形矩阵，将动作、状态和对应奖励存到经验缓冲区，其中，在第一个训练回合，通过随机方法或贪婪方法获取初始动作，所述动作包括全双工无人机的三维轨迹和飞行时间；

每个训练回合，从经验缓冲区中随机选取小批量样本进行更新并训练深度神经网络学习直到回合结束，获取全双工无人机最优三维轨迹。

于本发明的一实施例中，所述奖励定义为：

其中，r表示奖励，e

为实现上述目的本发明还提供一种6G RIS辅助全双工无人机系统能效优化装置，其特征在于，所述装置包括：

深度学习优化模块：根据双深度Q网络算法获取所述全双工无人机的最优三维轨迹；

获取参数模块：根据获得的所述最优三维轨迹得到全双工无人机位置坐标；

解决问题模块：根据所述全双工无人机位置坐标和地面用户坐标对RIS进行无源波束赋形，实现最大用户总吞吐量的同时最小化全双工无人机能耗。

本发明的有益效果：本发明中的6G RIS辅助全双工无人机系统能效优化方法，通过根据双深度Q网络算法获取所述全双工无人机的最优三维轨迹；根据获得的所述最优三维轨迹得到全双工无人机位置坐标；根据所述全双工无人机位置坐标和地面用户坐标对RIS进行无源波束赋形。从而使全双工无人机通过RIS辅助在6G高速网络通信中实现最大用户总吞吐量的同时最小化全双工无人机能耗，完成整个6G RIS辅助全双工无人机系统能效优化。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1为一种6G RIS辅助全双工无人机系统模型结构示意图；

图2为本发明的一示例性实施例示出的6G RIS辅助全双工无人机系统能效优化方法的流程图；

图3为本发明的一示例性实施例示出的各方案UAV消耗推进能量对比示意图；

图4为本发明的一示例性实施例示出的各方案的总吞吐量和能量效率对比示意图；

图5为本发明的一示例性实施例示出的一种6G RIS辅助全双工无人机系统能效优化装置的框图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

首先需要说明的是，6G，即第六代移动通信标准，也被称为第六代移动通信技术。6G的数据传输速率可能达到5G的50倍，时延缩短到5G的十分之一，在峰值速率、时延、流量密度、连接数密度、移动性、频谱效率、定位能力等方面远优于5G。可重构智能表面(Reconfigurable Intelligent Surface，RIS)技术可以智能地反射基站与地面用户间的接收信号，创建更可控的智能无线通信环境。无人机(Unmanned Aerial Vehicles，UAV)被用于城市无线网络设施，以增强服务质量并消除网络覆盖漏洞，然而无人机-地面用户间视距(Line of Sight，LoS)链路可能会受到地面障碍物的阻碍。RIS是大量低成本无源反射元件组成的平面，每个元件都能够独立地改变入射信号的振幅和相位，从而协同实现反射波束赋形，优化接收信号的强度。然而，现有的RIS辅助UAV系统的研究中，大部分都没有考虑到在6G高速数据传输下全双工(full-duplex，FD)UAV、全双工UAV路径规划与推进能量消耗的关系，而现有技术中的方法复杂度大且难以及时求解。

图1是一种6G RIS辅助全双工无人机系统模型结构示意图；

如图1所示，在一示例性的实施例中，6G RIS辅助全双工无人机系统包括：地面的用户G、安装在高层建筑上的RIS、以及作为空中基站的全双工无人机，其中，地面用户包括：上行链路通信(Uplink，UL)用户与下行链路通信(Downlink，DL)用户。由于地面用户与UAV距离较远，且UAV飞行过程存在建筑等障碍物阻挡，二者间无法一直保持LoS连接。在高层建筑上部署RIS协助地面用户与UAV通信，RIS通过反射毫米波信号，将NLOS链路替换为两个连接的LOS链路。

在一示例性的实施例中，全双工无人机包括：至少一个发射天线以及至少一个接收天线，全双工UAV作为空中基站，借助RIS反射信号以减少全双工UAV的移动，在全双工UAV和地面用户之间形成串联虚拟视距传播同时降低全双工UAV的能量消耗。在高层建筑物表面部署RIS，将信号重定向，避免全双工UAV和用户之间NLoS连接。

RIS是由L×N个无源反射单元(Passive Reflecting Units，PRU)形成的均匀平面阵列(Uniform Planer Array，UPA)。其中，UPA每一列包含间距相等的N个PRU，其距离为d

在一示例性的实施例中，模型的其他参数和变量定义如下：

参数：

λ：载波波长

ξ：参考距离的路径损耗

d：UL用户到DL用户的欧氏距离

κ：用户间路径损耗指数

P

P

变量：

第k个时隙全双工UAV与RIS间的欧氏距离为：

第k个时隙全双工UAV到RIS链路的信道增益：

其中，

UL用户与DL用户到RIS的欧氏距离分别为：

其中，

第k个时隙RIS到UL用户和DL用户的信道增益分别为

UL用户与DL用户的反射信道增益分别为：

RIS反射相位矩阵为

其中，

第k个时隙UAV与UL用户和DL用户的俯仰角分别为：

UAV和用户之间存在LoS链路的概率可表示为：

其中，a和b为环境有关的常数。

第k个时隙UL用户与DL用户处的平均信道增益和数据传输速率(比特/秒/赫兹)分别为：

其中，全双工UAV的固定发射功率为p，UL用户的发射功率为p

第k个时隙全双工UAV水平和垂直飞行速度分别为：

整个系统受限于：

其中，从上往下依次表示RIS的相移矩阵Φ＝{Θ

在一示例性的实施例中，6G RIS辅助全双工无人机系统能效定义为：

其中，EE表示系统能效，e

由公式可知，优化全双工无人机系统能效即优化整个时隙内上行链路通信用户与下行链路通信用户处的数据传输速率与时隙的持续时长的乘积比上整个时隙内全双工无人机的推进能量的值最大。

在一示例性的实施例中，所述全双工无人机在第k个时隙的推进能量定义为：

其中，e

在一示例性的实施例中，所述第k个时隙上行链路通信用户与下行链路通信用户处的数据传输速率分别定义为：

其中，

图2为本发明的一示例性实施例示出的6G RIS辅助全双工无人机系统能效优化方法的流程图；

如图2所示，在一示例性的实施例中，6G RIS辅助全双工无人机系统能效优化方法至少包括步骤S210至步骤S230，详细介绍如下：

步骤S210，根据双深度Q网络算法获取所述全双工无人机的最优三维轨迹。

在一示例性的实施例中，初始化经验缓冲区、时隙计数、训练回合数以及原始Q网络的参数和目标网络的参数，其中初始化后的原始Q网络的参数与初始化后的目标网络的参数相等；

每个训练回合内，利用深度神经网络学习从动作空间选择对应的动作并执行，同时更新对应的RIS波束赋形矩阵，将动作、状态和对应奖励存到经验缓冲区，其中，在第一个训练回合，通过随机方法或贪婪方法获取初始动作，所述动作包括全双工无人机的三维轨迹和飞行时间；

每个训练回合，从经验缓冲区中随机选取小批量样本进行更新并训练深度神经网络学习直到回合结束，获取全双工无人机最优三维轨迹。

在一示例性的实施例中，所述奖励定义为：

其中，r表示奖励，e

步骤S220，根据获得的所述最优三维轨迹得到全双工无人机位置坐标。

步骤S230，根据所述全双工无人机位置坐标和地面用户坐标对RIS进行无源波束赋形，实现最大用户总吞吐量的同时最小化全双工无人机能耗。

在一示例性的实施例中，在给定全双工无人机三维轨迹的情况下，通过调整RIS波束赋形矩阵以实现地面用户处的信号相位对准，从而实现上行链路通信用户与下行链路通信用户平均信道增益和数据速率最大化。

根据第k个时隙的全双工UAV位置和地面用户位置，保证上行链路通信用户与下行链路通信用户同时传输，我们将RIS的共L×N个PRU分为M

对应DL用户的第(m,n),

UL用户和DL用户的反射信道增益和可以重新写为

得到UL用户和DL用户的最大平均信道增益

将

图3为本发明的一示例性实施例示出的各方案UAV消耗推进能量对比示意图；

图4为本发明的一示例性实施例示出的各方案的总吞吐量和能量效率对比示意图；

结合图3与图4所示，在图示中，实验组为FD RIS UAV系统，其余对照组为FDRandom phase系统、FD No RIS系统与TDD RIS UAV系统。FD RIS UAV系统与TDD RIS UAV系统均可以通过RIS调整相移，因此相比其他方案，UAV只需在RIS周围飞行就可以维持较高的和速率，且UAV不需要下降到较低高度，降低UAV能耗。而全双工UAV相比时分双工UAV，在FDNo RIS情况下，可以看出UAV飞得尽量接近地面用户，并俯冲到较低的高度，以便用户建立通信链路，这使得UAV能耗大大提高。相反，FD Random phase系统中的UAV会尝试接近RIS，以找到提高用户数据传输速率的轨迹。

在本发明中，控制各种系统中的UAV在飞行时长一致、能耗接近的情况下，对比对应的用户总吞吐量与UAV能耗比值大小，如图4所示，本发明的6G RIS辅助全双工无人机系统能效优化方法与其他方法的能量效率与系统和吞吐量的累积分布函数对比，在UAV在飞行时长一致、能耗接近的情况下，本发明的6G RIS辅助全双工无人机系统能效优化方法使得整个系统实现最大用户总吞吐量的同时最小化全双工无人机能耗。

图5为本发明的一示例性实施例示出的一种6G RIS辅助全双工无人机系统能效优化装置的框图。

如图5所示，该示例性的6G RIS辅助全双工无人机系统能效优化装置包括：

深度学习优化模块：根据双深度Q网络算法获取所述全双工无人机的最优三维轨迹；

获取参数模块：根据获得的所述最优三维轨迹得到全双工无人机位置坐标；

解决问题模块：根据所述全双工无人机位置坐标和地面用户坐标对RIS进行无源波束赋形，实现最大用户总吞吐量的同时最小化全双工无人机能耗。

需要说明的是，上述实施例所提供的6G RIS辅助全双工无人机系统能效优化装置与上述实施例所提供的6G RIS辅助全双工无人机系统能效优化方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的6G RIS辅助全双工无人机系统能效优化装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本发明的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的6G RIS辅助全双工无人机系统能效优化方法。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的基于混合加密的无线网络认证方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的6G RIS辅助全双工无人机系统能效优化方法。

在本文的描述中，提供了许多特定细节，诸如部件和/或方法的实例，以提供对本发明实施例的完全理解。然而，本领域技术人员将认识到可以在没有一项或多项具体细节的情况下或通过其他设备、系统、组件、方法、部件、材料、零件等等来实践本发明的实施例。在其他情况下，未具体示出或详细描述公知的结构、材料或操作，以避免使本发明实施例的方面变模糊。

还应当理解还可以以更分离或更整合的方式实施附图所示元件中的一个或多个，或者甚至因为在某些情况下不能操作而被移除或因为可以根据特定应用是有用的而被提供。

另外，除非另外明确指明，附图中的任何标志箭头应当仅被视为示例性的，而并非限制。此外，除非另外指明，本文所用的术语“或”一般意在表示“和/或”。在术语因提供分离或组合能力是不清楚的而被预见的情况下，部件或步骤的组合也将视为已被指明。

本发明所示实施例的上述描述(包括在说明书摘要中所述的内容)并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本发明的精神和范围内的。如所指出的，可以按照本发明所述实施例的上述描述来对本发明进行这些修改，并且这些修改将在本发明的精神和范围内。

本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。

因而，尽管本发明在本文已参照其具体实施例进行描述，但是修改自由、各种改变和替换亦在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本发明的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例，但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本发明的范围将只由所附的权利要求书进行确定。