基于DRL的双RIS-位置辅助毫米波通信系统优化配置方法

技术领域

本发明属于可重构智能表面辅助通信技术领域，具体涉及基于DRL的双RIS-位置辅助毫米波通信系统优化配置方法。

背景技术

通信感知一体化是6G潜在关键技术的研究热点之一，其设计理念是要让无线通信和无线感知两个独立的功能在同一系统中实现且互惠互利。一方面，通信系统可以利用相同的频谱甚至复用硬件或信号处理模块完成不同类型的感知服务。另一方面，感知结果可用于辅助通信接入或管理，提高服务质量和通信效率。未来6G网络将可以利用通信信号实现对目标的检测、定位、识别、成像等感知功能，无线通信系统将可以利用感知功能获取周边环境信息，智能精确地分配通信资源，挖掘潜在通信能力，增强用户体验。毫米波或太赫兹等更高频段的使用将加强对环境和周围信息的获取，进一步提升未来无线系统的性能，并助力完成环境中的实体数字虚拟化，催生更多的应用场景。

预计到2040年通感设备规模将超百亿台，渗透率超过10％。通信感知是实现6G时代数字孪生愿景的重要基础性技术。从市场需求看，一方面，数字化社会转型带来通信感知业务发展机遇，无人机探测、智慧交通等场景需求强烈，市场空间广阔，感知设备数将迎来爆发性增长；另一方面，随着6G网络感知能力的不断提高，高精度定位、环境成像、动作及表情识别等各类应用数量及规模也将不断扩大。为应对6G时代万物互联的愿景，大规模多输入输出技术得到广泛应用，但所需的高复杂度和硬件成本以及增加的能耗仍然是关键问题。因此，需要为未来6G无线网络寻找一种更加高效和实时的解决方案。

基于上述问题，可重构智能表面可以为6G系统带来一种新的通信网络模式，以满足未来移动通信的需求。RIS由大量低成本无源反射单元组成，可以在不消耗额外能量的情况下通过控制振幅或相位来独立的反射入射信号，从而协同地实现用于定向信号增强。目前在RIS辅助通信系统中关于信道估计、性能提升等相关方向，已做了大量研究工作，但主要集中在单一RIS辅助通信的情况。在动态环境中，当相应的链路被阻断或减弱时，单个RIS部署的好处将被抵消。目前对于双RIS或多RIS辅助无线通信系统的研究很少。

由于大量无源RIS单元不具备信号处理能力，这将导致用于信道估计的导频开销急剧增加。特别是随着第五代移动通信技术商业化进程的加快和对6G通信系统的研究，通信系统具有高频、多频、用户高速移动和大天线阵的特点。这些都给获取准确的信道状态信息(CSI)带来了很多困难，使得传统通信方式的性能受到很大限制。例如，利用高效压缩传感工具，但压缩感知算法尚未成熟，且对信号要求性较高，适用于较为稀疏的信号，在实际通信中局限性较大。

现有技术的缺点：

传统方法虽然部分改善了无线传播环境，但仍然面临信道估计困难的问题，且RIS尺寸越大，实现信道估计的难度越大，很难适用工业互联网、V2X车联网以及6G确定性网络等复杂多变的场景、超低时延和超高可靠性场景。

发明内容

本发明要解决的技术问题是随着第五代移动通信技术商业化进程的加快和对6G通信系统的研究，通信系统具有高频、多频、用户高速移动和大天线阵的特点。这些都给获取准确的信道状态信息(CSI)带来了很多困难，使得传统通信方式的性能受到很大限制。大多数基于DRL的解决方案都是为多输入单输出系统设计的，需要CSI作为网络输入，这对于配备许多无源元件的RIS来说实施起来具有挑战性。为解决上述问题，提供一种基于DRL的多模态位置感知的方法，与依赖完美CSI的方法相比，采用更容易获得的用户位置信息来规避信道估计。

本发明的目的是以下述方式实现的：

基于DRL的双RIS-位置辅助毫米波通信系统优化配置方法，所述方法包括以下步骤：

S1：构建莱斯衰落模型下双可重构智能表面RIS辅助多用户MIMO通信系统，建立基站BS、RIS1、RIS2以及多用户之间的通信链路几何信道模型：

其中，H＝[h

S2:基站上配备有毫米波雷达、双目相机和激光雷达；用户端配备有GPS传感器；利用基站处配备的毫米波雷达、双目相机和激光雷达对当前环境进行感知，对感知到的多模态数据进行预处理后分别输入至卷积神经网络CNN中，利用卷积神经网络CNN作为编码器分别在64、128、256和512尺度上进行特征提取，获得每一种模态的特征矩阵；

S3：将不同尺度下的单模态特征矩阵和GPS位置输入transformer融合模型中进行融合得到代表环境上下文信息的特征矩阵；

S4：利用基于接收信号强度指示的定位算法对S3中的代表环境上下文信息的特征矩阵进行处理，通过支持向量机模型将信号强度与实际距离之间进行映射关系，获取用户到基站的距离信息；同时通过利用基站的多个天线之间的相对信号强度差异来获取用户到基站的角度信息；获得距离和角度信息后，对通信场景进行网格化操作，以获得当前时刻用户在环境中的具体坐标信息；

S5：将坐标信息输入到LSTM预测神经网络，通过一系列LSTM层来实现迭代更新；在每个时间步，LSTM单元会根据当前的输入和前一时刻的状态来计算当前时刻的输出和新的记忆状态；这个过程通过输入门、遗忘门和输出门来控制，使得LSTM网络可以学习长期依赖关系，最后LSTM模型会对输入序列进行处理，并预测下一个时间步的坐标，以提取对RIS的反射系数进行配置；

S6：利用S4中的用户在环境中的具体坐标信息计算每个分支的等效信道，包括基站-用户分支的等效信道H

S7:利用多用户等效信道H计算用户端的信号功率和干扰功率，再结合噪声方差计算信噪比SINR；最后计算用户的可实现速率Rate＝log

所述莱斯衰落模型下双可重构智能表面RIS辅助多用户MIMO通信系统包括基站BS、至少2个反射单元RIS以及单天线用户。

所述S3中具体为：假设单个模态的特征矩阵为H×W×C的3D张量，将S个不同模态的特征矩阵送入Transformer模型进行融合，形成一个(S*H*W)×C的特征序列，其中H,W和C分别表示特征图的高度、宽度和通道数；Transformer输出结果具有与输入相同的维度，因此将输出结果重新塑造为S个H×W×C的特征矩阵，并使用逐元素求和与现有特征图一起反馈给单一模态分支；由于在四种尺度上进行了特征提取，因此在整个编码器中共使用了四个Transformer模型来融合这些特征，从而最终得到代表环境上下文信息的特征矩阵。

所述S2中预处理操作包括1)图片预处理包括分割图像、掩盖无用背景；2)激光点云预处理包括过滤无用背景点云、转换为BEV图和剪裁BEV图以保持与图像一致；3)毫米波雷达预处理包括将用户的距离-角度和距离-速度进行连接；4)GPS预处理包括将用户和基站的GPS坐标转换为笛卡尔坐标，其中基站视为坐标系原点。

所述S6中利用BS和RIS1之间的相对位置来计算等效信道

BS和RIS1之间的LoS信道

方向余弦Ψ

NLoS分量受环境中障碍物的影响，例如建筑物、树木等，这些因素无法仅通过用户位置来确定，因此NLoS分量采用高斯分布的方式，即

所述信号功率是将多用户等效信道H的对角线元素提取出来作为信号功率，而干扰功率是将等效信道的所有元素相加并减去信号功率，SINR＝信号功率/(干扰功率+噪声方差)。

本发明的有益效果：相对于现有技术，本发明利用多模态信息对环境进行感知，并使用LSTM预测神经网络，获得下一时刻用户位置信息，可以提前对RIS的反射系数进行配置。为了更接近真实世界，假设用户方面的GPS位置信息有丢失情况。与依赖于完美CSI的现有基于DRL方法相比，采用更容易获得的用户位置信息来规避信道估计，能够在没有传统信道估计的情况下完成与信道相关的下游任务，大大节省与导频训练或信道反馈相关的时间和计算成本。

附图说明

图1是本发明设计的系统模型

图2是本发明中针对多模态数据进行融合的架构图

图3是本发明为获得用户几何坐标对通信环境进行网格化的示意图

图4是本发明中使用DRL算法、多臂老虎机和随机反射三种优化方法，优化RIS反射系数，对应优化方法与系统可实现速率对比图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

应该指出，以下详细说明都是例式性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的技术含义相同。

本发明设计的双RIS-位置辅助毫米波通信系统，在基站和用户的直接链路无法完成通信时，需要引入RIS实现信号传输。在动态环境中，单个RIS链路可能会遇到阻塞或干扰，优势会被减弱，部署两个独立的RIS可以通过提供多条接收信号的路径来合作增强系统的覆盖，从而稳定地提高系统的整体性能。具体步骤如下：

1.基于DRL的双RIS-位置辅助毫米波通信系统优化配置方法

S1：根据图1的场景，构建莱斯衰落模型下双可重构智能表面RIS辅助多用户MIMO通信系统，建立基站、RIS1、RIS2和多用户之间通信链路几何信道模型：

其中，H＝[h

基站和RIS放置在固定位置，基站-RIS信道随时间变化缓慢；RIS-用户由于用户的移动性而快速变化；由于毫米波频段的高衰减，信道严重依赖于基站、RIS和用户的位置，可以仅使用用户的位置信息来恢复从基站到RIS的传输信道；

S2：基站上配备有毫米波雷达、双目相机和激光雷达；用户端配备有GPS传感器；利用基站处配备的毫米波雷达、双目相机和激光雷达对当前环境进行感知，对感知到的多模态数据进行预处理后分别输入至卷积神经网络CNN中，利用卷积神经网络CNN作为编码器分别在64、128、256和512尺度上进行特征提取，获得每一种模态的特征矩阵；

预处理操作包括1)图片预处理：分割图像、掩盖无用背景；2)激光点云预处理：过滤无用背景点云、转换为BEV图和剪裁BEV图；3)毫米波雷达预处理：将用户的距离-角度和距离-速度进行连接；4)GPS预处理：将用户和基站的GPS坐标转换为笛卡尔坐标，其中基站视为坐标系原点；

S3：如图2所示，首先利用卷积操作在64、128、256和512尺度上对数据进行编码，卷积操作包括对图像进行处理并最终调整为512维特征向量、对激光雷达鸟瞰图和毫米波雷达的距离、角度和速度进行编码，假设单个模态的特征矩阵为H×W×C的3D张量，将S个不同模态的特征矩阵送入Transformer模型进行融合，形成一个(S*H*W)×C的特征序列，其中H,W和C分别表示特征图的高度、宽度和通道数。Transformer输出结果具有与输入相同的维度，因此将输出结果重新塑造为S个H×W×C的特征矩阵，并使用逐元素求和与现有特征图一起反馈给单一模态分支。由于在四种尺度上进行了特征提取，因此在整个编码器中共使用了四个Transformer模型来融合这些特征，从而最终得到代表环境上下文信息的特征矩阵。

S4：利用基于接收信号强度指示(received signal strength indicator,RSSI)的定位算法对S3中的特征矩阵进行处理，通过支持向量机模型将信号强度与实际距离之间进行映射关系，获取用户到基站的距离信息；同时通过利用基站的多个天线之间的相对信号强度差异来获取用户到基站的角度信息；获得距离和角度信息后，对通信场景进行网格化操作，以获得当前时刻用户在环境中的具体坐标信息；

S5：将坐标信息输入到LSTM预测神经网络，可以通过一系列LSTM层来实现迭代更新；在每个时间步，LSTM单元会根据当前的输入和前一时刻的状态来计算当前时刻的输出和新的记忆状态；这个过程通过输入门、遗忘门和输出门来控制，使得LSTM网络可以学习长期依赖关系，最后LSTM模型会对输入序列进行处理，并预测下一个时间步的坐标，以提取对RIS的反射系数进行配置；

S6:利用S4中的用户在环境中的具体坐标信息计算每个分支的等效信道，包括基站-用户分支的等效信道H

S7：利用多用户等效信道H计算用户端的信号功率和干扰功率，再结合噪声方差计算信噪比SINR；最后计算用户的可实现速率Rate＝log

所述莱斯衰落模型下双可重构智能表面RIS辅助多用户MIMO通信系统包括基站BS、至少2个反射单元RIS以及单天线用户。

BS、RIS1和RIS2部署在固定位置；基于LoS分量缓慢变化和NLoS分量快速变化的特性，可以利用用户的位置信息来恢复从基站到RIS的传输信道。其中所述S6中利用BS和RIS1之间的相对位置来计算等效信道

BS和RIS1之间的LoS信道

方向余弦Ψ

NLoS分量受环境中障碍物的影响，例如建筑物、树木等，这些因素无法仅通过用户位置来确定，因此NLoS分量采用高斯分布的方式，即

所述信号功率是将等效信道的对角线元素提取出来作为信号功率，而干扰功率是将等效信道的所有元素相加并减去信号功率，SINR＝信号功率/(干扰功率+噪声方差)。

本发明通过利用多模态信息对环境进行感知，获得更准确的用户位置信息，将这些位置信息应用于无线通信中，有助于解决由于信道估计复杂性所引起的问题，包括以下步骤：构建双可重构智能表面辅助多用户MIMO通信系统，建立基站、双RIS和多用户之间通信链路通用几何信道模型；多模态信息对当前环境进行感知，并对单个模态的数据样本进行预处理操作，分别输入至卷积神经网络；将不同模态的特征矩阵送入transformer融合模型得到代表环境上下文信息的融合特征矩阵；对通信场景进行网格化，结合LSTM预测网络和定位算法，预测下一时刻用户的距离和角度，进而得到用户坐标；将双RIS建模为马尔可夫决策过程，应用DRL算法根据基站、RIS和用户三者之间的坐标实现对双RIS的实时相位控制。与依赖于完美CSI的方法相比，本发明采用更容易获得的用户位置信息来规避信道估计，能够在没有传统信道估计的情况下完成与信道相关的下游任务，大大节省与导频训练或信道反馈相关的时间和计算成本。

2.验证系统测试场景如图3所示，用户、RIS和基站位于相同高度，用户到RIS1和RIS2之间的距离为1.5m，用户到基站之间的距离为2m，用户和基站之间的视距路径被阻挡。基站发射波束对准RIS，根据用户的位置对可重构智能表面RIS进行编码。实施所提出的基于DRL的双RIS-位置辅助毫米波通信吸引优化方法后，RIS可以根据用户的距离和角度动态调整反射波束方向，使用户在各个位置均保持较优接收功率，如图4所示。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明整体构思前提下，还可以做出若干改变和改进，这些也应该视为本发明的保护范围。