一种基于RIS技术的电力物联网无线网络接入方法

技术领域

本申请属于电力物联网技术领域，尤其涉及一种基于RIS技术的电力物联网无线网络接入方法。

背景技术

近年来，随着电力系统的发展，为了保证系统的安全稳定，在高压输电线路等设备上已经安装了包括数据采集和监视控制系统、同步相量测量装置等在内的各种系统与设备运行状态量测系统，并配有光纤通信，实现了可靠的电力互联互通和信息互联互通。但对于电压等级较低的配电网，考虑到成本等因素，并没有同步实现光纤覆盖。此外，较输电网络而言，配电网络连接的设备更多，深入到每一个用户、甚至到每个家庭的每一个用电设备，海量设备仅通过不同电压等级的电力线路连接。然而目前配用电侧海量设备还没有完全实现信息的互联互通，电力系统的“最后一公里”挑战仍然存在，并且亟待解决。但传统有线网络的接入方式对于物联网而言成本较高、适用性较差，所以物联网一般都是通过无线网络进行连接，例如4G移动网络、无线热点网络、Zigbee等。而近年来包括massive MIMO等5G通信技术快速发展，与4G/3G/2G通信相比，在带宽、时延等各方面都有较大的飞跃。5G通信尝试利用通信网络实现万物互联，是实现和构建电力物联网的核心技术。

但在城市场景中，由于障碍物众多，对无线网络的传输有较大影响，因此一种基于可重构智能表面(Reconfigurable Intelligent Surface,RIS)技术的电力互联网无线接入网络架构被提出。RIS是一种全新的革命性技术，它可以通过在平面上集成大量低成本的无源反射元件，智能地重新配置无线传播环境，从而显著提高无线通信网络的性能。RIS的不同元件可以通过控制其幅度和相位来独立地反射入射信号，从而协同地实现用于定向信号改变的精细的无源波束形成。在基于RIS的城市5G通信场景中，电力物联网通过大规模天线实现超多终端用户的无线接入，降低城市障碍物对用户接入的影响。在上述无线通信架构中，由于电力物联网用户繁多、信道复杂，为保障用户的服务质量，通过对基站的波束、RIS的相移以及用户选择等参数进行优化，能够确保用户的连接稳定并增大系统吞吐量，但传统优化算法难以求解这样高维度的混合整数规划问题。

发明内容

本申请实施例的目的在于提供一种基于RIS技术的电力物联网无线网络接入方法，实现城市场景下的物联网连接，并应用massive MIMO技术保证用户连接可靠性以及服务质量。

为实现上述目的，本申请提供如下技术方案：

本申请实施例提供一种基于RIS技术的电力物联网无线网络接入方法，其特征在于，包括以下步骤：

步骤1：搭建城市场景中基于RIS技术的电力物联网通信架构，所述网络架构包括：个5G基站和个RIS，其中每个5G基站服务于个电力物联网用户并配备有根天线，每个RIS上装有个反射元件以及相应的控制器，RIS控制器能够控制反射元件的相移；

步骤2：根据上述所搭建的电力物联网通信架构，设计相应的目标优化函数，通过优化RIS的相移、基站波束以及用户选择，保证用户的业务缓冲队列不超过阈值，并保障用户的服务质量，实现电力物联网用户的稳定连接，减轻城市场景中障碍物对用户连接造成的影响；

步骤3：基于步骤2所提出的目标优化函数，结合相应的约束条件以及用户的业务缓冲队列，将目标优化函数经过李雅普诺夫优化，建立为分布式马尔科夫决策过程，然后利用深度强化学习实现优化求解，完成基于RIS技术的电力物联网无线网络接入。

所述步骤1具体如下：

步骤1.1：首先在电力物联网无线连接的网络框架中，将整个传输过程划分为T个时隙，表示为

步骤1.2：定义RIS集合为

在上述公式中

步骤1.3：对于基站用户k

其中

电力物联网的用户k

其中

基于上述用户接收到的信号，可以得到基站m的容量计算公式如下所示：

变量

步骤1.4：为了保证用户的服务质量，保证用户之间的公平性，假设基于RIS技术的电力物联网无线连接网络为每个物联网用户保留一个业务缓冲队列

在上述公式中[x]

队列的长度阈值

所述步骤2具体如下：

通过一个固定的在线策略π，通过观察每个代理的环境状态，联合优化时隙t中的用户选择、RIS相移和基站波束，在步骤1所述的系统模型下，联合在线策略既能减少城市场景中障碍物对无线网络连接造成的影响，又能最大化系统的吞吐量，带有约束的优化问题表示为：

上述约束条件分别代表着对基站波束功率的限制、对RIS相位值的限制、用户选择的二元约束、最大天线数量约束、用户的队列稳定性约束。

所述步骤3具体如下：

步骤3.1：首先建立一个虚拟队列，定义为

在虚拟队列的基础上，定义时隙t中的李雅普诺夫函数如下，以保证用户的稳定性

然后，李雅普诺夫漂移函数定义为

通过在每个时隙选择控制动作来定义李雅普诺夫漂移惩罚函数，以最小化漂移惩罚表达式的上界，表示为

是影响队列长度和系统吞吐量之间权衡的非负常量，得到李雅普诺夫漂移惩罚函数的上界表示为

其中

基于李雅普诺夫漂移惩罚函数上界，约束优化问题可以转化为使李雅普诺夫漂移惩罚函数的上界最小化，将目标约束优化函数重写为最大化以下目标函数：

步骤3.2：将约束优化问题建模为分布式部分可观测的马尔科夫决策过程Dec-POMDP，Dec-POMDP主要问题的描述如下：

状态：将5G基站和RIS视为两种智能体，分别表示为

其中

动作：第t个时隙的动作定义为

其中

全局奖励：将全局奖励定义为：

其中，λ是最小速率限制的惩罚因子，

步骤3.3：在步骤3.2中，将有约束条件的Dec-POMDP问题转化为普通的Dec-POMDP问题，使用强化学习的算法进行求解。

与现有技术相比，本申请的有益效果是：本申请针对电力物联网络在城市密集场景中的接入需求，搭建了城市场景中基于RIS技术的电力物联网通信架构，以此满足海量设备接入需求。本申请通过优化RIS的相移、基站波束以及用户选择，保证用户的业务缓冲队列不超过阈值，并保障用户的服务质量，实现电力物联网用户的稳定连接。除此之外，本申请提出了一种基于RIS的电力无线网络接入方法，依据所提出的目标优化函数，结合相应的约束条件以及用户的业务缓冲队列，将目标优化函数经过李雅普诺夫优化，建立为分布式马尔科夫决策过程，然后利用深度强化学习实现优化求解。本申请提出的方法可以有效求解复杂接入网络中的联合优化问题，实现高度定制化的通信。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某

些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，5在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例的方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一0旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定

义和解释。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而

且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品5或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”

限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参见图1，本申请提供了一种基于RIS技术的电力物联网无线网络接入方法，包括以下步骤。

步骤1：搭建城市场景中基于RIS技术的电力物联网通信架构，所述网

络架构包括：个5G基站和个RIS，其中每个5G基站服务于个电力物联网用户并配备有根天线，每个RIS上装有个反射元件以及相应的控制器，RIS控制器能够控制反射元件的相移；

步骤2：根据上述所搭建的电力物联网通信架构，设计相应的目标优化5函数，通过优化RIS的相移、基站波束以及用户选择等，保证用户的业务缓冲队列不超过阈值，并保障用户的服务质量，实现电力物联网用户的稳定连接，减轻城市场景中障碍物对用户连接造成的影响。

步骤3：基于步骤2所提出的目标优化函数，结合相应的约束条件以及用户的业务缓冲队列，将目标函数经过李雅普诺夫优化，建立为分布式马尔科夫过程，然后利用深度强化学习实现优化求解。

作为优选，所述步骤1具体如下：

步骤1.1：在城市场景中存在有较多障碍物，会大幅降低基站的信号强度，对电力物联网的无线连接造成了影响，而RIS能够反射电磁波波束，改变空间中的信道，减轻障碍物对无线连接造成的影响。首先在电力物联网无线连接的网络框架中，将整个传输过程划分为个时隙，表示为

定义所有的5G基站集合为/>

步骤1.2：定义RIS集合为，每个RIS上装有个反射元件，表示为

在上述公式中

步骤1.3：由于RIS的加入，使得无线网络的信道变得更加复杂。对于基站用户k

其中

因此，电力物联网的用户k

其中

基于上述用户接收到的信号，可以得到基站m的容量计算公式如下所示：

变量

步骤1.4：为了保证用户的服务质量，保证用户之间的公平性，假设基于RIS技术的电力物联网无线连接网络为每个物联网用户保留一个业务缓冲队列

在上述公式中[x]

在此网络框架中，需要考虑用户选择的同时最大化基站下所有用户的数据速率。为了保证用户间通信的公平性，有必要避免基站长期选择通信条件较好的用户，而忽视其他用户的通信需求。为了确保用户的服务质量，我们需要保持队列的长度低于阈值

作为优选，所述步骤2具体如下：

步骤2.1：在此网络中，我们的目标是通过一个固定的在线策略π，通过观察每个代理的环境状态，联合优化时隙t中的用户选择、RIS相移和基站波束。在上面步骤1所述的系统模型下，联合在线策略既能减少城市场景中障碍物对无线网络连接造成的影响，又能最大化系统的吞吐量。因此，带有约束的优化问题可以表示为：

上述约束条件分别代表着对基站波束功率的限制、对RIS相位值的限制、用户选择的二元约束、最大天线数量约束、用户的队列稳定性约束。

作为优选，所述步骤3具体如下：

步骤3.1：在上述优化问题中，关于用户稳定性的约束条件是长期平均约束。为了满足约束，我们需要有关数据到达的分布和历史队列长度的先验信息。我们可以用李雅普诺夫漂移惩罚算法来解决这个问题。该算法可以将长期约束转化为只需要当前队列长度信息的约束。其主要流程是先建立一个队列，然后根据具体情况来保证队列的稳定性。在这个过程中，我们需要建立李雅普诺夫漂移函数，并求出它的上界。然后，通过最小化李雅普诺夫漂移惩罚函数的上界，最小化目标函数，保证了用户队列的稳定性。

在建立业务缓冲队列时，需要保护队列的稳定性。因此，首先建立一个虚拟队列，定义为

在虚拟队列的基础上，我们可以定义时隙t中的李雅普诺夫函数如下，以保证用户的稳定性

然后，李雅普诺夫漂移函数可以定义为

因此，可以通过在每个时隙选择控制动作来定义李雅普诺夫漂移惩罚函数，以最小化漂移惩罚表达式的上界，表示为

是影响队列长度和系统吞吐量之间权衡的非负常量。得到李雅普诺夫漂移惩罚函数的上界表示为

其中

基于李雅普诺夫漂移惩罚函数上界，约束优化问题可以转化为使李雅普诺夫漂移惩罚函数的上界最小化，因此将目标约束优化函数重写为最大化以下目标函数：

约束条件保持不变。联合优化可以在最大化目标函数的同时保证业务缓冲队列的稳定性，在实际应用中需要将ζ调整到一个合理的值，以达到目标函数和连接稳定性之间的最优平衡。

步骤3.2：该约束问题可以建模为马尔可夫决策过程(Markov Decision Process，MDP)，并通过强化学习来集中求解。然而，这需要多个智能体与中心网络之间进行大量的信息交换，并且中心网络需要处理高维的状态-动作空间，这将导致效率低下。为了以更低的复杂度更有效地解决问题，我们将该问题建模为分布式部分可观测的马尔科夫决策过程(decentralized partially-observable Markov decision process，Dec-POMDP)。

Dec-POMDP是多个智能体之间的协调和决策模型。它是POMDP的泛化，允许由可能无法观察确切状态的代理进行分布式控制。在此网络中，设定基站与RIS是分布式的。因此，Dec-POMDP主要问题的描述如下：

状态：将5G基站和RIS视为两种智能体，分别表示为

其中

动作：第t个时隙的动作定义为

其中

全局奖励：我们的目标是最大化基站的吞吐量，并保证用户服务质量以及用户连接的稳定性，因此我们将全局奖励定义为：

其中，λ是最小速率限制的惩罚因子。

步骤3.3：在步骤3.2中，将有约束条件的Dec-POMDP问题转化为普通的Dec-POMDP问题，但是优化变量包含离散的用户选择以及连续的基站波束和RIS反射元件相移，动作空间既有离散空间，又有连续空间，且是一个多智能体问题。因此可以使用强化学习的算法进行求解，通过引入合适的深度学习算法，可以解决混合动作空间的多智能体问题。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。