一种高比例光伏配电网电压边缘控制方法

技术领域

本发明涉及主动配电网运行控制技术和边缘智能领域，特别涉及一种高比例光伏配电网电压边缘控制方法。

背景技术

在能源危机和环境压力的助推下，主动配电网中分布式能源渗透比例持续提升。然分布式能源固有的随机性、波动性和间接性等特性使得配电网面临严重的电压波动、闪变和暂降等问题，进一步加剧了电压越限风险，对电能质量和系统安全构成了巨大威胁。如何应对分布式能源(如：光伏)广泛接入带来的电压越限问题，亟需探索相关理论创新与技术支撑。

以往基于强化学习的电压控制技术尽管已展现出优越的性能，但其通常是基于特定拓扑结构而设计的，或是针对固定拓扑进行必要的假设近似。然而实际配电网中拓扑动态重构逐渐成为保供保电、疏导消纳的重要手段，面对新的拓扑场景需重新设计电压控制模型，因此考虑拓扑灵活性是提升控制模型泛化能力的关键。此外，特别是在大规模配电网中，强化学习训练过程困难且耗时，由于学习效率较低，制约了其工程适用能力。因此，为了应对上述挑战，提升电压控制模型拓扑适应能力和学习效率具有重要的研究意义。

发明内容

本发明的目的在于提供一种高比例光伏配电网电压边缘控制方法，旨在解决传统基于强化学习的电压控制方法拓扑适应能力差和学习效率低的技术问题。

本发明解决其技术问题，采用的技术方案是：

一种高比例光伏配电网电压边缘控制方法，包括如下步骤：

计算节点电压-有功和电压-无功灵敏度，定义节点间电气距离，并通过改进的模块度函数对主动配电网进行分区；

根据网络分区结果确定智能体环境、智能体数目、状态空间、动作空间、奖励函数和状态转移函数要素，并构建基于马尔可夫博弈过程的分布式电压边缘控制模型；

设计嵌入图神经网络的多智能体图强化学习算法迭代求解分布式电压边缘控制模型，引入物理辅助机制生成参考经验辅助智能体快速寻优，得到电压控制策略；

基于云边协同架构制定智能体离线学习和在线应用的电压边缘控制框架。

作为进一步优化，所述计算节点电压-有功和电压-无功灵敏度，定义节点间电气距离，具体包括如下步骤：

对于具有n个节点的辐射状配电网，将任意两节点间的电压降落近似表示为：

V

其中，0

将任意两节点间的电压降落表示为矩阵形式：

ΔV＝V

其中，ΔV为任意两节点间的电压降落，P＝[P

根据电压灵敏度定义，得到各节点电压-有功、电压-无功灵敏度如下：

其中，

基于电压灵敏度计算结果，任意两节点间电气距离定义为：

其中，d

作为进一步优化，所述通过改进的模块度函数对主动配电网进行分区，其具体为：

以电气距离替代邻接矩阵作为模块度函数中的权重矩阵，得到改进的模块度函数并对配电网进行分区，其表示为：

其中，ρ为模块度指数，用来衡量配电网分区效果，其值越大分区效果越好，m为所有支路的权重之和，k

作为进一步优化，所述根据网络分区结果确定智能体环境、智能体数目、状态空间、动作空间、奖励函数和状态转移函数要素，其具体为：

所述智能体环境，其特指配电网环境，被定义为潮流计算模型，利用Opendss作为环境模拟器，用于计算配电网的节点电压和网络损耗；

所述智能体数目，假设网络分区结果中每个子网络分别为独立且交互的智能体，即分区数目与智能体数目N相同，每个子网络内包括部分配电网节点、光伏、储能和静止无功补偿器，各子网络对应的智能体通过调节分布式储能和静止无功补偿器向系统提供有功和无功功率支撑，用于确保电压安全约束的同时优化系统网络损耗；

所述状态空间，通过全局状态空间S

其中，全局状态空间S

其中，局部观测o

所述动作空间，其为电压边缘控制模型的控制变量，动作空间定义为：

其中，动作空间包括储能提供的有功功率

其中，

所述奖励函数，其为电压控制问题的优化目标，则奖励函数定义为：

其中，r

所述状态转移函数，当智能体与环境配电网环境交互时，当前状态将被随机转移至下一状态。

作为进一步优化，所述构建的基于马尔可夫博弈过程的分布式电压边缘控制模型由多变量元组表示：

＜N,S

其中，该元组包括智能体数目N、全局状态空间S

作为进一步优化，所述设计嵌入图神经网络的多智能体图强化学习算法时，将图神经网络嵌入强化学习以辅助智能体捕获节点间空间相关性和拓扑相依关系，使智能体能够实时感知由动态重构引起的拓扑变化。

作为进一步优化，将图注意力网络嵌入多智能体soft actor critic强化学习算法中，每个智能体包括2个价值网络、2个软Q网络和1个策略网络，每个网络由若干图注意力层和全连接层堆叠而成。

作为进一步优化，所述图注意力层的核心是多头注意力系数；

所述价值网络的输入输出间的关系表示为：

V＝σ

其中，全局状态空间S

所述Q网络的输入输出间的关系表示为：

Q＝σ

其中，全局状态空间S

所述策略网络的输入输出间的关系表示为：

a

其中，局部观测空间o

作为进一步优化，所述设计嵌入图神经网络的多智能体图强化学习算法迭代求解分布式电压边缘控制模型，其中的迭代更新过程为：

所述价值网络参数通过最小化均方误差来更新：

其中，J

所述软Q网络参数通过最小化贝尔曼均方误差来更新：

其中，J

所述策略网络通过最小化KL散度来更新：

其中，J

作为进一步优化，所述电压边缘控制框架包括云端学习层和边缘控制层；

所述边缘控制层：该层属于分布式控制层面，首先将配电网划分为若干子网络，这些子网络被建模为独立且交互的智能体，假设每个子网络中均部署有特定的边缘控制器，负责控制储能和静止无功补偿器向系统提供动态电压支持，智能体在网络边缘进行在线推理和决策，并将与环境交互的经验上传至云端主站平台用于训练控制模型，将推理和决策任务卸载至边缘；

所述云端学习层：该层属于集中式控制层面，智能体在云端进行离线训练，云端主站平台囊括配电网调度中心运行管理功能，智能体接收边缘端上传的经验，并将其存储至经验池中，定期采样以学习和更新控制策略，然后将训练收敛的控制模型下发至边缘控制器，用于确保智能体对配电网不同运行工况的泛化能力，并将计算密集且耗时的训练任务转移至云端进行。

本发明的有益效果是：

1、通过提出基于云边协同架构的电压边缘控制技术，合理调度储能和静止无功补偿器向高比例分布式光伏配电网提供快速灵活的电压支撑，确保电压运行在安全范围的同时优化系统网络损耗，改进的模块度分区方法无需预先设定分区数目，且其仅依赖配电网拓扑结构，独立于系统运行状态。

2、将图注意力网络嵌入多智能体soft actor critic强化学习算法中，辅助智能体捕获配电网节点间空间相关性和拓扑相依关系，使智能体能够实时感知由动态重构引起的拓扑变化，增强智能体对动态拓扑重构的感知能力和泛化能力，避免新的拓扑场景下重新设计智能体网络结构。

3、引入物理辅助机制采用相对精确的物理模型生成定量的参考经验，并将其存储至经验池中，辅助智能体在训练期间快速确定有效动作，提高电压调节策略学习效率。参考经验内含近似最优的电压控制策略，它可引导智能体快速获得最优控制策略，同时避免智能体在配电网环境中进行不必要的试错和探索。

因此，本发明可增强智能体对动态拓扑重构的感知能力，提升有效动作的识别速度和电压控制策略的学习效率，并确保主动配电网安全经济运行。

附图说明

图1为本发明实施例中一种高比例光伏配电网电压边缘控制方法的流程图；

图2为本发明实施例中一种高比例光伏配电网电压边缘控制方法的辐射状配电网拓扑结构图；

图3为本发明实施例中一种高比例光伏配电网电压边缘控制方法的物理辅助的图强化学习架构图；

图4为本发明实施例中一种高比例光伏配电网电压边缘控制方法的基于云边协同架构的电压边缘控制框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

实施例

本实施例提供的是一种高比例光伏配电网电压边缘控制方法，其流程图见图1，其中，该方法包括如下步骤：

S1、计算节点电压-有功和电压-无功灵敏度，定义节点间电气距离，并通过改进的模块度函数对主动配电网进行分区；

S2、根据网络分区结果确定智能体环境、智能体数目、状态空间、动作空间、奖励函数和状态转移函数要素，并构建基于马尔可夫博弈过程的分布式电压边缘控制模型；

S3、设计嵌入图神经网络的多智能体图强化学习算法迭代求解分布式电压边缘控制模型，引入物理辅助机制生成参考经验辅助智能体快速寻优，得到电压控制策略；

S4、基于云边协同架构制定智能体离线学习和在线应用的电压边缘控制框架。

参照图2-4，本实施例提出的一种高比例光伏配电网电压边缘控制方法，其在实际应用过程中，可以包括配电网分区、边缘控制模型、多智能体图强化学习、物理辅助机制、边缘控制框架等；

可以采用改进的模块度函数对主动配电网进行合理分区，对于具有n个节点的辐射状配电网，如图2所示，其流过支路的有功/无功功率与支路自身的电阻/电抗紧密耦合，则任意两节点间的电压降落可近似表示为：

V

其中，0

ΔV＝V

其中，ΔV为任意两节点间的电压降落，P＝[P

根据电压灵敏度定义，由此可得各节点电压-有功、电压-无功灵敏度如下：

其中，

基于电压灵敏度计算结果，任意两节点间电气距离可定义为：

其中，d

上述方法中，可以以电气距离替代邻接矩阵作为模块度函数中的权重矩阵，从而得到改进的模块度函数对配电网进行分区，其可表示为：

其中，ρ为模块度指数，用来衡量配电网分区效果，其值越大分区效果越好。m为所有支路的权重之和，k

在构建基于马尔可夫博弈过程的分布式电压边缘控制模型时，基于马尔可夫博弈过程的分布式电压边缘控制模型可由多变量元组表示：

＜N,S

其中，该元组包括智能体数目N、全局状态空间S

其中，元组中涉及变量的具体定义如下：

智能体环境：其特指配电网环境，被定义为潮流计算模型，利用Opendss作为环境模拟器，计算配电网的节点电压和网络损耗。

智能体数目：假设每个子网络分别为独立且交互的智能体，即分区数目与智能体数目N相同。每个子网络内包括部分配电网节点、光伏、储能、静止无功补偿器，各子网络对应的智能体通过调节分布式储能和静止无功补偿器向系统提供有功和无功功率支撑，确保电压安全约束的同时优化系统网络损耗。

状态空间：全局状态S

其中，全局状态S

其中，局部观测o

动作空间：其本质为电压边缘控制模型的控制变量，因智能体通过调节储能和静止无功补偿器为配电网提供调压服务，则动作空间可定义为：

其中，动作空间包括储能提供的有功功率

其中，

奖励函数：其本质为电压控制问题的优化目标，本发明旨在最小化网络损耗，并确保节点电压运行在安全范围，则奖励函数可定义为：

其中，r

状态转移函数：因负荷需求和光伏出力具有不确定性，难以制定一个显式的环境状态转换函数，即状态转换过程是随机的，当智能体与环境配电网环境交互时，当前状态将被随机转移至下一状态。

在设计嵌入图神经网络的多智能体图强化学习算法时，多智能体图强化学习算法的结构设计和迭代更新过程具体如下：

将图神经网络嵌入强化学习以辅助智能体捕获节点间空间相关性和拓扑相依关系，使智能体能够实时感知由动态重构引起的拓扑变化。本实施例将图注意力网络嵌入多智能体soft actor critic强化学习算法中，每个智能体由2个价值网络、2个软Q网络和1个策略网络组成，每个网络由若干图注意力层和全连接层堆叠而成，如图3所示。

本实施例中，图注意力层的核心是多头注意力系数，价值网络的输入输出间的关系可表示为：

V＝σ

其中，全局状态空间S

软Q网络的输入输出间的关系可表示为：

Q＝σ

其中，全局状态空间S

策略网络的输入输出间的关系可表示为：

a

其中，局部观测o

需要指出的是，每个智能体的网络参数更新方式各有偏重，价值网络参数可以通过最小化均方误差来更新：

其中，J

软Q网络参数可以通过最小化贝尔曼均方误差来更新：

其中，J

策略网络可以通过最小化KL散度来更新：

其中，J

实际应用中，可以引入物理辅助机制生成参考经验辅助智能体快速寻优，物理辅助机制是指采用相对精确的物理模型(电压控制优化模型)生成定量的参考经验，并将其存储至经验池中，辅助智能体在训练期间快速确定有效动作，提高电压调节策略学习效率。参考经验内含近似最优的电压控制策略，它可引导智能体快速获得最优控制策略，同时避免智能体在配电网环境中进行不必要的试错和探索。

在制定基于云边协同架构的电压边缘控制框架时，基于云边协同架构的电压边缘控制框架可以包括云端学习层和边缘控制层两个层面，如图4所示，其中：

边缘控制层：该层属于分布式控制层面，首先将配电网划分为若干子网络，这些子网络被建模为独立且交互的智能体，假设每个子网络中均部署有特定的边缘控制器，负责控制储能和静止无功补偿器向系统提供动态电压支持。智能体在网络边缘进行在线推理和决策，并将与环境交互的经验上传至云端主站平台用于训练控制模型，将推理和决策任务卸载至边缘可减少云端通信开销。

云端学习层：该层属于集中式控制层面，智能体在云端进行离线训练，云端主站平台囊括配电网调度中心运行管理功能。智能体接收边缘端上传的经验，并将其存储至经验池中，定期采样以学习和更新控制策略。然后将训练收敛的控制模型下发至边缘控制器，以确保智能体对配电网不同运行工况的泛化能力。将计算密集且耗时的训练任务转移至云端进行，避免耗尽边缘设备资源。

总之，云端控制中心和边缘设备在技术层面是互补的，在应用层面是互利的，这种集中-分布模式可最大限度发挥云端和边缘的优势，以实现储能和静止无功补偿器的合理调度，同时确保安全和有效的电压控制。

因此，本实施例通过提出一种高比例光伏配电网电压边缘控制方法，能够通过合理调用储能和静止无功补偿器向配电网提供电压支撑，确保电压运行在安全范围的同时优化系统网络损耗，并增强智能体对动态拓扑重构的感知能力，提升有效动作的识别速度和电压控制策略的学习效率。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。