一种完全匹配安全约束强化学习的有源配电网实时转供方法

技术领域

本发明涉及一种完全匹配安全约束强化学习的有源配电网实时转供方法，属于电力系统优化运行技术领域。

背景技术

有源配电网在设计网架结构时考虑到能够以不同的方式运行，在配电网发生线路故障时，电网运行需要快速切断故障设备，并启动备用联络开关，从而实现电力负荷转供、恢复下游供电。当前有源配电网实时转供技术方法主要存在三个方面难点：首先，为了响应“双碳”目标，新型电力系统、尤其是新型有源配电网中接入到大量分布式新能源，而这些新能源发电的强波动性对配电网运行造成极大挑战，负荷转供时极易出现转供线路重过载、电压越限等难题；其次，有源配电网发展逐渐呈现源网荷储协同运行的特点，用户可调节灵活负荷虽然能够提升有源配电网的资源分配能力，但是也加剧了电网调度运行和电力转供等问题的求解复杂性；此外，有源配电网实时转供相比于日前尺度的调度问题，其对计算时效性的要求更高，实时转供计算速度越快则越能够降低线路故障和停电检修时造成的经济损失。

针对上述难点，当前研究工作提出了大量不同的转供技术方法，包括数学规划法、启发式算法和强化学习方法等。数学规划法在于将电网负荷转供的非凸非线性优化问题转化为二阶锥规划模型，求解的精度较高，但是随着配电网规模扩大和新能源发电接入比例增加，其计算成本也会急剧增大；启发式算法通过改变其超参数设置，能够在求解精度和计算效率间寻求平衡，但是目前发展的算法数量过多、且普遍泛化性一般，实际工程应用难以验证；强化学习方法目前属于兴起阶段，其优势在于可以有效嵌入分布式新能源和灵活性负荷的不确定性，且训练后的模型具有较高的运算效率，但是缺点在于无法充分考虑优化求解的约束条件，尤其是有源配电网转供的安全约束。

发明内容

本发明针对有源配电网转供技术中存在的分布式光伏发电波动大、转供求解计算效率低的问题，提出一种完全匹配安全约束强化学习的有源配电网实时转供方法，既能够发挥强化学习易于嵌入分布式光伏不确定性、计算效率高的优势，又能够解决其难以处理安全约束的问题，从而能够提升有源配电网实时转供的经济性、安全性和稳定性，提升电网公司的运行效益和竞争力。

为解决上述技术问题，本发明采用如下技术方案：

一种完全匹配安全约束强化学习的有源配电网实时转供方法，包括以下步骤：

步骤1、对有源配电网下一个运行时刻进行状态感知，获取有源配电网每个节点的净负荷预测值以及发生故障线路的编号；

步骤2、构建基于深度确定性策略梯度(DDPG)模型的有源配电网转供代理，基于有源配电网下一个运行时刻的状态计算转供动作；

步骤3、对转供后的有源配电网进行潮流优化，判断转供结果是否匹配节点过电压和线路过负荷两类安全约束；

步骤4、考虑对过电压节点和线路过负荷影响最大节点进行负荷削减；

步骤5、基于步骤4得到的多次削负荷总量，修改有源配电网下一个运行时刻的转供动作，直至转供动作完全匹配安全约束；在下一个运行时刻转供完毕后，对转供动作进行奖励值结算；

步骤6、基于有源配电网的转供动作奖励值，对有源配电网转供代理的DDPG模型进行参数更新。

进一步的，在步骤1中，状态感知的公式表示如下：

式中，t为有源配电网当前运行时刻，t+1为有源配电网下一个运行时刻，X

进一步的，步骤2中，计算转供动作的公式表示如下：

式中，A

进一步的，步骤3中所述安全约束的公式表示如下：

U

-P

式中，U

进一步的，步骤4的具体方法包括：

步骤4-1、若转供结果不匹配节点过电压安全约束，筛选出过电压节点；若转供结果不匹配线路过负荷安全约束，对过负荷线路进行灵敏度分析、筛选出线路过负荷影响最大节点；

步骤4-2、对过电压节点和线路过负荷影响最大节点再进行负荷削减，负荷削减的公式表示为：

式中，

进一步的，步骤5的具体方法包括：

基于多次削负荷总量

结算公式表示为：

式中，R

进一步的，步骤2构建基于DDPG模型的有源配电网转供代理，该DDPG模型的具体原理及实现步骤如下：

步骤2-1、构建DDPG模型的动作表演网络，以有源配电网下一个运行时刻的状态为输入、以有源配电网下一个运行时刻的转供动作为输出，公式表示为：

A

式中，M

步骤2-2、构建DDPG模型的价值评估网络，以有源配电网下一个运行时刻的状态和转供动作为输入、以有源配电网下一个运行时刻的转供动作奖励值的评估结果为输出，公式表示为：

Q

式中，M

步骤2-3、对DDPG模型的动作表演网络进行训练，训练目标函数的公式表示为：

maxQ

式中，目标函数在于最大化有源配电网下一个运行时刻的转供动作奖励值的评估结果Q

步骤2-4、对DDPG模型的动作表演网络进行训练，训练目标函数的公式表示为：

式中，目标函数在于最小化转供动作奖励值的评估误差，γ为有源配电网运行时刻折扣系数，

进一步的，步骤4中，若转供结果不匹配线路过负荷安全约束，对过负荷线路进行灵敏度分析、筛选出线路过负荷影响最大节点；该灵敏度分析方法的具体原理及实现步骤如下：

首先，计算有源配电网的线路-节点功率关联矩阵，矩阵的公式表示为：

式中，C

其次，提取有源配电网的线路-节点功率关联矩阵C

式中，δ

然后，对于不匹配线路过负荷安全约束的第j条线路，计算全部N

本发明的有益效果如下：

1、与现有配电网转供技术相比，本发明方法考虑了有源配电网中分布式光伏发电、可调灵活性负荷等的影响性，因此更适用于当前新型电力系统中的源配电网；

2、本发明方法在执行有源配电网转供时能够完全匹配电网运行过电压、线路过载的安全约束，更能够保障有源配电网运行的安全性和稳定性；

3、由于本发明方法能够在保障有源配电网运行安全性和稳定性的同时，兼顾发挥强化学习的计算时效性优点，可以有效降低有源配电网发生线路故障时造成的经济损失，有助于降低配电网转供的运行成本、提高经济效益。

附图说明

图1为本发明方法的原理示意图。

图2为本发明方法所应用的有源配电网拓扑结构示意图。

图3为本发明方法执行有源配电网转供的的结果示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提出了一种完全匹配安全约束强化学习的有源配电网实时转供方法，包括以下步骤：

步骤1、对有源配电网下一个运行时刻进行状态感知，获取有源配电网每个节点的净负荷预测值以及发生故障线路的编号；

步骤2、构建基于深度确定性策略梯度(DDPG)模型的有源配电网转供代理，基于有源配电网下一个运行时刻的状态计算转供动作；

步骤3、对转供后的有源配电网进行潮流优化，判断转供结果是否匹配节点过电压和线路过负荷两类安全约束；

步骤4、考虑对过电压节点和线路过负荷影响最大节点进行负荷削减；

步骤5、基于步骤4得到的多次削负荷总量，修改有源配电网下一个运行时刻的转供动作，直至转供动作完全匹配安全约束；在下一个运行时刻转供完毕后，对转供动作进行奖励值结算；

步骤6、基于有源配电网的转供动作奖励值，对有源配电网转供代理的DDPG模型进行参数更新。

下面结合具体实施例，详细说明使用本发明中的方法进行有源配电网实时转供的的具体实施过程。

如图2所示，选取一33节点的有源配电网拓扑算例，其中实线连接为有源配电网正常运行拓扑，虚线连接(线路25-29、33-18、9-15、8-21和12-22)为有源配电网的备用联络开关，节点13、21、24和31接入分布式光伏，用户节点2至33的净负荷预测值已考虑可调灵活负荷影响。基于上述有源配电网算例，本发明方法的具体实施步骤如下：

步骤1：对有源配电网下一个运行时刻进行状态感知，获取有源配电网每个节点的净负荷预测值以及发生故障线路的编号，公式表示如下：

式中，t为有源配电网当前运行时刻，t+1为有源配电网下一个运行时刻，X

步骤2：构建基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)模型的有源配电网转供代理，首先，构建DDPG模型的动作表演网络，以有源配电网下一个运行时刻的状态为输入、以有源配电网下一个运行时刻的转供动作为输出，公式表示为：

A

式中，M

Q

式中，M

maxQ

式中，目标函数在于最大化有源配电网下一个运行时刻的转供动作奖励值的评估结果Q

式中，目标函数在于最小化转供动作奖励值的评估误差，γ为有源配电网运行时刻折扣系数，MC为价值评估网络模型副本，MA为动作表演网络模型副本，X

式中，A

步骤3：根据有源配电网下一个运行时刻的转供动作A

U

-P

式中，U

步骤4：若转供结果不匹配节点过电压安全约束，筛选出过电压节点，若转供结果不匹配线路过负荷安全约束，对过负荷线路进行灵敏度分析、筛选出线路过负荷影响最大节点，首先，计算有源配电网的线路-节点功率关联矩阵，矩阵的公式表示为：

式中，C

式中，δ

式中，

步骤5：基于多次削负荷总量

式中，R

步骤6：基于有源配电网的转供动作奖励值，对有源配电网转供代理的DDPG模型进行参数更新。

基于上述步骤，图3展示了本发明方法执行有源配电网转供的结果。其中，线路29-30发生故障已被切除，有源配电网转供代理启用了联络开关25-29和联络开关18-33，恢复了所有用户节点的供电连接，执行计算时间约为6.5秒。

综上，本发明的一种完全匹配安全约束强化学习的有源配电网实时转供方法能够以较高的计算时效性执行转供、恢复供电，有助于降低线路故障时造成的经济损失，同时完全匹配安全约束，保证了有源配电网运行的安全性和稳定性。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。