基于A3C的新能源场站电压无功下垂系数整定方法及系统

技术领域

本发明涉及电网无功电压调整技术领域，更具体地，涉及基于A3C的新能源场站电压无功下垂系数整定方法及系统。

背景技术

随着电力系统向以新能源为主体的新型电力系统转型，传统的火电机组逐渐被高比例的风电替代，但风电的波动性和不确定性增加了电网潮流波动，可能导致母线电压波动越过安全范围，对风电场和整个系统的安全稳定运行构成严重威胁。因此，风电场需要主动参与电网电压调整。

为了实现风电场主动参与电网电压调整，可以采用类似同步发电机的无功电压下垂特性控制方式。具体而言，风电场可以通过无功-电压定斜率控制方式，在其无功能力范围内主动跟踪电网电压的变化。这种方式有助于风电场有效支持电网电压，减少电网潮流波动对系统安全和稳定运行的不利影响。

在实际操作中，风电场可以通过调整其无功功率输出来实现无功电压下垂特性的控制。当电网电压下降时，风电场可以增加其无功功率输出以支撑电网电压；当电网电压上升时，风电场可以减少其无功功率输出以维持电网电压的稳定。通过这种方法，风电场能够有效地调节电网电压，提高整个电力系统的安全和稳定性能。

目前，针对电源无功电压下垂系数的优化整定，通常采用启发式算法。然而，这些算法在解决高维度的下垂系数优化问题时存在明显局限，容易陷入局部最优解，而且缺乏记忆性，需要每次重新搜索。因此，当前技术急需一种新的解决方案来应对上述问题。

此外，当前的整定方法还存在以下问题需要解决：1)如何使风电场最大限度地利用其一次调压能力，以提供对电力系统的无功电压支持；2)如何协调传统的同步发电机组与新能源场站的无功电压控制特性；3)在新能源发电存在强烈不确定性和间歇性的情况下，如何进行新能源的一次调压参数的优化整定。

发明内容

本发明技术方案提供一种基于A3C的新能源场站电压无功下垂系数整定方法及系统，以解决如何基于A3C对新能源场站电压无功下垂系数进行整定的问题。

为了解决上述问题，本发明提供一种基于A3C的新能源场站电压无功下垂系数整定方法，所述方法包括：

采用两参数的韦伯分布建立风速不确定模型，采用正态分布建立负荷不确定模型；对所述风速不确定模型和所述负荷不确定模型进行抽样生成多个场景，对多个场景进行排序，使得风电与负荷变量之间满足相关性；

构建基于A3C网络的回报函数，所述回报函数中的Actor网络负责根据当前电源状态选择无功电压下垂系数作为动作，所述A3C网络中的Actor网络负责根据当前电源状态选择动作，Critic网络则负责评估选择出动作的质量；

基于Critic网络评估的质量，对电压的实际值与期望值之间的差距进行评分，将获取的评分最大值作为电源调节策略。

优选地，所述采用两参数的韦伯分布建立风速不确定模型，所述风速不确定模型采用概率密度函数f(v)表示：

式中，v表示风速、k和c分别表示分布的形状和尺寸参数。

优选地，所述风速不确定模型用于将风电机组有功功率与风速之间的关系通过近似线性化表示为：

其中，v

优选地，所述负荷不确定模型采用有功负荷的概率密度函数表示：

式中，P

优选地，所述电源状态通过电源发出的无功与端电压之间的关系表示：

V

其式中，V

优选地，所述A3C网络的回报函数表示为：

其中，N为电网中电压监测节点的个数；M为运行场景个数，λ为权重值；V

基于本发明的另一方面，本发明提供一种基于A3C的新能源场站电压无功下垂系数整定系统，所述系统包括：

初始单元，用于采用两参数的韦伯分布建立风速不确定模型，采用正态分布建立负荷不确定模型；对所述风速不确定模型和所述负荷不确定模型进行抽样生成多个场景，对多个场景进行排序，使得风电与负荷变量之间满足相关性；

执行单元，用于构建基于A3C网络的回报函数，所述回报函数中的Actor网络负责根据当前电源状态选择无功电压下垂系数作为动作，所述A3C网络中的Actor网络负责根据当前电源状态选择动作，Critic网络则负责评估选择出动作的质量；

结果单元，用于基于Critic网络评估的质量，对电压的实际值与期望值之间的差距进行评分，将获取的评分最大值作为电源调节策略。

优选地，所述采用两参数的韦伯分布建立风速不确定模型，所述风速不确定模型采用概率密度函数f(v)表示：

式中，v表示风速、k和c分别表示分布的形状和尺寸参数。

优选地，所述风速不确定模型用于将风电机组有功功率与风速之间的关系通过近似线性化表示为：

其中，v

优选地，所述负荷不确定模型采用有功负荷的概率密度函数表示：

式中，P

优选地，所述电源状态通过电源发出的无功与端电压之间的关系表示：

V

其式中，V

优选地，所述A3C网络的回报函数表示为：

其中，N为电网中电压监测节点的个数；M为运行场景个数，λ为权重值；V

本发明技术方案提供了一种基于A3C的新能源场站电压无功下垂系数整定方法及系统，其中方法包括：采用两参数的韦伯分布建立风速不确定模型，采用正态分布建立负荷不确定模型；对风速不确定模型和负荷不确定模型进行抽样生成多个场景，对多个场景进行排序，使得风电与负荷变量之间满足相关性；构建基于A3C网络的回报函数，回报函数中的Actor网络负责根据当前电源状态选择动作，A3C网络中的Actor网络负责根据当前电源状态选择动作，Critic网络则负责评估选择出动作的质量；基于Critic网络评估的质量，对电压的实际值与期望值之间的差距进行评分，将获取的评分最大值作为电源调节策略。本发明技术方案提供了一种基于A3C的新能源场站电压无功下垂系数整定方法，以有效协调风电场和火电机组之间的无功电压控制，从而改善高比例风电并网可能出现的无功电压问题。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明优选实施方式的一种基于A3C的新能源场站电压无功下垂系数整定方法流程图；

图2为根据本发明优选实施方式的一种基于A3C的新能源场站电压无功下垂系数整定方法单元接线机组高压侧电压的Q-V特性示意图；

图3为根据本发明优选实施方式的A3C算法多线程训练部署框架图；

图4为根据本发明优选实施方式的一种基于A3C的新能源场站电压无功下垂系数整定方法A3C模型总体结构图；以及

图5为根据本发明优选实施方式的种基于A3C的新能源场站电压无功下垂系数整定系统结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明优选实施方式的一种基于A3C的新能源场站电压无功下垂系数整定方法流程图。

随着电力系统中新能源占比不断增加，新能源场站的出力不确定性将对电网电压的安全产生重大挑战。在这一背景下，无功电压下垂系数成为了新能源场站响应电网电压快速波动的关键参数。协调整定电源的无功电压下垂系数对于确保新型电力系统的电压水平具有重要意义。

本发明提供一种考虑风荷不确定性的电源无功电压下垂系数整定方法，采用A3C强化学习算法，通过大量的仿真探索逐步习得电源无功电压下垂系数优化整定的“知识”，初步实现了基于“知识”的电源无功电压下垂系数优化整定；能够克服传统启发式算法容易陷入局部最优、每次都需要重新搜索的不足来进行下垂系数整定的问题。

如图1所示，本发明提供了一种基于A3C的新能源场站电压无功下垂系数整定方法，方法包括：

步骤101：采用两参数的韦伯分布建立风速不确定模型，采用正态分布建立负荷不确定模型；对风速不确定模型和负荷不确定模型进行抽样生成多个场景，对多个场景进行排序，使得风电与负荷变量之间满足相关性；优选地，采用两参数的韦伯分布建立风速不确定模型，风速不确定模型采用概率密度函数f(v)表示：

其中，v表示风速、k和c分别表示分布的形状和尺寸参数。

优选地，风速不确定模型用于将风电机组有功功率与风速之间的关系通过近似线性化表示为：

其中，v

优选地，负荷不确定模型采用有功负荷的概率密度函数表示：

式中，P

本发明建立风电出力与负荷不确定性场景。

本发明采用两参数的Weibull韦伯分布建立风速不确定模型，根据风电机组的功率特性，输出风电机组有功功率与风速之间的关系；采用正态分布建立负荷不确定模型；利用拉丁超立方抽样LHS方法对建立的不确定模型进行抽样产生多个场景，利用Cholesky分解法对产生的多个场景进行重新排序，使风电与负荷变量各自之间满足相关性；

本发明步骤101风速不确定模型采用概率密度函数f(v)表示：

式中，v表示风速、k和c分别表示分布的形状和尺寸参数。

本发明步骤101风电机组有功功率与风速之间的关系通过近似线性化表示为：

式中，v

本发明步骤101中负荷不确定模型采用有功负荷的概率密度函数表示：

式中，P

步骤102：构建基于A3C网络的回报函数，回报函数中的Actor网络负责根据当前电源状态选择无功电压下垂系数作为动作，A3C网络中的Actor网络负责根据当前电源状态选择动作，Critic网络则负责评估选择出动作的质量；

优选地，电源状态通过电源发出的无功与端电压之间的关系表示：

V

其式中，V

优选地，A3C网络的回报函数表示为：

其中，N为电网中电压监测节点的个数；M为运行场景个数，λ为权重值；V

本发明提供一种基于A3C的新能源场站电压无功下垂系数整定方法，其特征是：步骤二动作空间采用电网中各节点电压V

本发明步骤102电源状态通过电源发出的无功与端电压之间的关系表示：

V

式中，V

本发明步骤102动作空间采用电网中各节点电压Vi作为状态量，各电源的下垂系数ΔX

本发明步骤102中A3C网络的回报函数为：

式中，N为电网中电压监测节点的个数；M为运行场景个数，λ为权重值；V

步骤103：基于Critic网络评估的质量，对电压的实际值与期望值之间的差距进行评分，将获取的评分最大值作为电源调节策略。

本发明基于A3C算法的电源无功电压下垂系数优化整定包括：

首先确定电源的状态和可能的动作空间，以改善电网电压水平为目标，构建一个基于A3C网络的回报函数。该函数将根据电网电压的实际值与期望值之间的差距给出评分，智能体的目标就是找到能让这个评分最大化的电源调节策略。

通过多个并行的智能体与电网环境进行异步交互。每个智能体都可以独立地根据当前状态选择并执行一个动作，然后等待环境反馈。在智能体与环境交互的过程中，利用Actor和Critic网络来学习和评估策略。Actor网络负责根据当前状态选择动作，Critic网络则负责评估这个动作的质量，即它是否能使得电压水平接近期望值。

通过这种方式，我们可以实现快速而稳定的强化学习训练，进而进行电源下垂系数的整定。下垂系数是用于调节电源输出以控制电网电压的重要参数，通过训练后的智能体，可以更精准地整定这些参数，从而更好地控制电网电压。

本发明可以带来如下有益效果：提供了一种基于A3C的新能源场站电压无功下垂系数整定方法，以有效协调风电场和火电机组之间的无功电压控制，从而改善高比例风电并网可能出现的无功电压问题：

1.考虑不确定性因素：利用常见的概率模型来考虑风电出力和负荷不确定性，并采用LHS和Cholesky方法生成多种不确定性场景。这有助于更全面地评估风电场运行的不确定性。

2.基于A3C的新方法：引入了一种基于A3C的新能源场站电压无功下垂系数整定方法，有效克服了现有整定方法的局限性。通过大规模仿真和知识获取，获得了有关下垂系数整定的知识规则，可以将这些知识应用于后续的下垂系数整定过程。这意味着可以更精确地调整下垂系数，提高系统性能。

3.协调风电与火电：该方法协调设置风电场和火电机组的下垂系数，减轻了火电机组的调压负担，优化了系统的无功功率分布。此外，它还减小了电网电压越限的可能性，改善了电压波动水平。这有助于提高电力系统的可靠性和稳定性。

综上，本发明提供的创新方法不仅有助于解决高比例风电并网时的无功电压问题，还提高了系统的效率和性能。它为新能源场站提供了更智能和有效的电压控制方法。

本发明提供的一种基于A3C的新能源场站电压无功下垂系数整定方法，能够克服传统启发式算法容易陷入局部最优、每次都需要重新搜索的不足来进行下垂系数的整定，它包括以下内容：

1.风电、负荷不确定性场景生成

在标准的IEEE-39节点系统的基础上，撤掉32，33，37节点处的火电机组，并在系统中接入6个风电场。系统的基准电压为345kV，基准容量为100MVA。对于所有并网的风电场，装机容量均为850MW，且均通过一台电抗为j0.025p.u.的升压变压器以及阻抗为0.0005+j0.012p.u.的输电线路并网。此时构建的高风电渗透系统的总节点数为48。

将该系统的平衡节点改为39节点，考虑其为与外部系统相连的节点。其余各火电机组的装机容量设置如表1所示：

表1各火电机组装机容量

假设各风电场均由容量为2MW的DFIG组成，风机的切入、额定、切出风速分别为3m/s、12m/s、25m/s，场内的DFIG均运行在相同工况。忽略场内功率损耗，仿真时将风电场等值为一台风机。认为各风电场的风速均服从k＝1.98，c＝5.63的Weibull分布，相关系数ρw＝0.6。各有功负荷认为服从正态分布，变异系数为0.12，均值为系统原始断面有功负荷值的0.9倍，相关系数ρL＝0.9，无功负荷按原始功率因数进行计算。采用上述介绍的方法生成1000个场景，计算原始断面中各火电机组的有功出力总和及调节容量，同时计算各场景中的净负荷，将净负荷与原始断面火电机组有功出力总和之间产生的功率偏差量，按各火电机组的调节容量比例分配给各火电机组。

无功电压调差系数整定效果分析：采用上述介绍的方法对1000个原始场景进行缩减，得到20个典型场景及其对应的概率，如表2所示。

表2典型场景及概率

2.基于A3C的电源无功电压下垂系数优化整定

1)状态、动作空间和回报函数的设定

当考虑电源的无功电压下垂特性时，电源发出的无功与端电压之间的关系可以表示为公式4。

在某电网中，主动参与电网电压调整的电源的个数与需要整定的下垂系数的个数一致。将电网中各节点电压V

A3C能够收敛的关键，就在于如何设计短期回报(Reward)函数，本发明以改善电网电压水平为目标，所以采用公式5来构建回报函数。

2)网络结构和探索规则的设定

本发明基于A3C算法的电源无功电压下垂系数优化整定方法采用了A3C模型的总体结构，该结构包括一个全局网络和多个并行线程，如图3、图4所示。全局网络由全局策略网络和全局价值网络组成。全局策略网络和全局价值网络的网络结构与每个线程中的策略网络(actor)和价值网络(critic)完全相同，区别在于全局网络本身不进行训练，它主要用于“存储”各个线程策略网络和价值网络的网络参数，并将自身网络参数“分发”至各个线程的策略网络和价值网络。

全局网络与各个线程的策略网络和价值网络之间的交互机制如下：首先，全局策略网络和全局价值网络将它们的网络参数同步至每个线程的策略网络和价值网络。然后，各个线程内的Agent(智能体)与环境进行交互，各个线程的策略网络和价值网络独立进行训练，同时并行计算网络参数的梯度，并更新网络参数。最后，各个线程的策略网络和价值网络的网络参数异步更新至全局网络。通过并行计算和异步更新，该方法降低了计算需求，减少了训练数据之间的相关性，从而实现更快、更有效的算法收敛。

本发明每个线程具有相同的模型结构，包括Agent模型，其中包括策略网络(actor)和价值网络(critic)。策略网络的输入是电网节点电压状态特征的不同场景，输出是电源下垂系数的调整策略。价值网络的输入包括电网节点电压状态特征和电源下垂系数调整策略，输出是整定策略的评价值。

各个线程内Agent和环境之间的交互机制为：首先，在一定状态S下，Agent利用策略网络选择特定行动a并执行，获得即时奖励r，并转移至下一状态然后，基于前后状态s、s’和即时奖励r，更新价值网络的网络参数，并得到优势函数A。最后，基于状态s、行动a和优势函数A，更新策略网络的网络参数。通过单一线程内Agent和环境之间的反复交互试验，实现线程策略网络和价值网络的学习和训练。基于A3C的电源无功电压下垂系数优化整定得到系统电源下垂系数如表3所示。

表3下垂系数推荐整定值

图5为根据本发明优选实施方式的种基于A3C的新能源场站电压无功下垂系数整定系统结构图。

如图5所示，本发明提供一种基于A3C的新能源场站电压无功下垂系数整定系统，系统包括：

初始单元501，用于采用两参数的韦伯分布建立风速不确定模型，采用正态分布建立负荷不确定模型；对风速不确定模型和负荷不确定模型进行抽样生成多个场景，对多个场景进行排序，使得风电与负荷变量之间满足相关性；

优选地，采用两参数的韦伯分布建立风速不确定模型，风速不确定模型采用概率密度函数f(v)表示：

式中，v表示风速、k和c分别表示分布的形状和尺寸参数。

优选地，风速不确定模型用于将风电机组有功功率与风速之间的关系通过近似线性化表示为：

其中，v

优选地，负荷不确定模型采用有功负荷的概率密度函数表示：

式中，P

执行单元502，用于构建基于A3C网络的回报函数，回报函数中的Actor网络负责根据当前电源状态选择无功电压下垂系数作为动作，A3C网络中的Actor网络负责根据当前电源状态选择动作，Critic网络则负责评估选择出动作的质量；

优选地，电源状态通过电源发出的无功与端电压之间的关系表示：

V

其式中，V

优选地，A3C网络的回报函数表示为：

其中，N为电网中电压监测节点的个数；M为运行场景个数，λ为权重值；V

结果单元503，用于基于Critic网络评估的质量，对电压的实际值与期望值之间的差距进行评分，将获取的评分最大值作为电源调节策略。

本发明提供一种基于A3C的新能源场站电压无功下垂系数整定系统与本发明提供一种基于A3C的新能源场站电压无功下垂系数整定方法相对应，在此不再进行赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。