一种基于神经网络学习算法的电网优化调度方法和系统

技术领域

本发明涉及电力系统与自动化技术技术领域，具体为一种基于神经网络学习算法的电网优化调度方法和系统。

背景技术

电网调度是电力系统的重要组成部分，其主要目标是保证电力系统的稳定、经济和安全运行。传统的电网调度主要依赖于人工调度员的经验和一些规则或策略，这在面对复杂和大规模的电网系统时，可能存在效率低和调度质量不高的问题。

近年来，机器学习，特别是深度学习和神经网络，已经在许多领域中取得了显著的进展。这些技术被广泛应用于图像识别、语音识别、自然语言处理、推荐系统等任务中。然而，尽管机器学习在一些领域取得了巨大的成功，但在电力系统的调度优化问题上，其应用还处于起步阶段。

强化学习是机器学习的一个重要分支，其主要是通过让智能体在与环境的交互中学习最优策略，以达到最大化累积奖励的目标。近年来，强化学习已经在棋类游戏、控制系统、资源管理等领域取得了显著的成果。然而，强化学习在电网调度的应用还相对较少。

对抗神经网络(GAN)是一种非常强大的生成模型，它可以生成与真实数据非常相似的数据。然而，GAN在电网调度问题中的应用还十分有限。本发明旨在通过自动化和智能化的方式提高电网调度的效率和质量。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述存在的问题，提出了本发明。

因此，本发明解决的技术问题是：传统的电网调度方法可能受限于人工经验和简单的规则，无法有效地应对复杂的电网运行情况，并且电网调度过程中，无法精确的考虑可能会出现各种故障和异常情况，如设备故障、负荷波动、线路故障等。

为解决上述技术问题，本发明提供如下技术方案：一种基于神经网络学习算法的电网优化调度方法，包括：

收集电网运行数据并进行预处理；

构建电网调度环境；

构建SAC强化学习算法模型和对抗神经网络模型；

训练SAC强化学习模型，并整合所述SAC强化学习模型和所述对抗神经网络模型；

部署，测试，和持续优化更新。

作为本发明所述的基于神经网络学习算法的电网优化调度方法的一种优选方案，其中：所述电网运行数据包括：负荷数据、发电数据、设备状态数据、电网状态数据、故障和异常数据、环境数据。

作为本发明所述的基于神经网络学习算法的电网优化调度方法的一种优选方案，其中：所述预处理，包括：采用Scikit-learn进行数据缺失值和异常值的预处理；

当所述电网运行数据中出现缺失值时，所述Scikit-learn使用平均值、中位数或最频繁的值来填充缺失值；

当所述电网运行数据中出现异常值时，所述Scikit-learn使用Z-score标准化去除异常值；

当所述电网运行数据中出现重复值时，通过所述Scikit-learn结合Python学习库进行重复值的去除。

作为本发明所述的基于神经网络学习算法的电网优化调度方法的一种优选方案，其中：所述构建电网调度环境，具体包括：

通过NetworkX库，定义电网中的节点和边，创建图形结构表示电网的拓扑，所述节点代表电网中的设备，所述边代表电网中的连接；

为每个设备定义参数，并将其作为节点和边的属性存储在NetworkX库中；

为每个设备定义运行状态，并将其作为节点和边的属性存储在NetworkX库中；

模拟电网在不同调度策略下的运行状态；

通过奖励函数和状态更新，来定义环境的反馈。

作为本发明所述的基于神经网络学习算法的电网优化调度方法的一种优选方案，其中：所述强化学习算法，包括：

定义状态空间和动作空间；

构建奖励函数：

R

其中：s,a,s'分别代表当前状态、采取的动作和动作后的新状态；Stability(s,a,s')用于衡量电网的稳定性；Cost(s,a,s')用于衡量电网的运行成本；Faults(s,a,s')用于衡量电网的故障率；W

建立SAC模型，使用熵正则化策略，通过增加策略的熵来鼓励探索，处理电网调度问题中的不确定性和多模态性。

作为本发明所述的基于神经网络学习算法的电网优化调度方法的一种优选方案，其中：所述神经网络模型，包括：

利用对抗神经网络模型，训练一个能预测电网故障和异常情况的生成器和一个判断所述生成器预测准确性的判断器；

生成器与判别器进行对抗训练，所述生成器试图生成越来越真实的故障和异常情况，使所述判别器无法区分，而所述判别器则逐步升级其区分真假情况的能力；

当所述判别器能够识别出所述生成器的预测数据时，则所述判别器在博弈中取得优势，所述生成器需进一步优化数据；

当所述判别器不能够识别出所述生成器的预测数据时，则所述生成器在博弈中取得优势，所述生成器的数据已初步合格；

当所述生成器在博弈中取得优势时，系统会将生成器生成的预测数据与实际情况进行比较，并将差异反馈给判别器，以指导判别器提升其识别准确性；

当生成器和判别器的博弈过程中，通过监控二者的性能变化并实时调整其学习率和参数，以确保二者的平衡和模型的稳定性；

在训练过程时，应用DiffAugment策略对电网故障和异常数据进行增强，增加训练样本的多样性。

作为本发明所述的基于神经网络学习算法的电网优化调度方法的一种优选方案，其中：所述训练SAC强化学习模型，包括：

初始化网络：初始化策略网络、两个Q网络、值网络和目标值网络；

收集经验：依据当前策略在所述电网调度环境中执行动作，收集状态、动作、奖励数据，保存在经验回放缓冲区；

计算目标Q值：对于每个经验数据，使用奖励和目标值网络的预测计算目标Q值；

更新Q网络：通过最小化预测的Q值与目标Q值的差异来更新Q网络；

更新策略网络和值网络：通过策略网络生成新的动作，并利用新动作的Q值与策略的熵来更新值网络；

更新目标值网络：将目标值网络的权重更新到值网络的权重；

循环训练：持续收集新的经验，更新网络，直到模型收敛或达到预设的训练周期；

所述整合所述SAC强化学习模型和所述对抗神经网络模型，包括：

当考虑当前的电网状态时，通过所述SAC强化学习模型完成；

当考虑故障和异常情况时，通过所述对抗神经网络模型完成。

一种基于神经网络学习算法的电网优化调度系统，其特征在于，包括：

数据收集和预处理模块：负责收集电网运行数据，以及数据预处理；

电网调度环境构建模块：负责定义电网中的节点和边，创建图形结构表示电网的拓扑，模拟电网在不同调度策略下的运行状态，定义环境的反馈；

强化学习模型设计和训练模块：该模块负责设计和训练SAC强化学习算法模型，包括定义状态空间和动作空间、构建奖励函数、初始化网络、收集经验、计算目标Q值、更新网络；

对抗神经网络模型设计和训练模块：负责设计和训练一个能预测电网故障和异常情况的生成器和一个判断所述生成器预测准确性的判断器；

模型整合模块：负责整合SAC强化学习模型和对抗神经网络模型，使其能够共同作用于电网调度优化；

系统部署和持续优化模块：负责系统的部署，测试，并持续优化更新模型，以适应电网运行的变化；

所述数据收集和预处理模块、所述电网调度环境构建模块、所述强化学习模型设计和训练模块、所述对抗神经网络模型设计和训练模块、所述模型整合模块、所述系统部署和持续优化模块，依次连接。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本发明的有益效果：本发明有效地提升了电网的稳定性，降低了运行成本和故障率。利用SAC强化学习模型和对抗神经网络模型，实现了电网调度的智能优化和异常、故障的精准预测。此外，该方法大大提高了电网的安全性和可靠性，提前预知和处理异常，防止故障的发生，从而显著提升了电网运行效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例提供的一种基于神经网络学习算法的电网优化调度方法的整体流程图；

图2为本发明第一个实施例提供的一种基于神经网络学习算法的电网优化调度系统的整体结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1和图2，为本发明的一个实施例，提供了一种基于神经网络学习算法的电网优化调度方法，包括：

S1：收集电网运行数据并进行预处理；

电网运行数据包括：负荷数据、发电数据、设备状态数据、电网状态数据、故障和异常数据、环境数据。

应说明的是，在实际操作中，还需要考虑数据的质量、完整性、时效性和安全性等因素。

预处理，包括：采用Scikit-learn进行数据缺失值和异常值的预处理；

当电网运行数据中出现缺失值时，Scikit-learn使用平均值、中位数或最频繁的值来填充缺失值；

当电网运行数据中出现异常值时，Scikit-learn使用Z-score标准化去除异常值；

当电网运行数据中出现重复值时，通过Scikit-learn结合Python学习库进行重复值的去除。

应说明的是，实际操作中可能还需要根据数据的特性和任务需求进行更多的预处理操作。

S2：构建电网调度环境；

通过NetworkX库，定义电网中的节点和边，创建图形结构表示电网的拓扑，节点代表电网中的设备，如发电机、变压器、负载等，而边代表电网中的连接，如输电线路等；

为每个设备定义参数，例如，发电机的最大功率输出，变压器的最大转换能力等。这些参数可以作为节点或边的属性在NetworkX中存储。；

为每个设备定义运行状态，如开关状态、负载等。这些也可以作为节点或边的属性在NetworkX中存储。；

模拟电网在不同调度策略下的运行状态，需要一些物理模型和计算方法，例如，潮流计算、故障分析等；

通过奖励函数和状态更新，来定义环境的反馈。

进一步的，奖励函数应反映电网运行的目标，如降低运行成本、提高稳定性等。状态更新则需要根据电网的实际运行情况和调度策略进行。。

S3：设计SAC强化学习算法模型和对抗神经网络模型；

定义状态空间和动作空间

构建奖励函数：

R

其中：s,a,s'分别代表当前状态、采取的动作和动作后的新状态；Stability(s,a,s')用于衡量电网的稳定性；Cost(s,a,s')用于衡量电网的运行成本；Faults(s,a,s')用于衡量电网的故障率；W

建立SAC模型，使用熵正则化策略，通过增加策略的熵来鼓励探索，处理电网调度问题中的不确定性和多模态性。

神经网络模型(GAN)，包括：

利用对抗神经网络模型，训练一个能预测电网故障和异常情况的生成器和一个判断生成器预测准确性的判断器；

生成器与判别器进行对抗训练，生成器试图生成越来越真实的故障和异常情况，使判别器无法区分，而判别器则努力提高其区分真假情况的能力；

利用对抗神经网络模型，训练一个能预测电网故障和异常情况的生成器和一个判断生成器预测准确性的判断器；

生成器与判别器进行对抗训练，生成器试图生成越来越真实的故障和异常情况，使判别器无法区分，而判别器则逐步升级其区分真假情况的能力；

当判别器能够识别出生成器的预测数据时，则判别器在博弈中取得优势，生成器需进一步优化数据；

当判别器不能够识别出生成器的预测数据时，则生成器在博弈中取得优势，生成器的数据已初步合格；

当生成器在博弈中取得优势时，系统会将生成器生成的预测数据与实际情况进行比较，并将差异反馈给判别器，以指导判别器提升其识别准确性；

当生成器和判别器的博弈过程中，通过监控二者的性能变化并实时调整其学习率和参数，以确保二者的平衡和模型的稳定性；

在训练过程时，应用DiffAugment策略对电网故障和异常数据进行增强，增加训练样本的多样性。

当在训练过程时，应用DiffAugment策略对电网故障和异常数据进行增强，增加训练样本的多样性；

持续进行，直到达到平衡，生成器生成的故障和异常情况足够真实，以至于判别器无法区分。

进一步的，采用早停策略，即当判别器或生成器的性能在一定轮次内无明显提升时，停止其训练，以避免过拟合并节省计算资源。

进一步的，DiffAugment通过在数据空间中应用一系列的可微分的图像变换来实现数据增强。这些变换可能包括色彩扭曲(比如改变亮度、对比度或饱和度)、几何扭曲(比如缩放、旋转或翻转)，或者噪声注入等。在电网故障和异常数据中，可以对数据进行如下增强：

对数据进行噪声注入：这可能涉及在数据上添加一些随机的、小的扰动，以模拟可能由测量误差或设备性能衰减等源头引起的现实世界的不确定性。

在数据上应用几何变换：例如，可以对数据进行缩放或翻转，以模拟电网负荷变化的影响。这些操作可以通过对图像的坐标进行数学运算实现。旋转操作可以通过一个旋转矩阵来实现；缩放操作可以通过将图像的坐标乘以一个常量来实现。

对数据进行色彩扭曲：例如，可以通过改变数据的某些特征的值，以模拟电网中设备状态的变化。色彩扭曲操作通常包括调整图像的亮度、对比度和饱和度。这些操作可以通过对图像的RGB值进行数学运算实现。调整亮度可以通过将图像的RGB值增加或减少一个常量来实现；调整对比度可以通过将图像的RGB值乘以一个常量来实现。

然后，这些变换的效果会通过模型的损失反向传播，使模型在优化过程中考虑到这些人为引入的变化，从而能更好地泛化到未见过的数据，提高对电网故障和异常的预测性能。在每次训练迭代中，都会随机选择和应用一种或多种增强策略，使得模型在训练过程中可以看到更多的数据变种。

应说明的是，在电网优化调度方法中，GAN可能用于模拟电网在各种条件下的运行情况。例如，生成器可以生成各种可能的电网状态和故障情况，判别器则用于评估生成的情况是否与真实情况相似。这样，我们可以在仿真环境中生成大量的训练数据，用于训练强化学习模型。

S4：训练SAC强化学习模型，并整合SAC强化学习模型和对抗神经网络模型；

初始化：初始化策略网络π、两个Q网络Q1和Q2、和一个值网络V。同时，初始化目标值网络V'，其初始权重与值网络V相同。

收集经验：在环境中执行策略π，收集一系列的经验元组(s,a,r,s')，其中s是当前状态，a是执行的动作，r是获得的奖励，s'是新的状态。这些经验元组存储在经验回放缓冲区中。

计算目标Q值：对于缓冲区中的每个经验元组，使用公式r+γ*V'(s')来计算目标Q值，其中γ是折扣因子，V'(s')是目标值网络对新状态s'的预测。

更新Q网络：使用目标Q值和Q网络对当前状态-动作对(s,a)的预测进行更新。这通常通过最小化两者之间的均方误差来实现。

更新策略网络和值网络：使用策略网络π产生新的动作a'，并使用Q网络计算这个动作的Q值。然后，使用这个Q值和当前策略的熵来更新值网络V。具体地，值网络的目标是Q(s,a')-α*logπ(a'|s)，其中α是熵正则化系数。

更新目标值网络：将目标值网络V'的权重慢慢更新到值网络V的权重，这通常通过柔性更新来实现，即V'←τV+(1-τ)V'，其中τ是一个接近于0的小数。

重复以上步骤：不断收集新的经验，更新Q网络、策略网络和值网络，直到模型收敛或达到预设的训练周期。

S5：部署，测试，和持续优化更新。

在部署后，依据真实电网运行数据和反馈信息进行测试调整，持续优化更新SAC和GAN模型，提升电网调度的效率和稳定性。

参考图2，本实施例中，还包括一种一种基于神经网络学习算法的电网优化调度系统：

数据收集和预处理模块：负责收集电网运行数据，以及数据预处理；

电网调度环境构建模块：负责定义电网中的节点和边，创建图形结构表示电网的拓扑，模拟电网在不同调度策略下的运行状态，定义环境的反馈；

强化学习模型设计和训练模块：该模块负责设计和训练SAC强化学习算法模型，包括定义状态空间和动作空间、构建奖励函数、初始化网络、收集经验、计算目标Q值、更新网络；

对抗神经网络模型设计和训练模块：负责设计和训练一个能预测电网故障和异常情况的生成器和一个判断生成器预测准确性的判断器；

模型整合模块：负责整合SAC强化学习模型和对抗神经网络模型，使其能够共同作用于电网调度优化；

系统部署和持续优化模块：负责系统的部署，测试，并持续优化更新模型，以适应电网运行的变化；

数据收集和预处理模块、电网调度环境构建模块、强化学习模型设计和训练模块、对抗神经网络模型设计和训练模块、模型整合模块、系统部署和持续优化模块，依次连接。

实施例2

为本发明的一个实施例，提供了一种基于神经网络学习算法的电网优化调度方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。

首先，收集和预处理数据，构建并训练SAC和GAN模型；

SAC模型训练结果：

GAN模型训练结果：

然后，将训练完成后的SAC和GAN模型结合并部署到电网调度环境。在一段时间的运行后，我们收集并分析数据。以下是一个可能的运行结果的示例：

电网运行结果：

异常和故障预测结果：

这些数据表明，在训练和实施过程中，基于神经网络学习算法的电网优化调度方法可以改善电网的稳定性、降低运行成本、减少故障率，并且可以准确地预测电网的异常和故障。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。