继电保护策略生成方法、装置、电子设备及存储介质

技术领域

本发明涉及电力系统紧急控制技术领域，尤其涉及一种继电保护策略生成方法、装置、电子设备及存储介质。

背景技术

新型电力系统建设背景下，使得电力系统的“双高”(即高比例可再生能源，高比例电力电子装备)特征日益显著，从而给电网安全稳定带来了严峻挑战。现有的电网保护策略，主要采用根据系统运行典型方式进行故障集扫描，构建相对保守的运行空间，进行保护策略校核。

而随着新型电力系统的逐步推进，电网运行更加复杂，电网潮流方式愈加多样，从而导致不断挤压相对保守的运行空间，难以在兼顾安全性以及经济性的前提下，构建基于典型运行方式的保护策略。

发明内容

本发明提供了一种继电保护策略生成方法、装置、电子设备及存储介质，用于解决或部分解决现有的电网紧急保护控制方法效果不佳的技术问题。

本发明提供的一种继电保护策略生成方法，所述方法包括：

获取待测电网的电网实时数据，并根据所述电网实时数据构建暂态响应矩阵；

将所述暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征；

若所述电网时空特征表征所述待测电网对应的预测运行状态满足保护动作判据，则将所述电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，所述电网调控动作用于对电网中预测故障机组进行切除。

可选地，所述获取待测电网的电网实时数据，并根据所述电网实时数据构建暂态响应矩阵，包括：

获取待测电网的电网实时数据，并提取所述电网实时数据中多个时间点的节点特征数据，每一所述节点特征数据的格式表示如下：

其中，Z

采用如下公式将多个时间点的节点特征数据进行组合，构建暂态响应矩阵，所述暂态响应矩阵表示多个空间特征的时间序列数据：

s

其中，s

可选地，所述继电保护预测模型包括图神经网络以及长短时记忆神经网络，所述电网时空特征包括电网空间特征以及电网时序特征，所述将所述暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征，包括：

将所述暂态响应矩阵输入至图神经网络进行特征提取，获得电网空间特征，并通过长短时记忆神经网络从所述电网空间特征提取电网时序特征。

可选地，所述节点特征数据对应待测电网中多个拓扑节点，所述将所述暂态响应矩阵输入至图神经网络进行特征提取，获得电网空间特征，包括：

将所述暂态响应矩阵输入至图神经网络进行多层次特征提取，获得电网空间特征，计算公式如下：

其中，X

可选地，所述通过长短时记忆神经网络从所述电网空间特征提取电网时序特征，包括：

通过长短时记忆神经网络从所述电网空间特征提取电网时序特征，计算公式如下：

h

Y

其中，

可选地，所述将所述电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，包括：

将所述电网时空特征输入至预先训练的切机决策模型，输出切机机组概率值；

根据所述切机机组概率值对所述待测电网进行机组采样，将需要进行故障切除的机组作为预测故障机组，并输出对应的电网调控动作。

可选地，所述方法还包括：

构建基于图神经网络以及长短时记忆神经网络的继电保护预测模型；

获取电网故障后生成的暂态响应数据集，并将所述暂态响应数据集输入至所述继电保护预测模型；

采用所述暂态响应数据集对所述图神经网络进行空间特征提取训练，输出暂态响应空间特征集；

采用所述暂态响应空间特征集对所述长短时记忆神经网络进行时序特征提取训练，输出暂态响应时序特征集，同时保存训练后的继电保护预测模型；

构建基于深度强化学习网络的强化学习智能体；

获取电网故障后进行故障切除的切机机组数据，并按照切机效果对所述切机机组数据进行排序，获得切机效果数据集；

结合所述切机效果数据集、所述暂态响应空间特征集以及所述暂态响应时序特征集，对所述强化学习智能体进行策略训练；

当策略训练的迭代次数达到最大迭代次数，或，策略训练后的强化学习智能体达到收敛状态，停止训练迭代，并输出切机决策模型。

本发明还提供了一种继电保护策略生成装置，包括：

暂态响应矩阵构建模块，用于获取待测电网的电网实时数据，并根据所述电网实时数据构建暂态响应矩阵；

时空特征提取模块，用于将所述暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征；

电网调控动作输出模块，用于若所述电网时空特征表征所述待测电网对应的预测运行状态满足保护动作判据，则将所述电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，所述电网调控动作用于对电网中预测故障机组进行切除。

本发明还提供了一种电子设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如上任一项所述的继电保护策略生成方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的继电保护策略生成方法。

从以上技术方案可以看出，本发明具有以下优点：提供了一种基于暂态过程时空特征分析的继电保护策略生成方法，首先通过图神经网络进行电网空间特征提取，能够对暂态故障的空间传播以及不同位置的发电机组响应差异进行特征提取，接着利用长短时记忆神经网络进行时序特征提取，可以有效感知发电机组功角曲线的变化情况，提前预测功角变化趋势，实现了切机紧急控制，从而通过结合深度神经网络以及强化学习算法，提取电网暂态响应的时空特征，实现了电网暂态态势的快速感知与决策，提高了紧急控制的保护效果，保障了电网安全稳定运行，同时降低了强化学习智能体需要处理的数据维度，提高了训练收敛效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种继电保护策略生成方法的步骤流程图；

图2为本发明实施例提供的一种时空特征提取结合深度强化学习的模型训练效果示意图；

图3为本发明实施例提供的一种继电保护策略生成方法的整体流程示意图；

图4为本发明实施例提供的一种继电保护策略生成装置的结构框图。

具体实施方式

本发明实施例提供了一种继电保护策略生成方法、装置、电子设备及存储介质，用于解决或部分解决现有的电网紧急保护控制方法效果不佳的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

作为一种示例，对于电网保护，现有的电网保护策略主要采用根据系统运行典型方式进行故障集扫描，构建相对保守的运行空间，进行保护策略校核。而随着新型电力系统的逐步推进，电网运行更加复杂，电网潮流方式愈加多样，从而导致不断挤压相对保守的运行空间，难以在兼顾安全性以及经济性的前提下，构建基于典型运行方式的保护策略。

根据保护策略生成时刻以及执行方式的差异，针对保护策略的研究主要包括三种类型：“离线预决策，实时匹配”“在线预决策，实时匹配”以及“实时决策、实时控制”。

当前电网保护主要采用第一种模式，该模式下需要离线进行海量运行方式与故障集的组合，人工建立保护策略表，采用这种方式，对于传统电网运行方式相对确定、电网发展变化较慢的阶段而言具有较好的效果。

随着电网量测通信系统的发展，使电网实时状态空间的完整观测成为可能，此外，得益于仿真技术的不断发展，基于高性能仿真以及高精度电网仿真模型的实时仿真平台也得以快速发展。因此，在两者共同作用下，使得“在线预决策，实时匹配”的保护模式成为可能。“在线预决策，实时匹配”是指通过对实时电网的滚动仿真分析，制定保护策略预案，当实际发生故障后按照最新的保护策略执行，相比于“离线预决策，实时匹配”模式，这种模式提高了策略的时效性以及准确性。目前，这种模式在广东、山东、陕西等地已有实际应用。

另一方面，随着新能源并网容量的逐步提升，我国西北、西南地区已经出现新能源并网容量超过传统电源的场景。新能源出力的不确定性显著改变了电网暂态故障特性，成为保护策略制定中不可避免的环节，在实际情况中，保护策略的制定需要对大量的运行场景进行分析计算，离线/在线预决策的模式难以满足紧急控制的时效性要求，也就是说，面向未来新型电力系统运行需求，亟需建立适用于电网潮流多样性与不确定性、稳定模态多样性与机理复杂性的保护策略生成模型。

综上，为了确保电网的稳定运行，使得在出现故障或者可能出现故障时，及时决策，及时针对故障采取紧急控制措施，将电网中的故障机组进行隔离、切除，“实时决策，实时控制”模式下的暂态故障特性分析与短路电流计算亟待研究。

因此，本发明实施例的核心发明点之一在于：提供一种基于暂态过程时空特征分析的继电保护策略生成方法，首先通过图神经网络进行电网空间特征提取，以对暂态故障的空间传播以及不同位置的发电机组响应差异进行特征提取，接着利用长短时记忆神经网络进行时序特征提取，以有效感知发电机组功角曲线的变化情况，提前预测功角变化趋势，实现切机紧急控制，从而通过结合深度神经网络以及强化学习算法，提取电网暂态响应的时空特征，实现电网暂态态势的快速感知与决策，提高紧急控制的保护效果，保障电网安全稳定运行，同时降低强化学习智能体需要处理的数据维度，提高训练收敛效率。

参照图1，示出了本发明实施例提供的一种继电保护策略生成方法的步骤流程图，具体可以包括以下步骤：

步骤101，获取待测电网的电网实时数据，并根据所述电网实时数据构建暂态响应矩阵；

在电网运行过程中，可以实时采集电网的多项相关数据，如发电机数量、符合数量、变电站数量，以及相应的功角、功率、电压等可以表征电网当前运行状态的电力数据，并根据采集的数据构建暂态响应矩阵，以作为后续特征提取流程的输入数据。

则在具体的实现中，获取待测电网的电网实时数据，并根据电网实时数据构建暂态响应矩阵，可以为：

首先获取待测电网的电网实时数据，并提取电网实时数据中多个时间点的节点特征数据，每一节点特征数据的格式表示如下：

其中，Z

从时间特征的角度来看，节点特征数据Z

从而进一步地，可以采用如下公式将多个时间点的节点特征数据进行组合，构建暂态响应矩阵，暂态响应矩阵表示多个空间特征的时间序列数据：

s

其中，s

通过上述计算过程，可以看出，暂态响应矩阵是一个包含多个时间断面、多个量测量的特征矩阵。

步骤102，将所述暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征；

当通过步骤101的数据处理获得暂态响应矩阵后，可以将暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征。

其中，继电保护是对电力系统中发生的故障或异常情况进行检测，从而发出报警信号，或直接将故障部分隔离、切除的一种重要措施，继电保护预测模型是一种可以对暂态响应矩阵中的时空特征进行特征提取，并基于模型输出的结果对电网运行状态进行稳定性预测的预测模型。

具体地，继电保护预测模型主要可以包括图神经网络以及长短时记忆神经网络，电网时空特征包括电网空间特征以及电网时序特征，因此，将暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征的步骤，进一步可以为：将暂态响应矩阵输入至图神经网络进行特征提取，获得电网空间特征，并通过长短时记忆神经网络从电网空间特征提取电网时序特征。

图神经网络(Graph Neural Networks，GNN)是指使用神经网络来学习图结构数据，提取和发掘图结构数据中的特征和模式，满足聚类、分类、预测、分割、生成等图学习任务需求的算法总称。

在相关技术中，图神经网络主要可以划分为五大类别，分别是：图卷积网络(GraphConvolution Networks，GCN)、图注意力网络(Graph Attention Networks，GAN)、图自编码器(Graph Auto Encoders，GAE)、图生成网络(Graph Generative Networks，GGN)以及图时空网络(Graph Spatial-temporal Networks，GSTN)

本发明实施例中主要应用图卷积网络GCN提取暂态响应矩阵的电网空间特征，采用图卷积网络GCN进行特征提取，能够考虑暂态过程中电网节点之间的拓扑连接关系对暂态故障特征的影响，因此在进行计算时，可以设定节点特征数据对应了待测电网中多个拓扑节点，多个拓扑节点之间通过连接，可以形成电网节点拓扑网。

则在具体的实现中，将暂态响应矩阵输入至图神经网络进行特征提取，获得电网空间特征，可以为将暂态响应矩阵输入至图神经网络进行多层次特征提取，获得电网空间特征，计算公式如下：

其中，X(

结合上述公式，可以得出，对于图神经网络的训练，其原理为利用拓扑节点所对应的邻接矩阵中包含的网络连接关系构建节点拓扑特征，从而对图神经网络的参数(权重系数w以及偏置b)进行训练，以获得能够有效提取时间序列数据中空间特征的神经网络。

本发明实施例中主要采用长短时记忆神经网络(Long Short Term Memory，LSTM)作为电网大扰动后时序特征的提取方法。

其中，长短时记忆神经网络LSTM是循环神经网络(Recurrent Neural Networks，RNN)一种特殊类型，是对循环神经网络RNN的改进，长短时记忆神经网络LSTM能够有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸现象，同时长短时记忆神经网络LSTM的结构更加复杂，通过加入遗忘门、更新门以及输出门降低梯度消失或梯度爆炸的问题。

因此，采用这种方法进行时序特征提取，能够同时通过四种内部状态提取长时间序列的电网运行特征，挖掘并预测电网暂态故障特征的演变趋势。

则在具体的实现中，通过长短时记忆神经网络从电网空间特征提取电网时序特征，可以为通过长短时记忆神经网络从电网空间特征提取电网时序特征，计算公式如下：

h

Y

其中，

关于激活函数的选取，在长短时记忆神经网络LSTM中，遗忘门、输入门以及输出门使用Sigmoid函数作为激活函数，Sigmoid函数的输出在0～1之间，符合门控的物理定义，且当输入较大或较小时，其输出会非常接近1或0，从而保证该门开或关。

在生成候选记忆时，使用双曲正切函数tanh作为激活函数，tanh函数的输出在-1～1之间，这与大多数场景下特征分布为0中心相吻合。此外，tanh函数在输入为0附近相比Sigmoid函数具有更大的梯度，通常使模型收敛更快。

值得注意的是，上述这两个激活函数都是饱和的，也就是说，在输入达到一定值情况下，输出不会发生明显变化。如果采用非饱和的激活函数，例如ReLU，则将难以实现门控效果。

在本发明实施例中，对于电网特征提取过程，首先通过图卷积网络进行空间特征提取，后通过长短时记忆网络进行时间特征提取，能够保证空间关联特性被有效利用，同时有效避免电网数据中的时序特征被覆盖。

步骤103，若所述电网时空特征表征所述待测电网对应的预测运行状态满足保护动作判据，则将所述电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，所述电网调控动作用于对电网中预测故障机组进行切除。

当通过继电保护预测模型进行特征提取之后输出的电网时空特征表征待测电网对应的预测运行状态稳定，则可以继续对待测电网进行运行监测，并重复电网数据实时采集实时分析步骤。

而当电网时空特征表征待测电网对应的预测运行状态满足保护动作判据，即满足本发明实施例中所提供的保护动作条件，说明对待测电网实时数据进行分析预测之后，可以确定当前运行状态不稳定或者会出现不稳定的情况，即电网中某个拓扑节点运行出现状况，需要尽快采取对应的紧急控制措施，则此时可以将电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，以根据电网调控动作对待测电网中的预测故障机组采取继电保护策略，即进行及时切除，将故障机组与其他机组进行隔离，确保不影响其他线路运行。

进一步地，将电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，可以为：首先将电网时空特征输入至预先训练的切机决策模型，输出切机机组概率值；接着根据切机机组概率值对待测电网进行机组采样，将需要进行故障切除的机组作为预测故障机组，并输出对应的电网调控动作。

其中，采样(sampling)也称为取样，是将时间域或空间域的连续量转化成离散量的过程，当通过切机决策模型对电网时空特征进行故障决策处理之后，可以根据决策结果输出电网中各个机组的切机机组概率值，然后再基于切机机组概率值对相应的机组进行离散量式的故障排查，将切机机组概率值较大或者大于预设概率值的机组作为预测故障机组，同时可以根据电网拓扑关系快速锁定预测故障机组对应的机组编号以及节点位置，并及时控制切除相应机组编号的机组，实现针对电网的继电保护。

作为一种可选实施例，在将继电保护预测模型以及切机决策模型正式投入至电网紧急控制前，还可以构建相关模型，并基于仿真数据或者实际采集的电网历史数据集对构建好的模型进行训练，以提高模型的预测准确性。

在具体的实现中，对于模型构建以及训练相关流程，可以包括如下步骤：

步骤S1：构建基于图神经网络以及长短时记忆神经网络的继电保护预测模型；

由前述内容可知，继电保护预测模型主要用于进行电网时空特征提取，其中，在进行特征提取时，采用图神经网络提取电网空间特征，接着采用长短时记忆神经网络提取电网时序特征，因此，可以构建一个基于图神经网络以及长短时记忆神经网络的继电保护预测模型，因前面内容中已对图神经网络以及长短时记忆神经网络进行了说明，此处不作赘述。

步骤S2：获取电网故障后生成的暂态响应数据集，并将暂态响应数据集输入至继电保护预测模型；

在实际操作中，可以以某地区电网作为分析对象，进行紧急控制，收集电网故障后生成的暂态响应数据，作为暂态响应数据集，并可以将暂态响应数据集划分为训练数据集以及测试数据集，以对继电保护预测模型进行模型训练。

在构建数据集时，可以将所有数据隐去地理位置信息，用数字序号进行表示，以构建相应的暂态响应矩阵。

步骤S3：采用暂态响应数据集对图神经网络进行空间特征提取训练，输出暂态响应空间特征集；

接着可以采用暂态响应数据集对图神经网络进行空间特征提取训练，输出暂态响应空间特征集，空间特征提取训练过程可以参照前述实施例的电网空间特征提取过程，此处不作赘述。

步骤S4：采用暂态响应空间特征集对长短时记忆神经网络进行时序特征提取训练，输出暂态响应时序特征集，同时保存训练后的继电保护预测模型；

时序特征提取训练过程可以参照前述实施例的时序空间特征提取过程，此处亦不作赘述，当对构建的模型训练完成后，可以保存模型，以在后续的电网保护在线决策过程中投入使用。

步骤S5：构建基于深度强化学习网络的强化学习智能体；

在本发明实施例中，采用深度Q网络(Deep Q-learning Networks，DQN)作为强化学习算法，构建强化学习智能体，可以理解的是，该步骤中所采用的深度强化学习算法包括但不限于深度Q网络DQN。

其中，深度Q网络算法是一种经典的解决离散动作空间、连续状态空间任务的强化学习算法。DQN强化学习智能体的训练过程可表示为：

其中，Q(*)为强化学习的Q函数，A在此处表示动作向量集，s和s′表示为当前和下一步的状态向量，a和a′则表示为当前和下一步动作向量，r为奖励值，γ为折扣系数，max表示取Q的最大值，α表示强化学习参数。

因此，可以将Q网络的损失函数构造为均方误差的形式：

ω*表示Q网络的损失函数，argmin表示使损失函数取最小值时的变量值，s

步骤S6：获取电网故障后进行故障切除的切机机组数据，并按照切机效果对所述切机机组数据进行排序，获得切机效果数据集；

在对基于强化学习智能体的切机决策模型进行训练时，可以结合切机机组数据进行训练，因此，可以获取电网故障后进行故障切除的切机机组数据，并按照切机效果对所述切机机组数据进行排序，获得切机效果数据集。

步骤S7：结合切机效果数据集、暂态响应空间特征集以及暂态响应时序特征集，对强化学习智能体进行策略训练；

然后可以结合切机效果数据集、暂态响应空间特征集以及暂态响应时序特征集，在深度强化学习的基础上，对强化学习智能体进行策略训练，将暂态响应时序特征集输入智能体，输出切机机组编号概率值并进行采样，得到电网调控动作。

步骤S8：当策略训练的迭代次数达到最大迭代次数，或，策略训练后的强化学习智能体达到收敛状态，停止训练迭代，并输出切机决策模型。

当策略训练的迭代次数达到最大迭代次数，或，策略训练后的强化学习智能体达到收敛状态，停止训练迭代，并输出在线保护策略生成智能体，作为切机决策模型。

在本发明实施例中，通过将电网暂态响应时空特征作为智能体的观测量进行训练，能够提高智能体训练效率，提高决策质量。

为更好地进行说明，示例性地，参照图2，示出了本发明实施例提供的一种时空特征提取结合深度强化学习的模型训练效果示意图。

从图2可以看出，在模型训练过程中，测试正确率随着训练轮次增加而增加，最后稳定在接近100％，损失函数随着训练轮次增加而降低，最后稳定在25％左右，且不管是测试正确率还是损失函数，无需历经数量庞大的训练轮次均能快速趋于稳定，从而大大减少了时间成本，因此，采用本发明实施例所提出的方法，可以强化学习训练快速收敛至电网稳定运行状态，具有良好的应用前景。

进一步地，在不同正负样本比例情况下，将本发明实施例所提出的方法，与采用SVM(Support Vector Machine，支持向量机)或者采用CNN(Convolutional NeuralNetworks，卷积神经网络)进行训练时的测试准确率进行比对，比对结果如下表1所示：

表1：采用不同算法进行模型训练时的测试准确率

从表1可以很明显地看出，不管正负样本比例如何，采用本发明所提出的方法进行模型训练，相比于其他人工智能算法均具有更强的鲁棒性，也就是说，本发明实施例所提出的时空特征提取结合深度强化学习方法，在模型训练过程中，并不依赖于样本比例。

在本发明实施例中，提供了一种基于暂态过程时空特征分析的继电保护策略生成方法，首先通过图神经网络进行电网空间特征提取，能够对暂态故障的空间传播以及不同位置的发电机组响应差异进行特征提取，接着利用长短时记忆神经网络进行时序特征提取，可以有效感知发电机组功角曲线的变化情况，提前预测功角变化趋势，实现了切机紧急控制，从而通过结合深度神经网络以及强化学习算法，提取电网暂态响应的时空特征，实现了电网暂态态势的快速感知与决策，提高了紧急控制的保护效果，保障了电网安全稳定运行，同时降低了强化学习智能体需要处理的数据维度，提高了训练收敛效率。

为了更好地进行说明，参照图3，示出了本发明实施例提供的一种继电保护策略生成方法的整体流程示意图，需要指出的是，本示例仅对继电保护策略生成方法的大致流程进行简要说明，相关步骤的细节参照前述实施例中相关内容即可，可以理解的是，本发明对此不作限制。

本发明实施例中的继电保护策略生成方法主要可以分为两个模块，一个是模型迁移模块，一个是在线决策模块。

其中，对于模型迁移模块，可以采用仿真方式获得用于网络训练的数据集，具体地，可以将运行方式数据以及故障持续时间数据作为训练的输入样本，同时通过故障位置确定切机机组，并基于切机效果对切机机组进行排序(编号)，将排序后的切机机组作为训练的输出样本，采用输入样本以及输出样本对构建的强化学习智能体(本发明中采用VGG-16(Visual Geometry Group Network-16，一种深度学习模型)网络作为深度Q网络)进行训练。

同时对于继电保护预测模型的构建以及训练(图中并未示出)，构建基于图卷积网络结合长短时记忆神经网络的继电保护预测模型，读取电网故障后暂态响应实时数据，根据暂态响应实时数据构建电网状态向量(即暂态响应矩阵)，接着应用空间特征提取算法(图卷积网络GCN)提取电网暂态响应空间分布特征，即电网空间特征，然后应用时序特征提取算法(长短时记忆神经网络LSTM)从电网空间特征中提取电网暂态响应时序特征，即电网时序特征，通过多次的特征提取处理，训练并保存继电保护预测模型，以投入在线决策使用。

当通过继电保护预测模型的处理输出电网空间特征以及电网时序特征后，将两者作为时空状态特征，然后将表征电网运行状态的时空状态特征输入至强化学习智能体，结合网络训练样本的输入样本以及输出样本，对强化学习智能体进行紧急控制切机组决策训练，获得切机决策模型，接着将切机决策模型部署至实际电网，以实时采集电网数据，进行在线保护策略生成。

对于在线决策模块，采集电网实时数据，并将电网实时数据输入至继电保护预测模型进行特征提取处理，输出预测结果，当预测结果表征电网运行稳定，则继续进行监测，当预测结果表征电网运行满足保护动作判据，则将提取出的电网时空特征输入至切机决策模型进行故障决策，确定预测故障机组的机组编号，同时输出对应的电网调控动作，以对机组编号相应的预测故障机组进行切除，完成针对电网的继电保护在线决策。

参照图4，示出了本发明实施例提供的一种继电保护策略生成装置的结构框图，具体可以包括：

暂态响应矩阵构建模块401，用于获取待测电网的电网实时数据，并根据所述电网实时数据构建暂态响应矩阵；

时空特征提取模块402，用于将所述暂态响应矩阵输入至继电保护预测模型进行时空特征提取，获得电网时空特征；

电网调控动作输出模块403，用于若所述电网时空特征表征所述待测电网对应的预测运行状态满足保护动作判据，则将所述电网时空特征输入至预先训练的切机决策模型进行故障决策，输出电网调控动作，所述电网调控动作用于对电网中预测故障机组进行切除。

在一种可选实施例中，所述暂态响应矩阵构建模块401包括：

节点特征数据提取模块，用于获取待测电网的电网实时数据，并提取所述电网实时数据中多个时间点的节点特征数据，每一所述节点特征数据的格式表示如下：

其中，Z

时间序列数据构建模块，用于采用如下公式将多个时间点的节点特征数据进行组合，构建暂态响应矩阵，所述暂态响应矩阵表示多个空间特征的时间序列数据：

s

其中，s

在一种可选实施例中，所述继电保护预测模型包括图神经网络以及长短时记忆神经网络，所述电网时空特征包括电网空间特征以及电网时序特征，所述时空特征提取模块402具体用于：

将所述暂态响应矩阵输入至图神经网络进行特征提取，获得电网空间特征，并通过长短时记忆神经网络从所述电网空间特征提取电网时序特征。

在一种可选实施例中，所述节点特征数据对应待测电网中多个拓扑节点，所述时空特征提取模块402包括电网空间特征提取模块，所述电网空间特征提取模块具体用于：

将所述暂态响应矩阵输入至图神经网络进行多层次特征提取，获得电网空间特征，计算公式如下：

其中，X

在一种可选实施例中，所述时空特征提取模块402包括电网时序特征提取模块，所述电网时序特征提取模块具体用于：

通过长短时记忆神经网络从所述电网空间特征提取电网时序特征，计算公式如下：

h

Y

其中，

在一种可选实施例中，所述电网调控动作输出模块403包括：

切机机组概率值输出模块，用于将所述电网时空特征输入至预先训练的切机决策模型，输出切机机组概率值；

机组采样模块，用于根据所述切机机组概率值对所述待测电网进行机组采样，将需要进行故障切除的机组作为预测故障机组，并输出对应的电网调控动作。

在一种可选实施例中，所述装置还包括：

继电保护预测模型构建模块，用于构建基于图神经网络以及长短时记忆神经网络的继电保护预测模型；

暂态响应数据集获取模块，用于获取电网故障后生成的暂态响应数据集，并将所述暂态响应数据集输入至所述继电保护预测模型；

空间特征提取训练模块，用于采用所述暂态响应数据集对所述图神经网络进行空间特征提取训练，输出暂态响应空间特征集；

时序特征提取训练模块，用于采用所述暂态响应空间特征集对所述长短时记忆神经网络进行时序特征提取训练，输出暂态响应时序特征集，同时保存训练后的继电保护预测模型；

强化学习智能体构建模块，用于构建基于深度强化学习网络的强化学习智能体；

切机效果数据集构建模块，用于获取电网故障后进行故障切除的切机机组数据，并按照切机效果对所述切机机组数据进行排序，获得切机效果数据集；

策略训练模块，用于结合所述切机效果数据集、所述暂态响应空间特征集以及所述暂态响应时序特征集，对所述强化学习智能体进行策略训练；

切机决策模型输出模块，用于当策略训练的迭代次数达到最大迭代次数，或，策略训练后的强化学习智能体达到收敛状态，停止训练迭代，并输出切机决策模型。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见前述方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行本发明任一实施例的继电保护策略生成方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明任一实施例的继电保护策略生成方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。