基于平行系统的人工智能量化评估和自主进化方法及设备

技术领域

本发明实施例涉及人工智能与电力系统技术领域，尤其涉及一种基于平行系统的人工智能量化评估和自主进化方法及设备。

背景技术

利用智能体解决电力系统调控问题是AI技术实际应用研究中的一个重要课题，其中电网校正控制智能体在电网中的应用是该课题的重要分支。为优化智能体的设计，并设计生成更为类人的智能体，需要比较不同智能体间的优劣，并对比不同智能体之间、智能体与人类间的相似度。然而迄今为止，智能体难以用统一的标准进行评估比较。

智能体的智能评估是指通过主观或客观的衡量，对智能体的智能水平进行描述的方法；智能量化评估则是对智能体智能水平的客观量化衡量，以量化的形式对衡量结果进行描述。作为构建智能体的经典算法之一，强化学习(RL)面临着这样的问题：强化学习难以快速探索出在真实环境中表现良好的智能体模型，相关算法具有脆弱性，对电网等复杂领域中的问题，手动寻找强度中等的超参数就已非常昂贵；在对大量计算有需求的领域中，需提升强化学习算法的灵活性。目前为止，这些问题可以利用自动强化学习(AutoRL)技术解决。AutoRL技术是一种专门针对RL智能体进化的自动机器学习(AutoML)技术，旨在通过自主调整RL智能体的网络架构、超参数和算法，实现智能体的自主进化；而AutoML是一种由数据驱动的，将整个机器学习流程自动化的智能体生成优化系统，可以大幅缩减智能体的开发成本，同时获得性能良好的智能体。AutoRL技术常用优化搜索方法包括网格搜索、随机搜索、进化算法、贝叶斯优化等。其中，贝叶斯优化算法作为一种被广泛使用的系统自主进化方法，鉴于其具有顺序决策的概念，被应用在工业和各种科学实验之中。但是，在对利用AutoRL技术进化结果的理解和解释上，面临着和智能体同样的难以理解比较的问题。因此，开发一种基于平行系统的人工智能量化评估和自主进化方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种基于平行系统的人工智能量化评估和自主进化方法及设备。

第一方面，本发明的实施例提供了一种基于平行系统的人工智能量化评估和自主进化方法，包括：步骤1：构建智能量化评估指标体系，并从中选取智能指标m；步骤2：依据所选的智能指标m，设置并生成测试场景n

在上述方法实施例内容的基础上，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤1具体包括：步骤1.1：将机器智能划分为35个指标；步骤1.2：依照代表性、全面性的原则，分别从相较于人类的相似性和优越性，任务完成情况，以及智能体应具有的智能水平，对35个指标进行分类总结；步骤1.3：依据对35个智能指标的分类总结，构建智能量化评估指标体系；步骤1.4：依据被测智能体T

在上述方法实施例内容的基础上，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤2具体包括：步骤2.1：依据所选取的智能指标m，明确各测试场景的特征，以及对各测试场景的需求；步骤2.2：比照被测智能体的训练场景，依据测试场景的特征和需求，于平行系统中生成智能指标m的测试场景n

在上述方法实施例内容的基础上，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤3和步骤4具体包括：步骤3.1：在平行系统生成的测试场景中，对被测智能体进行测试运行，获取其在测试场景中运行状态的观测Y

其中，n为指标评分公式，N为标评分公式的总数，E'

步骤4.1：采用熵权法计算各智能指标的权重w

在上述方法实施例内容的基础上，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤5具体包括：步骤5.1：分析总结AutoRL的目标函数，与智能量化评估结合，建立基于智能评估的自主趋优进化的目标函数如(3)式和(4)式：

T

p

其中，T

在上述方法实施例内容的基础上，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤6具体包括：步骤6.1：依据平行系统的管理与控制过程，获得基于智能评估的自主进化过程的数学表达，如(5)式所示：

/>

其中，

步骤6.2：由于智能体的评估和进化仅考虑平行系统中的虚拟系统，并且

其中，

在上述方法实施例内容的基础上，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤7具体包括：步骤7.1：选取贝叶斯优化为智能体的进化算法，建立或选取合适的AutoRL系统；步骤7.2：依据步骤6中获得的基本框架，将智能量化评估方法镶嵌到步骤7.1中选取的AutoRL系统中，构建基于智能评估的自主趋优进化系统，所述基于智能评估的自主趋优进化系统为基于平行系统的智能评估和自主进化系统。

第二方面，本发明的实施例提供了一种基于平行系统的人工智能量化评估和自主进化装置，包括：第一主模块，用于实现步骤1：构建智能量化评估指标体系，并从中选取智能指标m；步骤2：依据所选的智能指标m，设置并生成测试场景n

第三方面，本发明的实施例提供了一种电子设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：

存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的基于平行系统的人工智能量化评估和自主进化方法。

第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于平行系统的人工智能量化评估和自主进化方法。

本发明实施例提供的基于平行系统的人工智能量化评估和自主进化方法及设备，能够对电网调控智能系统的智能水平进行客观量化评估，便于电力从业人员对不同智能系统的智能水平的比较和优选，还能够以智能水平提升为导向，促进智能系统的自主进化，自主寻找智能水平更优、调控电网效果更好的智能系统。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于平行系统的人工智能量化评估和自主进化方法流程图；

图2为本发明实施例提供的基于平行系统的人工智能量化评估和自主进化装置结构示意图；

图3为本发明实施例提供的电子设备的实体结构示意图；

图4为本发明实施例提供的中智能量化评估基本流程示意图；

图5为本发明实施例提供的构建智能量化评估指标体系效果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明实施例提供了一种基于平行系统的人工智能量化评估和自主进化方法，参见图1，该方法包括：步骤1：构建智能量化评估指标体系，并从中选取智能指标m；步骤2：依据所选的智能指标m，设置并生成测试场景n

本发明实施例还提供了一种基于平行系统的人工智能量化评估和自主进化系统，包括：智能量化评估模块，由步骤1至步骤4实现；以智能评估结果为导向的自主进化模块，由步骤5至步骤7实现。

参见图4，基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤1具体包括：步骤1.1：将机器智能划分为35个指标；步骤1.2：依照代表性、全面性的原则，分别从相较于人类的相似性和优越性，任务完成情况，以及智能体应具有的智能水平，对35个指标进行分类总结；步骤1.3：依据对35个智能指标的分类总结，构建智能量化评估指标体系，智能量化评估指标体系可以参见图5；步骤1.4：依据被测智能体T

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤2具体包括：步骤2.1：依据所选取的智能指标m，明确各测试场景的特征，以及对各测试场景的需求；步骤2.2：比照被测智能体的训练场景，依据测试场景的特征和需求，于平行系统中生成智能指标m的测试场景n

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤3和步骤4具体包括：步骤3.1：在平行系统生成的测试场景中，对被测智能体进行测试运行，获取其在测试场景中运行状态的观测Y

其中，n为指标评分公式，N为标评分公式的总数，E'

步骤4.1：采用熵权法计算各智能指标的权重w

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤5具体包括：步骤5.1：分析总结AutoRL的目标函数，与智能量化评估结合，建立基于智能评估的自主趋优进化的目标函数如(3)式和(4)式：

T

p

其中，T

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤6具体包括：步骤6.1：依据平行系统的管理与控制过程，获得基于智能评估的自主进化过程的数学表达，如(5)式所示：

其中，

步骤6.2：由于智能体的评估和进化仅考虑平行系统中的虚拟系统，并且

/>

其中，

基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化方法，步骤7具体包括：步骤7.1：选取贝叶斯优化为智能体的进化算法，建立或选取合适的AutoRL系统；步骤7.2：依据步骤6中获得的基本框架，将智能量化评估方法镶嵌到步骤7.1中选取的AutoRL系统中，构建基于智能评估的自主趋优进化系统，所述基于智能评估的自主趋优进化系统为基于平行系统的智能评估和自主进化系统。

本发明实施例提供的基于平行系统的人工智能量化评估和自主进化方法，能够对电网调控智能系统的智能水平进行客观量化评估，便于电力从业人员对不同智能系统的智能水平的比较和优选，还能够以智能水平提升为导向，促进智能系统的自主进化，自主寻找智能水平更优、调控电网效果更好的智能系统。

本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于平行系统的人工智能量化评估和自主进化装置，该装置用于执行上述方法实施例中的基于平行系统的人工智能量化评估和自主进化方法。参见图2，该装置包括：第一主模块，用于实现步骤1：构建智能量化评估指标体系，并从中选取智能指标m；步骤2：依据所选的智能指标m，设置并生成测试场景n

本发明实施例提供的基于平行系统的人工智能量化评估和自主进化装置，采用图2中的若干模块，能够对电网调控智能系统的智能水平进行客观量化评估，便于电力从业人员对不同智能系统的智能水平的比较和优选，还能够以智能水平提升为导向，促进智能系统的自主进化，自主寻找智能水平更优、调控电网效果更好的智能系统。

需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化装置，还包括：第一子模块，用于实现步骤1具体包括：步骤1.1：将机器智能划分为35个指标；步骤1.2：依照代表性、全面性的原则，分别从相较于人类的相似性和优越性，任务完成情况，以及智能体应具有的智能水平，对35个指标进行分类总结；步骤1.3：依据对35个智能指标的分类总结，构建智能量化评估指标体系；步骤1.4：依据被测智能体T

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化装置，还包括：第二子模块，用于实现步骤2具体包括：步骤2.1：依据所选取的智能指标m，明确各测试场景的特征，以及对各测试场景的需求；步骤2.2：比照被测智能体的训练场景，依据测试场景的特征和需求，于平行系统中生成智能指标m的测试场景n

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化装置，还包括：第三子模块，用于实现步骤3和步骤4具体包括：步骤3.1：在平行系统生成的测试场景中，对被测智能体进行测试运行，获取其在测试场景中运行状态的观测Y

其中，n为指标评分公式，N为标评分公式的总数，E'

步骤4.1：采用熵权法计算各智能指标的权重w

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化装置，还包括：第四子模块，用于实现步骤5具体包括：步骤5.1：分析总结AutoRL的目标函数，与智能量化评估结合，建立基于智能评估的自主趋优进化的目标函数如(3)式和(4)式：

T

p

其中，T

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化装置，还包括：第五子模块，用于实现步骤6具体包括：步骤6.1：依据平行系统的管理与控制过程，获得基于智能评估的自主进化过程的数学表达，如(5)式所示：

其中，

步骤6.2：由于智能体的评估和进化仅考虑平行系统中的虚拟系统，并且U

其中，

基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于平行系统的人工智能量化评估和自主进化装置，还包括：第六子模块，用于实现步骤7具体包括：步骤7.1：选取贝叶斯优化为智能体的进化算法，建立或选取合适的AutoRL系统；步骤7.2：依据步骤6中获得的基本框架，将智能量化评估方法镶嵌到步骤7.1中选取的AutoRL系统中，构建基于智能评估的自主趋优进化系统，所述基于智能评估的自主趋优进化系统为基于平行系统的智能评估和自主进化系统。

本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。

此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的一些部分所述的方法。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。