多主体交互的综合能源管控方法及装置、设备及存储介质

技术领域

本发明涉及能源管控技术领域，尤其涉及一种多主体交互的综合能源管控方法及装置、设备及存储介质。

背景技术

现有的P2P能源交易方法主要是电能的点对点交易，目的是使能源网络的每个主体能够参与其他产品和电网的能源交易，将电能富裕节点的能量直接传输到供应不足的其他节点，从而优化了共享网络中的电能分布不均衡的情况，暂没有考虑电热碳多能P2P能源交易的模式。

并且，现有的综合能源系统碳交易问题主要是在构建系统优化目标或者约束条件过程中考虑碳因素，很少考虑多个能源系统中碳资源的交互和共享。

随着海量、分散、多元电热灵活性资源的规模化接入，综合能源系统(IntegratedEnergy System,IES)已成为需求侧能源系统能量管理与低碳经济运行的有效方式。为探索能源服务商(Energy service provider,ESP)参与下，多个IES间电、热、碳多能点对点交易(Peer-to-peer,P2P)与能量管理新模式，本文提出了一种考虑多主体交互策略的综合能源系统P2P能-碳管理方法。为此，急需开展考虑多主体交互策略的综合能源系统P2P能-碳管理方法研究。

发明内容

本发明的主要目的在于提供一种多主体交互的综合能源管控方法及装置、设备及存储介质，可以解决现有技术中的未考虑电热碳多能P2P能源交易的模式且很少考虑多个能源系统中碳资源的交互和共享的问题。

为实现上述目的，本发明第一方面提供一种多主体交互的综合能源管控方法，所述方法应用于综合能源管控系统，所述综合能源管控系统至少包括ESP以及IES合作联盟，所述IES合作联盟包括若干的IES，所述方法包括：

建立ESP运行效益模型及IES运行效益模型；

建立双层电-热-碳能量管理模型，所述双层电-热-碳能量管理模型包括上层模型和下层模型，其中，所述上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；所述下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；

求解所述双层电-热-碳能量管理模型，确定目标求解结果，所述目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。

在一种可行实现方式中，所述ESP运行效益模型包括以ESP运行效益最大化目标，且考虑了与UES间的电热交互收益、与IES间的电热交互收益以及管网服务收益的第一目标函数。

在一种可行实现方式中，所述IES运行效益模型包括以IES的综合运行成本最小为目标，且考虑了碳市场交易价格的不确定性的第二目标函数。

在一种可行实现方式中，所述上层模型至少包括动作空间为ESP发布的电-热交易价格的动作空间模型、状态空间为ESP和IES合作联盟之间的电-热交易量的状态空间模型以及兼顾了ESP和IES合作联盟利益的奖励函数模型。

在一种可行实现方式中，所述下层模型包括第一子问题模型以及第二子问题模型，所述第一子问题模型为IES合作联盟效益最大化子问题，所述第二子问题模型为电热碳P2P交易支付谈判子问题。

在一种可行实现方式中，所述第一目标函数

式中，I为IES数量；

其中，第一目标函数

在一种可行实现方式中，所述第二目标函数

式中，

其中，第二目标函数的运行约束包括电热功率平衡约束和储能约束；IES在场景s下运行成本

为实现上述目的，本发明第二方面提供一种多主体交互的综合能源管控装置，所述装置应用于综合能源管控系统，所述综合能源管控系统至少包括ESP以及IES合作联盟，所述IES合作联盟包括若干的IES，所述装置包括：

第一建模模块：用于建立ESP运行效益模型及IES运行效益模型；

第二建模模块：用于建立双层电-热-碳能量管理模型，所述双层电-热-碳能量管理模型包括上层模型和下层模型，其中，所述上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；所述下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；

最优结果模块：用于求解所述双层电-热-碳能量管理模型，确定目标求解结果，所述目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。

为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。

为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。

采用本发明实施例，具有如下有益效果：

本发明提供一种多主体交互的综合能源管控方法，方法应用于综合能源管控系统，综合能源管控系统至少包括ESP以及IES合作联盟，IES合作联盟包括若干的IES，方法包括：建立ESP运行效益模型及IES运行效益模型；建立双层电-热-碳能量管理模型，双层电-热-碳能量管理模型包括上层模型和下层模型，其中，上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；求解双层电-热-碳能量管理模型，确定目标求解结果，目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。

通过上述方法，不仅实现了考虑电热碳多能P2P能源交易的模式，并且双层电-热-碳能量管理模型的下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型，通过求解双层电-热-碳能量管理模型得到最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格，还考虑到了多个能源系统中碳资源的交互和共享。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明实施例中一种多主体交互的综合能源管控方法的应用环境图；

图2为本发明实施例中一种多主体交互的综合能源管控方法的流程图；

图3为本发明实施例中一种多主体交互的综合能源管控方法的另一流程图；

图4为本发明实施例中一种多主体交互的综合能源管控装置的结构框图；

图5为本发明实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例中一种多主体交互的综合能源管控方法的应用环境图，上述多主体交互的综合能源管控方法应用于多主体交互的综合能源管控系统，该多主体交互的综合能源管控系统至少包括城市能源系统(UES)、能源服务商ESP、综合能源系统IES，其中，综合能源系统IES是一种IES合作联盟，IES合作联盟包括若干的IES，从IES

需要说明的是，本专利提出了一种新的考虑多主体交互策略的综合能源系统P2P能-碳管理方法。首先，建立了ESP和IES多主体参与下的双层能量管理框架。其次，建立了ESP及IES运行效益模型。最后，建立了双层电-热-碳能量管理模型，上层模型基于强化学习框架，建立了ESP和IES合作联盟之间的能量管理模型，下层模型基于纳什谈判博弈理论，建立了多个IES合作运行优化模型，并提出了分布式求解算法。

请参阅图2，图2为本发明实施例中一种多主体交互的综合能源管控方法的流程图，图2所示方法应用于综合能源管控系统，所述综合能源管控系统至少包括ESP以及IES合作联盟，所述IES合作联盟包括若干的IES，如图2所示方法包括：

201、建立ESP运行效益模型及IES运行效益模型；

需要说明的是，第一步要确定多主体交互策略的ESP及IES效益模型。其中，ESP是能量管理的协调者，其根据UES的电热价格，优化与IES间的电热零售价格，引导IES参与系统能量管理，同时为IES间的P2P电热能量交易提供管网服务。ESP的综合效益模型以运行效益最大化为目标函数，考虑了与UES间的电热交互收益、与IES间的电热交互收益、管网服务收益，通过步骤201建立ESP运行效益模型。

示例性的，ESP运行效益模型包括以ESP运行效益最大化目标，且考虑了与UES间的电热交互收益、与IES间的电热交互收益以及管网服务收益的第一目标函数。第一目标函数max RtESP包括如下数学表达式(1)：

式中，I为IES数量；

其中，第一目标函数

其中，公式(2)～(5)定义了ESP的运行约束，包括和UES之间的功率约束以及ESP价格约束：

式中，

其中，IES运行效益模型以综合运行成本最小为目标，本节考虑碳市场交易价格的不确定性对系统经济运行的影响，通过条件风险价值(Conditional value at risk，CVaR)来衡量风险成本。示例性的，所述IES运行效益模型包括以IES的综合运行成本最小为目标，且考虑了碳市场交易价格的不确定性的第二目标函数。故考虑碳市场交易价格的不确定性的第二目标函数

式中，

公式(10)～(11)为IES在场景s下运行成本，包括IES向ESP支付的管网服务费、IES与ESP间的电热交易成本、IES间的电热碳交易成本、天然气成本、运维成本和超额碳排放罚成本。

式中，

公式(12)定义了碳排放模型，公式(13)定义了IES的碳配额模型。

式中，

其中，第二目标函数的运行约束包括电热功率平衡约束和储能约束；公式(14)～(19)定义了IES的运行约束，包括电热功率平衡约束和储能约束。

式中，

202、建立双层电-热-碳能量管理模型，所述双层电-热-碳能量管理模型包括上层模型和下层模型，其中，所述上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；所述下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；

第二步，确定双层电-热-碳能量管理模型，该双层电-热-碳能量管理模型包括基于强化学习的外层优化模型以及基于纳什谈判博弈理论的内层优化模型。在一种可行实现方式中，所述上层模型至少包括动作空间为ESP发布的电-热交易价格的动作空间模型、状态空间为ESP和IES合作联盟之间的电-热交易量的状态空间模型以及兼顾了ESP和IES合作联盟利益的奖励函数模型。在一种可行实现方式中，所述下层模型包括第一子问题模型以及第二子问题模型，所述第一子问题模型为IES合作联盟效益最大化子问题，所述第二子问题模型为电热碳P2P交易支付谈判子问题。

示例性的，1、基于强化学习的外层优化模型

(1)动作空间模型

建立的强化学习模型中，动作空间为ESP的电热价格。在ESP与IES合作联盟的能源交易过程中，ESP处于主导地位，通过调整能源价格策略为自己获取最大利益。对于ESP，动作空间可定义为：

在每个交易时刻，ESP会根据IES合作联盟反馈的电热需求量，计算奖励函数，更新电热价格，进而更新动作空间。

(2)状态空间模型

建立的强化学习模型中，状态空间为ESP和IES联盟之间的电、热交易量。在ESP电、热价格的引导下，IES联盟会优化自身的运行策和P2P能量交易策略，并向ESP反馈优化后的电、热负荷需求。状态空间可以定义为：

在每个交易时刻，IES合作联盟会根据ESP定价信息优化交易策略，进而更新状态空间。

(3)奖励函数模型

ESP和IES合作联盟之间的能源交易行为类似于一种博弈行为，在能量管理决策过程中要兼顾双方产生的利益。因此，通过设置权重系数构建了包含ESP效益目标函数和IES效益目标函数的奖励函数。

式中：r表示ESP和IES效益函数目标之间的权重系数，其中r∈[0,1]。

2、基于纳什谈判博弈理论的内层优化模型

(1)基于纳什谈判的IES合作运行模型

IES合作联盟以最大化合作效益为目标，通过合作运行响应ESP的定价决策。IES之间的合作运行需要解决两个关键问题：IES之间的P2P电、热交易定价和P2P电、热、碳交易量。本文基于纳什谈判博弈理论解决多个IES间的合作运行问题，建立IES合作运行纳什谈判模型如下[26-27]。

式中，

(2)模型变换

公式(24)中的纳什谈判模型是个多重变量耦合、非凸、非线性问题，难以直接进行求解。发明将其转换为2个易于求解的子问题：IES合作联盟效益最大化子问题和电热碳P2P交易支付谈判子问题。

子问题P1：IES合作联盟效益最大化问题

子问题P2：电热碳P2P交易支付谈判子问题

式中，

203、求解所述双层电-热-碳能量管理模型，确定目标求解结果，所述目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。

第三步，确定双层模型求解方法，本专利建立的双层能量模型难以用单一算法进行求解，提出了Q-learning-ADMM结合的分布式算法对双层模型就行求解。可以参阅图3，图3为本发明实施例中一种多主体交互的综合能源管控方法的另一流程图，图3为双层模型求解流程图。

以图3为例，开始后，参数输入：能源价格、负荷信息、模型权重系数；初始化参数Q-0，t-1，m-1；选代次数m。

致此，(1)建立了综合能源服务商和综合能源系统多主体参与下的P2P能-碳双层管理框架，并分别建立了综合能源服务商及综合能源系统运行效益模型。

(2)创新性的建立了双层电-热-碳能量管理模型，上层模型基于强化学习框架，建立了ESP和IES合作联盟之间的能量管理模型，下层模型基于纳什谈判博弈理论，建立了多个IES合作运行优化模型。

(3)考虑建立的双层能量模型特性，提出了基于Q-learning-ADMM结合的分布式算法对双层模型就行求解。

本发明提供一种多主体交互的综合能源管控方法，方法应用于综合能源管控系统，综合能源管控系统至少包括ESP以及IES合作联盟，IES合作联盟包括若干的IES，方法包括：建立ESP运行效益模型及IES运行效益模型；建立双层电-热-碳能量管理模型，双层电-热-碳能量管理模型包括上层模型和下层模型，其中，上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；求解双层电-热-碳能量管理模型，确定目标求解结果，目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。通过上述方法，不仅实现了考虑电热碳多能P2P能源交易的模式，并且双层电-热-碳能量管理模型的下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型，通过求解双层电-热-碳能量管理模型得到最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格，还考虑到了多个能源系统中碳资源的交互和共享。

请参阅图4，图4为本发明实施例中一种多主体交互的综合能源管控装置的结构框图，如图4所示装置应用于综合能源管控系统，所述综合能源管控系统至少包括ESP以及IES合作联盟，所述IES合作联盟包括若干的IES，所述装置包括：

第一建模模块401：用于建立ESP运行效益模型及IES运行效益模型；

第二建模模块402：用于建立双层电-热-碳能量管理模型，所述双层电-热-碳能量管理模型包括上层模型和下层模型，其中，所述上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；所述下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；

最优结果模块403：用于求解所述双层电-热-碳能量管理模型，确定目标求解结果，所述目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。

需要说明的是，图4所示装置内容和图1所示的方法中各个步骤的内容相似，具体请参阅图1所示的方法中各个步骤的内容。

本发明提供一种多主体交互的综合能源管控那都是形式，方法应用于综合能源管控系统，综合能源管控系统至少包括ESP以及IES合作联盟，IES合作联盟包括若干的IES，方法包括：建立ESP运行效益模型及IES运行效益模型；建立双层电-热-碳能量管理模型，双层电-热-碳能量管理模型包括上层模型和下层模型，其中，上层模型为基于强化学习框架建立的ESP和IES合作联盟之间的能量管理模型；下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型；求解双层电-热-碳能量管理模型，确定目标求解结果，目标求解结果至少包括最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格。通过上述装置，不仅实现了考虑电热碳多能P2P能源交易的模式，并且双层电-热-碳能量管理模型的下层模型为基于纳什谈判博弈理论建立的多个IES合作运行优化模型，通过求解双层电-热-碳能量管理模型得到最优的ESP与IES电-热-碳交易量以及最优的ESP发布的电-热交易价格，还考虑到了多个能源系统中碳资源的交互和共享。

图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如图2或图3所示步骤。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如图2或图3所示步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。