基于多任务学习策略和深度学习的综合能源负荷预测方法

技术领域

本发明属于信综合能源技术领域，涉及综合能源负荷预测方法，尤其是一种基于多任务学习策略和深度学习的综合能源负荷预测方法。

背景技术

随着我国经济社会发展，对能源需求持续增长，能源问题成为关乎国家安全战略与可持续发展能力的重要议题。传统供能系统中，冷、热、电等功能系统彼此运行独立，缺乏协调，能源利用率低，能源供应可靠性差，因此能源供应消费环节逐渐朝着综合能源系统方向发展。综合能源系统充分利用多种能源形式之间互补效应，显著提高了能源的利用效率，并通过能源间的动态转化使得能源供应环节的不确定性大大降低，能源供应平顺性提高，从而提高了整个系统的安全性。

针对综合能源系统开展多元负荷预测对系统运行优化意义重大。一方面，依据多元负荷预测结果可以合理配置多种形式的能源，提高能源利用效率及系统运行的经济性；另一方面，还可以依据负荷预测结果制定需求响应计划，实现能源供需平衡，提高系统运行的可靠性。目前的多能负荷预测主要从时间、空间维度建模不同能源消耗之间的复杂关联性，主要的预测方法有循环神经网络、深度信念网络、长短期记忆神经网络以及双向长短时记忆网络等，验证了深度学习网络在解决多元负荷预测问题的有效性。

相比传统的电力负荷预测，综合能源系统中冷、热、电负荷间的联系日益密切，若对不同能源形式进行单独建模、预测，则忽略了多元负荷间的耦合特性，使预测效果受限。因此，已有研究一般通过考虑多元负荷间的耦合关系来提升预测效果，其方法主要分为统计学方法和深度学习方法。统计学方法是基于统计理论对多元负荷的耦合关系展开分析，例如VAR模型、多元线性回归模型和不确定性分析理论。然而，统计学方法存在建模复杂的问题，在特征变量和影响因素较多时难以对其耦合关系进行全面地建模，因此深度学习方法中的多任务学习策略逐渐成为近几年的研究热点。多任务学习策略是对冷、热、电等预测任务共同构建一个深度学习模型，并设置多个子任务，实现对多元负荷的预测。与多任务学习策略相配合的深度学习网络主要有长短时记忆网络、深度置信网络、门控循环单元网络等。多任务学习可以利用特征间的耦合特性提升所有子任务的训练效果，并且具有建模简单的优势。然而，目前使用的多任务学习策略均基于参数硬共享机制，该机制对所有任务强制进行信息共享，无法考虑子任务间相关性的差异，当部分子任务耦合关系较弱时，模型效果难以达到最佳水平。

综上所述，利用多元负荷的耦合特性，结合先进深度学习网络和多任务学习策略是实现多元负荷准确预测的关键。已有基于参数硬共享机制的多任务学习方法，容易受到子任务弱相关性的干扰，影响任务的学习效果。

因此如何避免弱相关信息对子任务的干扰，实现了更好的预测效果是本领域技术人员亟待解决的技术难题。

经检索，未发现与本发明相同或相近似的现有技术的公开文献。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于多任务学习策略和深度学习的综合能源负荷预测方法，能够避免弱相关信息对子任务的干扰，实现了更好的预测效果。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于多任务学习策略和深度学习的综合能源负荷预测方法，包括如下步骤：

S1、获取考虑对综合能源系统冷、热、电负荷产生影响的影响因素特征，形成历史冷热电负荷特征库及影响因素特征库；

S2、构建MMoE多任务学习模型，利用步骤S1中得到的历史冷热电负荷特征数据和影响因素特征数据对MMoE多任务学习模型进行训练，并由MMoE模型中若干个专家子网输出特征共享、提取的结果；

S3、构建三个LSTM神经网络模型，利用步骤S2中MMoE模型中若干个专家子网输出的特征共享、提取的结果以及冷、热、电负荷标签对三个LSTM网络进行训练，最终得到MMoE-LSTM模型；

S4、将待预测时刻对应的历史冷热电负荷特征数据和影响因素特征数据输入到训练好的MMoE-LSTM模型，得到冷热电负荷预测结果。

而且，所述步骤S1中的影响因素特征包括：与冷热电负荷有密切关联的气象因素特征和时间因素特征。

而且，所述气象因素特征通过皮尔逊相关系数进行分析，分别计算温度、湿度、露点、气压等气象因素特征与冷、热、电负荷的皮尔逊相关系数，并取相关系数较高的气象因素作为影响因素特征；所述时间因素特征为待预测负荷对应的时间数据。

而且，所述步骤S1中的历史冷热电负荷特征库包括被预测时刻前M个时间步长的冷、热、电负荷数据；所述步骤S1中的影响因素特征库为待预测时刻对应的气象因素特征和时间因素特征。

而且，所述步骤S2所构建的MMoE多任务学习模型需设定任务数为3，专家子网个数一般取4～8，多任务损失函数权重比为1:1:1，激活函数为“Relu”，优化器为“Adam”，损失函数为平均绝对误差。

而且，所述步骤S3所构建的LSTM神经网络模型个数为3个，分别对应冷、热、电负荷的预测任务，每个LSTM神经网络模型包含两层LSTM层和一层全连接层，全连接层的神经元数目为1，用于输出负荷预测结果，激活函数为“Relu”，优化器为“Adam”，损失函数为平均绝对误差。

本发明的优点和有益效果：

1、本发明提出了一种基于多任务学习策略与长短时记忆网络的多元负荷预测方法，可以考虑多元负荷的耦合特性，能够利用多元负荷间的相关性提升模型的训练效果，提高负荷预测精度。

2、本发明所建立的基于MMoE(Multi-gate Mixture-of-Experts)的多任务学习模型可以考虑多元负荷间相关程度的差异，利用多个专家子网和门控单元实现对共享信息的合理分配，保证每个任务均能获得最有效的信息，避免弱相关信息对子任务的干扰，实现了更好的预测效果。

3、本发明使用的多任务学习策略仅建立一个模型便能够实现多元负荷预测，相比传统单任务学习策略的模型数量更少，训练耗时更短，具有更高的工程应用价值。

附图说明

图1为本发明实施例提供的多元负荷与气象因素特征相关性分析结果图；

图2为本发明实施例提供的不同多任务学习策略的冷负荷预测效果对比图；

图3为本发明实施例提供的不同多任务学习策略的热负荷预测效果对比图；

图4为本发明实施例提供的不同多任务学习策略的电负荷预测效果对比图；

其中，图2、3、4中，传统多任务学习指基于参数硬共享的多任务学习策略，MMoE-LSTM指基于MMoE模型的多任务学习策略。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于多任务学习策略和深度学习的综合能源负荷预测方法，包括如下步骤：

S1、获取考虑对综合能源系统冷、热、电负荷产生影响的影响因素特征，形成历史冷热电负荷特征库及影响因素特征库；

所述步骤S1中的影响因素特征包括：与冷热电负荷有密切关联的气象因素特征和时间因素特征。

所述气象因素特征通过皮尔逊相关系数进行分析，即分别计算温度、湿度、露点、气压等气象因素特征与冷、热、电负荷的皮尔逊相关系数，并取相关系数较高的气象因素作为影响因素特征；

所述时间因素特征为待预测负荷对应的时间数据。

所述步骤S1中的历史冷热电负荷特征库包括被预测时刻前M个时间步长的冷、热、电负荷数据；

所述步骤S1中的影响因素特征库为待预测时刻对应的气象因素特征和时间因素特征。其中，M一般为大于7的自然数。

S2、构建MMoE多任务学习模型，利用步骤S1中得到的历史冷热电负荷特征数据和影响因素特征数据对MMoE多任务学习模型进行训练，并由MMoE模型中若干个专家子网输出特征共享、提取的结果；

所述步骤S2中MMoE多任务学习模型的构建及训练使用python编程语言中的tensorflow、keras深度学习工具包。

所述步骤S2所构建的MMoE多任务学习模型需设定任务数为3(即冷热电预测任务)，专家子网个数一般取4～8，多任务损失函数权重比为1:1:1，激活函数为“Relu”，优化器为“Adam”，损失函数为平均绝对误差。

S3、构建三个LSTM神经网络模型，利用步骤S2中MMoE模型中若干个专家子网输出的特征共享、提取的结果以及冷、热、电负荷标签对三个LSTM网络进行训练，最终得到MMoE-LSTM模型；

所述步骤S3中LSTM神经网络的构建及训练使用python编程语言中的tensorflow、keras深度学习工具包。

所述步骤S3所构建的LSTM神经网络模型个数为3个，分别对应冷、热、电负荷的预测任务，每个LSTM神经网络模型包含两层LSTM层和一层全连接层，全连接层的神经元数目为1，用于输出负荷预测结果，激活函数为“Relu”，优化器为“Adam”，损失函数为平均绝对误差。

S4、将待预测时刻对应的历史冷热电负荷特征数据和影响因素特征数据输入到训练好的MMoE-LSTM模型，得到冷热电负荷预测结果。

本发明的工作过程为：

本发明的一种基于多任务学习策略和深度学习的综合能源负荷预测方法，首先获取需要考虑对综合能源系统冷、热、电负荷产生影响的影响因素特征，形成历史冷热电负荷特征库及影响因素特征库；然后构建基于MMoE的多任务学习模型，将历史冷热电负荷特征数据及影响因素特征数据输入到多任务学习模型中，并对其进行训练，由多任务学习模型的若干个专家子网的输出得到共享特征数据；最后构建三个长短时记忆神经网络模型，将共享特征数据输入到LSTM模型，并对其进行训练，由三个LSTM网络模型分别输出冷、热、电负荷的预测结果。

在本实施例中，在美国亚利桑那州立大学提供的综合能源系统数据集上，利用本发明的综合能源负荷预测方法进行多元负荷预测，包括以下步骤：

S1、获取考虑对综合能源系统冷、热、电负荷产生影响的影响因素特征，形成历史冷热电负荷特征库及影响因素特征库；

综合能源用户的用能行为与多种因素有关，本实施例使用皮尔逊相关系数分析冷热电三类负荷的内在关联性以及综合能源与气象因素的相关性。皮尔逊相关系数的计算公式为

其中，ρ

本实施例使用的综合能源公开数据集来自美国亚利桑那州立大学，该综合能源系统包括电力系统、热力系统和冷却站等，数据集包含2019年1月至2019年10月的冷热电负荷数据，数据采样率为15分钟，即每天包含96组数据。本实施例还收集了当地对应日期气象数据，包括温度、湿度、露点、气压、云量和风速，以研究气象因素与用户用能行为的相关性。计算冷热电负荷数据及气象数据的皮尔逊相关系数，并得到热力图如图1所示。

由图1可见，在多元负荷间，冷负荷与热负荷的相关性最强，相关系数为-0.8；冷负荷与电负荷的相关性较弱，相关系数为0.3；热负荷与电负荷的相关系数为0.1。在多元负荷与气象因素间，冷、热负荷与温度相关性很强，与湿度、露点、气压的相关性较强，与云量和风速的相关性较弱；电负荷与六个气象指标的相关性均较弱。实验结论与用户的用能习惯基本一致，用户对冷、热能源的需求与温度关联性最强，高温时冷负荷增加，低温时热负荷增加，因此冷、热负荷呈高度负相关；湿度、露点、气压三个气象因素也会在一定程度上影响用户的用能习惯，例如湿度较高时用户可能会通过空调除湿，因此与用户用能行为存在相关关系；电-冷、电-热的转换是为了提升整个系统的能源利用效率，虽存在耦合特性，但并不存在显式的相关关系，因此电负荷与冷、热负荷的相关系数较小。综上所述，多元负荷间同时存在强线性相关性与弱线性相关性，多元负荷与气象因素的线性相关程度也不完全相同。因此，在对多元负荷预测问题进行建模时，应考虑不同负荷类型间耦合关系的差异。

S2、构建MMoE多任务学习模型，利用步骤S1中得到的历史冷热电负荷特征数据和影响因素特征数据对MMoE多任务学习模型进行训练，并由MMoE模型中若干个专家子网输出特征共享、提取的结果；

S3、构建三个LSTM神经网络模型，利用步骤S2中MMoE模型的专家子网的输出和冷、热、电负荷标签对三个LSTM网络进行训练，最终得到MMoE-LSTM模型；

本实施例所构建的多元负荷预测模型的网络结构如表1所示。该模型包含对冷热电三种负荷的预测任务，即模型在每个时间步输出下一个时刻点的三个负荷值。模型包含多任务学习层和三个子任务层，前者通过MMoE模型实现，用于学习多任务间的耦合关系；后者基于LSTM模型实现，用于实现单个负荷预测任务。

多任务学习层中，MMoE模型的专家子网参数属于超参数，本实施例采用交叉验证进行参数设置，具体包括4个专家子网，神经元数目为32，每个专家子网用于学习输入特征与三个预测任务的特定关系。子任务层中包括两层LSTM层，神经元数目分别为16和8，激活函数为“Relu”，用于捕捉序列的长距离依赖关系；两层LSTM层之间加入Dropout层，强制神经元进行随机失活，随机失活比率为0.3，用于防止网络过拟合；LSTM层末端为全连接层，结合“Linear”激活函数输出负荷预测结果。网络训练时，损失函数中三个任务的权重为1:1:1，优化器为Adam，损失函数为MAE，训练次数为100。

表1 MMoE-LSTM模型网络结构

由图1的结果可知，温度、湿度、露点、气压与冷、热负荷存在相关关系，因此将其作为网络训练时的输入特征。此外，临近被预测时刻的历史负荷数据与被预测时刻的负荷相关性较强，有助于深度学习网络训练，因此将临近被预测时刻的历史负荷数据作为输入特征。当对第t个时间步的多元负荷进行预测时，具体输入特征包括：①被预测时刻前10个时间步的多元负荷数据，即冷负荷{c

S4、将待预测时刻对应的历史冷热电负荷特征数据和影响因素特征数据输入到训练好的MMoE-LSTM模型，得到冷热电负荷预测结果。

原始数据中冷热电负荷的单位分别为kW、mBtu/h和ton-h，为方便表述，本实施例将冷热电负荷的量纲均转换为kW，转换公式如下：

1kW＝3.4mBtu/h

1kW＝0.284ton-h

作为举例，在本实施例中，使用数据集时间周期为2019年1月至2019年10月，模型训练时，训练集、验证集、测试集之比为8:1:1，以15min为时间步进行超短期多元负荷预测。将预测值与该天真实的功率曲线进行对比，计算得到平均绝对误差(MAE)、平均绝对百分比误差(MAPE)两种评价指标，以下为详细的实验结果：

1.MMoE-LSTM模型与单任务负荷预测模型对比

为验证MMoE-LSTM模型能够利用多元负荷的耦合关系提升负荷精度，本实施例将其与单任务负荷预测模型对比，对比方法包括RNN和LSTM网络。三种方法在测试集上的误差对比结果如表2所示。由结果可见，在单任务学习模型中，LSTM网络的冷、热负荷预测误差明显低于RNN，原因是LSTM网络能够对多元负荷序列信息进行长时记忆，更适合进行多元负荷任务，从侧面验证了本实施例使用LSTM作为子任务预测模型的正确性。本实施例所提方法的冷热电负荷预测MAPE指标较单任务LSTM模型分别降低1.68％、9.85％、1.05％，原因是单任务学习方法无法考虑多元负荷间的耦合关系，即使使用较为先进的网络结构，预测效果依然受限，只有引入多任务学习策略才能进一步提高预测精度。

表2与单一负荷预测模型对比

本实施例还对比了MMoE-LSTM模型与单任务负荷预测模型的训练耗时，结果如表3所示。可见，两种单任务负荷预测模型的训练耗时较长，本发明所提模型较单任务RNN模型训练耗时降低26％，较单任务LSTM模型降低46％。在解决多元负荷预测问题时，单任务方法需要建立三个模型，进行独立训练；而本发明使用的多任务方法仅需建立一个模型，且由于三个预测任务包含相同的输入特征(气象特征和时间特征)，使用多任务模型能够减少输入特征数目，因此训练耗时大幅度缩减。此外，LSTM网络较RNN结构更为复杂，所需训练时间更长，但本发明所提的MMoE-LSTM模型的训练耗时仍低于单任务RNN模型，表明所提多任务学习方法具有较强的工程应用价值。

表3训练耗时对比

2.MMoE-LSTM模型与传统多任务学习策略对比

为验证所提MMoE-LSTM模型能够考虑多元负荷间的强相关性与弱相关性，降低预测误差，本实施例将其与传统基于参数硬共享的多任务学习模型进行对比分析。对比方法将MMoE多任务层替换为参数硬共享层，接着使用LSTM层进行负荷预测，最后使用全连接层输出预测结果。从测试集选取某三天展示冷、热、电负荷预测效果对比分别如图2—4所示，图中包括负荷的真实值曲线、传统多任务学习策略的预测结果以及本发明方法的预测结果，测试集的预测误差对比见表4。

表4与单一负荷预测模型对比

观察图2、4可知，冷负荷与电负荷的预测效果中，所提MMoE-LSTM模型与传统多任务学习模型均能取得较好的预测效果，预测曲线对真实曲线的拟合程度较高。但观察图2、4的细节部分可见，MMoE-LSTM模型的在曲线波动剧烈的部分仍能保持较好的拟合效果，预测值更加接近真实值，而传统多任务学习模型的预测误差有所提高，效果不佳。结合表4可知，MMoE-LSTM模型的冷、电负荷MAEP指标较传统多任务学习模型降低0.84％和0.81％，因此MMoE-LSTM模型的预测效果更高。由图3和表4可见，传统多任务学习模型对热负荷的预测结果更加保守，预测曲线的波动性较低，MAEP指标为13.26％，效果不佳；而MMoE-LSTM模型则仍然保持较好的预测能力，MAPE指标为9.21％，较传统多任务学习模型降低4.05％。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。