一种计及电价和Attention机制的LSTM短期负荷预测方法及装置

技术领域

本发明涉及一种计及电价和Attention机制的LSTM短期负荷预测方法及装置，属于电力信息技术领域。

背景技术

目前，电力负荷预测在电力系统中占有非常重要的地位，是电力系统运行分析统筹规划的依据。短期负荷预测能够为电网调度提供线路转供计划，调整电网运行方式，是保证电网短期内顺利运行的有效手段之一。

随着电力市场改革的不断演变，电力市场运营模式趋向自由化，电价的实时性成为影响负荷波动的主要因素，增加了负荷预测的难度，因此实时电价下的短期负荷预测意义重大。另一方面，电网市场规模急速增长、设备种类数量不断增加，智能化水平不断提高，负荷采集数据的数据量和准确性都急速上升，为短期负荷预测提供了数据基础。所以，增加短期负荷预测准确性已成为当前亟待解决的问题。

近年来，人工智能方法在电力负荷预测领域取得了巨大进步，其中深度学习因其处理非线性映射能力的突出被经常使用。卷积神经网络、循环神经网络等都是很好的预测技术，应用面较广泛，但在使用过程中依然有如下问题：负荷预测时没有考虑时序数据的时间相关性，无时间特征；在训练过程中将输入重要数据和普通数据的特征向量平等对待，对负荷预测精度存在一定影响；忽略了电力市场环境下电价变化对负荷预测的影响程度。

发明内容

目的：为了提高负荷预测的精度，本发明在考虑实时电价因素、历史时序数据、输入特征权重的基础上提供一种科学合理，适用性强，效果佳，能够实现提高短期电力负荷精准度的预测方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种计及电价和Attention机制的LSTM短期负荷预测方法，包括如下步骤：

构建LSTM输入特征向量U

将处理后特征向量U

利用Attention机制对训练后特征向量U'

将特征权重向量h

一种计及电价和Attention机制的LSTM短期负荷预测装置，包括如下模块：

第一模块：用于构建LSTM输入特征向量U

第二模块：用于将处理后特征向量U

第三模块：用于利用Attention机制对训练后特征向量U'

第四模块：用于将特征权重向量h

作为优选方案，所述输入特征向量U

作为优选方案，所述LSTM包括：输入门i

f

i

o

g

式中，W

新状态值S

S

h

式中，·表示各相乘向量中的元素按位乘积。

作为优选方案，所述LSTM的隐藏层层数设置为4。

作为优选方案，所述LSTM的第一、二、三、四隐藏层的神经元个数分别设置为512、256、128和64。

作为优选方案，所述预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值与价格的互信息归一化数值大于阈值。

作为优选方案，所述阈值设置为0.5。

作为优选方案，对所述预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值中异常数据进行改正，缺失数据进行填补，具体步骤如下：

1)对于某一时刻的负荷值，相较其前后时刻负荷值改变大于阈值，则认为是异常数据，采用水平处理方法进行改正，计算公式如下

如果

max[|Y(d,t)-Y(d,t-1)|,|Y(d,t)-Y(d,t+1)|]＞ε(t)

则有

式中，Y(d,t)、Y(d,t+1)、Y(d,t-1)分别表示第d天t时刻、t+1时刻、t-1时刻的电力负荷值，ε(t)为阈值；

2)若负荷工作日和休息日某一时刻的负荷值和相邻工作日或休息日同一时刻的负荷值相差大于阈值，则认为是异常数据，采用垂直处理方法进行改正，计算公式为

如果

|Y(d,t)-m(t)|＞r(t)

则有

式中，m(t)为近几天t时刻负荷的平均值，r(t)为阈值；

3)对于负荷原始数据的缺失值，采用聚类的方式，取相似度最大的三个类型日，用所求时刻负荷值对应的三个类型日对应时刻的平均值填补。

作为优选方案，所述特征权重向量h

h

其中：

式中，i表示LSTM隐藏层输出序列中的序号，T

有益效果：本发明提供的一种计及电价和Attention机制的LSTM短期负荷预测方法及装置，利用互信息算法验证了电价的经济调节因素对负荷有一定影响，表明电力市场环境下电价波动是短期负荷预测时的重要考虑因素。顾及负荷的时序特性，结合天气、时间、电价等因素设计一种计及电价和Attention机制的LSTM短期负荷预测模型，利用Attention机制分配给隐藏层特征向量不同的权重，突出训练中关键的特征，得到最终负荷预测值，提高了预测精度。

附图说明

图1是Attention_LSTM模型图；

图2是LSTM神经元结构图；

图3是某天的负荷预测绝对百分比误差对比图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，一种计及电价和Attention机制的LSTM短期负荷预测方法，包括如下步骤：

(1)所述利用互信息来验证电力市场环境下实时波动电价与负荷预测存在一定关联，能够影响负荷预测的精度，具体步骤是：

1)互信息定义及数据筛选

互信息是一种衡量两个随机变量之间相互依赖强弱程度的准则，不仅可以度量变量数据特征之间的线性关系，也可以度量非线性关系。它由信息熵演变而来，两个变量之间的互信息越大，代表其相关性越强。两个变量X，Y的互信息I(X,Y)计算公式如下

式中，m、n分别代表变量X，Y中的元素个数，p(x

2)选取澳大利亚新南威尔士州的2010到2014年的电力负荷数据和电价数据，分析电价与负荷的相关性。设置第i天的负荷序列表示为L

(2)负荷数据在收集过程中，受各种因素影响，会出现数据丢失和数据记录错误的情况。如果在用模型进行负荷预测时使用这样的数据，必然会出现较大的误差，需要对互信息选出数据进行预处理操作。识别异常数据并进行改正，对缺失数据进行填补。处理步骤是：

1)负荷数据具有时序性，一般是连续且平滑的，对于某一时刻的负荷值，相较其前后时刻负荷值不会发生太大改变。如果改变过大，则认为是异常点。此时采用数据处理方法中的水平处理方法，计算公式如下

如果

max[|Y(d,t)-Y(d,t-1)|,|Y(d,t)-Y(d,t+1)|]＞ε(t) (2)

则有

式中，Y(d,t)、Y(d,t+1)、Y(d,t-1)分别表示第d天t时刻、t+1时刻、t-1时刻的电力负荷值，ε(t)为阈值。

2)电力负荷数据相对历史负荷的同一时刻具有相似性，因此工作日和休息日某一时刻的负荷值和相邻工作日或休息日同一时刻的负荷不应有太大差距，若负荷值相差较大，则认为是异常点，此时用垂直处理方法进行修正，计算公式为

如果

|Y(d,t)-m(t)|＞r(t) (4)

则有

式中，m(t)为近几天t时刻负荷的平均值，r(t)为阈值。

3)对于负荷原始数据的缺失值，本文采用聚类的方式，取相似度最大的三个类型日，然后所求时刻负荷值用所对应的三日对应时刻的平均值填充。

(3)构建神经网络模型LSTM输入特征向量，选取特征因子，具体包括：

在输入特征向量中，考虑电价因素，选取以下10个特征因子作为输入特征向量，用U

表1选取特征因子

为方便后续数据处理，对特征因子进行归一化处理，采用的是min-max归一化方法，范围在[0,1]之间，计算公式如下

式中，x

(4)将归一化处理后输入特征向量从LSTM(长短期记忆神经网络)的输入层到隐藏层进行训练，得到训练后特征向量，具体步骤是：

1)LSTM模型定义

传统的循环神经网络(RNN)会出现梯度消失和梯度爆炸问题，LSTM作为一种特殊的RNN，能够很好地解决此类问题。LSTM具有良好的记忆能力，可以学习时间序列长短期依赖信息，在对负荷预测时，能从负荷历史数据中寻找规律信息。LSTM这些优势是通过对神经元增加“门”信息来实现的，其具体结构如图2所示。

LSTM的基本神经单元中较普通RNN新增了三个“门”，分别是输入门i

f

i

o

g

式中，W

新状态值S

S

h

式中，·表示各相乘向量中的元素按位乘积。

2)LSTM隐藏层层数确定

LSTM隐藏层的主要作用是通过不断地学习训练提取有价值的信息，遗忘丢掉无价值的信息。本质上讲，LSTM的隐藏层层数越多，非线性拟合能力越强，模型的其学习效果自然越好。但是层数多的训练需要花费大量时间，用户体验感差，因此，应选择一种用时较少而训练效果较好的方案。本模型设置LSTM为4层，具体步骤为：

选取江苏省某市的2013到2017年的电力负荷数据以及气象数据，共49万多条。其中2013至2015年的数据作为训练集，2016至2017年数据作为测试集。选用的数据特征因子如表1所示。选取平均绝对百分比误差(MAPE)指标作为本实验评估标准，MAPE数值越小代表模型训练效果越好，MAPE度量标准计算公式如下

式中，n为预测点总时刻个数，l

通过控制变量的形式来逐渐对模型进行调优处理。在模型训练轮数、训练批次大小、特征数一定的情况下，通过不断增大LSTM的隐藏层层数来测试负荷预测效果，实验结果如表2所示。从中可以看出，在LSTM隐藏层层数不断增大的过程中，y

表2不同LSTM训练层数负荷预测结果

模型每层神经元A的个数是2

3)将10个特征因子组成的输入特征向量U

(5)Attention机制赋予LSTM训练后特征向量权重的步骤是：

1)Attention机制定义

Attention机制是一种模拟人类视觉所持有的大脑信号处理机制，借鉴了人脑通过快速扫描信息获得想要关注的焦点或目标区域，后续对所获得的关注点投入更多注意力，而其他无用信息会被忽略。Attention机制的基本思想就是能够筛选有用信息，而其达到这样效果的实质是对LSTM隐藏层的输出序列，即训练后的输入特征向量U'

将Attention机制引入到LSTM中，能够找到影响负荷的重要因素，忽略无关因素，以此提升LSTM负荷预测的效果。

2)计算特征权重向量

计算当前时刻t对LSTM隐藏层输出序列中元素所分配的注意力权重a

式中，i表示LSTM隐藏层输出序列中的序号，T

计算特征权重向量h

h

其中

式中，H(*)表示特征权重向量函数，h

(6)将特征权重向量h

为验证采用本发明提供的计及电价和Attention机制的LSTM短期负荷预测模型能够提高负荷预测的准确度，发明人分别采用本发明提供的方法和现有技术中预测精度较高的随机森林、循环神经网络(RNN)、长短期记忆神经网络算法(LSTM)进行对比，数据依旧采用步骤(4)中第2)步中提到的数据。

发明人计算了采用本发明提供的预测模型以及对比方法的平均绝对百分比误差(MAPE)，以及本发明方法和其他对比方法的预测精度(FA)的比较。其中

式中，n为预测点总个数，l

表3给出了对2017年1月到6月半年及其中随机一天连续进行短期负荷预测的平均绝对百分比误差y

表3模型预测结果

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。