基于注意力机制的优化LSTM短期负荷预测方法

技术领域

本发明属于光伏预测技术领域，特别是涉及一种基于注意力机制的优化LSTM短期负荷预测方法。

背景技术

电力系统负荷预测可对未来一段时间的电力需求进行估计，从而根据负荷预测结果来安排机组组合计划、发电计划、联络线交换计划，组织电力现货交易。因此，准确的电力负荷预测对于电力系统安全、经济、高效地运行有着重要的意义。短期电力负荷预测主要是指对未来一天、一周甚至几周时间内的用电负荷进行预测，是电网日常运营的重要组成部分。电力负荷预测实质是时间序列预测问题，存在非平稳性和影响因素的复杂性。目前以LSTM为代表的改进循环神经网络被广泛应用到负荷预测问题，但它们仍一定程度存在梯度爆炸和梯度消失的问题，注意力机制较好地解决了序列数据处理中的这一问题。

发明内容

针对上述存在的技术问题，为了提高预测精度，解决长短期记忆神经网络输入时间序列过长，丢失参数的问题和超参数选取随机性大、选取困难的问题，本发明的目的在于解决LSTM循环神经网络在光伏负荷预测中存在两方面的不足：当输入的时间序列较长时，网络易出现丢失序列信息、难以建模序列间结构信息的问题，利用注意力机制通过重分配输入权重，突出有效信息特征，使得在长时间序列训练中不会被影响；模型的构建训练中存在关键超参数，利用改进的蜣螂优化算法对LSTM中的超参数进行寻优，避免人工选取的不确定性。本发明提供一种基于注意力机制的优化LSTM短期负荷预测方法，通过历史用电负荷数据、相关影响因素数据对待预测日进行负荷预测。

本发明的目的是通过以下技术方案来实现的：

本发明一种基于注意力机制的优化LSTM短期负荷预测方法，具体步骤如下：

S1：对光伏输入序列的历史负荷数据和相关因素数据进行归一化处理；

S2：由所述步骤S1中的归一化后的数据序列，利用注意力机制将其进行权重计算并进行加权聚合；

S3：由所述步骤S2中的加权后的数据序列，构建并使用LSTM负荷预测模型对其进行预测，得到初步预测结果；

S4：将所述步骤S3中输出的初步负荷预测结果转换回原始的负荷数值范围进行反归一化处理，得到短期负荷预测结果。

进一步地，所述步骤S3构建并使用LSTM负荷预测模型对其进行预测，具体为：

S31：设计改进的蜣螂优化算法，优化所述步骤S3中的LSTM模型中的人为预设的超参数l、m和k；

S32：由所述步骤S4中的算法优化，得到最优化网络参数；

S33：以所述步骤S5中的最优化网络参数，构建IDBO-LSTM网络模型；

S34：由所述步骤S6中的IDBO-LSTM网络模型进行预测，得到初步负荷预测结果。

进一步地，所述步骤S1中的归一化处理的光伏输入序列包含负荷输入序列和相关影响因素预处理，

对光伏输入序列中的历史负荷数据和光照强度、温度、风速相关因素数据分别进行归一化处理：

式中：f(t)为历史负荷数据和光照强度、温度、风速相关因素数据经过归一化处理后的序列，f为光伏输入的历史负荷数据和光照强度、温度、风速相关因素数据序列。

进一步地，所述步骤S2中的注意力机制处理数据，是利用注意力机制通过计算相似度、计算注意力权重以及加权聚合步骤，具体为：

设有N个输入向量x＝[x

α

s(x

式中：α

进一步地，对所述步骤S31中的LSTM超参数分别为：学习率I、隐藏层神经元数m及训练轮次k，所述改进的蜣螂优化算法，具体为：

每个蜣螂种群由四个不同的代表组成，即滚球蜣螂个体、孵卵蜣螂个体、小蜣螂个体和小偷蜣螂个体。更具体地说，一个蜣螂种群包括N个代表，其中每个代表i表示一个候选解决方案；其分布比例根据实际应用问题进行设置；第i个代表的位置向量在第t次迭代时具体公式为：

x

其中M是搜索空间的维数；

S3101：Levy飞行的改进

在蜣螂个体位置被更新后，执行Levy飞行再次更新个体的位置，计算候选个体位置的目标函数值，Levy飞行更新位置的公式为：

式中，α为步长控制因子，取值为1；

S3102：T分布的改进

使用T分布扰动蜣螂个体的位置，实现种群的变异，然后更新变异后的蜣螂个体位置的目标函数值，对比前一代最优函数值，如果结果适应度值高于前一代，则更改当前最优值；T分布扰动公式如下：

式中：

S3103：种群多样性的改进

利用最优蜣螂个体的位置信息来改进候选个体的探索方式，计算出更新后的蜣螂个体位置最优函数值，再结合候选个体自身位置信息进行更新，最后计算出候选个体位置目标函数值，更新位置公式为：

D＝|C·X

X(t+1)＝X

A＝2a·r

C＝2r

式中：D为蜣螂和猎物(最优蜣螂)之间的距离；X

进一步地，对所述步骤S32中通过改进的蜣螂优化算法进行优化，得到最优化网络参数，具体为：

S3201：初始化蜣螂优化算法，以LSTM网络的学习率l、隐藏层神经元数m及训练轮次k作为优化对象，确定蜣螂种群大小、迭代次数、初始安全阈值；

S3202：根据初始化蜣螂种群向量位置，利用LSTM算法的预测值和样本数据的均方根来确定每只蜣螂的适应值；

S3203：利用式(5)～式(10)更新蜣螂位置，得到蜣螂种群的适应度值，并对种群中最优个体位置和全局最优位置值进行保存；

S3204：进行迭代，判断是否满足终止条件或者是否达到更新迭代次数的最大值。如果是，则退出循环并返回最优个体解，即确定网络结构最优参数，否则继续循环上一步；

S3205：优化结果输出，以IDBO算法输出的最优值作为LSTM的学习率l、隐藏层神经元数m及训练轮次k。

进一步地，所述步骤S33中利用最优化网络参数IDBO-LSTM网络模型，具体为：

将上述步骤S33中经过IDBO优化后的学习率l、隐藏层神经元数m及训练轮次k作为LSTM的超参数，构建LSTM网络模型：

式中，f

进一步地，所述步骤S34中的利用IDBO-LSTM网络模型进行负荷数据的预测，得到初步负荷预测结果。

进一步地，将所述步骤S4中的初步负荷预测结果转换回原始的负荷数值范围进行反归一化处理，以便与实际的负荷值进行比较；

对预测结果进行反归一化：

P

式中，P

进一步地，对所述步骤S8中预测到的负荷值与实际值比较，对其进行性能评价；

采用3种误差指标对所有实验模型的光伏功率预测结果进行评价，分别是均方根误差(root mean square error，RMSE)、平均绝对误差(mean absolute error，MAE)和平均绝对百分比误差(mean absolute percentage error，MAPE)，如下式：

本发明的有益效果为：

1.本发明首先对历史用电负荷数据等影响因素进行预处理。其次，将处理好的数据用以训练模型，借助改进的蜣螂优化算法对长短期记忆神经网络的超参数进行寻优，使输入数据与网络结构更好地进行匹配。最后，进行负荷预测同时对算法模型进行分析。利用注意力机制通过重分配输入权重，突出有效信息特征，使得在长时间序列训练中不会被影响；利用改进的蜣螂优化算法对LSTM中的超参数进行寻优，避免人工选取的不确定性。

2.本发明同时使用IDBO对LSTM模型内的超参数进行组合优化，改进算法对LSTM网络参数进行寻优，在人为设定网络参数与网络模型的预测精度方面较之前LSTM的提升算法均有显著的提高，大幅度提升模型的预测准确率。

附图说明

图1是本发明光伏负荷预测的总体框图。--调整图1

图2是本发明注意力机制结构示意图。

图3是本发明LSTM网络模型示意图。

图4是本发明改进的蜣螂优化算法流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述。

实施例：本发明一种基于注意力机制的优化LSTM短期负荷预测方法，：具体步骤如下：

S1：对光伏输入序列的历史负荷数据和相关因素数据进行归一化处理；

S2：由所述步骤S1中的归一化后的数据序列，利用注意力机制将其进行权重计算并进行加权聚合；

S3：由所述步骤S2中的加权后的数据序列，构建并使用LSTM负荷预测模型对其进行预测，得到初步预测结果；

S4：将所述步骤S3中输出的初步负荷预测结果转换回原始的负荷数值范围进行反归一化处理，得到短期负荷预测结果。

进一步地，所述步骤S3构建并使用LSTM负荷预测模型对其进行预测，具体为：

S31：设计改进的蜣螂优化算法，优化所述步骤S3中的LSTM模型中的人为预设的超参数l、m和k；

S32：由所述步骤S4中的算法优化，得到最优化网络参数；

S33：以所述步骤S5中的最优化网络参数，构建IDBO-LSTM网络模型；

S34：由所述步骤S6中的IDBO-LSTM网络模型进行预测，得到初步负荷预测结果。

进一步地，所述步骤S1中的归一化处理的光伏输入序列包含负荷输入序列和相关影响因素预处理，对光伏输入序列中的历史负荷数据和光照强度、温度、风速相关因素数据分别进行归一化处理：

式中：f(t)为历史负荷数据和光照强度、温度、风速相关因素数据经过归一化处理后的序列，f为光伏输入的历史负荷数据和光照强度、温度、风速相关因素数据序列。

进一步地，所述步骤S2中的注意力机制处理数据，是利用注意力机制通过计算相似度、计算注意力权重以及加权聚合步骤，提高模型的性能和泛化能力。具体为：

注意力机制通过借鉴人脑的注意力，增强对关键信息的注意程度以提高关键信息对结果的贡献，在神经网络中引入注意力机制可以提高神经网络的训练效率。注意力机制原理是设有N个输入向量x＝[x

α

s(x

式中：α

进一步地，对所述步骤S31中的LSTM超参数分别为：学习率l、隐藏层神经元数m及训练轮次k，所述改进的蜣螂优化算法，具体为：

每个蜣螂种群由四个不同的代表组成，即滚球蜣螂个体、孵卵蜣螂个体、小蜣螂个体和小偷蜣螂个体。更具体地说，一个蜣螂种群包括N个代表，其中每个代表i表示一个候选解决方案；其分布比例根据实际应用问题进行设置；第i个代表的位置向量在第t次迭代时具体公式为：

x

其中M是搜索空间的维数；

S3101：Levy飞行的改进

在蜣螂个体位置被更新后，执行Levy飞行再次更新个体的位置，计算候选个体位置的目标函数值，能够达到跳出局部最优解，扩大搜索能力的目的。

Levy飞行更新位置的公式为：

式中，α为步长控制因子，取值为1；

S3102：T分布的改进

在T分布中，随着自由度n值的减小，曲线的形状越来越平，曲线的中部越低，曲线两侧的尾端翘起的幅度越大。使用T分布扰动蜣螂个体的位置，实现种群的变异，然后更新变异后的蜣螂个体位置的目标函数值，对比前一代最优函数值，如果结果适应度值高于前一代，则更改当前最优值；T分布扰动公式如下：

式中：

S3103：种群多样性的改进

受到灰狼优化算法的启发，为了增强DBO算法的探索性能，利用最优蜣螂个体的位置信息来改进候选个体的探索方式，计算出更新后的蜣螂个体位置最优函数值，再结合候选个体自身位置信息进行更新，最后计算出候选个体位置目标函数值，更新位置公式为：

D＝|C·X

X(t+1)＝X

A＝2a·r

C＝2r

式中：D为蜣螂和猎物(最优蜣螂)之间的距离；X

进一步地，对所述步骤S32中通过改进的蜣螂优化算法进行优化，得到最优化网络参数，具体为：

S3201：初始化蜣螂优化算法，以LSTM网络的学习率l、隐藏层神经元数m及训练轮次k作为优化对象，确定蜣螂种群大小、迭代次数、初始安全阈值；

S3202：根据初始化蜣螂种群向量位置，利用LSTM算法的预测值和样本数据的均方根来确定每只蜣螂的适应值；

S3203：利用式(5)～式(10)更新蜣螂位置，得到蜣螂种群的适应度值，并对种群中最优个体位置和全局最优位置值进行保存；

S3204：进行迭代，判断是否满足终止条件或者是否达到更新迭代次数的最大值。如果是，则退出循环并返回最优个体解，即确定网络结构最优参数，否则继续循环上一步；

S3205：优化结果输出，以IDBO算法输出的最优值作为LSTM的学习率l、隐藏层神经元数m及训练轮次k。

进一步地，长短期记忆神经(LSTM)网络作为一种递归神经网络，被广泛应用于预测任务。LSTM具有强大的记忆能力，可以有效地处理数据中的长期依赖关系，其更具灵活性，可以自动学习数据中的模式和规律，从而使得预测更加准确。将上述S4中经过IDBO优化后的学习率l、隐藏层神经元数m及训练轮次k作为LSTM的超参数。

所述步骤S33中利用最优化网络参数IDBO-LSTM网络模型(长短期记忆神经网络模型)，具体为：

将上述S4中经过IDBO优化后的学习率l、隐藏层神经元数m及训练轮次k作为LSTM的超参数，构建LSTM网络模型：

式中，f

进一步地，将所述步骤S4中的初步负荷预测结果转换回原始的负荷数值范围进行反归一化处理，以便与实际的负荷值进行比较；

对预测结果进行反归一化：

P

式中，P

本发明对所述步骤9中预测到的负荷值与实际值比较，对其进行性能评价；采用3种误差指标对所有实验模型的光伏功率预测结果进行评价，分别是均方根误差(root meansquare error，RMSE)、平均绝对误差(mean absolute error，MAE)和平均绝对百分比误差(mean absolute percentage error，MAPE)，如下式：

其中，RMSE、MAE和MAPE的数值越小，说明模型的预测效果越好；R

可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。