一种融合时间序列和神经网络的供电所运维成本预测方法

技术领域

本发明是为了辅助电力部门对未来供电所运维成本进行预测，提出了一种融合时间序 列和神经网络的供电所运维成本预测方法。

背景技术

电网企业经过多年的财务集约化和信息化建设，已初步形成一套较完整的预算管理方 案和系统支撑方案。在国资委提出“深入推进全面预算管理提升”的要求下，全面预算的理 念也日益深入人心。在日趋多变的内外部形势发展下，运维成本作为企业的血脉，对其进行 预测也日益成为电网企业财务不可或缺的决策支撑能力。

目前可用于预测的数据挖掘工具有统计分析方法，如ARIMA模型、Holt-Winters模型 等，然而这些传统统计方法缺少对复杂非线性系统的建模能力。随着深度学习的发展，长短 期记忆网络(LSTM)模型的出现解决了这个问题，被广泛应用于销售预测、股票预测、自 然语言处理等方面。然而实际上LSTM无法捕获非常长期的序列关系，因此相关研究人员设 计LSTNet模型以解决此问题。LSTNet包括卷积组件、循环神经网络组件、跳跃循环神经网 络组件以及自回归组件，可以捕捉数据的多尺度周期规律。但是LSTNet只能挖掘不同时段 的序列特征，不能对序列噪音等进行平稳处理。因此本文提出了一种融合时间序列分解和 LSTNet神经网络模型的供电所运维成本预测方案。

发明内容

本发明的主要目的在于克服现有方法的不足，提供一种融合时间序列分解和LSTNet 神经网络模型的供电所运维成本预测方案。目的是在电力供电所运维成本预测问题领域解决 上述技术问题。

本发明的解决方案是：通过分析序列特性，设计一种融合时间序列和神经网络的供电 所运维成本预测方法，包括以下步骤：

(1)搜集历史供电所运维成本数据，通过可视化方法分析数据特性；并进行标准化预处理， 检测并修正数据中的异常值，准备用于训练的数据集；

(2)采用Prophet模型对数据序列进行平稳化处理，提取并预测序列的趋势成分；

(3)进行特征工程建设，对供电所信息进行挖掘分析，得到供电所的运维成本数据的特征；

(4)构建LSTNet网络模型进行训练，引入基于特征的注意力机制，训练并交替更新LSTNet 预测网络及权重参数

(5)利用训练好的Prophet-LSTM组合预测网络进行供电所运维成本预测，得到预测结果。

作为优选，所述步骤(1)具体包括：

(1.1)绘制折线图观察数据特性，确定序列是非平稳的，具有趋势性、长短周期性。

(1.2)删除历史数据中的负值，通过分位数检测处理数据中的异常值，计算第一和第 三四分位数(Q1、Q3)，异常值是位于四分位数范围之外的数据点x

x

其中IQR＝Q3-Q1，k≥0，当超过异常值上限的数据使用异常值上限代替，低于异常值下限的数据使用异常值下限代替。

作为优选，所述步骤(2)具体包括：

(2.1)使用STL时间序列分解算法，将原始序列分解成趋势项、季节项、残差三部分。其模 型如式(2)所示：

y(t)＝g(t)+s(t)+h(t)+ε

其中g(t)是趋势成分，用来拟合数据的非周期性变化，s(t)是季节性成分，h(t)是假日 成分，表示当天是否是节假日ε

(2.2)Prophet模型对序列的分解，包括趋势成分，周成分，年成分以及额外添加回归成分，其预测结果计算如式(3)所示：

作为优选，所述步骤(3)具体包括：

(3.1)时间维度特征包括运维成本数据所在的月份、周几、一月中的第几周、是否为节假日。

(3.2)成分维度特征包括人工成本、检修运维成本、营销运维成本、其他运营费用。多种综合信息可以有效的帮助供电所分类，增加了成本数据的特征。这些初步特征能有效整 合现有数据，有效地刻画了成本的来源情况，对于未来的现金流能更好地预测。

作为优选，所述步骤(4)具体包括：

LSTNet模型由五部分组成，如下：

(4.1)一维卷积组件：使用Conv1D函数实现。利用卷积层提取时间序列的短期特征，同时 捕捉多维变量之间的短期模式，也就是时间维度的局部依赖。

(4.2)循环组件：使用LSTM函数实现，捕获数据的时间依赖性以及短周期模式。

(4.3)循环跳跃组件：使用Lambda层对输入数据维度进行整理，实现数据跳跃短周期链接，然后再输入LSTM层，从而实现Skip-LSTM，捕捉更长期的信息并充分利用序 列的周期性。

(4.4)自回归组件：同样使用Lambda层令数据跳跃短周期链接，消除周期性，再 通过Dense层模拟自回归过程。

(4.5)注意力机制：使用基于Softmax激活函数的Dense层实现。使用注意力机制决定哪些维对于预测维起关键作用，以实现不同重要性的维度权值不同的目标。

损失函数为平均绝对误差，计算公式如式(4)所示：

作为优选，所述步骤(5)具体包括：

(5.1)对测试的数据进行与步骤(1)相同的标准化预处理，将数据集按照3∶1∶1的比例划分 为训练集、验证集和测试集；

(5.2)将步骤(5.1)所获数据输入经训练的Prophet-LSTNet预测网络，用网格法确定深度 卷积神经网络模型的超参数，多次实验记录最佳的超参数，通过的迭代之后，输出网络预测 的结果。

本发明的原理是：根据可视化分析得到序列具有趋势性和长短周期性。使用序列分解 模型将数据进行分解，生成平稳光滑的子序列，可以提升后续神经网络模型的训练效果。使 用LSTNet神经网络模型学习序列的长短周期模式，充分发挥神经网络模型的非线性优势。

与现有技术相比，本发明的有益效果是：设计了一种供电所运维成本预测算法，相比 简单的基于供电所运维成本曲线趋势预测更加准确、合理，准确度有所提升；构建的深度学 习模型相比传统统计模型可以较少的人工干预，结果更加鲁棒，更适应大数据，并可以自动 学习出、提取出有价值的特征组合，有利于找到销售市场的规律。该模型创造性地结合了统 计模型的可解释性和神经网络模型对复杂非线性系统的建模能力，可以有效地预测有噪声的 非平稳时间序列，提高了时间序列模型的预测能力和预测精度。

附图说明

附图1展示了使用本发明构建的预测模型对售电金额序列进行预测的结构示意图。

附图2展示了使用本发明构建的组合模型Prophet-LSTNet流程示意图。

附图3展示了使用本发明构建的LSTNet模型框架示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

通过分析序列特性，设计一种融合时间序列和神经网络的供电所运维成本预测方法，请参阅 附图1，包括以下步骤：

一、搜集历史供电所运维成本数据，通过可视化方法分析数据特性；并进行标准化预处理， 检测并修正数据中的异常值，准备用于训练的数据集；

二、采用Prophet模型对数据序列进行平稳化处理，提取并预测序列的趋势成分；

三、进行特征工程建设，对供电所信息进行挖掘分析，得到供电所的运维成本数据的特征；

四、构建LSTNet网络模型进行训练，引入基于特征的注意力机制，训练并交替更新LSTNet 预测网络及权重参数；构建LSTNet网络模型的方法请参阅请参阅附图2。

五、利用训练好的Prophet-LSTM组合预测网络进行供电所运维成本预测，得到预测 结果。

步骤一的具体过程是：

步骤A：绘制折线图观察数据特性，确定序列是非平稳的，具有趋势性、长短周期性。

步骤B：删除历史数据中的负值，通过分位数检测处理数据中的异常值。计算第一和 第三四分位数(Q1、Q3)，异常值是位于四分位数范围之外的数据点x

x

其中IQR＝Q3-Q1，k≥0，当超过异常值上限的数据使用异常值上限代替，低于 异常值下限的数据使用异常值下限代替。

步骤二的具体过程是：

步骤C：使用STL时间序列分解算法，将原始序列分解成趋势项、季节项和残差三部分。其 模型如式(2)所示：

y(t)＝g(t)+s(t)+h(t)+ε

其中g(t)是趋势成分，用来拟合数据的非周期性变化，s(t)是季节性成分，h(t)是假日 成分，表示当天是否是节假日δ

步骤D：Prophet模型对序列的分解成趋势成分，周成分，年成分以及额外添加回归成 分。其预测结果计算如式(3)所示：

作为优选，所述步骤(3)具体包括：

(3.1)时间维度特征包括运维成本数据所在的月份、周几、一月中的第几周、是否为节假日。

(3.2)成分维度特征包括人工成本、检修运维成本、营销运维成本、其他运营费用。多种综合信息可以有效的帮助供电所分类，增加了成本数据的特征。这些初步特征能有效整 合现有数据，有效地刻画了成本的来源情况，对于未来的现金流能更好地预测。

步骤三的具体过程是：

步骤E：特征工程建设-时间维度特征包括缴费日所在的月份、周几、一月中的第几周、是否 为节假日。

步骤F：特征工程建设-成分维度特征包括人工成本、检修运维成本、营销运维成本、 其他运营费用。多种综合信息可以有效的帮助供电所分类，增加了成本数据的特征。这些初 步特征能有效整合现有数据，有效地刻画了成本的来源情况，对于未来的现金流能更好地预 测。

步骤四的具体过程是：

步骤G：LSTNet模型设计，包括一维卷积组件、循环组件、循环跳跃组件、自回归组件、注 意力机制。

请参阅附图3，LSTNet模型由五部分组成，如下：

(4.1)一维卷积组件：使用Conv1D函数实现。利用卷积层提取时间序列的短期特征，同时 捕捉多维变量之间的短期模式，也就是时间维度的局部依赖。

(4.2)循环组件：使用LSTM函数实现，捕获数据的时间依赖性以及短周期模式。

(4.3)循环跳跃组件：使用Lambda层对输入数据维度进行整理，实现数据跳跃短周期链接，然后再输入LSTM层，从而实现Skip-LSTM，捕捉更长期的信息并充分利用序 列的周期性。

(4.4)自回归组件：同样使用Lambda层令数据跳跃短周期链接，消除周期性，再 通过Dense层模拟自回归过程。

(4.5)注意力机制：使用基于Softmax激活函数的Dense层实现。使用注意力机制决定哪些维对于预测维起关键作用，以实现不同重要性的维度权值不同的目标。

损失函数为平均绝对误差，计算公式如式(4)所示：

步骤五的具体过程是：

步骤H：对测试的数据进行与步骤B相同的标准化预处理，将数据集按照3∶1∶1的比例划分 为训练集、验证集和测试集；

步骤I：将步骤H所获数据，应用步骤G中训练得到输出值，用网格法确定深度卷积神经网 络模型的超参数，多次实验记录最佳的超参数，迭代后输出网络预测的结果。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以 上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或 联想到的所有变形，均应认为是本发明的保护范围。