导航：首页> 计算；推算；计数>一种基于Conv-Transformer的洪水预报方法

一种基于Conv-Transformer的洪水预报方法

文献发布时间：2023-06-19 16:09:34

技术领域

本发明涉及数据驱动洪水预报技术领域，具体涉及一种基于Conv-Transformer的洪水预报方法。

背景技术

洪水预报属于重要的预防洪水灾害的一系列非工程措施之一，及时有效的洪水预警预报能帮助人类有效地防御洪水、减少洪灾损失，属于重要的防灾减灾应用。

目前洪水预报一般采用基于径流过程的水文模型和数据驱动的智能模型两种方式，且两个模型在实际预报中互相补充。数据驱动建模基本不考虑水文过程的物理机制，是以建立输入输出数据之间的最优数学关系为目标的黑箱子方法。长时间降雨引发的洪涝灾害需要考虑长期依赖性信息。与短期强降雨引发的突发性洪涝灾害不同，长时间降雨所引发的洪水的持续时间更长，洪峰也相对偏后，因此必须完善地建模水文数据的长期依赖性特征，而不能仅仅考虑短期信息。而且在面向大型流域进行流量预测的任务时，由长期降雨所导致的洪水场次较多。但是，现有的洪水智能模型仍然存在长期序列信息在网络训练过程中容易发生丢失的问题。在构建智能模型时综合考虑长期特征和短期特征，尤其是增强对易丢失的长期依赖性信息的学习，有利于提高大型流域洪水预报的准确性。

为了更好地缓解循环神经网络并行化递归计算的问题，谷歌团队于2017年提出了Transformer模型。该模型没有使用循环神经网络单元结构，而是改为使用多头注意力机制来学习词向量之间的关联依赖关系，并且实现了高效的并行处理。最近Transformer模型被广泛应用于计算机视觉、自然语言处理和时间序列预测等各种领域。本发明构造了基于卷积运算的长短期记忆神经网络进行相对位置编码的Transformer洪水预报模型，该模型首先经过基于卷积运算的长短期记忆网络和全连接层进行相对位置编码和空间信息提取，再使用基于 Transformer编码器的子模块进行各个特征要素之间的关联关系挖掘，其中的多头注意力机制使得模型可以同时学习长期和短期水文历史信息，从而进一步实现较高准确度的水文预测。

在自然语言处理领域的Transformer中，摒弃了循环神经网络的循环结构，仅仅依靠着自注意力机制来解决每个输入语句序列的关系、输入语句序列与输出语句序列之间的关系，在 NLP领域原始的Transformer中对输入语句进行了正余弦绝对位置编码。但是绝对编码的线性变换容易使位置信息丢失，难以控制各种水文特征的相对距离信息，不利于水文空间信息的提取。因此，通过改变编码的方法使数据中包含相对位置信息，有利于洪水预报智能模型学习水文序列的长时依赖性和空间相关性，从而提升模型的预测准确度。本发明采用了基于卷积运算的长短期记忆网络来进行相对位置编码，在满足全局信息提取的前提下，实现了水文数据空间特征的提取。

发明内容

发明目的：本发明的目的在于解决现有技术中的不足，提供一种基于Conv-Transformer 的洪水预报方法，通过基于卷积运算的长短期记忆网络来进行相对位置编码，在满足全局信息提取的前提下，实现了水文数据空间特征的提取，并通过Transformer子模块高效挖掘水文时间信息，提高洪水预报的准确度。

技术方案：本发明的一种基于Conv-Transformer的洪水预报方法，包括以下步骤：

步骤S1、收集研究的大型流域的水文历史数据；

步骤S2、将收集到的所述水文历史数据进行数据预处理；

步骤S3、对已进行过数据预处理的数据通过基于卷积运算的长短期记忆网络进行相对位置编码，然后通过Transformer子模块对已经进行过空间信息提取的水文历史数据进行时间特征建模；

步骤S4、通过流域在每个阶段经过模型得到的预测值来测试预报模型性能，并且通过评估标准对模型的输出数据进行分析，完成洪水预报。

所述步骤S1是收集流域历史数据，所述步骤S1进一步为：在收集流量数据时，一般为流域出口断面的历史流量数据，涵盖实验测站近些年的日数据。关于流域内气象数据主要包含蒸发、降雨、温度、风速等属性。

所述步骤S2是数据预处理，所述步骤S2进一步为：

步骤S2.1、所述步骤S2中对地面雨量测站数据的预处理包括数据清洗、数据变换以及归一化；

归一化公式如下：

其中，X为标准化后的值，X

步骤S2.2、所述步骤S2中对气象、流量属性数据的预处理包括二维矩阵的构建，具体操作为：二维矩阵的构成的列属性为水文站监测到的历史径流量，以及多个气象监测站检测到的多种气象值；将每个时间段的径流量和气象值结合，得到最终输入的二维矩阵，输入矩阵将会后续输入至模型中；

步骤S2.3、将步骤S2中预处理的数据前80％作为模型训练集，后20％数据作为测试集；

流域空间地理特征关系复杂，需要从多个角度对其进行研究，充分挖掘中小流域的复杂的时空特征，所述步骤S3包括：

步骤S3.1、使用基于卷积运算的长短期记忆神经网络进行相对位置编码，通过完善对全局特征信息的学习来提取空间信息，并提升了模型对长期依赖性信息的学习能力，相对位置编码模块中基于卷积运算的长短期记忆网络的具体计算方法如下：

其中，*代表的是卷积运算，⊙表示哈达玛积，σ代表激活函数sigmoid函数，x

步骤S3.2、在经过基于卷积运算的长短期记忆网络的隐藏层后，输出值后面是全连接层。其输出作为后续Transformer子模块的输入数据的相对位置编码结果，全连接层的公式为：

其中，ReLU为激活函数，W

步骤S3.3、构建Transformer子模块进行时间特征提取。该模块是由多头自注意力机制层、前馈网络层以及残差连接和归一化操作构成的，其计算方法

其中，

首先，输入矩阵X＝{x

其中，α

其中，x表示神经元的输入，μ表示均值，σ

FeedForward(Z)＝ReLU(ZW

其中，Z表示多头自注意力机制层的输出，W

在构建完成Conv-Transformer模型后，将进行一系列实验验证模型可行性所述步骤S4包括：

步骤S4.1、输入所述预测值测试所述预报模型性能，判断整个模型损失函数值的大小变化趋势，直到损失函数值呈递减趋势，趋于平缓；

步骤S4.2、使用测试集所得的数据评估模型性能，从而通过改变模型参数对模型进行改进，具体为使用三种评估标准评估基于注意力机制的洪水预报结果，所述三种评估标准为平均绝对误差、决定系数和均方根误差，所述三种评估标准公式如下：

1)平均绝对误差MAE：

其中，

2)决定系数R

其中，

3)均方根误差RMSE：

其中，

步骤S4.3、输出模型挖掘结果。

有益效果：与现有技术相比，本发明的优点在于：

本发明利用深度学习算法，采用一种基于卷积长短期记忆网络进行相对位置编码的 Transformer的洪水预报方法，简称为Conv-Transformer方法，其与传统的方法相比，增强了对水文序列中局部上下文信息的建模能力，提高了洪水预报准确性。该模型不仅借鉴了自注意力机制以加强水文特征要素中的关键特征信息，而且通过多头注意力机制中不同的注意力头同时关注历史洪水数据中长期和短期信息，从而更高效地捕获时序信息。

此外，本发明还添加了基于卷积计算的长短期记忆神经网络的相对位置编码，刻画了每个时刻信息与当前信息的联系，捕获了长期依赖性信息，而且能够完成从局部感知到全局信息的获取的任务，实现提取多维水文数据的空间特征。该发明实现了综合考虑时间特征和空间特征的动态关联性，并且提升了长期依赖性信息的学习能力，有效地提升了洪水预报的准确性。

附图说明

图1为本发明的实验流程图；

图2为本发明的洪水预报模型的基于卷积运算的长短期记忆网络单元结构示意图；

图3为本发明具体框架图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本实施例的一种基于Conv-Transformer的洪水预报方法，包括以下步骤：

步骤S1、收集长江流域寸滩水文站的水文历史数据。

在收集流量数据时，收集的是寸滩流域流量站的数据，该数据为出口断面的历史流量数据，涵盖实验测站近些年的日数据。关于流域内气象数据选用的是源自于中国国家气象信息中心在长江流域110个气象监测站的气象数据，包含蒸发值、降雨值、温度值和风速值。

步骤S2、将收集到的寸滩水文站的流量数据和气象数据进行数据预处理；

步骤S2.1、所述步骤S2中对地面雨量测站数据的预处理包括数据清洗、数据变换以及归一化；

归一化公式如下：

其中，X为标准化后的值，X

步骤S2.2、步骤S2中对气象、流量属性数据的预处理包括二维矩阵的构建，具体操作为：二维矩阵的构成的列属性为寸滩流域水文监测站监测到的历史径流量，以及多个气象监测站检测到的多种气象值；将数据集中每天的径流量和气象值结合，得到最终输入的二维矩阵，输入矩阵将会后续输入至模型中；

步骤S2.3、将步骤S2中预处理的寸滩流域的数据前80％作为模型训练集，后20％数据作为测试集。

步骤S3、对已进行过数据预处理的寸滩水文数据通过基于卷积运算的长短期记忆网络进行相对位置编码，然后通过Transformer子模块对已经进行过空间信息提取的水文历史数据进行时间特征建模；