一种基于时空要素的雨量站异常数据检测方法

技术领域

本发明涉及雨量站异常降雨值检测技术领域，尤其涉及一种基于时空要素的雨量站异常数据检测方法。

背景技术

降雨是诱发滑坡、崩塌和泥石流等地质灾害的重要因素，为了监测地质灾害的发育情况，对地质灾害进行预警预报，需要依靠准确有效的地面观测降水资料。雨量站是监测降雨数据的主要手段之一，由于受仪器故障、传输误差等因素影响，实际的地面观测降雨数据会出现异常值。因此，为了可以及时迅速的使用到尽可能可靠的降雨数据，就需要对地面观测降水资料进行质量控制，检测并剔除出其中的异常值。

传统的降雨数据异常检测方法包括极值检查、时变检查以及一致性检查等。极值检查是将检查值限定在一定范围内，时变检查是限制要素在观测时段内的可能变化值，一致性检查是指要素间的逻辑一致性检查。但上述方法原则上还是基于历史资料得出的界限值进行质量控制，所以准确率不是很高。此外，上述方法均是从降雨数值出发进行异常检测，没有充分结合地面雨量观测的时空特征。

发明内容

本发明的目的在于针对已有的技术现状，提供一种基于时空要素的雨量站异常数据检测方法，该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。

为达到上述目的，本发明采用如下技术方案：

一种基于时空要素的雨量站异常数据检测方法，包括以下步骤：

S1、空间异常评价：

S11、获取与目标雨量站临近的雨量站，形成参考雨量站列表，且参考雨量站列表中的每一雨量站均与目标雨量站处于同一或临近的地形地貌单元和环流背景中；

S12、将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面，以目标雨量站作为点x，从参考雨量站列表中筛选出若干雨量站，作为点集N，且点集N中的雨量站满足以下条件：

（1）点集N能够形成凸包，且点集N中的每一点均为点集N所形成凸包的顶点；

（2）参考雨量站列表中，在点集N之外的任意点均不在点集N所形成凸包的内部；

（3）点x在点集N所形成凸包的内部；

S13、根据点集N中每个雨量站在t时刻的降雨数据计算目标测雨量站在t时刻的预测降雨数据f（t），计算公式如下：

，/>

S14、空间异常评价得分计算，计算公式如下：

score-s=丨 f（t）-V丨/ f（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据；

S2、时序异常评价：

S21、采集目标雨量站从初始时刻至t时刻的降雨数据；

S22、根据步骤S21所采集的降雨数据，构建目标雨量站的ARIMA（p，d，q）模型，并训练ARIMA（p，d，q）模型；

S23、将目标雨量站从初始时刻至t时刻的前一时刻的降雨数据输入训练后的ARIMA（p，d，q）模型，进行降雨量预测，得到目标雨量站在t时刻的预测降雨数据ARIMA（t）；

S24、时序异常评价得分计算，计算公式如下：

score-t=丨ARIMA（t）-V丨/ ARIMA（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据；

S3、监督学习：

选取历史上的正常雨量站数据和异常雨量站数据，构建训练集合，将score-s和score-t作为样本特征，并根据正常降雨数据和异常降雨数据的异常结果，对训练集合进行模型训练，得到最终的降雨数据监督学习模型；

S4、异常数据检测：

将待测雨量站作为目标雨量站，根据步骤S1和步骤S2分别计算待测雨量站在某一时刻的空间异常评价得分和时序异常评价得分，将待测雨量站的空间异常评价得分和时序异常评价得分均输入步骤S3的降雨数据监督学习模型，得到待测雨量站在某一时刻的异常评价结果。

进一步的，构建目标雨量站的ARIMA（p，d，q）模型的步骤包括：使用单位根检验法，对步骤S21所采集的降雨数据进行平稳性检测，确定ARIMA（p，d，q）模型中的差分阶数d。

进一步的，构建目标雨量站的ARIMA（p，d，q）模型的步骤包括：根据最小化贝叶斯信息准则，确定ARIMA（p，d，q）模型中的自回归阶数P和移动回归阶数q。

进一步的，选取历史上的正常雨量站数据和异常雨量站数据时，正常雨量站数量与异常雨量站数量相同。

进一步的，根据聚类法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。

进一步的，根据自然断点法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。

本发明的有益效果为：

本发明从空间和时间两个维度对雨量站降雨数据进行异常评价，一方面，关注空间邻居的非空间属性值的局部差异和邻居空间距离的影响，另一方面，在时间维度上基于时序数据进行自回归检测，最后，融合多维度的异常评价结果得到待测雨量站降雨数据的异常检测结果。该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。

附图说明

图1为本发明基于时空要素的雨量站异常数据检测方法的流程图；

图2为本发明将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面的示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

首先，需要说明的是，对于雨量站而言，从初始时刻开始，某一时刻的降雨数据是前一时刻至该时刻这一时段内的降雨数据，例如，上午9点的降雨数据是指上午8点至上午9点这一时段内的降雨数据。

请参阅图1-2所示，一种基于时空要素的雨量站异常数据检测方法，包括以下步骤：S1、空间异常评价；S2、时序异常评价；S3、监督学习；S4、异常数据检测。

具体的，空间异常评价的步骤如下：

S11、获取与目标雨量站临近的雨量站，形成参考雨量站列表，且参考雨量站列表中的每一雨量站均与目标雨量站处于同一或临近的地形地貌单元和环流背景中；

S12、将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面，以目标雨量站作为点x，从参考雨量站列表中筛选出若干雨量站，作为点集N，且点集N中的雨量站满足以下条件：

（1）点集N能够形成凸包，且点集N中的每一点均为点集N所形成凸包的顶点；

（2）参考雨量站列表中，在点集N之外的任意点均不在点集N所形成凸包的内部；

（3）点x在点集N所形成凸包的内部；

如图2所示，点x为E点，点集N包含A点、B点、C点、D点；

S13、根据点集N中每个雨量站在t时刻的降雨数据计算目标测雨量站在t时刻的预测降雨数据f（t），计算公式如下：

，/>

S14、空间异常评价得分计算，计算公式如下：

score-s=丨 f（t）-V丨/ f（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据。

上述技术方案根据目标雨量站周围构成凸包的雨量站的空间属性和降雨数据来进行插值计算，进而得到目标雨量站的降雨值，既考虑了空间距离，也考虑了空间结构特征，而且所选的参考雨量站与目标雨量站处于同一或邻近的地形地貌单元和环流背景中，这样选择的雨量站数据更可靠，提高了插值计算的有效性。

具体的，时序异常评价的步骤如下：

S21、采集目标雨量站从初始时刻至t时刻的降雨数据；

S22、根据步骤S21所采集的降雨数据，构建目标雨量站的ARIMA（p，d，q）模型，并训练ARIMA（p，d，q）模型，ARIMA模型是差分整合移动平均自回归模型，又称整合移动平均自回归模型，其中：

构建目标雨量站的ARIMA（p，d，q）模型的步骤如下：使用单位根检验法，对降雨序列进行平稳性检测，确定ARIMA（p，d，q）模型中的差分阶数d；根据最小化贝叶斯信息准则，确定ARIMA（p，d，q）模型中的自回归阶数P和移动回归阶数q；

S23、将目标雨量站从初始时刻至t时刻的前一时刻的降雨数据输入训练后的ARIMA（p，d，q）模型，进行降雨量预测，得到目标雨量站在t时刻的预测降雨数据ARIMA（t）；

S24、时序异常评价得分计算，计算公式如下：

score-t=丨ARIMA（t）-V丨/ ARIMA（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据。

具体的，监督学习的步骤如下：

选取历史上的正常雨量站数据和异常雨量站数据，构建训练集合，优选的是，正常雨量站数量与异常雨量站数量相同；

将score-s和score-t作为样本特征，并根据正常降雨数据和异常降雨数据的异常结果（例如，将正常降雨数据/异常降雨数据的异常结果设定为0/1），对训练集合进行模型训练，得到最终的降雨数据监督学习模型。

具体的，异常数据检测的步骤如下：

将待测雨量站作为目标雨量站，根据步骤S1和步骤S2分别计算待测雨量站在某一时刻的空间异常评价得分和时序异常评价得分，将待测雨量站的空间异常评价得分和时序异常评价得分均输入步骤S3的降雨数据监督学习模型，得到待测雨量站在某一时刻的异常评价结果。

获得异常评价结果后，还可以对异常评价结果进行分级。

作为其中一种实施方式，根据聚类法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。

作为另一种实施方式，根据自然断点法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。

总的来说，本发明从空间和时间两个维度对雨量站降雨数据进行异常评价，一方面，关注空间邻居的非空间属性值的局部差异和邻居空间距离的影响，另一方面，在时间维度上基于时序数据进行自回归检测，最后，融合多维度的异常评价结果得到待测雨量站降雨数据的异常检测结果。

该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。

当然，以上仅为本发明较佳实施方式，并非以此限定本发明的使用范围，故，凡是在本发明原理上做等效改变均应包含在本发明的保护范围内。