一种双源蒸发数据治理提升方法、系统及存储介质
文献发布时间:2023-06-19 16:09:34
技术领域
本发明涉及蒸发量数据获取技术领域,更具体的说是涉及一种双源蒸发数据治理提升方法、系统及存储介质。
背景技术
水面蒸发量是反映蒸散发最直接的资料,目前获取水面蒸发量资料的基本途径是应用蒸发器观测,以获取近似于自然水体水面蒸发量资料。我国目前气象台站主要使用的是20cm口径小型蒸发器和E-601型蒸发器。其中小型蒸发器资料开始于1950年,且该资料连续性好,对我国的气候研究有重要的价值。但是由于它安装在距地面70cm的高度上,容积小,器壁裸露于空气中,不能代表该地的实际蒸发量,在2001年以后逐渐被替代。1980年以后,我国相继安装E-601型蒸发器,它的蒸发量更接近于湖泊、水库等中小水体的实际蒸发量,但安装年份不同,地区分布不平衡,资料序列长短相差较大,因此,大区域长序列水面蒸发量数据单纯使用E-201或E-601蒸发器会存在数据缺失严重问题,混合使用会出现数据口径不一致的问题。
因为,对本领域技术人员来说,如何得到完整且具有较高精度的长序列水面蒸发量数据,是亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种双源蒸发数据治理提升方法、系统及存储介质,以解决背景技术中提出的问题。
为了实现上述目的,本发明采用如下技术方案:一种双源蒸发数据治理提升方法,其特征在于,具体步骤包括如下:
构建双源数据集;
根据所述双源数据集,构建所述双源数据集的完整率矩阵;
在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;
结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;
基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
可选的,构建所述双源数据集的方式为:根据站点蒸发皿测得的长序列蒸发数据,构建初始矩阵A1、B1;
其中,a
可选的,所述完整率矩阵为:
其中,c
可选的,所述代表性相关矩阵为:
其中,d
可选的,利用换算系数构建所述蒸发换算系数矩阵,所述换算系数的公式为:
其中,r
可选的,所述蒸发换算系数矩阵为:
另一方面,提供一种双源蒸发数据治理提升系统,包括数据集构建模块、完整率矩阵构建模块、代表性相关矩阵构建模块、换算模块、数据插补模块;其中,
所述数据集构建模块,用于构建双源数据集;
所述完整率矩阵构建模块,用于根据所述双源数据集,构建所述双源数据集的完整率矩阵;
所述代表性相关矩阵,用于在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;
所述换算模块,用于结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;
所述数据插补模块,用于基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
最后,提供一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种双源蒸发数据治理提升方法的步骤。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种双源蒸发数据治理提升方法、系统及存储介质,具有以下有益的技术效果:E-201或E-601蒸发器的长序列数据测量标准不统一,数据的非一致性显著,片段数据缺失及异常,本发明开发双源蒸发数据治理提升方法,将二者互为补充且提高蒸发数据质量,可以获得一套完整且具有较高精度的长序列水面蒸发量数据,具有极高的科学研究以及实践应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图;
图2为本发明的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例1公开了一种双源蒸发数据治理提升方法,如图1所示,具体步骤包括如下:
步骤一、构建双源数据集;
根据站点E-201及E-601蒸发皿测得的长序列蒸发数据,构建初始矩阵A1、B1。
其中,a
步骤二、根据双源数据集,构建双源数据集的完整率矩阵;
构建E-201及E-601蒸发量数据的完整率矩阵C,数据完整率达到Zmax%的年份方可用于蒸发换算系数的计算。
完整率矩阵为:
其中,c
步骤三、在完整率矩阵的基础上,构建双源数据集的代表性相关矩阵;
经过小波周期性分析确定了蒸发水文数据系列的第一主周期为23年,即23年连续水文系列的计算结果具有代表性,因此,需使用E-201及E-601蒸发皿蒸发量数据集的交集大于23年的数据系列计算蒸发换算系数,构建数据集代表性相关矩阵D。
代表性相关矩阵为:
其中,d
其中,d
步骤四、结合代表性相关矩阵构建蒸发换算系数矩阵,将双源数据集换算为单源数据集;
利用换算系数构建蒸发换算系数矩阵,换算系数的公式为:
其中,r
选用数据集年内数据完整且具有代表性的站点作为可以计算蒸发换算系数的合格站点,根据换算系数计算公式构建蒸发换算系数矩阵。
蒸发换算系数矩阵为:
进一步的,E-201及E-601蒸发皿蒸发量数据集合并
经查阅相关文献,大蒸发皿数据结果更佳贴近实际水面蒸发量,故选择大蒸发皿数据作为蒸发数据,将小蒸发皿数据换算为大蒸发皿数据作为补充,构建大蒸发皿矩阵A2。
其中,a
步骤五、基于单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
完成数据集合并后,此时,可能仍存在部分数据缺失,即大小蒸发皿均无蒸发测量值,采用两种方式进行数据质量提升,一是采用E-601蒸发皿多年日均值补充;二是选用附近站点的该时段的蒸发量日数据相对于自身多年均值的波动修正该站点的多年日均值。
方法1:周围站点可能无数据,采用多年日均值补充。
方法2:构建修正系数矩阵,采用多年日均值的修正值补充。
缺失站点使用多年日均值则缺少该时段光照、风速、日照等因素波动对于蒸发皿蒸发量的影响,采用多年日均值的修正值可以提升数据的质量。
针对数据缺失站点,构建修正系数矩阵(附近站点的该时段蒸发量日数据相对于附近站点自身多年均值的波动)。
以缺失站点2为例,其E-601蒸发皿数据为矩阵X1,第一年存在缺失数据:
计算站点日均值:
建立修正系数矩阵E
其中,e
计算E-601蒸发皿数据矩阵X3,补充缺失数据:
本发明实施例2提供了一种双源蒸发数据治理提升系统,如图2所示,包括数据集构建模块、完整率矩阵构建模块、代表性相关矩阵构建模块、换算模块、数据插补模块;其中,
数据集构建模块,用于构建双源数据集;
完整率矩阵构建模块,用于根据双源数据集,构建双源数据集的完整率矩阵;
代表性相关矩阵,用于在完整率矩阵的基础上,构建双源数据集的代表性相关矩阵;
换算模块,用于结合代表性相关矩阵构建蒸发换算系数矩阵,将双源数据集换算为单源数据集;
数据插补模块,用于基于单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
最后,提供一种计算机存储介质,计算机存储介质上存储有计算机程序,计算机程序被处理器执行时实现一种双源蒸发数据治理提升方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 一种双源蒸发数据治理提升方法、系统及存储介质
- 一种基于大数据的数据治理方法、系统、存储介质和服务端