掌桥专利:专业的专利平台
掌桥专利
首页

数据获取方法及装置、计算机设备、存储介质

文献发布时间:2023-06-19 11:44:10


数据获取方法及装置、计算机设备、存储介质

技术领域

本发明实施例涉及气象观测领域,尤其涉及一种数据获取方法及装置、计算机设备、存储介质。

背景技术

再分析数据是一种精准的气象资料,在气候变化研究、气候监测和季节预报、气候变率和变化以及水分循环和能量平衡等领域得到了广泛的应用。

目前通过对多种来源(例如观测站点、气象卫星和气象雷达等)的气象数据进行数据同化,以获取到的精准且综合性能较好的再分析数据。

但是在只存在观测站点,而不存在气象卫星和气象雷达等其他设备的历史时期,气象数据的来源较少,从而导致获取到的再分析数据的准确性较低且综合性能较差。

发明内容

本发明实施例提供一种数据获取方法及装置、计算机设备、存储介质,以实现在只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期,仅基于观测站点观测到的气象数据,得到准确性较高且综合性能较好的再分析数据。

第一方面,本发明实施例提供了一种数据获取方法,所述方法包括:

获取目标区域内观测站点的气象数据,所述气象数据为所述目标区域在所述目标时刻对应的气象数据;

将所述气象数据输入重建模型,得到所述重建模型输出的目标再分析数据,所述目标再分析数据为所述目标区域在所述目标时刻对应的再分析数据;

其中,所述重建模型为:将样本气象数据集作为第一模型的输入,将样本再分析数据集作为所述第一模型的期望输出,对所述第一模型训练得到;

所述样本气象数据集包括所述目标区域在多个时刻分别对应的样本气象数据,所述样本再分析数据集包括所述目标区域在所述多个时刻分别对应的样本再分析数据。

可选地,所述获取目标区域内观测站点的气象数据,包括:

获取目标区域内观测站点观测到的初始气象数据,所述初始气象数据为所述目标区域在所述目标时刻对应的初始气象数据;

对所述初始气象数据进行插值处理,得到所述目标区域内观测站点的气象数据。

可选地,在将所述气象数据输入重建模型,得到所述重建模型输出的目标再分析数据之后,所述方法还包括:

将所述目标再分析数据输入评估模型,得到所述评估模型输出的预测气象数据,所述预测气象数据为所述目标区域内所述观测站点的所述目标时刻的预测气象数据;

基于所述预测气象数据与所述气象数据,确定所述目标再分析数据的准确度指标;

其中,所述评估模型为:将所述样本再分析数据集作为第二模型的输入,将所述样本气象数据集作为所述第二模型的期望输出,对所述第二模型训练得到。

可选地,所述重建模型的获取过程包括:

获取目标区域内观测站点的样本气象数据集,所述样本气象数据集包括所述目标区域在多个时刻分别对应的样本气象数据;

获取所述目标区域的样本再分析数据集,所述样本再分析数据集包括所述目标区域在所述多个时刻分别对应的样本再分析数据;

将所述样本气象数据集作为第一模型的输入,将所述样本再分析数据集作为所述第一模型的期望输出,对所述第一模型进行训练,直至达到训练结束条件,得到重建模型;

其中,所述重建模型用于对所述目标区域内所述观测站点的任一时刻的气象数据进行处理,以得到所述目标区域在所述任一时刻对应的再分析数据。

可选地,所述获取目标区域内观测站点的样本气象数据集,包括:

获取目标区域内观测站点观测到的初始样本气象数据集,所述初始样本气象数据集包括所述目标区域在所述多个时刻分别对应的初始样本气象数据;

对所述初始样本气象数据集中的初始样本气象数据分别进行插值处理,得到所述目标区域内观测站点的样本气象数据集。

可选地,所述评估模型的获取过程包括:

将所述样本再分析数据集作为第二模型的输入,将所述样本气象数据集作为所述第二模型的期望输出,对所述第二模型进行训练,直至达到训练结束条件,得到评估模型;

其中,所述评估模型用于对所述目标区域在所述任一时刻对应的再分析数据进行处理,以得到所述目标区域内所述观测站点的任一时刻的预测气象数据;

所述任一时刻对应的预测气象数据用于确定所述重建模型输出的所述任一时刻对应的再分析数据的准确度指标。

可选地,所述目标区域包括采用预设划分策略对气象观测区域进行划分后得到的多个子区域,每个所述子区域对应一个目标区域,每个所述目标区域对应一个重建模型和一个评估模型。

第二方面,本发明实施例提供了一种数据获取装置,所述装置包括:

获取模块,用于获取目标区域内观测站点的气象数据,所述气象数据为所述目标区域在所述目标时刻对应的气象数据;

第一输入模块,用于将所述气象数据输入重建模型,得到所述重建模型输出的目标再分析数据,所述目标再分析数据为所述目标区域在所述目标时刻对应的再分析数据;

其中,所述重建模型为:将样本气象数据集作为第一模型的输入,将样本再分析数据集作为所述第一模型的期望输出,对所述第一模型训练得到;

所述样本气象数据集包括所述目标区域在多个时刻分别对应的样本气象数据,所述样本再分析数据集包括所述目标区域在所述多个时刻分别对应的样本再分析数据。

第三方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一所述的方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如第一方面任一所述的方法。

本发明实施例通过将获取的目标区域内观测站点的气象数据输入重建模型,得到重建模型输出的目标再分析数据。通过该重建模型仅基于观测站点观测到的气象数据,得到准确性较高且综合性能较好的再分析数据,该方法可适用于只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期,可以解决相关技术中仅依据观测站点观测的气象数据获取到的再分析数据的准确性较低且综合性能较差,无法真实反映历史时期的气象实际状况的问题,从而得到了能够真实反映历史时期的气象实际状况的再分析数据,进而有利于对气象要素的变化规律的探究。

附图说明

图1为本发明实施例提供的一种数据获取方法的流程示意图;

图2为本发明实施例提供的另一种数据获取方法的流程示意图;

图3为本发明实施例提供的一种气象数据的示意图;

图4为本发明实施例提供的一种目标再分析数据的示意图;

图5为本发明实施例提供的一种模型获取过程的流程示意图;

图6为本发明实施例提供的另一种模型获取过程的流程示意图;

图7为本发明实施例提供的一种数据获取装置的框图;

图8为本发明实施例提供的另一种数据获取装置的框图;

图9为本发明实施例提供的再一种数据获取装置的框图;

图10为本发明实施例提供的又一种数据获取装置的框图;

图11为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

随着观测站点、气象卫星和气象雷达等气象数据观测设备的日益多样化,将多种观测设备观测到的气象数据通过预设的数据模式或者公式进行计算,能够融合得到精确且综合性能较好的再分析数据。该再分析数据通常包括全局的气象数据,例如某个地区范围内所有经纬度的气象数据,该气象数据可以包括以下至少一种:降水量、风速、湿度、温度以及气压等。

但是在只存在观测站点,而不存在气象卫星和气象雷达等其他设备的历史时期(例如2010年之前的时期),缺少气象卫星和气象雷达等设备观测的气象数据,气象数据的来源较少,从而导致仅依据观测站点观测的气象数据获取到的再分析数据的准确性较低且综合性能较差,无法真实反映历史时期的气象实际状况。

本发明实施例提供了一种数据获取方法,该方法可以由数据获取装置执行,其中该装置可由软件和/或硬件实现,一般可集成在计算机设备中,例如可以集成在计算机设备的图形处理器(Graphics Processing Unit,GPU)中。该方法可以适用于获取数据(例如再分析数据)的应用场景。请参考图1,图1为本发明实施例提供的一种数据获取方法的流程示意图,该方法可以包括以下步骤:

步骤101、获取目标区域内观测站点的气象数据,该气象数据为目标区域在目标时刻对应的气象数据。

该观测站点可以包括气象观测站点和/或自动观测站点。气象观测站点通常除了观测设备之外还有观测人员,自动观测站点通常只有观测设备。目标区域可以包括一个国家对应的区域、一个省对应的区域或者一个市对应的区域等,本发明实施例对此不做限定。

在第一种示例中,气象数据可以是观测站点直接观测到的。在第二种示例中,气象数据可以是对观测站点观测到的初始气象数据进行插值处理后得到的。

步骤102、将气象数据输入重建模型,得到重建模型输出的目标再分析数据,该目标再分析数据为目标区域在目标时刻对应的再分析数据。

其中,重建模型为:将样本气象数据集作为第一模型的输入,将样本再分析数据集作为第一模型的期望输出,对第一模型训练得到。样本气象数据集包括目标区域在多个时刻分别对应的样本气象数据,样本再分析数据集包括目标区域在多个时刻分别对应的样本再分析数据。

综上所述,本发明实施例提供的数据获取方法,将获取的目标区域内观测站点的气象数据输入重建模型,得到重建模型输出的目标再分析数据。通过该重建模型仅基于观测站点观测到的气象数据,即可得到准确性较高且综合性能较好的再分析数据,该方法可适用于只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期,可以解决相关技术中仅依据观测站点观测的气象数据获取到的再分析数据的准确性较低且综合性能较差,无法真实反映历史时期的气象实际状况的问题,从而得到了能够真实反映历史时期的气象实际状况的再分析数据,进而有利于对气象要素的变化规律的探究。

本发明实施例提供了另一种数据获取方法,请参考图2,图2为本发明实施例提供的另一种数据获取方法的流程示意图,该方法可以包括以下步骤:

步骤201、获取目标区域内观测站点的气象数据,该气象数据为目标区域在目标时刻对应的气象数据。

气象数据可以包括目标区域内各个观测站点观测到的气象要素值,该气象要素值包括以下至少一种:降水量、风速、温度、湿度以及气压等。示例地,请参考图3,图3为本发明实施例提供的一种气象数据的示意图,图3以目标区域为全国区域的部分区域(例如,某个省形成的区域或者某几个省形成的区域),气象数据包括降水量为例进行说明。如图3所示,横坐标表示纬度,纵坐标表示经度,圆点表示观测站点,一个圆点对应一个观测站点,圆点在图中所处的坐标表示对应的观测站点的位置。需要说明的是,图3未示出各个观测站点的气象要素值(例如降水量),实际中每个圆点对应有气象要素值。

在对观测站点观测到的初始气象数据进行插值处理后得到气象数据时,可以先获取目标区域内观测站点观测到的初始气象数据,该初始气象数据为目标区域在目标时刻对应的初始气象数据。之后对初始气象数据进行插值处理,得到目标区域内观测站点的气象数据。

可选地,可以采用插值算法对初始气象数据进行插值处理,该插值算法包括以下至少一种:最近邻插值、双线性插值、三次样条插值以及Lanczos4算法 (一种将对称矩阵通过正交相似变换变成对称三对角矩阵的算法)等。观测站点直接观测到的初始气象数据的分布通常较为离散,连续性较差,且数据量较少。对初始气象数据进行插值处理得到的气象数据的分布较为连续,且数据量较大,能够提高后续重建模型输出的再分析数据的准确度。

示例地,目标时刻可以处于具有观测站点、气象卫星和气象雷达等设备的时期(例如2010年及之后的时期),也可以处于只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期(例如2010年之前的时期),本发明实施例对此不做限定。

步骤202、将气象数据输入重建模型,得到重建模型输出的目标再分析数据,该目标再分析数据为目标区域在目标时刻对应的再分析数据。

对应前述气象数据,目标再分析数据可以包括目标区域内多个位置的的气象要素值,该气象要素值包括以下至少一种:降水量、风速、温度、湿度以及气压等。目标再分析数据所包括的气象要素值的种类与气象数据相同,目标再分析数据相较于气象数据更为全面。

示例地,请参考图4,图4为本发明实施例提供的一种目标再分析数据的示意图。图4以目标区域为全国区域的部分区域(例如,某个省形成的区域或者某几个省形成的区域),目标再分析数据包括降水量为例进行说明。如图4 所示,横坐标表示纬度,纵坐标表示经度,灰色填充区域表示气象要素值非零的区域(即降水区域)。需要说明的是,图4中的降水区域仅为示例性说明,实际中气象要素值不同的区域的颜色深度也不同,颜色深度越大,气象要素值越大;或者颜色深度越小,气象要素值越大。

步骤203、将目标再分析数据输入评估模型,得到评估模型输出的预测气象数据,该预测气象数据为目标区域内观测站点的目标时刻的预测气象数据。

其中,评估模型为:将样本再分析数据集作为第二模型的输入,将样本气象数据集作为第二模型的期望输出,对第二模型训练得到。

步骤204、基于预测气象数据与气象数据,确定目标再分析数据的准确度指标。

该准确度指标表示重建模型的生成效果。可以将预测气象数据与气象数据进行对比,以确定准确度指标。预测气象数据与气象数据的差异越小,所确定的准确度指标表明重建模型生成的目标再分析数据的准确度越高;预测气象数据与气象数据的差异越大,所确定的准确度指标表明重建模型生成的目标再分析数据的准确度越低。

可选地,可以设置准确度指标范围。当准确度指标处于该准确度指标范围内时,表明目标再分析数据的准确度较高,此时可以记录并存储目标再分析数据。当准确度指标未处于该准确度指标范围内时,表明目标再分析数据的准确度较低,此时可以重新对第一模型进行训练。或者可以将目标区域内观测站点的其他时刻(不同于目标时刻)的气象数据输入重建模型,得到重建模型输出的目标区域在其他时刻对应的再分析数据。之后将目标区域在其他时刻对应的再分析数据输入到评估模型,得到评估模型输出的其他时刻对应的预测气象数据。再基于其他时刻对应的预测气象数据与气象数据,确定重建模型输出的其他时刻对应的再分析数据的准确度指标。当准确度指标未处于该准确度指标范围内的次数大于次数阈值时,重新对第一模型进行训练。本发明实施例对此不做限定。

在本发明实施例中,目标区域的数量可以为多个,每个目标区域对应一个重建模型和一个评估模型。目标区域可以包括采用预设划分策略对气象观测区域进行划分后得到的多个子区域,每个子区域对应一个目标区域。相应地,气象观测区域在多个时刻中目标时刻对应的气象数据,被划分为多个目标区域在目标时刻分别对应的气象数据。

其中,预设划分策略可以包括:平均划分的个数或者待划分的多个子区域中每个子区域的位置信息等。当预设划分策略包括平均划分的个数时,预设划分策略只需设置平均划分的个数即可,使得预设划分策略较为简单。示例地,该平均划分的个数可以为2的倍数,这样能够提高计算机设备的划分速度。当预设划分策略包括每个子区域的位置信息时,能够实现对气象观测区域以及气象观测区域在目标时刻对应的气象数据的灵活划分。

示例地,如前述图3所示,4个目标区域a1~a4分别对应有4个重建模型 b1~b4以及4个评估模型c1~c4。首先可以获取任一目标区域(例如目标区域a1) 内观测站点的目标时刻的气象数据,将该任一目标区域内观测站点的目标时刻的气象数据输入对应的重建模型(例如重建模型b1),得到重建模型输出的该任一目标区域在目标时刻对应的再分析数据。

之后还可以将该任一目标区域在目标时刻对应的再分析数据输入对应的评估模型(例如评估模型c1),得到评估模型输出的该任一目标区域内观测站点的目标时刻的预测气象数据。再基于该任一目标区域内观测站点的目标时刻的预测气象数据与气象数据,确定该任一目标区域在目标时刻对应的再分析数据的准确度指标。该具体过程可以参考前述过程,本发明实施例在此不做赘述。

综上所述,本发明实施例提供的数据获取方法,将获取的目标区域内观测站点的气象数据输入重建模型,得到重建模型输出的目标再分析数据。通过该重建模型仅基于观测站点观测到的气象数据,即可得到准确性较高且综合性能较好的再分析数据,该方法可适用于只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期,可以解决相关技术中仅依据观测站点观测的气象数据获取到的再分析数据的准确性较低且综合性能较差,无法真实反映历史时期的气象实际状况的问题,从而得到了能够真实反映历史时期的气象实际状况的再分析数据,进而有利于对气象要素的变化规律的探究。

并且,将目标再分析数据输入评估模型,得到评估模型输出的预测气象数据。基于该预测气象数据与气象数据,确定目标再分析数据的准确度指标,从而实现了对再分析数据的可视化以及对重建模型的生成效果的判断。

上述实施例提供的方法的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,例如步骤203和步骤204可以不执行。本发明实施例对此不做限定。

可选地,上述实施例中是以数据获取装置执行数据获取方法为例进行说明的。在一种示例中,该数据获取方法中的不同步骤可以由不同的模块来执行。该不同的模块可以位于一个装置中,也可以位于不同的装置中。本发明实施例对执行数据获取方法的装置不做限定。可选地,数据获取装置可以集成在计算机设备或者服务器中等,本发明实施例对此不做限定。

以下对前述实施例用到的模型的获取过程进行说明。该过程可以由模型获取装置执行,模型获取装置可以与前述数据获取装置相同或不同。该装置可由软件和/或硬件实现,一般可集成在计算机设备中,例如可以集成在计算机设备的GPU中。该方法可以适用于获取模型的应用场景,获取的模型能够用于获取数据(例如再分析数据)。请参考图5,图5为本发明实施例提供的一种模型获取过程的流程示意图,该过程可以包括以下步骤:

步骤301、获取目标区域内观测站点的样本气象数据集,该样本气象数据集包括目标区域在多个时刻分别对应的样本气象数据。

对应前述步骤101的第一种示例,样本气象数据是观测站点直接观测到的。对应前述步骤101的第二种示例,样本气象数据是对观测站点观测到的初始样本气象数据进行插值处理后得到的。

该多个时刻可以包括前述数据获取过程中的目标时刻,也可以不包括该目标时刻。该过程可以参考前述步骤101和步骤201,本发明实施例在此不做赘述。

步骤302、获取目标区域的样本再分析数据集,该样本再分析数据集包括目标区域在多个时刻分别对应的样本再分析数据。

样本再分析数据集是将多种观测设备(例如观测站点、气象卫星和气象雷达)观测到的目标区域在该多个时刻的气象数据,通过预设的数据模式或者公式进行计算融合得到的,该样本再分析数据的精确度较高且综合性能较好。即本发明实施例中,样本再分析数据以及样本气象数据所对应的该多个时刻均处于具有观测站点、气象卫星和气象雷达等设备的时期(例如2010年之后的时期)。

步骤303、将样本气象数据集作为第一模型的输入,将样本再分析数据集作为第一模型的期望输出,对第一模型进行训练,直至达到训练结束条件,得到重建模型。

其中,该重建模型用于对目标区域内观测站点的任一时刻的气象数据进行处理,以得到目标区域在任一时刻对应的再分析数据。

对于任一时刻对应的样本气象数据,第一模型对输入的该任一时刻对应的样本气象数据进行处理,得到任一时刻对应的再分析数据。计算机设备可以基于该任一时刻对应的样本再分析数据,以及第一模型输出的该任一时刻对应的再分析数据确定损失值。之后利用损失值训练第一模型(例如更改第一模型的模型参数),逐步降低第一模型输出的再分析数据与样本再分析数据的差值,以实现对第一模型的训练。

本发明实施例提供了另一种模型获取过程,请参考图6,图6为本发明实施例提供的另一种模型获取过程的流程示意图,该过程可以包括以下步骤:

步骤401、获取目标区域内观测站点的样本气象数据集,该样本气象数据集包括目标区域在多个时刻分别对应的样本气象数据。

该样本气象数据所包括的气象要素值的种类与前述数据获取过程中的气象数据相同。样本气象数据可以参考前述步骤101和步骤201,本发明实施例在此不做赘述。

在对观测站点观测到的初始样本气象数据进行插值处理后得到样本气象数据时,可以先获取目标区域内观测站点观测到的初始样本气象数据集,该初始样本气象数据集包括目标区域在多个时刻分别对应的初始样本气象数据。之后对初始样本气象数据集中的初始样本气象数据分别进行插值处理,得到目标区域内观测站点的样本气象数据集。对初始样本气象数据集中的初始样本气象数据分别进行插值处理的过程可以参考前述步骤201,本发明实施例在此不做赘述。

观测站点直接观测到的初始样本气象数据的分布通常较为离散,连续性较差,且数据量较少。对初始样本气象数据进行插值处理得到的样本气象数据的分布较为连续,且数据量较大,能够在后续利用样本气象数据对第一模型进行训练时,提高训练效果,从而提高训练得到的重建模型的精确度。

步骤402、获取目标区域的样本再分析数据集,该样本再分析数据集包括目标区域在多个时刻分别对应的样本再分析数据。

样本再分析数据所包括的气象要素值的种类与样本气象数据相同,样本再分析数据相较于样本气象数据更为全面。样本再分析数据可以参考前述步骤 202,本发明实施例在此不做赘述。

步骤403、将样本气象数据集作为第一模型的输入,将样本再分析数据集作为第一模型的期望输出,对第一模型进行训练,直至达到训练结束条件,得到重建模型。

可选地,计算机设备可以将样本气象数据集和样本再分析数据集均输入至第一模型,第一模型仅对样本气象数据集中的样本气象数据进行处理,而不对样本再分析数据集中的样本再分析数据进行处理。计算机设备也可以仅将样本气象数据集输入至第一模型,第一模型对样本气象数据集中的样本气象数据进行处理,本发明实施例对此不做限定。

其中,第一模型可以包括以下至少一种:深度神经网络(Deep Neural Networks,DNN)、卷积神经网络(Convolutional Neural Networks,CNN)以及循环神经网络(Recurrent Neural Network,RNN)。该训练结束条件可以包括以下至少一种:训练次数(即更改模型参数的次数)达到指定阈值和/或损失值处于损失值范围。

步骤404、将样本再分析数据集作为第二模型的输入,将样本气象数据集作为第二模型的期望输出,对第二模型进行训练,直至达到训练结束条件,得到评估模型。

其中,评估模型用于对目标区域在任一时刻对应的再分析数据进行处理,以得到目标区域内观测站点的任一时刻的预测气象数据。任一时刻对应的预测气象数据用于确定重建模型输出的任一时刻对应的再分析数据的准确度指标,该准确度指标表示重建模型的生成效果。

对于任一时刻对应的样本再分析数据,第二模型对输入的该任一时刻对应的样本再分析数据进行处理,得到任一时刻对应的预测气象数据。计算机设备可以基于该任一时刻对应的样本气象数据,以及第二模型输出的任一时刻的预测气象数据确定损失值。之后利用损失值训练第二模型(例如更改第二模型的模型参数),逐步降低第二模型输出的预测气象数据与样本气象数据的差值,以实现对第二模型的训练。

可选地,计算机设备可以将样本气象数据集和样本再分析数据集均输入至第二模型,第二模型仅对样本再分析数据集中的样本再分析数据进行处理,而不对样本气象数据集中的样本气象数据进行处理。计算机设备也可以仅将样本再分析数据集输入至第二模型,第二模型对样本再分析数据集中的样本再分析数据进行处理,本发明实施例对此不做限定。

其中,第二模型可以包括以下至少一种:DNN、CNN以及RNN。该训练结束条件可以包括以下至少一种:训练次数(即更改模型参数的次数)达到指定阈值和/或损失值处于损失值范围。

对应前述数据获取过程,目标区域的数量可以为多个。模型训练过程中,每个目标区域对应一个第一模型和第二模型。模型训练结束后,每个目标区域对应一个重建模型和一个评估模型。

可选地,目标区域可以包括采用预设划分策略对气象观测区域进行划分后得到的多个子区域,每个子区域对应一个目标区域。相应地,气象观测区域在多个时刻中任一时刻对应的样本气象数据,被划分为多个目标区域在任一时刻分别对应的样本气象数据。气象观测区域在该任一时刻对应的样本再分析数据同样被划分为多个目标区域在该任一时刻分别对应的样本再分析数据。预设划分策略可以参考前述实施例,本发明实施例在此不做赘述。

由于气象观测区域在任一时刻对应的样本气象数据和样本再分析数据的数据量较大,因此将其划分为多个子区域在该任一时刻对应的样本气象数据和样本再分析数据,能够减小用于对各个第一模型进行训练的样本气象数据以及样本再分析数据的数据量,从而减小了计算机设备在模型获取过程中的功耗,提高了计算设备进行模型训练的速度和准确性。

示例地,如前述图3和图4所示,假设图3所示的为气象观测区域在某一时刻对应的样本气象数据,图4所示的为气象观测区域在某一时刻对应的样本气象数据。以预设划分策略包括平均划分为4个为例,将上述图3所示的气象观测区域在某一时刻对应的样本气象数据划分为4个目标区域(即图3所示的 a1~a4)在某一时刻分别对应的样本气象数据。将上述图4所示的气象观测区域在某一时刻对应的样本再分析数据同样划分为4个目标区域(即图4所示的 a1~a4)在该某一时刻分别对应的样本再分析数据。

对应图3和图4,4个目标区域a1~a4分别对应有4个第一模型b1'~b4'、 4个训练得到的重建模型b1~b4、4个第二模型c1'~c4'以及4个训练得到的评估模型c1~c4。首先可以获取任一目标区域(例如目标区域a1)内观测站点的样本气象数据集,再获取该任一目标区域的样本再分析数据集。在训练过程中,将任一目标区域内观测站点的样本气象数据集作为对应的第一模型的输入 (例如将目标区域a1内观测站点的样本气象数据集作为第一模型b1'的输入),将该任一目标区域的样本再分析数据集作为对应的第一模型的期望输出(例如将目标区域a1的样本再分析数据集作为第一模型b1'的期望输出),对第一模型进行训练,得到对应的重建模型(例如重建模型b1)。

之后还可以将该任一目标区域的样本再分析数据集作为对应的第二模型的输入(例如将目标区域a1的样本再分析数据集作为第二模型c1'的输入),将该任一目标区域内观测站点的样本气象数据集作为对应的第二模型的期望输出 (例如将目标区域a1内观测站点的样本气象数据集作为第二模型c1'的期望输出),对第二模型进行训练,得到对应的评估模型(例如评估模型c1)。该过程可以参考步骤201至步骤204,本发明实施例在此不做赘述。

需要说明的是,多个目标区域分别对应的多个重建模型(例如重建模型 b1~b4)的网络结构可以相同或不同,模型参数也可以相同或不同。由于多个目标区域分别对应的多个评估模型(例如评估模型c1~c4)所输出的预测气象数据的差异通常较大,因此该多个评估模型的网络结构和模型参数通常互不相同。

上述实施例中各个步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,例如步骤404可以不执行。本发明实施例对此不做限定。

可选地,上述实施例中是以模型获取装置执行模型获取过程为例进行说明的。在一种示例中,该模型获取过程中的不同步骤可以由不同的模块来执行。该不同的模块可以位于一个装置中,也可以位于不同的装置中。本发明实施例对执行模型获取过程的装置不做限定。可选地,模型获取装置可以集成在计算机设备或者服务器中等,本发明实施例对此不做限定。

本发明实施例提供了一种数据获取装置,图7为本发明实施例提供的一种数据获取装置的框图,该数据获取装置50包括:

第一获取模块501,用于获取目标区域内观测站点的气象数据,气象数据为目标区域在目标时刻对应的气象数据。

第一输入模块502,用于将气象数据输入重建模型,得到重建模型输出的目标再分析数据,目标再分析数据为目标区域在目标时刻对应的再分析数据。

其中,重建模型为:将样本气象数据集作为第一模型的输入,将样本再分析数据集作为第一模型的期望输出,对第一模型训练得到。

样本气象数据集包括目标区域在多个时刻分别对应的样本气象数据,样本再分析数据集包括目标区域在多个时刻分别对应的样本再分析数据。

综上所述,本发明实施例提供的数据获取装置,通过第一输入模块将通过获取模块获取的目标区域内观测站点的气象数据输入重建模型,得到重建模型输出的目标再分析数据。通过该重建模型仅基于观测站点观测到的气象数据,即可得到准确性较高且综合性能较好的再分析数据,该方法可适用于只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期,可以解决相关技术中仅依据观测站点观测的气象数据获取到的再分析数据的准确性较低且综合性能较差,无法真实反映历史时期的气象实际状况的问题,从而得到了能够真实反映历史时期的气象实际状况的再分析数据,进而有利于对气象要素的变化规律的探究。

可选地,第一获取模块501,用于:

获取目标区域内观测站点观测到的初始气象数据,初始气象数据为目标区域在目标时刻对应的气象数据。

对初始气象数据进行插值处理,得到目标区域内观测站点的气象数据。

可选地,请参考图8,图8为本发明实施例提供的另一种数据获取装置的框图,在图7的基础上,该数据获取装置50还包括:

第二输入模块503,用于将目标再分析数据输入评估模型,得到评估模型输出的预测气象数据,预测气象数据为目标区域内观测站点的目标时刻的预测气象数据。

确定模块504,用于基于预测气象数据与气象数据,确定目标再分析数据的准确度指标。

其中,评估模型为:将样本再分析数据集作为第二模型的输入,将样本气象数据集作为第二模型的期望输出,对第二模型训练得到。

可选地,请参考图9,图9为本发明实施例提供的再一种数据获取装置的框图,在图8的基础上,该数据获取装置50还包括:

第二获取模块505,用于获取目标区域内观测站点的样本气象数据集,样本气象数据集包括目标区域在多个时刻分别对应的样本气象数据。

第三获取模块506,用于获取目标区域的样本再分析数据集,样本再分析数据集包括目标区域在多个时刻分别对应的样本再分析数据。

第一训练模块507,用于将样本气象数据集作为第一模型的输入,将样本再分析数据集作为第一模型的期望输出,对第一模型进行训练,直至达到训练结束条件,得到重建模型。

其中,重建模型用于对目标区域在任一时刻对应的气象数据进行处理,以得到目标区域在任一时刻对应的再分析数据。

可选地,第二获取模块505,用于:

获取目标区域内观测站点观测到的初始样本气象数据集,初始样本气象数据集包括目标区域在多个时刻分别对应的初始样本气象数据。

对初始样本气象数据集中的初始样本气象数据分别进行插值处理,得到目标区域内观测站点的样本气象数据集。

可选地,请参考图10,图10为本发明实施例提供的又一种数据获取装置的框图,在图9的基础上,该数据获取装置50还包括:

第二训练模块508,用于将样本再分析数据集作为第二模型的输入,将样本气象数据集作为第二模型的期望输出,对第二模型进行训练,直至达到训练结束条件,得到评估模型。

其中,评估模型用于对目标区域在任一时刻对应的再分析数据进行处理,以得到目标区域内观测站点的任一时刻的预测气象数据。

任一时刻对应的预测气象数据用于确定重建模型输出的任一时刻对应的再分析数据的准确度指标。

可选地,目标区域包括采用预设划分策略对气象观测区域进行划分后得到的多个子区域,每个子区域对应一个目标区域,每个目标区域对应一个重建模型和一个评估模型。

综上所述,本发明实施例提供的数据获取装置,通过第一训练模块将通过第二获取模块获取的目标区域内观测站点的样本气象数据集作为第一模型的输入,将通过第三获取模块获取的目标区域的样本再分析数据集作为第一模型的期望输出,对第一模型进行训练,得到重建模型。通过第一输入模块将通过获取模块获取的目标区域内观测站点的气象数据输入重建模型,得到重建模型输出的目标再分析数据。通过该重建模型仅基于观测站点观测到的气象数据,即可得到准确性较高且综合性能较好的再分析数据,该方法可适用于只存在观测站点而不存在气象卫星和气象雷达等其他设备的历史时期,可以解决相关技术中仅依据观测站点观测的气象数据获取到的再分析数据的准确性较低且综合性能较差,无法真实反映历史时期的气象实际状况的问题,从而得到了能够真实反映历史时期的气象实际状况的再分析数据,进而有利于对气象要素的变化规律的探究。

并且,通过第二训练模块将通过第三获取模块获取的样本再分析数据集作为第二模型的输入,将通过第二获取模块获取的样本气象数据集作为第二模型的期望输出,对第二模型进行训练,得到评估模型。通过第二输入模块将目标再分析数据输入评估模型,得到评估模型输出的预测气象数据。通过确定模块基于该预测气象数据与气象数据,确定目标再分析数据的准确度指标,从而实现了对再分析数据的可视化以及对重建模型的生成效果的判断。

本发明实施例所提供的数据获取装置可执行本发明任意实施例所提供的数据获取方法的流程,具备执行方法相应的功能模块和有益效果。

本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本发明实施例提供的任一方法。

图11为本发明实施例提供的一种计算机设备的结构示意图,如图11所示,该计算机设备包括处理器60、存储器61、输入装置62和输出装置63;计算机设备中处理器60的数量可以是一个或多个,图11中以一个处理器60为例;计算机设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接,图11中以通过总线连接为例。

存储器61作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据获取方法对应的程序指令/模块 (例如,数据获取装置50中的第一获取模块501以及第一输入模块502)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及进行数据获取,即实现上述任一所述的方法。

存储器61可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器61可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器61可进一步包括相对于处理器60远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置62可用于接收输入的数字或字符信息(例如气象数据、样本气象数据集和/或样本再分析数据集),以及产生与计算机设备的分析人员设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。

本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的任一所述的方法。

通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory, RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是,上述数据获取装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。

在本发明中,“至少一个”指一个或多个,“多个”指两个或两个以上,“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如, A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。除非另有明确的限定。

注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

相关技术
  • 数据获取方法、数据获取设备和计算机可读存储介质
  • 数据获取方法、装置、计算机可读存储介质和计算机设备
技术分类

06120113033633