数据修正方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据修正方法、装置、设备及介质。

背景技术

数值天气预报的风速、风向等数据作为输入量，通过预测算法将预报的气象要素转换为风电场、光伏的输出功率预测。因此，数值天气预报数据的准确预报，可以为电力调度提供重要的决策支持，是新能源发电功率预测精度的重要决定因素之一。

数值天气预报是指根据大气实际情况，在一定的初值和边值条件下，通过大型计算机作数值计算，求解天气演变过程的流体力学和热力学的方程组，预测未来一定时段的大气运动状态和天气现象的方法。

目前的数值天气预报方法主要有模式输出统计(model output statistic，MOS)预报方法、完全预报(perfect prognostic，PP)方法、卡尔曼滤波预报方法、集合预报方法和相似预报(analog ensemble)方法。

但是，利用上述的方法预报的数据可能不准确，因此，需要对预报数据进行修正，以提高预报数据的准确性。

发明内容

本发明实施例提供一种数据修正方法、装置、设备及介质，能够对实时预报数据进行修正，提高实时预报数据的准确度。

一方面，本发明实施例提供了一种基于最小气象要素特征集合的数据修正方法，包括：

获取目标站点的多个气象要素的历史预报数据和实时预报数据，以及目标站点拟修正要素的历史观测数据；

根据多个气象要素的历史预报数据和拟修正要素的历史观测数据，确定每一个气象要素与拟修正要素之间的相关系数；

根据相关系数，筛选出相关系数符合预设阈值范围的气象要素；

对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合；

根据最小气象要素特征集合及拟修正要素的历史观测数据，确定拟修正要素的实时预报数据。

在本发明的一个实施例中，根据多个气象要素的历史预报数据和拟修正要素的历史观测数据，确定每一个气象要素与拟修正要素之间的相关系数，包括：

根据如下公式，确定每一个气象要素与拟修正要素的相关系数：

其中，E为相关系数；F

在本发明的一个实施例中，对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合，包括：

利用主成分分析法，对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合。

在本发明的一个实施例中，根据最小气象要素特征集合及拟修正要素的历史观测数据，确定拟修正要素的实时预报数据，包括：

利用相似预报算法，确定与最小气象要素特征集合中第一气象要素特征相似的第二气象要素特征，第一气象要素特征与实时预报数据对应，第二气象要素特征与历史预报数据对应；

获取与第二气象要素特征在时间上对应的拟修正要素的历史观测数据；

对所获取的历史观测数据做平均，作为拟修正要素的实时预报数据。

在本发明的一个实施例中，拟修正要素包括气象要素和/或除气象要素之外的其他要素。

另一方面，本发明实施例提供一种基于最小气象要素特征集合的数据修正装置，包括：

获取模块，用于获取目标站点的多个气象要素的历史预报数据和实时预报数据，以及目标站点拟修正要素的历史观测数据；

确定模块，用于根据多个气象要素的历史预报数据和拟修正要素的历史观测数据，确定每一个气象要素与拟修正要素之间的相关系数；

筛选模块，用于根据相关系数，筛选出相关系数符合预设阈值范围的气象要素；

降维模块，用于对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合；

修正模块，用于根据最小气象要素特征集合及拟修正要素的历史观测数据，确定拟修正要素的实时预报数据。

在本发明的一个实施例中，确定模块，具体用于：

根据如下公式，确定每一个气象要素与拟修正要素的相关系数：

其中，E为相关系数；F

在本发明的一个实施例中，降维模块，具体用于：

利用主成分分析法，对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合

在本发明的一个实施例中，修正模块，具体用于：

利用相似预报算法，确定与所述最小气象要素特征集合中第一气象要素特征相似的第二气象要素，所述第一气象要素特征与实时预报数据对应，所述第二气象要素特征与历史预报数据对应；

获取与所述第二气象要素特征在时间上对应的拟修正要素的历史观测数据；

对所获取的历史观测数据做平均，作为所述拟修正要素的实时预报数据。

在本发明的一个实施例中，拟修正要素包括气象要素和/或除气象要素之外的其他要素。

再一方面，本发明实施例提供了一种基于最小气象要素特征集合的数据修正设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序；

处理器执行计算机程序时实现本发明实施例提供的基于最小气象要素特征集合的数据修正方法。

再一方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现本发明实施例提供的基于最小气象要素特征集合的数据修正方法。

本发明实施例的基于最小气象要素特征集合的数据修正方法、装置、设备及介质，能够对拟修正要素的实时预报数据进行修正，提高拟修正要素的实时预报数据的准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提供的基于最小气象要素特征集合的数据修正方法的流程示意图；

图2示出了本发明实施例提供的一种实时预报数据对应气象要素特征的示意图；

图3示出了本发明实施例提供的一种历史预报数据对应气象要素特征的示意图；

图4示出了本发明实施例提供的基于最小气象要素特征集合的数据修正装置的结构示意图；

图5示出了能够实现根据本发明实施例的基于最小气象要素特征集合的数据修正方法及装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了使本申请的目的、技术方案和技术效果更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。首先对本申请涉及的几个名词进行介绍和解释。

实时预报数据：进行天气预报时，在最近一段时间由计算机根据现有数据计算预测到的天气预报数据。

历史预报数据：在当下需要进行天气预报的时间点以前的，由计算机计算预测到的天气预报数据，这些数据存储在计算机设备当中，是计算得到的历史数据。

历史观测数据：经过气象设备采集到的实际数据，可以是气象数据，也可以是非气象数据，例如功率数据、粮食产量和冷饮销售数量等等。

气象要素：跟天气相关的基本数据参数，表明大气物理状态、物理现象的各项要素，例如气温、湿度、气压、风速、紫外线强度、光照强度和空气密度等。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面的具体实施例之间可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本发明实施例提供的基于最小气象要素特征集合的数据修正方法的流程示意图。基于最小气象要素特征集合的数据修正方法可以包括：

S101：获取目标站点的多个气象要素的历史预报数据和实时预报数据，以及目标站点拟修正要素的历史观测数据。

本发明实施例的拟修正要素可以为气象要素，还可以为除气象要素之外的其他要素，比如功率、粮食产量和冷饮销售数量等等。

S102：根据多个气象要素的历史预报数据和拟修正要素的历史观测数据，确定每一个气象要素与拟修正要素之间的相关系数。

S103：根据相关系数，筛选出相关系数符合预设阈值范围的气象要素。

S104：对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合。

S105：根据最小气象要素特征集合及拟修正要素的历史观测数据，确定拟修正要素的实时预报数据。

本发明实施例的基于最小气象要素特征集合的数据修正方法，能够对拟修正要素的实时预报数据进行修正，提高拟修正要素的实时预报数据的准确度。

示例性的，假设数据获取的单位时间(也称之为数据时间分辨率)为15分钟，即每隔15分钟获取一个数据。

假设获取到M个气象要素的N天历史预报数据，数据时间分辨率为15分钟时，则每个气象要素共有(60/15)×24×N＝96N个历史预报数据。第i个气象要素的96N个历史预报数据可表示为H

M个气象要素N天的历史预报数据可用矩阵T1表示为：

其中，矩阵T1中第i列的数据表示第i个气象要素在这N天内的历史预报数据。

获取到M个气象要素未来n天的实时预报数据，则每个气象要素有(60/15)×24×n＝96n个历史预报数据。第i个气象要素的96n个实时预报数据可表示为F

M个气象要素n天的历史预报数据可用矩阵T2表示为：

其中，矩阵T2中第i列的数据表示第i个气象要素n天的实时预报数据。

按照相同的数据时间分辨率，获取拟修正要素N天的历史观测数据，则拟修正要素有(60/15)×24×N＝96N个历史预报数据。拟修正要素的96N个历史观测数据表示为O

根据M个气象要素N天内的历史预报数据、拟修正要素N天内的历史观测数据，确定M个气象要素中每一个气象要素与拟修正要素的相关系数。

在本发明的一个实施例中，可以利用如下公式(1)，确定M个气象要素中每一个气象要素与拟修正要素的相关系数。

其中，公式(1)中，E为相关系数；F

通过上述公式(1)可以确定出M个气象要素中第1个气象要素与拟修正要素的相关系数、M个气象要素中第2个气象要素与拟修正要素的相关系数、……、M个气象要素中第M个气象要素与拟修正要素的相关系数。

当确定出M个气象要素中每一个气象要素与拟修正要素的相关系数后，筛选出相关系数符合预设阈值范围的气象要素。

在本发明的一个实施例中，可以抛弃相关系数小于预设阈值的气象要素，仅保留相关系数高于预设阈值的气象要素。

通过利用相关系数对气象要素进行筛选，能够从M个气象要素中过滤掉与拟修正要素相关性小的气象要素，进而在修正拟修正要素的实时预报数据时，可以仅使用与拟修正要素相关性大的气象要素。通过上述操作，能够提高修正拟修正要素实时预报数据的效率。

在筛选出相关系数符合预设阈值范围的气象要素后，可以对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合。

在本发明的一个实施例中，可以利用主成分分析(Principal ComponentAnalysis，PCA)法，对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合。

在本发明的一个实施例中，气象要素特征即为气象要素的历史预报数据和实时预报数据对应的主成分。

具体的，筛选后得到m个气象要素，这m个气象要素N+n天的历史预报数据和实时预报数据可用矩阵T3表示：

其中，Z＝96N+96n。矩阵T3中第i列的数据表示筛选出的m个气象要素中第i个气象要素N天的历史预报数据和n天的实时预报数据。

得到矩阵T3后，每一列减去各自列的平均值，以对该矩阵去中心化。

然后，计算去中心化后的矩阵T3对应的协方差矩阵的特征值与特征向量。从多个特征值中选取最大的K个特征值，这K个特征值对应的特征向量组成特征向量矩阵，该矩阵即为最小气象要素特征集合，其包含至少一个气象要素特征。需要说明的是，特征值越大，表明该气象要素与其他气象要素差异性越大，保留差异性大的K个，即可在降低数据维度的同时极大保留数据原有信息、忽略与其他维度信息重叠的信息。

此时，便将m个气象要素N+n天的历史预报数据和实时预报数据降维为K个特征值对应的特征向量矩阵，即由m维矩阵降维为K维矩阵。

包含至少一个气象要素特征的最小气象要素特征集合用矩阵T4表示为：

其中，Z＝96N+96n。

然后，根据所述最小气象要素特征集合及所述拟修正要素的历史观测数据，确定所述拟修正要素的实时预报数据。

在本发明的一个实施例中，可以利用相似预报算法，确定与最小气象要素特征集合中第一气象要素特征相似的第二气象要素特征，这里所说的第一气象要素特征是指与实时预报数据对应的气象要素特征，第二气象要素特征是指与历史预报数据对应的气象要素特征。然后，获取与第二气象要素特征在时间上对应的拟修正要素的历史观测数据。最后，对所获取的历史观测数据的做平均，作为拟修正要素的实时预报数据。

具体的，将最小气象要素特征集合当作k个气象要素集合输入相似预报系统，根据实时模拟在历史模拟中寻找相似的天气系统，相似判据如下：

其中，公式(2)中，F

在本发明实施例中，由于输入相似预报系统的是最小气象要素特征集合，集合中的数据为无单位的气象要素特征，因此在利用公式(2)进行相似系数计算时，F

示例性的，针对一种气象要素i，选择实时预报第t个时间点附近的相似天气系统时，可将t时间点附近至少2h的该气象要素的实时预报数据对应的气象要素特征(即前述的第一气象要素特征)设为

将历史预报中每一天t时间点(记为t′)附近与

为了找到与实时预报中t时间点相似的历史天气，在获取

例如，当寻找t＝10时的相似物(历史预报数据对应的第二气象要素特征)，如将

然后，对每个时刻的metric值由小到大排序，取最小的S个metric值，确定相应第二气象要素特征对应的历史时刻。然后找出与这些气象要素特征对应时刻的拟修正要素的历史观测数据，再对这些历史观测数据做平均，得到修正后的模拟结果，此结果即为拟修正要素的实时预报数据。

与上述的方法实施例相对应，本发明实施例还提供一种数据修正装置。如图4所示，图4示出了本发明实施例提供的数据修正装置的结构示意图。

数据修正装置可以包括：

获取模块201，用于获取目标站点的多个气象要素的历史预报数据和实时预报数据，以及目标站点拟修正要素的历史观测数据；

确定模块202，用于根据多个气象要素的历史预报数据和拟修正要素的历史观测数据，确定每一个气象要素与拟修正要素之间的相关系数；

筛选模块203，用于根据相关系数，筛选出相关系数符合预设阈值范围的气象要素；

降维模块204，用于对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合；

修正模块205，用于根据最小气象要素特征集合及拟修正要素的历史观测数据，确定拟修正要素的实时预报数据。

在本发明的一个实施例中，确定模块202，具体可以用于：

根据如下公式，确定每一个气象要素与拟修正要素的相关系数：

其中，E为相关系数；F

在本发明的一个实施例中，降维模块204，具体可以用于：

利用主成分分析法，对筛选出的气象要素的历史预报数据及实时预报数据进行降维处理，得到包含至少一个气象要素特征的最小气象要素特征集合。

在本发明的一个实施例中，修正模块205，具体可以用于：

利用相似预报算法，确定与所述最小气象要素特征集合中第一气象要素特征相似的第二气象要素，所述第一气象要素特征与实时预报数据对应，所述第二气象要素特征与历史预报数据对应；

获取与所述第二气象要素特征在时间上对应的拟修正要素的历史观测数据；

对所获取的历史观测数据做平均，作为所述拟修正要素的实时预报数据。

在本发明的一个实施例中，拟修正要素包括气象要素和/或除气象要素之外的其他要素。

图5示出了能够实现根据本发明实施例的基于最小气象要素特征集合的数据修正的计算设备的示例性硬件架构的结构图。如图5所示，计算设备300包括输入设备301、输入接口302、中央处理器303、存储器304、输出接口305以及输出设备306。其中，输入接口302、中央处理器303、存储器304以及输出接口305通过总线310相互连接，输入设备301和输出设备306分别通过输入接口302和输出接口305与总线310连接，进而与计算设备300的其他组件连接。

具体地，输入设备301接收来自外部的输入信息，并通过输入接口302将输入信息传送到中央处理器303；中央处理器303基于存储器304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器304中，然后通过输出接口305将输出信息传送到输出设备306；输出设备306将输出信息输出到计算设备300的外部供用户使用。

也就是说，图5所示的计算设备也可以被实现为基于最小气象要素特征集合的数据修正设备，该基于最小气象要素特征集合的数据修正设备可以包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，该处理器在执行计算机程序时实现本发明实施例提供的基于最小气象要素特征集合的数据修正方法。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序；计算机程序被处理器执行时实现本发明实施例提供的基于最小气象要素特征集合的数据修正方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。