一种面向电网调度及电力市场应用的多源数据统计方法

技术领域

本发明涉及数据处理领域，尤其涉及一种面向电网调度及电力市场应用的多源数据统计方法。

背景技术

电力市场统计数据、调度和监控日常工作所需各类数据，需要从多个数据源中提取及整理，如OPEN3000、D5000系统、调控云平台、电力市场数据报表系统等，并且经常需要调整数据需求和表格格式，多数据源的海量数据获取和统计使得工作变得繁琐，工作人员在数据统计的过程中需要耗费大量的时间，工作负担大且效率低下，还容易出错。虽然重复性的工作可以通过office自带的宏命令完成部分工作，然而难以满足办公过程中多样化的报表格式要求。

发明内容

为解决上述问题，本发明提出一种面向电网调度及电力市场应用的多源数据统计方法。

一种面向电网调度及电力市场应用的多源数据统计方法，包括：

与多数据源建立连接，并获取多数据源的数据文件存储在本地数据库；

对数据文件进行校验；

若校验通过，则从校验通过的数据文件中提取文本数据；

根据需求定义对应的模板，并将文本数据填入对应的模板中。

优选的，所述与多数据源建立连接，并获取多数据源的数据文件存储在本地数据库包括：

对各数据源分别设置触发同步时间，当到触发同步时间时，对应数据源将数据文件传输到本地数据库。

优选的，所述与多数据源建立连接，并获取多数据源的数据文件存储在本地数据库包括：

所述多数据源利用ftp协议将数据文件传输到本地服务器。

优选的，所述与多数据源建立连接，并获取多数据源的数据文件存储在本地数据库包括：

对获取的数据文件进行分析，并根据关键字存入本地数据库中。

优选的，所述从校验通过的数据文件中提取文本数据包括：

判断数据文件是否通过网络通道填写：

若是，则判断网络通信是否正常，若不正常，则发出出现网络通讯失败告警，并判断本地数据库中是否找到相应的数据文件，若是，则从相应的数据文件中提取文本数据，若否，则发出出现数据文件读取失败的告警；若正常，则从相应的数据文件中提取文本数据；

若否，则判断本地数据库中是否找到相应的数据文件，若是，则从相应的数据文件中提取文本数据，若否，则发出出现数据文件读取失败的告警。

优选的，所述从校验通过的数据文件中提取文本数据包括：

判断数据文件中的文本变量分割符是否符合语法；

若不符合，则输出错误内容；若符合，则根据文本变量分隔符切割出固定语句，并将文本变量添加至处理任务列表；

判断任务是否完成：

若任务未完成，则从处理任务列表中取出一条处理任务，读取其中的文本数据，并将读取的文本数据根据格式要求进行转换，再返回判断任务是否完成；

若任务完成，则将文本数据输出至文本浏览框，并判断是否需要填入相应空格位置，若需要，则根据处理任务列表依次修改文本字体，并将文本数据输出至相应位置，若不需要，则结束流程。

优选的，所述根据需求定义对应的模板，并将文本数据填入对应的模板中包括：

根据需求设定偏移量及各规则条目；

判断偏移量、各规则条目是否合法；

若不合法，则将错误内容写至告警框；若合法，则根据偏移量获取各规则条目的数据目标位置；

判断任务是否完成：

若未完成，则取出一条处理规则，并按照格式切割出数据源信息与数据处理信息，根据数据源信息读取相应数据目标位置的文本数据，根据数据处理信息对读取的文本数据进行相应处理，判断数据校验是否通过，若未通过，则将错误信息加至告警框，若通过，则返回判断任务是否完成；

若完成，则判断文本数据是否正确，若正确，则将所有文本数据按照规则填入指定数据目标位置，若不正确，则结束流程。

本发明的有益效果：多数据源建立连接，并获取多数据源的数据文件存储在本地数据库；对数据文件进行校验；若校验通过，则从校验通过的数据文件中提取文本数据；根据需求选择对应的模板，并将文本数据填入对应的模板中，实现了适用于电力市场、调度应用的多源数据的方便提取、整理和报表生成，还实现了对自动获取的数据正确性的校验。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法流程示意图；

图2是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法中读取数据文件的流程示意图；

图3是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法中提取文本数据的流程示意图；

图4是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法中文本数据填入的流程示意图。

具体实施方式

以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

本发明的基本思想是提供一种面向电网调度及电力市场应用的多源数据统计方法，部署在电力市场或电力调度系统工作站上，工作人员不需要在多数据源的海量数据中查询所需数据，能自动获取多种数据源文本生成统计报表，同时对自动获取的数据正确性进行校验，提高了工作效率，减轻了工作人员的负担。

基于上述思想，本发明实施例提出一种面向电网调度及电力市场应用的多源数据统计方法，如图1所示，包括以下步骤：

S1：与多数据源建立连接，并获取多数据源的数据文件存储在本地数据库。

多数据源包括OPEN3000、D5000系统、调控云平台、电力市场数据报表等系统。配置OPEN3000、D5000系统、调控云平台、电力市场数据报表等系统登录用户，以用户登录接口建立连接。

在本实施例中，对各数据源分别设置触发同步时间，当到触发同步时间时，对应数据源将数据文件传输到本地数据库。对各数据源可以设置相同的触发同步时间，对数据文件集中处理。考虑到系统数据处理能力有限，也可以对各数据源分别设置不同的触发同步时间，以减小系统处理的压力。

在本实施例中，多数据源利用ftp协议将数据文件传输到本地服务器。文件传输协议(File Transfer Protocol，FTP)是一种提供网络之间共享文件的协议，它可以在计算机之间可靠、高效地传送文件。在传输时，传输双方的操作系统、磁盘文件系统类型可以不同。

在本实施例中，对获取的数据文件进行分析，并根据关键字存入本地数据库中。数据文件根据关键字存入本地数据库，当需要搜索数据文件时，则只需要对关键字进行搜索，就能够找到目标数据文件，提高了数据查询的效率。

S2：对数据文件进行校验。

为保证数据源的正确性，需要添加数据正确性校验这一步骤，解决人工校验效率低下的问题。本发明已预置了数据重复和数据差别过大的校验步骤。当覆盖后的数据与记录数据相同，则会判断为数据未更新；当覆盖后的数据与记录数据差别过大，则会判断为数据源出错。出错后，所有填写工作将取消，并将所有错误数据源定位后显示在告警框内，便于操作人员进行后续处理。

在本实施例中，通过对数据文件的正确性进行校验保证了数据正确性。

S3：若校验通过，则从校验通过的数据文件中提取文本数据。

在编写数据读取规则时，当设定数据为网络获取时，在填写表格、生成文本过程中将优先从网络获取相应数据；当网络连接失败、数据读取错误时，会自动从本地读取相应文件、数据内容。如图2所示，具体步骤如下：

判断数据文件是否通过网络通道填写：若是，则判断网络通信是否正常，若不正常，则发出出现网络通讯失败告警，并判断本地数据库中是否找到相应的数据文件，若是，则从相应的数据文件中提取文本数据，若否，则发出出现数据文件读取失败的告警；若正常，则从相应的数据文件中提取文本数据；若否，则判断本地数据库中是否找到相应的数据文件，若是，则从相应的数据文件中提取文本数据，若否，则发出出现数据文件读取失败的告警。

如图3所示，具体的文本数据提取还包括以下步骤：

判断数据文件中的文本变量分割符是否符合语法；若不符合，则输出错误内容；若符合，则根据文本变量分隔符切割出固定语句，并将文本变量添加至处理任务列表；判断任务是否完成：若任务未完成，则从处理任务列表中取出一条处理任务，读取其中的文本数据，并将读取的文本数据根据格式要求进行转换，再返回判断任务是否完成；若任务完成，则将文本数据输出至文本浏览框，并判断是否需要填入相应空格位置，若需要，则根据处理任务列表依次修改文本字体，并将文本数据输出至相应位置，若不需要，则结束流程。

本发明实现了对本地及网络文件、数据的读取，在一个平台上即可实现多源数据的提取工作，省去了到各个数据源下载数据的繁琐流程。

S4：根据需求选择对应的模板，并将文本数据填入对应的模板中。

如图4所示，具体包括以下步骤：根据需求设定偏移量及各规则条目；判断偏移量、各规则条目是否合法；若不合法，则将错误内容写至告警框；若合法，则根据偏移量获取各规则条目的数据目标位置；判断任务是否完成：若未完成，则取出一条处理规则，并按照格式切割出数据源信息与数据处理信息，根据数据源信息读取相应数据目标位置的文本数据，根据数据处理信息对读取的文本数据进行相应处理，判断数据校验是否通过，若未通过，则将错误信息加至告警框，若通过，则返回判断任务是否完成；若完成，则判断文本数据是否正确，若正确，则将所有文本数据按照规则填入指定数据目标位置，若不正确，则结束流程。

在本实施例中，规则为能让后台读取识别的语法，用户一般是通过界面自动生成的，比如输入两格表格位置后，点添加按钮，就会生成一条规则。偏移量是根据基准位置下移/右移多少格子数。通过设定偏移量及各规则条目以实现自定义模板。

本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。