一种电力市场信息披露数据采集与管理系统

技术领域

本发明涉及一种数据采集与管理系统，尤其涉及一种电力市场信息披露数据采集与管理系统。

背景技术

按照信息公开范围，电力现货市场信息分为公众信息、公开信息、私有信息和依申请披露信息四类。四类信息涉及的内容多，规范的要求高，市场主体关注度高；根据披露时间又分为事前披露和事后披露，数据需要根据实际业务需要按照年、月、日、周、小时、分钟等多个频次进行披露，每一项数据要求披露的时间各有不同；另一方面，信息披露的数据来源和内容多样，数据采集逻辑各有不同。

在信息披露系统建设初期，考虑到各信息披露项之间存在的披露时间、披露周期、披露内容的差异以及采集逻辑、发布内容的不同，针对每一个披露项设计对应的结果存储模型，并开发独立的采集接口、数据发布接口以及数据展示接口。随着电力现货市场的不断发展，要求披露的数据项逐渐增多，逐一对数据项进行接口的开发工作使得新建披露项的工作流程繁琐，且占用大量的人力、物力以及时间来进行此项工作。此种信息披露方式已逐渐不适应电力现货市场快速的发展并逐渐难以满足对信息披露的要求。

目前在数据接口设计时，考虑各披露项披露内容的差异，针对每个披露项的数据内容，设计对应的数据结果表数据模型。随着电力市场业务发展，如果需要披露的数据项增多，则结果表数据模型将变得繁多且难以管理。信息披露系统中，新增披露项时，需要定制化开发数据采集接口、数据以及数据展示接口。导致系统可扩展性差，开发效率慢，如果运行现场新增披露项较多，可能会存在影响运行现场现货系统向交易机构披露数据的及时性。随着电力市场各运行现场信息披露项的不断增多，需要维护的接口数量也在成倍增加，每次对信息披露项提出新的披露需求时，都需要进行代码的修改，后期运维困难且浪费大量人力、时间。

发明内容

发明目的：本发明的目的是提供一种简单高效易操作便于后期维护的电力市场信息披露数据采集与管理系统。

技术方案：本发明所述的电力市场信息披露数据采集与管理系统设有能够将原始信息披露结果最终转换成标准化源端数据表的数据存储模型，所述源端数据表通过数据采集接口工作流中的数据采集、字段映射和逻辑处理转换成结果表，所述数据采集与管理系统中的数据披露接口工作流自动读取从外部添加的E文件模板并依据结果表与披露E文件字段之间的映射关系进行处理和加密后发布披露文件。

优选的，为了让信息披露采集结果抽象化便于后期的管理工作，所述数据存储模型先将原始数据转换成E-R图再通过SQL方言中的建表语句创建源端数据表。

优选的，为了能够适应多样化的数据类型，所述源端数据表包括时间点类数值存储表、参数类数值存储表、列表类数值存储表以及检修类数值存储表等。

优选的，为了能够使接收数据的方式更加便捷，所述数据采集与管理系统设有四种数据接入方式，分别是外部数据库接入、E文件数据接入、XML数据接入以及线下文档数据接入。

优选的，为了使数据采集接口工作流中的绝大部分数据均能够实现相应的映射和逻辑处理，所述数据采集接口工作流中设有能够按需添加映射和逻辑处理的基础组件配置和能够根据新增数据的实际特点进行选择配置的标准化配置。

优选的，为了使基础组件配置能够适应大部分的数据处理逻辑，所述基础组件配置包括求和组件、求平均值组件、联合组件、关联组件、字符串截取组件、字符替换组件以及数据格式化组件。

优选的，为了能够根据实际新增披露项的数据内容及特点去选择相应的逻辑处理方式，所述标准化配置设有能够将数据由多个采集逻辑进行采集的设置和能够将时间点类数据字段进行自动映射的设置。

优选的，为了能够适应实际披露文件的加密流程，所述数据披露接口工作流中的加密设置包括不加密选项、全文件加密选项以及关键字段加密选项。

优选的，为了能够采集目标端表中需要披露的数据信息，所述数据披露接口工作流中设有能够根据披露项的周期时间和披露编码进行采集数据的披露数据获取逻辑。

有益效果：与现有技术相比，本发明具有如下显著优点：(1)通过设计采集结果数据模型，使信息披露采集结果数据模型更加标准化，简化了采集接口和披露接口开发的字段映射工作，有利于后期系统和数据的管理工作。(2)优化信息披露工作流程，减少系统接口开发量，使得接口开发工作更加标准化，易维护。能够为交易机构有效地提供完整、准确、及时的现货市场披露数据。

附图说明

图1为本发明的结构整体流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图所示，本发明所述的电力市场信息披露数据的采集与管理系统中的信息披露采集结果数据模型设计主要解决当前信息披露采集结果实体未做有效抽象，导致数据模型繁多难以管理的问题，其具体设计内容包括：

(1)分析当前信息披露需求，分析每项披露数据的内容、数据流，源端数据的存储情况以及数据项；

(2)概念模型设计：抽取信息披露实体、属性和实体间的联系，确定E-R图。解决局部E-R图的冲突，降低冗余；

(3)逻辑模型设计：进行E-R图到关系模型转换并进行数据表结构设计，例如：时间点类数值存储表(数据唯一编码、设备id、数据来源id、披露编码、数据类型、数据时间、数据更新时间、数据点1……数据点288、备用字段1、备用字段2、备用字段3、备用字段4)；参数类数值存储表；列表类数值存储表；检修类数值存储表等；

(4)物理模型设计：根据具体数据库的特点和逻辑模型设计结果，创建符合数据库SQL方言的建表语句并设计索引以优化性能。

信息披露采集结果数据模型的设计，对采集结果存储实体进行了抽象，减少冗余模型，并使原来繁多的信息披露结果存储模型更加标准化，更有利于后期信息披露采集工作和披露工作中的字段映射的简化，也更有利于后期对系统及数据的管理工作。

信息披露数据采集配置主要解决新增披露项时采集接口需要定制开发和系统扩展性差的问题，具体设计内容包括：

(1)设置数据接入方式选择配置，接入方式包括：外部数据库数据接入、E文件数据接入、XML数据接入以及线下文档数据接入。针对不同的接入方式，填写关键配置信息即可，如外部数据库需要填写数据库类型，数据库驱动，连接url以及用户名、密码等；E文件数据接入、XML数据接入填入文件读取路径，如果涉及远程服务器读取，则需配置ssh连接端口及服务器用户名密码信息；线下文档数据接入从页面手动上传即可。

(2)设置基础组件配置，基础组件可以在工作流中的映射、逻辑处理时按需进行添加。设置的基础组件包括：求和组件(SUM),求平均值组件(AVG),联合组件(UNION)，关联组件(JOIN)，字符串截取组件(SUBSTR)、字符替换组件(REPLACE)、数据格式化组件(FORMAT)等。

(3)设置信息披露标准化配置，可以根据实际新增披露项的数据内容及特点进行选择配置。标准化配置包括：1.设置数据是否由多个采集逻辑采集，如果配置为“是”，则在执行多个采集部分后，组合数据进行数据入库；比如宁夏实时市场出清结果披露，需要对新能源价格、新能源出力、火电价格、火电出力四部分数据分别进行采集，此时，需要将该配置项设置为“是”进行处理；2.对于时间点类的数据披露，可配置源端数据点字段名前缀、源端数据点时间间隔、目标端数据点数据间隔、源端数据表为横表或者纵表、是否需要将时间段内的单值填充至多个数据点内等。配置的源端数据点时间间隔与目标端数据点时间间隔会自动计算进行映射，如源端数据点时间间隔为300s，目标端数据点时间间隔900s，此时会将源端0015分的数据字段拼接配置的源端数据点字段名前缀与目标端的0015分的对应字段进行映射，无需再次在工作流中手动建立映射；如果源端数据表为“纵表”，则会自动进行纵表转横表，并与目标端字段进行映射；如果配置了时间段内的单值填充至多个数据点内时，则会对时间范围进行计算转换，并将结果映射至目标字段，如：发电机组检修总容量，某天某个发电机组的检修时间为9:00至10:00，如果设置了“填充”选项，则会在0900、0915、0930、1000四个时间点的数据中加上该发电机组的容量，其他时间段的数据中不增加。

信息披露数据采集工作流的工作过程包括：

(1)添加源端表或源端、目标端表文件至工作流。

(2)建立源端字段与结果表字段的个性化映射关系。除信息披露标准化配置内的字段映射关系之外(时间点类数据字段自动映射)，其他字段需要进行在流程配置中配置映射关系，建立映射关系时，可以添加基础组件配置进行字段处理。

(3)配置采集逻辑，在采集逻辑中可以通过添加SQL处理逻辑，也可以通过添加基础组件实现具体的采集逻辑。

(4)配置工作流调度任务并运行工作流，验证数据采集结果。如果存在问题，则返回第(1)步进行检查处理。

对信息披露数据采集接口的工作流化的配置设计，能够尽可能的减少在新增披露项时的后台开发。对于信息披露标准配置设计部分，充分总结了信息披露现有的数据采集接口的实现逻辑，将各披露项共性的，可重复操作的部分进行了提炼。有利于接口的快速开发和后期接口的维护工作。

信息披露数据披露配置主要解决新增披露项时披露接口需要定制开发和系统扩展性差的问题。此处主要描述披露配置的工作过程，默认披露前数据的审批流程已经通过。具体包括：

(1)读取E文件模板，获取需要发布的中文字段名和英文字段名。

(2)设置结果表与披露的E文件字段的映射关系：根据新增披露项的披露编码，获取披露项对应的结果存储表，并与E文件模板中的英文字段名做映射。

(3)设置文件加密选项，可选择“不加密”、“全文件加密”和“关键字段加密”。选择“关键字段加密”时，需在第(2)步配置映射关系时，对需要加密的关键字段勾选“加密”配置。

(4)添加披露数据获取逻辑，根据披露项的周期时间和披露编码进行采集。周期时间的计算方法如下：按照披露项周期及周期偏移量(事前为-1，事后为1，实时为0)配置，计算当前的周期时间，如年周期，本年度的周期时间为YYYY-01-01；月周期，本月度的周期时间为YYYY-MM-01；日周期，本周期的周期时间为当日YYYY-MM-DD，如果时间偏移量为-1，则周期时间为本周期的前一日；周周期，本周期的周期时间为本周周一的YYYY-MM-DD格式日期。

(5)配置工作流调度任务并运行工作流，验证数据发布结果。如果存在问题，则返回第(1)步进行检查处理。

对信息披露数据披露接口的工作流化的配置设计，尽可能的减少人为操作部分，接口实现只需要将设计好的符合规范的E文件模板放置在指定位置，系统会自动加载读取配置。在确定结果表和发布结果的映射关系及加密字段后，系统会自动读取需要披露的数据并进行数据的发布。有利于减少接口开发工作量和后期接口维护的工作。