基于分布式列式存储的云数据中心系统历史数据管理方法

技术领域

本发明涉及一种基于分布式列式存储的云数据中心系统历史数据管理方法，属于电力系统自动化电网数据管理技术领域。

背景技术

目前，全国各地调EMS主调建设大部分都采用了D5000系统，针对均采用D5000系统的省调和地调可以建设省地模型中心，完成后各地调及省调与模型中心的联调工作，实现全省模型的模型中心汇集功能。这也为云数据中心系统的建设提供了良好的契机。全省模型中心保证了省调与地调系统相同模型记录的ID一致性，为后续开展省地一体化云数据中心的建设工作，节省大量的时间和人工，为后续云数据中心系统建设打下良好的基础。

云数据中心系统主要完成纵向和横向的EMS模型，图形，数据集成和发布功能。其中，纵向数据集成指的是数据中心能够汇集省调与地调的数据及相关模型、图形与参数，满足数据中心进行状态估计计算的要求，以及后续省地联合应用交互的桥梁和中心集成展示的需求。

历史数据管理是云数据中心系统核心功能之一，历史数据管理通过基于云技术的大数据处理平台实现，为上层应用提供安全、稳定、高效、易扩展的海量历史数据管理手段，实现历史数据的统一存储和高效访问，并提供丰富的历史数据可视化展示方法，为基于历史数据的分析展示应用提供技术支撑，为建设云数据中心系统奠定坚实的基础。

现有技术大多采用关系库存储历史数据，缺乏历史数据的统一存储。

发明内容

本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出基于分布式列式存储的云数据中心系统历史数据管理方法，针对不同地调的海量历史数据，基于分布式列式存储实现高可靠、高性能、面向列、可伸缩的历史数据集中存储，实现历史数据准实时汇聚，实现历史数据透明访问。

本发明具体采用如下技术方案：基于分布式列式存储的云数据中心系统历史数据管理方法，所述云数据中心系统包括：历史数据抽取服务模块、HBase主动采样服务模块、分布式列式存储数据库HBase、HBase采样查询服务模块、上层应用模块，所述历史数据抽取服务模块、所述HBase主动采样服务模块、所述HBase采样查询服务模块分别与所述分布式列式存储数据库HBase通讯连接，HBase采样查询服务模块与所述上层应用模块通讯连接，所述管理方法包括如下步骤：

历史数据抽取服务模块从模型库中获取订阅的量测信息；根据所述量测信息来源通过服务总线向所述量测信息来源所在区域调度的历史数据服务请求指定历史数据，所述历史数据抽取服务模块获得数据后直接提交给分布式列式存储数据库HBase；HBase主动采样服务模块负责模型中心私有模型的数据采集，HBase主动采样服务模块提交数据到分布式列式存储数据库HBase；HBase采样查询服务模块为所述上层应用模块提供历史数据查询服务。

作为一种较佳的实施例，所述量测信息包括遥测历史数据订阅表，所述遥测历史数据订阅表描述数据中心采样数据的规模，以及为各个量测信息描述直采区域。

作为一种较佳的实施例，所述云数据中心系统维护遥测历史数据订阅表，标识测点的来源，具体包括：从哪个地调抽取该测点的历史数据，而不是分配存储的位置；如果该测点来源为数据中心，则表示数据由本地的历史采样服务进行采集；如果该测点来源为非数据中心，则从所定义的区域抽取历史数据。

作为一种较佳的实施例，所述HBase主动采样服务模块包括主动采样定义模块、被动采样定义模块；所述主动采样定义模块用于确定数据源；所述被动采样定义模块用于确定采样周期，所述HBase主动采样服务模块的数据源默认为“云数据中心系统”；所述HBase主动采样服务模块默认按照数据源、厂站、表的策略显示已定义量测点。

作为一种较佳的实施例，所述管理方法包括：直接采样区域为云数据中心系统，则由HBase主动采样服务模块执行；如果直接采样区域为非云数据中心系统，则由历史数据抽取服务模块执行。

作为一种较佳的实施例，所述管理方法包括：非云数据中心系统采样的测点按照数据类型的不同分为计算点和非计算点两种处理方式，对应的抽取周期分别为延时5分钟和延时10分钟；对于计算点由于历史数据重算服务延时5分钟重新计算结果值后回写采样库，使用延时10分钟抽取周期策略，而非计算值表使用延时5分钟抽取周期策略。

作为一种较佳的实施例，所述管理方法包括：历史数据抽取服务模块根据遥测历史数据订阅表从各个地调按1小时间隔查询“采样修改告警表”，对于该扫描周期内存在采样修改的，重新从数据源按时间点抽取采样数据，然后保存到分布式列式存储数据库HBase中。

作为一种较佳的实施例，所述管理方法包括：所述HBase主动采样服务模块通过遥测历史数据订阅表过滤出需要本地采集的测点集合，按定义的时间周期从分布式列式存储数据库HBase中获取数据；数据采集成功后，存入采样队列中，采样队列中采样点结构为“时间--值--质量码”。

作为一种较佳的实施例，所述管理方法包括：如果采样队列满，则启用采样数据追捕动态库把新的采样点按“时间--值--质量码--应用”存到本地磁盘上，但采样队列中数据刷出后新的采样点仍然写入采样队列中，为避免该进程重启时，缓存在采样队列中的数据丢失，引入特殊的信号量“SIGHUP”,表示需要把当前采样队列中的数据刷到磁盘保存，并退出程序；HBase主动采样服务模块执行监视本地磁盘目录，如果发现有文件生成则解析文件后把采样数据提交分布式列式存储数据库HBase。

作为一种较佳的实施例，所述管理方法包括：采用分布式列式存储数据库HBase存储各区域海量历史数据；存储表结构采用“长窄表”结构；所述“长窄表”结构具体包括：采样以三元组“量测--值--质量码”的方式保存，一行记录表示一个时刻采样。

本发明所达到的有益效果：本发明设计的一种基于分布式列式存储的云数据中心系统历史数据管理方法，针对不同地调的海量历史数据，基于分布式列式存储实现高可靠、高性能、面向列、可伸缩的历史数据集中存储，支持历史数据准实时汇聚与透明访问。本发明实现了高可靠、高性能、面向列、可伸缩的历史数据存储；支持历史数据准实时汇聚；实现了应用对历史数据透明访问。

附图说明

图1是本发明的优选实施例的原理拓扑示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1：如图1所示，本发明提出基于分布式列式存储的云数据中心系统历史数据管理方法，所述云数据中心系统包括：历史数据抽取服务模块、HBase主动采样服务模块、分布式列式存储数据库HBase、HBase采样查询服务模块、上层应用模块，所述历史数据抽取服务模块、所述HBase主动采样服务模块、所述HBase采样查询服务模块分别与所述分布式列式存储数据库HBase通讯连接，HBase采样查询服务模块与所述上层应用模块通讯连接，所述管理方法包括如下步骤：

历史数据抽取服务模块从模型库中获取订阅的量测信息；根据所述量测信息来源通过服务总线向所述量测信息来源所在区域调度的历史数据服务请求指定历史数据，所述历史数据抽取服务模块获得数据后直接提交给分布式列式存储数据库HBase；HBase主动采样服务模块负责模型中心私有模型的数据采集，HBase主动采样服务模块提交数据到分布式列式存储数据库HBase；HBase采样查询服务模块为所述上层应用模块提供历史数据查询服务。

作为一种较佳的实施例，所述量测信息包括遥测历史数据订阅表，所述遥测历史数据订阅表描述数据中心采样数据的规模，以及为各个量测信息描述直采区域。

作为一种较佳的实施例，所述云数据中心系统维护遥测历史数据订阅表，标识测点的来源，具体包括：从哪个地调抽取该测点的历史数据，而不是分配存储的位置；如果该测点来源为数据中心，则表示数据由本地的历史采样服务进行采集；如果该测点来源为非数据中心，则从所定义的区域抽取历史数据。

作为一种较佳的实施例，所述HBase主动采样服务模块包括主动采样定义模块、被动采样定义模块；所述主动采样定义模块用于确定数据源；所述被动采样定义模块用于确定采样周期，所述HBase主动采样服务模块的数据源默认为“云数据中心系统”；所述HBase主动采样服务模块默认按照数据源、厂站、表的策略显示已定义量测点。

作为一种较佳的实施例，所述管理方法包括：直接采样区域为云数据中心系统，则由HBase主动采样服务模块执行；如果直接采样区域为非云数据中心系统，则由历史数据抽取服务模块执行。

作为一种较佳的实施例，所述管理方法包括：非云数据中心系统采样的测点按照数据类型的不同分为计算点和非计算点两种处理方式，对应的抽取周期分别为延时5分钟和延时10分钟；对于计算点由于历史数据重算服务延时5分钟重新计算结果值后回写采样库，使用延时10分钟抽取周期策略，而非计算值表使用延时5分钟抽取周期策略。

作为一种较佳的实施例，所述管理方法包括：历史数据抽取服务模块根据遥测历史数据订阅表从各个地调按1小时间隔查询“采样修改告警表”，对于该扫描周期内存在采样修改的，重新从数据源按时间点抽取采样数据，然后保存到分布式列式存储数据库HBase中。

作为一种较佳的实施例，所述管理方法包括：所述HBase主动采样服务模块通过遥测历史数据订阅表过滤出需要本地采集的测点集合，按定义的时间周期从分布式列式存储数据库HBase中获取数据；数据采集成功后，存入采样队列中，采样队列中采样点结构为“时间--值--质量码”。

作为一种较佳的实施例，所述管理方法包括：如果采样队列满，则启用采样数据追捕动态库把新的采样点按“时间--值--质量码--应用”存到本地磁盘上，但采样队列中数据刷出后新的采样点仍然写入采样队列中，为避免该进程重启时，缓存在采样队列中的数据丢失，引入特殊的信号量“SIGHUP”,表示需要把当前采样队列中的数据刷到磁盘保存，并退出程序；HBase主动采样服务模块执行监视本地磁盘目录，如果发现有文件生成则解析文件后把采样数据提交分布式列式存储数据库HBase。

作为一种较佳的实施例，所述管理方法包括：采用分布式列式存储数据库HBase存储各区域海量历史数据；存储表结构采用“长窄表”结构；所述“长窄表”结构具体包括：采样以三元组“量测--值--质量码”的方式保存，一行记录表示一个时刻采样。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。