一种基于海量数据的动态矢量切片高效发布方法

技术领域

本发明涉及电网运维技术领域，尤其是指一种基于海量数据的动态矢量切片高效发布方法。

背景技术

自电网GIS平台建设以来，已在公司26家网省公司运行，实现对主网、部分配网和用户数据在运行状态的管理，支撑了公司30多套核心业务系统应用，实现了对主配网及用户4.3亿台设备的集约化管理。目前问题主要体现在：

1)管理电网设备量几何级增长：电网设备管理已延伸至低压及农网用户，物理设备量将达10亿级，逻辑设备及历史状态数据量预计达到百亿级。已远远超过原10亿级设备设计容量。

2)用户访问量大幅增长：营配调业务贯通并精益化管理延伸至电网末端，势必带来频繁的业务访问及用户量的大幅攀升，平台并发设计已难以满足访问需求。

3)电网图形实时性需求进一步提高：调度应用及电网实时数据展现需求对电网地理图及拓扑实时变化要求进一步提高，传统部署及计算模式难以支撑大面积、大场景情况下的电网分析功能。

在集成方式下每个集成子系统都有自己的客户端、账户系统、用户界面、操作习惯等，导致系统存在多端、多帐号、多种界面，缺乏一致性，各子系统存在部分功能重叠、数据冗余等问题，并且因为缺乏统一的数据结构、通讯标准，子系统之间通常存在兼容性问题。

其次，扩展方式通常存在旧系统语言或架构过时，与原有业务深度耦合，新的扩展只能在此基础上做修改和增补，经常无法解决新业务扩展所需的新的性能要求，这样持续扩展带来的结果就是系统不稳定甚至崩溃。

再者，由于缺乏整体架构设计，原有系统在数据结构、业务逻辑、安全性、可扩展性、可靠性、可用性等方面设计无法满足智能电网在访问量、运算量上呈几何级增长的需求。

因此，有必要利用云计算、大数据技术，进一步优化电网GIS平台技术架构，进一步提升平台组件的海量数据管理能力，同时还需要从根本上提升系统性能与健壮性，提升平台集成应用的便捷性。

发明内容

本发明的目的在于提供一种基于海量数据的动态矢量切片高效发布方法，用于合理高效地重构电网平台，模式能充分发挥云计算和大数据技术的特性，可以灵活地、实时地、动态地扩展平台的业务和能力。

为达成上述目的，本发明的解决方案为：提供一种基于海量数据的动态矢量切片高效发布方法，应用于运维系统中，所述运维系统包括集群及网关，所述网关包括集群网关及路由网关，所述集群包括负载均衡服务器及冗余调度控制服务器，所述方法包括：所述集群获取数据流，由所述集群网关向所述路由网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端，所述冗余调度控制服务器通过冗余调度，当出现个别服务器宕机时，配置冗余的服务器接入并继续处理数据流发送至对应的终端。

进一步，集群启动后，由集群网关向路由网关登记集群服务属性、运行状态等信息；当某集群网关需要依赖其他集群提供的服务时，由该集群网关向路由网关获取依赖集群的接入信息，包括服务属性、元数据等；当依赖集群由于故障等原因无法提供服务时，由路由网关向集群网关发布断路信息，并向运维系统发布故障警报；

进一步，集群指为平台提供某一方面业务服务的服务器实例群，集群具备负载均衡、高可用性、高性能的特点。

进一步，集群包含面向数据存取备份的数据库集群、面向物联网设备连接的接入集群、面向算力输出的运算集群、大数据分析集群、面向信息管理的信息业务集群、面向业务服务输出的客户端服务集群等。

进一步，集群由一组提供相同或相关服务的服务器实例组成，并配有负载均衡和冗余调度控制服务器，可以将对该集群的大量访问按机制分布到各个服务器处理，并在某些服务器宕机的情况下，通过冗余调度，配置冗余服务器接入继续提供服务。

进一步，集群根据实际需要，可按面向的业务划分，或者按面向的架构层级划分。集群内的服务器实例共同完成一个或若干个相关的功能服务

进一步，网关可分为集群管理网关和路由网关。网关是对各集群进行有机组织的重要角色，将若干个业务关联的集群组成集群网络，由集群网络向用户提供更高级的业务服务。

进一步，集群管理网关负责管理某个集群，包括管理集群整体以及各实例的运行状态、运行日志、运行负荷、故障警报等信息，并对外发布集群服务属性、能力和数据标准等信息

进一步，管道是集群与网关之间，网关之间以及集群之间的数据通信通道。管道根据实际需要可以设计成消息机制、IPC机制、LPC机制或者RPC机制等。各角色实体通过管道完成数据交互，最终共同完成一套完整的业务集；

进一步，所述集群包括数据库集群、设备接入集群、运算集群、信息业务集群、客户端服务集群，所述数据库集群用于获取数据存取备份的数据流、所述设备接入集群用于获取物联网设备连接的数据流、所述运算集群用于获取算力输出的数据流、所述信息业务集群获取信息管理的数据流、所述客户端服务集群用于获取业务服务输出的数据流。

进一步，当所述集群网关调用所述集群提供的服务时，由所述集群网关向所述路由网关获取所述集群的接入信息，所述接入信息包括服务属性及元数据。

进一步，当所述集群无法提供服务时，由所述路由网关向所述集群网关发布断路信息，并向所述运维系统发布故障报警至对应终端。

进一步，运维系统还包括管道，所述管道是所述集群与所述网关之间、所述集群内部之间及所述网关内部之间的数据通信通道，所述管道采用IPC架构或LPC架构或RPC架构。

进一步，本发明还提供一种基于海量数据的动态矢量切片高效发布系统，包括集群及网关，所述网关包括集群网关及路由网关，所述集群包括负载均衡服务器及冗余调度控制服务器，所述方法包括：所述集群获取数据流，由所述集群网关向所述路由器网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端，所述冗余调度控制服务器通过冗余调度，当出现个别服务器宕机时，配置冗余的服务器接入并继续处理数据流发送至对应的终端。

进一步，本发明还提供一种基于海量数据的动态矢量切片高效发布装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上述的一种基于海量数据的动态矢量切片高效发布方法。

进一步，本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述的一种基于海量数据的动态矢量切片高效发布方法。

进一步，本发明还提供一种基于海量数据的动态矢量切片高效发布的数据库，包括存储空间，存储空间分布式存储如上述的一种基于海量数据的动态矢量切片高效发布方法及信息。

采用上述方案后，本发明的增益效果在于：

1、本发明提供电网运维中数据流的发布方法及系统，摈弃原有方案的集成或扩展方式，从可扩展性、高可用性、高可靠性等性能需求出发，发挥目前集群具有高可用性和高性能的特性，采用负载均衡服务器和冗余调度服务器调度集群，对平台进行全新的整体架构设计。

附图说明

图1是本发明的运维系统的系统架构示意图；

图2是本发明的集群调度示意图；

图3是本发明的数据库集群示意图；

图4是本发明的设备接入集群示意图；

图5是本发明的运算集群示意图；

图6是本发明的信息业务集群示意图；

图7是本发明的集群网关示意图；

图8是本发明的路由网关示意图；

图9是本发明的依赖集群示意图；

图10是本发明的依赖集群示意图；

图11是本发明的集群、网关及管道链接关系示意图；

图12是本发明的冗余调度流程示意图；

具体实施方式

以下结合附图1-12及具体实施例对本发明做详细的说明。

图1是本发明的运维系统的系统架构示意图，所述运维系统在于提供电网运维中的数据存储及处理服务，所述运维系统包括集群及网关，所述网关包括集群网关及路由网关，

图2是本发明的集群调度示意图，所述集群包括负载均衡服务器及冗余调度控制服务器，所述方法包括：所述集群获取数据流，由所述集群网关向所述路由网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端，所述冗余调度控制服务器通过冗余调度，当出现个别服务器宕机时，配置冗余的服务器接入并继续处理数据流发送至对应的终端。

集群负载均衡可以采用简单随机、加权随机、轮询等策略，可根据集群内服务器实例的容量和处理能力来决定采用哪种策略或者多策略结合。

简单随机策略是指为集群的访问者随机分配集群内的一个服务器实例为其完成服务。

Si＝Random()％n 服务器实例编号:0、1、…n-1

Si：选中的服务器实例编号

Random()：随机值函数

％：取模运算(简单随机策略算法)

加权随机策略是指为集群内的服务器实例分配权重值，权重值越高的实例，被分配为集群访问者提供服务的几率就越大。可见简单随机策略等同于各服务器实例权重值相等的加权随机策略。

①ti＝ti+wi服务器实例编号:0、1、…n-1

②ti＝ti-W Si：选中的服务器实例编号

③Si＝Fun(MAX(t0 t1...)) W：权重总值，即所有实例权重值之和

循环①②③步骤 实例权重值：w0、w1、…

实例权重计算值值：t0、t1、…

实例i权重值：wi

实例i权重计算值：ti

MAX()：取最大值

Fun()：取最大值对应的实例编号(加权随机策略算法)

轮询策略是指将集群内的服务器实例按一定的顺序排序，形成队列，并依次从队列里获取下一个实例为集群的访问者提供服务。

Si＝(i++)％n 服务器实例编号:0、1、…n-1

Si：选中的服务器实例编号

％：取模运算(轮询策略算法)

简单随机策略和轮询策略适用于集群内各服务器实例的容量和处理能力大体相当的情况。

加权随机策略适用于集群内各服务器实例的容量和处理能力不一致的情况，可为容量和处理能力低的实例分配较低的权重。

结合图12说明，冗余调度是指在集群中配置一些服务器实例做为冗余实例，平时不承载服务，当工作服务器实例出现故障时，调度所述冗余实例介入，接替故障实例完成服务，减少故障导致服务中断的时间。

具体的，集群启动后，由集群网关向路由网关登记集群服务属性、运行状态等信息；当某集群网关需要依赖其他集群提供的服务时，由该集群网关向路由网关获取依赖集群的接入信息，包括服务属性、元数据等；当依赖集群由于故障等原因无法提供服务时，由路由网关向集群网关发布断路信息，并向运维系统发布故障警报；

具体的，集群指为平台提供某一方面业务服务的服务器实例群，集群具备负载均衡、高可用性、高性能的特点。

具体的，集群包含面向数据存取备份的数据库集群、面向物联网设备连接的接入集群、面向算力输出的运算集群、大数据分析集群、面向信息管理的信息业务集群、面向业务服务输出的客户端服务集群等。

具体的，集群由一组提供相同或相关服务的服务器实例组成，并配有负载均衡和冗余调度控制服务器，可以将对该集群的大量访问按机制分布到各个服务器处理，并在某些服务器宕机的情况下，通过冗余调度，配置冗余服务器接入继续提供服务。

具体的，集群根据实际需要，可按面向的业务划分，或者按面向的架构层级划分。集群内的服务器实例共同完成一个或若干个相关的功能服务

具体的，网关可分为集群管理网关和路由网关。网关是对各集群进行有机组织的重要角色，将若干个业务关联的集群组成集群网络，由集群网络向用户提供更高级的业务服务。

具体的，集群管理网关负责管理某个集群，包括管理集群整体以及各实例的运行状态、运行日志、运行负荷、故障警报等信息，并对外发布集群服务属性、能力和数据标准等信息

具体的，管道是集群与网关之间，网关之间以及集群之间的数据通信通道。管道根据实际需要可以设计成消息机制、IPC机制、LPC机制或者RPC机制等。各角色实体通过管道完成数据交互，最终共同完成一套完整的业务集；

具体的，所述集群包括数据库集群、设备接入集群、运算集群、信息业务集群、客户端服务集群，所述数据库集群用于获取数据存取备份的数据流、所述设备接入集群用于获取物联网设备连接的数据流、所述运算集群用于获取算力输出的数据流、所述信息业务集群获取信息管理的数据流、所述客户端服务集群用于获取业务服务输出的数据流。

具体的，当所述集群网关调用所述集群提供的服务时，由所述集群网关向所述路由网关获取所述集群的接入信息，所述接入信息包括服务属性及元数据。

具体的，当所述集群无法提供服务时，由所述路由网关向所述集群网关发布断路信息，并向所述运维系统发布故障报警至对应终端。

具体的，运维系统还包括管道，所述管道是所述集群与所述网关之间、所述集群内部之间及所述网关内部之间的数据通信通道，所述管道采用IPC架构或LPC架构或RPC架构。

具体的，本发明还提供一种基于海量数据的动态矢量切片高效发布系统，包括集群及网关，所述网关包括集群网关及路由网关，所述集群包括负载均衡服务器及冗余调度控制服务器，所述方法包括：所述集群获取数据流，由所述集群网关向所述路由器网关登记所述集群服务属性、运行状态；所述负载均衡服务器将所述数据流分布到所述集群的各服务器处理并发送到对应的终端，所述冗余调度控制服务器通过冗余调度，当出现个别服务器宕机时，配置冗余的服务器接入并继续处理数据流发送至对应的终端。

具体的，本发明还提供一种基于海量数据的动态矢量切片高效发布装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上述的一种基于海量数据的动态矢量切片高效发布方法。

具体的，本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述的一种基于海量数据的动态矢量切片高效发布方法。

具体的，本发明还提供一种基于海量数据的动态矢量切片高效发布的数据库，包括存储空间，存储空间分布式存储如上述的一种基于海量数据的动态矢量切片高效发布方法及信息。

综上所述，本发明提供电网运维中数据流的发布方法及系统，摈弃原有方案的集成或扩展方式，从可扩展性、高可用性、高可靠性等性能需求出发，发挥目前集群具有高可用性和高性能的特性，采用负载均衡服务器和冗余调度服务器调度集群，对平台进行全新的整体架构设计。

以上所述仅为本发明的较佳实施例，并非对本案设计的限制，凡依本案的设计关键所做的等同变化，均落入本案的保护范围。