一种基于大数据的管理平台

技术领域

本发明涉及大数据技术领域，更具体的说是涉及一种基于大数据的管理平台。

背景技术

随着人类社会的进步和科学技术的发展，出现在环保、教育、公共安全、城市服务、工商业活动等中的数据量越来越大。在构建智慧城市的过程中，需要运用先进的技术和手段感测、分析、整合城市运行核心系统的各项关键信息，实现城市智慧式管理和运行。

目前，由于数据种类复杂，而计算机对数据的处理仅停留在对数据的简单处理，无法实现对数据的有效分类管理，同时，由于数据种类繁多，且没有统一的管理标准，数据信息难以实现在不同部门实现共享。

因此，如何提供一种能够实现对数据的快速高效分类，并实现各种数据的互联互通和信息交互的管理平台是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于大数据的管理平台，能够实现各种类型数据的互联互通和自动化分类汇总。

为了实现上述目的，本发明采用如下技术方案：

一种基于大数据的管理平台，包括：

数据获取模块，用于按照时间序列获取多种不同类型的数据信息；

应用系统支撑模块，用于将分散、异构的不同类型的数据信息进行聚合，并通过统一的服务接口，实现不同类型的数据信息的跨数据库、跨系统平台的无缝接入和集成；

数据管理模块，用于根据数据地图、数据字典和数据血缘，对各种类型的数据信息的主题、维度和指标进行一致性定义、管理和分类；

运维管理模块，用于监控和优化所述数据获取模块、所述应用系统支撑模块和所述数据管理模块的运行状态。

经由上述的技术方案可知，与现有技术相比，本发明按照时间序列获取数据信息，便于找出数据的统计特性和发展规律，同时，便于对数据的后期分类；本发明通过应用系统支撑模块提供统一的服务接口，使不同企业单位之间进行跨系统平台的集成，实现各个数据中心的互联互通和信息交互，最终实现数据共享；本发明通过数据管理模块实现对各种类型的数据信息进行自动汇总、分析和快速、高精度地分类；本发明通过运维管理模块确保大数据管理平台安全、有效地运行。

优选的，在上述一种基于大数据的管理平台中，还包括数据安全模块；所述数据安全模块用于管理用户的登录界面和权限分配，并提供多层级的安全运行环境。

优选的，在上述一种基于大数据的管理平台中，所述数据安全模块包括登录模块、权限管理模块和信息安全模块；

所述登录模块用于采用Kerberos对用户的登录信息进行认证；

所述权限管理模块用于根据用户的登录信息赋予不同用户相应的权限；

所述信息安全模块用于根据层次将所述管理平台分为网络安全、主机安全、虚拟化安全、应用安全和数据安全多个安全层级，并对配套设施的安全管理和流程提供安全的云环境。

优选的，在上述一种基于大数据的管理平台中，所述应用系统支撑模块包括服务平台模块和云基础设施模块；

所述服务平台模块用于提供标准的服务模型和访问入口，向上层应用提供统一的数据和应用服务；

所述云基础设施模块用于提供统一的管理逻辑，根据所述统一的管理逻辑对各种硬件资源进行虚拟化处理，并随所述管理平台的负载变化，动态调整各种硬件资源分配的规模。

优选的，在上述一种基于大数据的管理平台中，所述数据管理模块包括数据库模块、数据分析模块和数据分类模块；

所述数据库模块用于存储各种分类标签的标准数据信息；

所述数据分析模块用于分析对比所述数据获取模块获取的数据信息与标准数据信息的相似性，并生成分析结果；

所述数据分类模块用于根据所述分析结果确定所述数据获取模块获取的数据信息的类型。

优选的，在上述一种基于大数据的管理平台中，所述数据分析模块包括相似度提取模块和结果生成模块；

所述相似度提取模块用于提取所述数据获取模块获取的数据信息与所述标准数据信息间的相似因子；

所述结果生成模块用于根据所述相似因子的数量确定所述数据获取模块获取的数据信息与所述标准数据信息之间的相似度，并根据所述相似度生成所述分析结果。

优选的，在上述一种基于大数据的管理平台中，所述数据管理模块还包括数据优化模块；

所述数据优化模块用于对所述数据获取模块获取的数据信息进行优化处理。

优选的，在上述一种基于大数据的管理平台中，所述运维管理模块还用于对分类后的数据信息定制不同种类的视图。

优选的，在上述一种基于大数据的管理平台中，还包括实时流计算模块，用于使用SQL开发流式计算任务，兼容离线SQL，并实时分析用户的访问数据、展示流量变化和用户分布情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的基于大数据的管理平台的结构框图；

图2附图为本发明提供的基于大数据的管理平台的另一个实施例的结构框图；

图3附图为本发明提供的数据安全模块的结构框图；

图4附图为本发明提供的应用系统支撑模块的结构框图；

图5附图为本发明提供的数据管理模块的结构框图；

图6附图为本发明提供的基于大数据的管理平台的又一个实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于大数据的管理平台，包括：

数据获取模块1，用于按照时间序列获取多种不同类型的数据信息；

应用系统支撑模块2，用于将分散、异构的不同类型的数据信息进行聚合，并通过统一的服务接口，实现不同类型的数据信息的跨数据库、跨系统平台的无缝接入和集成；

数据管理模块3，用于根据数据地图、数据字典和数据血缘，对各种类型的数据信息的主题、维度和指标进行一致性定义、管理和分类；

运维管理模块4，用于监控和优化数据获取模块、应用系统支撑模块和数据管理模块的运行状态。

本发明按照时间序列采集数据信息，便于找出数据的统计特性和发展规律，同时，便于对数据的后期分类；本发明通过应用系统支撑模块2提供统一的服务接口，使不同企业单位之间进行跨系统平台的集成，实现各个数据中心的互联互通和信息交互，最终实现数据共享；本发明通过数据管理模块3实现对各种类型的数据信息进行自动汇总、分析和快速、高精度地分类；本发明通过运维管理模块4确保大数据管理平台安全、有效地运行。

在另一个实施例中，如图2所示，还包括数据安全模块5；数据安全模块5与运维管理模块4连接；运维管理模块4监控和优化数据安全模块5的运行状态。数据安全模块5用于管理用户的登录界面和权限分配，并提供多层级的安全运行环境。

具体的，如图3所示，数据安全模块5包括登录模块501、权限管理模块502和信息安全模块503；

登录模块501用于采用Kerberos对用户的登录信息进行认证；

权限管理模块502用于根据用户的登录信息赋予不同用户相应的权限；

信息安全模块503用于根据层次将管理平台分为网络安全、主机安全、虚拟化安全、应用安全和数据安全多个安全层级，并对配套设施的安全管理和流程提供安全的云环境。本发明每个安全层级包括安全隔离，可信、可控制，可审计、可恢复的设计原则，以及配置管理、用户和安全加固、安全审计、漏洞管理等管理方法。

在一个实施例中，如图4所示，应用系统支撑模块2包括服务平台模块201和云基础设施模块202；

服务平台模块201用于提供标准的服务模型和访问入口，向上层应用提供统一的数据和应用服务；

云基础设施模块202用于提供统一的管理逻辑，根据统一的管理逻辑对各种硬件资源进行虚拟化处理，并随管理平台的负载变化，动态调整各种硬件资源分配的规模。

本发明通过服务平台模块201实现网络基础设施和多层次的服务功能，同时能够消除不同系统之间彼此隔离造成的“信息孤岛”，实现不同业务应用系统数据之间的互联互通，最终实现数据共享。本发明通过云基础设施模块202通过在服务器上部署虚拟化软件，将硬件资源虚拟化，从而使一台物理服务器可以承担多台服务器的工作，通过向上提供物理机、虚拟主机、虚拟存储、虚拟网络等服务能力，来为用户提供一个功能完整、标准开放、方便集成的基础设施服务层，并随着应用系统负载变化，动态改变资源分配的规模，以快速适应应用系统的扩容需求，实现弹性资源分配能力。

在一个实施例中，如图5所示，数据管理模块3包括数据库模块301、数据分析模块302和数据分类模块303；

数据库模块301用于存储各种分类标签的标准数据信息；

数据分析模块302用于分析对比数据获取模块1获取的数据信息与标准数据信息的相似性，并生成分析结果；

数据分类模块303用于根据分析结果确定数据获取模块1获取的数据信息的类型。

具体的，数据分析模块302包括相似度提取模块3021和结果生成模块3022；

相似度提取模块3021用于提取数据获取模块1获取的数据信息与标准数据信息间的相似因子；

结果生成模块3022用于根据相似因子的数量确定数据获取模块1获取的数据信息与标准数据信息之间的相似度，并根据相似度生成分析结果。

本发明可以应用于天气、设备维修、粮食产量和医疗诊断方面，下面对粮食产量评估和设备维修进行举例说明。

当数据获取模块1获取的数据信息为某一省各地区近几年的粮食产量时，则数据库模块301存储的分类标签为高产量、中产量和低产量下的标准时序数据序列的数据信息，将获取的相应地区的粮食产量分别与高产量、中产量和低产量下的标准时序数据序列的数据信息进行相似度测量，实现对当前获取地区的粮食产量进行分类，为粮食统计评估提供依据。

当数据获取模块1获取的数据信息为某一电力设备的电流时，则数据库模块301存储的分类标签为正常、过流、电流偏低三种情况下对应电流的标准时序数据序列，将获取的时序数据序列分别与正常、过流、电流偏低下对应电流的标准时序数据序列进行相似性度量，实现对当前获取的电流的分类，为设备诊断维修提供有效数据。

更有利的，数据管理模块3还包括数据优化模块304；

数据优化模块304用于对数据获取模1块获取的数据信息进行优化处理，删除噪声数据。

更有利的，运维管理模块4还用于对分类后的数据信息定制不同种类的视图。本发明通过运维管理模块4以不同的方式进行统计报表或图表的输出，显示更加直观。

在另一个实施例中，如图6所示，还包括实时流计算模块6，用于使用SQL开发流式计算任务，兼容离线SQL，并实时分析用户的访问数据、展示流量变化和用户分布情况。

实时流计算模块6与运维管理模块4相连，运维管理模块4监控和优化实时流计算模块6的运行状态。

实时流计算模块6具备高可用、高吞吐、低延迟和精准计算等特点，用户可在该大数据管理平台上调试和提交SQL开发流式计算任务，为用户节省开发、运维等方面的投入，帮助用户专注于解决产品本身的流计算需求。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。