一种基于计算机云计算大数据用数据管理系统

技术领域

本发明涉及计算机云计算技术领域，具体为一种基于计算机云计算大数据用数据管理系统。

背景技术

云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内完成对数以万计的数据的处理，从而达到强大的网络服务。

现有技术中的数据管理系统，大多采用全集中结构，在大数据压力下容易出现性能瓶颈的问题，而且，数据库的延展难度大，在访问时，访问模型单一，存在单点失效的问题；因此，设计一种基于计算机云计算大数据用数据管理系统是很有必要的。

发明内容

本发明的目的在于提供一种基于计算机云计算大数据用数据管理系统，通过对多种类、多来源的流程数据进行多样化的采集获取，并进行层级化的抽取、清洗和过滤等数据预处理，通过多模式多格式大数据统一存储的存储技术，并通过数据分类聚合、数据索引标记等技术对数据进行处理，提供统一高效的数据查询访问；同时，通过数据分析平台和数据共享服务对分析结果概念化、系统化，将数据和信息转化为知识，从而满足不同受众进行多维度多样化立体展现。

本发明的目的可以通过以下技术方案实现：

一种基于计算机云计算大数据用数据管理系统，包括数据采集框架、数据存储框架、数据分析框架、数据服务框架、服务交付框架、运维管理框架、分布式数据总线和分布式工作流引擎，所述运维管理框架连接安装有分布式数据总线，所述分布式数据总线连接安装有数据采集框架、数据存储框架、数据服务框架和服务交付框架，所述数据存储框架连接安装有数据分析框架，所述数据采集框架数据分析框架、数据服务框架和服务交付框架连接安装有分布式工作流引擎，所述数据采集框架与数据存储框架连接，所述数据存储框架和数据服务框架连接，所述数据服务框架与服务交付框架连接。

作为本发明进一步的方案：所述数据采集框架对采集点的数据进行高效可信独立的采集，同时通过指定的配置和策略对各类数据进行预处理；所述数据采集框架包括配制管理模块、数据过滤模块和数据预处理模块。

作为本发明进一步的方案：所述数据存储框架包括综合数据管理模块、关系型数据库集群模块、分布式实时数据库模块和分布式文件模块，所述关系型数据库集群模块通过集群化的关系型数据库，实现海量强关系型结构化数据的存储和快速访问并对数据分析系统进行很好的支撑；所述关系型数据库集群模块包括数据库同步分发单元；所述分布式实时数据库模块用于对数量特别巨大且关联性不强的结构化和半结构化数据进行实时高效的存储和访问，同时，支撑这类数据的实时和离线的分布式计算分析，所述分布式实时数据库模块包括数据库管理单元、磁盘数据库单元和内存数据库单元，所述分布式文件模块用于总数量和总容量都很大的各类图片、视频等多媒体文件以及其他非结构化数据的实时高效存储和访问，所述分布式文件模块包括元数据管理单元、访问控制单元和冗余策略单元。

作为本发明进一步的方案：所述数据分析框架从存放数据库和其他信息源中的大量的销售数据和用户行为数据中获取有效的、有使用价值的、最终可决策和执行的信息；所述数据分析框架包括分布式计算模块、数据转换模块、数据聚合模块、数据关联模块和数据挖掘模块。

作为本发明进一步的方案：所述数据服务框架通过对业务系统在护皮能够的数据层、服务处实现功能抽象，采用面向服务体系结构将系统应用的不同功能单元通过服务之间定义良好的接口进而契约联系起来，消除不同应用之间以及数据提供者的技术差异，让不同的应用服务器协调运作，实现不同服务之间的通信与整合，为数据、应用和服务的使用者提供统一透明的访问接口；所述数据服务框架包括服务管理模块、数据访问服务模块和业务逻辑服务模块，所述服务管理模块包括服务注册单元、服务注销单元、服务变更单元、服务审核单元、服务设计单元和服务发布单元，所述数据访问服务模块包括数据库访问单元、实时数据访问单元和文件系统访问单元，所述业务逻辑服务模块包括监控警告单元、智能分析单元和统计报表单元。

作为本发明进一步的方案：所述服务交付框架包括前端服务器模块和交付管理模块，所述交付管理模块包括安全管理单元、终端管理单元、租户管理单元和接入管理单元。

作为本发明进一步的方案：所述运维管理框架用于基础设施管理平台的快速构建，并通过自动化方式进行大规模应用部署、资源和应用的监控报警等，同时实现全系统资源的动态调整；所述运维管理框架包括配制及控制模块、权限管理模块、监控报警模块、应用管理模块和故障管理模块。

作为本发明进一步的方案：所述分布式数据总线是指高容错、高性能的数据传输、交换以及应用协作平台，在大规模分布式应用系统各组成部分之间进行通信和协作。

作为本发明进一步的方案：所述分布式工作流引擎是指实现针对大规模系统的基于分布式工作流技术和策略引擎的复杂任务的定义、调度、协作和执行，主要用于支撑大规模系统的实现。

本发明的有益效果：本发明的数据管理系统，通过对多种类、多来源的流程数据进行多样化的采集获取，并进行层级化的抽取、清洗和过滤等数据预处理，通过恰当的存储技术，在满足一致性要求的基础上，安全、可靠、快速、有效地对多类型、多格式、多特性的数据进行存储，通过数据切片、数据分类聚合、数据索引标记等技术对数据进行处理，提供统一高效的数据查询访问；对海量数据分析、探索和挖掘，探寻数据的模式及特征，寻找数据的信息变化和价值，同时，通过数据分析平台和数据共享服务对分析结果概念化、系统化，将数据和信息转化为知识，从而满足不同受众进行多维度多样化立体展现。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明整体结构示意图；

图2为本发明数据采集框架的结构示意图；

图3为本发明数据存储框架的结构示意图；

图4为本发明数据分析框架的结构示意图；

图5为本发明数据服务框架的结构示意图；

图6为本发明服务交付框架的结构示意图；

图7为本发明运维管理框架的结构示意图；

图中：1、数据采集框架；2、数据存储框架；3、数据分析框架；4、数据服务框架；5、服务交付框架；6、运维管理框架；7、分布式数据总线；8、分布式工作流引擎；11、配制管理模块；12、数据过滤模块；13、数据预处理模块；21、综合数据管理模块；22、关系型数据库集群模块；23、分布式实时数据库模块；24、分布式文件模块；221、数据库同步分发单元；231、数据库管理单元；232、磁盘数据库单元；233、内存数据库单元；241、元数据管理单元；242、访问控制单元；243、冗余策略单元；31、分布式计算模块；32、数据转换模块；33、数据聚合模块；34、数据关联模块；35、数据挖掘模块；41、服务管理模块；42、数据访问服务模块；43、业务逻辑服务模块；411、服务注册单元；412、服务注销单元；413、服务变更单元；414、服务审核单元；415、服务设计单元；416、服务发布单元；421、数据库访问单元；422、实时数据访问单元；423、文件系统访问单元；431、监控警告单元；432、智能分析单元；433、统计报表单元；51、前端服务器模块；52、交付管理模块；521、安全管理单元；522、终端管理单元；523、租户管理单元；524、接入管理单元；61、配制及控制模块；62、权限管理模块；63、监控报警模块；64、应用管理模块；65、故障管理模块。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1-7所示，一种基于计算机云计算大数据用数据管理系统，包括数据采集框架1、数据存储框架2、数据分析框架3、数据服务框架4、服务交付框架5、运维管理框架6、分布式数据总线7和分布式工作流引擎8，运维管理框架6连接安装有分布式数据总线7，分布式数据总线7连接安装有数据采集框架1、数据存储框架2、数据服务框架4和服务交付框架5，数据存储框架2连接安装有数据分析框架3，数据采集框架1数据分析框架3、数据服务框架4和服务交付框架5连接安装有分布式工作流引擎8，数据采集框架1与数据存储框架2连接，数据存储框架2和数据服务框架4连接，数据服务框架4与服务交付框架5连接。

作为本发明的一种实施方式，数据采集框架1对采集点的数据进行高效可信独立的采集，同时通过指定的配置和策略对各类数据进行预处理；数据采集框架1包括配制管理模块11、数据过滤模块12和数据预处理模块13。

作为本发明的一种实施方式，数据存储框架2包括综合数据管理模块21、关系型数据库集群模块22、分布式实时数据库模块23和分布式文件模块24，关系型数据库集群模块22通过集群化的关系型数据库，实现海量强关系型结构化数据的存储和快速访问并对数据分析系统进行很好的支撑；关系型数据库集群模块22包括数据库同步分发单元221；分布式实时数据库模块23用于对数量特别巨大且关联性不强的结构化和半结构化数据进行实时高效的存储和访问，同时，支撑这类数据的实时和离线的分布式计算分析，分布式实时数据库模块23包括数据库管理单元231、磁盘数据库单元232和内存数据库单元233，分布式文件模块24用于总数量和总容量都很大的各类图片、视频等多媒体文件以及其他非结构化数据的实时高效存储和访问，分布式文件模块24包括元数据管理单元241、访问控制单元242和冗余策略单元243。

作为本发明的一种实施方式，数据分析框架3从存放数据库和其他信息源中的大量的销售数据和用户行为数据中获取有效的、有使用价值的、最终可决策和执行的信息；数据分析框架3包括分布式计算模块31、数据转换模块32、数据聚合模块33、数据关联模块34和数据挖掘模块35。

作为本发明的一种实施方式，数据服务框架4通过对业务系统在护皮能够的数据层、服务处实现功能抽象，采用面向服务体系结构将系统应用的不同功能单元通过服务之间定义良好的接口进而契约联系起来，消除不同应用之间以及数据提供者的技术差异，让不同的应用服务器协调运作，实现不同服务之间的通信与整合，为数据、应用和服务的使用者提供统一透明的访问接口；数据服务框架4包括服务管理模块41、数据访问服务模块42和业务逻辑服务模块43，服务管理模块41包括服务注册单元411、服务注销单元412、服务变更单元413、服务审核单元414、服务设计单元415和服务发布单元416，数据访问服务模块42包括数据库访问单元421、实时数据访问单元422和文件系统访问单元423，业务逻辑服务模块43包括监控警告单元431、智能分析单元432和统计报表单元433。

作为本发明的一种实施方式，服务交付框架5包括前端服务器模块51和交付管理模块52，交付管理模块52包括安全管理单元521、终端管理单元522、租户管理单元523和接入管理单元524。

作为本发明的一种实施方式，运维管理框架6用于基础设施管理平台的快速构建，并通过自动化方式进行大规模应用部署、资源和应用的监控报警等，同时实现全系统资源的动态调整；运维管理框架6包括配制及控制模块61、权限管理模块62、监控报警模块63、应用管理模块64和故障管理模块65。

作为本发明的一种实施方式，分布式数据总线7是指高容错、高性能的数据传输、交换以及应用协作平台，在大规模分布式应用系统各组成部分之间进行通信和协作。

作为本发明的一种实施方式，分布式工作流引擎8是指实现针对大规模系统的基于分布式工作流技术和策略引擎的复杂任务的定义、调度、协作和执行，主要用于支撑大规模系统的实现。

本发明的工作原理：通过数据采集框架1能够对多种类、多来源的流程数据进行多样化的采集获取，并进行层级化的抽取、清洗和过滤等数据预处理，并通过数据存储框架2能够通过恰当的存储技术，在满足一致性要求的基础上，安全、可靠、快速、有效地对多类型、多格式、多特性的数据进行存储，通过数据切片、数据分类聚合、数据索引标记等技术对数据进行处理，提供统一高效的数据查询访问；通过数据分析框架3对海量数据分析、探索和挖掘，探寻数据的模式及特征，寻找数据的信息变化和价值，同时，通过数据服务框架4和服务交付框架5对分析结果概念化、系统化，将数据和信息转化为知识，从而满足不同受众进行多维度多样化立体展现，在工作的过程中，数据采集框架1能够对采集点的数据进行高效可信独立的采集，同时通过指定的配置和策略对各类数据进行预处理，数据分析框架3能够从存放数据库和其他信息源中的大量的销售数据和用户行为数据中获取有效的、有使用价值的、最终可决策和执行的信息；数据服务框架4能够通过对业务系统在护皮能够的数据层、服务处实现功能抽象，采用面向服务体系结构将系统应用的不同功能单元通过服务之间定义良好的接口进而契约联系起来，消除不同应用之间以及数据提供者的技术差异，让不同的应用服务器协调运作，实现不同服务之间的通信与整合，为数据、应用和服务的使用者提供统一透明的访问接口；运维管理框架6用于基础设施管理平台的快速构建，并通过自动化方式进行大规模应用部署、资源和应用的监控报警等，同时实现全系统资源的动态调整；分布式数据总线7是指高容错、高性能的数据传输、交换以及应用协作平台，在大规模分布式应用系统各组成部分之间进行通信和协作；分布式工作流引擎8是指实现针对大规模系统的基于分布式工作流技术和策略引擎的复杂任务的定义、调度、协作和执行，主要用于支撑大规模系统的实现。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。