一种智能综合大数据融合处理平台

技术领域

本发明涉及大数据处理领域，尤其涉及一种智能综合大数据融合处理平台。

背景技术

随着云时代的到来，大数据吸引了越来越多人的关注，分析师团队认为，大数据通常用来形容公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多的时间和金钱。大数据分析常常和云计算联系到一起。大数据需要特殊的技术，以有效的处理大量的容忍经过时间内的数据。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的加工能力，通过加工实现数据的增值。

在申请号为CN201810366975.4 的专利申请文件中有提到：大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。

现有的大数据处理平台一般只针对单一来源的数据，且功能较为单一，数据处理过程也比较麻烦，且数据处理的维护成本较高，不利于大数据处理平台大规模使用和维护。

发明内容

基于此，本发明的目的是为了解决现有技术中大数据处理平台数据来源单一、数据处理过程麻烦且数据处理的维护成本较高的问题。

为实现上述目的，本发明提出一种智能综合大数据融合处理平台，所述智能综合大数据融合处理平台包括数据管理体系和数据价值体系；

所述数据管理体系包括：

元数据管理模块，用于对元数据进行统一管理和存储，并通过元数据视角形成数据资产；

数据资源管理模块，用于对全域数据进行综合管理，对接基础信息资源库及主题库，实现数据资产的统一管理；

数据服务管理模块，用于实现对外数据服务目录的展示及申请管理，同时为用户提供数据交换共享情况；

数据质量审计模块，用于对系统数据进行数据质量检测，并持续监控数据质量波动状况，进行数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况；

所述数据价值体系包括：

数据接入模块，用于进行多种数据接入，包括通过外挂程序进行数据接入；

数据共享模块，用于通过文件、接口和外挂程序的方式进行数据共享；

数据处理模块，用于通过Web-ETL工具和数据抓取工具进行数据采集和处理。

所述元数据管理模块包括元数据的查询、自动采集、导入、导出、建表、授权与版本对比；所述元数据包括业务元数据、技术元数据和管理元数据。

所述数据资源管理模块为数据分析、使用和运营提供展示和监控界面。

所述数据服务管理模块包括数据服务查询子模块、数据服务发布子模块、数据服务审核子模块和数据服务监控子模块。

所述数据质量审计模块包括数据质量规则指定子模块，用于根据数据标准，智能生成数据质量规则。

所述数据接入模块还包括全量/增量接口。

所述数据共享模块包括：

文件和接口数据共享子模块，用于以文件、接口的方式交换共享数据；

全量/增量文件生成子模块，用于支持全量/增量生成数据文件；

数据调用接口生成子模块，用于生成数据调用接口；

外挂程序共享子模块，用于通过外挂程序进行共享方式扩展。

所述数据处理模块包括图像化操作界面和免编程应用板块，用于实现数据加工、数据建模和数据调度。

所述智能综合大数据融合处理平台还包括元数据血缘分析模块、元数据影响分析模块及元数据关联分析模块，用于展示数据流向及数据关联性。

本申请的有益效果：针对数据标准、数据质量、数据安全、元数据管理和数据生命周期等环节，完成数据资产的体系化管理；围绕数据流通和数据服务，实现数据资产的运营和应用支撑；构建数字政务业务知识与大数据技术相融合、大数据管理与治理相融合、数据接入与数据交换共享相融合、数据安全与可视化数据开发工具相融合的一体化的智能大数据融合平台，满足智能化数据管理、智能化数据审计、可视化数据治理、高性能数据接入、可扩展数据交换共享等需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图的结构获得其他的附图。

图1为本发明的融合处理平台框架图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

如图1所示，在本实施例中，本发明提出一种智能综合大数据融合处理平台，所述智能综合大数据融合处理平台包括数据管理体系和数据价值体系，结合一体化的数据质量审计模块和数据处理模块，提供数据接入能力、数据交换共享能力、数据资产管理能力、数据治理能力。

1、数据管理体系包括：

元数据管理模块：主要是对元数据进行统一的管理，元数据管理模块可自定义扩展，以满足多元化的元数据需求。以元数据作为数据治理的内在驱动，对元数据进行统一的管理，包括元数据的查询、自动采集、导入、导出、建表、授权、版本对比等功能，并通过元数据视角形成数据资产，实现对业务元数据、技术元数据、管理元数据的统一管理和存储。同时，平台还提供元数据血缘分析、影响分析、关联分析，直观展示数据流向及关联关系。

数据资源管理模块：实现对全域数据的综合管理，对接基础信息资源库以及各个主题库，实现数据资产的统一管理，为用户提供掌握和了解整合数据资源的渠道，是推进数据整合和未来数据交换融合的标准窗口，同时为数据分析、使用和运营提供展示和监控界面。

数据服务管理模块：实现对外数据服务目录展示及申请管理，掌握数据交换共享的情况。具备数据服务查询、数据服务发布、数据服务审核、数据服务监控等功能。

数据质量审计模块：根据数据标准，智能生成数据质量规则，通过制定、实施数据质量检验，暴露各系统数据质量问题。持续监控各系统数据质量波动情况及数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况。

2、数据价值体系包括：

数据接入模块：支持多种数据接入方式，包括（数据库）全量/增量接口,批量接入，多表接入同一张数据表；（文件）解析文件入库，保留文件不入库；（接口）调用接口入库，保存接口信息接口透传等方式。同时，平台还支持通过外挂（第三方）程序进行接入方式扩展，在不影响平台功能的情况下，方便快捷地对数据来源进行适应性扩展，满足实际应用场景需求。

数据共享模块：支持以文件、接口的方式交换共享数据，支持全量/增量生成数据文件；支持生成数据调用接口；支持外挂（第三方）程序进行共享方式扩展以满足数据聚合、计算后的数据共享。

数据处理模块：平台提供一体化的Web-ETL工具和数据抓取工具，支持图形化操作界面、免编程应用，提供面向对象的操作方式，一站式完成数据采集、加工处理流程。在一个面板工作区就可以实现加工、建模、调度的一体化配置，提高了用户对数据治理工具操作的延续性，降低数据处理的维护成本。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。