一种基于一体化的Web-ETL大数据融合方法

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于一体化的Web-ETL大数据融合方法。

背景技术

信息融合最早应用于军事领域，是组合多源信息和数据完成目标检测、关联、状态评估的多层次、多方面的过程。数据融合技术能够辅助人们进行态势和环境的判定、规划、探测、验证、诊断。目前，数据融合技术在我国还处于初级发展阶段，迫切需要在理论和实现技术上进行开拓性研究。在专利号为 CN201810189318.7 的发明专利申请文件中有提到：当前对大数据的利用主要是基于其非结构化的属性使用的，因此无法充分发挥大数据的价值和利用效率。大数据普遍存在数据量大、离散性、数据噪声多、类型复杂、数据来源多元化等特点，因此大数据在前期处理方面存在问题，会直接导致数据的利用效率和数据价值等方面的问题。目前的大数据融合数据处理过程较为麻烦，且操作也不方便，数据处理的运维成本较高，不利于推广使用范围。

发明内容

基于此，本发明的目的是为了解决现有技术中大数据融合过程较为麻烦，且操作也不方便，数据处理运维成本较高的问题。

为实现上述目的，本发明提出一种基于一体化的Web-ETL大数据融合方法，所述大数据融合方法包括以下步骤：

S1：根据数据来源选择数据采集方式，进行数据采集，将采集的数据存入Web-ETL平台数据库，进行数据库资源配置；

S2：数据库资源配置完成后，自动抽取数据库的元数据，形成元数据列表；

S3：根据业务需求快速配置资源目录，形成对内数据资产的管理；

S4：由数据资源目录发布数据服务目录，用于数据共享与数据交换；

S5：采用Web-ETL工具和数据抓取工具对Web-ETL平台数据库中的数据进行加工处理、建模和调度。

所述大数据融合处理方法还包括：

S6：使用搜索引擎ElasticSearch对元数据、数据资源目录、服务目录的内容进行快速检索。

所述S4中的数据共享包括以下子步骤：

S41：将数据资源发布为服务目录，并投入到可视化的Web-ETL界面；

S42：数据共享申请通过后，生成相应的数据接口或数据文件；

S43：进行安全验证，获取生成的数据。

所述S41还包括：

S411：展示对外数据服务目录，进行申请管理，并实时监控记录数据交换共享情况。

所述对外数据服务目录包括：数据服务查询目录、数据服务发布目录、数据服务审核目录及数据服务监控目录。

所述S5中的数据处理包括数据类型转换、数据过滤及数据计算。

所述S1中数据采集方式包括：互联网采集、物联网采集、文件采集、接口采集及数据库直连。

本申请的有益效果：通过一体化的Web-ETL工具和数据抓取工具，支持图形化操作界面、免编程应用，提供面向对象的操作方式，一站式完成数据采集、加工处理流程。在一个面板工作区就可以实现加工、建模、调度的一体化配置，提高了用户对数据治理工具操作的延续性，降低数据处理的维护成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图的结构获得其他的附图。

图1为本发明的总体实现流程图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

如图1所示，在本实施例中，本发明提出一种基于一体化的Web-ETL大数据融合方法，所述大数据融合方法包括以下步骤：

S1：根据数据来源选择数据采集方式，进行数据采集，将采集的数据存入Web-ETL平台数据库，进行数据库资源配置；

S2：数据库资源配置完成后，自动抽取数据库的元数据，形成元数据列表；

S3：根据业务需求快速配置资源目录，形成对内数据资产的管理；

S4：由数据资源目录发布数据服务目录，用于数据共享与数据交换；

S5：采用Web-ETL工具和数据抓取工具对Web-ETL平台数据库中的数据进行加工处理、建模和调度。

具体的，所述大数据融合处理方法还包括：

S6：使用搜索引擎ElasticSearch对元数据、数据资源目录、服务目录的内容进行快速检索。

具体的，所述S4中的数据共享包括以下子步骤：

S41：将数据资源发布为服务目录，并投入到可视化的Web-ETL界面；

S42：数据共享申请通过后，生成相应的数据接口或数据文件；

S43：进行安全验证，获取生成的数据。

具体的，所述S41还包括：

S411：展示对外数据服务目录，进行申请管理，并实时监控记录数据交换共享情况。

具体的，所述对外数据服务目录包括：数据服务查询目录、数据服务发布目录、数据服务审核目录及数据服务监控目录。

具体的，所述S5中的数据处理包括数据类型转换、数据过滤及数据计算。

具体的，所述S1中数据采集方式包括：互联网采集、物联网采集、文件采集、接口采集及数据库直连。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。