一种图属数据一体化ETL方法和系统

技术领域

本发明涉及信息技术领域，具体为一种图属数据一体化ETL方法和系统。

背景技术

信息技术，是主要用于管理和处理信息所采用的各种技术的总称，它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件，它也常被称为信息和通信技术，主要包括传感技术、计算机与智能技术、通信技术和控制技术。

目前图属数据一体化ETL系统局限性较大，导致图属数据一体化ETL系统在使用时，各种工具或者语言在映射规则文件准备、扩展性及转换后的数据存储模式上均有很大的局限性，且人工时间投入成本有待优化，因此我们提供了一种图属数据一体化ETL方法和系统，以解决上述问题。

发明内容

本发明的目的在于提供了一种图属数据一体化ETL方法和系统，具备高效率、低成本和易使用的优点。

为实现上述目的，本发明提供如下技术方案：一种图属数据一体化ETL系统，包括算子库，所述算子库的输出端单向电连接有规则方案库，所述规则方案库的输出端单向电连接有功能模型，所述功能模型的输入端单向电连接有数据内容，所述功能模型的输出端单向电连接有处理结果。

作为优选方案，所述算子库包括数据输入类、数据计算类、空间分析类、地统计分析类和格式输出类。

作为优选方案，所述规则方案库包括数据采集工具集、空间数据处理工具集、数据融合工具集、数据检查工具集和数学统计工具集。

作为优选方案，所述数据内容包括业务表、电子表格和空间数据。

作为优选方案，所述处理结果包括数据管理工具、数据加工处理工具和数据分析工具。

作为优选方案，一种图属数据一体化ETL方法，其使用方法包括以下步骤：

A、规则因子管理：规则因子是最基本的管理单元，因子的丰富程度，将直接影响到上层功能和需求的响应程度，因子可以根据需求进行定制扩展，目前ETL提供了近200多个对数据处理的规则因子，它们按不同功能进行分类，比如输入类、输出类、脚本类等，每个因子用于完成某种特定的功能，涵盖空间、非空间、常见类型文件、数据库的处理，功能强大、丰富，通过配置一系列的步骤就可以完成你所需要完成的任务；

B、模型管理：提供了各种自由组合的方式将规则引擎因子搭建成针对各个行业分类的模板方案库，来对数据进行清洗、抽取、转换、挖掘等融合操作，以树和列表的方式进行展示和管理，并提供修改、导出和导入功能方便迁移使用；

C、模型服务管理：模型搭建完成后，可以通过服务管理进行服务的发布，提供统一的接口供外部使用，对构建的模型已经发布成服务的，以列表形式展示，可以进行服务的启动、停止、删除与信息查看操作；

D、资源库管理：资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中，资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。

与现有技术相比，本发明的有益效果如下：

本技术主要解决数据仓库技术在空间数据方面的缺陷，弥补空间数据与业务数据融合的不足，将相互分离的业务系统数据源与空间数据源融合在一起，建立一个统一的数据采集，处理、存储、分发、共享中心，提供基于可视化流程搭建的便捷工具产品，实现数据从多个异构数据源进行抽取、清洗转换之后加载到数据库或其它目标地址，为数据挖掘、分析应用提供支撑。

本方案基于kettle框架，针对矢量数据、影像数据等地理空间数据进行扩展，实现图属数据一体化融合，采用流程化动态建模技术及规则引擎技术，将数据类型、处理方法分解为基础规则因子，然后根据数据处理需求，构建各类规则流程，并搭建大数据处理工具、指标定制与管理工具、分析模型定制与管理工具，实现核心数据的流程化加工、整理、转换及分析。

高效率：拖拽动态搭建模型，提高效率，同时支持定时、批量，并行运行，适应复杂模型的快速执行。

低成本：支持多种数据源，提供200多个基础的规则因子，可在不同业务场景中完成数据分析统计需求。

易使用：基于该方法，开发了一套界面设计友好、易操作的流程搭建产品，无需编写代码，即可完成复杂逻辑模型的搭建。

附图说明

图1为本发明系统框架图；

图2为本发明流程化动态建模图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，一种图属数据一体化ETL系统，包括算子库，算子库的输出端单向电连接有规则方案库，规则方案库的输出端单向电连接有功能模型，功能模型的输入端单向电连接有数据内容，功能模型的输出端单向电连接有处理结果，本技术主要解决数据仓库技术在空间数据方面的缺陷，弥补空间数据与业务数据融合的不足，将相互分离的业务系统数据源与空间数据源融合在一起，建立一个统一的数据采集，处理、存储、分发、共享中心，提供基于可视化流程搭建的便捷工具产品，实现数据从多个异构数据源进行抽取、清洗转换之后加载到数据库或其它目标地址，为数据挖掘、分析应用提供支撑。

算子库包括数据输入类、数据计算类、空间分析类、地统计分析类和格式输出类。

规则方案库包括数据采集工具集、空间数据处理工具集、数据融合工具集、数据检查工具集和数学统计工具集。

数据内容包括业务表、电子表格和空间数据。

处理结果包括数据管理工具、数据加工处理工具和数据分析工具。

一种图属数据一体化ETL方法，其使用方法包括以下步骤：

A、规则因子管理：规则因子是最基本的管理单元，因子的丰富程度，将直接影响到上层功能和需求的响应程度，因子可以根据需求进行定制扩展，目前ETL提供了近200多个对数据处理的规则因子，它们按不同功能进行分类，比如输入类、输出类、脚本类等，每个因子用于完成某种特定的功能，涵盖空间、非空间、常见类型文件、数据库的处理，功能强大、丰富，通过配置一系列的步骤就可以完成你所需要完成的任务；

B、模型管理：提供了各种自由组合的方式将规则引擎因子搭建成针对各个行业分类的模板方案库，来对数据进行清洗、抽取、转换、挖掘等融合操作，以树和列表的方式进行展示和管理，并提供修改、导出和导入功能方便迁移使用；

C、模型服务管理：模型搭建完成后，可以通过服务管理进行服务的发布，提供统一的接口供外部使用，对构建的模型已经发布成服务的，以列表形式展示，可以进行服务的启动、停止、删除与信息查看操作；

D、资源库管理：资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中，资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。