一种构建企业数据仓库的数据整合方法及系统

技术领域

本发明涉及数据仓库整合技术领域，具体为一种构建企业数据仓库的数据整合方法及系统。

背景技术

现今大多数企业都有多个不同部门的应用系统，但是普遍存在的问题是，这些企业的应用系统不是建立于统一平台之上，数据库系统也是相互独立，甚至是异构系统，每个系统的数据都形成了一个独立的烟囱。可能每个部门数据资源已经很丰富，但是各系统之间数据不能相互连通。但要使数据发挥决策辅助作用，企业决策层组织需要看到的是一个企业跨职能部门的统一的数据联合展现和挖掘，因为单个部门的应用系统数据反映的仅仅是此部门的业务信息，而跨职能部门的数据联合分析将反映整个企业的发展状况和未来的发展趋势，所以不仅需要企业数据的纵向深入，同时也需要数据的横向联合。如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，建立统一的数据仓库，进而为企业不同角色的人员决策提供分析的可视化管理系统，成为急需要解决的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供一种构建企业数据仓库的数据整合方法及系统，目的是解决如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，以实现构建统一企业数据仓库的技术问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：

一种构建企业数据仓库的数据整合系统，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统服务端软件；

上述企业数据仓库整合系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；

该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互。

进一步的，所述数据抽取模块DEM包括运行有数据抽取应用程序的抽取服务器ESe，该数据抽取应用程序根据事先制定的规范和数据标准，把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内。

进一步的，所述数据清洗模块DClM包括运行有数据清洗应用程序的清洗服务器CtScl，该数据清洗应用程序对数据抽取模块DEM输出的数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作。

进一步的，所述数据转换模块DCvM包括运行有数据转换应用程序的转换服务器CScv，该数据转换应用程序对数据清洗模块DClM输出的数据按照需要的格式进行合并、汇总、过滤、转换操作。

进一步的，所述数据加载模块DLM包括运行有数据加载应用程序的加载服务器LSl，该数据加载应用程序负责将数据转换模块DCvM输出的数据按照企业数据仓库元数据定义的表结构装入数据仓库。

一种构建企业数据仓库的数据整合方法，包括以下步骤：

步骤一，数据抽取模块DEM首先制定数据抽取规范和数据抽取标准，然后向企业部门应用系统EAPPi进行数据抽取；

步骤二，数据抽取模块DEM将从企业部门应用系统EAPPi中抽取得到的数据EDj传输给数据清洗模块DClM，数据清洗模块DClM对数据EDj进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作，得到数据ClDj；

步骤三，数据清洗模块DClM将数据ClDj传输给数据转换模块DCvM，数据转换模块DCvM将数据ClDj按照需要的格式进行合并、汇总、过滤、转换的操作，得到数据CvDj；

步骤四，数据转换模块DCvM将数据CvDj传输给数据加载模块DLM，数据加载模块DLM将数据CvDj按照企业数据仓库元数据定义的表结构装入企业数据仓库。

进一步的，所述数据抽取模块DEM的数据抽取具体操作步骤包括：

步骤S1，企业部门应用系统EAPPi随机选取安全通信密码(pi

当数据抽取模块DEM请求与企业部门应用系统EAPPi进行数据交互时，企业部门应用系统EAPPi向数据抽取模块DEM传输安全通信密码(pi

Cdj

Cdj

之后，企业部门应用系统EAPPi将数据Dj的密文Cdj

步骤S2，数据抽取模块DEM接收到数据Dj的密文Cdj

Cdj

Cdj

之后验证等式Cdj

若上述等式Cdj

进一步的，所述企业部门应用系统EAPPi在向数据抽取模块DEM传输安全通信密码(pi

(三)有益的技术效果

与现有技术相比，本发明具备以下有益的技术效果：

本发明通过数据抽取模块向企业不同部门的应用系统进行数据抽取，得到抽取数据；通过数据清洗模块对抽取数据进行数据清洗操作，得到清洗数据；通过数据转换模块将清洗数据按照需要的格式进行合并、汇总、过滤、转换等一系列的操作，得到转换数据；通过数据加载模块将转换数据按照企业数据仓库元数据定义的表结构装入企业数据仓库，从而实现了把分散在企业不同部门的应用系统的数据整合到企业数据仓库中的技术效果；

并且数据抽取模块在向企业不同部门的应用系统抽取数据时，采用传输叠加信号的防监听机制来保证安全通信密码的安全传输，采用安全通信密码保密机制来保证数据的安全传输，从而取得了提高数据抽取安全性能的技术效果。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种构建企业数据仓库的数据整合系统，包括：安装并运行在用于整理汇总企业部门应用系统EAPPi(i＝1,2,…,n)内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统的服务端软件；

上述企业数据仓库整合系统，包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互；

其中，数据抽取模块DEM包括运行有数据抽取应用程序的抽取服务器ESe，该数据抽取应用程序根据事先制定的规范和数据标准，把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内；

数据清洗模块DClM包括运行有数据清洗应用程序的清洗服务器CtScl，该数据清洗应用程序对数据抽取模块DEM输出的数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作；

数据转换模块DCvM包括运行有数据转换应用程序的转换服务器CScv，该数据转换应用程序对数据清洗模块DClM输出的数据按照需要的格式进行合并、汇总、过滤、转换操作；

数据加载模块DLM包括运行有数据加载应用程序的加载服务器LSl，该数据加载应用程序负责将数据转换模块DCvM输出的数据按照企业数据仓库元数据定义的表结构装入企业数据仓库；

一种构建企业数据仓库的数据整合方法，包括以下步骤：

步骤一，数据抽取模块DEM首先制定数据抽取规范和数据抽取标准，然后向企业部门应用系统EAPPi进行数据抽取；

进一步的，上述数据抽取模块DEM的数据抽取具体操作步骤包括：

步骤S1，若数据抽取模块DEM为第一次向企业部门应用系统EAPPi抽取数据，则企业部门应用系统EAPPi随机选取安全通信密码(pi

当数据抽取模块DEM请求与企业部门应用系统EAPPi进行数据交互时，企业部门应用系统EAPPi向数据抽取模块DEM传输安全通信密码(pi

若数据抽取模块DEM为非第一次向企业部门应用系统EAPPi抽取数据，当数据抽取模块DEM请求与企业部门应用系统EAPPi进行数据交互时，则企业部门应用系统EAPPi在向数据抽取模块DEM传输数据Dj(j＝1,2,…,m)(其中，Dj为二进制序列，其长度为l，并且l为偶数)之前，对该数据Dj进行加密计算，具体为：

之后，企业部门应用系统EAPPi将数据Dj的密文Cdj

步骤S2，数据抽取模块DEM接收到数据Dj的密文Cdj

之后验证等式Cdj

若上述等式Cdj

步骤二，数据抽取模块DEM将从企业部门应用系统EAPPi中抽取得到的数据EDj传输给数据清洗模块DClM，数据清洗模块DClM对数据EDj进行包括标准化处理、空值处理以及不一致数据处理等一系列的数据清洗操作，得到数据ClDj；

步骤三，数据清洗模块DClM将数据ClDj传输给数据转换模块DCvM，数据转换模块DCvM将数据ClDj按照需要的格式进行合并、汇总、过滤、转换等一系列的操作，得到数据CvDj；

步骤四，数据转换模块DCvM将数据CvDj传输给数据加载模块DLM，数据加载模块DLM将数据CvDj按照企业数据仓库元数据定义的表结构装入企业数据仓库；

其中，通过数据抽取模块DEM向企业部门应用系统EAPPi进行数据抽取，得到数据EDj；通过数据清洗模块DClM对数据EDj进行数据清洗操作，得到数据ClDj；通过数据转换模块DCvM将数据ClDj按照需要的格式进行合并、汇总、过滤、转换等一系列的操作，得到数据CvDj；通过数据加载模块DLM将数据CvDj按照企业数据仓库元数据定义的表结构装入企业数据仓库，从而实现了把分散在企业不同部门应用系统EAPPi中的数据整合到企业数据仓库中的技术效果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。