跨国异构数据的处理方法及装置

技术领域

本申请涉及数据处理技术领域，特别涉及一种跨国异构数据的处理方法及装置。

背景技术

随着商业贸易的国际化，许多企业的业务已不再仅仅限于在自己的国家开展，已开始将业务延伸至各个国家。为了便于在各个国家开展业务，所以企业会在各个国家部署有多个生产子系统。

由于在当今大数据时代，数据的重要性越来越高，所以各个生产子系统的数据均分别进行对所产生的数据进行管理。但是，现今缺乏对各个生产子系统的数据进行统一管理的方式。现今主要通过人工的方式对各个生产子系统的数据进行整合，但是由于数据使用需求复杂，并且各个生产子系统部署在不同国家，所以数据存在较大差异，因此通过人工的方式，不仅效率低，并且容易出现错误，并不能很好的满足对于各国的各个生产子系统的数据的使用需求。

发明内容

基于上述现有技术的不足，本申请提供了一种跨国异构数据的处理方法及装置，以解决现有缺乏对部署在各地的子系统的数据进行统一处理的方式的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请第一方面提供了一种跨国异构数据的处理方法，包括：

获取生产子系统中的业务数据；其中，所述生产子系统为部署在各国的各个生产子系统中的任意一个；

获取所述业务数据的产生时间；其中，所述产生时间包括系统时间以及当地时间；所述当地时间指代产生所述业务数据的生产子系统所处地区的时间；

判断所述生产子系统是否属于非统一业务系统；

若判断出所述生产子系统属于非统一业务系统，则按照预设数据标准中，对所述业务数据进行同构化处理；

将所述业务数据以及所述业务数据的产生时间存储至数据库中；

分别从系统时间维度和/或当地时间维度，对所述业务数据进行汇总计算，得到汇总数据。

可选地，在上述的跨国异构数据的处理方法中，所述获取生产子系统中的业务数据之前，还包括：

接收数据应用需求，并对所述数据应用需求进行可行性分析；其中，若所述数据应用需求通过可行性分析，则执行所述从生产子系统中采集业务数据。

可选地，在上述的跨国异构数据的处理方法中，所述获取生产子系统中的业务数据之后，还包括：

基于所述数据应用需求，判断是否存在缺失的业务数据；

若判断出存在缺失数据，则发送补录提示信息；其中，所述补录提示信息用于提示补录缺失的所述业务数据；

接收根据补录提示信息补录的业务数据。

可选地，在上述的跨国异构数据的处理方法中，所述分别从系统时间维度和/或当地时间维度，对所述业务数据进行汇总计算，得到汇总数据，包括：

根据预设业务规则，利用数据仓库技术对所述业务数据进行预处理；

对预处理后的所述业务数据进行脱敏，并对所述业务数据进行管理权限配置；其中，所述管理权限包括机构、组别以及岗位三级；

分别针对各个业务指标，从所述业务指标对应的时间维度对所述业务数据进行汇总计算，得到汇总数据；其中，所述时间维度指代所述系统时间维度或所述当地时间维度；所述汇总数据包括各个所述业务指标。

可选地，在上述的跨国异构数据的处理方法中，分别针对各个业务指标，从所述业务指标对应的时间维度对所述业务数据进行汇总计算，得到汇总数据之后，还包括：

利用所述汇总数据生成固定数据报表；

在接收到用户发送的目标数据的查询请求时，判断所述用户是否具有所述目标数据对应的管理权限；其中，所述目标数据包括所述固定数据报表和/或所述业务数据；

若判断所述用户具有所述目标数据对应的管理权限，则将所述目标数据进行可视化。

本申请第二方面提供了一种跨国异构数据的处理装置，包括：

第一获取单元，用于获取生产子系统中的业务数据；其中，所述生产子系统为部署在各国的各个生产子系统中的任意一个；

第二获取单元，用于获取所述业务数据的产生时间；其中，所述产生时间包括系统时间以及当地时间；所述当地时间指代产生所述业务数据的生产子系统所处地区的时间；

第一判断单元，用于判断所述生产子系统是否属于非统一业务系统；

同构单元，用于在所述第一判断单元判断出所述生产子系统属于非统一业务系统时，按照预设数据标准中，对所述业务数据进行同构化处理；

存储单元，用于将所述业务数据以及所述业务数据的产生时间存储至数据库中；

汇总单元，用于分别从系统时间维度和/或当地时间维度，对所述业务数据进行汇总计算，得到汇总数据。

可选地，在上述的跨国异构数据的处理装置中，还包括：

第一接收单元，用于接收数据应用需求，并对所述数据应用需求进行可行性分析；其中，若所述数据应用需求通过可行性分析，则执行所述从生产子系统中采集业务数据。

可选地，在上述的跨国异构数据的处理装置中，包括：

第二判断单元，用于基于所述数据应用需求，判断是否存在缺失的业务数据；

提示单元，用于在所述第二判断单元判断出存在缺失数据时，发送补录提示信息；其中，所述补录提示信息用于提示补录缺失的所述业务数据；

第二接收单元，用于接收根据补录提示信息补录的业务数据。

可选地，在上述的跨国异构数据的处理装置中，所述汇总单元，包括：

预处理单元，用于根据预设业务规则，利用数据仓库技术对所述业务数据进行预处理；

配置单元，用于对预处理后的所述业务数据进行脱敏，并对所述业务数据进行管理权限配置；其中，所述管理权限包括机构、组别以及岗位三级；

汇总子单元，用于分别针对各个业务指标，从所述业务指标对应的时间维度对所述业务数据进行汇总计算，得到汇总数据；其中，所述时间维度指代所述系统时间维度或所述当地时间维度；所述汇总数据包括各个所述业务指标。

可选地，在上述的跨国异构数据的处理装置中，还包括：

生成单元，用于利用所述汇总数据生成固定数据报表；

第三判断单元，用于在接收到用户发送的目标数据的查询请求时，判断所述用户是否具有所述目标数据对应的管理权限；其中，所述目标数据包括所述固定数据报表和/或所述业务数据；

可视化单元，用于所述第三判断单元判断所述用户具有所述目标数据对应的管理权限时，将所述目标数据进行可视化。

本申请提供的一种跨国异构数据的处理方法，统一部署在各国的各个生产子系统中的业务数据，并获取业务数据的产生时间。其中，产生时间包括系统时间以及当地时间。然后判断生产子系统是否属于非统一业务系统，若判断出生产子系统属于非统一业务系统，则按照预设数据标准中，对业务数据进行同构化处理，并将业务数据以及业务数据的产生时间存储至数据库中，从而保证业务数据的格式统一。最后分别从系统时间维度和/或当地时间维度，对业务数据进行汇总计算，得到汇总数据，实现对于各个生产子系统的数据的统一汇总，满足数据的使用需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种跨国异构数据处理系统的架构示意图；

图2为本申请另一实施例提供的一种跨国异构数据的处理方法的流程图；

图3为本申请另一实施例提供的一种汇总计算的方法的流程图；

图4为本申请另一实施例提供的另一种跨国异构数据的处理方法的流程图；

图5为本申请另一实施例提供的一种跨国异构数据的处理装置的结构示意图；

图6为本申请另一实施例提供的一种汇总单元的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请提供了一种跨国异构数据的处理方法，以解决现有缺乏对部署在各地的子系统的数据进行统一处理的方式的问题。

可选地，为了实现本申请提供的跨国异构数据的处理方法，本申请实施例提供了一种跨国异构数据处理系统，如图1所示，具体包括：数据采集子系统101、存储子系统102、加工子系统102、数据应用子系统103。

其中，数据采集子系统101主要用于从各个生产子系统中获取生产子系统所采集的业务数据，并且同时获取产生业务系统的系统时间和当前时间。并且开发有与非统一系统子系统对接的结构，以案子统一的数据标准对业务数据进行同构化处理。

存储子系统102主要用于存储数据采集子系统采集到的业务数据，并且还可以对业务数据进行抽取、清洗等处理，保证业务数据的准确性和完整性等。可选地，可以采用元数据、计算、存储层分离架构的联机分析处理(Online AnalyticalProcessing，OLAP)数据库，来构建统一的元数据管理库，对存储子系统的数据库表进行统一解释和管理，并且能实现还海量数据的计算和查询。

需要说明的是，对于业务中部分游离在存储外的数据，可以通过数据补录的形式加载到存储环境中，以便后数据的应用。所以存储子系统102还存储有补录数据。

加工子系统102主要以业务需求为出发点，将数据库中的业务数据进行清洗、加工、整合、统计等操作。

数据应用子系统103，主要用于提供数据应用服务，具体可以包括提供固定报表、数据查询、自主用数、可视化展示等功能。各个生产子系统的用户可以根据需求访问权限内的数据应用。

基于上述的跨国异构数据处理系统，本申请另一实施例提供了一种跨国异构数据的处理方法，如图2所示，具体包括以下步骤：

S201、获取生产子系统中的业务数据，该生产子系统为部署在各国的各个生产子系统中的任意一个。

具体的，也可以根据业务需求，获取生产子系统产生或采集到的相应的业务数据。具体可以有由生产子系统主动上传，也可以是跨国异构数据处理系统主动从生产子系统中获取。

S202、获取业务数据的产生时间，产生时间包括系统时间以及当地时间。

其中，当地时间指代产生业务数据的生产子系统所处地区的时间。系统时间为产生业务数据时，部署跨国异构数据处理系统的地区的时间，即可以理解为总部所在国的时间。

可选地，可以在各个生产子系统中证件时区标志代码，为不同时区的国家打上时区标志，然后获取业务数据的当地时间，并根据时区标志确定相应的系统时间。其中，系统时间可以是由生产子系统在记录业务数据时生成并记录，在从生产子系统获取业务数据的同时，从生产子系统获取所记录的业务数据的系统时间以及当地时间。当然，也可以是由跨国异构数据处理系统更具生产子系统所在时区，对业务数据的当地时间换算得到。

可选地，对于部分重要的业务数据，可以采用两者语言进行记录，具体可以包括生产子系统的本地语言以及一种国际通用语言，如英语进行记录。

S203、判断生产子系统是否属于非统一业务系统。

需要说明的是，本申请实施例中，部署在各国的生产子系统主要包括两类，一类则是非统一业务系统，是各国的分支构自行采购或研发的特色业务系统，所以系统存在较大的差异，所产生的数据的格式也是多样的。因此，需要判断针对所获取的各个业务数据，判断产生该业务数据的生产子系统是否属于非统一业务系统。若判断生产子系统属于非统一业务系统则执行步骤S204。

另一类则是统一业务系统，即由集团统一开发的，遵循相同的数据标准，所以统一业务系统的数据格式是统一的，不属于异构数据，所以不需要再进行同构处理。所以在判断出生产子系统不属于非统一业务系统时，直接执行步骤S205。

S204、按照预设数据标准中，对业务数据进行同构化处理。

具体的，预设数据标准与统一系统的数据标准相一致，从而使得跨国异构数据实现统一化。

S205、将业务数据以及数据的产生时间存储至数据库中。

S206、分别从系统时间维度和/或当地时间维度，对业务数据进行汇总计算，得到汇总数据。

由于业务数据的汇总通常以时间作为汇总的维度，而本申请中记录有业务数据的系统时间和当地时间，所以可以根据需求的不同从不同的时间维度上进行汇总。具体的，在进行全球数据汇总、或多国数据汇总时，从系统时间维度进行汇总。在进行各个一个国家的个性化数据绘制是，使用的则是当地时间。例如，一个国家查询本国当日交易额时，则从当地时间进行业务数据绘制。在需要查询全球各国当日交易额时，或总交易额等则从系统时间维度进行汇总。

可选地，本申请另一实施例中，步骤S206的一种实施方式，如图3所示，具体包括以下步骤：

S301、根据预设业务规则，利用数据仓库技术对业务数据进行预处理。

数据仓库技术包含数据抽取、转换、装载的过程，是数据仓库建立的重要的一环。所以，预处理包括对业务数据的抽取、转换、装载。

S302、对预处理后的业务数据进行脱敏，并对业务数据进行管理权限配置。

其中，管理权限包括机构、组别以及岗位三级。

为了数据的安全性，保护客户的隐私，因此需要对预处理后的业务数据进行脱敏，得到脱敏后的数据。并且，为业务数据进行管理权限的配置，只有用户相应权限的用户才能对对应的数据进行管理和查询等应用。

需要说明的是，步骤S302也可以在步骤S303之后执行，本申请实施例的执行顺序仅是其中一种可选的方式。

S303、分别针对各个业务指标，从业务指标对应的时间维度对业务数据进行汇总计算，得到汇总数据。

其中，时间维度指代系统时间维度或当地时间维度。汇总数据包括各个业务指标。

具体的，可以根据业务需求设定好各个业务指标，然后对业务数据进行相应的汇总计算，得到各个相应的业务指标，以后后续应用。其中，不同的业务指标需要从不同的时间维度上进行统计计算才能得到，所以可以设置好各个业务指标对应的时间维度，然后分别针对各个业务指标，从业务指标对应的时间维度对业务数据进行汇总计算，得到各个业务指标。例如当日全球交易额则需要从系统时间维度上进行统计计算，而对于一个国家的当日营业额需要从当地时间维度上进行统计计算得到。

可选地，在本申请另一实施例中，在执行步骤S206之后，还可以进一步执行：利用所述汇总数据生成固定数据报表。从而实现报表的自动生成。

并且，在接收到用户发送的目标数据的查询请求时，判断用户是否具有目标数据对应的管理权限。若判断所述用户具有所述目标数据对应的管理权限，则将所述目标数据进行可视化。

其中，目标数据包括固定数据报表和/或业务数据，即用户可以查询固定数据报表，也可以查询业务数据，当然也可以直接查询汇总数据。

本申请实施例提供的一种跨国异构数据的处理方法，统一部署在各国的各个生产子系统中的业务数据，并获取业务数据的产生时间。其中，产生时间包括系统时间以及当地时间。然后判断生产子系统是否属于非统一业务系统，若判断出生产子系统属于非统一业务系统，则按照预设数据标准中，对业务数据进行同构化处理，并将业务数据以及业务数据的产生时间存储至数据库中，从而保证业务数据的格式统一。最后分别从系统时间维度和/或当地时间维度，对业务数据进行汇总计算，得到汇总数据，实现对于各个生产子系统的数据的统一汇总，满足数据的使用需求。

本申请另一实施例提供了另一种跨国异构数据的处理方法，如图4所示，具体包括以下步骤：

S401、接收数据应用需求。

其中，数据应用需求中可以包括有所需求的数据，具体可以是从生产子系统直接获取到的数据，也可以是对业务数据进行处理后得到的数据。

S402、对数据应用需求进行可行性分析，确定数据应用需求是否通过可行性分析。

可选地，可以预先配置好可行性分析策略，然后对数据应用需求所需求的数据进行匹配，确定是否可以获取到所需求的数据，从而确定数据应用需求是否通过可行性分析。当然，也可以是通过其他的手段进行可行性分析，例如通过预先训练好的神经网络模型进行计算，然后根据计算结果是否大于阈值，确定数据应用需求是否通过可行性分析。

其中，若数据应用需求通过可行性分析，则执行步骤S403。

S403、从生产子系统中采集业务数据。

其中，生产子系统为部署在各国的各个生产子系统中的任意一个。

可选地，由于部分业务数据游离在存储外，即未存储在生产子系统中，但业务需求需要到这些数据，也为了避免获取的业务数据存在缺失。因此，在本申请另一实施例中，在执行步骤S203之后，还进一步执行：基于数据应用需求，判断是否存在缺失的业务数据。

其中，若判断出存在缺失数据，则发送补录提示信息，以提示用户补录缺失的业务数据，同时接收根据补录提示信息补录的业务数据。

S404、获取业务数据的产生时间，产生时间包括系统时间以及当地时间。

其中，当地时间指代产生业务数据的生产子系统所处地区的时间。

需要说明的是，步骤S404的具体实施方式，可相应的参考步骤S101的实施过程，此处步骤赘述。

S405、判断生产子系统是否属于非统一业务系统。

其中，若判断出生产子系统属于非统一业务系统则执行步骤S406，若判断出生产子系统不属于非统一业务系统，则先执行步骤S406。

需要说明的是，步骤S405的具体实施方式，可相应地参考上述方法实施例中的步骤S203，此处不再赘述。

S406、按照预设数据标准中，对业务数据进行同构化。

需要说明的是，步骤S406的具体实施方式，可相应地参考上述方法实施例中的步骤S204，此处不再赘述。

S407、将业务数据以及业务数据的产生时间存储至数据库中。

S408、对业务数据进行加工，得到加工后的数据。

具体的，本申请实施例中对业务数据进行加工，具体包括：根据预设业务规则，利用数据仓库技术对所述业务数据进行预处理。然后，分别针对各个业务指标，从业务指标对应的时间维度对业务数据进行汇总计算，得到汇总数据。

其中，时间维度指代所述系统时间维度或当地时间维度。汇总数据包括各个业务指标，即加工后的数据为汇总数据。

S409、对加工后的数据进行脱敏，并为数据进行权限配置。

需要说明的是，步骤S409的具体实施方式，可相应地参考上述方法实施例中的步骤S302，此处不再赘述。

S410、将数据提供给用户应用。

具体的，将数据提供给用户应用，包括提供给用户进行查询，或者利用汇总数据生成固定数据报表等。从而在接收到用户发送的目标数据的查询请求时，将目标数据反馈给用户。其中，目标数据包括固定数据报表和/或业务数据，即用户可以查询固定数据报表，也可以查询业务数据，当然也可以直接查询汇总数据。

需要说明的是，由于对数据配置有权限，所以需要在判断出用户具有所述目标数据对应的管理权限，则将目标数据反馈给用户，即将目标数据进行可视化。

本申请第二方面提供了一种跨国异构数据的处理装置，如图5所示，具体包括以下单元：

第一获取单元501，用于获取生产子系统中的业务数据。

其中，生产子系统为部署在各国的各个生产子系统中的任意一个。

第二获取单元502，用于获取业务数据的产生时间。

其中，产生时间包括系统时间以及当地时间。当地时间指代产生业务数据的生产子系统所处地区的时间。

第一判断单元503，用于判断生产子系统是否属于非统一业务系统。

同构单元504，用于在第一判断单元判断出生产子系统属于非统一业务系统时，按照预设数据标准中，对业务数据进行同构化处理。

存储单元505，用于将业务数据以及业务数据的产生时间存储至数据库中。

汇总单元506，用于分别从系统时间维度和/或当地时间维度，对业务数据进行汇总计算，得到汇总数据。

可选地，本申请另一实施例提供的跨国异构数据的处理装置中，还包括：

第一接收单元，用于接收数据应用需求，并对数据应用需求进行可行性分析。

其中，若数据应用需求通过可行性分析，则执行从生产子系统中采集业务数据。

可选地，本申请另一实施例提供的跨国异构数据的处理装置中，包括：

第二判断单元，用于基于数据应用需求，判断是否存在缺失的业务数据。

提示单元，用于在第二判断单元判断出存在缺失数据时，发送补录提示信息。

其中，补录提示信息用于提示补录缺失的业务数据。

第二接收单元，用于接收根据补录提示信息补录的业务数据。

可选地，本申请另一实施例提供的跨国异构数据的处理装置中，汇总单元，如图6所示，具体包括以下单元：

预处理单元601，用于根据预设业务规则，利用数据仓库技术对业务数据进行预处理。

配置单元602，用于对预处理后的业务数据进行脱敏，并对业务数据进行管理权限配置。

其中，管理权限包括机构、组别以及岗位三级。

汇总子单元603，用于分别针对各个业务指标，从业务指标对应的时间维度对业务数据进行汇总计算，得到汇总数据。

其中，时间维度指代系统时间维度或当地时间维度。汇总数据包括各个业务指标。

可选地，本申请另一实施例提供的跨国异构数据的处理装置中，还包括：

生成单元，用于利用汇总数据生成固定数据报表；

第三判断单元，用于在接收到用户发送的目标数据的查询请求时，判断用户是否具有目标数据对应的管理权限。

其中，目标数据包括固定数据报表和/或业务数据；

可视化单元，用于第三判断单元判断用户具有目标数据对应的管理权限时，将目标数据进行可视化。

需要说明的是，本申请上述实施例中的各个单元可以为上述实施例提供的跨国异构数据处理系统中相应的子系统中的单元。并且，上述各个的单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。