数据集成方法、数据集成设备、计算机设备及存储介质

技术领域

本申请实施例涉及数据集成领域，更具体的，是数据集成方法、数据集成设备以及计算机可读存储介质。

背景技术

当前进行的数据集成过程中，可以存在将多个源系统的数据发送至目标系统，或将一个源系统的数据发送至多个目标系统，且涉及的集成方案的转换处理逻辑都相同的情况，因此，可以考虑提高数据集成效率的数据集成方法。

现有的数据集成方法是，在环境中将原有的一套集成方案资源进行复制，重新配置一套相同处理逻辑的集成方案，即复制集成方案对应所引用的所有预设转换规则、源对象数据模型和目标对象数据模型，其中，所引用的预设转换规则及源对象数据模型和目标对象数据模型均需重新维护，并在数据源设置界面上进行修改并设置新的数据源(源/目标系统)，将复制好的集成方案重新绑定到新的数据源下。

但是，这种数据集成方法将集成方案资源进行复制之后，需要重新进行维护，在重新维护过程中，极容易导致遗漏，即方案执行过程中出错，针对对应出错问题产生的原因，需要投入对应的时间进行分析处理，需要消耗的维护成本较高，数据集成的效率较低。

发明内容

本申请实施例提供了一种数据集成方法、数据集成设备以及计算机可读存储介质，用于降低消耗的维护成本，且提高数据集成的效率的情况下，进行数据集成。

第一方面，本申请实施例提供了一种数据集成方法，包括:

确定集成方案对应的至少一个预置启动方案；

针对每个预置启动方案，确定所述预置启动方案的重定向源系统和重定向目标系统；

执行任一预置启动方案；

根据所述集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取所述源对象数据模型对应的源对象；

根据所述集成方案的预设转换规则对所述源对象进行数据转换，得到目标对象；

根据所述集成方案的目标对象数据模型将所述目标对象发送至执行的预置启动方案的重定向目标系统。

可选的，所述确定集成方案对应的至少一个预置启动方案之前，所述方法还包括：

获取注册数据集成的源系统集合和目标系统集合；

在所述源系统集合中确定所述重定向源系统，及在所述目标系统中确定所述重定向目标系统；

根据所述重定向源系统和所述重定向目标系统配置所述预置启动方案。

可选的，所述在所述源系统集合中确定所述重定向源系统，及在所述目标系统中确定所述重定向目标系统，包括：

确定所述集成方案对应的默认源系统的业务类型和默认目标系统的业务类型；

针对所述源系统集合的每个源系统，若所述源系统的业务类型与所述默认源系统的业务类型相同，则确定所述源系统为所述重定向源系统；

针对所述目标系统集合的每个目标系统，若所述目标系统的业务类型与所述默认目标系统的业务类型相同，则确定所述目标系统为所述重定向目标系统。

可选的，所述源系统的业务类型与所述默认源系统的业务类型相同，包括：所述源系统的数据模型与所述默认源系统的数据模型相同，且所述源系统的数据模型对应的业务内容与所述默认源系统的数据模型对应的业务内容相同；

所述目标系统的业务类型与所述默认目标系统的业务类型相同，包括：所述目标系统的数据模型与所述默认目标系统的数据模型相同，且所述目标系统的数据模型对应的业务内容与所述默认目标系统的数据模型对应的业务内容相同。

可选的，所述根据所述集成方案的预设转换规则对所述源对象进行数据转换，得到目标对象，包括：

根据所述预设转换规则获取所述预设转换规则对应的所述源对象的源对象字段；

根据所述预设转换规则对所述源对象字段进行数据转换，得到目标对象字段；

根据所述目标对象字段与所述集成方案的目标对象数据模型生成所述目标对象。

可选的，所述预设转换规则为预设值转换规则，所述根据所述预设转换规则对所述源对象字段进行数据转换，得到目标对象字段，包括：

根据所述预设值转换规则对所述源对象字段进行数据转换，得到所述目标对象字段。

可选的，所述预设转换规则包含预设赋值参数，所述根据所述预设转换规则对所述源对象字段进行数据转换，得到目标对象字段，包括：

将所述源对象字段赋值为所述预设赋值参数，得到所述目标对象字段。

第二方面，本申请实施例提供了一种数据集成设备，包括：

确定单元，用于确定集成方案对应的至少一个预置启动方案；

所述确定单元，还用于针对每个预置启动方案，确定所述预置启动方案的重定向源系统和重定向目标系统；

执行单元，用于执行任一预置启动方案；

获取单元，用于根据所述集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取所述源对象数据模型对应的源对象；

数据转换单元，用于根据所述集成方案的预设转换规则对所述源对象进行数据转换，得到目标对象；

发送单元，用于根据所述集成方案的目标对象数据模型将所述目标对象发送至执行的预置启动方案的重定向目标系统。

第三方面，本申请实施例提供了一种数据集成设备，包括：

中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行前述数据集成方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行前述数据集成方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行前述数据集成方法。

从以上技术方案可以看出，本申请实施例具有以下优点：可以确定集成方案对应的至少一个预置启动方案，针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统，执行任一预置启动方案，根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象，根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象，根据集成方案的目标对象数据模型将目标对象发送至执行的预置启动方案的重定向目标系统。可以直接确定预置启动方案及预置启动方案的重定向源系统和重定向目标系统，以实现从重定向源系统获取源对象，在对源对象进行数据转换，得到目标对象后，将目标对象发送至重定向目标系统，需要消耗的维护成本较低，数据集成的效率较高。

附图说明

图1为本申请实施例公开的一种数据集成系统的架构示意图；

图2为本申请实施例公开的一种数据集成方法的流程示意图；

图3为本申请实施例公开的一种数据集成设备的结构示意图；

图4为本申请实施例公开的另一种数据集成设备的结构示意图；

图5为本申请实施例公开的又一种数据集成设备的结构示意图。

具体实施方式

本申请实施例提供了一种数据集成方法、数据集成设备以及计算机可读存储介质，用于降低消耗的维护成本，且提高数据集成的效率的情况下，进行数据集成。

请参阅图1，本申请实施例中数据集成系统的架构包括：

重定向源系统101和重定向目标系统102。当进行数据集成时，可以确定重定向源系统101和重定向目标系统102，可以根据集成方案从重定向源系统101获得源对象，对源对象进行数据转换，得到目标对象，将目标对象发送至重定向目标系统102。重定向源系统101为数据集成中的输入节点，负责数据生产服务。重定向目标系统102为数据集成中的输出节点，负责数据消费服务。

基于图1所示的数据集成系统，请参阅图2，图2为本申请实施例公开的一种数据集成方法的流程示意图，方法包括：

201、确定集成方案对应的至少一个预置启动方案。

当进行数据集成时，可以确定集成方案对应的至少一个预置启动方案。值得一提的是，预置启动方案可以预先配置，预先配置预置启动方案的方法可以是在获取的注册数据集成的源系统集合中确定重定向源系统，在获取的注册数据集成的目标系统集合中确定重定向目标系统，根据重定向源系统和重定向目标系统配置预置启动方案，还可以是其他合理的预先配置预置启动方案的方法，具体此处不做限定。

202、针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统。

确定集成方案对应的至少一个预置启动方案之后，可以针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统。

203、执行任一预置启动方案。

可以执行任一预置启动方案。

204、根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象。

执行任一预置启动方案之后，可以根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象。

205、根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象。

获取源对象数据模型对应的源对象之后，可以根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象。可以理解的是，根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象的方法可以是先根据预设转换规则获取预设转换规则对应的源对象的源对象字段，然后根据预设转换规则对源对象字段进行数据转换，得到目标对象字段，最后根据目标对象字段与集成方案的目标对象数据模型生成目标对象。还可以是其他合理的根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象的方法，具体此处不做限定。

206、根据集成方案的目标对象数据模型将目标对象发送至执行的预置启动方案的重定向目标系统。

对源对象进行数据转换，得到目标对象之后，可以根据集成方案的目标对象数据模型将目标对象发送至执行的预置启动方案的重定向目标系统。

本申请实施例中，可以确定集成方案对应的至少一个预置启动方案，针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统，执行任一预置启动方案，根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象，根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象，根据集成方案的目标对象数据模型将目标对象发送至执行的预置启动方案的重定向目标系统。可以直接确定预置启动方案及预置启动方案的重定向源系统和重定向目标系统，以实现从重定向源系统获取源对象，在对源对象进行数据转换，得到目标对象后，将目标对象发送至重定向目标系统，需要消耗的维护成本较低，数据集成的效率较高。

本申请实施例中，确定集成方案对应的至少一个预置启动方案之前，可以预先配置启动方案，预先配置启动方案的方法可以有多种，基于图1所示的数据集成方法，下面对其中的一种方法进行描述。

本实施例中，当进行数据集成时，可以预先配置启动方案，预先配置启动方案的方法可以是，先获取注册数据集成的源系统集合和目标系统集合，然后在源系统集合中确定重定向源系统，及在目标系统中确定重定向目标系统，最后根据重定向源系统和重定向目标系统配置预置启动方案。具体的，数据集成是将若干个分散的数据源中的数据，逻辑地或物理地集成到一个统一的数据集合中，数据集成过程包含数据抽取、数据转换、数据加载。重定向指的是通过某种方法将原请求或响应方向重新定义方向转到其他位置。

其中，在源系统集合中确定重定向源系统，及在目标系统中确定重定向目标系统的方法可以是，先确定集成方案对应的默认源系统的业务类型和默认目标系统的业务类型，然后针对源系统集合的每个源系统，若源系统的业务类型与默认源系统的业务类型相同，则确定源系统为重定向源系统，最后针对目标系统集合的每个目标系统，若目标系统的业务类型与默认目标系统的业务类型相同，则确定目标系统为重定向目标系统。

其中，源系统的业务类型与默认源系统的业务类型相同的情况可以是：源系统的数据模型与默认源系统的数据模型相同，且源系统的数据模型对应的业务内容与默认源系统的数据模型对应的业务内容相同。目标系统的业务类型与默认目标系统的业务类型相同的情况可以是：目标系统的数据模型与默认目标系统的数据模型相同，且目标系统的数据模型对应的业务内容与默认目标系统的数据模型对应的业务内容相同。举个例子，业务内容可以是一些必录的基本信息，比如单据，比如人员基础资料，包括但不限于姓名、手机号、工号及省份证号等，若单据、姓名、手机号、工号及省份证号对应的字段名相同，则可以确定源系统的数据模型对应的业务内容与默认源系统的数据模型对应的业务内容相同。

预先配置启动方案之后，可以确定集成方案对应的至少一个预置启动方案。

确定集成方案对应的至少一个预置启动方案之后，可以针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统。

可以执行任一预置启动方案。可以理解的是，执行预置启动方案的方法可以是人工、定时、事件触发和消息启动等。

执行任一预置启动方案之后，可以根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象，源对象为源系统的集成对象。

举个例子，企业异构系统间数据集成场景下，以主数据初始化为例，对于大型、超大型企业，其名下存在多家分公司及子公司，往往需要将多个源系统中的主数据归集到一个目标系统，或者由一个源系统下发主数据到多个目标系统，比如某企业下各个分公司原本使用A管理系统，而总公司需升级使用B管理系统，此时需要将原本各个分公司A系统(重定向源系统)中的组织、人员、客商等主数据同步到总公司的B系统(重定向目标系统)下。可以理解的是，预置启动方案是执行或者触发集成方案的方式和承载，通过确定集成方案的至少一个预置启动方案中每个预置启动方案的重定向源系统和重定向目标系统，在执行任意一个预置启动方案后，可以触发集成方案，在集成方案的运行期上下文(即当前后台代码被解析和执行时所在的环境)中自动切换为执行的预置启动方案的重定向源系统和重定向目标系统。因此只需预先配置集成方案的至少一个预置启动方案，其中每个预置启动方案设置好对应的重定向源系统和重定向目标系统，而所引用的集成方案的取数、转换、加载逻辑，及其引用的值转换规则及集成对象数据模型(源对象数据模型、目标对象数据模型)均无需修改或重新维护，可以实现一套集成方案、一套数据集成模板、多个系统(源/目标系统)复用，降低了需要消耗的维护成本，提高了数据集成的效率。

获取源对象数据模型对应的源对象之后，可以根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象。

具体的，对源对象进行数据转换的方法可以是先根据预设转换规则获取预设转换规则对应的源对象的源对象字段，然后根据预设转换规则对源对象字段进行数据转换，得到目标对象字段，最后根据目标对象字段与集成方案的目标对象数据模型生成目标对象。举个例子，预设转换规则可以是对源对象的数值进行数学运算，比如求和，加权平均等，再根据数学运算后得到的数值得到目标对象字段。还可以是根据预设值转换规则对源对象字段进行数据转换，得到目标对象字段，其中，预设值转换规则为预设转换规则。比如，预设值转换规则可以是“枚举值-币别”等，具体此处不做限定。还可以是将源对象字段赋值为预设赋值参数，得到目标对象字段，其中，预设转换规则包含预设赋值参数。比如，预设赋值参数可以为“C”等，具体此处不做限定。可以理解的是，除了上述的对源对象进行数据转换的方法之外，还可以其他合理的方法，具体此处不做限定。

可以理解的是，除了上述的配置预置启动方案的方法、在源系统集合中确定重定向源系统，及在目标系统中确定重定向目标系统的方法、确定源系统的业务类型与默认源系统的业务类型相同的方法之外，还可以是其他合理的方法，具体此处不做限定。

本实施例中，可以确定集成方案对应的至少一个预置启动方案，针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统，执行任一预置启动方案，根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象，根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象，根据集成方案的目标对象数据模型将目标对象发送至执行的预置启动方案的重定向目标系统。可以直接确定预置启动方案及预置启动方案的重定向源系统和重定向目标系统，以实现从重定向源系统获取源对象，在对源对象进行数据转换，得到目标对象后，将目标对象发送至重定向目标系统，需要消耗的维护成本较低，数据集成的效率较高，而且，减少了重新维护资源过程中出现配置的转换脚本遗漏的情况，提高了数据集成成功的可能性。其次，可以将源系统的业务类型与默认源系统的业务类型相同的源系统确定为重定向源系统，将目标系统的业务类型与默认目标系统的业务类型相同的目标系统确定为重定向目标系统，减少了执行失败的情况，实现了资源的复用。再者，在执行任意一个预置启动方案，触发集成方案后，可以在集成方案的运行期上下文(即当前后台代码被解析和执行时所在的环境)中自动切换为执行的预置启动方案的重定向源系统和重定向目标系统，可以实现一套集成方案、一套数据集成模板、多个系统(源/目标系统)复用，不需要重新复制整套资源，保证了资源的复用、整合与共享，避免设计的复杂，避免不必要的维护成本，降低了需要消耗的维护成本，提高了数据集成的效率。再者，只需要执行集成方案不同的预启动方案就可以实现从重定向数据源系统获取源对象，对源对象进行数据转换，将转换得到的目标对象发送至重定向目标系统，即可快速更换重定向源系统或重定向目标系统，且可以支持多次变更，数据集成的灵活性较强。最后，可以直接执行预置启动方案，可以保证原有的数据源进行数据集成的情况下，对重定向的数据源进行数据集成(同步)，减少了原有的数据源进行数据集成时终止的情况，提高了大企业数据集成的实时性。

上面对本申请实施例中的数据集成方法进行了描述，下面对本申请实施例中的数据集成设备进行描述，请参阅图3，本申请实施例中的数据集成设备一个实施例包括：

确定单元301，用于确定集成方案对应的至少一个预置启动方案；

所述确定单元301，还用于针对每个预置启动方案，确定所述预置启动方案的重定向源系统和重定向目标系统；

执行单元302，用于执行任一所述确定单元301确定的预置启动方案；

获取单元303，用于根据所述集成方案的源对象数据模型从所述执行单元302执行的预置启动方案的重定向源系统中获取所述源对象数据模型对应的源对象；

数据转换单元304，用于根据所述集成方案的预设转换规则对所述获取单元303获取的源对象进行数据转换，得到目标对象；

发送单元305，用于根据所述集成方案的目标对象数据模型将所述数据转换单元304进行数据转换得到的目标对象发送至执行的预置启动方案的重定向目标系统。

本申请实施例中，可以确定集成方案对应的至少一个预置启动方案，针对每个预置启动方案，确定预置启动方案的重定向源系统和重定向目标系统，执行任一预置启动方案，根据集成方案的源对象数据模型从执行的预置启动方案的重定向源系统中获取源对象数据模型对应的源对象，根据集成方案的预设转换规则对源对象进行数据转换，得到目标对象，根据集成方案的目标对象数据模型将目标对象发送至执行的预置启动方案的重定向目标系统。可以直接确定预置启动方案及预置启动方案的重定向源系统和重定向目标系统，以实现从重定向源系统获取源对象，在对源对象进行数据转换，得到目标对象后，将目标对象发送至重定向目标系统，需要消耗的维护成本较低，数据集成的效率较高。

下面对本申请实施例中的数据集成设备进行详细描述，请参阅图4，本申请实施例中的数据集成设备另一实施例包括：

确定单元401，用于确定集成方案对应的至少一个预置启动方案；

所述确定单元401，还用于针对每个预置启动方案，确定所述预置启动方案的重定向源系统和重定向目标系统；

执行单元402，用于执行任一所述确定单元401确定的预置启动方案；

获取单元403，用于根据所述集成方案的源对象数据模型从所述执行单元402执行的预置启动方案的重定向源系统中获取所述源对象数据模型对应的源对象；

数据转换单元404，用于根据所述集成方案的预设转换规则对所述获取单元403获取的源对象进行数据转换，得到目标对象；

发送单元405，用于根据所述集成方案的目标对象数据模型将所述数据转换单元404进行数据转换得到的目标对象发送至执行的预置启动方案的重定向目标系统。

所述数据集成设备还包括：配置单元406；

所述获取单元403，还用于获取注册数据集成的源系统集合和目标系统集合；

所述确定单元401，还用于在所述源系统集合中确定所述重定向源系统，及在所述目标系统中确定所述重定向目标系统；

所述配置单元406，用于根据所述重定向源系统和所述重定向目标系统配置所述预置启动方案。

所述确定单元401，具体用于确定所述集成方案对应的默认源系统的业务类型和默认目标系统的业务类型，针对所述源系统集合的每个源系统，若所述源系统的业务类型与所述默认源系统的业务类型相同，则确定所述源系统为所述重定向源系统，针对所述目标系统集合的每个目标系统，若所述目标系统的业务类型与所述默认目标系统的业务类型相同，则确定所述目标系统为所述重定向目标系统。

所述数据转换单元404，具体用于根据所述预设转换规则获取所述预设转换规则对应的所述源对象的源对象字段，根据所述预设转换规则对所述源对象字段进行数据转换，得到目标对象字段，根据所述目标对象字段与所述集成方案的目标对象数据模型生成所述目标对象。

所述数据转换单元404，具体用于所述预设转换规则为预设值转换规则，根据所述预设值转换规则对所述源对象字段进行数据转换，得到所述目标对象字段。

所述数据转换单元404，具体用于所述预设转换规则包含预设赋值参数，将所述源对象字段赋值为所述预设赋值参数，得到所述目标对象字段。

本实施例中，数据集成设备中的各单元执行如前述图2所示实施例中数据集成设备的操作，具体此处不再赘述。

下面请参阅图5，本申请实施例中数据集成设备500的又一实施例包括：

中央处理器501，存储器505，输入输出接口504，有线或无线网络接口503以及电源502；

存储器505为短暂存储存储器或持久存储存储器；

中央处理器501配置为与存储器505通信，并执行存储器505中的指令操作以执行前述图2所示实施例中的方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行前述图2所示实施例中的方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行前述图2所示实施例中的方法。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。