一种异构系统数据快捷同步方法

技术领域

本发明涉及快捷同步方法领域，尤其涉及一种异构系统数据快捷同步方法。

背景技术

因客户需求，需要在不同环境开发一套同步工具，实现表对表增量实时同步。实现的同步任务包括香港登陆中心密码同步，微信注册信息同步、守则违规表同步等。webMethods需要实现从数据中台的RDS或者MQ取数，同步到SaleForce。目前收到安利ACCL对于阿里云数据中台和Sales Force之间会有很多数据需要进行同步，因这些同步任务具有较大的通用性，对接到SF的接口也是固定的几个，因此需要设计一套通用的数据同步框架，以满足后续大量敏捷的数据同步需求。

为解决上述问题，本申请中提出一种异构系统数据快捷同步方法。

发明内容

（一）发明目的

为解决背景技术中存在的技术问题，本发明提出一种异构系统数据快捷同步方法，本发明具有较大通用性的同步需求，去除不必要的重复开发工作，节约人力成本，设计了数据推送框架，并且通过简单的配置工作，不需要变更代码，可以实现多种数据推送场景。

（二）技术方案

为解决上述问题，本发明提供了一种异构系统数据快捷同步方法，包括以下步骤：

S1、设计配置表

a、Config表，用于记录某个同步场景的基础信息，包括源数据连接池、源数据表名、目标接口名等同步信息；

b、Columns表，用于描述源表字段和目标表字段的映射关系，以在程序中准确将源表字段组成的document/报文转换成目标字段组成的ducument/报文，再发送给目标接收方；

S2、动态执行取数SQL，执行配置表里的取数SQL；

S3、key-value方式存储源数据，并根据Columns表映射关系将源字段替换为目标字段；

S4、执行消息发送/数据库操作；

根据配置表信息，调用对应的接口，实现消息推送；或者根据配置的目标信息，对目标表进行相关操作。

优选的，通过pub.flow:invokeService实现动态接口调用。

优选的，通过DynamicSQL实现动态数据库操作。

优选的，还包括由数据中台消息推送SalesForce框架：

webMethods实现从数据中台的RDS或者MQ取数，同步到SaleForce。

优选的，还包括实现表对表增量实时同步：

同步框架，需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑，和对目标库增删改查操作，实现增量同步，对核心代码复用。

本发明的上述技术方案具有如下有益的技术效果：

提高webMethods市场竞争力。因框架带来的便捷性、高效性和低成本，客户优先考虑使用webMethods技术实现业务需求。

提高客户对公司的认可度。同一需求，webMethods可以使用通用性更高的工具实现，并帮助客户减少成本。

节约公司内部人力成本，有更多时间创造更大的价值。框架型开发可减少不必要的开发工作，使得开发者可以把更多时间来创造新的价值。

附图说明

图1为本发明提出的实现表对表增量实时同步图。

图2为本发明实现全表同步图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图1-2，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明提出的一种异构系统数据快捷同步方法，包括以下步骤：

S1、设计配置表

a、Config表，用于记录某个同步场景的基础信息，包括源数据连接池、源数据表名、目标接口名等同步信息；

b、Columns表，用于描述源表字段和目标表字段的映射关系，以在程序中准确将源表字段组成的document/报文转换成目标字段组成的ducument/报文，再发送给目标接收方；

S2、动态执行取数SQL，执行配置表里的取数SQL；

S3、key-value方式存储源数据，并根据Columns表映射关系将源字段替换为目标字段；

S4、执行消息发送/数据库操作；

根据配置表信息，调用对应的接口，实现消息推送；或者根据配置的目标信息，对目标表进行相关操作。

在一个可选的实施例中，通过pub.flow:invokeService实现动态接口调用。

在一个可选的实施例中，通过DynamicSQL实现动态数据库操作。

在一个可选的实施例中，还包括由数据中台消息推送SalesForce框架：

webMethods实现从数据中台的RDS或者MQ取数，同步到SaleForce。

在一个可选的实施例中，还包括实现表对表增量实时同步：

同步框架，需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑，和对目标库增删改查操作，实现增量同步，对核心代码复用。

需要说明的是，见图1，实现表对表增量实时同步。因流水同步所有需求 的同步方式一致，都是增量同步，核心代码完全一致，因此开发一套流水同 步框架，仅需配置同步任务的基本信息，包括源表和目标表信息、取数逻辑， 和对目标库增删改查操作，就实现增量同步，达到核心代码复用。

需要说明的是，见图2，全表同步框架：实现全表同步。如有新增同步任务，只需要配置好信息，便可实现全表同步。实现的同步任务包括电子钱包信息全量同步400、月度账单数据同步、店铺-城市群关联表同步等。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。