一种多层级关联数据异构数据同步方法

技术领域

本发明涉及数据处理技术领域，具体为一种多层级关联数据异构数据同步方法。

背景技术

多层父子数据：目前的异构数据同步方案基本都是单表/宽表实现，当时其对业务人员的开发和理解造成一些误区，而父子数据的维护，会提升业务的理解和开发效率，业务场景不是宽表能解决的，随着我们分布式系统的发展，服务越多，数据的查询成本越高，这就涉及到各种数据的聚合。本发明能通过设置元数据来达到多父子层级的数据维护和查询，更加贴合业务理解。

2异构：目前该发明数据源支持持mysql、oraclesqlserver、db2、postgresql、mongodb、hive、hbase、elasticsearch等现在市场上几种数据同步方案分别是

1、监听binlog异步发送mq然后消费,但是他们没有保证mq消息的可靠性，如果机器宕机数据就会导致不一致问题；

2、直接单表对单表进行数据同步，但是这种业务语义不明确，没有解决分布式服务的数据聚合功能。

3、将预设数据仓库中的数据和自定义统计指标与可视化大屏进行配置管理，用的Hive继续执行数据过滤，这个是一种方案，但是部署复杂，其中使用了Hive，小中型公司不一定有Hive,

所以针对以上问题，就需要一种能保证了数据的可靠性和正确性，和可以满足中小公司开启一个server就解决复杂数据的同步瓦内特，避免方案过重的问题的方法，所以就需要一种多层级关联数据异构数据同步方法。

发明内容

本发明的目的在于提供一种多层级关联数据异构数据同步方法，本发明提供一种绿色、环保、可靠性高的热、电、氧多种需求供应系统，充分利用青藏高原丰富的风光资源，一站式解决当地的低温供热、低氧供氧、供电困难的问题。

本发明是这样实现的：

本发明提供一种多层级关联数据异构数据同步方法，具体按以下步骤执行：

S

S

S

S

S

S

否则分批处理；

S

S

S

S

S

S

S

S

S

“消费成功、已提交”不成立，则同样写入内存队列。

S

S

S

S

S

进一步，在进行全量数据同步时，当出现父数据和子数据先来，则按照缓存机制进行临时缓存，等主表数据到来后，再组装正确的数据结果并同步给目标端。

进一步，所述数据源包括但不限于mysql、oraclesqlserver、db2、postgresql、mongodb、hive、hbase、elasticsearch。

与现有技术相比，本发明的有益效果是：

1、通过全量更新/增量更新2种方案的支持下，实现多父子数据的多异构数据的同步(选用最终一致性方案)，可以监听Mysql，Pgsql等多种数据源的binlog数据，通过元数据管理服务进行数据的转换，实现新增/修改/删除等操作，维护多层级的数据，方便业务系统进行查询。

2、通过mq的零丢失方案和系统中的多种补偿方案保证了数据的可靠性和正确性，通过父子结构来达到了分布式的聚合功能,解决了多层父子数据的数据聚合问题，可以满足中小公司开启一个server就解决复杂数据的同步瓦内特，避免方案过重的问题。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的方法流程示意图；

图2是本发明的增量数据同步示意图；

图3是本发明的父子数据实现示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1-3，一种多层级关联数据异构数据同步方法，包括以下步骤：

S

S

S

S

S

S

否则分批处理；

S

S

S

S

S

S

S

S

S

“消费成功、已提交”不成立，则同样写入内存队列。

S

S

S

S

S

本实施例中，在进行全量数据同步时，当出现父数据和子数据先来，则按照缓存机制进行临时缓存，等主表数据到来后，再组装正确的数据结果并同步给目标端。

本实施例中，所述数据源包括但不限于mysql、oraclesqlserver、db2、postgresql、mongodb、hive、hbase、elasticsearch。

本实施例中，具体操作代码如下：

/>

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。