掌桥专利:专业的专利平台
掌桥专利
首页

一种用于解决分布式异构数据时效性的方法

文献发布时间:2023-06-19 11:35:49



技术领域

本发明涉及分布式数据库技术领域,尤其涉及一种用于解决分布式异构数据时效性的方法。

背景技术

异构数据库系统是相关的多个数据库系统的集合,可以实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的DMBS。异构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。异构数据是指不同的数据库管理系统之间的数据。

分布式数据库系统是由若干个站集合而成。这些站又称为节点,它们在通讯网络中联接在一起,每个节点都是一个独立的数据库系统,它们都拥有各自的数据库、中央处理机、终端,以及各自的局部数据库管理系统。因此分布式数据库系统可以看作是一系列集中式数据库系统的联合。它们在逻辑上属于同一系统,但在物理结构上是分布式的。

原本的分布式异构数据,是数据库分布在不同的地点,当变更数据的时候,他只变更一台数据库的数据,然后该数据库再去同步给其他数据库进行数据变更,这个中间会产生延迟,如果这个时候访问数据的话,会产生有的数据库数据变了,而有的还是旧数据,从而因时效性产生脏数据问题。

发明内容

鉴于背景技术存在的不足,本发明涉及一种用于解决分布式异构数据时效性的方法,根据上述问题,设计了一种可解决分布式异构数据时效性的方法,通过这种方法更新架构之后,中间加了一个分发模块,这个时候如果更改数据,不再是更改一台数据,而是先将更改的数据发到分发模块,通过分发模块,向所有数据库发送更改数据的请求,这样的话就同步更新所有数据库数据,不会因为时效性,产生脏数据。

本发明涉及一种用于解决分布式异构数据时效性的方法,包括数据单元模块、分发模块、暂存数据模块,所述暂存数据模块与分发模块实现数据交换,所述分发模块为数据单元模块中的多个数据单元发送数据指令,实现瞬间的单元模块信息同步,多个所述单元模块实现数据同步变更,保数据变更时效性。

通过采用上述方案,增加暂存形成任务流,以及触发、风阀、清理模块实现瞬间的同步广播变更,以确保其时效性。

进一步的,所述分发模块通过清理模块清理暂存数据模块的数据,所述暂存数据模块通过触发模块将数据传输至分发模块。

通过采用上述方案,完成暂存数据模块与分发模块的数据传输与信息交换。

进一步的,当变更暂存数据时,所述暂存数据模块获取变更后的数据,通过触发模块发送给分发模块,所述分发模块同时将数据以广播形式传输给每个数据单元以供读取变更后的数据。

通过采用上述方案,解决分布式异构数据时效性,使得时效性问题变得可控。

进一步的,所述数据单元模块为关系数据库、非关系型数据库、键值数据库中的一种。

通过采用上述方案,可兼容多种数据库。

进一步的,所述分发模块根据不同的数据库做出不同的功能响应。

通过采用上述方案,根据不同数据库做出不同相应,可解决多种数据库的时效性问题。

进一步的,所述关系数据库通过代码编辑sql语句,在每句sql语句上完成修改数据操作。

通过采用上述方案,解决关系数据库分布式异构数据的时效性问题。

进一步的,所述非关系型数据库通过集群架构的代码直接修改或变更数据。

通过采用上述方案:解决非关系型数据库分布式异构数据的时效性问题。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是现有技术结构示意图。

图2是本发明实施例的结构示意图。

附图标记,1、数据单元模块;2、分发模块;3、暂存数据模块;4、清理模块;5、触发模块。

具体实施方式

以下将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整的描述和讨论,显然,这里所描述的仅仅是本发明的一部分实例,并不是全部的实例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。

为了便于对本发明实施例的理解,下面将结合附图以具体实施例为例作进一步的解释说明,且各个实施例不构成对本发明实施例的限定。

参照图1所示,现有技术中分布式异构数据是存储于多地、不同技术方式的多个数据单元相互同步的方式导致失效不可控,当变更数据的时候,只变更一台数据库的数据,然后该数据库再去同步给其他数据库进行数据变更,这个中间会产生延迟,如果这个时候访问数据的话,会产生有的数据库数据变了,而有的还是旧数据,产生脏数据。

本发明的实施例1参照图2所示,包括数据单元模块1、分发模块2、暂存数据模块3,所述分发模块2通过清理模块4清理暂存数据模块3的数据,所述暂存数据模块3通过触发模块5将数据传输至分发模块3,当变更暂存数据时,所述暂存数据模块3获取变更后的数据,通过触发模块5发送给分发模块2,所述分发模块2同时将数据以广播形式传输给每个数据单元以供读取变更后的数据。所述暂存数据模块3与分发模块2实现数据交换,所述分发模块2为数据单元模块1中的多个数据单元发送数据指令,实现瞬间的单元模块信息同步,多个所述单元模块实现数据同步变更,保数据变更时效性。

所述多个数据单元可以是关系数据库、非关系型数据库、键值数据库中的一种。根据不同数据库做出不同相应,可解决多种数据库的时效性问题。所述关系数据库通过代码编辑sql语句,在每句sql语句上完成修改数据操作。解决关系数据库分布式异构数据的时效性问题。其中非关系型数据库通过集群架构的代码直接修改或变更数据。解决非关系型数据库分布式异构数据的时效性问题。

本发明的实施例在现有技术上更新架构之后,中间加了一个分发模块2,这个时候更改数据,不再是更改一台数据,而是先将更改的数据发到分发模块2,通过分发模块2,向所有数据库发送更改数据的请求,这样的话就同步更新所有数据库数据,增加暂存形成任务流,以及触发、风阀、清理模块实现瞬间的同步广播变更,以确保其时效性,不会因为时效性,产生脏数据。

最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 一种用于解决分布式异构数据时效性的方法
  • 一种用于连接多个异构分布式数据库中的表的方法和系统
技术分类

06120112986348