一种数据同步方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及分布式对象存储技术领域，更具体地说，涉及一种数据同步方法、装置、设备及计算机可读存储介质。

背景技术

在分布式对象存储系统中，存在多个数据中心，当一个数据中心的数据发生变化后，需将变化的数据同步至其他数据中心，在此基础上，会设置同步策略来对同步过程进行管控。

然而，在分布式对象存储系统的运行过程中，数据写入速度是远远高于数据同步速度的，由此会使得分布式对象存储系统中存在数据积压现象，如果分布式对象存储系统中设置有多个同步策略的话，因为数据积压，会使得数据同步时按照错误的同步策略进行同步，由此使得数据同步准确性降低。

综上所述，如何提高数据同步的准确性是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据同步方法，其能在一定程度上解决如何提高数据同步的准确性的技术问题。本申请还提供了一种数据同步装置、设备及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

一种数据同步方法，应用于分布式对象存储系统，包括：

获取待同步的目标数据；

确定所述目标数据的写入时间戳；

确定各个已有同步策略的生成时间戳；

将小于所述写入时间戳且与所述写入时间戳最接近的所述生成时间戳对应的所述已有同步策略，确定为目标同步策略；

基于所述目标同步策略对所述目标数据进行同步。

优选的，所述将小于所述写入时间戳且与所述写入时间戳最接近的所述生成时间戳对应的所述已有同步策略，确定为目标同步策略，包括：

基于所述已有同步策略的生成时间戳，确定各个所述已有同步策略的生效时间段；

将包含所述写入时间戳的所述生效时间段的所述已有同步策略，确定为所述目标同步策略。

优选的，所述已有同步策略的类型包括桶同步策略。

优选的，所述基于所述目标同步策略对所述目标数据进行同步之后，还包括：

基于所述目标同步策略生成所述目标数据的同步日志。

一种数据同步装置，应用于分布式对象存储系统，包括：

第一获取模块，用于获取待同步的目标数据；

第一确定模块，用于确定所述目标数据的写入时间戳；

第二确定模块，用于确定各个已有同步策略的生成时间戳；

第三确定模块，用于将小于所述写入时间戳且与所述写入时间戳最接近的所述生成时间戳对应的所述已有同步策略，确定为目标同步策略；

第一同步模块，用于基于所述目标同步策略对所述目标数据进行同步。

优选的，所述第三确定模块包括：

第一确定单元，用于基于所述已有同步策略的生成时间戳，确定各个所述已有同步策略的生效时间段；

第二确定单元，用于将包含所述写入时间戳的所述生效时间段的所述已有同步策略，确定为所述目标同步策略。

优选的，所述已有同步策略的类型包括桶同步策略。

优选的，还包括：

第一生成模块，用于所述第一同步模块基于所述目标同步策略对所述目标数据进行同步之后，基于所述目标同步策略生成所述目标数据的同步日志。

一种数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一所述数据同步方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述数据同步方法的步骤。

本申请提供的一种数据同步方法，应用于分布式对象存储系统，获取待同步的目标数据；确定目标数据的写入时间戳；确定各个已有同步策略的生成时间戳；将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略；基于目标同步策略对目标数据进行同步。本申请中，目标数据及同步策略均有相应的时间戳，且需将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略，使得目标同步策略与目标数据相匹配，这样，基于目标同步策略对目标数据进行同步的话，可以提高目标数据的同步准确性。本申请提供的一种数据同步装置、设备及计算机可读存储介质也解决了相应技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种数据同步方法的流程图；

图2为本申请实施例提供的一种数据同步装置的结构示意图；

图3为本申请实施例提供的一种数据同步设备的结构示意图；

图4为本申请实施例提供的一种数据同步设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的一种数据同步方法的流程图。

本申请实施例提供的一种数据同步方法，应用于分布式对象存储系统，可以包括以下步骤：

步骤S101：获取待同步的目标数据。

实际应用中，可以先获取待同步的目标数据，考虑到分布式对象存储系统中，在数据发送变化后才需进行数据同步，所以可以将发送变化的数据作为待同步的目标数据，具体的，可以将当前发生变化的数据作为目标数据，也可以将已经发生变化但未同步的数据作为目标数据等，本申请在此不作具体限定。

步骤S102：确定目标数据的写入时间戳。

实际应用中，在获取待同步的目标数据之后，还需确定目标数据的写入时间戳，以便后续根据该写入时间戳确定该目标数据所适用的同步策略。

步骤S103：确定各个已有同步策略的生成时间戳。

实际应用中，因为数据的多样性，各个数据的同步策略可能不一样，由此会使得分布式对象存储系统中存在多个已有同步策略，且各个已有同步策略起作用的时间不一样，但同步策略创建后便开始发挥作用，所以为了便于获知各个已有同步策略的起作用时间，可以确定各个已有同步策略的生成时间戳，以便了解已有同步策略是何时生成的。

步骤S104：将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略。

实际应用中，一个同步策略生成后，便会应用于之后写入的数据，且再有新的同步策略生成后，该旧的同步策略便无法起作用，所以在确定目标数据的写入时间戳、确定各个已有同步策略的生成时间戳之后，可以将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略。

为了便于理解，假设目标数据的写入时间戳为10点，三个已有同步策略的生成时间戳分别为8点、9点和11点，则生成时间戳为9点的已有同步策略会作为目标数据的目标同步策略。

步骤S105：基于目标同步策略对目标数据进行同步。

实际应用中，在确定目标同步策略之后，便可以基于目标同步策略对目标数据进行同步，具体的同步过程可以根据实际需求，本申请在此不做具体限定。

本申请提供的一种数据同步方法，应用于分布式对象存储系统，获取待同步的目标数据；确定目标数据的写入时间戳；确定各个已有同步策略的生成时间戳；将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略；基于目标同步策略对目标数据进行同步。本申请中，目标数据及同步策略均有相应的时间戳，且需将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略，使得目标同步策略与目标数据相匹配，这样，基于目标同步策略对目标数据进行同步的话，可以提高目标数据的同步准确性。

本申请实施例提供的一种数据同步方法，应用于分布式对象存储系统，在将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略的过程中，为了便于确定目标同步策略，可以基于已有同步策略的生成时间戳，确定各个已有同步策略的生效时间段；将包含写入时间戳的生效时间段的已有同步策略，确定为目标同步策略。需要说明的是，在此过程中，生成时间戳相邻的两个已有同步策略，两个同步策略的两个生成时间戳会成为早先生成的已有同步策略的生效时间段的两个阈值，具体应用场景中可以据此快速确定已有同步策略的生效时间段。

本申请实施例提供的一种数据同步方法，应用于分布式对象存储系统，已有同步策略的类型可以包括桶同步策略。相应的，目标同步策略还需是与目标数据所处桶相匹配的同步策略，为了便于理解，此时的数据同步方法可以包括以下步骤：

确定各个桶的已有同步策略及相应的生成时间戳；

获取源桶中表征数据变化的日志，基于该日志确定待同步的目标数据及目标数据的写入时间戳；

在源桶对应的已有同步策略中，将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略；

基于目标同步策略，将源桶中的目标数据同步至其他桶中。

本申请实施例提供的一种数据同步方法，应用于分布式对象存储系统，在基于目标同步策略对目标数据进行同步之后，还可以基于目标同步策略生成目标数据的同步日志，以此来记录数据同步过程。

请参阅图2，图2为本申请实施例提供的一种数据同步装置的结构示意图。

本申请实施例提供的一种数据同步装置，应用于分布式对象存储系统，包括：

第一获取模块101，用于获取待同步的目标数据；

第一确定模块102，用于确定目标数据的写入时间戳；

第二确定模块103，用于确定各个已有同步策略的生成时间戳；

第三确定模块104，用于将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略；

第一同步模块105，用于基于目标同步策略对目标数据进行同步。

本申请实施例提供的一种数据同步装置，应用于分布式对象存储系统，第三确定模块包括：

第一确定单元，用于基于已有同步策略的生成时间戳，确定各个已有同步策略的生效时间段；

第二确定单元，用于将包含写入时间戳的生效时间段的已有同步策略，确定为目标同步策略。

本申请实施例提供的一种数据同步装置，应用于分布式对象存储系统，已有同步策略的类型包括桶同步策略。

本申请实施例提供的一种数据同步装置，应用于分布式对象存储系统，还包括：

第一生成模块，用于第一同步模块基于目标同步策略对目标数据进行同步之后，基于目标同步策略生成目标数据的同步日志。

本申请还提供了一种数据同步设备及计算机可读存储介质，其均具有本申请实施例提供的一种数据同步方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种数据同步设备的结构示意图。

本申请实施例提供的一种数据同步设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：

获取待同步的目标数据；

确定目标数据的写入时间戳；

确定各个已有同步策略的生成时间戳；

将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略；

基于目标同步策略对目标数据进行同步。

本申请实施例提供的一种数据同步设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于已有同步策略的生成时间戳，确定各个已有同步策略的生效时间段；将包含写入时间戳的生效时间段的已有同步策略，确定为目标同步策略。

本申请实施例提供的一种数据同步设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：已有同步策略的类型包括桶同步策略。

本申请实施例提供的一种数据同步设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于目标同步策略对目标数据进行同步之后，基于目标同步策略生成目标数据的同步日志。

请参阅图4，本申请实施例提供的另一种数据同步设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现数据同步设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：

获取待同步的目标数据；

确定目标数据的写入时间戳；

确定各个已有同步策略的生成时间戳；

将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略，确定为目标同步策略；

基于目标同步策略对目标数据进行同步。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于已有同步策略的生成时间戳，确定各个已有同步策略的生效时间段；将包含写入时间戳的生效时间段的已有同步策略，确定为目标同步策略。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：已有同步策略的类型包括桶同步策略。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于目标同步策略对目标数据进行同步之后，基于目标同步策略生成目标数据的同步日志。

本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本申请实施例提供的一种数据同步装置、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的数据同步方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。