掌桥专利:专业的专利平台
掌桥专利
首页

基于序号的文件同步方法、装置、计算机设备及存储介质

文献发布时间:2024-04-18 19:58:21


基于序号的文件同步方法、装置、计算机设备及存储介质

技术领域

本发明涉及文件同步方法,更具体地说是指基于序号的文件同步方法、装置、计算机设备及存储介质。

背景技术

文件同步是指将文件从一个地方复制到另一个地方的过程,以确保两个位置的文件保持一致。文件同步技术在多种场景下存在应用价值。例如备份和恢复,创建文件的备份副本,以防止数据丢失;跨平台同步,在不同的操作系统上使用不同的设备平台之间同步文件。

现有的文件同步方法在同步多个文件的顺序有三种方法,第一种是按照需要同步文件的文件名排序;第二种是按照需要同步的文件大小排序;第三种是使用随机顺序。但是现有的方法在同步多个文件没有全部完成的情况下是无法做到异常时快速恢复的。

因此,有必要设计一种新的方法,实现能够快速同步变化的文件,减少大量小文件的同步时间。

发明内容

本发明的目的在于克服现有技术的缺陷,提供基于序号的文件同步方法、装置、计算机设备及存储介质。

为实现上述目的,本发明采用以下技术方案:基于序号的文件同步方法,其特征在于,包括:

制作待同步文件列表;

对待同步文件列表内的文件进行编号,并确定序号;

发送序号至接收端,以由接收端根据所述序号生成序号区间请求;

接收所述接收端发送的序号区间请求;

根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求;

接收所述文件块请求;

根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件。

其进一步技术方案为:所述根据所述文件块请求合并对应的文件块,并将合并的结果发送至接收端,以使得接收端根据合并的结果更新文件之后,还包括:

当操作系统文件发生变化时,添加发生变化的操作系统文件至待同步文件列表,并执行所述对待同步文件列表内的文件进行编号,并确定序号。

其进一步技术方案为:所述对待同步文件列表内的文件进行编号,并确定序号,包括:

判断操作系统是否存在最大序号;

若操作系统不存在最大序号,则设置当前序号为零;

对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号;

若操作系统存在最大序号,则设置当前序号为最大序号,并执行所述对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号。

其进一步技术方案为:所述发送序号至接收端,以由接收端根据所述序号生成序号区间请求,包括:

发送序号至接收端,以使得接收端获取本端最大序号,计算序号与本端最大序号的差值,当差值大于零,按照本端最大序号、本端最大序号加上一个批次文件个数所构成的区间生成请求获取所述区间内的文件列表的序号区间请求。

其进一步技术方案为:所述根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求,包括:

根据所述序号区间请求从所述待同步文件列表中查找对应的文件名以及文件大小;

将所述文件名以及文件大小组成列表,并发送所述文件名以及文件大小组成的列表至接收端,以使得所述接收端将所述文件名以及文件大小组成的列表放入待同步列表,根据文件大小确定要请求的文件列表,以生成文件块请求;

具体地,当文件未同步的大小小于设定值时,要请求的文件列表为多个文件名和对应的块区间的组合列表;当文件未同步的大小不小于设定值时,要请求的文件列表为当前取出的文件名、块区间为当前文件未同步位置至当前文件未同步位置加上设定值的范围的组合列表。

其进一步技术方案为:所述根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件,包括:

根据所述文件块请求读取所述待同步列表中的文件块,并存储于内存缓存中;

从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件。

其进一步技术方案为:所述从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件,包括:

从所述内存缓存中读取对应的文件块以及对应的块区间至接收端,以使得接收端依次处理字节信息列表,按块区间将文件块写到磁盘上,当字节信息列表还有文件块未写,则更新当前文件未同步位置到已写的位置,并执行所述根据文件大小确定要请求的文件列表,以生成文件块请求;当字节信息列表中所有块字节已经全部写完,则从待同步列表中移除这个文件,本端最大序号加一。

本发明还提供了基于序号的文件同步装置,包括:

制作单元,用于制作待同步文件列表;

编号单元,用于对待同步文件列表内的文件进行编号,并确定序号;

序号发送单元,用于发送序号至接收端,以由接收端根据所述序号生成序号区间请求;

第一接收单元,用于接收所述接收端发送的序号区间请求;

返回单元,用于根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求;

第二接收单元,用于接收所述文件块请求;

合并处理单元,用于根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件。

本发明还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。

本发明与现有技术相比的有益效果是:本发明通过设置需要同步文件的编号,并确定序号,优先同步序号与接收端序号差异的文件,使同步异常时也能够达到两端快速恢复同步;采用文件块合并的方式,达到多文件合并传输,优化海量小文件同步速度,多个小文件合并成一次请求传输,减少通信次数,减少了海量小文件的同步时间,实现能够快速同步变化的文件,减少大量小文件的同步时间。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于序号的文件同步方法的应用场景示意图;

图2为本发明实施例提供的基于序号的文件同步方法的流程示意图;

图3为本发明实施例提供的基于序号的文件同步方法的子流程示意图;

图4为本发明实施例提供的基于序号的文件同步方法的子流程示意图;

图5为本发明实施例提供的基于序号的文件同步方法的子流程示意图;

图6为本发明另一实施例提供的基于序号的文件同步方法的流程示意图;

图7为本发明实施例提供的基于序号的文件同步装置的示意性框图;

图8为本发明实施例提供的基于序号的文件同步装置的编号单元的示意性框图;

图9为本发明实施例提供的基于序号的文件同步装置的返回单元的示意性框图;

图10为本发明实施例提供的基于序号的文件同步装置的合并处理单元的示意性框图;

图11为本发明另一实施例提供的基于序号的文件同步装置的示意性框图;

图12为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

请参阅图1和图2,图1为本发明实施例提供的基于序号的文件同步方法的应用场景示意图。图2为本发明实施例提供的基于序号的文件同步方法的示意性流程图。该基于序号的文件同步方法应用于服务器中。该服务器与接收端进行数据交互,接收端可以是终端也可以是服务器,通过给需要同步文件编号,在主端即服务器和接收端同步序号的方式,接收端立即能判断主端序号在和本端的差异,优先同步序号缺少的文件,并且在任意一端故障恢复后,通过已存在的序号快速恢复同步;并且在文件同步的处理过程中控制每个发送包的大小的前提下,合并多个小文件块发送到备端,可有效减少大量小文件的同步次数,这种方法能够快速同步变化的文件,以及减少大量小文件的同步时间。

图2是本发明实施例提供的基于序号的文件同步方法的流程示意图。如图2所示,该方法包括以下步骤S110至S170。

S110、制作待同步文件列表。

在本实施例中,制作待同步文件列表是指通过扫描存量和增量的系统操作文件后,确定变化的文件,并构建一个列表,用于存在这些文件。

S120、对待同步文件列表内的文件进行编号,并确定序号。

在本实施例中,序号是指本端的序号,也就是服务器的序号,标识系统操作文件的个数等。

在一实施例中,请参阅图3,上述的步骤S120可包括步骤S121~S124。

S121、判断操作系统是否存在最大序号。

在本实施例中,最大序号是指当前记录的文件变化的最大编号。

具体地,最大序号指的是当前记录的文件变化的最大编号,比如一开始是0,扫描到一个文件就加1,如果同步目录下的所有文件都不发生变化,如删除修改增加等,那么最大序号就等于同步目录下的所有元素个数(包含文件和文件夹);

如果有文件新增,那么最大序号就加1;如果有文件删除,那么最大序号就加1;如果有文件修改,那么最大序号就加1;接收端在请求序号区间来获取文件列表,主要是为了找到是哪些文件发生了“新增删除修改”操作。如果那些改动的文件不增加最大序号,就无法被接收端感知到,也没法同步了。

S122、若操作系统不存在最大序号,则设置当前序号为零。

在本实施例中,获取最大序号,记为MasterMaxSeq,不存在则设置为0。

S123、对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号。

在本实施例中,从待同步文件列表中取出需要同步的文件名,按最大序号给这些文件依次加1递增编号,并更新MasterMaxSeq为当前最大的编号,如当前一共有10个文件,则MasterMaxSeq就等于10。

S124、若操作系统存在最大序号,则设置当前序号为最大序号,并执行所述对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号。

S130、发送序号至接收端,以由接收端根据所述序号生成序号区间请求。

在本实施例中,发送序号至接收端,以使得接收端获取本端最大序号,计算序号与本端最大序号的差值,当差值大于零,按照本端最大序号、本端最大序号加上一个批次文件个数所构成的区间生成请求获取所述区间内的文件列表的序号区间请求。

具体地,接收端获取本端最大序号,记为SlaveMaxSeq,不存在则设置为0;接收端计算MasterMaxSeq-SlaveMaxSeq的差值,如果差值大于0,则按[SlaveMaxSeq,SlaveMaxSeq+一个批次文件个数]的区间请求主端来获取这个区间内的文件列表。

S140、接收所述接收端发送的序号区间请求;

S150、根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求。

在本实施例中,文件块请求是指针对要请求的文件列表的请求。

在一实施例中,请参阅图4,上述的步骤S150可包括步骤S151~S152。

S151、根据所述序号区间请求从所述待同步文件列表中查找对应的文件名以及文件大小;

S152、将所述文件名以及文件大小组成列表,并发送所述文件名以及文件大小组成的列表至接收端,以使得所述接收端将所述文件名以及文件大小组成的列表放入待同步列表,根据文件大小确定要请求的文件列表,以生成文件块请求;

具体地,当文件未同步的大小小于设定值时,要请求的文件列表为多个文件名和对应的块区间的组合列表;当文件未同步的大小不小于设定值时,要请求的文件列表为当前取出的文件名、块区间为当前文件未同步位置至当前文件未同步位置加上设定值的范围的组合列表。

具体地,服务器接收到序号区间请求,查找待同步文件列表中已经编号的文件名及文件大小组成列表,返回给接收端;接收端将服务器返回的文件名和大小列表放入待同步列表,根据文件大小确定要请求的文件列表;

接收端请求获取文件数据,假设一次请求获取文件块的最大值为512KB,也就是设定值,当然,还可以根据实际情况设定为其他值;接收端从待同步列表中依次取出文件名和大小,记当前文件未同步位置为offset,文件第一次请求数据时offset为0;如果文件未同步的大小超过512KB时,请求列表为文件名,文件块区间为[offset,offset+512KB],其中offset+512KB不超过文件的大小;如果文件未同步的大小小于到512KB时,那么从待同步列表中再取第2个文件,如果第1个文件未同步的大小加上第2个文件未同步的大小还达不到512KB时,将增加第3个文件,依此类推,直到所有文件的块大小请求区间总和达到了512KB时,要请求的文件列表不再增加。此时要请求的文件列表为多个文件名和对应的块区间的组合列表;接收端发送请求文件块请求。

S160、接收所述文件块请求;

S170、根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件。

在一实施例中,请参阅图5,上述的步骤S170可包括步骤S171~S172。

S171、根据所述文件块请求读取所述待同步列表中的文件块,并存储于内存缓存中;

S172、从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件。

具体地,从所述内存缓存中读取对应的文件块以及对应的块区间至接收端,以使得接收端依次处理字节信息列表,按块区间将文件块写到磁盘上,当字节信息列表还有文件块未写,则更新当前文件未同步位置到已写的位置,并执行所述根据文件大小确定要请求的文件列表,以生成文件块请求;当字节信息列表中所有块字节已经全部写完,则从待同步列表中移除这个文件,本端最大序号加一。

在本实施例中,服务器依次取出文件块请求列表中每个文件名和块区间范围。读取对应的文件块到内存缓存中;从内存缓存冲读取文件块的字节和对应的块区间范围到接收端;接收端接收字节信息列表,并进行写文件数据;具体地,接收端依次处理字节信息列表,按字节块范围写文件块到磁盘上,如果文件还有剩余字节块未写,则更新offset位置到已写的位置,并执行从待同步列表中依次取出文件名和大小,记当前文件未同步位置为offset,文件第一次请求数据时offset为0;如果文件所有块字节已经全部写完,则从待同步列表中移除这个文件,SlaveMaxSeq加1;如果接收端的待同步列表为空,执行所述接收端计算MasterMaxSeq-SlaveMaxSeq的差值。

上述的基于序号的文件同步方法,通过设置需要同步文件的编号,并确定序号,优先同步序号与接收端序号差异的文件,使同步异常时也能够达到两端快速恢复同步;采用文件块合并的方式,达到多文件合并传输,优化海量小文件同步速度,多个小文件合并成一次请求传输,减少通信次数,减少了海量小文件的同步时间,实现能够快速同步变化的文件,减少大量小文件的同步时间。

图6是本发明另一实施例提供的一种基于序号的文件同步方法的流程示意图。如图6所示,本实施例的基于序号的文件同步方法包括步骤S210-S280。其中步骤S210-S270与上述实施例中的步骤S110-S170类似,在此不再赘述。下面详细说明本实施例中所增加的步骤S280。

S280、当操作系统文件发生变化时,添加发生变化的操作系统文件至待同步文件列表,并执行所述步骤S220。

当需要变化的文件,则表明有文件需要同步,将该变化的文件添加到待同步文件列表内,再次进行文件同步即可。

图7是本发明实施例提供的一种基于序号的文件同步装置300的示意性框图。如图7所示,对应于以上基于序号的文件同步方法,本发明还提供一种基于序号的文件同步装置300。该基于序号的文件同步装置300包括用于执行上述基于序号的文件同步方法的单元,该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地,请参阅图7,该基于序号的文件同步装置300包括制作单元301、编号单元302、序号发送单元303、第一接收单元304、返回单元305、第二接收单元306以及合并处理单元307。

制作单元301,用于制作待同步文件列表;编号单元302,用于对待同步文件列表内的文件进行编号,并确定序号;序号发送单元303,用于发送序号至接收端,以由接收端根据所述序号生成序号区间请求;第一接收单元304,用于接收所述接收端发送的序号区间请求;返回单元305,用于根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求;第二接收单元306,用于接收所述文件块请求;合并处理单元307,用于根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件。

在一实施例中,如图8所示,所述编号单元302包括判断子单元3021、第一设置子单元3022、递增编号子单元3023以及第二设置子单元3024。

判断子单元3021,用于判断操作系统是否存在最大序号;第一设置子单元3022,用于若操作系统不存在最大序号,则设置当前序号为零;递增编号子单元3023,用于对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号;第二设置子单元3024,用于若操作系统存在最大序号,则设置当前序号为最大序号,并执行所述对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号。

在一实施例中,所述序号发送单元303,用于发送序号至接收端,以使得接收端获取本端最大序号,计算序号与本端最大序号的差值,当差值大于零,按照本端最大序号、本端最大序号加上一个批次文件个数所构成的区间生成请求获取所述区间内的文件列表的序号区间请求。

在一实施例中,如图9所示,所述返回单元305包括查找子单元3051以及组成子单元3052。

查找子单元3051,用于根据所述序号区间请求从所述待同步文件列表中查找对应的文件名以及文件大小;组成子单元3052,用于将所述文件名以及文件大小组成列表,并发送所述文件名以及文件大小组成的列表至接收端,以使得所述接收端将所述文件名以及文件大小组成的列表放入待同步列表,根据文件大小确定要请求的文件列表,以生成文件块请求;具体地,当文件未同步的大小小于设定值时,要请求的文件列表为多个文件名和对应的块区间的组合列表;当文件未同步的大小不小于设定值时,要请求的文件列表为当前取出的文件名、块区间为当前文件未同步位置至当前文件未同步位置加上设定值的范围的组合列表。

在一实施例中,如图10所示,所述合并处理单元307包括读取子单元3071以及构成子单元3072。

读取子单元3071,用于根据所述文件块请求读取所述待同步列表中的文件块,并存储于内存缓存中;构成子单元3072,用于从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件。具体地,从所述内存缓存中读取对应的文件块以及对应的块区间至接收端,以使得接收端依次处理字节信息列表,按块区间将文件块写到磁盘上,当字节信息列表还有文件块未写,则更新当前文件未同步位置到已写的位置,并执行所述根据文件大小确定要请求的文件列表,以生成文件块请求;当字节信息列表中所有块字节已经全部写完,则从待同步列表中移除这个文件,本端最大序号加一。

图11是本发明另一实施例提供的一种基于序号的文件同步装置300的示意性框图。如图11所示,本实施例的基于序号的文件同步装置300是上述实施例的基础上增加了添加单元308。

添加单元308,用于当操作系统文件发生变化时,添加发生变化的操作系统文件至待同步文件列表,并执行所述对待同步文件列表内的文件进行编号,并确定序号。

需要说明的是,所属领域的技术人员可以清楚地了解到,上述基于序号的文件同步装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。

上述基于序号的文件同步装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。

请参阅图12,图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。

参阅图12,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种基于序号的文件同步方法。

该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种基于序号的文件同步方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:

制作待同步文件列表;对待同步文件列表内的文件进行编号,并确定序号;发送序号至接收端,以由接收端根据所述序号生成序号区间请求;接收所述接收端发送的序号区间请求;根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求;接收所述文件块请求;根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件。

在一实施例中,处理器502在实现所述根据所述文件块请求合并对应的文件块,并将合并的结果发送至接收端,以使得接收端根据合并的结果更新文件步骤之后,还实现如下步骤:

当操作系统文件发生变化时,添加发生变化的操作系统文件至待同步文件列表,并执行所述对待同步文件列表内的文件进行编号,并确定序号。

在一实施例中,处理器502在实现所述对待同步文件列表内的文件进行编号,并确定序号步骤时,具体实现如下步骤:

判断操作系统是否存在最大序号;若操作系统不存在最大序号,则设置当前序号为零;对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号;若操作系统存在最大序号,则设置当前序号为最大序号,并执行所述对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号。

在一实施例中,处理器502在实现所述发送序号至接收端,以由接收端根据所述序号生成序号区间请求步骤时,具体实现如下步骤:

发送序号至接收端,以使得接收端获取本端最大序号,计算序号与本端最大序号的差值,当差值大于零,按照本端最大序号、本端最大序号加上一个批次文件个数所构成的区间生成请求获取所述区间内的文件列表的序号区间请求。

在一实施例中,处理器502在实现所述根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求步骤时,具体实现如下步骤:

根据所述序号区间请求从所述待同步文件列表中查找对应的文件名以及文件大小;将所述文件名以及文件大小组成列表,并发送所述文件名以及文件大小组成的列表至接收端,以使得所述接收端将所述文件名以及文件大小组成的列表放入待同步列表,根据文件大小确定要请求的文件列表,以生成文件块请求;具体地,当文件未同步的大小小于设定值时,要请求的文件列表为多个文件名和对应的块区间的组合列表;当文件未同步的大小不小于设定值时,要请求的文件列表为当前取出的文件名、块区间为当前文件未同步位置至当前文件未同步位置加上设定值的范围的组合列表。

在一实施例中,处理器502在实现所述根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件步骤时,具体实现如下步骤:

根据所述文件块请求读取所述待同步列表中的文件块,并存储于内存缓存中;从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件。

在一实施例中,处理器502在实现所述从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件步骤时,具体实现如下步骤:

从所述内存缓存中读取对应的文件块以及对应的块区间至接收端,以使得接收端依次处理字节信息列表,按块区间将文件块写到磁盘上,当字节信息列表还有文件块未写,则更新当前文件未同步位置到已写的位置,并执行所述根据文件大小确定要请求的文件列表,以生成文件块请求;当字节信息列表中所有块字节已经全部写完,则从待同步列表中移除这个文件,本端最大序号加一。

应当理解,在本申请实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。

因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:

制作待同步文件列表;对待同步文件列表内的文件进行编号,并确定序号;发送序号至接收端,以由接收端根据所述序号生成序号区间请求;接收所述接收端发送的序号区间请求;根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求;接收所述文件块请求;根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件。

在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述文件块请求合并对应的文件块,并将合并的结果发送至接收端,以使得接收端根据合并的结果更新文件步骤之后,还实现如下步骤:

当操作系统文件发生变化时,添加发生变化的操作系统文件至待同步文件列表,并执行所述对待同步文件列表内的文件进行编号,并确定序号。

在一实施例中,所述处理器在执行所述计算机程序而实现所述对待同步文件列表内的文件进行编号,并确定序号步骤时,具体实现如下步骤:

判断操作系统是否存在最大序号;若操作系统不存在最大序号,则设置当前序号为零;对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号;若操作系统存在最大序号,则设置当前序号为最大序号,并执行所述对待同步文件列表中按照当前序号为起始点以递增的方式进行编号,并将序号确定为当前最大的编号。

在一实施例中,所述处理器在执行所述计算机程序而实现所述发送序号至接收端,以由接收端根据所述序号生成序号区间请求步骤时,具体实现如下步骤:

发送序号至接收端,以使得接收端获取本端最大序号,计算序号与本端最大序号的差值,当差值大于零,按照本端最大序号、本端最大序号加上一个批次文件个数所构成的区间生成请求获取所述区间内的文件列表的序号区间请求。

在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述序号区间请求返回对应的文件名以及文件大小组成的列表至接收端,以使得所述接收端根据文件名以及文件大小组成的列表生成文件块请求步骤时,具体实现如下步骤:

根据所述序号区间请求从所述待同步文件列表中查找对应的文件名以及文件大小;将所述文件名以及文件大小组成列表,并发送所述文件名以及文件大小组成的列表至接收端,以使得所述接收端将所述文件名以及文件大小组成的列表放入待同步列表,根据文件大小确定要请求的文件列表,以生成文件块请求;具体地,当文件未同步的大小小于设定值时,要请求的文件列表为多个文件名和对应的块区间的组合列表;当文件未同步的大小不小于设定值时,要请求的文件列表为当前取出的文件名、块区间为当前文件未同步位置至当前文件未同步位置加上设定值的范围的组合列表。

在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述文件块请求合并对应的文件块,构成字节信息列表,并将字节信息列表发送至接收端,以使得接收端根据合并的结果更新文件步骤时,具体实现如下步骤:

根据所述文件块请求读取所述待同步列表中的文件块,并存储于内存缓存中;从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件。

在一实施例中,所述处理器在执行所述计算机程序而实现所述从所述内存缓存中读取对应的文件块以及对应的块区间,构成字节信息列表,并发送字节信息列表至接收端,以使得接收端根据接收的文件块以及对应的块区间更新文件步骤时,具体实现如下步骤:

从所述内存缓存中读取对应的文件块以及对应的块区间至接收端,以使得接收端依次处理字节信息列表,按块区间将文件块写到磁盘上,当字节信息列表还有文件块未写,则更新当前文件未同步位置到已写的位置,并执行所述根据文件大小确定要请求的文件列表,以生成文件块请求;当字节信息列表中所有块字节已经全部写完,则从待同步列表中移除这个文件,本端最大序号加一。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

相关技术
  • 一种文件同步方法、装置、设备及计算机可读存储介质
  • 数据同步方法、装置、计算机设备及存储介质
  • 区块链的数据同步方法、装置、计算机设备及存储介质
  • 产品数据同步方法、装置、计算机设备及存储介质
  • 产品数据的数据同步方法、装置、计算机设备及存储介质
  • 文件同步方法、装置、计算机设备和存储介质
  • 一种文件同步方法、装置、设备及计算机可读存储介质
技术分类

06120116480396