一种基于分布式存储的分布式调度方法及系统

技术领域

本发明涉及数据存储技术领域，具体涉及一种基于分布式存储的分布式调度方法及系统。

背景技术

分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

目前，分布式存储架构运行的稳定性远未能达到传统构架的水平。为了保证分布式存储系统能有条不紊的运行，在分布存储系统的应用中常采用服务降级、服务限流等工具。现有技术中，分布式存储系统的限流方式主要是基于服务器中间件连接数、并发线程控制等方法实现，这些方法功能单一且灵活性差，无法有效地完成分布式服务器的限流，尤其是在面对突增的高并发、大量存储请求时。

因此，如何提出一种基于分布式存储的分布式调度方法，能够有效控制存储请求数量，提高分布式服务器运行的稳定性成为本领域需要解决的重要课题。

发明内容

针对现有技术中的问题，本发明实施例提供一种基于分布式存储的分布式调度方法及系统。

一方面，本发明提出一种基于分布式存储的分布式调度方法，包括：

根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

优选地，所述判断所述任务队列是否满足分布式存储规则包括：

从所述任务队列中提取到至少一个任务；

若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。

优选地，所述启动所述任务队列完成数据存储包括：

为所述任务队列中的每个所述任务开启一个进程并加进程锁。

优选地，所述分布式调度方法还包括：

若判断获知所述任务的进程异常和/或所述任务的进程对应的进程锁异常，则终止所述任务。

优选地，所述根据所有待存储数据建立任务队列，包括

获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；

根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n-1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。

另一方面，本发明提供一种基于分布式存储的分布式调度系统，包括：

建立单元，根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

判断单元，判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

存储单元，若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

优选地，所述判断单元包括：

提取子单元，用于从所述任务队列中提取到至少一个任务；

判断子单元，若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。

优选地，所述建立单元包括：

获取子单元：获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；

建立子单元：根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n-1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述分布式调度方法的步骤。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述分布式调度方法的步骤。

本发明实施例提供的基于分布式存储的分布式调度方法及系统，能够接收至少一个存储任务队列，在判断获知上述至少一个任务队列是否满足分布式存储规则之后，然后启动所述任务队列进行数据存储，能够减少存储数据过程中比对的目录的数量，减少数据存储的时间，从而提高了数据存储的效率，通过分布式存储规则对单位时间内的存储数量进行限制，能够有效控制存储数量，避免存储数量超出分布式服务器的处理能力，提高了分布式存储系统运行的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例提供的基于分布式存储的分布式调度方法的流程示意图。

图2是本发明一实施例提供的基于分布式存储的分布式调度系统的结构示意图。

图3是本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是本发明一实施例提供的基于分布式存储的分布式调度方法的流程示意图，如图1所示，本发明实施例提供的基于分布式存储的分布式调度方法，包括：

S101、根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

具体地，在数据存储任务被触发之后，服务器会根据待存储数据的所有第n级子目录以及第1级子目录至第n-1级子目录中的叶子目标建立任务队列，即为所有第n级子目录中的每个第n级子目录建立一个对应的任务，为第1级子目录至第n-1级子目录中的每个叶子目录建立一个对应的任务，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录，所述叶子目录为空子目录或者文件。其中，n为大于1的正整数。可理解的是，数据存储任务可以被定期的触发，也可以人为下发控制命令触发，根据实际需要进行设置，本发明实施例不做限定。

S102、判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

具体地，分布式服务器接收到所述至少一个任务队列之后，会判断所述至少一个任务队列中的每个任务是否满足分布式存储规则，如果存在满足所述分布式存储规则的存储任务，那么获取单位时间内的存储请求数量。其中，所述分布式存储规则是预设的。所述分布式存储规则根据实际需要进行设置，本发明实施例不做限定；所述单位时间，例如为1秒，根据实际需要进行设置，本发明实施例不做限定。可理解是，对于不满足所述分布式存储规则的存储请求，会转发给分布式服务器进行处理。所述分布式服务器可以设置在网关、代理服务器或者一台分布式服务器上，根据实际需要进行设置，本发明实施例不做限定。

例如，所述分布式存储规则包括判断条件：任务队列中目录达到设定数量。如果所述任务队列中目录达到设定数量，那么所述存储请求满足所述分布式存储规则。所述分布式存储规则包括判断条件：任务队列中目录大于100且小于1000。如果所述任务队列中目录大于100且小于1000，那么所述存储请求满足所述分布式存储规则。

S103、若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

具体地，在建立所述任务队列之后，所述服务器会启动所述任务队列中的每个任务并执行，可以将每个任务对应的子目录或叶子目录的数据复制到存储终端，所述服务器可以利用数据存储工具进行数据的复制。所述存储终端可以是另外一台服务器或者所述服务器的另一块硬盘，根据实际需要进行选择，本发明实施例不做限定。所述任务队列中的任务可以逐一地执行，也可以并发执行，根据实际需要进行设置，本发明实施例不做限定。所述分布式服务器获得所述单位时间内的存储请求数量之后，将所述单位时间内的存储请求数量与限流阈值进行比较，如果所述单位时间内的存储请求数量大于所述限流阈值，那么拒绝超过所述限流阈值且满足所述分布式存储规则的存储请求，即不会将超过所述限流阈值且满足所述分布式存储规则的存储请求转发给分布式服务器进行处理。其中，所述限流阈值是预设的，所述限流阈值根据实际经验进行设置，本发明实施例不做限定。

例如，如果满足所述分布式存储规则的存储请求的存储请求数量为10，所述单位时间内的存储请求数量超出所述限流阈值的数量为5，那么所述分布式服务器将拒绝所述满足所述分布式存储规则的存储请求中的5个存储请求，其余5个存储请求会发送给分布式服务器进行处理。所述分布式服务器可以随机选择5个所述满足所述分布式存储规则的存储请求进行拒绝，或者根据各个存储请求的发送时间，选择5个发送时间较晚的存储请求进行拒绝，根据实际需要进行设置，本发明实施例不做限定。

本发明实施例提供的基于分布式存储的分布式调度方法，能够接收至少一个存储任务队列，在判断获知上述至少一个任务队列是否满足分布式存储规则之后，然后启动所述任务队列进行数据存储，能够减少存储数据过程中比对的目录的数量，减少数据存储的时间，从而提高了数据存储的效率，通过分布式存储规则对单位时间内的存储数量进行限制，能够有效控制存储数量，避免存储数量超出分布式服务器的处理能力，提高了分布式存储系统运行的稳定性。

在上述各实施例的基础上，进一步地，所述判断所述任务队列是否满足分布式存储规则包括：

从所述任务队列中提取到至少一个任务；

具体地，由于所述任务队列包括多个任务，所述分布式服务器可以从所述存储请求中提取至少一个存储任务。

例如，所述分布式服务器可以采用关键词检索的方式从所述任务队列中提取存储任务。或者，所述存储请求是格式化的报文，所述分布式服务器可以通过所述报文的特定字段提取所述存储任务。

若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。

具体地，所述分布式服务器在从所述任务队列中提取到至少一个存储任务之后，判断所述至少一个存储任务是否存在满足所述分布式存储规则的交易要素，如果存在满足所述分布式存储规则的存储任务，那么该存储任务对应的存储要求满足所述分布式存储规则。

在上述各实施例的基础上，进一步地，所述启动所述任务队列完成数据存储包括：

为所述任务队列中的每个所述任务开启一个进程并加进程锁。

具体地，所述服务器在启动所述任务队列中的每个所述任务时，会为每个所述任务开启一个进程，为了避免相邻任务之间的资源读取冲突，在为所述任务开启进程的同时，会为所述任务的进程加进程锁。

在上述各实施例的基础上，进一步地，本发明实施例提供的所述分布式调度方法还包括：

若判断获知所述任务的进程异常和/或所述任务的进程对应的进程锁异常，则终止所述任务。

具体地，所述服务器在数据存储的过程中，会判断每个所述任务的进程和进程锁是否异常，如果所述任务的进程异常和/或进程锁异常，说明所述任务的进程僵死，所述服务器会终止所述任务，即杀死该任务的进程。在本次数据存储的过程中被杀死的任务，可以在下次进行数据存储的时候添加到建立的任务队列中。

5.在上述各实施例的基础上，进一步地，所述根据所有待存储数据建立任务队列，包括：

获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；

具体地，在本次数据存储任务被触发之后，所述服务器可以查询上一次存储时间，即数据正常完成存储的时间，每次数据存储完成之后都会有记录，所示服务器可以查找获得与当前时间最接近的数据正常完成存储时间作为上一次存储时间，然后从所述待存储数据中获得从上一次存储时间到当前时间之间数据发生变化的子目录。可理解的是，如果所述服务器在上一次数据存储任务被触发之后，正常完成了数据存储，那么上次数据存储任务被触发的时间可以作为所述上一次存储时间；如果所述服务器在上一次数据存储任务被触发之后，没有能够正常完成数据存储，那么上次数据存储任务被触发的时间不能作为所述上一次存储时间，所述服务器会继续判断再上一次数据存储任务被触发之后，数据存储是否正常完成，直到获得一次正常完成数据存储的时间。

根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n-1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。

具体地，所述服务器获得所述待备份数据从上一次备份时间到当前时间之间数据发生变化的子目录之后，会根据所述待备份数据中数据发生变化的的第n级子目录以及第1级子目录至第n-1级子目录中的叶子目录，建立所述任务队列，即为所有第n级子目录中每个数据发生变化第n级子目录建立一个对应的任务，为第1级子目录至第n-1级子目录中每个数据发生变化的叶子目录建立一个对应的任务，所述任务队列中的每个任务对应一个数据发生变化的第n级子目录或者叶子目录。

图2是本发明一实施例提供的基于分布式存储的分布式调度系统的结构示意图，如图2所示，本发明实施例提供的基于分布式存储的分布式调度系统包括：建立单元201、判断单元202和存储单元203，其中：

建立单元201用于根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

具体地，在数据存储任务被触发之后，服务器会根据待存储数据的所有第n级子目录以及第1级子目录至第n-1级子目录中的叶子目标建立任务队列，即为所有第n级子目录中的每个第n级子目录建立一个对应的任务，为第1级子目录至第n-1级子目录中的每个叶子目录建立一个对应的任务，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录，所述叶子目录为空子目录或者文件。其中，n为大于1的正整数。可理解的是，数据存储任务可以被定期的触发，也可以人为下发控制命令触发，根据实际需要进行设置，本发明实施例不做限定。

判断单元202判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

具体地，分布式服务器接收到所述至少一个任务队列之后，会判断所述至少一个任务队列中的每个任务是否满足分布式存储规则，如果存在满足所述分布式存储规则的存储任务，那么获取单位时间内的存储请求数量。其中，所述分布式存储规则是预设的。所述分布式存储规则根据实际需要进行设置，本发明实施例不做限定；所述单位时间，例如为1秒，根据实际需要进行设置，本发明实施例不做限定。可理解是，对于不满足所述分布式存储规则的存储请求，会转发给分布式服务器进行处理。所述分布式服务器可以设置在网关、代理服务器或者一台分布式服务器上，根据实际需要进行设置，本发明实施例不做限定。

例如，所述分布式存储规则包括判断条件：任务队列中目录达到设定数量。如果所述任务队列中目录达到设定数量，那么所述存储请求满足所述分布式存储规则。所述分布式存储规则包括判断条件：任务队列中目录大于100且小于1000。如果所述任务队列中目录大于100且小于1000，那么所述存储请求满足所述分布式存储规则。

存储单元203若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

具体地，在建立所述任务队列之后，所述服务器会启动所述任务队列中的每个任务并执行，可以将每个任务对应的子目录或叶子目录的数据复制到存储终端，所述服务器可以利用数据存储工具进行数据的复制。所述存储终端可以是另外一台服务器或者所述服务器的另一块硬盘，根据实际需要进行选择，本发明实施例不做限定。所述任务队列中的任务可以逐一地执行，也可以并发执行，根据实际需要进行设置，本发明实施例不做限定。所述分布式服务器获得所述单位时间内的存储请求数量之后，将所述单位时间内的存储请求数量与限流阈值进行比较，如果所述单位时间内的存储请求数量大于所述限流阈值，那么拒绝超过所述限流阈值且满足所述分布式存储规则的存储请求，即不会将超过所述限流阈值且满足所述分布式存储规则的存储请求转发给分布式服务器进行处理。其中，所述限流阈值是预设的，所述限流阈值根据实际经验进行设置，本发明实施例不做限定。

例如，如果满足所述分布式存储规则的存储请求的存储请求数量为10，所述单位时间内的存储请求数量超出所述限流阈值的数量为5，那么所述分布式服务器将拒绝所述满足所述分布式存储规则的存储请求中的5个存储请求，其余5个存储请求会发送给分布式服务器进行处理。所述分布式服务器可以随机选择5个所述满足所述分布式存储规则的存储请求进行拒绝，或者根据各个存储请求的发送时间，选择5个发送时间较晚的存储请求进行拒绝，根据实际需要进行设置，本发明实施例不做限定。

本发明实施例提供的基于分布式存储的分布式调度系统，能够接收至少一个存储任务队列，在判断获知上述至少一个任务队列是否满足分布式存储规则之后，然后启动所述任务队列进行数据存储，能够减少存储数据过程中比对的目录的数量，减少数据存储的时间，从而提高了数据存储的效率，通过分布式存储规则对单位时间内的存储数量进行限制，能够有效控制存储数量，避免存储数量超出分布式服务器的处理能力，提高了分布式存储系统运行的稳定性。

在上述各实施例的基础上，进一步地，判断单元202包括提取子单元和判断子单元，其中：

提取子单元，用于从所述任务队列中提取到至少一个任务；

具体地，提取子单元由于所述任务队列包括多个任务，所述分布式服务器可以从所述存储请求中提取至少一个存储任务。

例如，所述分布式服务器可以采用关键词检索的方式从所述任务队列中提取存储任务。或者，所述存储请求是格式化的报文，所述分布式服务器可以通过所述报文的特定字段提取所述存储任务。

判断子单元，若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。

具体地，判断子单元在从所述任务队列中提取到至少一个存储任务之后，判断所述至少一个存储任务是否存在满足所述分布式存储规则的交易要素，如果存在满足所述分布式存储规则的存储任务，那么该存储任务对应的存储要求满足所述分布式存储规则。

在上述各实施例的基础上，进一步地，所述建立单元201包括：

获取子单元：获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；

具体地，在本次数据存储任务被触发之后，所述服务器可以查询上一次存储时间，即数据正常完成存储的时间，每次数据存储完成之后都会有记录，所示服务器可以查找获得与当前时间最接近的数据正常完成存储时间作为上一次存储时间，然后从所述待存储数据中获得从上一次存储时间到当前时间之间数据发生变化的子目录。可理解的是，如果所述服务器在上一次数据存储任务被触发之后，正常完成了数据存储，那么上次数据存储任务被触发的时间可以作为所述上一次存储时间；如果所述服务器在上一次数据存储任务被触发之后，没有能够正常完成数据存储，那么上次数据存储任务被触发的时间不能作为所述上一次存储时间，所述服务器会继续判断再上一次数据存储任务被触发之后，数据存储是否正常完成，直到获得一次正常完成数据存储的时间。

建立子单元：根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n-1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。

具体地，建立子单元获得所述待备份数据从上一次备份时间到当前时间之间数据发生变化的子目录之后，会根据所述待备份数据中数据发生变化的的第n级子目录以及第1级子目录至第n-1级子目录中的叶子目录，建立所述任务队列，即为所有第n级子目录中每个数据发生变化第n级子目录建立一个对应的任务，为第1级子目录至第n-1级子目录中每个数据发生变化的叶子目录建立一个对应的任务，所述任务队列中的每个任务对应一个数据发生变化的第n级子目录或者叶子目录。

图3是本发明一实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)701、通信接口(CommunicationsInterface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行如下方法：

根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

此外，上述的存储器703中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：

根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；

判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；

若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。