一种存储辅助大数据多路径传输调度方法

技术领域

本发明涉及网络数据传输调度方法技术领域，特别是一种存储辅助大数据多路径传输调度方法。

背景技术

随着云计算、边缘计算，以及各种新兴在线应用的兴起，算力网络、数据中心网络、广域网、城域网和云边端一体化网络等网络产生了海量的大数据传输需求。然而，网络中数据流量的时空变化导致网络难以为大数据流量长时间地提供大带宽传输管道，无法满足日益增长的大数据传输需求。

利用具备存储资源的网络节点，例如，算力枢纽、数据中心等，作为数据缓存节点。当网络拥塞、带宽资源不足时，将数据临时存储于网络节点，等待网络空闲后再继续传输，即通过存储辅助大数据传输调度方法，可以灵活、高效地利用被网络流量碎片化的带宽资源，从而满足大数据传输需求。存储辅助大数据传输调度方法是解决大数据网络传输难题的重要方案。

现有存储辅助大数据传输调度方法，主要依靠单路径调度大数据传输。然而，一方面，通过单条路径传输大数据，往往面临带宽资源占用过多、占用时间过长的困扰。单路径上有限的带宽资源依然不足以满足大数据传输需求。另一方面，单路径上有限的带宽资源又使得大数据完成的传输时间、存储时间均进一步延长，导致现有单路径调度方法无法满足延时敏感型大数据业务的传输需求。

发明内容

有鉴于此，本发明的目的在于提供一种存储辅助大数据多路径传输调度方法，能够根据网络当前可用资源状态自适应选择多路径路由并分配各路径传输流量，从而动态平衡缩短传输完成时间与节省带宽资源使用两个优化目标，属于数据中心网络、广域网、城域网、算力网络等计算机网络领域。

为实现上述目的，本发明采用如下技术方案：一种存储辅助大数据多路径传输调度方法，将网络中继节点上的存储资源引入数据的多路径传输过程，一方面通过多条路径并行传输大数据，即将数据流量分散至多条路径传输，另一方面通过存储辅助每条路径上数据传输，即允许数据在传输路径拥塞时利用中继节点的存储资源临时缓存，等待传输路径空闲后继续传输数据；建立以动态平衡缩短传输完成时间与节省带宽资源为优化目标的路由与数据流量分配优化问题模型，根据网络当前可用资源状态，该路由与数据流量分配优化问题模型自适应选择多路径路由并分配各路径传输流量。

在一较佳的实施例中，具体包括以下步骤：

步骤1，获取等待调度的大数据业务传输请求r的信息和反映网络在一段时间范围内资源状态信息的时移多层图TS-MLG；

步骤2，根据请求r指定的传输完成截止时间ddl，逐一计算图G

根据传输完成截止时间ddl，遍历图G

步骤3，搜索图G

步骤4，确定优化目标的权重系数α，可按照用户需求设定权重系数α，也可根据源节点s到目的节点d之间相关链路状态自适应改变权重系数α；

步骤5，根据优化目标、传输请求r信息、辅助图G′与权重系数α，将路由与数据流量分配问题建模为优化问题，并求解该问题，得到最优的传输路由集合R

步骤6，选择一条传输路由R

步骤7，根据传输路由R

步骤8，在辅助子图G'

步骤9，判断请求r是否传输成功，如果请求r在所有传输路由上均成功找到有效路径，则请求r可以成功传输，接受该请求，并根据有效路径集合P

如果请求r在集合R

在一较佳的实施例中：所述步骤1具体为：

通过网络控制器获取等待调度的大数据业务传输请求r的信息，其由四元组{s,d,F,ddl}构成，其中s表示请求传输源节点、d表示请求传输目的节点、F表示请求传输的数据量，以及ddl表示请求传输完成截止时间信息；

通过网络控制器获取反映网络可用资源状态信息的TS-MLG，即图G

在一较佳的实施例中：所述步骤3具体包括：

搜索图G

在一较佳的实施例中：所述步骤4具体包括：

将节省带宽资源目标的权重系数设为α，将缩短传输完成时间目标的权重系数设为1-α；权重系数可采用两种设置方式：1)按照用户优化需求不同；2)根据源节点s到目的节点d之间相关链路状态自适应改变权重系数α，从而实现缩短传输完成时间与节省带宽资源两个优化目标之间的动态平衡；

在第二种权重系数设置方式中，可使用路由算法预先计算源节点s到目的节点d之间的K条路由，其中R

其中e为子图G

将相关链路资源占用率U赋予权重系数α，即α＝U；

当相关链路可用带宽资源较多、处于相对空闲的状态时，U数值较小，节省带宽资源使用的权重系数较小，缩短传输完成时间的权重系数较大，从而选择使用更多路径并行传输数据，通过充分利用网络当前闲置带宽资源，加快数据的传输，缩短传输完成时间；

当相关链路可用带宽资源较少、处于相对繁忙的状态时，U数值较大，节省带宽资源使用的权重系数较大，缩短传输完成时间的权重系数较小，从而选择使用更少路径并行传输数据，避免多条路径并传同时消耗的过多带宽，达到节省带宽资源的目标，使得有限的带宽资源可以满足更多大数据业务的传输需求。

在一较佳的实施例中：所述步骤5具体包括：

根据优化目标、传输请求r信息、辅助图G′与权重系数α，建立路由与数据流量分配优化问题模型，利用优化求解方法，在辅助图G′上求得传输请求r从源节点s到目的节点d的传输路由R

在一较佳的实施例中：所述步骤6具体包括：

从集合R

在一较佳的实施例中：所述步骤7具体包括：

根据传输路由R

遍历图G

遍历图G

在辅助子图G'

在一较佳的实施例中；所述步骤8

具体包括：在辅助子图G'

在一较佳的实施例中：步骤5中，所述的路由与数据流量分配优化问题，其输入参数、决策变量、优化目标和约束条件具体如下：

1)输入参数：

G′(V′,E′)表示辅助图，其中V′表示网络节点的集合，E′表示网络链路的集合；

i和j均表示网络节点，i,j∈V'；

e＝(i,j)表示节点i和j之间的链路，e∈E'；

δ(i)

δ(i)

s表示传输请求r的源节点，s∈V'；

d表示传输请求r的目的节点，d∈V'；

F表示传输请求r的数据量；

表示链路e的最大可传输数据量；

H

M表示传输请求r最多能够使用的路径数量；

α表示权重系数；

2)决策变量：

f

f

x

3)优化目标：

优化目标(2)式能够动态平衡缩短传输完成时间与节省带宽资源使用两个优化目标，其中第一项为节省带宽资源使用优化目标，由传输请求所用链路数量之和组成，并使用从源节点s到目的节点d的最短路径的跳数H

4)约束条件：

为了保证数据流量守恒，给出以下流守恒约束公式：

约束公式(3)-(5)分别保证了源节点、目的节点和中继节点的流量守恒；

为了保证数据流量的确定性，给出数据流量分配约束公式：

约束公式(6)保证每条链路只分配一个数据流量，并且其大小在链路最大可传输数据量

为了保证多路径路由的路径数量，给出多路径路由约束公式：

约束公式(8)-(9)保证传输请求r的路径数量小于M；约束公式(10)保证数据的拆分和重组只发生在源节点s和目的节点d上。

与现有技术相比，本发明具有以下有益效果：本发明解决了现有单路径传输调度方法对单路径带宽占用过多、传输完成时间过长，无法满足延时敏感型大数据业务传输需求的困境。本发明通过将多路径路由与中继节点的存储资源结合，一方面通过多条路径并传，提高了数据传输吞吐量，缩短传输完成时间，缓解单路径带宽压力，另一方面允许数据在传输路径拥塞时利用中继节点临时缓存，提高了传输调度、带宽使用的灵活性。此外，本发明能够根据网络当前可用资源状态自适应选择多路径路由并分配各路径传输流量，从而动态平衡缩短传输完成时间与节省带宽资源使用两个优化目标。

附图说明

图1是本发明优选实施例的存储辅助大数据多路径传输调度方法的流程图；

图2是本发明优选实施例的反映网络可用资源状态信息的TS-MLG图G

图3是本发明优选实施例的网络辅助图G′；

图4是本发明优选实施例的基于单路由R

图5是本发明优选实施例的基于单路由R

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种存储辅助大数据多路径传输调度方法，参考图1-5，将网络中继节点上的存储资源引入数据的多路径传输过程，一方面通过多条路径并行传输大数据，提高了数据传输吞吐量，缩短传输完成时间，同时减少了单条路径需要传输的数据流量以及所需带宽资源数量，从而缓解单路径传输的带宽压力，另一方面通过存储辅助每条路径上数据传输，即允许数据在传输路径拥塞时利用中继节点的存储资源临时缓存，等待传输路径空闲后继续传输数据，从而提高了数据传输调度的灵活性与带宽资源利用率。

根据传输完成截止时间的长短，灵活调整路由与数据流量分配方案；当大数据业务指定的传输完成截止时间较短(例如，延迟敏感型大数据业务)时，现有单路径传输调度由于会额外引入较大存储延迟，导致大数据业务无法在指定截止时间前完成传输；与此不同，可将数据流量分散至多条路径传输，这不仅缩短每条路径上数据传输所需时间，也缩短了每条路径上数据缓存所需时间，从而使得每条路径都有更多时间运用存储辅助传输调度；当大数据业务指定的传输完成截止时间较长(例如，延迟容忍型大数据业务)时，则可根据网络当前可用资源状况，灵活选择单条或者多条路径，并分配数据流量进行传输调度；

将大数据业务指定的传输完成截止时间纳入传输调度规划过程，确保所有被调度方法接受的大数据业务能够在其指定的截止时间前完成数据传输。

根据网络当前可用资源状态自适应选择多路径路由并分配各路径传输流量，动态平衡缩短传输完成时间与节省带宽资源使用两个优化目标的权重系数，从而避免现有多路径路由仅以缩短传输时间为优化目标，导致使用传输路径过多、占用过多带宽，反而加剧网络拥塞、恶化网络性能的问题；优化目标的权重系数也可以由使用者指定；

当网络可用带宽资源较多、网络处于相对空闲的状态时，可以赋予缩短传输完成时间目标更大权重系数，而减小节省带宽资源使用目标的权重系数，从而选择使用更多路径并行传输数据，通过充分利用网络当前闲置带宽资源，加快数据的传输，缩短传输完成时间；

当网络可用带宽资源较少、网络处于相对繁忙的状态时，可以赋予节省带宽资源使用目标更大权重系数，而减小缩短传输完成时间目标的权重系数，从而选择使用更少路径并行传输数据，避免多条路径并传同时消耗的过多带宽，达到节省带宽资源的目标，使得有限的带宽资源可以满足更多大数据业务的传输需求；

多路径路由与中继节点存储的结合，产生了复杂的存储辅助多路径调度问题，其涉及多路径路由、路径数据流量分配、存储节点选择、传输与缓存时间调度，以及带宽和存储资源分配等问题需要调度方法求解；将存储辅助多路径调度问题解耦为路由与数据流量分配问题，以及若干存储辅助单路径调度问题，分别求解问题，从而降低存储辅助多路径调度问题的求解难度，提高问题求解效率；

根据网络当前资源状态和传输请求信息，将路由与数据流量分配子问题建模为优化问题；求解该优化问题，获得路由与数据流量分配的最佳解决方案，即确定并传路由数量、每条传输路由选择，以及每条路由分配的数据流量；

根据路由与数据流量分配的解决方案，将存储辅助多路径调度问题分解成多个存储辅助单路径调度问题，并将存储辅助单路径调度问题构建为时移多层图TS-MLG中的路由问题；通过求解路由问题，获得每条传输路由上存储节点选择、传输与缓存时间调度，以及带宽和存储资源分配的最佳解决方案；

通过以下过程实现存储辅助大数据多路径传输调度：获取等待调度的大数据业务传输请求r的信息和反映网络在一段时间范围内资源状态信息的TS-MLG；根据请求r指定的传输完成截止时间，逐一计算TS-MLG中传输完成截止时间范围内所有空间链路的可传输数据量；搜索TS-MLG中位于不同层子图上同一空间链路的最大可传输数据量，创建网络拓扑图的辅助图，并将链路的最大可传输数据量设为辅助图中对应链路的权重；确定优化目标的权重系数，可按照用户需求设定权重系数，也可根据源节点到目的节点之间相关链路状态自适应改变权重系数；根据优化目标、传输请求信息、辅助图与权重系数，将路由与数据流量分配问题建模为优化问题，并求解该问题，得到最优的传输路由集合与数据流量分配集合；选择一条传输路由，根据传输路由以及传输完成截止时间，将TS-MLG缩减为基于单路由的多层子图；根据传输路由分配的数据流量，创建多层子图的辅助子图；在辅助子图上运行路由搜索算法寻找从源节点到目的节点的有效路径，存入有效路径集合，将当前传输路由从传输路由集合中删除，并继续选择下一条传输路由；判断请求r是否传输成功，如果请求r在所有传输路由上均成功找到有效路径，则请求r可以成功传输，接受该请求，并根据有效路径集合和数据流量分配集合更新TS-MLG、配置网络资源以服务请求传输，否则请求r无法成功传输，拒绝该请求。

参见图1说明本发明所述的存储辅助大数据多路径传输调度方法，具体步骤的流程图见图1所示，该方法包括如下步骤：

步骤1，获取等待调度的大数据业务传输请求r的信息和反映网络在一段时间范围内资源状态信息的TS-MLG：

通过网络控制器(例如，软件定义网络SDN控制器)获取等待调度的大数据业务传输请求r的信息，其由四元组{s,d,F,ddl}构成，其中s表示请求传输源节点、d表示请求传输目的节点、F表示请求传输的数据量，以及ddl表示请求传输完成截止时间信息；

通过网络控制器获取反映网络可用资源状态信息的TS-MLG，即图G

步骤2，根据请求r指定的传输完成截止时间ddl，逐一计算图G

根据传输完成截止时间ddl，遍历图G

步骤3，搜索图G

搜索图G

创建图G的辅助图G′，将最大可传输数据量

步骤4，确定优化目标的权重系数α，可按照用户需求设定权重系数α，也可根据源节点s到目的节点d之间相关链路状态自适应改变权重系数α：

将节省带宽资源目标的权重系数设为α，将缩短传输完成时间目标的权重系数设为1-α；权重系数可采用两种设置方式：1)按照用户优化需求不同(例如，优先节省带宽资源或者优先缩短传输完成时间)设定权重系数α；2)根据源节点s到目的节点d之间相关链路状态自适应改变权重系数α，从而实现缩短传输完成时间与节省带宽资源两个优化目标之间的动态平衡；

在第二种权重系数设置方式中，可使用路由算法(如K条链路不相关路由算法)预先计算源节点s到目的节点d之间的K条路由，其中R

其中e为子图G

将相关链路资源占用率U赋予权重系数α，即α＝U；

当相关链路可用带宽资源较多、处于相对空闲的状态时，U数值较小，节省带宽资源使用的权重系数较小，缩短传输完成时间的权重系数较大，从而选择使用更多路径并行传输数据，通过充分利用网络当前闲置带宽资源，加快数据的传输，缩短传输完成时间；

当相关链路可用带宽资源较少、处于相对繁忙的状态时，U数值较大，节省带宽资源使用的权重系数较大，缩短传输完成时间的权重系数较小，从而选择使用更少路径并行传输数据，避免多条路径并传同时消耗的过多带宽，达到节省带宽资源的目标，使得有限的带宽资源可以满足更多大数据业务的传输需求；

步骤5，根据优化目标、传输请求r信息、辅助图G′与权重系数α，将路由与数据流量分配问题建模为优化问题，并求解该问题，得到最优的传输路由集合R

根据优化目标、传输请求r信息、辅助图G′与权重系数α，建立路由与数据流量分配优化问题模型，利用优化求解方法(例如，Gurobi优化求解器、CPLEX优化求解器、启发式优化求解算法等)，在辅助图G′上求得传输请求r从源节点s到目的节点d的传输路由R

步骤6，选择一条传输路由R

从集合R

步骤7，根据传输路由R

根据传输路由R

遍历图G

遍历图G

在辅助子图G'

步骤8，在辅助子图G'

在辅助子图G'

步骤9，判断请求r是否传输成功，如果请求r在所有传输路由上均成功找到有效路径，则请求r可以成功传输，接受该请求，并根据有效路径集合P

如果请求r在集合R

本发明所述的路由与数据流量分配优化问题，其输入参数、决策变量、优化目标和约束条件具体如下：

1)输入参数：

G′(V′,E′)表示辅助图，其中V′表示网络节点的集合，E′表示网络链路的集合；

i和j均表示网络节点，i,j∈V'；

e＝(i,j)表示节点i和j之间的链路，e∈E'；

δ(i)

δ(i)

s表示传输请求r的源节点，s∈V'；

d表示传输请求r的目的节点，d∈V'；

F表示传输请求r的数据量；

表示链路e的最大可传输数据量；

H

M表示传输请求r最多能够使用的路径数量；

α表示权重系数；

2)决策变量：

f

f

x

3)优化目标：

优化目标(2)式能够动态平衡缩短传输完成时间与节省带宽资源使用两个优化目标，其中第一项为节省带宽资源使用优化目标，由传输请求所用链路数量之和组成，并使用从源节点s到目的节点d的最短路径的跳数H

4)约束条件：

为了保证数据流量守恒，给出以下流守恒约束公式：

约束公式(3)-(5)分别保证了源节点、目的节点和中继节点的流量守恒；

为了保证数据流量的确定性，给出数据流量分配约束公式：

约束公式(6)保证每条链路只分配一个数据流量，并且其大小在链路最大可传输数据量

为了保证多路径路由的路径数量，给出多路径路由约束公式：

约束公式(8)-(9)保证传输请求r的路径数量小于M；约束公式(10)保证数据的拆分和重组只发生在源节点s和目的节点d上。

下面通过具体例子说明本发明所述的存储辅助大数据多路径传输调度方法的实施方式：

如图2所示，图G

图2中各层子图中不同节点通过空间链路相连，即图2中实线，空间链路状态表示链路可用带宽资源；图2中不同层子图中相同节点通过时间链路连接，即图2中虚线，时间链路状态表示链路可用存储资源；请求穿越空间、时间链路分别表示数据传输和数据缓存。

假设在t

首先，计算图G

构建网络拓扑图G的辅助图G′，其链路权重为最大可传输数据量

使用第二种权重系数设置方式，用K条链路不相关路由算法(K＝2)计算出节点1到节点3之间的2条路由，即R

通过图G

将传输请求r信息、辅助图G′与权重系数α带入路由与数据流量分配优化问题，并求解该问题，虽然路由{1,2,3}足以单独完成数据传输，但是由于此时权重系数α较小，调度方法倾向选择使用更多路径并行传输数据，以缩短传输完成时间，因此问题求解所得的最优的传输路由集合R

接下来，选择一条传输路由R

若多层子图G

若多层子图G

位于不同层子图上的所有目的节点3

在子图G'

接下来，选择另一条传输路由R

在子图G'

最后，传输路由集合R

综上所述，本发明解决了现有单路径传输调度方法对单路径带宽占用过多、传输完成时间过长，无法满足延时敏感型大数据业务传输需求的困境。本发明通过将多路径路由与中继节点的存储资源结合，一方面通过多条路径并传，提高了数据传输吞吐量，缩短传输完成时间，缓解单路径带宽压力，另一方面允许数据在传输路径拥塞时利用中继节点临时缓存，提高了传输调度、带宽使用的灵活性。此外，本发明能够根据网络当前可用资源状态自适应选择多路径路由并分配各路径传输流量，从而动态平衡缩短传输完成时间与节省带宽资源使用两个优化目标。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的存储辅助大数据多路径传输调度方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。