一种跨存储集群的流量调度方法和系统

技术领域

本发明涉及计算机信息处理领域，更具体地说，涉及一种跨存储集群的流量调度方法和系统。

背景技术

在EB级的海量存储场景下，往往需要进行跨存储集群的流量调度。由于每个存储集群的承载能力在某个时刻都是固定的，如果流量太小，会导致系统带宽、容量利用率不高，造成资源浪费；如果流量太大，又会导致系统网络环境变差，丢包率增加，时延增大、容量饱和进而影响客户业务。如果某个存储集群出现磁盘故障导致可用容量降低、带宽被高优先级业务占用时就需要降低资源池的负载；而系统带宽扩容、集群规模扩容就需要增加资源池的负载。现在进行流量调度往往由运维人员根据经验进行，往往不能快速、准确收敛到期望值，而且随着集群数量的迅速增加，运维成本也在迅速上升。

为了解决现有流量调度方案自动化程度低，存储集群的容量使用率和带宽使用率不能有效利用或者超出了当前集群的承载能力，提出一种基于PID算法的跨存储集群的流量调度系统的实现方法，通过负反馈实现了存储系统流量精准调度，使存储集群的带宽、容量快速收敛到合理区间，同时提升了运维自动化水平。

发明内容

本发明要解决的技术问题是提供一种跨存储集群的流量调度方法和系统，通过负反馈实现了存储系统流量精准调度，使存储集群的带宽、容量快速收敛到合理区间，同时提升了运维自动化水平。

为了达到上述目的，本发明采取以下技术方案：

一种跨存储集群的流量调度方法，包括如下步骤：

S1：设定每个资源池的期望带宽和容量，定时上报已用带宽和已用容量；

S2：将S1中的期望带宽、容量以及已用带宽、已用容量一同带入PID控制器计算各个资源池的并发修正值，综合带宽和容量的修正值得到最终修正值；

S3：如果资源池的最终修正值为正，说明该资源池需要增加并发，则将该资源池的修正信息发送到增量队列；如果资源池的最终修正值为负，说明该资源池需要降低并发，则将该资源池的修正信息发送到减量队列；

S4：依次消费S3中获得的两个队列，生成调度指引，并将调度指引发送到跨集群存储网关，由跨集群存储网关执行实际的调度动作。

优选的，所述PID控制的算法为增量式PID算法。

优选的，S2中，最终修正值为取带宽修正值和容量修正值中的最小值。

优选的，S3中，如果资源池的最终修正值为正，则将该资源池的修正信息发送到增量队列队尾，否则发送到减量队列队尾。

优选的，S4中生成调度指引的过程包括：

首先从减量队列取出A资源池的修正数据dec_C，然后从增量队列取出B资源池的修正数据inc_C，如果|dec_C|≥|inc_C|，则生成调度指引“从A资源池调度inc_C个并发到B资源池”，并将A资源池的修正数值改为|inc_C|-|dec_C|后插入到减量队列队首；如果|dec_C|≤|inc_C|，则生成调度指引“从A资源池调度|dec_C|个并发到B资源池”，并将B资源池的修正数值改为|inc_C|-|dec_C|后插入到增量队列队首。

本发明还公开一种跨存储集群的流量调度系统，包括均连接于多个资源池的跨集群存储网关和PID控制器、由所述PID控制器生成的消息队列，以及与所述消息队列通讯的流量调度策略生成装置，所述流量调度策略生成装置数据输送于所述跨集群存储网关。

优选的，所述PID控制器通过输入带宽的偏差值，按照比例、积分、微分的函数关系进行运算，得到各个资源池的并发增量，并基于此进行后续的流量调度。

优选的，所述PID控制器包括容量PID控制器和带宽PID控制器。

优选的，所述消息队列包括增量队列和减量队列。

优选的，所述流量调度策略生成装置用于遍历增量队列和减量队列，通过正负抵消的策略来消费队列中的数据，进而生成调度指引。

本发明相对于现有技术的优点在于：

1.基于容量和带宽使用率进行多存储集群之间的流量调度，综合考虑二者情况，调度更加适配实际使用情况。

2.利用PID控制器的负反馈机制提升了流量调度的稳定性、准确性。

3.由于PID控制器等自动化程度高，从而提升了流量调度系统的自动化程度。

附图说明

图1是本发明系统示意图；

图2是本发明PID控制器模型示意图；

图3是本发明最终修正值的计算方法示意图；

图4是本发明调度策略生成示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作描述。

如图1为本发明系统总体架构，在使用时，本发明运维人员设定每个存储集群的期望带宽和容量，各个存储资源池定时上报已用带宽和容量，与设定的期望值一同带入PID控制器计算各个资源池的并发修正值，综合带宽和容量的修正值得到最终修正值。如果最终修正值为正，则将该资源池的修正信息发送到增量队列，否则发送到减量队列。流量调度策略生成装置依次消费两个队列生成调度指引，并将调度指引发送到跨集群存储网关，由网关执行实际的调度动作。运维人员只需要设定期望带宽和容量，系统就可以自动、快速收敛到该期望值。

该系统主要包括：PID控制器、消息队列、流量调度策略生成装置。

第一部分是PID控制器。

PID控制器；是结合比例、积分和微分三种环节于一体的控制算法，它通过输入带宽的偏差值，按照比例、积分、微分的函数关系进行运算，得到各个资源池的并发增量，并基于此进行后续的流量调度。其中Kp表示比例增益、Tt表示积分时间常数、TD表示微分时间常数。u(t)表示PID控制器的输出，e(t)表示给定值与测量值的差。PID控制器模型如图2所示。

位置式PID的公式如下所示。

增量式PID的公式如下所示，其中本发明使用的是增量式PID方案。

Δu(k)＝K

PID控制器分为容量PID控制器和带宽PID控制器：容量PID控制器计算得到的修正值为容量修正值C_store，带宽PID控制器计算得到的修正值为带宽修正值C_bw，综合计算得到的修正值为最终的修正值C_final，计算流程如图3所示。

如果容量修正值为正值，带宽修正值也为正值，则取两者的最小值作为最终的修正值，因为带宽和容量都会限制存储集群的承载能力，该存储集群需要进行最小程度的加量；如果容量修正值为正值，带宽修正值为负值，则以带宽修正值作为最终的修正值，说明存储集群现在需要减量；如果容量修正值为负值，带宽修正值为正值，则以容量修正值作为最终的修正值，说明存储集群现在需要减量；如果容量修正值和带宽修正值均为负值，则以两者中最小的值作为最终的修正值，说明存储集群现在需要进行最大程度的减量。

如果C_final为正，将该资源池的修正信号插入增量队列队尾，如果C_final为负，将该资源池的修正信号插入减量队列队尾。

第二部分是消息队列及流量调度策略生成装置。

增量队列和减量队列均是基于双端队列来实现。

流量调度策略生成装置首先从减量队列取出A资源池的修正数据dec_C，然后从增量队列取出B资源池的修正数据inc_C，此时原队列中被取出的数据消失。

经过图4所示计算后得到流量调度指引。

流量调度索引生成装置的核心思想在于遍历增量队列和减量队列，然后通过正负抵消的策略来消费队列中的数据，进而生成切量指引。

将调度信号发送到跨集群存储网关进行实际的流量调度操作。

综上所述，本发明将PID算法应用于跨存储集群流量调度场景；基于双端队列设计了流量调度指引生成装置的逻辑，通过负反馈系统使存储存储集群的的带宽使用率和容量使用率快速收敛到期望水平附近。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。