一种应用于嵌入式云存储系统的降功耗方法

技术领域

本发明属于云存储系统技术领域，具体涉及一种应用于嵌入式云存储系统的降功耗方法。

背景技术

视频存储多采用X86架构的通用存储服务器，虽满足了高性能需求，但是未过多地考虑产品的节能特性，带来的问题是分配在单位存储空间上的功耗偏高，造成存储成本偏高。

嵌入式系统天然具有低功耗的特点，因此基于嵌入式开发的云存储系统自然也就继承了低功耗的优势。然而，嵌入式下的云存储集群一旦规模较大，此优势便会显得不那么明显。

对基于嵌入式下的云存储系统来说，大规模存储集群往往涉及到成百上千台刀片服务器，就单个刀片服务器挂载72块磁盘来计算，百台刀片服务器构成的存储集群就多达7200块磁盘。因此，降低基于嵌入式下的云存储系统功耗是一个很大的挑战。

发明内容

针对现有技术存在的缺陷，本发明提供一种应用于嵌入式云存储系统的降功耗方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种应用于嵌入式云存储系统的降功耗方法，包括以下步骤：

步骤1，集群包括n*m台服务器；将集群中的服务器划分形成n个接力组，分别表示为接力组C

对于接力组C

步骤2，对于每个接力组C

对于接力组C

步骤3，网关实时接收视频流，每当接收到设定长度的视频流时，将该设定长度的视频流等长度按序切分形成n个视频数据块，分别表示为视频数据块S

对于任意接力组C

步骤3A：接力组C

步骤3.1，接力组C

步骤3.2，服务器管理模块M

步骤3.3，服务器管理模块M

服务器管理模块M

0＜t

其中：ε为已知预设值，为服务器预轮询提前时间长度；

如果公式不成立，则执行步骤3.4；如果公式成立，则执行步骤3.5；

步骤3.4，返回步骤3.3，实时采集下一个视频数据块并存储到当前活跃状态的刀片服务器F

步骤3.5，服务器管理模块M

步骤3.6，网关对接收到的激活指令进行解析，并根据解析到的刀片服务器SID进行路由寻址，确定需要激活的刀片服务器F

步骤3.7，此时，刀片服务器F

在上述过程中，在刀片服务器F

步骤3B：处于活跃状态的刀片服务器F

步骤3-1，磁盘管理模块W

步骤3-2，磁盘管理模块W

步骤3-3，磁盘管理模块W

磁盘管理模块W

0＜t"

其中：ε"为已知预设值，为磁盘预轮询提前时间长度；

如果公式不成立，则执行步骤3-4；如果公式成立，则执行步骤3-5；

步骤3-4，返回步骤3-3，实时采集下一个视频数据块并存储到当前活跃状态的磁盘G

步骤3-5，磁盘管理模块W

步骤3-6，网关对接收到的激活指令进行解析，并根据解析到的磁盘G

步骤3-7，此时，磁盘G

在上述过程中，在磁盘G

优选的，还包括：步骤4，在进行视频回放时，采用磁盘智能预唤醒策略，提前预唤醒磁盘，实现视频回放。

优选的，磁盘智能预唤醒策略是指：

当网关接收到对指定时间t

每个接收到请求的服务器管理模块，同步执行以下操作：

服务器管理模块从管理的刀片服务器中，定位到与指定时间t

本发明提供的一种应用于嵌入式云存储系统的降功耗方法具有以下优点：

本发明提供一种应用于嵌入式云存储系统的降功耗方法，在保证视频存储和读取效率的前提下，能够最大限度的降低整个云存储系统的功耗，降低存储成本。

附图说明

图1为本发明提供的一种应用于嵌入式云存储系统的降功耗方法的流程示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明应用于嵌入式构建的分布式存储领域，对大规模云存储系统通常功耗较高的问题，提供了一种在嵌入式大规模云存储系统下的降功耗方法。本发明在保证视频存储和读取效率的前提下，能够最大限度的降低整个云存储系统的功耗，降低存储成本。

具体的，由于视频存储及视频读取的时机存在差异性，即：视频存储是实时存储，时时刻刻都要求有存储介质在线，但仅要求当前负责存储任务的存储介质在线，其他存储介质可以离线休眠；视频回放时理论上要求所有存储介质都在线，然而用户更关心距离当前时间最近的数据，距离当前时间越远的数据被读取到的机会也越小。因此，本发明提出应用于嵌入式云存储系统的降功耗方法，使磁盘平衡轮转工作，暂时未工作的磁盘进入离线休眠状态，根据需要择机将其唤醒。同样的，一个接力组内的刀片服务器采用平衡轮转工作，既保证存储效率，也有效降低功耗。

参考图1，本发明提供的一种应用于嵌入式云存储系统的降功耗方法，提出刀片服务器接力组(RelayGroup)概念。三个刀片服务器构成一个接力组，接力组与接力组之间为分布式存储关系。

接力组内，刀片服务器进行平衡轮转。轮转到的刀片服务器称之为活跃(ACTIVE)服务器，暂未轮转到的服务器称之为(休眠)STANDBY服务器。休眠(STANDBY)服务器整体处于低功耗待机状态(磁盘不工作，CPU运行在低功耗模式)。

其次，接力组内，活跃(ACTIVE)服务器的磁盘增加轮转机制。服务器的磁盘不需要同时全部在线，磁盘每6小时轮转一次，轮转到的磁盘称之为ACTIVE磁盘，未轮转到的磁盘称之为休眠(STANDBY)磁盘，休眠(STANDBY)磁盘处于离线休眠的低功耗状态。

最后，采用智能预唤醒功能，预唤醒处于休眠状态下的磁盘。在刀片服务器即将开启工作前或者用户进入到视频回放总览页面时，预先向指定磁盘发送唤醒指令，以便进行正常的存储活动或者视频回放业务，保证业务流程的及时性和流畅性。

具体包括以下步骤：

步骤1，集群包括n*m台服务器；将集群中的服务器划分形成n个接力组，分别表示为接力组C

对于接力组C

步骤2，对于每个接力组C

对于接力组C

步骤3，网关实时接收视频流，每当接收到设定长度的视频流时，将该设定长度的视频流等长度按序切分形成n个视频数据块，分别表示为视频数据块S

对于任意接力组C

步骤3A：接力组C

步骤3.1，接力组C

步骤3.2，服务器管理模块M

步骤3.3，服务器管理模块M

服务器管理模块M

0＜t

其中：ε为已知预设值，为服务器预轮询提前时间长度；

如果公式不成立，则执行步骤3.4；如果公式成立，则执行步骤3.5；

步骤3.4，返回步骤3.3，实时采集下一个视频数据块并存储到当前活跃状态的刀片服务器F

步骤3.5，服务器管理模块M

步骤3.6，网关对接收到的激活指令进行解析，并根据解析到的刀片服务器SID进行路由寻址，确定需要激活的刀片服务器F

步骤3.7，此时，刀片服务器F

在上述过程中，在刀片服务器F

步骤3B：处于活跃状态的刀片服务器F

步骤3-1，磁盘管理模块W

步骤3-2，磁盘管理模块W

步骤3-3，磁盘管理模块W

磁盘管理模块W

0＜t"

其中：ε"为已知预设值，为磁盘预轮询提前时间长度；

如果公式不成立，则执行步骤3-4；如果公式成立，则执行步骤3-5；

步骤3-4，返回步骤3-3，实时采集下一个视频数据块并存储到当前活跃状态的磁盘G

步骤3-5，磁盘管理模块W

步骤3-6，网关对接收到的激活指令进行解析，并根据解析到的磁盘G

步骤3-7，此时，磁盘G

在上述过程中，在磁盘G

还包括：步骤4，在进行视频回放时，采用磁盘智能预唤醒策略，提前预唤醒磁盘，实现视频回放。

智能预唤醒是预判用户操作，主要是在视频回放时，根据视频存储的磁盘位置信息，提前预唤醒磁盘，避免产生回放延时。预唤醒指令通过网关进行调度下发。

其中：磁盘智能预唤醒策略是指：

当网关接收到对指定时间t

每个接收到请求的服务器管理模块，同步执行以下操作：

服务器管理模块从管理的刀片服务器中，定位到与指定时间t

具体实现上，可采用以下方式概括实现：

关于降功耗的具体实施步骤如下:

第一步：确定集群范围，一个集群至少由N*3(N>＝1)台刀片服务器构成；

第二步：对集群内的刀片服务器划分形成不同的接力组；

第三步：网关统一资源分配，将摄像机设备分配到不同的接力组内；

第四步：接力组根据接入的摄像机设备读取数据，按照轮转策略将数据推送到对应的刀片服务器，接收数据的刀片服务器将数据进行存储。轮转策略包括接力组内的刀片服务器轮转和刀片服务器内部的磁盘轮转两种方式。同时，因为磁盘的轮转，还需要考虑磁盘的预唤醒功能；

第五步：视频回放时，根据回放时间点查找对应的接力组及具体的存储刀片服务器、磁盘，如果当前磁盘处于休眠(STANDBY)状态，则将其唤醒激活，回放结束后再次根据需要令其睡眠。

以某公司自主研发的嵌入式云存储刀片服务器部署为例说明：

本集群由18个Hi3536单元、72块磁盘、外置网口、USB接口、HDMI接口、风扇等等硬件组成。每个Hi3536单元相当于一个刀片服务器，挂载4块磁盘。根据实际测试，每块磁盘的功耗在8w左右。以8w为基准数字进行验证分析。

具体实施步骤如下：

第一步：根据实际项目需要，确定需要部署的摄像机设备数量及刀片服务器数量，明确嵌入式存储集群范围，设定刀片服务器数量为300台。

第二步：将集群范围内的刀片服务器每3台划分为一个接力组，总共划分为100个刀片接力组；

第三步：规划视频监控系统总图，按照组网规划部署软件及硬件产品。

第四步：集群系统按照本发明提供出既定的调度策略进行轮转；

第五步：系统运行90天功耗比较；

单刀片磁盘：72块

总共运行天：90天

刀片服务器：300台

单磁盘功耗：8w

优化前功耗：8w*72*300＝172.8kw

优化后方案：8w*72*300*0.55＝95.04kw

优化前后对比：预计功耗降低45％，每小时降低77.76度电，按照每度电0.5元计算，预计全年节省电费约340588.8元。

本发明涉及的技术要点包括：1.对多个刀片服务器进行接力分组，根据调度策略，将接入设备的数据均衡轮转发送到每台刀片服务器；2.对接力组内的磁盘进行磁盘均衡轮转，将数据均衡分布到每个磁盘上；3.对休眠磁盘采用智能预唤醒机制。

本申请解决的技术问题是如何处理嵌入式下大规模云存储系统运转时，由于未考虑存储系统的功耗，导致系统功耗过高，而降低了嵌入式天然低功耗优势的问题。本发明根据视频流存储磁盘读写时机的不同，以及嵌入式下云存储系统本身的工作特点，综合各种因素选择执行磁盘轮休策略和服务器平衡轮转策略，一方面最大化地保证尽可能多的磁盘参与轮休，另一方面采用磁盘预唤醒的方式保证用户在视频回放过程中体验不受影响。

本发明提供的一种应用于嵌入式云存储系统的降功耗方法，具有以下优点：

(1)创造性地提出刀片服务器的接力组策略，以直接降低同一时刻在工作的磁盘数量，达到降功耗的目的，可以降低磁盘总功耗的2/3，集群整体功耗降幅近30％。

(2)在接力组策略的基础上，进一步以刀片服务器接力组组内的磁盘轮休策略作为补充，以直接降低同一时刻在工作的磁盘数量，达到降功耗的目的，可以降低刀片服务器内磁盘总功耗的3/4；综合前一项，集群整体功耗降幅可达45％。

(3)视频回放时执行磁盘预唤醒功能，择机唤醒需要的磁盘，既满足了降功耗的特性，同时也保证了客户体验不受影响。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。