多模态低能耗分布式云存储系统、电子设备及存储介质

技术领域

本发明属于互联网领域，尤其涉及多模态低能耗分布式云存储系统、电子设备及存储介质。

背景技术

随着云计算技术的发展，越来越多的用户业务上云，用户在生产中产生的多维数据保存在高可靠的分布式云存储中。用户在使用的过程中，产生的数据越来越多，存储成本所占比重也越来越大。如何有效降低云存储的成本及生产能耗成为一个重要问题。

如图2所示，AZ内部典型的分布式存储集群架构数据面分为，客户端、元数据集群、存储池。

当前云存储实现方案在成本与能耗方面主要存在以下几个方面问题：

(1)为追求高性能，存储池使用昂贵的存储设备(如固态硬盘)，提高了使用成本。

(2)为追求高可靠，存储池使用数据冗余技术(如RAID)，提高了使用成本。

(3)为追求低延迟，存储服务器CPU关闭低能耗模式，提高了能源消耗。

发明内容

为解决上述技术问题，本发明提出多模态低能耗分布式云存储、电子设备及存储介质的技术方案，以解决上述技术问题。

本发明第一方面公开了一种多模态低能耗分布式云存储系统，所述系统包括：

客户端、热数据存储池、温数据存储池、冷数据存储池和元数据集群；

所述热数据存储池：采用高性能存储介质存储数据，数据冗余策略为多副本；

所述温数据存储池：采用普通性能存储介质存储数据，数据冗余策略为多副本或小条带的纠删码编码；

所述冷数据存储池：采用高密存储介质或低速存储介质存储数据，数据冗余策略为大条带纠删码编码；

所述客户端与所述热数据存储池、温数据存储池、冷数据存储池和元数据集群连接，实现写数据流程和读数据流程；

所述元数据集群的调度模块与所述热数据存储池、温数据存储池和冷数据存储池连接，根据实现搬移数据流程。

根据本发明第一方面的系统，所述写数据流程的步骤包括：

步骤W1、所述客户端收到用户文件写入数据请求；

步骤W21、如果文件已打开，则已获取到文件所在存储池，则执行步骤W3；

步骤W2.2、如果文件未打开，则向所述元数据集群请求打开文件；

步骤W2.3、元数据集群收到打开文件请求，则将所述文件的访问计数加1；如果所述文件是新创建文件则分配到热数据存储池；反之，则返回所述文件当前所在存储池；

步骤W3：向文件所在存储池写数据；

步骤W4：数据写入完成返回客户端响应。

根据本发明第一方面的系统，所述读数据流程的步骤包括：

步骤R1、所述客户端收到用户文件读取数据请求；

步骤R2.1、如果文件已打开，则已获取到文件所在存储池，执行步骤R3；

步骤R2.2、如果文件未打开，则向元数据集群请求打开文件；

步骤R2.3、元数据集群收到打开请求，则将所述文件的访问计数加1；返回文件所在存储池；

步骤R3、向所述存储池读取数据；

步骤R4、数据读取完成，返回客户端响应。。

根据本发明第一方面的系统，所述搬移数据流程的步骤包括：

步骤M1、启动后台调度任务；

步骤M2、加载数据热度评价表；

步骤M3、根据所述数据热度评价表中的访问行为评分和访问状态，计算文件的数据热度的归一化评分；访问计数大于零，则访问状态为1，否则访问状态为0；

步骤M4、根据所述数据热度的归一化评分，确定文件搬迁到温数据存储池或者冷数据存储池；

步骤M5、文件搬迁完成后，更改文件在元数据集群中记录的数据目标池及状态。

根据本发明第一方面的系统，所述数据热度评价表中的访问行为评分为，在预设时间段内，根据时间粒度对访问行为赋予的评分。

根据本发明第一方面的系统，在预设时间段内，所述访问行为评分随时间增加而减小。

根据本发明第一方面的系统，所述根据所述数据热度评价表中的访问行为评分和访问状态，计算文件的数据热度的归一化评分的方法包括：

其中，Score为数据热度的归一化评分；n为预设时间段内时间粒度的数量；W

根据本发明第一方面的系统，所述根据所述数据热度的归一化评分，确定文件搬迁到温数据存储池或者冷数据存储池的方法包括：

扫描热数据存储池内所有文件，将热数据存储池内文件的数据热度的归一化评分Score1与冷数据阈值Sc比较，如果Score1

和/或

扫描温数据存储池内所有文件，将温数据存储池内文件的数据热度的归一化评分Score2与冷数据阈值Sc比较，如果Score1

本发明第二方面提供了一种电子设备，所述设备包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如本发明第一方面所述的一种多模态低能耗分布式云存储系统中的方法。

本发明第三方面提供了一种存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如本发明第一方面所述的一种多模态低能耗分布式云存储系统中的方法。

本发明提出的方案，实现了多模态数据存储池云存储架构，将数据分类为热数据、温数据、冷数据，不同热度的数据存储于不同类型的存储池。即保证热数据高性能，又降低了温冷数据的存储成本及存储能耗。实现了一套温、冷数据的判别评分算法，支持加载不同环境的评分表，使策略更贴合具体业务场景。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种多模态低能耗分布式云存储系统的结构图；

图2为根据背景技术的AZ内部典型的分布式存储系统的结构图；

图3为根据本发明实施例的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面公开了一种多模态低能耗分布式云存储系统，图1为根据本发明实施例的一种多模态低能耗分布式云存储系统的结构图，具体如图1所示，所述系统包括：客户端、热数据存储池、温数据存储池、冷数据存储池和元数据集群；

所述热数据存储池：采用高性能存储介质(如SSD硬盘)存储数据，数据冗余策略为多副本，为用户访问数据提供高可靠、低延迟的用户体验；

所述温数据存储池：采用普通性能存储介质(如SAS/SATA硬盘)存储数据，数据冗余策略为多副本或小条带的纠删码编码(如4+2)；

所述冷数据存储池：采用高密存储介质或低速存储介质(如大容量SATA硬盘)存储数据，数据冗余策略为大条带纠删码编码(如16+3)；

所述客户端与所述热数据存储池、温数据存储池、冷数据存储池和元数据集群连接，实现写数据流程和读数据流程；

所述元数据集群的调度模块与所述热数据存储池、温数据存储池和冷数据存储池连接，根据实现搬移数据流程。

在一些实施例中，所述写数据流程的步骤包括：

步骤W1、所述客户端收到用户文件写入数据请求；

步骤W21、如果文件已打开，则已获取到文件所在存储池，则执行步骤W3；

步骤W2.2、如果文件未打开，则向所述元数据集群请求打开文件；

步骤W2.3、元数据集群收到打开文件请求，则将所述文件的访问计数加1；如果所述文件是新创建文件则分配到热数据存储池；反之，则返回所述文件当前所在存储池；

步骤W3：向文件所在存储池写数据；

步骤W4：数据写入完成返回客户端响应。

在一些实施例中，所述读数据流程的步骤包括：

步骤R1、所述客户端收到用户文件读取数据请求；

步骤R2.1、如果文件已打开，则已获取到文件所在存储池，执行步骤R3；

步骤R2.2、如果文件未打开，则向元数据集群请求打开文件；

步骤R2.3、元数据集群收到打开请求，则将所述文件的访问计数加1；返回文件所在存储池；

步骤R3、向所述存储池读取数据；

步骤R4、数据读取完成，返回客户端响应。。

在一些实施例中，所述搬移数据流程的步骤包括：

步骤M1、启动后台调度任务；

步骤M2、加载数据热度评价表；

步骤M3、根据所述数据热度评价表中的访问行为评分和访问状态，计算文件的数据热度的归一化评分；访问计数大于零，则访问状态为1，否则访问状态为0；

步骤M4、根据所述数据热度的归一化评分，确定文件搬迁到温数据存储池或者冷数据存储池；

步骤M5、文件搬迁完成后，更改文件在元数据集群中记录的数据目标池及状态。

在一些实施例中，所述数据热度评价表中的访问行为评分为，在预设时间段内，根据时间粒度对访问行为赋予的评分。

在预设时间段内，所述访问行为评分随时间增加而减小。

具体地，所述数据热度评价表定义为：时间段T内，文件在各时间粒度G(如1天)内的访问行为W(对应的文件访问计数count>0，则W＝1，反之W＝0)，并对该行为赋予合理的访问行为评分S。

举例：T＝7天，G＝1天，具体如表1所示；

表1

所述根据所述数据热度评价表中的访问行为评分和访问状态，计算文件的数据热度的归一化评分的方法包括：

其中，Score为数据热度的归一化评分；n为预设时间段内时间粒度的数量；W

具体地，Score＝(7*0+6*0+5*1+4*1+3*0+2*0+1*1)/(7+6+5+3+2+1)＝0.29；

在一些实施例中，所述根据所述数据热度的归一化评分，确定文件搬迁到温数据存储池或者冷数据存储池的方法包括：

扫描热数据存储池内所有文件，将热数据存储池内文件的数据热度的归一化评分Score1与冷数据阈值Sc比较，如果Score1

和/或

扫描温数据存储池内所有文件，将温数据存储池内文件的数据热度的归一化评分Score2与冷数据阈值Sc比较，如果Score1

根据文件搬移状态，对需要搬移的文件启动数据后台搬移任务，读取原始数据文件，写入到对应的温数据存储池或者冷数据存储池。

综上，本发明各个方面的技术方案与现有技术相比具有如下优点：实现了多模态数据存储池云存储架构，将数据分类为热数据、温数据、冷数据，不同热度的数据存储于不同类型的存储池。即保证热数据高性能，又降低了温冷数据的存储成本及存储能耗。实现了一套温、冷数据的判别评分算法，支持加载不同环境的评分表，使策略更贴合具体业务场景。

本发明第二方面公开了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开第一方面中任一项的一种多模态低能耗分布式云存储系统中方法的步骤。

图3为根据本发明实施例的一种电子设备的结构图，如图3所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明第三方面公开了一种存储介质，具体涉及计算机的可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明公开第一方面中任一项的一种多模态低能耗分布式云存储系统中方法的步骤。

请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。