掌桥专利:专业的专利平台
掌桥专利
首页

数据存储方法、装置、电子设备和存储介质

文献发布时间:2024-04-18 19:52:40


数据存储方法、装置、电子设备和存储介质

技术领域

本公开涉及数据处理技术领域,具体地,涉及一种数据存储方法、装置、电子设备和存储介质。

背景技术

相关技术中,在存储数据时,在存储设备的存储能力范围内对数据进行全量存储并基于此构建索引,而忽略了大量的低价值密度数据,以及查询这些低价值密度数据所带来的巨大通道开销和负载压力。导致了不必要的高存储成本、高查询时间和高查询负载。

发明内容

本公开的目的是提供一种数据存储方法、装置、电子设备和存储介质,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数,以便根据不同的存储价值参数确定不同的存储方式,从而能够平衡数据的价值与查询响应时间以及存储空间占用之间的关系,能够有效的保障存储空间的利用率和查询效率的时效性,降低存储成本和查询负载。

根据本公开实施例的第一方面,提供一种数据存储方法,包括:

获取目标数据以及所述目标数据的历史查询次数、查询响应时间和存储空间值;

根据所述目标数据的历史查询次数、查询响应时间和存储空间值,确定所述目标数据的存储价值参数,所述存储价值参数用表征所述目标数据的使用价值的大小,且所述存储价值参数与所述历史查询次数以及所述查询响应时间均正相关,所述存储价值参数与所述存储空间值负相关;

根据所述存储价值参数,确定所述目标数据的存储方式;

根据所述存储方式对所述目标数据进行存储。

可选地,所述根据所述目标数据的历史查询次数、查询响应时间和存储空间值,确定所述目标数据的存储价值参数的步骤,具体包括:

将所述历史查询次数与所述存储空间值的比值确定为所述目标数据的价值密度;

将所述查询响应时间与所述存储空间值的比值确定为所述目标数据的查询负载;

根据所述价值密度和所述查询负载,确定所述目标数据的存储价值参数。

可选地,所述目标数据包括多个子数据;

所述目标数据的历史查询次数根据所述目标数据包括的所有子数据的历史查询次数之和确定;和/或,

所述目标数据的查询响应时间根据所述目标数据包括的所有子数据的查询响应时间之和确定;和/或,

所述目标数据的存储空间值根据所述目标数据包括的所有子数据的存储空间值之和确定。

可选地,所述根据所述存储价值参数,确定所述目标数据的存储方式的步骤,具体包括:

根据所述存储价值参数,在预设的多个阈值范围内确定所述存储价值参数所属的目标阈值范围;

根据所述目标阈值范围确定所述目标数据的存储方式,其中,多个所述阈值范围一一对应有多个存储方式,每个所述存储方式包括压缩方式、存储位置,多个所述存储方式中任两个所述存储方式中压缩方式和存储位置的至少一者不同,所述多个阈值范围包括第一阈值范围、第二阈值范围、第三阈值范围和第四阈值范围,所述第二阈值范围的最小值大于所述第一阈值范围的最大值,所述第三阈值范围的最小值大于所述第二阈值范围的最大值,所述第四阈值范围的最小值大于所述第三阈值范围的最大值。

可选地,所述根据所述目标阈值范围确定所述目标数据的存储方式的步骤,具体包括:

在所述存储价值参数处于所述第一阈值范围内的情况下,确定所述目标数据的存储方式为第一存储方式,所述第一存储方式用于提取所述目标数据的概要信息并以第一压缩比率进行压缩操作,再将压缩后的概要信息存储至归档存储器。

可选地,所述根据所述目标阈值范围确定所述目标数据的存储方式的步骤,具体包括:

在所述存储价值参数处于所述第二阈值范围内的情况下,确定所述目标数据的存储方式为第二存储方式,所述第二存储方式用于提取所述目标数据的概要信息并以第二压缩比率进行压缩操作,再将压缩后的概要信息存储至磁盘。

可选地,所述根据所述目标阈值范围确定所述目标数据的存储方式的步骤,具体包括:

在所述存储价值参数处于所述第三阈值范围内的情况下,确定所述目标数据的存储方式为第三存储方式,所述第三存储方式用于提取所述目标数据的概要信息并对预设格式的目标数据所对应的概要信息以第三压缩比率进行压缩操作,再将压缩后的概要信息以及未压缩的概要信息存储至固态硬盘。

可选地,所述根据所述目标阈值范围确定所述目标数据的存储方式的步骤,具体包括:

在所述存储价值参数处于所述第四阈值范围内的情况下,确定所述目标数据的存储方式为第四存储方式,所述第四存储方式用于将所述目标数据分别存储至随机存取存储器和磁盘。

根据本公开实施例的第二方面,提供一种数据存储装置,包括:

获取模块,被配置为获取目标数据以及所述目标数据的历史查询次数、查询响应时间和存储空间值;

第一确定模块,被配置为根据所述目标数据的历史查询次数、查询响应时间和存储空间值,确定所述目标数据的存储价值参数,所述存储价值参数用表征所述目标数据的使用价值的大小,且所述存储价值参数与所述历史查询次数以及所述查询响应时间均正相关,所述存储价值参数与所述存储空间值负相关;

第二确定模块,被配置为根据所述存储价值参数,确定所述目标数据的存储方式;

存储模块,被配置为根据所述存储方式对所述目标数据进行存储。

可选地,所述第一确定模块,包括:

第一确定子模块,被配置为将所述历史查询次数与所述存储空间值的比值确定为所述目标数据的价值密度;

第二确定子模块,被配置为将所述查询响应时间与所述存储空间值的比值确定为所述目标数据的查询负载;

第三确定子模块,被配置为根据所述价值密度和所述查询负载,确定所述目标数据的存储价值参数。

可选地,所述目标数据包括多个子数据;

所述目标数据的历史查询次数根据所述目标数据包括的所有子数据的历史查询次数之和确定;和/或,

所述目标数据的查询响应时间根据所述目标数据包括的所有子数据的查询响应时间之和确定;和/或,

所述目标数据的存储空间值根据所述目标数据包括的所有子数据的存储空间值之和确定。

可选地,所述第二确定模块,包括:

第四确定子模块,被配置为根据所述存储价值参数,在预设的多个阈值范围内确定所述存储价值参数所属的目标阈值范围;

第五确定子模块,被配置为根据所述目标阈值范围确定所述目标数据的存储方式,其中,多个所述阈值范围一一对应有多个存储方式,每个所述存储方式包括压缩方式、存储位置,多个所述存储方式中任两个所述存储方式中压缩方式和存储位置的至少一者不同,所述多个阈值范围包括第一阈值范围、第二阈值范围、第三阈值范围和第四阈值范围,所述第二阈值范围的最小值大于所述第一阈值范围的最大值,所述第三阈值范围的最小值大于所述第二阈值范围的最大值,所述第四阈值范围的最小值大于所述第三阈值范围的最大值。

可选地,所述第五确定子模块,包括:

第一确定子单元,被配置为在所述存储价值参数处于所述第一阈值范围内的情况下,确定所述目标数据的存储方式为第一存储方式,所述第一存储方式用于提取所述目标数据的概要信息并以第一压缩比率进行压缩操作,再将压缩后的概要信息存储至归档存储器。

可选地,所述第五确定子模块,包括:

第二确定子单元,被配置为在所述存储价值参数处于所述第二阈值范围内的情况下,确定所述目标数据的存储方式为第二存储方式,所述第二存储方式用于提取所述目标数据的概要信息并以第二压缩比率进行压缩操作,再将压缩后的概要信息存储至磁盘。

可选地,所述第五确定子模块,包括:

第三确定子单元,被配置为在所述存储价值参数处于所述第三阈值范围内的情况下,确定所述目标数据的存储方式为第三存储方式,所述第三存储方式用于提取所述目标数据的概要信息并对预设格式的目标数据所对应的概要信息以第三压缩比率进行压缩操作,再将压缩后的概要信息以及未压缩的概要信息存储至固态硬盘。

可选地,所述第五确定子模块,包括:

第四确定子单元,被配置为在所述存储价值参数处于所述第四阈值范围内的情况下,确定所述目标数据的存储方式为第四存储方式,所述第四存储方式用于将所述目标数据分别存储至随机存取存储器和磁盘。

根据本公开实施例的第三方面,提供一种电子设备,包括:

存储器,其上存储有计算机程序;

处理器,用于执行所述存储器中的所述计算机程序,以实现上述第一方面所述数据存储方法的步骤。

根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面所述数据存储方法的步骤。

通过上述技术方案,获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值,并根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数,再根据存储价值参数,确定目标数据的存储方式,最后根据存储方式对目标数据进行存储。根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数,以便根据不同的存储价值参数确定不同的存储方式,从而能够平衡数据的价值与查询响应时间以及存储空间占用之间的关系,能够有效的保障存储空间的利用率和查询效率的时效性,降低存储成本和查询负载。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1是根据一示例性实施例示出的一种数据存储方法的流程图。

图2是根据一示例性实施例示出的一种存储价值参数确定方法的流程图。

图3是根据一示例性实施例示出的另一种数据存储方法的流程图。

图4是根据一示例性实施例示出的另一种数据存储方法的流程图。

图5是根据一示例性实施例示出的另一种数据存储方法的流程图。

图6是根据一示例性实施例示出的另一种数据存储方法的流程图。

图7是根据一示例性实施例示出的一种数据存储装置的框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

图9是根据一示例性实施例示出的另一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

相关技术中,在存储数据时,在存储设备的存储能力范围内对数据进行全量存储并基于此构建索引,而忽略了大量的低价值密度数据,以及查询这些低价值密度数据所带来的巨大通道开销和负载压力。导致了不必要的高存储成本、高查询时间和高查询负载。

针对上述技术问题,本公开实施例提供一种数据存储方法、装置、电子设备和存储介质,为了平衡数据的价值与查询响应时间以及存储空间占用之间的关系,通过目标数据的历史查询次数、查询响应时间和存储空间值来确定目标数据的存储价值参数,以便根据不同的存储价值参数确定不同的存储方式,能够有效的保障存储空间的利用率和查询效率的时效性,降低存储成本和查询负载。

图1是根据一示例性实施例示出的一种数据存储方法的流程图,如图1所示,该方法可包括以下步骤:

在步骤S101中,获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值。

在本实施方式中,目标数据可为数据库中的任一数据,目标数据的历史查询次数可为目标数据生成后被查询的所有次数之和,也可为预设时间段内被查询的所有次数之和。例如,目标数据的历史查询次数可为距离当前时刻一个月之内被查询的所有次数之和。目标数据的查询响应时间可为预设时间段内该数据多次被查询对应的多个反馈时间的平均值,该反馈时间为接受到用户发出查询指令到向用户展示对应的查询内容所耗费的时间。存储空间值为该目标数据所占用的存储空间大小。

在步骤S102中,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数,存储价值参数用表征目标数据的使用价值的大小,且存储价值参数与历史查询次数以及查询响应时间均正相关,存储价值参数与存储空间值负相关。

在本实施方式中,可根据历史查询次数和存储空间值,确定目标数据的价值密度,根据查询响应时间和存储空间值,确定目标数据的查询负载,并根据目标数据的价值密度和查询负载确定目标数据的存储价值参数。其中,历史查询次数越大,存储价值参数越大;查询响应时间越长,存储价值参数越大;存储空间值越大,存储价值参数越小。

在步骤S103中,根据存储价值参数,确定目标数据的存储方式。

在本实施方式中,存储价值参数不同,对应的存储方式可能不相同,例如,可设置多个阈值范围,一个阈值范围对应一种存储方式。可根据目标数据的存储价值参数,确定对应的存储方式。

在步骤S104中,根据存储方式对目标数据进行存储。

在本实施方式中,在确定目标数据所对应的存储方式后,即可根据该目标数据对应的存储方式对该目标数据进行存储,其中,存储方式可包括内容提取方式、压缩方式和存储位置中的至少一者。

在本实施例中,通过获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值,并根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数,再根据存储价值参数,确定目标数据的存储方式,最后根据存储方式对目标数据进行存储。根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数,以便根据不同的存储价值参数确定不同的存储方式,从而能够平衡数据的价值与查询响应时间以及存储空间占用之间的关系,能够有效的保障存储空间的利用率和查询效率的时效性,降低存储成本和查询负载。

图2是根据一示例性实施例示出的一种存储价值参数确定方法的流程图,如图2所示,在一种可能的实施方式中,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数的方法,可包括以下步骤:

在步骤S201中,将历史查询次数与存储空间值的比值确定为目标数据的价值密度。

在本实施方式中,历史查询次数体现了该目标数据的价值,历史查询次数越大,该目标数据的价值越大。将历史查询次数与存储空间值的比值确定为目标数据的价值密度,能够将目标数据的价值与存储方式联系在一起。

在一种可能的实施方式中,该目标数据可包括多个子数据,该目标数据的历史查询次数可根据目标数据包括的所有子数据的历史查询次数之和确定。具体地,可获取目标数据包括的每个子数据的历史查询次数,将目标数据包括的所有子数据的历史查询次数之和确定为目标数据的查询响应时间。

该目标数据的存储空间值可根据目标数据包括的所有子数据的存储空间值之和确定。具体地,可获取目标数据包括的每个子数据的存储空间值;将目标数据包括的所有子数据的查询响应时间之和确定为存储空间总值;将存储空间总值与目标数据包括的子数据的数量的乘积确定为目标数据的存储空间值。

例如,目标数据S={d

其中,

在步骤S202中,将查询响应时间与存储空间值的比值确定为目标数据的查询负载。

在本实施方式中,查询响应时间体现了该目标数据的查询效率,查询响应时间越小,该目标数据的查询效率越高。将查询响应时间与存储空间值的比值确定为目标数据的查询负载,能够将目标数据的查询效率与存储方式联系在一起。

在一种可能的实施方式中,目标数据的存储空间值可根据目标数据包括的所有子数据的存储空间值之和确定。具体地,可获取目标数据包括的每个子数据的查询响应时间;将目标数据包括的所有子数据的查询响应时间之和确定为目标数据的查询响应时间。

该目标数据的查询负载的计算公式可为:

其中,

在步骤S203中,根据价值密度和查询负载,确定目标数据的存储价值参数。

在本实施方式中,可对价值密度和查询负载进行加权求和,即可得到目标数据的存储价值参数。

例如,目标数据的存储价值参数的计算公式可为:

/>

其中,

通过上式计算得到的

在本实施方式中,根据历史查询次数和存储空间值,确定目标数据的价值密度,根据查询响应时间和存储空间值,确定目标数据的查询负载,并根据目标数据的价值密度和查询负载确定目标数据的存储价值参数。并提供了价值密度、查询负载以及存储价值参数的定义。以便将存储价值参数与存储方式联系起来,从而根据不同的存储价值参数确定不同的存储方式。

在一种可能的实施方式中,根据存储价值参数,确定目标数据的存储方式的方法可为:

根据存储价值参数,在预设的多个阈值范围内确定存储价值参数所属的目标阈值范围;

根据目标阈值范围确定目标数据的存储方式,其中,多个阈值范围一一对应有多个存储方式,每个存储方式包括压缩方式、存储位置,多个存储方式中任两个存储方式中压缩方式和存储位置的至少一者不同,多个阈值范围包括第一阈值范围、第二阈值范围、第三阈值范围和第四阈值范围,第二阈值范围的最小值大于第一阈值范围的最大值,第三阈值范围的最小值大于第二阈值范围的最大值,第四阈值范围的最小值大于第三阈值范围的最大值。

在本实施方式中,可设置多个阈值范围,根据每一个阈值范围内的数据的特点,确定适用于该阈值范围内的数据的存储方式,一个阈值范围对应一种存储方式,且不同阈值范围对应的存储方式不同。压缩方式不同具体可以是压缩比率不同,例如,高阈值范围对应的压缩比率小于低阈值范围对应的压缩比率,高阈值范围对应的存储位置的访问性能高于低阈值范围对应的存储位置的访问性能。对于高存储价值参数的数据,将其全部或部分保存在更高访问性能的存储介质上,提升其读写性能;对于低存储价值参数的数据,保存在归档存储器上,降低其存储成本。基于数据的存储价值参数的存储机制可以避免低价值密度数据的无效存储和传输,可以有效地降低存储设备的负载压力,且提高数据的查询效率。

图3是根据一示例性实施例示出的另一种数据存储方法的流程图,如图3所示,在一种可能的实施方式中,多个阈值范围包括小于或等于第一预设阈值的第一阈值范围,该数据存储方法可包括以下步骤:

在步骤S301中,获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值。

在步骤S302中,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数。

在步骤S303中,在存储价值参数处于第一阈值范围内的情况下,确定目标数据的存储方式为第一存储方式,该第一存储方式用于提取目标数据的概要信息并以第一压缩比率进行压缩操作,再将压缩后的概要信息存储至归档存储器。

在步骤S304中,根据第一存储方式对目标数据进行存储。

在本实施方式中,预先设置有针对存储价值参数的多个阈值范围,在得到目标数据的存储价值参数后,即可根据存储价值参数的大小确定该存储价值参数对应的目标阈值范围。在存储价值参数小于或等于第一预设阈值的情况下,确定该目标数据的存储价值参数处于第一阈值范围内,从而可确定该目标数据的存储方式为第一阈值范围所对应的第一存储方式。进而根据该第一存储方式对目标数据进行存储,具体地,可提取目标数据的概要信息并对提取到的概要信息以第一压缩比率进行压缩操作,再将压缩后的概要信息存储至归档存储器。

其中,第一预设阈值可为0.25。提取目标数据的概要信息为提取目标数据的摘要,概要信息的提取方法可为:基于常规的机器学习方法,训练得到对应的概要信息提取模型,并通过概要信息提取模型对目标数据进行处理,得到目标数据对应的概要信息,此处不再赘述。对提取到的概要信息以第一压缩比率进行压缩操作为对提取到的概要信息进行深度压缩,其中,深度压缩可为压缩比率大于50%的压缩,即,第一压缩比率大于50%,例如,第一压缩比率可为75%。其中,归档存储器为高存储密度但耗电较少的存储介质,例如磁带,通常用来存储冷数据。

在本实施方式中,通过将存储价值参数较小的目标数据先进行概要信息的提取,再对提取到的概要信息进行深度压缩,能够降低该目标数据的存储空间值,并将其存储至归档存储器,从而降低存储成本。

图4是根据一示例性实施例示出的另一种数据存储方法的流程图,如图4所示,在一种可能的实施方式中,该数据存储方法可包括以下步骤:

在步骤S401中,获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值。

在步骤S402中,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数。

在步骤S403中,在存储价值参数处于第二阈值范围内的情况下,确定目标数据的存储方式为第二存储方式,该第二存储方式用于提取目标数据的概要信息并以第二压缩比率进行压缩操作,再将压缩后的概要信息存储至磁盘。

在步骤S404中,根据第二存储方式对目标数据进行存储。

在本实施方式中,预先设置有针对存储价值参数的多个阈值范围,在得到目标数据的存储价值参数后,即可根据存储价值参数的大小确定该存储价值参数对应的目标阈值范围。在存储价值参数大于第一预设阈值且小于或等于第二预设阈值的情况下,确定该目标数据的存储价值参数处于第二阈值范围内,从而可确定该目标数据的存储方式为第二阈值范围所对应的第二存储方式。进而根据该第二存储方式对目标数据进行存储,具体地,可提取目标数据的概要信息并对提取的概要信息以第二压缩比率进行压缩操作,再将压缩后的概要信息存储至磁盘。

其中,第一预设阈值可为0.25,第二预设阈值可为0.5。对提取到的概要信息进行第二压缩比率的压缩操作为对提取到的概要信息进行轻度压缩,其中,轻度压缩可为压缩比率小于20%的压缩,即,第二压缩比率小于20%,例如,第二压缩比率可为10%。

在本实施方式中,通过将存储价值参数略微小一点的目标数据先进行概要信息的提取,再对提取到的概要信息进行轻度压缩,能够降低该目标数据的存储空间值,并将其存储至磁盘,从而降低存储成本。

图5是根据一示例性实施例示出的另一种数据存储方法的流程图,如图5所示,在一种可能的实施方式中,该数据存储方法可包括以下步骤:

在步骤S501中,获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值。

在步骤S502中,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数。

在步骤S503中,在存储价值参数处于第三阈值范围内的情况下,确定目标数据的存储方式为第三存储方式,该第三存储方式用于提取目标数据的概要信息并对预设格式的目标数据所对应的概要信息以第三压缩比率进行压缩操作,再将压缩后的概要信息以及未压缩的概要信息存储至固态硬盘。

在步骤S504中,根据第三存储方式对目标数据进行存储。

在本实施方式中,预先设置有针对存储价值参数的多个阈值范围,在得到目标数据的存储价值参数后,即可根据存储价值参数的大小确定该存储价值参数对应的目标阈值范围。在存储价值参数大于第二预设阈值且小于或等于第三预设阈值的情况下,确定该目标数据的存储价值参数处于第三阈值范围内,从而可确定该目标数据的存储方式为第三阈值范围所对应的第三存储方式。进而根据该第三存储方式对目标数据进行存储,具体地,可提取目标数据的概要信息并对预设格式的目标数据所对应的概要信息以第三压缩比率进行压缩操作,再将压缩后的概要信息以及未压缩的概要信息存储至固态硬盘。

其中,第二预设阈值可为0.5,第三预设阈值可为0.75。对预设格式的目标数据所对应的概要信息进行第三压缩比率的压缩操作为对提取到的预设格式的目标数据所对应的概要信息进行深度压缩。其中,深度压缩可为压缩比率大于50%的压缩,即,第一压缩比率大于50%,例如,第一压缩比率可为75%。

在本实施方式中,针对存储价值参数略微大一点的目标数据,可先对目标数据进行概要信息的提取,然后可对目标数据中的占用存储空间较大的预设格式的数据对应的概要信息进行深度提取。例如,预设格式的数据可为视频和图像等数据。对于目标数据中的占用存储空间较小的数据对应的概要信息不进行压缩处理,再将压缩后的概要信息以及未压缩的概要信息存储至固态硬盘,能够在降低该目标数据的存储空间值的同时提升其读写性能,提高该目标数据的查询效率。

图6是根据一示例性实施例示出的另一种数据存储方法的流程图,如图6所示,在一种可能的实施方式中,该数据存储方法可包括以下步骤:

在步骤S601中,获取目标数据以及目标数据的历史查询次数、查询响应时间和存储空间值。

在步骤S602中,根据目标数据的历史查询次数、查询响应时间和存储空间值,确定目标数据的存储价值参数。

在步骤S603中,在存储价值参数处于第四阈值范围内的情况下,确定目标数据的存储方式为第四存储方式,该第四存储方式用于将目标数据分别存储至随机存取存储器和磁盘。

在步骤S604中,根据第四存储方式对目标数据进行存储。

在本实施方式中,预先设置有针对存储价值参数的多个阈值范围,在得到目标数据的存储价值参数后,即可根据存储价值参数的大小确定该存储价值参数对应的目标阈值范围。在存储价值参数大于第三预设阈值的情况下,确定该目标数据的存储价值参数处于第四阈值范围内,从而可确定该目标数据的存储方式为第四阈值范围所对应的第四存储方式。进而根据该第四存储方式对目标数据进行存储,具体地,可将目标数据分别存储至随机存取存储器和磁盘。其中,第三预设阈值可为0.75。

在本实施方式中,针对存储价值参数较大的目标数据,可直接对目标数据进行存储,直接将该目标数据存储至随机存取存储器,再将一份相同的目标数据存储至磁盘。不对目标数据进行概要提取和压缩操作,且将其存储至访问性能较高的随机存取存储器和磁盘,能够提升其读写性能,提高该目标数据的查询效率。

图7是根据一示例性实施例示出的一种数据存储装置的框图。参照图7,该装置700包括获取模块701、第一确定模块702、第二确定模块703和存储模块704。

该获取模块701,被配置为获取目标数据以及所述目标数据的历史查询次数、查询响应时间和存储空间值;

该第一确定模块702,被配置为根据所述目标数据的历史查询次数、查询响应时间和存储空间值,确定所述目标数据的存储价值参数;

该第二确定模块703,被配置为根据所述存储价值参数,确定所述目标数据的存储方式;

该存储模块704,被配置为根据所述存储方式对所述目标数据进行存储。

可选地,所述第一确定模块,包括:

第一确定子模块,被配置为将所述历史查询次数与所述存储空间值的比值确定为所述目标数据的价值密度;

第二确定子模块,被配置为将所述查询响应时间与所述存储空间值的比值确定为所述目标数据的查询负载;

第三确定子模块,被配置为根据所述价值密度和所述查询负载,确定所述目标数据的存储价值参数。

可选地,所述目标数据包括多个子数据;

所述目标数据的历史查询次数根据所述目标数据包括的所有子数据的历史查询次数之和确定;和/或,

所述目标数据的查询响应时间根据所述目标数据包括的所有子数据的查询响应时间之和确定;和/或,

所述目标数据的存储空间值根据所述目标数据包括的所有子数据的存储空间值之和确定。

可选地,所述第二确定模块,包括:

第四确定子模块,被配置为根据所述存储价值参数,在预设的多个阈值范围内确定所述存储价值参数所属的目标阈值范围;

第五确定子模块,被配置为根据所述目标阈值范围确定所述目标数据的存储方式,其中,多个所述阈值范围一一对应有多个存储方式,每个所述存储方式包括压缩方式、存储位置,多个所述存储方式中任两个所述存储方式中压缩方式和存储位置的至少一者不同,所述多个阈值范围包括第一阈值范围、第二阈值范围、第三阈值范围和第四阈值范围,所述第二阈值范围的最小值大于所述第一阈值范围的最大值,所述第三阈值范围的最小值大于所述第二阈值范围的最大值,所述第四阈值范围的最小值大于所述第三阈值范围的最大值。

可选地,所述多个阈值范围包括小于或等于第一预设阈值的第一阈值范围;

所述第五确定子模块,包括:

第一确定子单元,被配置为在所述存储价值参数处于所述第一阈值范围内的情况下,确定所述目标数据的存储方式为第一存储方式,所述第一存储方式用于提取所述目标数据的概要信息并以第一压缩比率进行压缩操作,再将压缩后的概要信息存储至归档存储器。

可选地,所述第五确定子模块,包括:

第二确定子单元,被配置为在所述存储价值参数处于所述第二阈值范围内的情况下,确定所述目标数据的存储方式为第二存储方式,所述第二存储方式用于提取所述目标数据的概要信息并以第二压缩比率进行压缩操作,再将压缩后的概要信息存储至磁盘。

可选地,所述第五确定子模块,包括:

第三确定子单元,被配置为在所述存储价值参数处于所述第三阈值范围内的情况下,确定所述目标数据的存储方式为第三存储方式,所述第三存储方式用于提取所述目标数据的概要信息并对预设格式的目标数据所对应的概要信息以第三压缩比率进行压缩操作,再将压缩后的概要信息以及未压缩的概要信息存储至固态硬盘。

可选地,所述第四确定子模块,包括:

第四确定子单元,被配置为在所述存储价值参数处于所述第四阈值范围内的情况下,确定所述目标数据的存储方式为第四存储方式,所述第四存储方式用于将所述目标数据分别存储至随机存取存储器和磁盘。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种电子设备的框图。如图8所示,该电子设备800可以包括:第一处理器801,第一存储器802。该电子设备800还可以包括多媒体组件803,I/O接口804,以及第一通信组件805中的一者或多者。

其中,第一处理器801用于控制该电子设备800的整体操作,以完成上述的数据存储方法中的全部或部分步骤。第一存储器802用于存储各种类型的数据以支持在该电子设备800的操作,这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该第一存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在第一存储器802或通过第一通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为第一处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。第一通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该第一通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。

在一示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的数据存储方法。

在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的数据存储方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的第一存储器802,上述程序指令可由电子设备800的第一处理器801执行以完成上述的数据存储方法。

图9是根据一示例性实施例示出的另一种电子设备的框图。例如,电子设备900可以被提供为一服务器。参照图9,电子设备900包括第二处理器922,其数量可以为一个或多个,以及第二存储器932,用于存储可由第二处理器922执行的计算机程序。第二存储器932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,第二处理器922可以被配置为执行该计算机程序,以执行上述的数据存储方法。

另外,电子设备900还可以包括电源组件926和第二通信组件950,该电源组件926可以被配置为执行电子设备900的电源管理,该第二通信组件950可以被配置为实现电子设备900的通信,例如,有线或无线通信。此外,该电子设备900还可以包括输入/输出接口958。电子设备900可以操作基于存储在第二存储器932的操作系统。

在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的数据存储方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的第二存储器932,上述程序指令可由电子设备900的第二处理器922执行以完成上述的数据存储方法。

在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的数据存储方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

相关技术
  • 多版本数据存储管理方法及装置、电子设备、存储介质
  • 海量数据存储方法、装置、存储介质及电子设备
  • 数据存储方法、装置、电子设备及存储介质
  • 一种即时通信的数据存储方法、装置、电子设备和介质
  • 一种数据存储的方法、数据下载的方法、装置及电子设备
  • 数据存储方法、数据存储装置、电子设备、存储介质
  • 数据存储装置、服务器、数据存储方法、电子设备和介质
技术分类

06120116330496