掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法及装置

文献发布时间:2023-06-19 18:29:06


数据处理方法及装置

技术领域

本申请涉及计算机技术领域,特别涉及一种数据处理方法及装置。

背景技术

存储系统中通常包括管理节点和多个存储节点,管理节点用于管理该多个存储节点,该存储节点包括磁盘,该磁盘用于存储数据。

示例的,管理节点向该多个存储节点分发数据存储请求,每个存储节点根据接收到的数据存储请求,在该每个存储节点的磁盘中存储数据。

但是,上述存储方式容易导致磁盘的存储压力较大。

发明内容

本申请提供一种数据处理方法及装置,有助于降低存储节点中的存储盘(例如磁盘)的存储压力。所述技术方案如下:

第一方面,提供了一种数据处理方法,应用于存储系统中的第一存储节点,所述存储系统包括管理节点和多个存储节点,所述管理节点与所述多个存储节点连接,所述第一存储节点是所述多个存储节点中的任意一个,所述第一存储节点包括第一存储介质和第二存储介质,所述第一存储介质的数据访问速率大于所述第二存储介质的数据访问速率,所述方法包括:

从所述管理节点接收第一存储请求,所述第一存储请求携带第一数据;

在所述第一存储介质中存储所述第一数据,并针对所述第一数据设置第一过期时长;

当到达所述第一过期时长的结束时刻时,将所述第一存储介质中的所述第一数据存储至所述第二存储介质,并删除所述第一存储介质中的所述第一数据。

可选的,所述方法还包括:

从所述管理节点接收第一查找请求,所述第一查找请求用于查找所述第一数据;

根据所述第一查找请求,在所述第一存储介质中查找所述第一数据;

当在所述第一存储介质中未查找到所述第一数据时,在所述第二存储介质中查找所述第一数据。

可选的,所述方法还包括:

当在所述第一存储介质中未查找到所述第一数据,且在所述第二存储介质中查找到所述第一数据时,在所述第一存储介质中存储所述第一数据,并针对所述第一数据设置第二过期时长;

当到达所述第二过期时长的结束时刻时,删除所述第一存储介质中的所述第一数据。

可选的,所述在所述第一存储介质中存储所述第一数据,包括:在所述第一存储介质中存储所述第一数据和所述第一数据的关键信息;

所述第一查找请求携带所述第一数据的关键信息,所述根据所述第一查找请求,在所述第一存储介质中查找所述第一数据,包括:根据所述第一数据的关键信息,在所述第一存储介质中查找所述第一数据。

可选的,第一存储介质是缓存,第二存储介质是存储盘(例如磁盘)。

可选的,管理节点用于基于负载均衡策略向所述多个存储节点分发数据处理任务,数据处理任务包括数据存储请求和数据查找请求中的至少一种。

第二方面,提供了一种数据处理装置,应用于存储系统中的第一存储节点,所述存储系统包括管理节点和多个存储节点,所述管理节点与所述多个存储节点连接,所述第一存储节点是所述多个存储节点中的任意一个,所述第一存储节点包括第一存储介质和第二存储介质,所述第一存储介质的数据访问速率大于所述第二存储介质的数据访问速率,所述装置包括:

接收模块,用于从所述管理节点接收第一存储请求,所述第一存储请求携带第一数据;

处理模块,用于在所述第一存储介质中存储所述第一数据,并针对所述第一数据设置第一过期时长;以及,当到达所述第一过期时长的结束时刻时,将所述第一存储介质中的所述第一数据存储至所述第二存储介质,并删除所述第一存储介质中的所述第一数据。

可选的,所述接收模块,还用于从所述管理节点接收第一查找请求,所述第一查找请求用于查找所述第一数据;

所述处理模块,还用于根据所述第一查找请求,在所述第一存储介质中查找所述第一数据;以及,当在所述第一存储介质中未查找到所述第一数据时,在所述第二存储介质中查找所述第一数据。

可选的,所述处理模块,还用于当在所述第一存储介质中未查找到所述第一数据,且在所述第二存储介质中查找到所述第一数据时,在所述第一存储介质中存储所述第一数据,并针对所述第一数据设置第二过期时长;

所述处理模块,还用于当到达所述第二过期时长的结束时刻时,删除所述第一存储介质中的所述第一数据。

可选的,所述处理模块,用于在所述第一存储介质中存储所述第一数据和所述第一数据的关键信息;

所述第一查找请求携带所述第一数据的关键信息,所述处理模块,用于根据所述第一数据的关键信息,在所述第一存储介质中查找所述第一数据。

可选的,第一存储介质是缓存,第二存储介质是存储盘(例如磁盘)。

可选的,所述管理节点用于基于负载均衡策略向所述多个存储节点分发数据处理任务,数据处理任务包括数据存储请求和数据查找请求中的至少一种。

本申请提供的技术方案带来的有益效果是:

由于第一存储节点接收携带第一数据的第一存储请求后,第一存储节点首先将第一数据存储在第一存储节点的第一存储介质中,并非直接将第一数据存储在第一存储节点的第二存储介质中,因此第一存储介质可以分担一部分存储压力,有助于降低第二存储介质的存储压力。

另外,第一存储节点接收到用于查找第一数据的第一查找请求后,第一存储节点首先在第一存储介质中查找第一数据,当在第一存储介质中未查找到第一数据时,第一存储节点在第二存储介质中查找第一数据。由于第一存储介质的数据访问速率大于第二存储介质的数据访问速率,因此,第一存储节点首先在第一存储介质中查找第一数据,有助于提高第一数据的查找效率。

进一步的,当第一存储节点在第一存储介质中未查找到第一数据且在第二存储介质中查找到第一数据时,第一存储节点在第一存储介质中存储第一数据,这使得第一存储节点将访问率较高的数据存储在数据访问速率较高的第一存储介质中,便于提高这些数据的查找效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种存储系统的示意图;

图2是本申请实施例提供的一种存储节点的示意图;

图3是本申请实施例提供的一种数据处理方法的流程图;

图4是本申请实施例提供的另一种数据处理方法的流程图;

图5是本申请实施例提供的一种数据处理装置的示意图。

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。

存储系统中的存储节点通常包括磁盘,存储节点根据接收到的数据存储请求,在该存储节点的磁盘中存储数据,这容易造成磁盘存储压力较大。

本申请实施例提出了一种应用于存储节点的数据处理方案。该存储节点接收到携带数据的存储请求后,该存储节点在该存储节点的第一存储介质(例如缓存)中存储该数据并针对该数据设置过期时长,在到达该过期时长的结束时刻时,该存储节点将该数据存储至该存储节点的第二存储介质(例如磁盘),并删除第一存储介质中的该数据。存储节点通过这种数据处理方式,使得第一存储介质分担了一部分存储压力,因此降低了第二存储介质的存储压力。

下面结合附图介绍本申请的技术方案。首先介绍本申请的应用场景。

本申请的应用场景提供一种存储系统,该存储系统可以处理来自用户设备(或称为客户端)的数据处理任务,数据处理任务包括数据存储请求和数据查找请求中的至少一种。可选的,该存储系统包括管理节点和多个存储节点,该存储系统通过管理节点与用户设备交互,该管理节点可以接收来自用户设备的数据处理任务,并向该多个存储节点分发数据处理任务,存储节点根据数据处理任务进行数据处理。示例的,请参考图1,其示出了本申请实施例提供的一种存储系统的示意图,该存储系统包括管理节点和多个存储节点1~n,管理节点与存储节点1~n分别通信连接,管理节点用于向该存储节点1~n分发数据处理任务,存储节点用于根据管理节点分发的数据处理任务进行数据处理。可选的,管理节点基于负载均衡策略向存储节点1~n分发数据处理任务。存储节点1~n中的至少两个存储节点也可以通信连接,以实现该至少两个存储节点通信。

在本申请实施例中,数据处理任务包括数据存储请求和数据查找请求中的至少一种。管理节点基于负载均衡策略向存储节点1~n分发数据存储请求,存储节点将管理节点发送的数据存储请求携带的数据存储在该存储节点中。管理节点可以确定待查找数据所在的存储节点,并向该存储节点发送用于查找该待查找数据的数据查找请求,该存储节点根据该数据查找请求查找该待查找数据。

可选的,每个存储节点具有多个插槽,每个插槽具有一个编号,不同存储节点上的插槽的编号不同(不同存储节点可以对应不同的插槽编号范围)。数据存储请求携带待存储数据的关键信息,对于每个数据存储请求,管理节点通过校验算法对该数据存储请求携带的关键信息进行校验计算,根据校验计算结果以及各个存储节点对应的插槽编号范围,确定该数据存储请求对应的存储节点,并向该存储节点发送该数据存储请求,由此,管理节点实现基于负载均衡策略向存储节点1~n分发数据存储请求。同理,数据查找请求携带待查找数据的关键信息,对于每个数据查找请求,管理节点通过校验算法对该数据查找请请求携带的关键信息进行校验计算,根据校验计算结果以及各个存储节点对应的插槽编号范围,确定待查找数据所在的存储节点,并向该存储节点发送该数据查找请求。示例的,上述校验算法为循环冗余校验(cyclical redundancy check,CRC)算法。每个插槽的编号的取值范围为0-16383,管理节点确定校验计算结果相对16384的余数(也即采用校验计算结果除以16384得到的余数),该余数是0-16383内的一个值,管理节点根据该余数以及各个存储节点对应的插槽编号范围确定相应的数据处理任务(例如数据存储请求或数据查找请求)对应的存储节点。

请参考图2,其示出了本申请实施例提供的一种存储节点的示意图。该存储节点是存储节点1~n中的任一存储节点。该存储节点包括第一存储介质和第二存储介质,第一存储介质的数据访问速率大于第二存储介质的数据访问速率。第一存储介质可以是缓存,第二存储介质可以是存储盘。例如,第一存储介质包括但不限于Caffeine缓存或Redis缓存,第二存储介质包括但不限于机械硬盘、磁盘、固态硬盘或者叠瓦式磁记录硬盘等。Caffeine缓存通过使用优秀的缓存淘汰算法,实现了缓存高命中率、低消耗。示例的,存储节点1~n中的每个存储节点如图2所示,每个存储节点接收到数据存储请求之后,首先在该存储节点的第一存储介质中存储该数据存储请求携带的数据并针对该数据设置过期时长,之后,在到达该过期时长的结束时刻时,该存储节点将该数据存储至该存储节点的第二存储介质。每个存储节点接收到数据查找请求之后,首先在该存储节点的第一存储介质中查找相应数据,如果在第一存储介质未查找到相应数据,该存储节点在该存储节点的第二存储介质中查找相应数据。如图2所示,该存储节点还包括处理器,处理器与第一存储介质和第二存储介质分别通信连接,处理器可以访问第一存储介质和第二存储介质,第一存储介质的数据访问速率可以是处理器访问第一存储介质的访问速率,第二存储介质的数据访问速率可以是处理器访问第二存储介质的访问速率。在第一存储介质和第二存储介质中发生的数据处理操作(例如存储操作、查找操作)具体可以由该存储节点包括的处理器执行,本申请实施例对此不作限定。

可选的,图1所示的存储系统是redis-cluster存储系统,redis-cluster存储系统是一个去中心化的存储系统,redis-cluster存储系统中的存储节点之间通信连接以交换信息。redis-cluster存储系统采用主从模式,其中的存储节点包括主存储节点以及该主存储节点对应的至少一个从存储节点,主存储节点与其对应的从存储节点可以存储相同的数据,例如主存储节点根据管理节点发送的数据存储请求存储数据之后,该主存储节点向该主存储节点对应的从存储节点发送该数据,使得该从存储节点也对该数据进行存储。redis-cluster存储系统采用Hystrix熔断机制(Hystrix熔断机制是用于处理分布式系统的延迟和容错的一种机制),在redis-cluster存储系统中,如果某一主存储节点宕机,该主存储节点开启熔断器,该主存储节点以及依赖于该主存储节点的功能无法正常运行,管理节点可以选择该主存储节点对应的从存储节点完成相关的数据处理,以确保该主存储节点宕机时,该redis-cluster存储系统仍然能够提供正常的数据处理功能。示例的,从存储节点周期性上主存储节点发送心跳信号,并根据是否收到该主存储节点的响应来判断该从存储节点与该主存储节点是否能够正常通信,如果某一主存储节点对应的从存储节点中,超过一半的从存储节点无法与该主存储节点正常通信,认为该主存储节点宕机。主存储节点开启熔断器之后,经过指定时长该主存储节点可以判断其是否恢复正常。如果该主存储节点恢复正常,该主存储节点关闭熔断器。如果该主存储节点未恢复正常,该主存储节点控制熔断器处于开启状态。其中,主存储节点判断其是否恢复正常的方法包括:该主存储节点控制该主存储节点的熔断器半打开,该主存储节点检测该主存储节点是否能够对该主存储节点接收到的心跳信号正常响应;如果该主存储节点能够对该主存储节点接收到的心跳信号正常响应,该主存储节点确定该主存储节点恢复正常;如果该主存储节点无法对该主存储节点接收到的心跳信号正常响应,该主存储节点确定该主存储节点未恢复正常。

以上是对本申请应用场景的介绍,下面介绍本申请的数据处理方法。

请参考图3,其示出了本申请实施例提供的一种数据处理方法的流程图。该数据处理方法应用于存储系统中的第一存储节点。例如,该存储系统如图1所示,第一存储节点是该存储系统中的任一存储节点(例如存储节点1)。图3主要介绍数据存储过程。参见图3,该方法包括如下步骤S301至S303。

S301.第一存储节点从管理节点接收第一存储请求,第一存储请求携带第一数据。

管理节点可以向第一存储节点发送第一存储请求,对应的,第一存储节点从管理节点接收第一存储请求。其中,第一存储请求携带第一数据,还可以携带第一数据的关键信息。第一数据的关键信息包括第一数据的类型、第一数据的标识、第一数据对应的存储系统(即存储第一数据的存储系统,或者说是第一数据即将要被存储至的存储系统)的部署环境的动态因子等。不同部署环境的动态因子不同,因此,同一数据在不同存储系统中对应的关键信息不同。

S302.第一存储节点在第一存储介质中存储第一数据,并针对第一数据设置第一过期时长。

第一存储节点接收到携带第一数据的第一存储请求之后,第一存储节点首先在第一存储介质中存储第一数据,并针对第一存储介质中的第一数据设置第一过期时长。第一过期时长可以根据第一数据的类型以及该类型的数据的访问频率设置,也可以随机设置,或者按照其他策略设置,本申请实施例对此不做限定。可选的,第一存储请求携带第一数据的关键信息,第一存储节点在第一存储介质中存储第一数据和第一数据的关键信息。例如,第一存储介质包括第一对应关系,第一对应关系是第一存储介质中的数据及其关键信息的对应关系,第一对应关系中的每个数据对应的关键信息是该每个数据的关键信息,第一存储节点可以在第一对应关系中存储第一数据和第一数据的关键信息的对应关系。作为一个示例,第一对应关系的结构为Key-Value结构,第一存储节点将第一数据的关键信息作为Key存储在第一对应关系中,将第一数据作为该Key对应的Value存储在第一对应关系中。在该实施例中,第一存储节点设置第一过期时长与第一对应关系包括的第一数据和第一数据的关键信息的对应关系对应。

S303.当到达第一过期时长的结束时刻时,第一存储节点将第一存储介质中的第一数据存储至第二存储介质,并删除第一存储介质中的第一数据。

第一存储节点针对第一存储介质中的第一数据设置第一过期时长之后,第一存储节点启动计时器倒计时第一过期时长。当第一存储节点确定第一过期时长的结束时刻到达时,第一存储节点将第一存储介质中的第一数据存储至第二存储介质中,并删除第一存储介质中的第一数据。第一存储节点通过这样的处理方式,可以实现对第一存储介质中的数据的动态管理。可选的,第一存储节点将第一数据和第一数据的关键信息的对应关系从第一存储介质读入第二存储介质。例如,第二存储介质包括第二对应关系,第二对应关系是第二存储介质中的数据及其关键信息的对应关系,第二对应关系中的每个数据对应的关键信息是该每个数据的关键信息,第一存储节点从第一对应关系中读取第一数据和第一数据的关键信息的对应关系,并将第一数据和第一数据的关键信息的对应关系写入第二对应关系。

可选的实施例中,当第一存储节点确定第一过期时长的结束时刻未到达时,第一存储节点保持第一数据存储在第一存储介质中。在这一实施例中,第一存储节点可以增大第一数据的第一过期时长,例如增大第一过期时长的长度。第一存储节点通过这样的处理方式,使得第一数据能够在数据访问速率较大的第一存储介质中存储较长的时间,提高第一数据的访问效率。

相关技术中,处理器使用淘汰算法管理缓存中的数据。例如,处理器使用先入先出队列(First Input First Output,FIFO)算法、最近最久未使用(Least Recently Used,LRU)算法、最近最少使用(Least Frequently Used,LFU)算法或W-TinyLFU(Window TinyLFU)算法管理缓存中的数据。在FIFO算法中,处理器按照数据进入缓存中的顺序淘汰缓存中的数据。在LRU算法中,处理器将新进入缓存的数据存储在数据队列的尾部,当数据队列的长度达到设定长度时,处理器从该数据队列的首部开始淘汰数据,LRU算法造成缓存污染的概率较大。在LFU算法中,处理器访问缓存中的任一数据时,会记录该任一数据的访问频率,如果处理器确定在指定时长内缓存中的任一数据的访问频率较小,则处理器认为该任一数据在后续的访问频率也较小,处理器淘汰该任一数据。LFU算法可以处理因为冷数据突增带来的缓存污染问题,但是如果数据访问模式发生变化,LFU算法会导致缓存命中率下降,并且需要额外的空间存储访问频率。W-TinyLFU算法是LFU算法的优化算法,在W-TinyLFU算法下,处理器接收到任一数据的访问请求时,处理器记录该任一数据的访问频率,并设置一个标准频率值,处理器将访问频率大于该标准频率值的数据存储在缓存中。其中,处理器可以采用Count-Min Sketch算法记录数据的访问频率,Count-Min Sketch算法是一个用来计数的算法。在本申请实施例中,第一存储介质可以是缓存,任一存储节点在该任一存储节点的第一存储介质中存储任一数据时,针对该任一数据设置过期时长,该任一存储节点根据该任一存储节点的第一存储介质中的数据的过期时长淘汰该第一存储介质中的数据,可以实现对第一存储介质中的数据的精准淘汰,降低缓存污染的概率。由于淘汰掉的是第一存储介质中超过过期时长的数据,未过期的数据仍然存储在第一存储介质中,因此可以保障第一存储介质的命中率。此外,本申请无需记录数据的访问频率,避免记录访问频率占用缓存的空间。

综上所述,本申请实施例提供的数据处理方法,第一存储节点接收携带第一数据的第一存储请求后,第一存储节点首先将第一数据存储在第一存储介质中并针对第一数据设置第一过期时长,当到达第一过期时长的结束时刻时,第一存储节点将第一存储介质中的第一数据存储至第二存储介质并删除第一存储介质中的第一数据。通过这样的数据处理方式,使得第一存储介质可以分担一部分存储压力,有助于降低第二存储介质的存储压力。

请参考图4,其示出了本申请实施例提供的另一种数据处理方法的流程图。该数据处理方法应用于存储系统中的第一存储节点。图4主要介绍数据查找过程。参见图4,该方法包括如下步骤S401至S405。

S401.第一存储节点从管理节点接收第一查找请求,第一查找请求用于查找第一数据。

管理节点可以向第一存储节点发送用于查找第一数据的第一查找请求,对应的,第一存储节点从管理节点接收第一查找请求。其中,第一查找请求可以携带第一数据的关键信息。

S402.第一存储节点根据第一查找请求,在第一存储介质中查找第一数据。

第一存储节点接收到用于查找第一数据的第一查找请求之后,第一存储节点首先根据第一查找请求在第一存储介质中查找第一数据。可选的,第一存储节点根据第一查找请求携带的第一数据的关键信息在第一存储介质中查找第一数据。

作为一个示例,第一存储介质包括第一对应关系,第一对应关系是第一存储介质中的数据及其关键信息的对应关系,第一对应关系中的每个数据对应的关键信息是该每个数据的关键信息,第一存储节点根据第一查找请求携带的第一数据的关键信息在第一对应关系中查找第一数据。具体的实施例中,第一存储节点在第一对应关系中查找第一数据的关键信息,当第一存储节点在第一对应关系中查找到第一数据的关键信息时,第一存储节点将第一对应关系中与第一数据的关键信息对应的数据确定为第一数据。当第一存储节点在第一对应关系中未查找到第一数据的关键信息时,第一存储节点确定第一对应关系中不包括第一数据的关键信息和第一数据,进而确定第一存储介质中未存储第一数据。

S403.当在第一存储介质中未查找到第一数据时,第一存储节点在第二存储介质中查找第一数据。

当第一存储节点在第一存储介质中没有查找到第一数据时,第一存储节点根据第一查找请求在第二存储介质中查找第一数据。可选的,第一存储节点根据第一查找请求携带的第一数据的关键信息在第二存储介质中查找第一数据。

作为一个示例,第二存储介质包括第二对应关系,第二对应关系是第二存储介质中的数据及其关键信息的对应关系,第二对应关系中的每个数据对应的关键信息是该每个数据的关键信息,第一存储节点根据第一查找请求携带的第一数据的关键信息在第二对应关系中查找第一数据。具体的实施例中,第一存储节点在第二对应关系中查找第一数据的关键信息,当第一存储节点在第二对应关系中查找到第一数据的关键信息时,第一存储节点将第二对应关系中与第一数据的关键信息对应的数据确定为第一数据。当第一存储节点在第二对应关系中未查找到第一数据的关键信息时,第一存储节点确定第二对应关系中不包括第一数据的关键信息和第一数据,进而确定第二存储介质中未存储第一数据。

S404.当在第一存储介质中未查找到第一数据,且在第二存储介质中查找到第一数据时,第一存储节点在第一存储介质中存储第一数据,并针对第一数据设置第二过期时长。

当第一存储节点在第一存储介质中未查找到第一数据且在第二存储介质中查找到第一数据时,第一存储节点在第一存储介质中存储第一数据,并针对第一存储介质中的第一数据设置第二过期时长。第二过期时长可以根据第一数据的类型以及该类型的数据的访问频率设置,也可以随机设置或者根据其他策略设置。第二过期时长大于、小于或等于第一过期时长,本申请实施例对此不做限定。

可选的,第二存储介质中存储有第一数据和第一数据的关键信息的对应关系,第一存储节点将第一数据和第一数据的关键信息的对应关系从第二存储介质读入第一存储介质。例如,第一存储介质包括第一对应关系,第一对应关系是第一存储介质中的数据及其关键信息的对应关系,第二存储介质包括第二对应关系,第二对应关系是第二存储介质中的数据及其关键信息的对应关系,第一存储节点从第二对应关系中读取第一数据和第一数据的关键信息的对应关系,并将第一数据和第一数据的关键信息的对应关系写入第一对应关系。在这一实施例中,第一存储节点设置第二过期时长与第一对应关系包括的第一数据和第一数据的关键信息的对应关系对应。

S405.当到达第二过期时长的结束时刻时,第一存储节点删除第一存储介质中的第一数据。

第一存储节点针对第一存储介质中的第一数据设置第二过期时长之后,第一存储节点启动计时器倒计时第二过期时长。当第一存储节点确定第二过期时长的结束时刻到达时,第一存储节点删除第一存储介质中的第一数据。第一存储节点通过这样的处理方式,可以实现对第一存储介质中的数据的动态管理。可选的,当第一存储节点确定第二过期时长的结束时刻未到达时,第一存储节点保持第一数据存储在第一存储介质中。

综上所述,本申请实施例提供的数据处理方法,第一存储节点接收到用于查找第一数据的第一查找请求后,第一存储节点首先在第一存储介质中查找第一数据,当在第一存储介质中未查找到第一数据时,第一存储节点在第二存储介质中查找第一数据,由于第一存储介质的数据访问速率大于第二存储介质的数据访问速率,因此,第一存储节点首先在第一存储介质中查找第一数据,有助于提高第一数据的查找效率。另外,当第一存储节点在第一存储介质中未查找到第一数据且在第二存储介质中查找到第一数据时,第一存储节点在第一存储介质中存储第一数据,这使得第一存储节点将访问率较高的数据存储在数据访问速率较高的第一存储介质中,便于提高这些数据的查找效率。

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

请参考图5,其示出了本申请实施例提供的一种数据处理装置500的示意图。该数据处理装置500应用于存储系统中的第一存储节点,该存储系统包括管理节点和多个存储节点,管理节点与该多个存储节点连接,第一存储节点是该多个存储节点中的任意一个,第一存储节点包括第一存储介质和第二存储介质,第一存储介质的数据访问速率大于第二存储介质的数据访问速率。数据处理装置500可以实现如图3和图4所示的数据处理方法。如图5所示,数据处理装置500包括:接收模块510和处理模块520。

接收模块510,用于从管理节点接收第一存储请求,第一存储请求携带第一数据。接收模块510的功能实现可以参考上述步骤S301中的描述。

处理模块520,用于在第一存储介质中存储第一数据,并针对第一数据设置第一过期时长;以及,当到达第一过期时长的结束时刻时,将第一存储介质中的第一数据存储至第二存储介质,并删除第一存储介质中的第一数据。处理模块520的功能实现可以参考上述S302至步骤S303中的描述。

可选的,接收模块510,还用于从管理节点接收第一查找请求,第一查找请求用于查找第一数据。接收模块510的功能实现请参考上述步骤S401中的描述。

处理模块520,还用于根据第一查找请求,在第一存储介质中查找第一数据;以及,当在第一存储介质中未查找到第一数据时,在第二存储介质中查找第一数据。处理模块520的功能实现还可以参考上述步骤S402至步骤S403中的描述。

可选的,处理模块520,还用于当在第一存储介质中未查找到第一数据,且在第二存储介质中查找到第一数据时,在第一存储介质中存储第一数据,并针对第一数据设置第二过期时长。处理模块520的功能实现还可以参考上述步骤S404中的描述。

可选的,处理模块520,还用于当到达第二过期时长的结束时刻时,删除第一存储介质中的第一数据。处理模块520的功能实现还可以参考上述步骤S405中的描述。

可选的,处理模块520,用于在第一存储介质中存储第一数据和第一数据的关键信息。第一查找请求携带第一数据的关键信息,处理模块520,用于根据第一数据的关键信息,在第一存储介质中查找第一数据。

可选的,第一存储介质是缓存,第二存储介质是存储盘。

综上所述,本申请实施例提供的数据处理装置,接收模块接收携带第一数据的第一存储请求后,处理模块首先将第一数据存储在第一存储介质中并针对第一数据设置第一过期时长,当到达第一过期时长的结束时刻时,处理模块将第一存储介质中的第一数据存储至第二存储介质并删除第一存储介质中的第一数据。通过这样的数据处理方式,使得第一存储介质可以分担一部分存储压力,有助于降低第二存储介质的存储压力。

本申请实施例还提供了一种数据处理装置,包括存储器和处理器;存储器用于存储计算机程序;处理器用于执行该存储器中存储的计算机程序以使得该物品投放装置执行如图2至图3任一所示的方法的全部或部分步骤。

本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被执行(例如,被数据处理装置、一个或多个处理器等执行)时,实现如图2至图3任一所示的方法的全部或部分步骤。

本申请实施例提供了一种计算机程序产品,该计算机程序产品包括程序或代码,该程序或代码被执行(例如,被数据处理装置、一个或多个处理器等执行)时,实现如上述方法实施例提供的方法的全部或部分步骤。

应当理解的是,本申请中的术语“至少一个”指一个或多个,“多个”指两个或两个以上。术语“至少两个”指两个或两个以上。另外,为了便于清楚描述,在本申请中,采用了“第一”、“第二”、“第三”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”、“第三”等字样并不对数量和执行次序进行限定。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 话音数据处理方法以及支持该话音数据处理方法的电子装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 数据处理设备、数据处理方法、程序转换处理设备和程序转换处理方法、程序转换处理设备、数据处理设备、程序转换处理方法和数据处理方法、数据处理设备、数据处理方法、程序分析处理设备和程序分析处理方法、数据处理设备、历史保存设备、数据处理方法和程序、以及编译处理设备
  • 图像数据处理方法、用于图像数据处理方法的程序、记录有用于图像数据处理方法的程序的记录介质和图像数据处理装置
技术分类

06120115585793