数据缓存的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据缓存的方法和装置。

背景技术

当今的计算机系统中，缓存扮演着非常重要的角色，小到CPU(中央处理器，central processing unit)，大到互联网网站，我们都需要使用缓存来提升系统性能。不过，缓存都需要相对昂贵的硬件来实现，因此大小受到限制。所以，我们需要使用不同的策略来淘汰不经常使用的内容，取而代之一些更有可能被使用的内容，增加缓存的命中率，进而提升缓存的使用效果。

为了实现这个目标，提出了多种缓存访问和淘汰策略。例如：FIFO(First InputFirst Output)，先进先出算法，判断被存储的时间，离目前最远的数据优先被淘汰；LRU(The Least Recently Used)，最近最久未使用算法，判断最近被使用的时间，目前最远的数据优先被淘汰；LFU(Least Frequentl8 Used)，最近最少使用算法，在一段时间内，数据被使用次数最少的，优先被淘汰；LRU-K，LRU算法的扩展，将“最近使用过1次”的判断标准扩展为“最近使用过K次”；2Q(Two queues)，类似于LRU-2，不同点在于一个是FIFO队列，一个是LRU队列；LIRS(Low Inter-reference Recency Set)，通过LRU算法的最近访问时间、同一块连续两次访问期间中间访问过的步重复块数两个因素来决定哪些数据被淘汰。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在现有的缓存策略中，每种缓存策略都有一定的侧重点，但是考虑的情况都具有一定的片面性，使得缓存的调整、读写操作与缓存命中率等方面都不够理想。

发明内容

有鉴于此，本发明实施例提供一种数据缓存的方法和装置，能够根据用户对缓存数据的访问情况动态调整缓存数据优先级队列的容量，有效提高了对访问高峰期、低谷期等场景下的缓存命中率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据缓存的方法。

一种数据缓存的方法，包括：从缓存中查询数据，所述缓存包括多个具有不同优先级的缓存队列；若未查询到所述数据，则将所述数据保存到最低优先级的缓存队列的队尾节点；若缓存容量超过预设的下限阀值，则从所述最低优先级的缓存队列的队头节点取出头部数据，并计算所述头部数据的优先级；若所述头部数据的优先级小于所述最低优先级，则从所述缓存中删除所述头部数据。

可选地，在将所述数据保存到最低优先级的缓存队列的队尾之前，还包括：判断所述缓存容量是否达到预设的上限阀值；若达到，则直接将所述最低优先级的缓存队列的队头节点的头部数据删除。

可选地，若从所述缓存中查询到所述数据，则计算所述数据的优先级，并将所述数据移动至所述优先级的缓存队列的队尾节点。

可选地，所述缓存中还保存数据的访问计数因子和最近访问时间；并且，数据的优先级是根据数据的访问计数因子确定的。

可选地，若未查询到所述数据，则将所述数据的访问计数因子和最近访问时间设置为默认初始值。

可选地，若从所述缓存中查询到所述数据，则计算所述数据的优先级包括：若从所述缓存中查询到所述数据，则根据缓存中保存的所述数据的访问计数因子和最近访问时间计算最新的访问计数因子；根据所述最新的访问计数因子确定所述数据的优先级。

可选地，若从所述缓存中查询到所述数据，则根据缓存中保存的所述数据的访问计数因子和最近访问时间计算最新的访问计数因子包括：若从所述缓存中查询到所述数据，则首先计算访问计数因子增加的概率P＝1/(访问计数因子*ln访问计数因子+1)，然后将所述访问计数因子增加的概率P与随机数R进行比较，若P大于R，则访问计数因子增1，其中，R∈[0,1)；更新所述访问计数因子；然后根据当前系统时间与所述数据的最近访问时间之间的时间差计算最新的访问计数因子，所述最新的访问计数因子＝访问计数因子-(系统最新时间-数据记录的最近访问时间)/T，其中，T为时间因子变量。

可选地，计算所述头部数据的优先级包括：根据当前系统时间与所述数据的最近访问时间之间的时间差计算最新的访问计数因子，所述最新的访问计数因子＝访问计数因子-(系统最新时间-数据记录的最近访问时间)/T，其中，T为时间因子变量。

可选地，所述缓存包括多个缓存分片，且对数据进行分片缓存。

可选地，所述缓存分片包括数据键值哈希表和优先级数据键集合哈希表，其中，所述数据键值哈希表存储缓存数据，且键为缓存数据的键名，值为缓存数据节点，所述缓存数据节点包括缓存数据的数据值、最近访问时间和访问计数因子；所述优先级数据键集合哈希表存储对应优先级的缓存数据的键名，键为优先级，值为对应优先级的缓存数据的键名的哈希队列。

根据本发明实施例的另一方面，提供了一种数据缓存的装置。

一种数据缓存的装置，包括：数据查询模块，用于从缓存中查询数据，所述缓存包括多个具有不同优先级的缓存队列；数据保存模块，用于若未查询到所述数据，则将所述数据保存到最低优先级的缓存队列的队尾节点；数据获取模块，用于若缓存容量超过预设的下限阀值，则从所述最低优先级的缓存队列的队头节点取出头部数据，并计算所述头部数据的优先级；数据删除模块，用于若所述头部数据的优先级小于所述最低优先级，则从所述缓存中删除所述头部数据。

根据本发明实施例的又一方面，提供了一种数据缓存的电子设备。

一种数据缓存的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的数据缓存的方法。

根据本发明实施例的再一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的数据缓存的方法。

上述发明中的一个实施例具有如下优点或有益效果：通过从缓存中查询数据，缓存包括多个具有不同优先级的缓存队列；若未查询到数据，则将数据保存到最低优先级的缓存队列的队尾节点；若缓存容量超过预设的下限阀值，则从最低优先级的缓存队列的队头节点取出头部数据，并计算头部数据的优先级；若头部数据的优先级小于最低优先级，则从缓存中删除头部数据，实现了使用自适应的访问计数因子来体现用户对缓存数据的访问情况，并根据访问计数因子计算缓存的优先级以将数据放入不同的优先级队列，从而实现了根据用户对缓存数据的访问情况动态调整缓存数据优先级队列的容量，有效提高了对访问高峰期、低谷期等场景下的缓存命中率。并且，本发明还根据单机CPU数量对缓存数据进行动态分片处理，有效解决了现有技术中在高并发高QPS情况下的锁竞争导致的读写操作耗时长的性能问题。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据缓存的方法的主要步骤示意图；

图2是本发明一个实施例的缓存未命中时的数据缓存流程示意图；

图3是本发明另一个实施例的缓存命中时的数据缓存流程示意图；

图4是本发明实施例的缓存数据分片存储的原理示意图；

图5是本发明实施例的缓存数据分片存储的实现流程图；

图6是本发明实施例的缓存分片中数据存储结构示意图；

图7是根据本发明实施例的数据缓存的装置的主要模块示意图；

图8是本发明实施例可以应用于其中的示例性系统架构图；

图9是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在现有的缓存策略中，FIFO是最简单的缓存淘汰算法，但是按照入队的顺序进行淘汰，没有考虑缓存数据的实际使用情况，导致命中率太低。LRU只考虑了缓存数据的最近访问时间情况，而忽略了缓存数据的访问次数情况，在高并发系统访问的情况下，容易导致缓存中充斥大量最新访问过的，但访问次数很低的数据对象。LFU只考虑了缓存数据的历史访问次数情况，而忽略了缓存数据的访问时间情况，容易导致缓存中大量历史访问次数很高，但很长时间没有访问的数据对象。LRU-K、2Q、LIRS都是建立在LRU基础上的优化，实现更复杂，缓存命中率有一定的提升，但是没有考虑单机在高并发高QPS情况下的锁竞争导致的读写操作耗时长的性能问题，同时对于存在访问高峰期、低谷期的情况，缓存并不能在一定范围内动态的自适应调整以提高缓存命中率。

为了解决现有技术中存在的上述问题，本发明提供了一种根据单机CPU数量对缓存数据进行动态分片处理，根据数据访问量变化进行自适应容量调整的缓存方法和装置，从而解决现有技术中在高并发高QPS(Queries-per-second，每秒查询率)情况下的锁竞争导致的读写操作耗时长的性能问题，以及对于存在访问高峰期、低谷期的情况缓存并不能在一定范围内动态的自适应调整以提高缓存命中率的问题。

图1是本发明实施例的数据缓存的方法的主要步骤示意图。如图1所示，本发明实施例的数据缓存的方法主要包括如下的步骤S101至步骤S104。

步骤S101：从缓存中查询数据，缓存包括多个具有不同优先级的缓存队列；

步骤S102：若未查询到数据，则将数据保存到最低优先级的缓存队列的队尾节点；

步骤S103：若缓存容量超过预设的下限阀值，则从最低优先级的缓存队列的队头节点取出头部数据，并计算头部数据的优先级；

步骤S104：若头部数据的优先级小于最低优先级，则从缓存中删除头部数据。

通常情况下，当需要进行缓存数据的访问或存储时，首先根据数据键名key从缓存中查询数据对应的缓存数据节点，若未命中，则说明缓存中没有该数据，此时直接返回空，然后将该数据保存到缓存中；若命中，则从缓存数据节点中获取该数据的最近访问时间、访问计数因子以及优先级等信息，然后计算数据的最新的访问计数因子，并确定该数据的最新的优先级，然后将该数据放入最新的优先级对应的缓存队列中。

根据本发明的一个实施例，在将数据保存到最低优先级的缓存队列的队尾之前，还包括：

判断缓存容量是否达到预设的上限阀值；

若达到，则直接将最低优先级的缓存队列的队头节点的头部数据删除。

一般情况下，缓存都会设置容量的上、下限阀值，上限阀值例如是可用内存总量的120％，下限阀值例如是可用内存总量的80％。通过设置缓存容量的上、下限阀值即可使得在进行数据缓存的同时不影响系统的正常运行。

若从缓存中未查询到数据，则需要将该数据新增保存到缓存中，此时，需要首先判断当前缓存的容量是否已经达到预设的上线阀值，若已经达到，则无法再缓存数据，此时，直接将最低优先级的缓存队列的队头节点的头部数据删除(根据队列的先进先出特性，队头节点的数据未被操作的时间最长，故而需要将队头节点的头部数据删除)，然后，即可将该数据保存到缓存中。其中，在缓存该数据时，由于该数据对于缓存来说是个新数据，故可将该数据的访问计数因子和最近访问时间设置为默认初始值(例如：设置访问计数因子为1，最近访问时间为当前系统时间)，且将该数据的优先级设置为最低优先级，然后，将该数据保存到最低优先级的缓存队列的队尾节点。

在将数据保存到最低优先级的缓存队列的队尾节点后，还需要判断缓存容量是否已超过预设的下限阀值。由于可能会存在多个用户同时操作缓存的情况，故而每次需要将缓存都留有一定的余量。若缓存容量已超过预设的下限阀值，则从最低优先级的缓存队列的队头节点取出头部数据，并判定是否要将头部数据删除。

具体地，需计算头部数据的优先级，若其优先级小于最低优先级，则需要将其删除。其中，在计算数据的优先级时，是根据访问计数因子来计算的，通过设定不同范围的访问计数因子对应不同的优先级，即可计算数据的优先级。例如：可设置访问计数因子的值为[128,1023]对应高优先级，且优先级＝3，访问计数因子的值为[16,127]对应中优先级，且优先级＝2，访问计数因子的值为[1,15]对应低优先级，且优先级＝1。

其中，访问计数因子是随时间变化而变化的一个变量，其用于表征缓存中数据的访问时间对缓存数据的影响。由于该头部数据并未被命中，故仅需根据当前系统时间与缓存中保存的该数据的最近访问时间之间的时间差计算最新的访问计数因子，最新的访问计数因子＝访问计数因子-(系统最新时间-数据记录的最近访问时间)/T，其中，T为时间因子变量。T的值是自适应可变的值，例如：当访问计数因子的值范围在[1,15]则T的值为1，当访问计数因子的值范围在[16,127]则T的值为4，当访问计数因子的值范围在[128,1023]则T的值为8。如此，即可计算最新的访问计数因子，并确定该头部数据的最新的优先级。由于该头部数据最初的优先级即为最低优先级，故而若计算得到的最新优先级小于最低优先级，则说明该头部数据已长时间未被访问，故而可从缓存中清除。否则，若计算得到的最新优先级仍为最低优先级，则说明缓存中的数据使用率较高，无需更新缓存。

图2是本发明一个实施例的缓存未命中时的数据缓存流程示意图。如图2所示，在进行缓存中数据存储或读取时，如果缓存中不存在该数据，则说明缓存未命中。此时，如果缓存数据容量达到上限阀值，则直接淘汰最低优先级集合队头节点的头部数据。如果缓存容量足够，则将该数据的数据节点(包括数据键名、数据值、最近访问时间、访问计数因子，等等)存入缓存中的数据表中，并设置最近访问时间为当前时间、访问计数因子为初始值1、优先级为最低优先级1，数据节点key存入最低优先级缓存队列的队尾。缓存容量自适应增加。

然后判断缓存容量是否大于设定的下限阀值，若大于，则获取当前最低优先级缓存队列的队头节点的头部数据，由于缓存未命中，故只根据时间差来计算最新的访问计数因子及其对应的优先级，并判断是否要淘汰该头部数据。如果计数因子<1或优先级小于最低优先级，则淘汰此队头节点的头部数据，缓存容量自适应减少。其中，如果缓存容量≤下限阀值，则可以不做处理。

根据本发明的另一个实施例，若从缓存中查询到数据，则计算数据的优先级，并将数据移动至该优先级的缓存队列的队尾节点。若从缓存中查询到数据，则说明该数据已被命中，此时也需要更新该数据的访问计数因子，以及该数据的优先级。其中，若从缓存中查询到数据，则根据缓存中保存的数据的访问计数因子和最近访问时间计算最新的访问计数因子；根据最新的访问计数因子确定数据的优先级。

若从缓存中查询到数据，则根据缓存中保存的该数据的访问计数因子和最近访问时间计算最新的访问计数因子包括：

若从缓存中查询到数据，则首先计算缓存命中对该数据的访问计数因子的影响，即：访问计数因子增加的概率P＝1/(访问计数因子*ln访问计数因子+1)，然后将访问计数因子增加的概率P与随机数R进行比较，若P大于R，则访问计数因子增1，其中，R∈[0,1)；其中，随机数例如是通过Java的Math.random()来生成的；

之后，更新该数据的访问计数因子；

然后，计算时间差对数据的访问计数因子的影响，根据当前系统时间与缓存中保存的该数据的最近访问时间之间的时间差计算最新的访问计数因子，最新的访问计数因子＝访问计数因子-(系统最新时间-数据记录的最近访问时间)/T，其中，T为时间因子变量。

由于当从缓存中查询到数据时，即缓存命中，此时无需在缓存中新增数据，故而无需再判断缓存容量是否超过设定的上限阀值或下限阀值。然而，根据本发明的又一个实施例，为了在保证换存量的前提下，使得缓存命中率尽量高，故而即使缓存命中，在将数据保存到对应优先级的缓存队列之后，还可以进一步判断缓存容量是否超过设定的下限阀值，并在缓存容量超过设定的下限阀值时，获取该数据对应优先级的缓存队列的对头节点的头部数据，并计算该头部数据的优先级，以判断将该头部数据进行降优先级处理还是从缓存中删除。

图3是本发明另一个实施例的缓存命中时的数据缓存流程示意图。如图3所示，在进行缓存中数据存储或读取时，如果缓存中存在该数据，则说明缓存命中。此时，首先从缓存的数据节点中获得该数据的最近访问时间、访问计数因子、优先级等信息，然后根据自适应计算规则计算出最新的访问计数因子，根据最新的访问计数因子，确定最新的优先级，以便把数据放入该最新的优先级的缓存队列的队尾节点。

自适应计算规则如下：访问计数因子的影响因素包括两部分，一部分是缓存数据每次访问命中对访问计数因子的递增趋势的影响，另一部分是缓存数据最近访问时间到当前系统时间的时间差值对访问计数因子的递减趋势的影响。

首先计算访问命中对访问计数因子的影响，访问计数因子增加的概率＝1/(访问计数因子*ln访问计数因子+1)，随着访问计数因子值的增加，访问计数因子增加的概率自适应的减少。同时计算一个随机数[0,1)，比较访问计数因子增加的概率和随机数的值，访问计数因子增加的概率大于随机数值则访问计数因子值+1。之后，根据该步骤的执行结果更新访问计数因子。

然后计算时间差对访问计数因子的影响，时间的单位例如为秒，设定一个时间因子变量T，T的值是自适应可变的值，当访问计数因子的值范围在[1,15]则T的值为1，当访问计数因子的值范围在[16,127]则T的值为4，当访问计数因子的值范围在[128,1023]则T的值为8。最新的访问计数因子＝访问计数因子-(系统最新时间-最近访问时间)/T，其中，此处的访问计数因子是根据上一步骤更新后的访问计数因子，且最近访问时间为缓存中记载的最近访问时间。

根据访问计数因子计算数据对应的优先级，访问计数因子的值为[128,1023]对应高优先级，优先级＝3，访问计数因子的值为[16,127]对应中优先级，优先级＝2，访问计数因子的值为[1,15]对应低优先级，优先级＝1。

如果计算后数据的优先级不变，则把当前数据移动到对应优先级队列的队尾，更新当前数据节点的最近访问时间、访问计数因子。在该实施例中，当把当前数据移动后，还判断缓存容量是否大于下限阀值，并当缓存容量大于下限阀值时，取当前优先级缓存队列的队头节点的头部数据，并获取队头key节点的头部数据的最近访问时间、访问计数因子等信息。由于该头部数据并未被命中，故而只根据时间差计算该头部数据最新的访问计数因子，并计算最新的优先级，如果优先级降低，则移除出当前缓存队列，添加到降低后的优先级的缓存队列的队尾，如果优先级小于最低优先级1，则直接淘汰该头部数据，缓存容量自适应减少。

如果计算后数据的优先级提高，则把当前数据移动到提高的优先级队列的队尾，更新当前数据节点的最近访问时间、访问计数因子、优先级，然后判断当缓存容量大于下限阀值时，取当前优先级(即：该提高的优先级)缓存队列的队头节点的头部数据，获取队头节点的头部数据的最近访问时间、访问计数因子，且只根据时间差计算最新访问计数因子，并计算最新的优先级，如果优先级降低，则移除出当前的缓存队列，添加到降低后的优先级的缓存队列的队尾，如果优先级小于最低优先级1，则直接淘汰该头部数据，缓存容量自适应减少。

如果计算后数据的优先级降低，则把当前数据移动到降低的优先级队列的队尾，更新当前数据节点的最近访问时间、访问计数因子、优先级，然后判断当缓存容量大于下限阀值时，取当前优先级(即：该降低的优先级)缓存队列的队头节点的头部数据，获取队头节点的头部数据的最近访问时间、访问计数因子，且只根据时间差计算最新访问计数因子，并计算最新的优先级，如果优先级降低，则移除出当前的缓存队列，添加到降低后的优先级的缓存队列的队尾，如果优先级小于最低优先级1，则直接淘汰该头部数据，缓存容量自适应减少。

根据本发明的又一个实施例，缓存包括多个缓存分片，且对数据进行分片缓存。其中，每个缓存分片都按照前面介绍的缓存方法来进行数据缓存。

根据本发明的再一个实施例，缓存分片例如包括数据键值哈希表和优先级数据键集合哈希表，其中，

数据键值哈希表存储缓存数据，且键为缓存数据的键名，值为缓存数据节点，缓存数据节点包括缓存数据的数据值、最近访问时间和访问计数因子；

优先级数据键集合哈希表存储对应优先级的缓存数据的键名，键为优先级，值为对应优先级的缓存数据的键名的哈希队列。

本发明的实施例提供了一种根据单机CPU数量对缓存数据进行动态分片处理，根据数据访问量变化进行自适应容量调整以便提高缓存命中率的缓存方法和装置。

首先，动态获取当前机器的CPU数量N，默认分片数量和CPU数量一致(也可不一致，呈正线性相关即可)，把缓存分为N片，对全量缓存数据进行分片处理。对于缓存数据的键名key通过CRC32(key)％N，来确定将数据路由到哪个缓存分片。通过分片，可以有效增加缓存读写操作的并行度，减小同步等待的耗时。

对于每一个缓存分片，例如主要是由数据键值哈希表、优先级数据键集合哈希表两个部分组成。数据键值哈希表存储缓存数据，键为缓存数据的key，值为缓存数据节点，缓存数据节点内容包括最近访问时间、访问计数因子、优先级、数据值等。最近访问时间精确到秒，访问计数因子取值从0到1023，优先级取值从0到3。优先级数据键集合哈希表存储高、中、低三个优先级的缓存数据的key集合，键为优先级，值为对应优先级的缓存数据key的链式哈希有序集合(例如：哈希队列)。链式哈希有序集合按优先级分为三个有序集合，高优先级有序集合，对应优先级为3，中优先级有序集合，对应优先级为2，低优先级有序集合，对应优先级为1。

缓存数据访问及存储时，根据缓存数据最近访问时间以及是否命中，计算最新的访问计数因子，根据访问计数因子的值，把数据key放入对应优先级的key集合队列队尾，并计算队头节点的访问计数因子来自适应判断是否淘汰优先级低的缓存数据，在数据访问量大时，可以自适应动态调整缓存参数扩充容量，在数据访问量小时，自适应动态调整缓存参数缩减容量，从而有效提高缓存命中率。

对于单机缓存，每次读写操作之前都有加锁操作，完成读写操作之后还有解锁操作。在低QPS(每秒查询率，Queries-per-second)下，锁竞争的耗时基本可以忽略，但是在高QPS下，大量的时间消耗在了等待锁的操作上，导致耗时增长。针对大量的同步等待操作导致耗时增加的情况，解决方案就是尽量减小临界区。通过引入高效哈希算法机制，对全量数据做分片处理，把原有缓存分成多个缓存分片，以提高并发量，降低查询及写入耗时。

1)分片路由规则

把缓存数据的key，使用CRC32算法实现缓存数据的分片，系统分为N个缓存分片。对于每个key，通过以下公式确定所属的缓存分片：CacheId＝CRC32(key)％N。缓存数据访问时，按照对应的路由规则，先获取数据可能存在的分片，然后再去对应的分片上查询数据。缓存数据存储时，按照分片路由规则，先获取数据对应的分片，然后再在对应分片上存储数据。通过分片，增加了缓存读写操作的并行度，减小同步等待的耗时。

图4是本发明实施例的缓存数据分片存储的原理示意图。如图4所示，其中示出了通过将每个缓存数据的键名key通过CRC32(key)％N计算得到对应的缓存分片，然后将数据存储到该缓存分片中。同样地，当需要从缓存中查找数据时，也是同样的方法。

2)分片数量确定

提高缓存性能的一个方法是确定最合理的分片数量，增加足够的并行度，减少同步等待消耗。所以分片数量可以与CPU数量一致，通过使用语言函数(例如：可以用Java语言的Runtime.getRuntime().availableProcessors()获取CPU数量)可以动态获取可用CPU处理器的数量。默认设置分片数N＝CPU数量。

图5是本发明实施例的缓存数据分片存储的实现流程图。如图5所示，首先动态获取CPU数量，并设置缓存分片数N＝CPU数量；然后，根据缓存数据的键名key进行分片路由，以将缓存数据分片缓存到对应的缓存分片CacheId＝CRC32(key)％N；之后，即可在对应的缓存分片进行缓存数据的读写操作。

3)缓存自适应动态调整方法

对于每个缓存分片，设定一个容量的上限阀值和下限阀值，容量可以在一定范围内自适应的变化，以应对访问量的变化。缓存分片包括多个优先级队列(以三个优先级队列为例)，每个数据节点根据历史记录计算出优先级，放入对应的优先级队列。在容量阀值范围内，根据数据访问量变化，自适应的按照优先级调整各个优先级队列的容量，从而提高缓存的命中率。

缓存分片由数据键值哈希表、优先级数据键集合哈希表两个部分组成。

数据键值哈希表存储缓存数据，键为缓存数据的键名key，值为缓存数据节点。缓存数据节点内容包括缓存数据的最近访问时间、访问计数因子、优先级、数据值，等等。最近访问时间精确到秒，访问计数因子取值从0到1023，优先级取值从0到3(其中，3为最高优先级，1为最低优先级，当优先级小于最低优先级时，将优先级赋值为0)。

优先级数据键集合哈希表只存储对应优先级的缓存数据的键名key，键为优先级，值为对应优先级的缓存数据key的链式哈希有序集合(例如：哈希队列)。链式哈希有序集合按优先级分为三个有序集合，高优先级有序集合，对应优先级为3，中优先级有序集合，对应优先级为2，低优先级有序集合，对应优先级为1。

图6是本发明实施例的缓存分片中数据存储结构示意图。如图6所示，本发明实施例的缓存分片中数据主要包括数据键值哈希表和优先级数据键集合哈希表。其中，数据键值哈希表中的每个数据节点存储了缓存数据的最近访问时间、访问计数因子、优先级、数据值，等；优先级数据键集合哈希表中主要存储了优先级有序哈希集合(例如：本发明实施例中的优先级哈希队列)，可以包括高优先级哈希队列、中优先级哈希队列和低优先级哈希队列。

其中，对于每个缓存分片来说，对其进行缓存数据的读写操作的过程均可根据前述实施例中的步骤S101至步骤S104来实现。

图7是根据本发明实施例的数据缓存的装置的主要模块示意图。如图7所示，本发明实施例的数据缓存的装置700主要包括数据查询模块701、数据保存模块702、数据获取模块703和数据删除模块704。

数据查询模块701，用于从缓存中查询数据，所述缓存包括多个具有不同优先级的缓存队列；

数据保存模块702，用于若未查询到所述数据，则将所述数据保存到最低优先级的缓存队列的队尾节点；

数据获取模块703，用于若缓存容量超过预设的下限阀值，则从所述最低优先级的缓存队列的队头节点取出头部数据，并计算所述头部数据的优先级；

数据删除模块704，用于若所述头部数据的优先级小于所述最低优先级，则从所述缓存中删除所述头部数据。

根据本发明的一个实施例，数据缓存的装置700还可以包括缓存判定模块(图中未示出)，用于：

在将所述数据保存到最低优先级的缓存队列的队尾之前，判断所述缓存容量是否达到预设的上限阀值；

若达到，则直接将所述最低优先级的缓存队列的队头节点的头部数据删除。

根据本发明的另一个实施例，若从所述缓存中查询到所述数据，则计算所述数据的优先级，并将所述数据移动至所述优先级的缓存队列的队尾节点。

根据本发明的又一个实施例，所述缓存中还保存数据的访问计数因子和最近访问时间；并且，数据的优先级是根据数据的访问计数因子确定的。

根据本发明的再一个实施例，若未查询到所述数据，则将所述数据的访问计数因子和最近访问时间设置为默认初始值。

根据本发明的实施例，若从所述缓存中查询到所述数据，则数据获取模块703还可以用于：

若从所述缓存中查询到所述数据，则根据缓存中保存的所述数据的访问计数因子和最近访问时间计算最新的访问计数因子；

根据所述最新的访问计数因子确定所述数据的优先级。

根据本发明的一个实施例，若从所述缓存中查询到所述数据，则数据获取模块703在根据缓存中保存的所述数据的访问计数因子和最近访问时间计算最新的访问计数因子时，还可以用于：

若从所述缓存中查询到所述数据，则首先计算访问计数因子增加的概率P＝1/(访问计数因子*ln访问计数因子+1)，然后将所述访问计数因子增加的概率P与随机数R进行比较，若P大于R，则访问计数因子增1，其中，R∈[0,1)；

更新所述访问计数因子；

然后根据当前系统时间与所述数据的最近访问时间之间的时间差计算最新的访问计数因子，所述最新的访问计数因子＝访问计数因子-(系统最新时间-数据记录的最近访问时间)/T，其中，T为时间因子变量。

根据本发明的另一个实施例，数据获取模块703在计算所述头部数据的优先级时，还可以用于：

根据当前系统时间与所述数据的最近访问时间之间的时间差计算最新的访问计数因子，所述最新的访问计数因子＝访问计数因子-(系统最新时间-数据记录的最近访问时间)/T，其中，T为时间因子变量。

根据本发明的又一个实施例，所述缓存包括多个缓存分片，且对数据进行分片缓存。

根据本发明的再一个实施例，所述缓存分片包括数据键值哈希表和优先级数据键集合哈希表，其中，

所述数据键值哈希表存储缓存数据，且键为缓存数据的键名，值为缓存数据节点，所述缓存数据节点包括缓存数据的数据值、最近访问时间和访问计数因子；

所述优先级数据键集合哈希表存储对应优先级的缓存数据的键名，键为优先级，值为对应优先级的缓存数据的键名的哈希队列。

根据本发明实施例的技术方案，通过从缓存中查询数据，缓存包括多个具有不同优先级的缓存队列；若未查询到数据，则将数据保存到最低优先级的缓存队列的队尾节点；若缓存容量超过预设的下限阀值，则从最低优先级的缓存队列的队头节点取出头部数据，并计算头部数据的优先级；若头部数据的优先级小于最低优先级，则从缓存中删除头部数据，实现了使用自适应的访问计数因子来体现用户对缓存数据的访问情况，并根据访问计数因子计算缓存的优先级以将数据放入不同的优先级队列，从而实现了根据用户对缓存数据的访问情况动态调整缓存数据优先级队列的容量，有效提高了对访问高峰期、低谷期等场景下的缓存命中率。并且，本发明还根据单机CPU数量对缓存数据进行动态分片处理，有效解决了现有技术中在高并发高QPS情况下的锁竞争导致的读写操作耗时长的性能问题。

图8示出了可以应用本发明实施例的数据缓存的方法或数据缓存的装置的示例性系统架构800。

如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据缓存的方法一般由服务器805执行，相应地，数据缓存的装置一般设置于服务器805中。

应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图9，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统900的结构示意图。图9示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据查询模块、数据保存模块、数据获取模块和数据删除模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据查询模块还可以被描述为“用于从缓存中查询数据的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：从缓存中查询数据，所述缓存包括多个具有不同优先级的缓存队列；若未查询到所述数据，则将所述数据保存到最低优先级的缓存队列的队尾节点；若缓存容量超过预设的下限阀值，则从所述最低优先级的缓存队列的队头节点取出头部数据，并计算所述头部数据的优先级；若所述头部数据的优先级小于所述最低优先级，则从所述缓存中删除所述头部数据。

根据本发明实施例的技术方案，通过从缓存中查询数据，缓存包括多个具有不同优先级的缓存队列；若未查询到数据，则将数据保存到最低优先级的缓存队列的队尾节点；若缓存容量超过预设的下限阀值，则从最低优先级的缓存队列的队头节点取出头部数据，并计算头部数据的优先级；若头部数据的优先级小于最低优先级，则从缓存中删除头部数据，实现了使用自适应的访问计数因子来体现用户对缓存数据的访问情况，并根据访问计数因子计算缓存的优先级以将数据放入不同的优先级队列，从而实现了根据用户对缓存数据的访问情况动态调整缓存数据优先级队列的容量，有效提高了对访问高峰期、低谷期等场景下的缓存命中率。并且，本发明还根据单机CPU数量对缓存数据进行动态分片处理，有效解决了现有技术中在高并发高QPS情况下的锁竞争导致的读写操作耗时长的性能问题。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。