一种数据处理方法、系统、设备以及存储介质

技术领域

本发明涉及存储领域，具体涉及一种数据处理方法、系统、设备以及存储介质。

背景技术

随着数据量的不断增多，大数据量给存储设备带来了很大的压力，随之而来的，存储设备的性能明显下降，导致用户体验感明显下降，所以如何在大数据量的情况下，提升存储设备的性能，提升用户的使用体验，显得尤为重要。

在现有存储系统中，通常根据从以下几方面提升存储的性能：1、根据数据类型和访问频率将数据存储在不同的存储介质中；2、优化检索数据存储地址的方式；3、优化存储策略，使数据连续存储。这些方案虽然在一定程度上缓解了当前问题，但容易造成存储空间的浪费，以及缺乏对存储需求的深入分析和动态调整能力。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据处理方法，包括以下步骤：

响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；

获取从所述用户上一次登出到本次登录之间生成的增量数据；

根据所述访问模式确定所述增量数据中符合预设条件的数据；

将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

在一些实施例中，获取用户ID并根据所述用户ID获取对应的访问模式，进一步包括：

获取所述用户访问的历史数据；

统计在预设时间段内每一类型数据的历史访问次数；

根据所述历史访问次数和所述预设时间段计算历史访问频率；

根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；

根据所述历史访问频率确定所述用户的历史访问模式；

获取用户当前访问的实时数据；

统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；

根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；

根据所述实时访问频率确定所述用户的实时访问模式。

在一些实施例中，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：

根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。

在一些实施例中，还包括：

根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。

在一些实施例中，还包括：

预测所述用户登录期间的数据增长量；

根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。

在一些实施例中，预测所述用户登录期间的数据增长量，进一步包括根据下式数据增长量：

S

t

x

其中，S

在一些实施例中，还包括：

响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统，包括：

第一获取模块，配置为响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；

第二获取模块，配置为获取从所述用户上一次登出到本次登录之间生成的增量数据；

确定模块，配置为根据所述访问模式确定所述增量数据中符合预设条件的数据；

迁移模块，配置为将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

在一些实施例中，获第一获取模块401还配置为：

获取所述用户访问的历史数据；

统计在预设时间段内每一类型数据的历史访问次数；

根据所述历史访问次数和所述预设时间段计算历史访问频率；

根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；

根据所述历史访问频率确定所述用户的历史访问模式；

获取用户当前访问的实时数据；

统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；

根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；

根据所述实时访问频率确定所述用户的实时访问模式。

在一些实施例中，确定模块403还配置为：

根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。

在一些实施例中，迁移模块404还配置为：

根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。

在一些实施例中，还包括预测模块，配置为：

预测所述用户登录期间的数据增长量；

根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。

在一些实施例中，预测模块还配置为根据下式数据增长量：

S

t

x

其中，S

在一些实施例中，还包括检测模块，配置为：

响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种数据处理方法的步骤。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据处理方法的步骤。

本发明具有以下有益技术效果之一：本发明提出的方案通过针对不同用户的访问模式，提供灵活的存储空间分配策略，根据数据特性和访问模式，动态调整存储介质的使用，实现对存储策略和算法的动态调整，提高存储性能和响应速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明的实施例提供的数据处理方法的流程示意图；

图2为本发明的实施例提供的数据处理系统的结构示意图；

图3为本发明的实施例提供的计算机设备的结构示意图；

图4为本发明的实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

根据本发明的一个方面，本发明的实施例提出一种数据处理方法，如图1所示，其可以包括步骤：

S1，响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；

S2，获取从所述用户上一次登出到本次登录之间生成的增量数据；

S3，根据所述访问模式确定所述增量数据中符合预设条件的数据；

S4，将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

本发明提出的方案通过针对不同用户的访问模式，提供灵活的存储空间分配策略，根据数据特性和访问模式，动态调整存储介质的使用，实现对存储策略和算法的动态调整，提高存储性能和响应速度。

在一些实施例中，获取用户ID并根据所述用户ID获取对应的访问模式，进一步包括：

获取所述用户访问的历史数据；

统计在预设时间段内每一类型数据的历史访问次数；

根据所述历史访问次数和所述预设时间段计算历史访问频率；

根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；

根据所述历史访问频率确定所述用户的历史访问模式；

获取用户当前访问的实时数据；

统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；

根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；

根据所述实时访问频率确定所述用户的实时访问模式。

在一些实施例中，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：

根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。

在一些实施例中，还包括：

根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。

具体的，可以存储用户访问过的数据作为历史数据，并根据数据的类型、大小、重要性以及用户访问频率等因素，对存储的数据进行分类和打标签，并根据访问数据的用户，按照数据类型进行分类(仅获取数据存储的指针地址)。为后续存储需求分析和存储空间分配策略提供依据。当检测到用户登录时，可以获取到用户曾经访问过的历史数据，并计算出每一类数据的历史访问频率，根据历史访问频率确定历史访问模式，从而根据历史访问模式将用户上一次登出到这次登录期间产生的增量数据进行分类，从而将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

然后实时统计用户在登陆期间访问过的数据，可以定义从用户登入到登出为一个时间周期，定义每个时间间隔为t，计算时间间隔T

在一些实施例中，还包括：

预测所述用户登录期间的数据增长量；

根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。

具体的，可以对新数据增长速度的预测，设置自动化的存储空间调整策略，通过设置阈值P。当实际存储量达到阈值P时，自动触发存储空间的扩容或缩减操作。存储空间动态调整，主要根据数据的访问频率、存储介质的性能特征和工作负载，来自动调整存储策略和算法，以提高存储性能和响应速度。例如可以通过存储系统的日志数据，预测新数据的增长量。以下以医院挂号系统为例，医院挂号系统一般以一个周为一个时间周期，周一到周日，每天是一个时间节点，因当前系统数据一般呈周期性变化，故能得到以后每天，数据量的变化情况。由此得到每种类型数据，对应的数据预测算法。

在一些实施例中，预测所述用户登录期间的数据增长量，进一步包括根据下式数据增长量：

S

t

x

其中，S

具体的，通常取值为：S

在一些实施例中，还包括：

响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。

具体的，当已知用户再次登入存储系统时，首先匹配当前用户的数据信息，通过上述过程得到当前用户经常访问的数据类型、已经各种数据的增长量等信息。同样的，在用户登录期间，对访问频率高的数据，在存储系统内部进行转移，放置在更接近计算节点的存储设备上。并对新增的且属于高访问频率的数据，优先存放到同样的存储介质中，对于不经常访问的数据，可以将其移出缓存，释放高速存储介质的空间。这样在用户访问期间，不断优化存储策略，实现存储空间的动态调整。

本发明提出的方案通过针对不同用户的访问模式，提供灵活的存储空间分配策略，根据数据特性和访问模式，动态调整存储介质的使用，实现对存储策略和算法的动态调整，提高存储性能和响应速度。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统400，如图2所示，包括：

第一获取模块401，配置为响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；

第二获取模块402，配置为获取从所述用户上一次登出到本次登录之间生成的增量数据；

确定模块403，配置为根据所述访问模式确定所述增量数据中符合预设条件的数据；

迁移模块404，配置为将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

在一些实施例中，第一获取模块401还配置为：

获取所述用户访问的历史数据；

统计在预设时间段内每一类型数据的历史访问次数；

根据所述历史访问次数和所述预设时间段计算历史访问频率；

根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；

根据所述历史访问频率确定所述用户的历史访问模式；

获取用户当前访问的实时数据；

统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；

根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；

根据所述实时访问频率确定所述用户的实时访问模式。

在一些实施例中，确定模块403还配置为：

根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。

在一些实施例中，迁移模块404还配置为：

根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。

在一些实施例中，还包括预测模块，配置为：

预测所述用户登录期间的数据增长量；

根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。

在一些实施例中，预测模块还配置为根据下式数据增长量：

S

t

x

其中，S

在一些实施例中，还包括检测模块，配置为：

响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。

基于同一发明构思，根据本发明的另一个方面，如图3所示，本发明的实施例还提供了一种计算机设备501，包括：

至少一个处理器520；以及

存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行以下步骤：

S1，响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；

S2，获取从所述用户上一次登出到本次登录之间生成的增量数据；

S3，根据所述访问模式确定所述增量数据中符合预设条件的数据；

S4，将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

在一些实施例中，获取用户ID并根据所述用户ID获取对应的访问模式，进一步包括：

获取所述用户访问的历史数据；

统计在预设时间段内每一类型数据的历史访问次数；

根据所述历史访问次数和所述预设时间段计算历史访问频率；

根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；

根据所述历史访问频率确定所述用户的历史访问模式；

获取用户当前访问的实时数据；

统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；

根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；

根据所述实时访问频率确定所述用户的实时访问模式。

在一些实施例中，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：

根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。

在一些实施例中，还包括：

根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。

在一些实施例中，还包括：

预测所述用户登录期间的数据增长量；

根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。

在一些实施例中，预测所述用户登录期间的数据增长量，进一步包括根据下式数据增长量：

S

t

x

其中，S

在一些实施例中，还包括：

响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。

基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序610，计算机程序610被处理器执行时执行以下步骤：

S1，响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；

S2，获取从所述用户上一次登出到本次登录之间生成的增量数据；

S3，根据所述访问模式确定所述增量数据中符合预设条件的数据；

S4，将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。

在一些实施例中，获取用户ID并根据所述用户ID获取对应的访问模式，进一步包括：

获取所述用户访问的历史数据；

统计在预设时间段内每一类型数据的历史访问次数；

根据所述历史访问次数和所述预设时间段计算历史访问频率；

根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；

根据所述历史访问频率确定所述用户的历史访问模式；

获取用户当前访问的实时数据；

统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；

根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；

根据所述实时访问频率确定所述用户的实时访问模式。

在一些实施例中，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：

根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。

在一些实施例中，还包括：

根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。

在一些实施例中，还包括：

预测所述用户登录期间的数据增长量；

根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。

在一些实施例中，预测所述用户登录期间的数据增长量，进一步包括根据下式数据增长量：

S

t

x

其中，S

在一些实施例中，还包括：

响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。