掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法、装置、服务器和存储介质

文献发布时间:2023-06-19 12:02:28


数据处理方法、装置、服务器和存储介质

技术领域

本申请涉及技术领域,尤其涉及一种数据处理方法、装置、服务器和存储介质。

背景技术

在数据处理的过程中,数据往往会流经多个节点,为了确保整个数据处理流程的正常工作,需要对每一个节点中流入的节点数据和流出的节点数据进行统计分析,以确定当前节点的数据处理是否出现异常。

现有技术中,在获取节点中流入的节点数据或者流出的节点数据时,主要是利用时序数据库先将流入至当前节点的数据进行存储,然后对时序数据库进行数据查询,以获取当前节点的流入流出数据。

但是,现有技术中所使用的时序数据库,其数据存储结构较差,影响数据库的性能,在数据读写的过程中会存在很大压力,导致节点数据的获取效率低。

发明内容

本申请提供一种数据处理方法、装置、服务器和存储介质,用于解决现有节点数据的获取效率低的问题。

第一方面,本申请实施例提供一种数据处理方法,包括:

响应于客户端发出的数据获取指令,从所述数据获取指令中提取得到目标节点和目标时间段;

根据所述目标节点和目标时间段,获取预设数据模型中与所述目标节点和目标时间段匹配的目标数据池,所述目标数据池用于存储节点数据;

获取所述目标数据池中各个节点数据的时间戳,所述时间戳用于指示所述节点数据流转至目标节点的时间;

根据所述时间戳,从所述目标数据池中获取与所述目标时间段匹配的目标节点数据和所述目标节点数据的总数量。

在第一方面的一种可能设计中,所述根据所述目标节点和目标时间段,获取预设数据模型中与所述目标节点和目标时间段匹配的目标数据池,包括:

根据所述目标节点,从所述预设数据模型获取与所述目标节点匹配的目标数据池集合;

根据所述目标时间段,从所述目标数据池集合中获取与所述目标时间段匹配的目标数据池。

在第一方面的另一种可能设计中,所述根据所述目标时间段,从所述目标数据池集合中获取与所述目标时间段匹配的目标数据池,包括:

获取所述目标数据池集合中各个数据池的索引;

根据各个数据池的索引,从各个数据池中获取得到与所述目标时间段匹配的目标数据池。

在第一方面的再一种可能设计中,所述根据各个数据池的索引,从各个数据池中获取得到与所述目标时间段匹配的目标数据池之前,还包括:

根据预设时长和当前时间,确定所述目标数据池集合中各个数据池对应的时间区段;

根据各个数据池对应的时间区段,构建得到各个数据池的索引。

在第一方面的又一种可能设计中,所述根据各个数据池对应的时间区段,构建得到各个数据池的索引之后,还包括:

获取各个节点数据的时间戳,根据所述时间戳和各个数据池对应的索引,确定各个节点数据匹配的数据池;

将各个节点数据存储至匹配的数据池的数据存储区中。

在第一方面的又一种可能设计中,所述将各个节点数据存储至匹配的数据池的数据存储区,包括:

获取各个节点数据的标识符和时间戳,所述时间戳用于指示所述节点数据流转至目标节点的时间;

将所述节点数据的标识符和时间戳存储至匹配的数据池的数据存储区。

在第一方面的又一种可能设计中,所述将将所述节点数据的标识符和时间戳存储至匹配的数据池的数据存储区,包括:

利用远程字典服务的数据存储结构,构建所述数据存储区的标识区和与所述标识区相关联的得分区;

将所述节点数据的标识符存入至所述标识区;

将所述节点数据的时间戳存入至所述数据存储区的得分区。

在第一方面的又一种可能设计中,所述根据所述时间戳,从所述目标数据池中获取与所述目标时间段匹配的目标节点数据和所述目标节点数据的总数量,包括:

根据所述时间戳,对所述目标数据池中存储的各个节点数据进行排序,确定各个节点数据的排列顺序;

根据所述排列顺序,从所述目标数据池中获取与所述目标时间段匹配的目标节点数据;

对所述目标节点数据进行计数,得到所述目标节点数据的总数量。

在第一方面的又一种可能设计中,所述根据所述时间戳,从所述目标数据池中获取与所述目标时间段匹配的目标节点数据和所述目标节点数据的总数量之后,还包括:

将所述目标节点数据的总数量与预设阈值进行对比;

若所述目标节点数据的总数量超过预设阈值,则输出告警提示。

在第一方面的又一种可能设计中,所述从所述目标数据池中获取与所述目标时间段匹配的目标节点数据和所述目标节点数据的总数量之后,还包括:

根据预设数据模型中各个数据池中索引,确定各个数据池对应的时间区段;

根据所述时间区段和当前时间点,获取各个数据池中存储的节点数据的存储时长;

将存储时长超出预设时长的节点数据清除。

在第一方面的又一种可能设计中,所述根据所述目标节点和目标时间段,获取预设数据模型中与所述目标节点和目标时间段匹配的目标数据池之前,还包括:

将所述预设数据模型缓存至远程字典服务中。

第二方面,本申请实施例提供一种数据处理装置,包括:

响应模块,用于响应于客户端发出的数据查询指令,获取目标节点和目标时间段;

匹配模块,用于根据所述目标节点和目标时间段,获取预设数据模型中与所述目标节点和目标时间段匹配的目标数据池,所述目标数据池用于存储节点数据;

获取模块,用于获取所述目标数据池中各个节点数据的时间戳,所述时间戳用于指示所述节点数据流转至目标节点的时间;

输出模块,用于根据所述时间戳,从所述目标数据池中获取与所述目标时间段匹配的目标节点数据和所述目标节点数据的总数量。

第三方面,本申请实施例提供一种服务器,包括存储器和至少一个处理器;

所述存储器存储有计算机执行指令;

所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上任一项所述的方法。

第四方面,本申请实施例提供一种可读存储介质,所述可读存储介质中存储有计算机指令,所述计算机指令被处理器执行时用于实现如上所述的方法。

第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述任一项所述的方法。

本申请实施例提供的数据处理方法、装置、服务器和存储介质,通过利用节点数据的时间戳,将节点数据存储至对应的数据池,在读取预设数据模型中的节点数据时,可以根据目标节点和目标时间段,快速的从目标数据池中提取得到与目标时间段匹配的目标节点数据,加快数据的读取速度,提高节点数据的获取效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理;

图1为本申请实施例提供的数据处理方法的场景示意图;

图2为本申请实施例提供的数据处理方法实施例一的流程示意图;

图3为本申请实施例提供的数据处理方法实施例二的流程示意图;

图4为本申请实施例提供的数据处理装置的结构示意图;

图5为本申请实施例提供的服务器的结构示意图。

通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

首先对本申请所涉及的名词进行解释:

Redis:

远程字典服务(Remote Dictionary Server,redis)是指一个开源的使用编程语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。

图1为本申请实施例提供的数据处理方法的场景示意图,如图1所示,用户可以通过终端设备10浏览网站平台上的各种物品,对于感兴趣的物品,用户可以支付费用进行交易,生成交易订单,相应的订单数据会缓存在服务器11中,订单数据会在订单流程节点中依次流转,例如订单数据会在下单节点、待支付节点、支付完成节点、待发货节点、订单完成节点等流程节点流转,为了保证交易能够正常完成,会设置专门的监控平台,对这些流程节点进行监控,监控流程节点的流入流出数据,例如在待支付节点,监控流入到待支付节点的订单数据和从待支付节点流出的订单数据。

在现有技术中,流入流出数据的监控主要是利用时序数据库,例如服务器20利用InfluxDB等时间序列数据库,对实时数据进行存储,当需要对进行监控时再从时序数据库中进行数据查询,当流入流出数据存在异常时,则对网站平台的运维人员进行告警。但是由于网站平台的交易订单数量较大,现有技术中所使用的时序数据库性能较差,导致了数据的读写压力非常大,从时序数据库中进行数据查询时,数据查询的效率较差,不能够对流程节点数据进行有效监控。

针对上述问题,本申请实施例提供了一种数据处理方法、装置、服务器和可读存储介质,通过构建预设数据模型,根据节点数据的时间戳,将节点数据存储到预设数据模型中匹配的数据池,当客户端需要查询节点数据时,可以快速的从预设数据模型中选取出匹配的节点数据,增强读写性能,从而有效的对节点数据进行监控。

下面,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请实施例提供的数据处理方法实施例一的流程示意图,该方法可以应用于服务器,如图2所示,该方法具体包括如下步骤:

S201、响应于客户端发出的数据获取指令,从数据获取指令中提取得到目标节点和目标时间段。

具体的,客户端可以是监控平台,在监控节点数据的过程中,监控平台的研发人员可以通过数据获取指令,指定目标节点和目标时间段,对目标节点和目标时间段内的节点数据进行监控。

在本实施例中,目标节点可以是待支付、待发货、待收货、订单完成、订单关闭等等流程节点,目标时间段可以是以当前时间的前五分钟或者前十分钟。

示例性的,以待支付节点作为目标节点为例,研发人员可以设置当前时间的前10分钟作为目标时间段,从服务器的数据池中查找前十分钟流入至待支付节点的节点数据的数量。

可选的,研发人员可以设置时间周期,每经过一个时间周期,客户端发出一次数据获取指令,每一个时间周期发出的数据获取指令中所包含的目标节点和目标时间段可以不相同。

S202、根据目标节点和目标时间段,获取预设数据模型中与目标节点和目标时间段匹配的目标数据池。

其中,目标数据池用于存储节点数据。示例性的,节点数据可以是订单数据,其中订单数据至少包括有订单号。

具体的,预设数据模型中包括有若干个数据池,每一个数据池中可以存储若干节点数据。示例性的,可以根据节点和时间戳对预设数据模型中的数据池进行分区,例如在待支付节点包括有四个数据池,第一个数据池用于存储在当前时间-当前时间前5分钟流入至待支付节点的节点数据,第二个数据池用于存储在当前时间前10分钟-当前时间前5分钟流入至待支付节点的数据,第三个数据池和第四个数据池依次类推。

示例性的,为了对这些数据池进行区分,可以为每一个数据池构建一个索引,该索引可以用时间戳命名,例如若当前时间为2021年3月09日12点20分,则待支付节点的第一个数据池的索引可以命名为202103091220,第二个数据池的索引可以命名为202103091215,第三个数据池的索引可以命名为202103091210,第四个数据池的索引可以命名为202103091205。

示例性的,预设数据模型的数据池集合的数据结构如下表所示:

上表中,第一数据池的索引命名为202103091220,第二个数据池的索引可以命名为202103091215,第三个数据池的索引可以命名为202103091210,第四个数据池的索引可以命名为202103091205,其中,第一数据池中存储的成员包括时间戳位于2021年03月09日12时15分至2021年03月09日12时20分之间的节点数据,第二数据池中存储的成员包括时间戳位于2021年03月09日12时10分至2021年03月09日12时15分之间的节点数据,第三数据池中存储的成员包括时间戳位于2021年03月09日12时05分至2021年03月09日12时10分之间的节点数据,第四数据池中存储的成员包括时间戳位于2021年03月09日12时00分至2021年03月09日12时05分之间的节点数据。

在本实施例中,若目标节点为待支付节点,则根据目标时间段,从待支付节点中选取与目标时间段匹配的数据池作为目标数据池。

示例性的,若当前时间为2021年3月09日12点20分,目标时间段为当前时间前10分钟至当前时间,则与目标时间段匹配的目标数据池为第一个数据池和第二个数据池。

S203、获取目标数据池中各个节点数据的时间戳。

其中,时间戳用于指示节点数据流转至目标节点的时间。

具体的,以待支付节点和支付完成节点为例,当用户在交易过程中完成支付时,则节点数据从待支付节点流转到支付完成节点,节点数据流转至支付完成节点的时间,作为该节点数据的时间戳。

可以理解,节点数据在流转至一个节点之后,可能会因为滞留或者等待等情况从而在该节点停留一段时间,故而,当节点数据在节点流程中流转时,其在不同的节点的时间戳会发生变化。

在本实施例中,数据池用于存储节点数据,每一个节点对应有若干个数据池,当有节点数据流入至某一个节点时,节点数据就被存储到该节点对应的数据池中,目标数据池为从该节点对应的数据池中选取出的一个或多个。

示例性的,节点数据可以包括有时间戳和订单号,在节点数据存储至数据池时,节点数据的时间戳也存储到了数据池中。

可选的,在将节点数据存储至数据池时,可以利用预设算法,将节点数据的时间戳转换为得分数据,将该得分数据也存储到数据池中。

S204、根据时间戳,从目标数据池中获取与目标时间段匹配的目标节点数据和目标节点数据的总数量。

具体的,每一个节点数据在流入至节点时,都对应有时间戳,若节点数据的时间戳处于该目标时间段内,则目标数据池中的该节点数据可以作为目标节点数据。

示例性的,以目标时间段为[a,b]为例,其中,a表示前五分钟,b表示当前时间,则目标数据池中时间戳处于[a,b]的节点数据都为目标节点数据,对这些目标节点数据进行统计,得到目标节点数据的总数量。

本申请实施例通过利用节点数据的时间戳,将节点数据存储至对应的数据池,在读取预设数据模型中的节点数据时,可以根据目标节点和目标时间段,快速的从目标数据池中提取得到与目标时间段匹配的目标节点数据,加快数据的读取速度,提高节点数据的获取效率。

在上述实施例的基础上,在一些实施例中,上述步骤S202具体可以通过如下步骤实现:

根据目标节点,从预设数据模型中获取与目标节点匹配的目标数据池集合;

根据目标时间段,从目标数据池集合中获取与目标时间段匹配的目标数据池。

具体的,目标节点和目标时间段都可以是由研发人员指定的,示例性的,目标节点可以是待支付节点,每一个数据池集合根据预设的对应关系,其对应有一个流程节点,根据该对应关系即可查找到与目标节点对应的目标数据池集合。

在本实施例中,每一个数据池集合中包括有若干个数据池,每一个数据池可以划分至不同的时间区段,根据节点数据的时间戳,将节点数据存储到划分至不同的时间区段的数据池中,示例性的,目标数据池中包括有第一数据池、第二数据池、第三数据池和第四数据池,第一数据池划分的时间区段为[当前时间前五分钟,当前时间],第二数据池划分的时间区段为[当前时间前十分钟,当前时间前五分钟],以此类推,若节点数据的时间戳处于[当前时间前五分钟,当前时间]这个时间区段,则将该节点数据存储到第一数据池中。

将目标时间段与划分的时间区段进行匹配,从而确定出目标数据池。示例性的,若目标时间段为[当前时间前十分钟,当前时间],则与其匹配的目标数据池为第一数据池和第二数据池。

本申请实施例通过利用目标节点和目标时间段,确定出目标数据池集合中的目标数据池,能够使得服务器快速的从目标数据池中查询得到目标节点数据,提高数据查询效率。

可选的,在上述实施例的基础上,在一些实施例中,上述“根据目标时间段,从目标数据池集合中获取与目标时间段匹配的目标数据池”,具体可以通过如下步骤实现:

获取目标数据池集合中各个数据池的索引;

根据各个数据池的索引,从各个数据池中获取得到与目标时间段匹配的目标数据池。

在本实施例中,根据时间区段,将每一个数据池进行划分之后,可以为每一个数据池配置一个索引,该索引用于区分每一个数据池对应的时间区段,例如,第一数据池对应的时间区段为[当前时间前五分钟,当前时间],则第一数据池的索引可以以当前时间命名,例如202103091220,第二数据池对应的时间区段为[当前时间前十分钟,当前时间前五分钟],则第二数据池的索引可以以当前时间前五分钟命名,例如202103091215。

若目标时间段为[202103091215,202103091220],则匹配的目标数据池为第一数据池和第二数据池。

本申请实施例通过构建每一个数据池的索引,能够对每一个数据池进行区分,使得节点数据能够根据数据池的索引,存储到匹配的数据池中,同时也方便对存储在数据池中的节点数据进行查询。

可选的,在一些实施例中,若每一个数据池集合中包括有若干个数据池,则上述的数据处理方法还可以包括如下步骤:

根据预设时长和当前时间,确定目标数据池集合中各个数据池对应的时间区段;

根据各个数据池对应的时间区段,构建得到各个数据池的索引。

具体的,预设时长可以由研发人员输入,预设时长用于指示时间区段的长度,示例性的,若预设时长为五分钟,当前时间为202103091220,数据池集合中包括有第一数据池、第二数据池、第三数据池和第四数据池,则构建得到的第一数据池的索引为202103091220,第二数据池的索引为202103091215,第三数据池的索引为202103091210,第四数据池的索引为202103091205。

本申请实施例通过预设时长和当前时间,为每一个数据池划分对应的时间区段,并构建每一个数据池的索引,能够根据节点数据的时间戳,将节点数据存储至匹配的数据池,并且在进行节点数据查询时,能够直接根据每一个数据池的索引,快速的确定目标数据池,提高数据查询效率。

在上述实施例的基础上,在一些实施例中,若每一个数据池具有对应的索引,则上述的数据处理方法还可以包括如下步骤:

获取各个节点数据的时间戳,根据时间戳和各个数据池对应的索引,确定各个节点数据匹配的数据池;

将各个节点数据存储至匹配的数据池的数据存储区中。

在本实施例中,数据池包括有索引区和数据存储区,索引区用于存放该数据池对应的索引,数据存储区用于存储节点数据。

具体的,每一个节点数据都有对应的时间戳,数据池的索引可以用于指示器对应的时间区段,示例性的,若数据池的索引为202103091220,则对应的时间区段可以为[202103091215,202103091220],若节点数据的时间戳位于该时间区段,则将该节点数据存储至该数据池的数据存储区。

本申请实施例通过利用数据池的索引,确定各个节点数据匹配的数据池,使得不同时间戳的节点数据能够匹配对应的数据池,并存储至对应的数据池的数据存储区中,方便对不同的节点数据进行分类存储,方便后续进行数据查询。

在上述实施例的基础上,在一些实施例中,上述“将各个节点数据存储至匹配的数据池的数据存储区”,具体可以通过如下步骤实现:

获取各个节点数据的标识符和时间戳;

将节点数据的标识符和时间戳存储至匹配的数据池的数据存储区。

在本实施例中,标识符可以是数字编码,每一个节点数据对应一个唯一的标识符,示例性的,若节点数据为订单数据,则标识符可以为订单号,通过订单号可以查询到订单信息以及订单状态等等。

本申请实施例通过标识符对不同的节点数据进行标识,能够避免存储在数据存储区的各个节点数据发生混淆,提高数据存储的准确性。

在上述实施例的基础上,在一些实施例中,上述“将节点数据的标识符和时间戳存储至匹配的数据池的数据存储区”,具体可以通过如下步骤实现:

利用远程字典服务的数据存储结构,构建数据存储区的标识区和与标识区相关联的得分区;

将节点数据的标识符存入至标识区;

将节点数据的时间戳存入至数据存储区的得分区。

在本实施例中,远程字典服务即Redis,通过利用Redis的set结垢,构建得到数据存储区,其中,标识区用于存储标识符,而与该标识区相关联的得分区则用于存储时间戳。

示例性的,以节点数据为订单数据为例,每一个订单数据作为一个成员,占用一个储位,该储位包括标识区和得分区,其中,订单号存储到标识区中,而该订单数据的时间戳存储到得分区中。

本申请实施例通过对数据存储区进行分区,使得节点数据能够根据分区,存储对应的信息至对应的分区,方便对节点数据的信息的提取,使得后续能够利用得分区存储的时间戳,对各个节点数据进行筛选排序,提高数据的查询效率。

在上述实施例的基础上,在一些实施例中,上述步骤S204具体可以通过如下步骤实现:

根据时间戳,对目标数据池中存储的各个节点数据进行排序,确定各个节点数据的排列顺序;

根据排列顺序,从目标数据池中获取与目标时间段匹配的目标节点数据;

对目标节点数据进行计数,得到目标节点数据的总数量。

在本实施例中,目标数据池中存储有若干个节点数据,每一个节点数据都有对应的时间戳。

示例性的,可以采用Redis的zcount命令,统计目标数据池中目标节点数据,其中,zcount命令用于计算目标数据池中指定时间戳区间的节点数据的数量。

本申请实施例通过利用时间戳对各个节点数据进行排序,能够快速的从排列顺序中找到与目标时间段匹配的目标节点数据,提高数据的查询效率。

图3为本申请实施例提供的数据处理方法实施例二的流程示意图,如图3所示,该数据处理方法包括如下步骤:

S301、响应于客户端发出的数据获取指令,从数据获取指令中提取得到目标节点和目标时间段。

S302、根据目标节点和目标时间段,获取预设数据模型中与目标节点和目标时间段匹配的目标数据池。

S303、获取目标数据池中各个节点数据的时间戳。

S304、根据时间戳,从目标数据池中获取与目标时间段匹配的目标节点数据和目标节点数据的总数量。

S305、将目标节点数据的总数量与预设阈值进行对比。

S306、若目标节点数据的总数量超过预设阈值,则输出告警提示。

其中,目标数据池用于存储节点数据,时间戳用于指示节点数据流转至目标节点的时间。

在本实施例中,上述步骤S301-步骤S304与上述实施例中步骤S201-步骤204相同,本实施例主要对步骤S305-步骤S306进行说明。

其中,告警提示可以是短信提示等,当目标节点数据的总数量超出预设阈值时,则表示节点数据存在积压的情况,整个流程节点可能出现异常,服务器发送短信至研发人员的终端设备,进行告警提示。

本申请实施例通过将目标节点数据的总数量与预设阈值进行对比,当目标节点数据的总数量超出预设阈值时,输出告警提示,能够方便研发人员快速的对异常情况做出反应,有效的对节点数据进行监控。

示例性的,在一些实施例中,上述数据处理方法还可以包括如下步骤:

获取预设数据模型中各个数据池的索引,根据索引,确定各个数据池对应的时间区段;

根据时间区段和当前时间,获取各个数据池中节点数据的存储时长;

将存储时长超出预设时长的节点数据清除。

具体的,预设时长可以是30分钟,预设数据模型中创建有多个数据池集合,每一个数据池集合中创建有若干数据池,每一个数据池都有其对应的时间区段,示例性的,创建的第一数据池对应的时间区段为[202103091205,202103091210],若当前时间为202103091240,则表示第一数据池创建的时间超出30分钟,存储在第一数据池中的节点数据可以清除掉。

示例性的,研发人员也可以设置延时任务,由服务器根据延时任务,来清除节点数据。

本申请实施例通过将存储时长超出预设时长的节点数据清除,能够减少节点数据占用预设数据数据模型的存储空间,避免数据的读写性能降低,提高数据查询效率。

可选的,在一些实施例中,上述数据处理方法还包括如下步骤:

将预设数据模型缓存至远程字典服务中。

示例性的,预设数据模型还可以存储至其他存储介质中,例如关系型数据库、非关系型数据库等等。

本申请实施例通过将预设数据模型缓存至远程字典服务中,能够利用远程字典服务的分布式机制和高性能存储特征,提高数据的读写性能,有效的对节点数据进行查询监控。

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

图4为本申请实施例提供的数据处理装置的结构示意图,该数据处理装置可以集成于服务器中,也可以独立于服务器且与服务器协同工作实现本申请的技术方案。如图4所示,该数据处理装置40包括响应模块41、匹配模块42、获取模块43和输出模块44。

其中,响应模块41用于响应于客户端发出的数据查询指令,获取目标节点和目标时间段。匹配模块42用于根据目标节点和目标时间段,获取预设数据模型中与目标节点和目标时间段匹配的目标数据池。获取模块43用于获取目标数据池中各个节点数据的时间戳。输出模块44用于根据时间戳,从目标数据池中获取与目标时间段匹配的目标节点数据和目标节点数据的总数量。

其中,目标数据池用于存储节点数据,时间戳用于指示节点数据流转至目标节点的时间。

在一些实施例中,上述匹配模块42,具体可以用于:

根据目标节点,从预设数据模型中获取与目标节点匹配的目标数据池集合;

根据目标时间段,从目标数据池集合中获取与目标时间段匹配的目标数据池。

可选的,在一些实施例中,上述匹配模块42,具体可以用于:

获取目标数据池集合中各个数据池的索引;

根据各个数据池的索引,从各个数据池中获取得到与目标时间段匹配的目标数据池。

在上述实施例的基础上,在一些实施例中,上述数据处理装置40还包括构建模块,该构建模块用于:

根据预设时长和当前时间,确定目标数据池集合中各个数据池对应的时间区段;

根据各个数据池对应的时间区段,构建得到各个数据池的索引。

在上述实施例的基础上,在一些实施例中,上述数据处理装置40还包括存储模块,用于:

获取各个节点数据的时间戳,根据时间戳和各个数据池对应的索引,确定各个节点数据匹配的数据池;

将各个节点数据存储至匹配的数据池的数据存储区中。

在上述实施例的基础上,在一些实施例中,上述存储模块,具体用于:

获取各个节点数据的标识符和时间戳;

将节点数据的标识符和时间戳存储至匹配的数据池的数据存储区。

可选的,在上述实施例的基础上,在一些实施例中,上述存储模块,具体用于:

利用远程字典服务的数据存储结构,构建数据存储区的标识区和与标识区相关联的得分区;

将节点数据的标识符存入至标识区;

将节点数据的时间戳存入至数据存储区的得分区。

在一些实施例中,上述输出模块44,具体可以用于:

根据时间戳,对目标数据池中存储的各个节点数据进行排序,确定各个节点数据的排列顺序;

根据排列顺序,从目标数据池中获取与目标时间段匹配的目标节点数据;

对目标节点数据进行计数,得到目标节点数据的总数量。

在上述实施例的基础上,在一些实施例中,上述数据处理装置40还包括告警模块,该告警模块用于:

将目标节点数据的总数量与预设阈值进行对比;

若目标节点数据的总数量超过预设阈值,则输出告警提示。

在上述实施例的基础上,在一些实施例中,上述数据处理装置40还包括清除模块,该清除模块用于:

获取预设数据模型中各个数据池的索引,根据索引,确定各个数据池对应的时间区段;

根据时间区段和当前时间,获取各个数据池中节点数据的存储时长;

将存储时长超出预设时长的节点数据清除。

在上述实施例的基础上,在一些实施例中,上述数据处理装置40还包括缓存模块,该缓存模块用于:

将预设数据模型缓存至远程字典服务中。

图5为本申请实施例提供的服务器的结构示意图。如图5所示,该服务器50包括:至少一个处理器51、存储器52、总线53及通信接口54。

其中:处理器51、通信接口54、以及存储器52通过通信总线54完成相互间的通信。通信接口54,用于与其它设备进行通信。总线53用于连接处理器51以及存储器52以及通信接口53

存储器52中存储有计算机执行指令,可选的,存储器52中还可以存储有预设数据模型。

处理器51执行存储器52存储的计算机执行指令,使得至少一个处理器41执行如上述的方法。

可选的,本实施例还提供一种可读存储介质,可读存储介质中存储有计算机指令,计算机指令被处理器执行时用于实现如上述的方法。

可选的,本实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令存储在可读存储介质中。至少一个处理器可以从可读存储介质读取该计算机程序/指令,至少一个处理器执行该计算机程序/指令时,实现如上述的方法。

本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中,a,b,c可以是单个,也可以是多个。

可以理解的是,在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。在本申请的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

相关技术
  • 一种数据处理方法、第一服务器、第二服务器与存储介质
  • 数据处理方法、装置、服务器及存储介质
技术分类

06120113148534