掌桥专利:专业的专利平台
掌桥专利
首页

数据访问的方法、装置、系统、存储介质和终端

文献发布时间:2023-06-19 11:11:32


数据访问的方法、装置、系统、存储介质和终端

技术领域

本发明涉及互联网技术领域,具体而言,涉及一种数据访问的方法、装置、系统、存储介质和终端。

背景技术

在分布式存储技术中,以HBase为例,HBase是一个分布式、面向列的开源数据库,适用于非结构化数据存储的数据库,在商用HBase的过程中,由于业务数据的数据量增长,HBase中存储的数据量也逐渐变大。

在存储的数据中,将业务最关心、最长访问的数据称作热数据,相反称作冷数据,即,访问量极少,性能要求不高,冷数据的特点是数据量大;其中,热数据的特点是特定范围的数据,例如,最近7天的数据,业务对这类数据访问频次高,延迟要求高。

针对上述由于现有技术对热数据和冷数据进行访问时存在的访问效率低的问题,目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据访问的方法、装置、系统、存储介质和终端,以至少解决由于现有技术对热数据和冷数据进行访问时存在的访问效率低的技术问题。

根据本发明实施例的一个方面,提供了一种数据访问的方法,包括:将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;根据数据请求消息返回第一类数据或第二类数据。

可选的,数据访问的方法应用于分布式存储数据库,第一存储系统表位于第一类数据存储系统,第二存储系统表位于第二类数据存储系统。

可选的,接收数据请求消息包括:解析数据请求消息中对待处理数据的数据类型,其中,数据类型包括:第一类数据或第二类数据;根据数据类型确定待处理数据所在的存储系统表;通过预设调用系统访问第一类数据存储系统或第二类数据存储系统。

进一步地,可选的,根据数据请求消息返回第一类数据或第二类数据包括:在待处理数据的数据类型为第一类数据的情况下,查询第一存储系统表得到待处理数据;在待处理数据的数据类型为第二类数据的情况下,查询第二存储系统表得到待处理数据。

可选的,该方法还包括:当第一类数据中的数据访问频率降低时,通过将多个数据文件合成一个数据文件的过程,根据合成后的数据文件中的数据的时间戳进行识别,将属于第一类数据的数据存储至第一存储系统表,将属于第二类数据的数据存储至第二存储系统表。

进一步地,可选的,该方法还包括:在将多个数据文件合成一个数据文件的过程未完成的情况下,根据第一存储系统表中数据的时间戳对数据进行过滤,将得到的第二类数据迁移至第二存储系统表。

可选的,第一存储系统表和第二存储系统表位于同一表中的不同列族。

根据本发明实施例的另一方面,还提供了一种数据访问的装置,包括:存储模块,用于将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;接收模块,用于接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;响应模块,用于根据数据请求消息返回第一类数据或第二类数据。

可选的,数据访问的装置应用于分布式存储数据库,第一存储系统表位于第一类数据存储系统,第二存储系统表位于第二类数据存储系统。

可选的,接收模块包括:第一解析单元,用于解析数据请求消息中对待处理数据的数据类型,其中,数据类型包括:第一类数据或第二类数据;第二解析单元,用于根据数据类型确定待处理数据所在的存储系统表;访问单元,用于通过预设调用系统访问第一类数据存储系统或第二类数据存储系统。

进一步地,可选的,响应模块包括:第一响应单元,用于在待处理数据的数据类型为第一类数据的情况下,查询第一存储系统表得到待处理数据;第二响应单元,用于在待处理数据的数据类型为第二类数据的情况下,查询第二存储系统表得到待处理数据。

可选的,该装置还包括:第一数据迁移模块,用于当第一类数据中的数据访问频率降低时,通过将多个数据文件合成一个数据文件的过程,根据合成后的数据文件中的数据的时间戳进行识别,将属于第一类数据的数据存储至第一存储系统表,将属于第二类数据的数据存储至第二存储系统表。

进一步地,可选的,该装置还包括:第二数据迁移模块,用于在将多个数据文件合成一个数据文件的过程未完成的情况下,根据第一存储系统表中数据的时间戳对数据进行过滤,将得到的第二类数据迁移至第二存储系统表。

根据本发明实施例的又一方面,还提供了一种数据访问的系统,包括:客户端和存储系统,其中,客户端,用于向存储系统发送数据请求消息,其中,数据请求消息,用于指示待查询数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;存储系统包括第一类数据存储系统和第二类数据存储系统,第一类数据存储系统和第二类数据存储系统分别与预设调用系统连接,通过预设调用系统接收数据请求消息,并通过访问第一类数据存储系统或第二类数据存储系统,从存储于第一存储系统表中获取第一类数据,或,从存储于第二存储系统表中获取第二类数据。

根据本发明实施例的又一方面,还提供了一种存储介质,存储介质包括存储的程序,其特征在于,在程序运行时控制存储介质所在设备执行上述数据访问的方法。

根据本发明实施例的又一方面,还提供了一种终端,包括存储介质和处理器,处理器用于运行存储于存储介质中的程序,其特征在于,程序运行时执行上述数据访问的方法。

在本发明实施例中,采用将冷数据和热数据分别存储在两个不同的HBase表中的方式,通过将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;根据数据请求消息返回第一类数据或第二类数据,达到了准确访问热数据的目的,从而实现了提升对热数据和冷数据的访问效率的技术效果,进而解决了由于现有技术对热数据和冷数据进行访问时存在的访问效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例一的数据访问的系统的示意图;

图2是根据本发明实施例二的数据访问的系统中存储系统的结构示意图;

图3是本发明实施例的一种数据访问的方法的计算机终端的硬件结构框图;

图4是根据本发明实施例二的数据访问的方法的流程图;

图5是根据本发明实施例三的数据访问的装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例涉及的技术名词:

冷数据:指访问频率较低,可以容忍较大访问延时的数据。

冷存储:用于保存冷数据的存储介质,通常具有较大的访问延时和较低的成本。

HFile:HBase中存储数据的文件格式。

实施例1

根据本发明实施例的又一方面,还提供了一种数据访问的系统,图1是根据本发明实施例一的数据访问的系统的示意图。如图1所示,包括:客户端12和存储系统14。

其中,客户端12,用于向存储系统14发送数据请求消息,其中,数据请求消息,用于指示待查询数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;存储系统14包括第一类数据存储系统和第二类数据存储系统,第一类数据存储系统和第二类数据存储系统分别与预设调用系统连接,通过预设调用系统接收数据请求消息,并通过访问第一类数据存储系统或第二类数据存储系统,从存储于第一存储系统表中获取第一类数据,或,从存储于第二存储系统表中获取第二类数据。

具体的,如图1所示,以读数据为例进行说明,本申请实施例提供的数据访问的系统可以应用于HBase系统,其中,本申请实施例中第一类数据为热数据,第二类数据为冷数据,其中,热数据为访问频率较高,访问延时低的数据;反之,冷数据为访问频率较低,可以容忍较大访问延时的数据。

在本申请实施例提供的数据访问的系统中分别将冷数据和热数据分别存在对应的系统,基于图1,本申请实施例中将热数据通过存放至第一存储系统表以存储于分布式文件系统(Hadoop Distributed File System,简称HDFS)(即,本申请实施例中的第一类数据存储系统)系统为例,将冷数据通过存放至第二存储系统表以存储于对象存储(ObjectStorage Service,简称OSS)(即,本申请实施例中的第二类数据存储系统)系统为例进行说明,基于HBase技术的特征,在HBase存储中访问的往往对应一个存储系统,为实现冷数据与热数据分离,且在访问过程中能够分别访问HDFS系统和OSS系统,图2是根据本发明实施例二的数据访问的系统中存储系统的结构示意图。如图2所示,通过分布式文件系统(Distributed File System)接收客户端12发送的数据请求消息,通过Distributed FileSystem根据数据请求消息分别调用HDFS系统和OSS系统,因此用户通过客户端12向存储系统14发送数据请求消息中,数据请求消息将用于指示是请求热数据还是冷数据,其中,在本申请实施例中热数据存储于第一存储系统表(第一存储系统表存储于HDFS系统),冷数据存储于第二存储系统表(第二存储系统表存储于OSS系统),以此避免在访问热数据的过程中错误命中冷数据的问题发生。

其中,本申请实施例提供的数据访问的系统中使用了两个不同的文件系统,可以各自进行扩容,使用起来更加灵活;把冷数据和热数据放在两个不同的表中,用户在查询数据的时候就必须明确指定是要查热表还是冷表,不需要在HBase中分析用户的语意,并且,本申请实施例中将冷数据也存储在HBase表中,可以提供实时的读写;第一存储系统表向第二存储系统表导入数据的过程是通过将多个文件合成一个文件(compact)过程来完成的,直接操作底层的HFile,同步的效率比使用API读写要更快。

在本申请实施例提供的数据访问的系统中,由于热数据会随着时间的推移,访问频率降低,会变为冷数据,通过compact过程来识别冷数据,即,根据第一存储系统表中数据的时间戳对数据进行识别,将识别得到的冷数据从第一存储系统表移动至第二存储系统表;

但是在compact没有完成之前,会有一部分冷数据出现在第一存储系统表中,因此在客户端针对这种情况做了处理,用户查询第一存储系统表时会自动过滤掉冷数据其中,根据第一存储系统表中数据的时间戳对数据进行过滤;而当用户查询第二存储系统表时,会把第一存储系统表中的冷数据也查询出来并与第二存储系统表中的冷数据合并后返回给用户。

需要说明的是,本申请实施例提供的数据访问的系统仅以HDFS系统和OSS系统为例进行说明,以可以应用于HBase技术的其他系统为准,具体不做限定,此外,在本申请实施例中可以将冷数据和热数据还可以存储在同一表中的不同列族中进行实现。

实施例2

根据本发明实施例,还提供了一种数据访问的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例二所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图3是本发明实施例的一种数据访问的方法的计算机终端的硬件结构框图。如图3所示,计算机终端30可以包括一个或多个(图中仅示出一个)处理器302(处理器302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器304、以及用于通信功能的传输模块306。本领域普通技术人员可以理解,图3所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端30还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。

存储器304可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据访问的方法对应的程序指令/模块,处理器302通过运行存储在存储器304内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的数据访问的方法。存储器304可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器304可进一步包括相对于处理器302远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端30。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端30的通信供应商提供的无线网络。在一个实例中,传输模块306包括一个网络适配器(Network Interface Controller,简称NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块306可以为射频(Radio Frequency,简称RF)模块,其用于通过无线方式与互联网进行通讯。

在上述运行环境下,本申请提供了如图4所示的数据访问的方法。图4是根据本发明实施例二的数据访问的方法的流程图。

步骤S402,将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;

本申请上述步骤S402中,本申请实施例提供的数据访问的方法可以适用于实施例1中的数据访问的系统中,其中,本申请实施例提供的数据访问的方法可以应用于HBase系统,其中,本申请实施例中第一类数据为热数据,第二类数据为冷数据,其中,热数据为访问频率较高,访问延时低的数据;反之,冷数据为访问频率较低,可以容忍较大访问延时的数据。

可选的,本申请实施例提供的数据访问的方法应用于分布式存储数据库(HBase),第一存储系统表位于第一类数据存储系统,第二存储系统表位于第二类数据存储系统。

本申请实施例提供的数据访问的方法中热数据通过存放至第一存储系统表存储于分布式文件系统(Hadoop Distributed File System,简称HDFS)(即,本申请实施例中的第一类数据存储系统)系统,冷数据通过存放至第二存储系统表以存储于对象存储(ObjectStorage Service,简称OSS)(即,本申请实施例中的第二类数据存储系统)系统。

在本申请实施例中热数据存储于第一存储系统表(第一存储系统表存储于HDFS系统),冷数据存储于第二存储系统表(第二存储系统表存储于OSS系统),以此避免在访问热数据的过程中错误命中冷数据的问题发生。

步骤S404,接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;

本申请上述步骤S404中,基于步骤S402将冷数据和热数据分别存在对应的系统,接收客户端发送的数据请求消息,其中,基于步骤S402,客户端发送的数据请求消息会指示待处理数据所在的存储系统表是在热数据所在的第一存储系统表,或,冷数据所在的第二存储系统表。

这里待处理数据可以为冷数据或热数据,客户端请求冷数据或热数据可以用于读操作或写操作。

步骤S406,根据数据请求消息返回第一类数据或第二类数据。

本申请上述步骤S406中,基于步骤S402中数据请求消息中的指向,即,若数据请求消息请求获取热数据,则通过查询第一存储系统表返回热数据;若数据请求消息请求获取冷数据,则通过查询第二存储系统表返回冷数据。

在本发明实施例中,采用将冷数据和热数据分别存储在两个不同的HBase表中的方式,通过将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;根据数据请求消息返回第一类数据或第二类数据,达到了准确访问热数据的目的,从而实现了提升对热数据和冷数据的访问效率的技术效果,进而解决了由于现有技术对热数据和冷数据进行访问时存在的访问效率低的技术问题。

可选的,步骤S404中接收数据请求消息包括:

步骤S4041,解析数据请求消息中对待处理数据的数据类型,其中,数据类型包括:第一类数据或第二类数据;

步骤S4042,根据数据类型确定待处理数据所在的存储系统表;

步骤S4043,通过预设调用系统访问第一类数据存储系统或第二类数据存储系统。

具体的,结合步骤S4041至步骤S4043,由于热数据和冷数据的提前分离,因此在接收客户端发送的数据请求消息中,数据请求消息会指明访问的数据为热数据或冷数据,当访问的数据类型是热数据时,则确定要访问的存储系统表为第一存储系统表;反之,当访问的数据类型是冷数据时,则确定要访问的存储系统表为第二存储系统表;

并且,由于第一存储系统表存储于第一类数据存储系统,第二存储系统表存储于第二类数据存储系统,基于HBase技术的限定,若在HBase架构下存在两个系统,需通过预设调用系统进行调用,即。通过分布式文件系统(Distributed File System)进行调用。

进一步地,可选的,步骤S406中根据数据请求消息返回第一类数据或第二类数据包括:

步骤S4061,在待处理数据的数据类型为第一类数据的情况下,查询第一存储系统表得到待处理数据;

步骤S4062,在待处理数据的数据类型为第二类数据的情况下,查询第二存储系统表得到待处理数据。

具体的,基于步骤S4041至步骤S4043中通过预设调用系统访问第一类数据存储系统或第二类数据存储系统,当需要访问第一类数据存储系统时,预设调用系统将数据请求消息指向第一类数据存储系统,由第一类数据存储系统获取热数据;反之,预设调用系统将数据请求消息指向第二类数据存储系统,由第二类数据存储系统获取冷数据。

可选的,本申请实施例提供的数据访问的方法还包括:

步骤S408,当第一类数据中的数据访问频率降低时,通过将多个数据文件合成一个数据文件的过程,根据合成后的数据文件中的数据的时间戳进行识别,将属于第一类数据的数据存储至第一存储系统表,将属于第二类数据的数据存储至第二存储系统表。

具体的,由于热数据会随着时间的推移,访问频率降低,会变为冷数据,通过compact过程来识别冷数据,即,根据第一存储系统表中数据的时间戳对数据进行识别,将识别得到的冷数据从第一存储系统表移动至第二存储系统表。

进一步地,可选的,本申请实施例提供的数据访问的方法还包括:

步骤S409,在将多个数据文件合成一个数据文件的过程未完成的情况下,根据第一存储系统表中数据的时间戳对数据进行过滤,将得到的第二类数据迁移至第二存储系统表。

在compact没有完成之前,会有一部分冷数据出现在第一存储系统表中,因此在客户端针对这种情况做了处理,用户查询第一存储系统表时会自动过滤掉冷数据其中,根据第一存储系统表中数据的时间戳对数据进行过滤;而当用户查询第二存储系统表时,会把第一存储系统表中的冷数据也查询出来并与第二存储系统表中的冷数据合并后返回给用户。

可选的,第一存储系统表和第二存储系统表位于同一表中的不同列族。

具体的,在本申请实施例中可以将冷数据和热数据还可以存储在同一表中的不同列族中进行实现。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的数据访问的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

实施例3

根据本发明实施例的另一方面,还提供了一种数据访问的装置,图5是根据本发明实施例三的数据访问的装置的示意图。如图5所示,本申请实施例提供的数据访问的装置包括:

存储模块52,用于将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;接收模块54,用于接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;响应模块56,用于根据数据请求消息返回第一类数据或第二类数据。

可选的,本申请实施例提供的数据访问的装置应用于分布式存储数据库,第一存储系统表位于第一类数据存储系统,第二存储系统表位于第二类数据存储系统。

可选的,接收模块54包括:第一解析单元,用于解析数据请求消息中对待处理数据的数据类型,其中,数据类型包括:第一类数据或第二类数据;第二解析单元,用于根据数据类型确定待处理数据所在的存储系统表;访问单元,用于通过预设调用系统访问第一类数据存储系统或第二类数据存储系统。

进一步地,可选的,响应模块56包括:第一响应单元,用于在待处理数据的数据类型为第一类数据的情况下,查询第一存储系统表得到待处理数据;第二响应单元,用于在待处理数据的数据类型为第二类数据的情况下,查询第二存储系统表得到待处理数据。

可选的,本申请实施例提供的数据访问的装置还包括:第一数据迁移模块,用于当第一类数据中的数据访问频率降低时,通过将多个数据文件合成一个数据文件的过程,根据合成后的数据文件中的数据的时间戳进行识别,将属于第一类数据的数据存储至第一存储系统表,将属于第二类数据的数据存储至第二存储系统表。

进一步地,可选的,本申请实施例提供的数据访问的装置还包括:第二数据迁移模块,用于在将多个数据文件合成一个数据文件的过程未完成的情况下,根据第一存储系统表中数据的时间戳对数据进行过滤,将得到的第二类数据迁移至第二存储系统表。

实施例4

根据本发明实施例的又一方面,还提供了一种存储介质,存储介质包括存储的程序,其特征在于,在程序运行时控制存储介质所在设备执行实施例2中的数据访问的方法。

实施例5

根据本发明实施例的又一方面,还提供了一种终端,包括存储介质和处理器,处理器用于运行存储于存储介质中的程序,其特征在于,程序运行时执行实施例2中的数据访问的方法。

具体的,在本申请实施例中终端可以为能够实现实施例2中数据访问方法的一体机,也可以为有多个服务器组成的服务器集群,或应用于云端的云服务器中的一种或至少一种的组合。

实施例6

本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的数据访问的方法所执行的程序代码。

可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:将第一类数据存储在第一存储系统表,第二类数据存储在第二存储系统表,其中,第一类数据的访问频次大于第二类数据;接收数据请求消息,其中,数据请求消息,用于指示待处理数据所在的存储系统表,其中,存储系统表包括第一存储系统表和第二存储系统表;根据数据请求消息返回第一类数据或第二类数据。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:数据访问的方法应用于分布式存储数据库,第一存储系统表位于第一类数据存储系统,第二存储系统表位于第二类数据存储系统。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收数据请求消息包括:解析数据请求消息中对待处理数据的数据类型,其中,数据类型包括:第一类数据或第二类数据;根据数据类型确定待处理数据所在的存储系统表;通过预设调用系统访问第一类数据存储系统或第二类数据存储系统。

进一步地,可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:根据数据请求消息返回第一类数据或第二类数据包括:在待处理数据的数据类型为第一类数据的情况下,查询第一存储系统表得到待处理数据;在待处理数据的数据类型为第二类数据的情况下,查询第二存储系统表得到待处理数据。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:当第一类数据中的数据访问频率降低时,通过将多个数据文件合成一个数据文件的过程,根据合成后的数据文件中的数据的时间戳进行识别,将属于第一类数据的数据存储至第一存储系统表,将属于第二类数据的数据存储至第二存储系统表。

进一步地,可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在将多个数据文件合成一个数据文件的过程未完成的情况下,根据第一存储系统表中数据的时间戳对数据进行过滤,将得到的第二类数据迁移至第二存储系统表。

可选的,第一存储系统表和第二存储系统表位于同一表中的不同列族。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

相关技术
  • 网络数据访问方法、装置、系统、存储介质及用户终端
  • 网络数据访问方法、装置、系统、存储介质及用户终端
技术分类

06120112837238