跨Hbase集群的数据存储方法、装置和业务系统

技术领域

本发明涉及数据存储和检索领域，具体而言，涉及一种跨Hbase集群的数据存储方法、装置、计算机可读存储介质和业务系统。

背景技术

随着数字化的快速发展，非结构化数据扮演起越来越重要的角色，在企业经验及业务办理处理过程中，不断产生数量众多及种类繁多的凭证、合同、档案、报表、音视频等非结构化数据，这些数据格式多种多样，包括广泛使用的office文档，如DOC、PPT、EXCEL、PDF等，还包括半结构化的HTML、XML、EMAIL，以及图像、音频、视频、多媒体流文件等其他专业格式的文档。

当前面对海量的非结构化数据，一般采用HDFS+HBase组合的方式来进行海量非结构化数据的存储管理。而文件索引号是为每一个文件生成的全局唯一的编号，是用来标识并访问文件的唯一索引信息。传统HBase中的行是按照RowKey的字典顺序排序的，大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其他region，由于主机无法服务其他region的请求，这样就造成数据热点现象，导致吞吐量下降，降低数据上传速度。

发明内容

本申请的主要目的在于提供一种跨Hbase集群的数据存储方法、装置、计算机可读存储介质和业务系统，以至少解决现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种跨Hbase集群的数据存储方法，所述方法包括：在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，所述位置信息用于表征所述待存储数据计划存储的存储位置，所述第一时间信息用于表征所述待存储数据的上传时间，所述第一标识信息用于表征所述待存储数据在第一目标服务器中计划存储的存储分区，所述第一目标服务器为所述待存储数据计划存储的服务器；将所述位置信息、所述第一时间信息和所述第一标识信息编码得到索引号，所述索引号用于唯一标识所述待存储数据；将所述索引号反转得到所述待存储数据的行键值，根据所述行键值将所述待存储数据存储至所述第一目标服务器中的第一目标分区，所述第一目标分区为与所述行键值中对应所述第一标识信息的字节对应的所述存储分区，所述行键值与所述索引号的字节顺序相反。

可选地，将所述位置信息、所述第一时间信息和所述第一标识信息编码得到索引号，包括：将第一位置信息进行十进制编码得到所述索引号的第一字节和第二字节，所述第一位置信息用于表征所述待存储数据计划存储的集群组的地理位置，所述集群组包括多个Hbase集群和Hdoop集群；将第二位置信息进行二进制编码得到所述索引号的第三字节，所述第二位置信息用于表征所述待存储数据计划存储的集群；将第三位置信息进行三十二进制编码得到所述索引号的第四字节，所述第三位置信息用于表征所述待存储数据计划存储的服务器；将第一时间子信息以十进制编码得到所述索引号的第五字节和第六字节，将第二时间子信息以三十二进制编码得到所述索引号的第七和第八字节，所述第一时间子信息为所述第一时间信息中用于表征年份的部分，所述第二时间子信息为所述第一时间信息中用于表征月份和日期的部分；将所述第一标识信息以三十二进制编码得到所述索引号的第九字节至第十二字节。

可选地，在获取待存储数据的位置信息、第一时间信息和第一标识信息之前，所述方法还包括：对所述数据上传报文进行解析，得到第一报文格式和报文数据量，所述第一报文格式包括所述数据上传报文的格式信息，所述报文数据量为所述数据上传报文的数据大小；在所述第一报文格式与第一预设格式一致且所述报文数据量与预设数据量一致的情况下，确定所述数据上传报文校验无误；在所述第一报文格式与第一预设格式不一致和/或所述报文数据量与预设数据量不一致的情况下，确定所述数据上传报文检验出错并发出第一信令，所述第一信令用于指示所述待存储数据存储失败。

可选地，根据所述行键值将所述待存储数据存储至所述第一目标服务器中的第一目标分区，包括：根据所述行键值确定第二标识信息，所述第二标识信息与所述索引号中第九字节至第十二字节对应且顺序相反；获取第三标识信息，所述第三标识信息为所述第一目标服务器中各分区的唯一标识号；根据所述第二标识信息和所述第三标识信息确定所述第一目标分区并将所述待存储数据写入所述第一目标分区。

可选地，在根据所述行键值将所述待存储数据存储至所述第一目标服务器中的第一目标分区之后，所述方法还包括：获取目标索引号并根据所述目标索引号确定目标数据的存储状态，所述目标索引号为与所述目标数据对应的所述索引号，所述存储状态包括已删除和未删除；在所述存储状态为未删除的情况下，根据所述目标索引号确定目标集群组，所述目标集群组为所述目标数据所属的集群组；根据所述目标索引号确定目标集群，所述目标集群为所述目标数据所属的集群；根据所述目标索引号确定第二目标服务器，所述第二目标服务器为所述目标数据所属的服务器；将所述目标索引号反转得到目标行键值，根据所述目标行键值从所述第二目标服务器的第二目标分区中读取所述目标数据。

可选地，在获取目标索引号之前，所述方法还包括：获取数据访问报文并对所述数据上传报文进行解析得到第二报文格式，所述第二报文格式包括所述数据访问报文的格式信息；在所述第二报文格式与第二预设格式一致的情况下，确定所述数据访问报文校验无误；在所述第二报文格式与第二预设格式不一致的情况下，确定所述数据访问报文校验出错并发送第二信令，所述第二信令用于指示数据访问失败。

可选地，根据所述目标索引号确定目标数据的存储状态，包括：根据所述目标索引号确定所述第一时间信息；获取第二时间信息和目标生命周期，所述第二时间信息为当前时间，所述目标生命周期为所述目标服务器中所述目标数据的保留时间；根据所述第一时间信息、第二时间信息和所述目标生命周期确定所述目标数据的所述存储状态。

根据本申请的另一方面，提供了一种跨Hbase集群的数据存储装置，所述装置包括：第一获取单元，用于在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，所述位置信息用于表征所述待存储数据计划存储的存储位置，所述第一时间信息用于表征所述待存储数据的上传时间，所述第一标识信息用于表征所述待存储数据在第一目标服务器中计划存储的存储分区，所述第一目标服务器为所述待存储数据计划存储的服务器；编码单元，用于将所述位置信息、所述第一时间信息和所述第一标识信息编码得到索引号，所述索引号用于唯一标识所述待存储数据；反转单元，用于将所述索引号反转得到所述待存储数据的行键值，根据所述行键值将所述待存储数据存储至所述第一目标服务器中的第一目标分区，所述第一目标分区为与行键值中与所述第一标识信息对应的字节对应的所述存储分区，所述行键值与所述索引号的字节顺序相反。

根据本申请的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。

根据本申请的又一方面，提供了一种业务系统，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。

应用本申请的技术方案，在上述跨Hbase集群的数据存储方法中，首先，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；然后，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；最后，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。本申请设计了一种文件索引码，包含集群组代码、集群代码、顺序码、机器码和日期编码，为数据快速索引提供支持，然后将文件索引号反转得带行键值，其中顺序码在反转过程中顺序发生变化，按照行键值将原本依次存入同一区域的文件散列于不同区域，解决了现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题。同时集群组代码、集群代码机器码和日期码支持对数据所在位置的快速定位加快了检索速度。

附图说明

图1示出了根据本申请的实施例中提供的一种执行跨Hbase集群的数据存储方法的移动终端的硬件结构框图；

图2示出了根据本申请的实施例提供的一种跨Hbase集群的数据存储方法的流程示意图；

图3示出了根据本申请的实施例提供的一种数据存储过程的流程示意图；

图4示出了根据本申请的实施例提供的一种数据访问过程的流程示意图；

图5示出了根据本申请的实施例提供的一种跨Hbase集群的数据存储装置的结构框图。

其中，上述附图包括以下附图标记：

102、处理器；104、存储器；106、传输设备；108、输入输出设备。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

非结构化数据：相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。

Hadoop：是由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。

HBase：是一个高可靠性、高性能、面向列的分布式数据库，是Apache软件基金会开源项目Hadoop的重要子项目。

RowKey：Hbase表的行键，是数据进行增删改查的唯一主键。

文件索引号：分布式文件系统中文件的唯一标识。

正如背景技术中所介绍的，现有技术中按照RowKey的字典顺序排序的，大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其他region，由于主机无法服务其他region的请求，这样就造成数据热点现象，导致吞吐量下降，为解决现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题，本申请的实施例提供了一种跨Hbase集群的数据存储方法、装置、计算机可读存储介质和业务系统。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种跨Hbase集群的数据存储方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的设备信息的显示方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的跨Hbase集群的数据存储方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的跨Hbase集群的数据存储方法的流程图。如图2所示，该方法包括以下步骤：

步骤S201，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；

具体地，在业务系统中产生新的业务数据时会向系统中的资源管理模块发送数据上传报文，资源管理模块在接收到上传报文后对报文进行解析，获取报文申请的存储位置，包括计划存储的集群组、集群、服务器，即上述位置信息，同时为了确定文件的时效性报文中还包括数据的上传时间，即上述第一时间信息，此外为了确定将数据存储至服务器中的特定分区，在报文中还包括与分区对应的顺序码，即上述第一标识信息。

步骤S202，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；

在本实施例中，根据上述解析得到的信息对应进行编码即可得到由12位字母或数字组成的索引号，其中包括2位集群组编码，1位集群标识码，1位服务器机器标识码，4位日期和4位顺序码，不同类型编码顺序不进行限定，每一个索引号对应唯一一个数据文件。

步骤S203，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。

具体地，对上述索引号中的字节顺序进行反转，得到对应数据的行键值，其中顺序码反转之后原本相邻顺序上传的文件在存储时按照反转后的顺序码对应的分区进行存储，不再存储至同一分区，即避免了同一分区短时间存在大量存储操作导致热点现象。

通过本实施例，首先，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；然后，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；最后，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。本申请设计了一种文件索引码，包含集群组代码、集群代码、顺序码、机器码和日期编码，为数据快速索引提供支持，然后将文件索引号反转得带行键值，其中顺序码在反转过程中顺序发生变化，按照行键值将原本依次存入同一区域的文件散列于不同区域，解决了现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题。同时集群组代码、集群代码机器码和日期码支持对数据所在位置的快速定位加快了检索速度。

为了按照预设规则生成与数据文件对应的索引号，在一种可选的实施方式中，上述步骤S202包括：

步骤S2021，将第一位置信息进行十进制编码得到上述索引号的第一字节和第二字节，上述第一位置信息用于表征上述待存储数据计划存储的集群组的地理位置，上述集群组包括多个Hbase集群和Hdoop集群；

具体地，通过对集群组分配代码来标识计划存储的集群组。

在具体实施中，可以按照行政区号进行集群划分，取国家统一集群代码的前两位，例如，北京-11，天津-12，河北-13等。

步骤S2022，将第二位置信息进行二进制编码得到上述索引号的第三字节，上述第二位置信息用于表征上述待存储数据计划存储的集群；

具体地，针对于文件的大小会存储在不同的集群中，即根据Hadoop、Hbase集群的特性，Hadoop中HDFS适合存储大文件，Hbase适合存储小文件，针对不同存储位置设置对应编码。

在具体实施中，依赖文件的大小，以50M大小为界限，低于50M的小文件存储在Hbase中，将标识置为1；高于50M的文件存储到HDFS，将标识置为0。小文件直接存储在Hbase的列中，大文件则存储在HDFS中，同时将路径存储在Hbase的列中。通过该标识可标识文件的存储及访问方式。对于存放于不同位置的内容对象，读取实现的方法不同。

步骤S2023，将第三位置信息进行三十二进制编码得到上述索引号的第四字节，上述第三位置信息用于表征上述待存储数据计划存储的服务器；

具体地，该标号为在各集群组中对不同服务器的唯一标识码，根据该标号可以确定数据文件存储于哪一个服务器中。

步骤S2024，将第一时间子信息以十进制编码得到上述索引号的第五字节和第六字节，将第二时间子信息以三十二进制编码得到上述索引号的第七和第八字节，上述第一时间子信息为上述第一时间信息中用于表征年份的部分，上述第二时间子信息为上述第一时间信息中用于表征月份和日期的部分；

具体地，获取文件的上传时间，例如2023/07/01，在编码时截取年份后两位，并将月份和日期转换为三十二进制即得到上述第五至第八字节。

步骤S2025，将上述第一标识信息以三十二进制编码得到上述索引号的第九字节至第十二字节。

具体地，顺序码为每个服务器本身针对数据文件生成的标识码，不同区段的标识码对应不同的分区，在本申请中以4位32进制码表示。

为保证存入数据文件的完整性，在一种可选的实施方式中，在获取待存储数据的位置信息、第一时间信息和第一标识信息之前，上述方法还包括：

步骤S301，对上述数据上传报文进行解析，得到第一报文格式和报文数据量，上述第一报文格式包括上述数据上传报文的格式信息，上述报文数据量为上述数据上传报文的数据大小；

具体地，如图3所示，在将数据存储至服务器前确定数据上传报文的完整性和数据文件的完整性，首先获取数据报文的格式，与预设格式进行匹配，进而将数据文件的大小与记录的大小进行比对。

步骤S302，在上述第一报文格式与第一预设格式一致且上述报文数据量与预设数据量一致的情况下，确定上述数据上传报文校验无误；

具体地，如图3所示，在报文格式与预设格式相同的情况下，确定请求安全，在数据量一致的情况下确定数据文件在传输过程中无损失继续进行下一步存储流程。

步骤S303，在上述第一报文格式与第一预设格式不一致和/或上述报文数据量与预设数据量不一致的情况下，确定上述数据上传报文检验出错并发出第一信令，上述第一信令用于指示上述待存储数据存储失败。

具体地，如图3所示，在报文格式与预设格式不相同的情况下，确定请求不安全，在数据量不一致的情况下确定数据文件在传输过程中存在损失，任意一种情况出现即发出指令提示本次上传失败，重新进行上传。

为了将数据文件存储至目标位置，在一种可选的实施方式中，上述步骤S203包括：

步骤S2031，根据上述行键值确定第二标识信息，上述第二标识信息与上述索引号中第九字节至第十二字节对应且顺序相反；

具体地，如图3所示，在数据校验通过后，根据索引码中的集群组对应编码、集群对应编码和服务器对应编码将上述数据文件发送至目标服务器，然后目标服务器根据索引码反转后得到的行键值中对应顺序码的部分得到反转后的顺序码即上述第二标识信息。

步骤S2032，获取第三标识信息，上述第三标识信息为上述第一目标服务器中各分区的唯一标识号；

具体地，获取服务器中各存储分区对应的编号，即上述第三标识信息。

在具体实施中，目标服务器中每个分区用于存储对应一定区段的顺序号的数据文件，例如，编号为1的分区可以用于存储顺序号1至1000的数据文件。

步骤S2033，根据上述第二标识信息和上述第三标识信息确定上述第一目标分区并将上述待存储数据写入上述第一目标分区。

具体地，根据上述第二表示信息可以确定与上述第二标识信息对应的第三标识信息，进而确定目标分区，将数据文件写入即可。

为了从服务器中获取目标数据，在一种可选地实施方式中，在根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区之后，上述方法还包括：

步骤S401，获取目标索引号并根据上述目标索引号确定目标数据的存储状态，上述目标索引号为与上述目标数据对应的上述索引号，上述存储状态包括已删除和未删除；

具体地，如图4所示，获取目标数据的索引号，根据索引号中对应上传时间的字节确定文件上传时间，进而与当前时间进行对比，确定目标文件是否已被删除。

步骤S402，在上述存储状态为未删除的情况下，根据上述目标索引号确定目标集群组，上述目标集群组为上述目标数据所属的集群组；

具体地，如图4所示，在文件为未被删除的情况下根据索引号中的集群组代码确定目标数据所在的集群组。

步骤S403，根据上述目标索引号确定目标集群，上述目标集群为上述目标数据所属的集群；

具体地，如图4所示，根据索引号中的集群编码对应的字节确定目标数据所在的集群以及访问方式。

步骤S404，根据上述目标索引号确定第二目标服务器，上述第二目标服务器为上述目标数据所属的服务器；

具体地，如图4所示，根据索引号中对应机器码的字节，确定目标数据存储的服务器。

步骤S405，将上述目标索引号反转得到目标行键值，根据上述目标行键值从上述第二目标服务器的第二目标分区中读取上述目标数据。

具体地，如图4所示，将索引号反转得到对应行键值，根据行键值对比确定目标分区，进而从目标分区中提取行键值相同的数据即可。

为了确定数据是否存储在目标服务器中，在一种可选的实施方式中，上述步骤S401包括：

步骤S4011，根据上述目标索引号确定上述第一时间信息；

具体地，根据索引号确定文件的上传时间。

步骤S4012，获取第二时间信息和目标生命周期，上述第二时间信息为当前时间，上述目标生命周期为上述目标服务器中上述目标数据的保留时间；

具体地，根据目标服务器确定该服务器中的数据保留时间即上述生命周期同时获取数据访问的时间。

步骤S4013，根据上述第一时间信息、第二时间信息和上述目标生命周期确定上述目标数据的上述存储状态。

具体地，确定数据上传时间和数据访问时间之间的时间间隔，在时间间隔大于生命周期的情况下，目标数据已经被删除，在时间间隔小于生命周期的情况下，目标数据还存储在目标服务器。

为了确定访问请求的合法性，在一种可选的实施方式中，在获取目标索引号之前，上述方法还包括：

步骤S501，获取数据访问报文并对上述数据上传报文进行解析得到第二报文格式，上述第二报文格式包括上述数据访问报文的格式信息；

具体地，如图4所示，在将访问服务器前确定数据访问报文的合法性，首先获取数据报文的格式，与预设格式进行匹配。

步骤S502，在上述第二报文格式与第二预设格式一致的情况下，确定上述数据访问报文校验无误；

具体地，如图4所示，在报文格式与预设格式相同的情况下，确定请求安全继续进行下一步访问流程。

步骤S503，在上述第二报文格式与第二预设格式不一致的情况下，确定上述数据访问报文校验出错并发送第二信令，上述第二信令用于指示数据访问失败。

具体地，如图4所示，在报文格式与预设格式不相同的情况下，确定请求不安全，发出指令提示本次访问失败，重新进行访问。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种跨Hbase集群的数据存储装置，需要说明的是，本申请实施例的跨Hbase集群的数据存储装置可以用于执行本申请实施例所提供的用于跨Hbase集群的数据存储方法。该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

以下对本申请实施例提供的跨Hbase集群的数据存储装置进行介绍。

图5是根据本申请实施例的跨Hbase集群的数据存储装置的结构框图。如图5所示，该装置包括：

第一获取单元10，用于在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；

具体地，在业务系统中产生新的业务数据时会向系统中的资源管理模块发送数据上传报文，资源管理模块在接收到上传报文后对报文进行解析，获取报文申请的存储位置，包括计划存储的集群组、集群、服务器，即上述位置信息，同时为了确定文件的时效性报文中还包括数据的上传时间，即上述第一时间信息，此外为了确定将数据存储至服务器中的特定分区，在报文中还包括与分区对应的顺序码，即上述第一标识信息。

编码单元20，用于将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；

在本实施例中，根据上述解析得到的信息对应进行编码即可得到由12位字母或数字组成的索引号，其中包括2位集群组编码，1位集群标识码，1位服务器机器标识码，4位日期和4位顺序码，不同类型编码顺序不进行限定，每一个索引号对应唯一一个数据文件。

反转单元30，用于将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与行键值中与上述第一标识信息对应的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。

具体地，对上述索引号中的字节顺序进行反转，得到对应数据的行键值，其中顺序码反转之后原本相邻顺序上传的文件在存储时按照反转后的顺序码对应的分区进行存储，不再存储至同一分区，即避免了同一分区短时间存在大量存储操作导致热点现象。

通过本实施例，第一获取单元在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；编码单元将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；反转单元将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。本申请设计了一种文件索引码，包含集群组代码、集群代码、顺序码、机器码和日期编码，为数据快速索引提供支持，然后将文件索引号反转得带行键值，其中顺序码在反转过程中顺序发生变化，按照行键值将原本依次存入同一区域的文件散列于不同区域，解决了现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题。同时集群组代码、集群代码机器码和日期码支持对数据所在位置的快速定位加快了检索速度。

为了按照预设规则生成与数据文件对应的索引号，在一种可选的实施方式中，上述编码单元包括：

第一编码模块，用于将第一位置信息进行十进制编码得到上述索引号的第一字节和第二字节，上述第一位置信息用于表征上述待存储数据计划存储的集群组的地理位置，上述集群组包括多个Hbase集群和Hdoop集群；

具体地，通过对集群组分配代码来标识计划存储的集群组。

在具体实施中，可以按照行政区号进行集群划分，取国家统一集群代码的前两位，例如，北京-11，天津-12，河北-13等。

第二编码模块，用于将第二位置信息进行二进制编码得到上述索引号的第三字节，上述第二位置信息用于表征上述待存储数据计划存储的集群；

具体地，针对于文件的大小会存储在不同的集群中，即根据Hadoop、Hbase集群的特性，Hadoop中HDFS适合存储大文件，Hbase适合存储小文件，针对不同存储位置设置对应编码。

在具体实施中，依赖文件的大小，以50M大小为界限，低于50M的小文件存储在Hbase中，将标识置为1；高于50M的文件存储到HDFS，将标识置为0。小文件直接存储在Hbase的列中，大文件则存储在HDFS中，同时将路径存储在Hbase的列中。通过该标识可标识文件的存储及访问方式。对于存放于不同位置的内容对象，读取实现的方法不同。

第三编码模块，用于将第三位置信息进行三十二进制编码得到上述索引号的第四字节，上述第三位置信息用于表征上述待存储数据计划存储的服务器；

具体地，该标号为在各集群组中对不同服务器的唯一标识码，根据该标号可以确定数据文件存储于哪一个服务器中。

第四编码模块，用于将第一时间子信息以十进制编码得到上述索引号的第五字节和第六字节，将第二时间子信息以三十二进制编码得到上述索引号的第七和第八字节，上述第一时间子信息为上述第一时间信息中用于表征年份的部分，上述第二时间子信息为上述第一时间信息中用于表征月份和日期的部分；

具体地，获取文件的上传时间，例如2023/07/01，在编码时截取年份后两位，并将月份和日期转换为三十二进制即得到上述第五至第八字节。

第五编码模块，用于将上述第一标识信息以三十二进制编码得到上述索引号的第九字节至第十二字节。

具体地，顺序码为每个服务器本身针对数据文件生成的标识码，不同区段的标识码对应不同的分区，在本申请中以4位32进制码表示。

为保证存入数据文件的完整性，在一种可选的实施方式中，上述装置包括：

第一解析单元，用于在获取待存储数据的位置信息、第一时间信息和第一标识信息之前，对上述数据上传报文进行解析，得到第一报文格式和报文数据量，上述第一报文格式包括上述数据上传报文的格式信息，上述报文数据量为上述数据上传报文的数据大小；

具体地，如图3所示，在将数据存储至服务器前确定数据上传报文的完整性和数据文件的完整性，首先获取数据报文的格式，与预设格式进行匹配，进而将数据文件的大小与记录的大小进行比对。

第一确定单元，用于在上述第一报文格式与第一预设格式一致且上述报文数据量与预设数据量一致的情况下，确定上述数据上传报文校验无误；

具体地，如图3所示，在报文格式与预设格式相同的情况下，确定请求安全，在数据量一致的情况下确定数据文件在传输过程中无损失继续进行下一步存储流程。

第二确定单元，用于在上述第一报文格式与第一预设格式不一致和/或上述报文数据量与预设数据量不一致的情况下，确定上述数据上传报文检验出错并发出第一信令，上述第一信令用于指示上述待存储数据存储失败。

具体地，如图3所示，在报文格式与预设格式不相同的情况下，确定请求不安全，在数据量不一致的情况下确定数据文件在传输过程中存在损失，任意一种情况出现即发出指令提示本次上传失败，重新进行上传。

为了将数据文件存储至目标位置，在一种可选的实施方式中，上述反转单元包括：

第一确定模块，用于根据上述行键值确定第二标识信息，上述第二标识信息与上述索引号中第九字节至第十二字节对应且顺序相反；

具体地，如图3所示，在数据校验通过后，根据索引码中的集群组对应编码、集群对应编码和服务器对应编码将上述数据文件发送至目标服务器，然后目标服务器根据索引码反转后得到的行键值中对应顺序码的部分得到反转后的顺序码即上述第二标识信息。

第一获取模块，用于获取第三标识信息，上述第三标识信息为上述第一目标服务器中各分区的唯一标识号；

具体地，获取服务器中各存储分区对应的编号，即上述第三标识信息。

在具体实施中，目标服务器中每个分区用于存储对应一定区段的顺序号的数据文件，例如，编号为1的分区可以用于存储顺序号1至1000的数据文件。

第二确定模块，用于根据上述第二标识信息和上述第三标识信息确定上述第一目标分区并将上述待存储数据写入上述第一目标分区。

具体地，根据上述第二表示信息可以确定与上述第二标识信息对应的第三标识信息，进而确定目标分区，将数据文件写入即可。

为了从服务器中获取目标数据，在一种可选地实施方式中，上述装置还包括：

第二获取单元，用于在根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区之后，获取目标索引号并根据上述目标索引号确定目标数据的存储状态，上述目标索引号为与上述目标数据对应的上述索引号，上述存储状态包括已删除和未删除；

具体地，如图4所示，获取目标数据的索引号，根据索引号中对应上传时间的字节确定文件上传时间，进而与当前时间进行对比，确定目标文件是否已被删除。

第三确定单元，用于在上述存储状态为未删除的情况下，根据上述目标索引号确定目标集群组，上述目标集群组为上述目标数据所属的集群组；

具体地，如图4所示，在文件为未被删除的情况下根据索引号中的集群组代码确定目标数据所在的集群组。

第四确定单元，用于根据上述目标索引号确定目标集群，上述目标集群为上述目标数据所属的集群；

具体地，如图4所示，根据索引号中的集群编码对应的字节确定目标数据所在的集群以及访问方式。

第五确定单元，用于根据上述目标索引号确定第二目标服务器，上述第二目标服务器为上述目标数据所属的服务器；

具体地，如图4所示，根据索引号中对应机器码的字节，确定目标数据存储的服务器。

第六确定单元，用于将上述目标索引号反转得到目标行键值，根据上述目标行键值从上述第二目标服务器的第二目标分区中读取上述目标数据。

具体地，如图4所示，将索引号反转得到对应行键值，根据行键值对比确定目标分区，进而从目标分区中提取行键值相同的数据即可。

为了确定数据是否存储在目标服务器中，在一种可选的实施方式中，上述第二获取单元包括：

第三确定模块，用于根据上述目标索引号确定上述第一时间信息；

具体地，根据索引号确定文件的上传时间。

第二获取模块，用于获取第二时间信息和目标生命周期，上述第二时间信息为当前时间，上述目标生命周期为上述目标服务器中上述目标数据的保留时间；

具体地，根据目标服务器确定该服务器中的数据保留时间即上述生命周期同时获取数据访问的时间。

第四确定模块，用于根据上述第一时间信息、第二时间信息和上述目标生命周期确定上述目标数据的上述存储状态。

具体地，确定数据上传时间和数据访问时间之间的时间间隔，在时间间隔大于生命周期的情况下，目标数据已经被删除，在时间间隔小于生命周期的情况下，目标数据还存储在目标服务器。

为了确定访问请求的合法性，在一种可选的实施方式中，上述装置还包括：

第三获取单元，用于获取数据访问报文并对上述数据上传报文进行解析得到第二报文格式，上述第二报文格式包括上述数据访问报文的格式信息；

具体地，如图4所示，在将访问服务器前确定数据访问报文的合法性，首先获取数据报文的格式，与预设格式进行匹配。

第七确定单元，用于在上述第二报文格式与第二预设格式一致的情况下，确定上述数据访问报文校验无误；

具体地，如图4所示，在报文格式与预设格式相同的情况下，确定请求安全继续进行下一步访问流程。

第八确定单元，用于在上述第二报文格式与第二预设格式不一致的情况下，确定上述数据访问报文校验出错并发送第二信令，上述第二信令用于指示数据访问失败。

具体地，如图4所示，在报文格式与预设格式不相同的情况下，确定请求不安全，发出指令提示本次访问失败，重新进行访问。

上述跨Hbase集群的数据存储装置包括处理器和存储器，上述第一获取单元、编码单元和反转单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来避免数据存储过程中的热点现象。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行上述跨Hbase集群的数据存储方法。

具体地，跨Hbase集群的数据存储方法包括：

步骤S201，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；

步骤S202，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；

步骤S203，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述跨Hbase集群的数据存储方法。

具体地，跨Hbase集群的数据存储方法包括：

步骤S201，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；

步骤S202，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；

步骤S203，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。

本发明实施例提供了一种业务系统，业务系统包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S201，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；

步骤S202，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；

步骤S203，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S201，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；

步骤S202，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；

步骤S203，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号的字节顺序相反。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的跨Hbase集群的数据存储方法，首先，在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；然后，将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；最后，将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号字节顺序相反。本申请设计了一种文件索引码，包含集群组代码、集群代码、顺序码、机器码和日期编码，为数据快速索引提供支持，然后将文件索引号反转得带行键值，其中顺序码在反转过程中顺序发生变化，按照行键值将原本依次存入同一区域的文件散列于不同区域，解决了现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题。同时集群组代码、集群代码机器码和日期码支持对数据所在位置的快速定位加快了检索速度。

2)、本申请的跨Hbase集群的数据存储装置，第一获取单元在接收到数据上传报文的情况下，获取待存储数据的位置信息、第一时间信息和第一标识信息，上述位置信息用于表征上述待存储数据计划存储的存储位置，上述第一时间信息用于表征上述待存储数据的上传时间，上述第一标识信息用于表征上述待存储数据在第一目标服务器中计划存储的存储分区，上述第一目标服务器为上述待存储数据计划存储的服务器；编码单元将上述位置信息、上述第一时间信息和上述第一标识信息编码得到索引号，上述索引号用于唯一标识上述待存储数据；反转单元将上述索引号反转得到上述待存储数据的行键值，根据上述行键值将上述待存储数据存储至上述第一目标服务器中的第一目标分区，上述第一目标分区为与上述行键值中对应上述第一标识信息的字节对应的上述存储分区，上述行键值与上述索引号字节顺序相反。本申请设计了一种文件索引码，包含集群组代码、集群代码、顺序码、机器码和日期编码，为数据快速索引提供支持，然后将文件索引号反转得带行键值，其中顺序码在反转过程中顺序发生变化，按照行键值将原本依次存入同一区域的文件散列于不同区域，解决了现有技术中文件按顺序存入同一区域引发热点现象，降低数据存储速度的问题。同时集群组代码、集群代码机器码和日期码支持对数据所在位置的快速定位加快了检索速度。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。