一种大数据分区存储装置及方法

文献发布时间：2023-06-19 12:13:22

技术领域

本发明属于数据存储技术领域，涉及一种大数据分区存储装置及方法。

背景技术

当前的数据库中包括数据表，数据表用于存储数据库中的大数据。在进行数据存储时，一个数据表在一个存储区域有存储数据的容量上限，因此数据表无法对一个超出数据表中的一个存储区域的存储数据容量上限的大数据，基于此，现有技术提供了一种分区存储方法来实现对于大容量数据的存储。即，将属于同一数据表的数据分成多个存储区域，然后将大容量数据拆分成多个小内存的数据，之后将多个数据存储至同一数据表的多个存储区域的存储方法，但是，现有的分区存储方式只能针对针对ASCII码字符进行分区存储，无法针对非ASCII码字符进行分区存储，同时现有的分区存储方式，在进行数据读取时，需要先将存储的大数据组成一个完整的数据才能被检索和查看，当我们需要对大数据中的部分内容进行查看时，无法进行有效检索，使得分区存储仅仅用于将大数据拆分，并没有完全将分区存储方式的优势完全发挥出来，大大降低检索和查看效率，因此，一种对不同大数据进行分区存储并可对拆分的大数据进行精确检索的大数据分区存储装置及方法的出现迫在眉睫。

发明内容

本发明的目的在于提供一种大数据分区存储装置及方法。

本发明的目的可以通过以下技术方案实现：

一种大数据分区存储方法，其特征在于，所述方法的具体步骤如下：

1)获取待存储的大数据，将待存储的大数据进行拆分，拆分为多个内存较小的数据；

2)对内存较小的数据的开头和结尾分别标记为Ann与Bn(n+1)，n取任意不为0的数；

3)获取待存入数据的占用存储空间，将存储空间内分出若干个分区，将拆分的小数据依次存储于存储空间分出若干个分区里，提取小数据上的Ann以及Bn(n+1)，并记录Ann以及Bn(n+1)所对应小数据位于存储空间的位置，并将存储位置数据记为Zn，n取任意不为0的数；

4)将Z1至Zn的数据组成为一个数据地址库数据；

5)将数据地址库数据保存在地址存储库中；

6)由小数据中提取小数据的关键字；

7)将关键字与Ann以及Bn(n+1)之间建立映射关系。

进一步地，所述步骤2)的工作步骤具体如下：

1)将拆分的第一个小数据的开头记为A11，将拆分的第一个小数据的结尾记为B12；

2)将拆分的第一个小数据后一个小数据的开头记为A22，将拆分的第一个小数据后一个小数据的结尾记为B23；

3)将拆分的第n-1个小数据后一个小数据的开头记为Ann，将拆分的第一个小数据后一个小数据的结尾记为Bn(n+1)，n取任意不为0的数。

进一步地，所述步骤3)的工作步骤具体如下：

1)获取待存入数据的占用存储空间，将存储空间分为地址存储库和数据存储库；

2)按照设置的存储大小为单位将数据存储库分出若干个存储分区；

3)将小数据依次存储至数据存储库的存储分区中；

4)提取存储在数据存储库中的小数据的Ann以及Bn(n+1)；

5)将A11以及B12的数据存储位置记为Z1；

6)将A22以及B23的数据存储位置记为Z2；

7)将Ann以及Bn(n+1)的数据存储位置记为Zn，n取任意不为0的数。

进一步地，所述分区存储方法的查询步骤：

(1)通过输入关键字，利用输入的关键字与存储的关键字进行比对；

(2)在存储的关键字中将与输入的关键字相同的关键字提取；

(3)由提取的关键字映射出该关键字对应的小数据开头和结尾标记；

(4)通过开头和结尾标记由地址存储库中检索出该标记对应的存储位置；

(5)通过存储位置导出数据；

(6)将导出的数据进行拼接，形成整体数据导出。

一种大数据分区存储装置，所述装置包括数据获取单元、大数据拆分单元、标记单元、存储单元以及映射单元，所述数据获取单元用于获取需要存储的大数据，并将数据传输至大数据拆分单元，大数据拆分单元对采集的数据进行拆分，使其拆分为多个小内存数据，并传输至标记单元，所述标记单元用于标记小内存数据的开头与结尾，所述存储单元用于存储小内存数据，同时对小内存的存储位置进行标记，并对标记的存储位置数据进行存储，所述映射单元用于提取小内存数据的关键字，并将关键字与对应的小内存数据的开头与结尾进行映射。

进一步地，所述装置工作步骤具体如下：

1)数据获取单元：获取需要存储的大数据，并将数据传输至大数据拆分单元；

2)大数据拆分单元：对采集的数据进行拆分，使其拆分为多个小内存数据，并传输至标记单元；

3)标记单元：标记小内存数据的开头与结尾；

4)存储单元：存储小内存数据，同时对小内存的存储位置进行标记，并对标记的存储位置数据进行存储；

5)映射单元：提取小内存数据的关键字，并将关键字与对应的小内存数据的开头与结尾进行映射。

本发明的有益效果：本发明可对不同数据进行拆分，拆分后对多个小数据进行开头和结尾进行标记，一方面标记小数据，方便查询时的数据重组，另一方面通过对开头和结尾进行标记，只需对开头和结尾标记进行位置信息存储，即可在进行检索时，迅速检索出内容所在位置，本发明将拆分后的小数据皆进行关键字提取，通过关键字与小数据进行映射关系建立，进而使得本发明能够使人员利用本发明进行大数据存储，并且对存储的大数据进行精确检索以及部分内容检索，本发明具有对不同大数据进行分区存储、对存储的大数据进行精确检索以及部分内容检索等有益效果。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明一种大数据分区存储方法的方法流程简图；

图2为本发明一种大数据分区存储装置的单元简图。

具体实施方式

结合图1-2通过如下实施例对本发明进行详细说明：

一种大数据分区存储方法，其特征在于，方法的具体步骤如下：