一种异构海量数据文件的智能化存储方法

技术领域

本发明涉及数据存储领域，尤其涉及一种异构海量数据文件的智能化存储方法。

背景技术

随着信息化的日渐发展，在数据中蕴含的价值逐渐被人们所挖掘发现，数据存储成了目前最热门的话题之一，其中对于不同类型、大小文件的高性能存储更是重中之重。目前传统的HDFS文件存储对于大量的小文件存储存在诸多问题。

如申请号为CN201110155324.9移动云存储系统及移动云存储实现方法，该方案中的系统包括具有内部存储介质的云计算终端、外接存储器，该外接存储器与云计算终端的内部存储介质构成多级异构存储介质；云计算终端的内部存储介质中存储有分布式文件；云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。该方案虽然可以对移动设备原有的有限存储资源进行扩展，但是并不能实现对上传的文件进行大小判断和分类分级存储，数据存储效率不高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种异构海量数据文件的智能化存储方法，通过智能化技术，自动实现不同大小文件的分类存储，提高了数据存储效率。

本发明的目的是通过以下技术方案来实现的：

一种异构海量数据文件的智能化存储方法，包括以下步骤：

步骤一：参数配置，根据配置文件中用户配置的参数来配置HDFS的块容积参数以及有效时长参数；

步骤二：参数执行，当系统接收到上传文件请求时，对块容积参数的有效性进行检测，并根据检测结果将配置的参数加载到系统中；

步骤三：文件存储，对上传文件请求进行分析，根据分析结果选择对应的存储方式将上传的文件存储到对应的系统中。

具体的，所述步骤二具体包括：当接收到上传文件请求时，系统对块容积参数的有效性进行检测，判断块容积参数是否仍在有效期内，若块容积参数失效时，获取用户配置的参数，并加载入系统中，同时根据设置的有效时长参数设置有效期，在有效期内接收的上传文件请求均按照此配置参数执行存储操作。

具体的，所述步骤三具体包括：对上传文件请求中的文件实际大小进行分析，通过配置HDFS的块容积大小与文件实际大小比较，根据比较结果选择对应的存储方式进行存储。

具体的，所述根据比较结果选择对应的存储方式进行存储过程具体包括：如果上传文件的长度大于HDFS的块容积，则使用HDFS进行文件存储；如果上传文件的长度小于HDFS的块容积，则使用FastDFS进行文件存储。

具体的，还包括将上传文件存储到HDFS或FastDFS后，分别生成文件存储路径的元数据并存储至元数据数据库中。

本发明的有益效果：大幅度提升了小文件的存储效率，用户只需要配置一些简单的配置信息，就可以实现文件存储的智能化。

附图说明

图1是本发明的方法流程图。

图2是本发明的文件读取流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，如图1所示，一种异构海量数据文件的智能化存储方法，包括以下步骤：

步骤一：参数配置，根据配置文件中用户配置的参数来配置HDFS的块容积参数以及有效时长参数；

步骤二：参数执行，当系统接收到上传文件请求时，对块容积参数的有效性进行检测，并根据检测结果将配置的参数加载到系统中；

步骤三：文件存储，对上传文件请求进行分析，根据分析结果选择对应的存储方式将上传的文件存储到对应的系统中。

具体的，所述步骤二具体包括：当接收到上传文件请求时，系统对块容积参数的有效性进行检测，判断块容积参数是否仍在有效期内，若块容积参数失效时，获取用户配置的参数，并加载入系统中，同时根据设置的有效时长参数设置有效期，在有效期内接收的上传文件请求均按照此配置参数执行存储操作。

具体的，所述步骤三具体包括：对上传文件请求中的文件实际大小进行分析，通过配置HDFS的块容积大小与文件实际大小比较，根据比较结果选择对应的存储方式进行存储。

具体的，所述根据比较结果选择对应的存储方式进行存储过程具体包括：如果上传文件的长度大于HDFS的块容积，则使用HDFS进行文件存储；如果上传文件的长度小于HDFS的块容积，则使用FastDFS进行文件存储。

具体的，还包括将上传文件存储到HDFS或FastDFS后，分别生成文件存储路径的元数据并存储至元数据数据库中。

本发明通过配置文件来配置HDFS的块容积参数以及有效时长参数，当接收到上传文件请求时，系统检查是否存在仍在有效期内的块容积参数。块容积参数失效时，获取配置的参数，并加载入系统，根据设置的有效时长参数设置有效期，在有效期内接收的请求按照此参数执行。同时分析请求中的文件大小，通过配置HDFS的块容积与文件的实际大小比较，选择对应的存储策略：如果文件长度大于HDFS的块容积，则使用HDFS进行存储，如果文件长度小于HDFS的块容积，则使用FastDFS进行存储。

本发明的文件存储过程包括：1.当相应软件启动后，系统会读取HDFS的配置文件，获取HDFS的存储块设置信息。默认HDFS的块为128MB。2.服务器启动后，当服务器接收到文件写入请求后，判断要写入文件的大小。3.根据文件大小的不同将文件存入不同的存储系统，并生成文件存储的路径信息。4.将存储路径的元数据存入元数据库。

本发明的文件读取过程如图2所示，包括：1.服务器接收读取文件的请求后，查询元数据库，获取文件的路径。2.根据获得的文件路径，读取对应的文件。3.将读取的文件返回。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。