一种文件迁移方法、系统、设备及计算机可读存储介质

技术领域

本申请涉及分布式文件存储技术领域，更具体地说，涉及一种文件迁移方法、系统、设备及计算机可读存储介质。

背景技术

当前，在分布式文件存储系统中，存在快照和缓存聚合操作，快照是在某一时刻全部数据的只读镜像，可以根据快照查看或者恢复数据之前的状态；而缓存聚合是将小文件创建到高级存储池中，符合迁移条件后，再迁入慢速存储池中，通过该功能，可以在小文件的使用周期内，提高文件读写性能，并在热度降低后，迁入慢速池，释放高级池中的资源。然而，在分布式文件存储系统中，当快照和缓存聚合一起发挥作用时，存在资源浪费情况。

综上所述，如何降低分布式文件存储系统中的资源浪费是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种文件迁移方法，其能在一定程度上解决如何降低分布式文件存储系统中的资源浪费的技术问题。本申请还提供了一种文件迁移系统、设备及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

一种文件迁移方法，应用于分布式文件存储系统中的客户端，包括：

确定高速存储池中待迁移至慢速存储池中的目标文件；

控制所述分布式文件存储系统中的元数据服务器禁止快照所述目标文件的元数据；

控制所述分布式文件存储系统中的对象存储集群禁止快照所述高速存储池中的所述目标文件。

优选的，所述控制所述分布式文件存储系统中的元数据服务器禁止快照所述目标文件的元数据，包括：

发送表征文件迁移的标识信息至所述分布式文件存储系统中的所述元数据服务器，以使所述元数据服务器接收所述标识信息后跳过对所述目标文件的元数据的快照。

优选的，所述控制所述分布式文件存储系统中的对象存储集群禁止快照所述高速存储池中的所述目标文件，包括：

调用所述分布式文件存储系统中的对象存储集群删除所述高速存储池中的所述目标文件的过程中，将所述目标文件的快照域传空，以使所述对象存储集群基于传空的所述快照域跳过对所述高速存储池中的所述目标文件的快照。

优选的，所述确定高速存储池中待迁移至低速存储池中的目标文件之后，所述控制所述分布式文件存储系统中的元数据服务器禁止快照所述目标文件的元数据之前，还包括：

调用所述对象存储集群将所述目标文件写入所述慢速存储池的过程中，将所述目标文件的快照域传空。

一种文件迁移系统，应用于分布式文件存储系统中的客户端，包括：

第一确定模块，用于确定高速存储池中待迁移至慢速存储池中的目标文件；

第一控制模块，用于控制所述分布式文件存储系统中的元数据服务器禁止快照所述目标文件的元数据；

第二控制模块，用于控制所述分布式文件存储系统中的对象存储集群禁止快照所述高速存储池中的所述目标文件。

优选的，所述第一控制模块包括：

第一发送单元，用于发送表征文件迁移的标识信息至所述分布式文件存储系统中的所述元数据服务器，以使所述元数据服务器接收所述标识信息后跳过对所述目标文件的元数据的快照。

优选的，所述第二控制模块包括：

第二发送单元，用于调用所述分布式文件存储系统中的对象存储集群删除所述高速存储池中的所述目标文件的过程中，将所述目标文件的快照域传空，以使所述对象存储集群基于传空的所述快照域跳过对所述高速存储池中的所述目标文件的快照。

优选的，还包括：

第三发送单元，用于所述第一确定模块确定高速存储池中待迁移至低速存储池中的目标文件之后，所述第一控制模块控制所述分布式文件存储系统中的元数据服务器禁止快照所述目标文件的元数据之前，调用所述对象存储集群将所述目标文件写入所述慢速存储池的过程中，将所述目标文件的快照域传空。

一种文件迁移设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一所述文件迁移方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机可读存储介质被处理器执行时实现如上任一所述文件迁移方法的步骤。

本申请提供的一种文件迁移方法，应用于分布式文件存储系统中的客户端，确定高速存储池中待迁移至慢速存储池中的目标文件；控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据；控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。本申请中，客户端在确定待迁移的目标文件之后，考虑到迁移不会改变目标文件，所以需控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据，这样可以避免目标文件的元数据的无效快照占用存储资源；且需控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件，这样可以避免目标文件的无效快照占用存储资源；可以降低分布式文件存储系统中的资源浪费。本申请提供的一种文件迁移系统、设备及计算机可读存储介质也解决了相应技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种文件迁移方法的流程图；

图2为本申请实施例提供的一种文件迁移系统的结构示意图；

图3为本申请实施例提供的一种文件迁移设备的结构示意图；

图4为本申请实施例提供的一种文件迁移设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的一种文件迁移方法的流程图。

本申请实施例提供的一种文件迁移方法，应用于分布式文件存储系统中的客户端，可以包括以下步骤：

步骤S101：确定高速存储池中待迁移至慢速存储池中的目标文件。

实际应用中，客户端可以先确定高速存储池中待迁移至慢速存储池中的目标文件，目标文件的类型及内容等可以根据实际需要确定，且目标文件的确定方式也可以根据实际需要确定，比如可以将高速存储池中访问频率最低的文件作为目标文件等，本申请在此不做具体限定。

步骤S102：控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据。

步骤S103：控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。

实际应用中，考虑到文件的迁移并未改变文件本身，而快照的触发条件保证文件迁移，但此时对迁移的文件进行快照的话，并未带来数据的改变，也即此时的快照是无效快照，所以如果对迁移的文件进行快照的话，快照后的数据会额外占用分布式文件存储系统的资源，造成资源浪费，为了避免此种情况，客户端需控制分布式文件存储系统中的元数据服务器(Metadata server cluster，MDS)禁止快照目标文件的元数据，以避免目标文件的元数据的无效快照占用存储资源；控制分布式文件存储系统中的对象存储集群(Objectstorage cluster，OSD)禁止快照高速存储池中的目标文件，以避免目标文件的无效快照占用存储资源。

本申请提供的一种文件迁移方法，应用于分布式文件存储系统中的客户端，确定高速存储池中待迁移至慢速存储池中的目标文件；控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据；控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。本申请中，客户端在确定待迁移的目标文件之后，考虑到迁移不会改变目标文件，所以需控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据，这样可以避免目标文件的元数据的无效快照占用存储资源；且需控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件，这样可以避免目标文件的无效快照占用存储资源；可以降低分布式文件存储系统中的资源浪费。

本申请实施例提供的一种文件迁移方法，应用于分布式文件存储系统中的客户端，在控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据的过程中，可以发送表征文件迁移的标识信息至分布式文件存储系统中的元数据服务器，以使元数据服务器接收标识信息后跳过对目标文件的元数据的快照。当然还可以有其他控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据的方法，比如直接发送禁止快照目标文件的元数据的信息至元数据服务器等，本申请在此不做具体限定。

需要说明的是，在文件的迁移过程中，客户端确定待迁移的目标文件之后，需借助对象存储集群在慢速存储池中写入目标文件；并发送setattr消息至元数据服务器，以通知元数据服务器修改目标文件的元数据信息；最后再借助对象存储集群在高速存储池中删除目标文件。所以在发送表征文件迁移的标识信息至分布式文件存储系统中的元数据服务器的过程中，可以将该标识信息添加至setattr消息中，介质该setattr消息将该标识信息发送至元数据服务器。

本申请实施例提供的一种文件迁移方法，应用于分布式文件存储系统中的客户端，在控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件的过程中，考虑到快照过程会生成文件的快照域，也即快照文件的ID，且在文件的新快照域的值大于旧快照域的值的情况下，才会触发快照操作，所以可以灵活对快照域的值进行设置来避免快照操作的发生，也即调用分布式文件存储系统中的对象存储集群删除高速存储池中的目标文件的过程中，可以将目标文件的快照域传空，这样，目标文件空的快照域会小于之前旧的快照域，对象存储集群便可以基于传空的快照域跳过对高速存储池中的目标文件的快照。

具体应用场景中，在确定高速存储池中待迁移至低速存储池中的目标文件之后，控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据之前，还可以在调用对象存储集群将目标文件写入慢速存储池的过程中，将目标文件的快照域传空，这样，后续目标文件发生变化的话，可以直接基于新的快照域对目标文件进行快照，保证快照的正确性。

请参阅图2，图2为本申请实施例提供的一种文件迁移系统的结构示意图。

本申请实施例提供的一种文件迁移系统，应用于分布式文件存储系统中的客户端，可以包括：

第一确定模块101，用于确定高速存储池中待迁移至慢速存储池中的目标文件；

第一控制模块102，用于控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据；

第二控制模块103，用于控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。

本申请实施例提供的一种文件迁移系统，应用于分布式文件存储系统中的客户端，第一控制模块包括：

第一发送单元，用于发送表征文件迁移的标识信息至分布式文件存储系统中的元数据服务器，以使元数据服务器接收标识信息后跳过对目标文件的元数据的快照。

本申请实施例提供的一种文件迁移系统，应用于分布式文件存储系统中的客户端，第二控制模块包括：

第二发送单元，用于调用分布式文件存储系统中的对象存储集群删除高速存储池中的目标文件的过程中，将目标文件的快照域传空，以使对象存储集群基于传空的快照域跳过对高速存储池中的目标文件的快照。

本申请实施例提供的一种文件迁移系统，应用于分布式文件存储系统中的客户端，还包括：

第三发送单元，用于第一确定模块确定高速存储池中待迁移至低速存储池中的目标文件之后，第一控制模块控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据之前，调用对象存储集群将目标文件写入慢速存储池的过程中，将目标文件的快照域传空。

本申请还提供了一种文件迁移设备及计算机可读存储介质，其均具有本申请实施例提供的一种文件迁移方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种文件迁移设备的结构示意图。

本申请实施例提供的一种文件迁移设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：

确定高速存储池中待迁移至慢速存储池中的目标文件；

控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据；

控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。

本申请实施例提供的一种文件迁移设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：发送表征文件迁移的标识信息至分布式文件存储系统中的元数据服务器，以使元数据服务器接收标识信息后跳过对目标文件的元数据的快照。

本申请实施例提供的一种文件迁移设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：调用分布式文件存储系统中的对象存储集群删除高速存储池中的目标文件的过程中，将目标文件的快照域传空，以使对象存储集群基于传空的快照域跳过对高速存储池中的目标文件的快照。

本申请实施例提供的一种文件迁移设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：确定高速存储池中待迁移至低速存储池中的目标文件之后，控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据之前，调用对象存储集群将目标文件写入慢速存储池的过程中，将目标文件的快照域传空。

请参阅图4，本申请实施例提供的另一种文件迁移设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现文件迁移设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：

确定高速存储池中待迁移至慢速存储池中的目标文件；

控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据；

控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：发送表征文件迁移的标识信息至分布式文件存储系统中的元数据服务器，以使元数据服务器接收标识信息后跳过对目标文件的元数据的快照。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：调用分布式文件存储系统中的对象存储集群删除高速存储池中的目标文件的过程中，将目标文件的快照域传空，以使对象存储集群基于传空的快照域跳过对高速存储池中的目标文件的快照。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：确定高速存储池中待迁移至低速存储池中的目标文件之后，控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据之前，调用对象存储集群将目标文件写入慢速存储池的过程中，将目标文件的快照域传空。

本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本申请实施例提供的一种文件迁移系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的文件迁移方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。