一种分布式数据迁移方法及装置

技术领域

本发明涉及云计算、云迁移、云运维技术领域，尤其是涉及一种分布式数据迁移方法及装置。

背景技术

随着央企云、国家云业务的飞速发展，企业上云的需求越来越多，规模也也越来越大，数据迁移上云的需求对迁移工具的要求也越来越高，在大规模化企业数据上云迁移的应用场景下，数据源通常有图片、音频、视频、文本、二进制等各种类型数据文件，每种类型的文件在数据读取、网络传输、数据写入、数据压缩等环节的性能和效率不同。

中国专利分布式数据迁移方法、系统和电子设备(CN202010468771.9)，该发明解决数据迁移过程中迁入设备过载问题，使迁入设备在数据迁移过程中能有资源来提供线上服务，避免数据迁移时对线上服务造成负面影响，未涉及针对具体的迁移数据类型的迁移任务调度，例如图片、音频、视频、文本、二进制文件等数据类型。

中国专利一种分布式数据在线迁移方法、装置、终端及存储介质(CN202011375169.7)，该发明只在解决数据库现有的分布式数据在线迁移技术存在数据迁移可靠性低的技术问题，防止源数据分库或目标数据分库负荷过高的情况，同样未涉及针对其他具体的迁移数据类型(如音频、视频、图片、文本、二进制文件等)的迁移任务调度。

上述中的现有技术方案存在以下缺陷：传统的单机版工具软件、命令行已经无法满足大规模数据迁移上云的要求。

发明内容

本发明的目的是提供一种分布式数据迁移方法及装置能够针对不同类型数据源(图片、音频、视频、文本、二进制等各种类型数据文件，动态感知每种类型的文件在数据读取、网络传输、数据写入等环境的性能和效率，进行智能化迁移任务调度，进而提升上云效率和云计算应用水平。

为实现上述目的，本发明提供了如下技术方案：

一种分布式数据迁移方法及装置，具体步骤为：

S1、迁移控制引擎初始化；

S2、迁移节点初始化；

S3、迁移控制引擎执行迁移工作；

S4、迁移节点执行数据校验。

进一步地，S1中迁移控制引擎动态接收迁移节点注册，形成分布式数据迁移架构，执行对分布式迁移节点内的迁移装置的任务调度。

进一步地，S2中迁移节点执行数据迁移任务的任务节点，内置各类数据迁移装置。

进一步地，S2中还包括：图片迁移装置初始化、音频迁移装置初始化、视频迁移装置初始化、文本迁移装置初始化、二进制文件迁移装置初始化。

进一步地，S3中还包括：动态更新i个迁移节点内的第j迁移装置的效率因子：

第i个迁移节点内的所有m个迁移装置的初始化效率因子表示如下：

E

第i个迁移节点内的第j迁移装置的效率因子计算方法为：

E

其中Tn表示为[1–(最近第n次数据迁移时间/最近n次数据迁移的累计处理时间)],(其中0

进一步地，对n个数据源根据优先级大小进行排序，n个数据源的优先级集合表示如下：

(S

然后设置n个数据源的每类数据迁移任务优先级列表：P

进一步地，根据数据源优先级、数据源内j类迁移任务的优先级，以及所有迁移装置的效率因子，来调度迁移任务：根据效率因子排序后，选择正确的迁移装置来执行后续数据迁移任务。

进一步地，迁移节点的内置迁移装置完成数据迁移工作，主要包括数据读操作、数据传输操作、数据写操作。

进一步地，迁移装置完成数据迁移工作后，迁移节点通过全局配置校验算法，完成数据校验工作。

进一步地，一种分布式数据迁移装置，包括：迁移控制引擎，迁移节点装置，其中迁移节点装置包括：图片迁移装置、音频迁移装置、视频迁移装置、文本迁移装置、二进制文件迁移装置。

综上所述，本发明的有益技术效果为：

1、本发明设计分布式数据迁移装置，包括迁移控制引擎、图片迁移装置、音频迁移装置、视频迁移装置、文本迁移装置、二进制文件迁移装置等非常具体的装置构成，此外还包括自动感知迁移装置效率，动态任务调度能力，并且应用到大规模数据上云应用场景中，提升上云效率和云计算应用水平；

2、本发明能够针对不同类型数据源(图片、音频、视频、文本、二进制等各种类型数据文件，动态感知每种类型的文件在数据读取、网络传输、数据写入等环境的性能和效率，进行智能化迁移任务调度。

附图说明

图1为本发明整体框架结构图；

图2为本发明图1的局部明细图。

具体实施方式

实施例一

以下结合附图对本发明方法作进一步详细说明。

参照附图1、附图2，一种分布式数据迁移方法及装置，具体步骤为：

S1、迁移控制引擎初始化，其中迁移控制引擎动态接收迁移节点注册，形成分布式数据迁移架构，执行对分布式迁移节点内的迁移装置的任务调度。

实施例二

参照附图1、附图2，迁移节点初始化，其中迁移节点执行数据迁移任务的任务节点，内置各类数据迁移装置，具体的，还包括：图片迁移装置初始化、音频迁移装置初始化、视频迁移装置初始化、文本迁移装置初始化、二进制文件迁移装置初始化。

实施例三

参照附图1、附图2，S3、迁移控制引擎执行迁移工作，包括：动态更新i个迁移节点内的第j迁移装置的效率因子：

第i个迁移节点内的所有m个迁移装置的初始化效率因子表示如下：

E

第i个迁移节点内的第j迁移装置的效率因子计算方法为：

E

其中Tn表示为[1–(最近第n次数据迁移时间/最近n次数据迁移的累计处理时间)],(其中0

对n个数据源根据优先级大小进行排序，n个数据源的优先级集合表示如下：

(S

然后设置n个数据源的每类数据迁移任务优先级列表：P

根据数据源优先级、数据源内j类迁移任务的优先级，以及所有迁移装置的效率因子，来调度迁移任务：根据效率因子排序后，选择正确的迁移装置来执行后续数据迁移任务；

迁移节点的内置迁移装置完成数据迁移工作，主要包括数据读操作、数据传输操作、数据写操作。

实施例四

参照附图1、附图2，S4、迁移节点执行数据校验，其中迁移装置完成数据迁移工作后，迁移节点通过全局配置校验算法，完成数据校验工作。

实施例五

参照附图1、附图2，一种分布式数据迁移装置，包括：迁移控制引擎，迁移节点装置，其中迁移节点装置包括：图片迁移装置、音频迁移装置、视频迁移装置、文本迁移装置、二进制文件迁移装置。

重要的是，应注意，在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案，但参阅此公开内容的人员应容易理解，在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下，许多改型是可能的(例如，各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如，温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如，示出为整体成形的元件可以由多个部分或元件构成，元件的位置可被倒置或以其它方式改变，并且分立元件的性质或数目或位置可被更改或改变。因此，所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中，任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构，且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下，可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此，本发明不限制于特定的实施方案，而是扩展至仍落在所附的权利要求书的范围内的多种改型。

此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或与实现本发明不相关的那些特征)。

应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。