掌桥专利:专业的专利平台
掌桥专利
首页

数据库的数据迁移方法、装置、计算机设备及存储介质

文献发布时间:2023-06-19 19:23:34


数据库的数据迁移方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理领域,特别涉及一种数据库的数据迁移方法、装置及计算机设备、计算机存储介质。

背景技术

随着业务的不断发展,业务的产线会越来越多,当业务产线出现问题例如产线上的某个文件无法正常生成时,需要对产线数据进行数据分析后补充文件,目前在对产线数据进行分析之前,是通过特定数据库语言将产线数据进行导出,或者通过对数据表的复制继续数据导出后分析,而在产线的数据量大时,该方式无法高效地对数据进行迁移,同时,产线数据的导出还可能会影响业务的进行,导致数据的处理效率低。

发明内容

本发明的目的在于提供一种数据库的数据迁移方法、装置及计算机设备、计算机存储介质,以至少解决转移大数据量的产线数据效率低的问题。

为解决上述技术问题,本发明提供一种数据库的数据迁移方法,包括:

获取目标数据库的数据库标识;

根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接;

获取对所述目标数据库进行查询操作的指定类型查询语句;

对所述指定类型查询语句进行格式化,并将格式化的指定类型查询语句进行拼接,得到分页查询语句;

访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据;

将所述数据按照预设格式写入到指定文件中。

可选的,所述将格式化的指定类型查询语句进行拼接,得到分页查询语句,包括:

根据所述数据库标识确定所述目标数据库的类型;

根据所述目标数据库的类型配置分页规则,将所述格式化的指定类型查询语句按照所述分页规则进行拼接,得到分页查询语句。

可选的,所述根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,还包括:

获取预设对象的属性与配置信息;

将所述预设对象的属性与配置信息写入到所述查询链接中。

可选的,所述访问所述查询链接之后,并根据所述分页查询语句获取所述目标数据库的数据之前,还包括:

解析所述查询链接,获取其中的校验信息,所述校验信息包括所述预设对象的属性与配置信息及所述查询操作类型参数;

若所述校验信息符合要求,才根据所述分页查询语句获取所述目标数据库的数据。

可选地,所述访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据,包括:

访问所述查询链接并调取预设循环语句;

根据所述预设循环语句与所述分页查询语句循环获取所述目标数据库的数据,直至所述获取到的数据为空后结束循环。

可选的,所述访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据之后,还包括:

解析所述数据,将解析后的数据存储到特定维度列表中,所述特定维度列表包括二维列表;

所述将所述数据按照预设格式写入到指定文件中,包括:

响应于所述二维列表满足预设条件的触发指令,将所述二维列表中的数据按照预设格式写入到指定文件中。

可选的,所述将所述数据按照预设格式写入到指定文件中,包括:

获取所述指定文件的文件类型;

根据所述文件类型配置数据写入规则;

基于所述写入规则配置数据传输形式,根据所述传输形式将所述数据按照预设格式写入到指定文件。

为解决上述技术问题,本发明实施例还提供一种数据库的数据迁移装置,包括:

数据库获取模块,用于获取目标数据库的数据库标识;

链接生成模块,用于根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接;

语句获取模块,用于获取对所述目标数据库进行查询操作的指定类型查询语句;

语句配置模块,用于对所述指定类型查询语句进行格式化,并将格式化的指定类型查询语句进行拼接,得到分页查询语句;

数据查询模块,用于访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据;

数据写入模块,用于将所述数据按照预设格式写入到指定文件中。

可选地,所述语句配置模块还用于:

根据所述数据库标识确定所述目标数据库的类型;

根据所述目标数据库的类型配置分页规则,将所述格式化的指定类型查询语句按照所述分页规则进行拼接,得到分页查询语句。

可选地,所述链接生成模块还用于:

获取预设对象的属性与配置信息;

将所述预设对象的属性与配置信息写入到所述查询链接中。

可选地,所述数据查询模块还用于;

解析所述查询链接,获取其中的校验信息,所述校验信息包括所述预设对象的属性与配置信息及所述查询操作类型参数;

若所述校验信息符合要求,根据所述分页查询语句获取所述目标数据库的数据。

可选地,所述数据查询模块还用于;

访问所述查询链接并调取预设循环语句;

根据所述预设循环语句与所述分页查询语句循环获取所述目标数据库的数据,直至所述获取到的数据为空后结束循环。

可选地,所述数据查询模块还用于;

解析所述数据,将解析后的数据存储到特定维度列表中,所述特定维度列表包括二维列表;

所述数据写入模块还用于:

响应于所述二维列表满足预设条件的触发指令,将所述二维列表中的数据按照预设格式写入到指定文件中。

可选地,所述数据写入模块还用于:

获取所述指定文件的文件类型;

根据所述文件类型配置数据写入规则;

基于所述写入规则配置数据传输形式,根据所述传输形式将所述数据按照预设格式写入到指定文件。

为解决上述技术问题本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述数据库的数据迁移方法的步骤。

为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述数据库的数据迁移方法的步骤。

本发明创造实施例的有益效果是:通过获取目标数据库的数据库标识,所述数据库标识为不同数据库唯一的识别标识,然后根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,在获取目标数据库的数据库标识之后,需要访问目标数据库并对目标数据库进行数据查询的操作,才可以准确地从目标数据库中迁移出需要的数据,针对目标数据库中的数据配置相应的处理数据库的标准语言,即获取对所述目标数据库进行查询操作的指定类型查询语句,可以灵活调整所需查询的数据,提高数据查询的时效性,对获取到的指定类型查询语句进行格式化,格式化后的指定类型查询语句转化为预设格式的语句,然后将格式化的指定类型查询语句进行拼接,得到分页查询语句,通过分页查询语句可以对数据库中的大批量数据进行分块化地查询,有效地提高数据查询的效率,完成了对目标数据库进行操作的查询语句配置之后,再通过访问所述查询链接,根据所述分页查询语句获取所述目标数据库的数据,循环的查询操作完成对目标数据库的数据的查询,将获取的数据迁移至指定的目录下,并将所述数据按照预设格式写入到指定目录下的指定文件中,完成业务产线的数据库的数据迁移工作,产线数据的生成与产线数据的迁移相互独立,避免对生产业务所产生的目标数据库中的数据产生干扰,提高数据迁移的便捷性,提高数据迁移的效率。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本申请一个具体实施例的数据库的数据迁移方法的基本流程示意图;

图2为本申请一个具体实施例的数据库的数据迁移装置的基本结构示意图;

图3为本申请一个具体实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解,这里所使用的“终端”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。

需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。

本申请的一个或数个技术特征,除非明文指定,既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问,也可直接部署并运行于客户端来实施访问。

本申请中所引用或可能引用到的神经网络模型,除非明文指定,既可部署于远程服务器且在客户端实施远程调用,也可部署于设备能力胜任的客户端直接调用,某些实施例中,当其运行于客户端时,其相应的智能可通过迁移学习来获得,以便降低对客户端硬件运行资源的要求,避免过度占用客户端硬件运行资源。

本申请所涉及的各种数据,除非明文指定,既可远程存储于服务器,也可存储于本地终端设备,只要其适于被本申请的技术方案所调用即可。

本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。

本申请即将揭示的各个实施例,除非明文指出彼此之间的相互排斥关系,否则,各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例,只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通,本领域技术人员应当知晓。

请参阅图1,图1为本实施例数据库的数据迁移方法的基本流程示意图。

如图1所示,包括:

S1100、获取目标数据库的数据库标识;

本实施方式中,业务具有多条不同的产线,在数据量级较小时,可以将多条产线配置同一个数据库,在数据量级较大时,为了方便每条产线的数据管理,可以为每一条产线配置不同的数据库,当业务相关的产线出现问题时,需要对产线所产生的数据进行分析,即定位到相关的产线所配置的数据库,将其定义为目标数据库,每一个数据库均配置有唯一的识别标识与其他数据库进行区分,每一个数据库配置的唯一识别标识其定义为数据库标识,通过获取目标数据库的数据库标识,从而能够定位到相应的数据库。

需要指出的是,本实施例的实现可以通过一个数据迁移工具完成,为了使得数据迁移工具能够高效地对获取数据库的标识,需要为数据迁移工具预先配置产线的数据库的命名规则,在一种实施方式中,可以通过接入产线开放的数据接口获取产线的数据库的命名规则并在数据迁移工具中完成配置,使得数据迁移工具能够快速地获取或识别到目标数据库的数据库标识。

需要指出的是,不同产线的数据库的命名规则可以是不同的,通过数据库的命名规则可以确定数据库标识的形式,例如,数据库标识以DBid表征,DBid可以赋值为101,102,103用于表示产线Ⅰ的不同数据库,DBid可以赋值为201,202,203用于表示产线Ⅱ的不同数据库。

在一种应用场景中,当监测到产线上的文件的产生不符合预设要求时,确定产线出现问题,再定位产线的数据库而获取目标数据库的数据库标识,实现产线的自动监控;在另一种应用场景中,当监测到产线上的文件的产生不符合预设要求时,确定产线出现问题,用户输入产线对应的数据库的相关信息,从而获取目标数据库的数据库标识。

S1200、根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接;

在获取目标数据库的数据库标识之后,需要访问目标数据库并对目标数据库进行数据查询的操作,才可以准确地从目标数据库中迁移出需要的数据,其中,访问数据库需要通过URL(Uniform Resource Locator,统一资源定位符)才能够进行访问,另外,对数据库中的数据进行操作需要配置相应的操作类型,本实施例中,根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,其中,访问目标数据库的URL定义为链接,访问目标数据库而进行查询的链接则定义为查询链接,所述查询操作类型参数为固定值,用于配置访问目标数据库后能够进行数据查询的操作。

需要指出的是,查询操作类型参数可以从接入产线开放的数据接口而获取得到,为了更好地对目标数据库的数据进行操作,所述操作类型参数还包括新增、删除、修改等,当所述操作类型参数不同时,可以对目标数据库的数据的处理权限不同。

需要指出的是,根据所述数据库标识与操作类型参数生成的链接,限制了所能访问的目标数据库以及所能对目标数据库的操作权限,从而提高对数据库数据的管理效率。

S1300、获取对所述目标数据库进行查询操作的指定类型查询语句;

在根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接之后,需要针对目标数据库中的数据配置相应的处理数据库的标准语言,即配置对所述目标数据库进行查询操作的语句,将进行查询操作的语句定义为查询语句,同时,该查询语句为适用于目标数据库的指定类型的查询语句。

需要指出的是,针对不同类型的数据库,配置的指定类型查询语句不相同,例如针对数据库A,配置的查询语句为A1类型,针对数据库B,配置的查询语句为B1类型,所述不同类型的数据库包括Oracle或Mysql数据库或其他本领域技术人员使用的数据库。

需要指出的是,查询语句可以从预设文件中导入,该预设文件写入了对目标数据库进行查询的具体查询语句,包括查询的行、列、对象、数值、条件等,通过从预设文件导入可以利用历史的维护数据快速地配置对目标数据库进行查询操作的语句,提高数据查询的效率;查询语句也可以由用户进行输入,例如输出指定类型的查询语句配置模板,用户通过在查询语句配置模板上填写所需查询的字段,从而生成相应的查询语句,可以灵活调整所需查询的数据,提高数据查询的时效性。

S1400、对所述指定类型查询语句进行格式化,并将格式化的指定类型查询语句进行拼接,得到分页查询语句;

在获取对所述目标数据库进行查询操作的指定类型查询语句后,数据迁移工具对获取到的指定类型查询语句进行格式化,格式化后的指定类型查询语句转化为预设格式的语句,然后将格式化的指定类型查询语句进行拼接,得到分页查询语句,其中,分页查询语句包括分页查询的页码以及每一分页查询的数据条数,每一页的查询语句类型,语句数量等信息,通过分页查询语句可以对数据库中的大批量数据进行分块化地查询,有效地提高数据查询的效率。

需要指出的是,数据迁移工具中配置了针对不同类型查询语句的格式化规则,当获取到不同类型的查询语句时,基于不同的格式化规则对查询语句进行格式化,使得不同的查询语句格式化为统一格式的可拼接的查询语句,再将格式化的查询语句进行拼接,得到分页查询语句,通过配置不同类型的查询语句的格式化规则,可以满足不同开发人员使用不同查询语句进行查询语句的输入,从而提高数据迁移的可拓展性。

S1500、访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据;

对所述指定类型查询语句进行格式化,并将格式化的指定类型查询语句进行拼接,得到分页查询语句之后,数据迁移工具完成了对目标数据库进行操作的查询语句配置,然后通过访问所述查询链接,通过所述查询链接便能访问所述目标数据库以及对目标数据库进行操作,即根据所述分页查询语句获取所述目标数据库的数据,比如查询目标数据库中第1条到第10条的数据,即利用分页查询语句即是查询目标数据库中第1页的数据;查询目标数据库中第11条到第20条的数据,即利用分页查询语句即是查询目标数据库中第2页的数据,通过循环的查询操作完成对目标数据库的数据的查询。

S1600、将所述数据按照预设格式写入到指定文件中。

从访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据之后,需要将获取的数据迁移至指定的目录下,并将所述数据按照预设格式写入到指定目录下的指定文件中,在一种实施方式中,若指定目录下不存在指定文件,数据迁移工具则先新建指定文件后将数据按照预设格式写入到指定文件中;若指定目录下存在指定文件,数据迁移工具则按照数据的写入规则将数据按照预设格式写入到指定文件中。当目标数据库中的产线数据写入到指定文件后,对于产线数据的分析便可以对指定文件中的数据进行分析,避免对生产业务所产生的目标数据库中的数据产生干扰,提高数据迁移的便捷性。

上述实施方式中,通过获取目标数据库的数据库标识,所述数据库标识为不同数据库唯一的识别标识,然后根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,在获取目标数据库的数据库标识之后,需要访问目标数据库并对目标数据库进行数据查询的操作,才可以准确地从目标数据库中迁移出需要的数据,针对目标数据库中的数据配置相应的处理数据库的标准语言,即获取对所述目标数据库进行查询操作的指定类型查询语句,可以灵活调整所需查询的数据,提高数据查询的时效性,对获取到的指定类型查询语句进行格式化,格式化后的指定类型查询语句转化为预设格式的语句,然后将格式化的指定类型查询语句进行拼接,得到分页查询语句,通过分页查询语句可以对数据库中的大批量数据进行分块化地查询,有效地提高数据查询的效率,完成了对目标数据库进行操作的查询语句配置之后,再通过访问所述查询链接,根据所述分页查询语句获取所述目标数据库的数据,循环的查询操作完成对目标数据库的数据的查询,将获取的数据迁移至指定的目录下,并将所述数据按照预设格式写入到指定目录下的指定文件中,完成业务产线的数据库的数据迁移工作,产线数据的生成与产线数据的迁移相互独立,避免对生产业务所产生的目标数据库中的数据产生干扰,提高数据迁移的便捷性,提高数据迁移的效率。

在一些实施方式中,S1400中将格式化的指定类型查询语句进行拼接,得到分页查询语句,包括:

S1411、根据所述数据库标识确定所述目标数据库的类型;

在一种实施方式中,在对目标数据库进行数据操作时,不同的数据库中存储的数据数量,存储的数据方式不相同,为了准确地对目标数据库的数据进行操作,先根据所述数据库标识确定所述目标数据库的类型,基于数据库的类型可以知道目标数据库的数据数量、数据存储方式等。

需要指出的是,不同的产生可能配置的数据库的数据数量以及数据存储方式不同;通过数据库标识可以定位到唯一的目标数据库,确定数据库的类型,从而确定目标数据库存储的数据数量以及数据存储方式等,从而为不同类型的数据库配置不同的查询语句,以提高对目标数据库中数据的查询效率。

S1312、根据所述目标数据库的类型配置分页规则,将所述格式化的指定类型查询语句按照所述分页规则进行拼接,得到分页查询语句。

在确定所述目标数据库的类型,根据所述目标数据库的类型配置分页规则,基于目标数据库的类型可以确定目标数据库的数据量、数据存储方式,数据迁移工具以此配置适合相应数据量以及存储方式的分页查询语句,首先需要根据目标数据库的类型配置分页规则,再将所述格式化的指定类型查询语句按照所述分页规则进行拼接,得到分页查询语句,对于每一个不同的目标数据库,可以生成不同的分页查询语句,差异化的查询语句更加适合不同的目标数据库的数据查询操作,以此提高数据查询的效率。

本实施方式通过数据库标识确定目标数据库的类型,再依目标数据库的类型配置分页规则,将所述格式化的指定类型查询语句按照所述分页规则进行拼接,得到分页查询语句,针对不同的目标数据库配置差异化的分页查询语句,以提高对目标数据库的数据查询准确率及效率。

在一些实施方式中,S1200根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,包括:

S1211、获取预设对象的属性与配置信息;

在根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接之后,获取预设对象的属性与配置信息,需要指出的是,其中预设对象的属性包括进行数据迁移操作的用户的身份信息、用户进行数据迁移操作所使用的环境信息,所述配置信息包括用户的授权信息、设备配置信息等。。

S1212、将所述预设对象的属性与配置信息写入到所述查询链接中。

在获取预设对象的属性与配置信息之后,将所述预设对象的属性与配置信息写入到所述查询链接中,需要指出的是,所述预设对象的属性与配置信息通过加密的形式写入到所述查询链接中,可以有效地避免预设对象的属性与配置信息的泄露,并且,加密后的预设对象的属性与配置信息对于持有相应的解密密钥的对象才可以完成解密,在查询链接中写入预设对象的属性与配置信息,可以针对预设对象进行验证,还可以针对不同的预设对象配置不同的数据迁移的操作权限。

本实施方式通过获取进行数据迁移操作的预设对象的属性与配置信息,将所述预设对象的属性与配置信息写入到所述查询链接中,准确地记录每一次进行数据迁移操作的对象的详细信息,使得数据迁移操作具有可追溯性。

在一些实施方式中,S1500访问所述查询链接之后,并根据所述分页查询语句获取所述目标数据库的数据之前,还包括:

S1511、解析所述查询链接,获取其中的校验信息,所述校验信息包括所述预设对象的属性与配置信息及所述查询操作类型参数;

在访问所述查询链接之后,并根据所述分页查询语句获取所述目标数据库的数据之前,解析所述查询链接,获取其中的校验信息,然后对所述校验信息进行校验,其中,所述校验信息包括所述预设对象的属性与配置信息及所述查询操作类型参数,所述查询操作类型参数须为指定固定值才符合要求,所述预设对象的属性与配置信息须与预设定的数据相匹配才符合要求。

S1512、若所述校验信息符合要求,才根据所述分页查询语句获取所述目标数据库的数据。

在对所述校验信息进行校验之后,若所述校验信息符合要求,才根据所述分页查询语句获取所述目标数据库的数据,不仅根据预设对象的属性与配置信息校验预设对象进行数据迁移操作的身份合法性,还根据查询操作类型参数校验进行数据迁移操作的参数合法性,当两者均符合要求时,才能够正确地从目标数据库中获取数据。

本实施方式通过对查询链接中的信息进行校验,包括对查询链接中的预设对象的属性与配置信息以及查询操作类型参数进行校验,当校验通过后才能够获取目标数据库的数据,保证数据迁移的合法性与准确性。

在一些实施方式中,所述S1500访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据,包括:

S1521、访问所述查询链接并调取预设循环语句。

在访问所述查询链接之后,调取预设循环语句,在一种实施方式中,配置一个无条件的循环语句作为预设循环语句,然后调用该预设循环语句,能够实现循环地调用分压查询语句,即通过查询语句配合循环语句,可以实现多次地循环查询。

S1522、根据所述预设循环语句与所述分页查询语句循环获取所述目标数据库的数据,直至所述获取到的数据为空后结束循环。

在调取预设循环语句之后,根据所述预设循环语句与所述分页查询语句循环获取所述目标数据库的数据,通过无条件的循环语句可以依次执行分页查询语句,并在执行完一次的分页查询语句后,再重新执行分页查询语句,直至所述获取到的数据为空后结束循环,对于数据量较多的目标数据库而言,通过循环语句可以减少分页查询语句的配置数量,提高分页查询语句的配置的简便性,需要指出的是,对于可以使用同一分页查询语句的数据库而言,通过所述预设循环语句与所述分页查询语句可以循环地获取不同数据库中的数据,直至所有数据库的数据为空才结束循环,从而提高数据的迁移效率。

本实施方式通过配置循环语句与分页查询语句配合,不需要手动启动或结束数据迁移的执行,提高数据迁移的便捷性与效率。

在一些实施方式中,S1500访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据之后,还包括:

S1531、解析所述数据,将解析后的数据存储到特定维度列表中,所述特定维度列表包括二维列表;

访问所述查询链接,并根据所述分页查询语句获取所述目标数据库的数据之后,还需要对获取到的数据进行解析,由于从目标数据库查询到的数据未必满足数据迁移的要求,通过对获取到的数据进行解析,再将解析后的数据存储到特定维度列表中,所述特定维度列表包括二维列表,可以将获取到的数据解析转化为满足预设要求的二维数据,能够减少数据的资源占用,降低数据迁移时所需的资源配置。

在一些实施方式中,S1600将所述数据按照预设格式写入到指定文件中,包括:

S1601、响应于所述二维列表满足预设条件的触发指令,将所述二维列表中的数据按照预设格式写入到指定文件中。

在解析所述数据,将解析后的数据存储到特定维度列表中,所述特定维度列表包括二维列表之后,将所述数据按照预设格式写入到指定文件之前并非每获取到一次数据便将数据写入至指定文件中,而是先暂时缓存在二维列表中,并且对所述二维列表设定一个预设条件,当二维列表中获取到的数据满足预设条件后,响应于所述二维列表满足预设条件的触发指令,才将所述二维列表中的数据按照预设格式写入到指定文件中。

本实施方式通过将获取的目标数据库的数据进行解析后存储到二维列表中,可以简化数据存储的格式,降低数据存储的资源占用,并且设置相应的数据迁移触发条件,以在满足特定条件后才触发对数据迁移的操作,可以提高数据迁移的稳定性。

在一些实施方式中,S1600将所述数据按照预设格式写入到指定文件中,包括:

S1611、获取所述指定文件的文件类型;

在将所述数据按照预设格式写入到指定文件中,首先获取所述指定文件的文件类型,不同文件类型的数据写入方式不同,数据的传输形式也不同,通过文件类型的识别,可以准确地确定数据写入方式、数据传输方式,从而保证数据写入的准确性。

S1612、根据所述文件类型配置数据写入规则。

获取所述指定文件的文件类型之后,根据所述文件类型配置数据写入规则,对于需要写入不同类型的指定文件,配置相应的数据写入规则,所述数据写入规则包括了数据的写入形式、写入方式、写入限制等规则信息。

S1613、基于所述写入规则配置数据传输形式,根据所述传输形式将所述数据按照预设格式写入到指定文件。

根据所述文件类型配置数据写入规则之后,基于所述写入规则配置数据传输形式,根据所述传输形式将所述数据按照预设格式写入到指定文件,不同的指定文件配置不同的数据传输形式,在一种实施方式中,指定文件为文本文件,配置数据的传输形式为流式传输,然后以流的形式将目标数据库的数据写入到指定的文本文件中;在另一种实施方式中,指定文件为表格文件,配置数据的传输形式为分块传输,再定义表格中的各个表头,将目标数据库的数据分块地写入到表格中的对应的表头项中,完成按照预设格式将数据写入到指定文件中。

本实施方式通过配置数据写入指定文件的写入规则,对于不同类型的指定文件的数据写入配置不同的写入规则,可以有效地提高数据以预设格式写入到指定文件中的准确率与效率。

具体请参阅图2,图2为本实施例数据库的数据迁移装置基本结构示意图。

如图2所示,一种数据库的数据迁移装置,包括:数据库获取模块1100、链接生成模块1200、语句获取模块1300、语句配置模块1400、数据查询模块1500和数据写入模块1600。其中,运行状态模块1100用于获取应用程序的运行状态;业务管理模块1200用于当所述运行状态为前台运行状态时,获取应用程序的页面管理类,所述页面管理类用于存储所述第二页面的业务处理结果;渲染请求模块1300用于响应于所述应用程序对所述第一页面的渲染请求,获取所述第一页面的加载次数;业务获取模块1400用于当所述第一页面的加载次数发生改变时,从所述页面管理类中获取所述第二页面的业务处理结果;加载渲染模块1500用于根据所述第一页面的渲染请求及所述第二页面的业务处理结果加载所述第一页面。

数据库的数据迁移装置通过获取目标数据库的数据库标识,所述数据库标识为不同数据库唯一的识别标识,然后根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,在获取目标数据库的数据库标识之后,需要访问目标数据库并对目标数据库进行数据查询的操作,才可以准确地从目标数据库中迁移出需要的数据,针对目标数据库中的数据配置相应的处理数据库的标准语言,即获取对所述目标数据库进行查询操作的指定类型查询语句,可以灵活调整所需查询的数据,提高数据查询的时效性,对获取到的指定类型查询语句进行格式化,格式化后的指定类型查询语句转化为预设格式的语句,然后将格式化的指定类型查询语句进行拼接,得到分页查询语句,通过分页查询语句可以对数据库中的大批量数据进行分块化地查询,有效地提高数据查询的效率,完成了对目标数据库进行操作的查询语句配置之后,再通过访问所述查询链接,根据所述分页查询语句获取所述目标数据库的数据,循环的查询操作完成对目标数据库的数据的查询,将获取的数据迁移至指定的目录下,并将所述数据按照预设格式写入到指定目录下的指定文件中,完成业务产线的数据库的数据迁移工作,产线数据的生成与产线数据的迁移相互独立,避免对生产业务所产生的目标数据库中的数据产生干扰,提高数据迁移的便捷性,提高数据迁移的效率。

可选地,所述语句配置模块1400还用于:

根据所述数据库标识确定所述目标数据库的类型;

根据所述目标数据库的类型配置分页规则,将所述格式化的指定类型查询语句按照所述分页规则进行拼接,得到分页查询语句。

可选地,所述链接生成模块1200还用于:

获取预设对象的属性与配置信息;

将所述预设对象的属性与配置信息写入到所述查询链接中。

可选地,所述数据查询模块1500还用于;

解析所述查询链接,获取其中的校验信息,所述校验信息包括所述预设对象的属性与配置信息及所述查询操作类型参数;

若所述校验信息符合要求,根据所述分页查询语句获取所述目标数据库的数据。

可选地,所述数据查询模块1500还用于;

访问所述查询链接并调取预设循环语句;

根据所述预设循环语句与所述分页查询语句循环获取所述目标数据库的数据,直至所述获取到的数据为空后结束循环。

可选地,所述数据查询模块1500还用于;

解析所述数据,将解析后的数据存储到特定维度列表中,所述特定维度列表包括二维列表;

所述数据写入模块1600还用于:

响应于所述二维列表满足预设条件的触发指令,将所述二维列表中的数据按照预设格式写入到指定文件中。

可选地,所述数据写入模块1600还用于:

获取所述指定文件的文件类型;

根据所述文件类型配置数据写入规则;

基于所述写入规则配置数据传输形式,根据所述传输形式将所述数据按照预设格式写入到指定文件。

为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图3,图3为本实施例计算机设备基本结构框图。

如图3所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种交易凭证上链法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种数据库的数据迁移方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

本实施方式中处理器用于执行图2中数据库获取模块1100、链接生成模块1200、语句获取模块1300、语句配置模块1400、数据查询模块1500和数据写入模块1600的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有数据库的数据迁移装置中执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

计算机设备通过获取目标数据库的数据库标识,所述数据库标识为不同数据库唯一的识别标识,然后根据所述数据库标识与查询操作类型参数生成所述目标数据库的查询链接,在获取目标数据库的数据库标识之后,需要访问目标数据库并对目标数据库进行数据查询的操作,才可以准确地从目标数据库中迁移出需要的数据,针对目标数据库中的数据配置相应的处理数据库的标准语言,即获取对所述目标数据库进行查询操作的指定类型查询语句,可以灵活调整所需查询的数据,提高数据查询的时效性,对获取到的指定类型查询语句进行格式化,格式化后的指定类型查询语句转化为预设格式的语句,然后将格式化的指定类型查询语句进行拼接,得到分页查询语句,通过分页查询语句可以对数据库中的大批量数据进行分块化地查询,有效地提高数据查询的效率,完成了对目标数据库进行操作的查询语句配置之后,再通过访问所述查询链接,根据所述分页查询语句获取所述目标数据库的数据,循环的查询操作完成对目标数据库的数据的查询,将获取的数据迁移至指定的目录下,并将所述数据按照预设格式写入到指定目录下的指定文件中,完成业务产线的数据库的数据迁移工作,产线数据的生成与产线数据的迁移相互独立,避免对生产业务所产生的目标数据库中的数据产生干扰,提高数据迁移的便捷性,提高数据迁移的效率。

本申请还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例数据库的数据迁移方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。

本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

技术分类

06120115889580