数据库的数据迁移方法及系统

技术领域

本发明涉及数据库应用领域，可应用于金融领域和其他领域，尤指一种数据库的数据迁移方法及系统。

背景技术

随着国际形势发展，对于金融安全越来越受重视，金融系统的自主可控是未来的重点发展和转型方向。其中自主可控的数据库替代传统数据库是其中的一个方向，持续转型将成为一项常态化的工作，而自主可控的数据库目前刚发展起来，对于金融系统的转型存在一定风险，因此往往需要转型上线后通过灰度方式与传统数据库并行运行。

但传统数据库的数据迁移方式目前存在以下几个问题：依赖于传统数据库本身的核心产品或工具，一般仅支持同构数据库间的数据迁移，不支持异构数据库间的数据迁移；一般的数据迁移方式为停机下的存量数据迁移、或单向的增量数据同步，停机一次完成数据库的迁移，停机时间长；数据迁移之后业务运行一段时间出现问题难以回退，或者需要长时间停机后进行回退恢复，对业务连续性运营影响非常大。

发明内容

本发明目的在于提供一种数据库的数据迁移方法及系统，以保证最终迁移数据一致性，又可确保过渡期间风险可控，容易回退。

为达上述目的，本发明所提供的数据库的数据迁移方法，具体包含：将第一数据库主库中数据同步至第一数据库备库中，断开所述第一数据库主库和备库之间的连接并记录第一数据库的日志记录序列号；将所述第一数据库备库中的全量数据迁移至第二数据库，并通过数据表清单和数据记录数分析所述第一数据库备库向所述第二数据库的数据迁移情况；当数据迁移情况符合预设条件时，根据所述日志记录序列号将所述第一数据库主库和备库断开之后的所述第一数据库中的业务运营产生的增量数据迁移至所述第二数据库；通过反向器抓取第一服务器和第二服务器的应用请求，将所述应用请求同时发送至所述第一数据库和所述第二数据库。

在上述数据库的数据迁移方法中，优选的，将所述第一数据库备库中的全量数据迁移至第二数据库包含：获取所述第一数据库备库的全量表信息和记录信息；当所述记录信息大于预设阈值时，根据预设规则对所述全量表信息和所述记录信息进行拆分生成多个数据块；根据数据块从所述第一数据库备库中获取所述数据块涉及的全部数据并迁移至所述第二数据库。

在上述数据库的数据迁移方法中，优选的，根据数据块从所述第一数据库备库中获取所述数据块涉及的全部数据并迁移至所述第二数据库包含：将获取的所述数据块涉及的全部数据写入缓存队列中并标注为已读取；通过缓存队列中获取所述全部数据，将所述全部数据转化为执行查询语句并发送至所述第二数据库完成数据迁移。

在上述数据库的数据迁移方法中，优选的，通过数据表清单和数据记录数分析所述第一数据库备库向所述第二数据库的数据迁移情况包含：通过数据表清单和数据记录数比较所述第一数据库备库和所述第二数据库，获得比较结果；当比较结果不一致时，对差异项数据表进行补全处理。

在上述数据库的数据迁移方法中，优选的，根据所述日志记录序列号将所述第一数据库主库和备库断开之后的所述第一数据库中的业务运营产生的增量数据迁移至所述第二数据库包含：根据所述日志记录序列号读取所述第一数据库主库的增量数据日志；根据预设单向同步的表信息，从所述增量数据日志中获得对应的操作查询语句和所述操作查询语句的执行顺序；根据所述操作查询语句的执行顺序将所述操作查询语句依次提交至所述第二数据库执行，完成增量数据迁移。

在上述数据库的数据迁移方法中，优选的，通过反向器抓取第一服务器和第二服务器的应用请求，将所述应用请求同时发送至所述第一数据库和所述第二数据库包含：拦截所述第一服务器和所述第二服务器发起的业务交易请求；解析所述业务交易请求，当所述业务交易请求为双写清单请求时，将所述业务交易请求对应的交易写入所述第一数据库，并反向将所述交易请求提供至所述第二数据库。

本发明还提供一种数据库的数据迁移系统，具体包含：数据采集模块、存量数据迁移模块、单向增量数据迁移模块和反向器双写模块；所述数据采集模块用于将第一数据库主库中数据同步至第一数据库备库中，断开所述第一数据库主库和备库之间的连接并记录第一数据库的日志记录序列号；所述存量数据迁移模块用于将所述第一数据库备库中的全量数据迁移至第二数据库，并通过数据表清单和数据记录数分析所述第一数据库备库向所述第二数据库的数据迁移情况；所述单向增量数据迁移模块用于当数据迁移情况符合预设条件时，根据所述日志记录序列号将所述第一数据库主库和备库断开之后的所述第一数据库中的业务运营产生的增量数据迁移至所述第二数据库；所述反向器双写模块用于通过反向器抓取第一服务器和第二服务器的应用请求，将所述应用请求同时发送至所述第一数据库和所述第二数据库。

在上述数据库的数据迁移系统中，优选的，所述存量数据迁移模块包含全量数据迁移单元，所述全量数据迁移单元用于获取所述第一数据库备库的全量表信息和记录信息；当所述记录信息大于预设阈值时，根据预设规则对所述全量表信息和所述记录信息进行拆分生成多个数据块；根据数据块从所述第一数据库备库中获取所述数据块涉及的全部数据并迁移至所述第二数据库。

在上述数据库的数据迁移系统中，优选的，所述全量数据迁移单元还包含：将获取的所述数据块涉及的全部数据写入缓存队列中并标注为已读取；通过缓存队列中获取所述全部数据，将所述全部数据转化为执行查询语句并发送至所述第二数据库完成数据迁移。

在上述数据库的数据迁移系统中，优选的，所述单向增量数据迁移模块包含单向迁移单元，所述单向迁移单元用于根据所述日志记录序列号读取所述第一数据库主库的增量数据日志；根据预设单向同步的表信息，从所述增量数据日志中获得对应的操作查询语句和所述操作查询语句的执行顺序；根据所述操作查询语句的执行顺序将所述操作查询语句依次提交至所述第二数据库执行，完成增量数据迁移。

在上述数据库的数据迁移系统中，优选的，所述反向器双写模块包含双写单元，所述双写单元用于拦截所述第一服务器和所述第二服务器发起的业务交易请求；解析所述业务交易请求，当所述业务交易请求为双写清单请求时，将所述业务交易请求对应的交易写入所述第一数据库，并反向将所述交易请求提供至所述第二数据库。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明的有益技术效果在于：可以迁移前后数据库的数据能在短时间内实现最终一致性；可以实现数据库长时间并行运行，业务能够通过灰度的方式同时在双库上进行运营，对业务无感，同时在并行运行期间，可以对迁移后的系统进行充分的业务验证，确保系统可靠稳定；随着用户的推广，如果遇到系统运行出现不稳定，或存在短时间难以解决的影响正常运行的事件，可随时将用户回切至传统数据库，不影响业务连续性使用；业务请求反相器可实现从业务交易请求对双库发起调用数据库程序请求，不依赖于日志和sql写入机制。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例所提供的数据库的数据迁移方法的流程示意图；

图2为本发明一实施例所提供的数据库的数据迁移方法的应用原理示意图；

图3为本发明一实施例所提供的全量数据迁移的流程示意图；

图4为本发明一实施例所提供的全量数据迁移的应用原理示意图；

图5为本发明一实施例所提供的增量数据迁移的流程示意图；

图6为本发明一实施例所提供的单向增量数据迁移的应用原理示意图；

图7为本发明一实施例所提供的反向器双写流程示意图；

图8为本发明一实施例所提供的反向器双写的应用原理示意图；

图9为本发明一实施例所提供的数据库的数据迁移系统的结构示意图；

图10为本发明一实施例所提供的电子设备的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1所示，本发明所提供的一种本发明所提供的数据库的数据迁移方法，具体包含：

S101将第一数据库主库中数据同步至第一数据库备库中，断开所述第一数据库主库和备库之间的连接并记录第一数据库的日志记录序列号；

S102将所述第一数据库备库中的全量数据迁移至第二数据库，并通过数据表清单和数据记录数分析所述第一数据库备库向所述第二数据库的数据迁移情况；

S103当数据迁移情况符合预设条件时，根据所述日志记录序列号将所述第一数据库主库和备库断开之后的所述第一数据库中的业务运营产生的增量数据迁移至所述第二数据库；

S104通过反向器抓取第一服务器和第二服务器的应用请求，将所述应用请求同时发送至所述第一数据库和所述第二数据库。

在实际工作中，上述方法可用于现有技术中非国产化数据库向国产化数据库进行数据迁移的流程中，具体的可参考图2所示：

1、传统非国产化数据库主库将数据同步至传统非国产化数据库备库后，断开传统数据库间的主备连接，然后记录此时传统数据库的日志记录序列号；

2、通过存量数据同步模块将备库的全量数据迁移至国产化目标数据库；

3、存量数据迁移完成后通过监控对比模块确保迁移前后传统数据库备库数据表清单以及数据记录数与目标国产化数据库一致；

4、然后使用步骤1记录的数据库日志记录序列号，启用非国产化数据库与国产化数据的单向增量数据库迁移模块，用以迁移断开传统数据库主备连接后由于业务运营产生的部分表的增量数据(需要事前梳理具体需要单向增量迁移的表清单)；

5、监控模块定期检查传统源库与国产化目标库的数据记录结果，及时了解增量迁移情况，确保数据一致，发现存在问题并及时处理。

6、国产化数据库正式对外运营后，由反向器模块抓取非国产化应用服务器以及国产化应用服务器应用请求，将业务请求同时发送对方数据库，根据业务请求完成双方数据库双写操作。

请参考图3所示，在本发明一实施例中，将所述第一数据库备库中的全量数据迁移至第二数据库包含：

S301获取所述第一数据库备库的全量表信息和记录信息；

S302当所述记录信息大于预设阈值时，根据预设规则对所述全量表信息和所述记录信息进行拆分生成多个数据块；

S303根据数据块从所述第一数据库备库中获取所述数据块涉及的全部数据并迁移至所述第二数据库。

具体的，根据数据块从所述第一数据库备库中获取所述数据块涉及的全部数据并迁移至所述第二数据库可包含：将获取的所述数据块涉及的全部数据写入缓存队列中并标注为已读取；通过缓存队列中获取所述全部数据，将所述全部数据转化为执行查询语句并发送至所述第二数据库完成数据迁移。进一步的，通过数据表清单和数据记录数分析所述第一数据库备库向所述第二数据库的数据迁移情况包含：通过数据表清单和数据记录数比较所述第一数据库备库和所述第二数据库，获得比较结果；当比较结果不一致时，对差异项数据表进行补全处理。

在实际工作中请参考图4所示，存量数据迁移过程包含：

1、先从非国产化数据库备库中读取记录全量表信息以及记录信息，如果记录数大于100万(可通过参数定制)，则进入数据拆分装置；

2、由数据拆分装置对所有的表及数据进行规划拆分，例如表A记录数为200万，可将表A中的数据根据主键拆分为2个数据块；

3、数据拆分后由数据读取装置根据具体的数据块，从非国产化数据库备库中数据块涉及表中获取该块数据对应的全部数据，同时将此部分数据写入数据队列缓存中，并将此块数据标注为已读取；

4、数据写入装置从数据缓存队列中获取到数据库数据，并将数据逐条转换为执行sql，同时发送目标国产化数据完成数据写入。

5、存量数据迁移完成后，由监控模块对原非国产化数据库和目标国产化数据库数据记录进行监控对比，如不一致，需要针对具体存在问题的表进行补处理，确保最终迁移的数据一致。

请参考图5所示，在本发明一实施例中，根据所述日志记录序列号将所述第一数据库主库和备库断开之后的所述第一数据库中的业务运营产生的增量数据迁移至所述第二数据库包含：

S501根据所述日志记录序列号读取所述第一数据库主库的增量数据日志；

S502根据预设单向同步的表信息，从所述增量数据日志中获得对应的操作查询语句和所述操作查询语句的执行顺序；

S503根据所述操作查询语句的执行顺序将所述操作查询语句依次提交至所述第二数据库执行，完成增量数据迁移。

在实际工作中，单向增量数据迁移主要是在业务并行运行过渡期间，涉及部分数据表信息只会在原非国产化数据产生数据，因此只需从日志基表将次部分数据单向迁移至目标国产化数据库，用以减轻双写业务前台的压力。可参考图6所示，具体流程如下：

1、根据存量数据库迁移开始记录的数据库日志序列号，可根据该日志序列开始读取源非国产化数据库日志，并将读取日志单独写入磁盘存储；

2、由日志解析装置读取涉及日志内容，通过需要单向同步的表信息，从日志中获涉及表的操作sql，并记录其sql执行顺序，依次提交至目标国产化数据库执行，并记录启sql已执行；

3、按其同步所设置的表主键信息，对于执行过程中出现主键冲突的sql事务，避免数据重复，则不予处理；

4、通过监控模块对单向迁移的表数据进行监控，对比数据记录，确保结果一致。

请参考图7所示，在本发明一实施例中，通过反向器抓取第一服务器和第二服务器的应用请求，将所述应用请求同时发送至所述第一数据库和所述第二数据库包含：

S701拦截所述第一服务器和所述第二服务器发起的业务交易请求；

S702解析所述业务交易请求，当所述业务交易请求为双写清单请求时，将所述业务交易请求对应的交易写入所述第一数据库，并反向将所述交易请求提供至所述第二数据库。

在实际工作中，上述实施例中的双写操作，主要是从业务发起源头直接判断是否相关请求直接写入对应的数据库中，请参考图8所示，具体流程如下：

1、通过业务请求拦截装置分别对非国产化集群及国产化集群发起的业务交易进行拦截，例如非国产化集群发起的交易T1查询请求、T2(写入请求)、T3(写入请求)；

2、通过请求解析装置，对业务交易请求进行解析判断，例如T1为查询交易，则不需双写，则交易走正常处理流程，直接走向非国产化数据库路径；如T2交易为单向增量同步的表清单，改交易也走正常处理流程。而交易T3则为双写清单请求，该交易处正常写入非国产化数据库，同时反向同步装置将其交易请求提交至国产化数据库中。已达成数据库双写的目标。

3、监控模块对涉及到双向请求的表清单进行监控对比，确保双写数据的一致性。

请参考图9所示，本发明还提供一种数据库的数据迁移系统，具体包含：数据采集模块、存量数据迁移模块、单向增量数据迁移模块和反向器双写模块；所述数据采集模块用于将第一数据库主库中数据同步至第一数据库备库中，断开所述第一数据库主库和备库之间的连接并记录第一数据库的日志记录序列号；所述存量数据迁移模块用于将所述第一数据库备库中的全量数据迁移至第二数据库，并通过数据表清单和数据记录数分析所述第一数据库备库向所述第二数据库的数据迁移情况；所述单向增量数据迁移模块用于当数据迁移情况符合预设条件时，根据所述日志记录序列号将所述第一数据库主库和备库断开之后的所述第一数据库中的业务运营产生的增量数据迁移至所述第二数据库；所述反向器双写模块用于通过反向器抓取第一服务器和第二服务器的应用请求，将所述应用请求同时发送至所述第一数据库和所述第二数据库。

在上述实施例中，所述存量数据迁移模块包含全量数据迁移单元，所述全量数据迁移单元用于获取所述第一数据库备库的全量表信息和记录信息；当所述记录信息大于预设阈值时，根据预设规则对所述全量表信息和所述记录信息进行拆分生成多个数据块；根据数据块从所述第一数据库备库中获取所述数据块涉及的全部数据并迁移至所述第二数据库。进一步的，所述全量数据迁移单元还包含：将获取的所述数据块涉及的全部数据写入缓存队列中并标注为已读取；通过缓存队列中获取所述全部数据，将所述全部数据转化为执行查询语句并发送至所述第二数据库完成数据迁移。具体可参考前述图4所示，先从非国产化数据库备库中读取记录全量表信息以及记录信息，如果记录数大预设阈值时，则对所有的表及数据进行规划拆分；数据拆分后，根据具体的数据块，从非国产化数据库备库中数据块涉及表中获取该块数据对应的全部数据，同时将此部分数据写入数据队列缓存中，并将此块数据标注为已读取；再从数据缓存队列中获取到数据库数据，并将数据逐条转换为执行sql，同时发送目标国产化数据完成数据写入；值得说明的是，存量数据迁移完成后，还需对原非国产化数据库和目标国产化数据库数据记录进行监控对比，如不一致，需要针对具体存在问题的表进行补处理，确保最终迁移的数据一致。当然，实际工作中，本领域相关技术人员也可根据实际需要选择调整上述具体参数和流程，本发明对此并不做进一步限定。

在上述实施例中，所述单向增量数据迁移模块包含单向迁移单元，所述单向迁移单元用于根据所述日志记录序列号读取所述第一数据库主库的增量数据日志；根据预设单向同步的表信息，从所述增量数据日志中获得对应的操作查询语句和所述操作查询语句的执行顺序；根据所述操作查询语句的执行顺序将所述操作查询语句依次提交至所述第二数据库执行，完成增量数据迁移。具体可参考前述图6所示，可根据存量数据库迁移开始记录的数据库日志序列号，可根据该日志序列开始读取源非国产化数据库日志，并将读取日志单独写入磁盘存储；由日志解析装置读取涉及日志内容，通过需要单向同步的表信息，从日志中获涉及表的操作sql，并记录其sql执行顺序，依次提交至目标国产化数据库执行，并记录启sql已执行；按其同步所设置的表主键信息，对于执行过程中出现主键冲突的sql事务，避免数据重复，则不予处理；通过监控模块对单向迁移的表数据进行监控，对比数据记录，确保结果一致。当然，实际工作中，本领域相关技术人员也可根据实际需要选择调整上述具体参数和流程，本发明对此并不做进一步限定。

在上述实施例中，所述反向器双写模块包含双写单元，所述双写单元用于拦截所述第一服务器和所述第二服务器发起的业务交易请求；解析所述业务交易请求，当所述业务交易请求为双写清单请求时，将所述业务交易请求对应的交易写入所述第一数据库，并反向将所述交易请求提供至所述第二数据库。具体实例可参考前述图8及实施例所述，在此就不再一一详述。

本发明的有益技术效果在于：可以迁移前后数据库的数据能在短时间内实现最终一致性；可以实现数据库长时间并行运行，业务能够通过灰度的方式同时在双库上进行运营，对业务无感，同时在并行运行期间，可以对迁移后的系统进行充分的业务验证，确保系统可靠稳定；随着用户的推广，如果遇到系统运行出现不稳定，或存在短时间难以解决的影响正常运行的事件，可随时将用户回切至传统数据库，不影响业务连续性使用；务请求反相器可实现从业务交易请求对双库发起调用数据库程序请求，不依赖于日志和sql写入机制。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图10所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图10中所示的所有部件；此外，电子设备600还可以包括图10中没有示出的部件，可以参考现有技术。

如图10所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。