掌桥专利:专业的专利平台
掌桥专利
首页

系统的数据转换方法、系统及电子设备

文献发布时间:2023-06-19 19:14:59


系统的数据转换方法、系统及电子设备

技术领域

本申请涉及数据处理技术领域,尤其是涉及系统的数据转换方法、系统及电子设备。

背景技术

随着业务发展、市场变化、客户体验需求的不断提升的背景下,核心系统经常需要进行功能升级;而在新核心系统的升级过程中,需要适配进行升级的下游业务处理装置数量众多,需要等到全部下游业务处理装置均升级完毕才能正常进行业务处理的时间也较长,导致系统升级空窗期长,升级效率较低。

发明内容

有鉴于此,本申请的目的在于提供系统的数据转换方法、系统、配置平台及数据转换装置,保证了在下游业务处理设备适配新业务核心系统的过渡期间,可以进行业务处理,减少了系统升级的业务处理空窗期,有助于提升系统升级的效率。

第一方面,本申请实施例提供了一种系统的数据转换方法,应用于升级系统的数据转换系统,所述数据转换系统包括配置平台、下游业务处理设备以及数据转换设备;所述数据转换方法,所述数据转换方法包括:

控制所述配置平台接收所述下游业务处理设备发送的业务处理请求;

控制所述配置平台基于所述业务处理请求,从新业务核心系统中以及旧业务核心系统中确定出响应于所述业务处理请求的多张升级业务数据表以及多张原始业务数据表,比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表;

控制所述配置平台将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备;

控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,并生成所述下游业务处理设备可识别的业务文件发送至所述下游业务处理设备。

在一种可能的实施方式中,通过以下步骤将所述至少一张差异业务数据表转换成数据文件:

基于所述数据转换设备指示的文件编码方式以及文件分隔符,将所述至少一张差异业务数据表的格式进行转换,生成所述数据文件。

在一种可能的实施方式中,所述将所述至少一张差异业务数据表转换成数据文件发送至数据转换设备,包括:

检测在在所述配置平台的运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件;

若在所述配置平台的数据目录下运行文件以及文本文件均存在,将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备。

在一种可能的实施方式中,在所述检测在在所述配置平台的运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件之后,所述数据转换方法还包括:

若在所述配置平台的数据目录下不存在运行文件或者不存在文本文件,确定至少一张差异业务数据表中的数据异常,并生成对应的数据报错信息;

若是预设时间段内生成数据报错信息的次数大于预设次数阈值,生成异常报警信息。

在一种可能的实施方式中,所述数据转换方法还包括:

比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与所述多张原始业务数据表相同的至少一张目标业务数据表;

将所述升级业务数据表中包括的至少一张目标业务数据表,转换为所述下游业务处理设备可识别的业务文件,下发至所述下游业务处理设备,以使所述下游业务处理设备应用对应的业务数据处理所述目标业务。

在一种可能的实施方式中,所述控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,生成所述下游业务处理装置可识别的业务文件发送至所述下游业务处理设备,包括:

控制所述数据转换设备接收所述配置平台基于接收的所述下游业务处理装置发送的业务需求确定出的数据文件;

控制所述数据转换设备将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表转换为所述下游业务处理装置可识别的业务文件后,发送至所述下游业务处理设备,以使所述下游业务处理设备基于所述业务文件转换后的业务数据处理目标业务。

在一种可能的实施方式中,所述将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表转换为所述下游业务处理设备可识别的业务文件,包括:

接收所述配置平台发送的数据文件,并将所述数据文件转换回至少一张差异业务数据表;

将所述至少一张差异业务数据表转换为对应的原始业务数据表;

将所述原始业务数据表按照所述下游业务处理设备的指示的数据转换规则,转换成所述业务文件。

在一种可能的实施方式中,所述将所述至少一张差异业务数据表转换为对应的原始业务数据表,包括:

确定所述差异业务数据表与对应的原始业务数据表之间的表格差异,确定所述差异业务数据表中的数据在所述原始业务数据表中的写入数据位置;

将所述差异业务数据表中的数据按照写入数据位置写入,得到所述原始业务数据表。

第二方面,本申请实施例提供了一种升级系统的数据转换系统,所述数据转换系统包括配置平台、数据转换装置以及下游业务处理装置;

所述配置平台,用于接收所述下游业务处理设备发送的业务处理请求;基于所述业务处理请求,从新业务核心系统中以及旧业务核心系统中确定出响应于所述业务处理请求的多张升级业务数据表以及多张原始业务数据表,并比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表,并将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备;

所述数据转换设备,用于接收所述配置平台发送的数据文件,并将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,将所述原始业务数据表转换为所述下游业务处理设备可识别的业务文件后,发送至所述下游业务处理设备;

所述下游业务处理设备,用于接收到目标业务后,生成所述业务处理请求发送至所述配置平台,在接收到所述数据转换设备发送的业务文件后,将所述业务文件转换为对应的业务数据,应用所述业务数据处理所述目标业务。

第三方面,本申请实施例还提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面任一项所述的系统的数据转换方法的步骤。

第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面任一项所述的系统的数据转换方法的步骤。

本申请实施例提供的系统的数据转换方法、系统及电子设备,控制配置平台接收下游业务处理设备发送的业务需求,从新业务核心系统中以及旧业务核心系统中确定出响应于业务处理请求的多张升级业务数据表以及多张原始业务数据表,并比较多张升级业务数据表以及多张原始业务数据表,确定出多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表,将至少一张差异业务数据表通过数据转换设备转换成对应的原始业务数据表后,再发送给下游业务处理设备进行业务处理。

在本申请中,在升级到新业务核心系统后,根据下游业务处理设备发送的业务处理请求,确定旧业务核心系统中包括的多个原始业务数据表以及新业务核心系统中包括多个升级业务数据表在响应所述业务需求时,存在差异的至少一个差异业务数据表,并通过数据转换设备将至少一个差异业务数据表转换成下游业务处理设备可以识别的文件,可以是可以识别的原始业务数据表,再发给下游业务处理设备,这样,将升级后新业务核心系统存在差异的与旧业务核心系统中差异业务数据表转换成下游业务处理设备可以识别的原始业务数据表,防止了下游业务处理设备无法识别升级后新业务核心系统中的业务数据表的情况出现,保证了在下游业务处理设备适配新业务核心系统的过渡期间,可以进行业务处理,减少了系统升级的业务处理空窗期,有助于提升系统升级的效率。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种系统的数据转换方法的流程图;

图2为本申请实施例所提供的数据转换过程中调度程序作业执行流程图;

图3为本申请实施例所提供的数据转换过程中调度作业示例流程图;

图4为本申请实施例所提供的一种系统的数据转换装置的结构示意图;

图5为本申请实施例所提供的升级系统的数据转换系统的结构示意图之一;

图6为本申请实施例所提供的升级系统的数据转换系统的结构示意图之二;

图7为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。

随着业务发展、市场变化、客户体验需求的不断提升的背景下,核心系统经常需要进行功能升级,而在系统升级过程中,经常需要对核心系统中现有表结构进行变更,例如,旧核心系统的业务数据可能由多张表改变为一张表,也可能是由一张表改为多张表;而在新核心系统的升级过程中,需要适配进行升级的下游业务处理装置数量众多,需要等到全部下游业务处理装置均升级完毕才能正常进行业务处理的时间也较长,导致系统升级空窗期长,升级效率较低。

基于此,本申请实施例提供了一种系统的数据转换方法,以减少系统升级的业务处理空窗期,提升系统升级的效率。

首先,对本申请实施例可适用的升级系统的数据转换系统的架构进行说明,具体地,数据转换系统包括配置平台,数据转换设备以及下游业务处理设备。

在本申请实施例中,下游业务处理设备需要处理目标业务时,会生成业务处理请求发送至配置平台,配置平台在就接收到下游业务处理设备发送的业务需求后,会针对于响应于业务处理请求所需的业务数据进行分析,从新业务核心系统中确定出多个响应业务需求的多张升级业务数据表,并从新业务核心系统中获取多张升级业务数据表,分析出多张升级业务数据表中与旧业务核心系统中响应所述业务需求的多张原始业务数据表存在差异的至少一张差异业务数据表,将至少一张差异业务数据表转换成数据转换设备要求格式的数据文件后,发送至数据转换设备;数据转换设备在接收到配置平台发送的数据文件后,将数据文件中包含的至少一张差异业务数据表转换为对应的原始业务数据表,在转换后将原始业务数据表打包为下游业务处理设备可以识别的业务文件后,发送至下游业务处理设备,下游业务处理设备在接收到数据转换设备发送的业务文件后,将业务文件转换为对应的业务数据,应用业务数据处理所述目标业务。这样,可以在下游业务处理设备并未完全适配升级后的新业务核心系统的过渡时期,保证下游业务处理设备可以识别新业务核心系统中的业务数据,下游业务处理设备在核心系统升级的过渡期间可以正常进行业务处理。

请参阅图1,图1为本申请实施例所提供的一种系统的数据转换方法的流程图。应用于升级系统的数据转换系统,所述数据转换系统包括配置平台、下游业务处理设备以及数据转换设备,如图1中所示,本申请实施例提供的系统的数据转换方法,包括:

S101、控制所述配置平台接收所述下游业务处理设备发送的业务处理请求。

S102、控制所述配置平台基于所述业务处理请求,从新业务核心系统中以及旧业务核心系统中确定出响应于所述业务处理请求的多张升级业务数据表以及多张原始业务数据表,比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表。

S103、控制所述配置平台将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备。

S104、控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,并生成所述下游业务处理设备可识别的业务文件发送至所述下游业务处理设备。

下面对本申请实施例示例性的各步骤进行说明:

S101、控制所述配置平台接收所述下游业务处理设备发送的业务处理请求。

在本申请实施例中,对于一个业务系统来说,可能会存在核心系统以及下游业务处理设备,在核心业务系统中存储有下游业务处理设备在处理业务时的业务数据,一般情况下这些业务数据会以数据表的形式存储在核心系统中,当下游业务处理设备需要进行业务处理时,会针对于目标业务生成相应的业务处理请求,并将业务处理请求反馈至配置平台,配置平台通过对业务处理请求的分析,确定出响应业务处理请求的业务数据表,进而从核心系统中获取到对应的业务数据表,以使下游业务数据处理设备根据获取到的业务数据表中的数据处理目标业务。

例如,针对于银行数据处理系统,核心业务系统中存储有各个银行支行网点的用户数据的多张业务数据表(例如,用户A-业务类型:贷款-业务时限:X年等),下游业务处理设备可以是各个银行支行网点的数据处理系统,若是Y银行支行网点接收到用户A的贷款数据变更时,可以生成贷款处理业务处理请求发送至配置平台,以通过配置平台从核心业务系统中确定出响应贷款处理业务处理请求的业务数据表。

值得注意的是,在不同下游业务处理设备向配置平台发送业务处理清求时,需要携带下游业务处理设备的标识(针对于上述示例:可以是银行支行网点编号)以及业务类型等信息,以便配置平台可以通过业务处理准确地分析出需要从核心系统中获取到的业务数据表。

S102、控制所述配置平台基于所述业务处理请求,从新业务核心系统中以及旧业务核心系统中确定出响应于所述业务处理请求的多张升级业务数据表以及多张原始业务数据表,比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表。

在本申请实施例中,新业务核心系统项目建设是一套基于旧核心业务系统的升级改造项目,旧业务核心系统的业务数据可能由多张表改变为一张表,也可能是由一张表改为多张表,因此,在接收到同样的下游业务处理设备的业务处理请求时,响应业务需求的业务数据表针对于新核心系统以及旧核心系统来说可能会存在一定的差异。

在本申请实施例中,需要在接收到业务处理后,根据接收到的业务处理请求,确定出在处理该业务处理请求时,需要用到的业务数据,根据不同业务数据所在的升级业务数据表,确定出新业务核心系统中响应业务处理请求的多张升级业务数据表,并从新业务核心系统中获取多张升级业务数据表,同时,根据业务需求,确定出在处理该业务处理请求时,需要用到的业务数据,根据不同业务数据所在的原始业务数据表,确定出旧业务核心系统中响应该业务需求的多张原始业务数据表,针对于多张升级业务数据表以及多张原始业务数据表来说,可能会存在完全一致的表(核心系统升级过程中并未改变得业务数据表)也可能会存在差异的多个业务数据表,本申请实施例中,需要进行转换的就是新业务核心系统以及旧业务核心系统中存在差异的至少一张差异业务数据表。

例如,针对于下游业务处理设备提出的业务处理请求来说,需要数据A、数据B以及数据C进行处理,在新业务核心系统中数据A、数据B以及数据C分别存储在升级业务数据表A、升级业务数据表B以及升级业务数据表C中,而在旧业务核心系统中数据A、数据B以及数据C同时存在原始业务数据表M中,此时,升级业务数据表A、升级业务数据表B以及升级业务数据表C就是新业务核心系统与旧业务核心系统在响应业务需求时存在差异的差异业务数据表。

在一种可能的实施方式中,针对于多张升级业务数据表以及多张原始业务数据表中完全一致的业务数据表,可以兼容旧业务核心系统直供模式,直接在数据初始化时,转换成下游业务处理设备可以识别的业务文件卸数到对应的摆渡机,下游业务处理设备直接从摆渡机处获取对应的业务文件。

具体地,所述数据转换方法还包括:

a1:比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与所述多张原始业务数据表相同的至少一张目标业务数据表。

a2:将所述升级业务数据表中包括的至少一张目标业务数据表,转换为所述下游业务处理设备可识别的业务文件,下发至所述下游业务处理设备,以使所述下游业务处理设备应用对应的业务数据处理所述目标业务。

在本申请实施例中,从响应业务处理请求的新业务核心系统的多张升级业务数据表中,确定出旧业务核心系统中响应业务需求的多张原始业务数据表相同的至少一张目标业务数据表,根据下游业务处理设备规定的编码格式、分隔符、文件名称等,根据至少一张目标业务数据表生成业务文件,将业务文件卸数到摆渡机,下游业务处理设备可以直接从摆渡机中获取到处理目标业务的业务文件。

其中,升级业务数据表与原始业务数据表相同的标准在于两张表包含的字段属性以及字段数量完全一致。

在一种可能的实施方式中,配置平台还可以对新业务核心系统中的升级业务数据表进行初始化,具体地,从所述新业务核心系统中获取并初始化与所述业务处理请求对应的升级业务数据表;当存在对应的调度数据库脚本时,执行所述调度数据库脚本,生成与所述升级业务数据表对应的数据表文件,并存储所述数据表文件。

值得注意的是,在对新业务核心系统中的多张升级业务数据表进行初始化时,需要调用对应的sql脚本进行初始化以及存储,需要先检测sql脚本是否存在,若是确定sql脚本存在,执行sql脚本;在存储业务数据表时,需要读取sql脚本,进而根据数据表选择(select)结果集生成多个txt文件,拼接txt文件,在import txt文件将数据导入数据库进行存储。

S103、控制所述配置平台将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备。

在本申请实施例中,在确定出新业务核心系统与旧核心业务系统之间存在差异的至少一张差异业务数据表后,需要将至少一张差异业务数据表转换成数据转换设备规定格式的数据文件,然后发送至数据转换设备。

在一种可能的实施方式中,配置平台从新业务核心系统中获取到的少一张差异业务数据表发送至数据转换设备是通过摆渡机完成的,配置平台将数据文件卸数到摆渡机,数据转换设备从摆渡机处获取数据文件进行数据转换。

其中,数据文件发送的过程是通过配置平台中的装数脚本(shell脚本)进行的,调取装数脚本(shell脚本),从摆渡机获取数据文件并把数据装入数据转换设备的贴源层数据表中。

在一种可能的实施方式中,在配置平台、数据转换设备以及下游业务处理设备处流转的数据的存储方式均是以文件形式进行存储的,加载到数据库中的过程也是通过读取文件完成的。

具体地,通过以下步骤将所述至少一张差异业务数据表转换成数据文件:

b1:基于所述数据转换设备指示的文件编码方式以及文件分隔符,将所述至少一张差异业务数据表的格式进行转换,生成所述数据文件;

在本申请实施例中,根据数据转换设备要求的文件编码方式、文件分隔符等特定要求将至少一张差异业务数据转换成数据文件,以文本格式或者压缩文件格式卸数到摆渡机,以通过摆渡机将数据发送至数据转换设备。

在一种可能的实施方式中,从配置平台将数据文件发送至数据转换设备需要调取不同的文件进行处理,因此,在处理时需要检测配置平台上的文件是否均存在。

具体地,步骤“将所述至少一张差异业务数据表转换成数据文件发送至数据转换装置”,包括:

c1:检测在所述配置平台的运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件。

c2:若在所述配置平台的数据目录下运行文件以及文本文件均存在,将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备。

在一种可能的实施方式中,在数据导入数据库时,需要检测运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件,若是存在将至少一张差异业务数据表转换成数据文件发送至数据转换设备,数据转换设备可以从数据库中装载数据。

具体地,在指定目录下自动检测相对应的ok文件,若ok文件存在,开始检测txt文件,若txt文件存在,开始装载数据。

在一种可能的实施方式中,若是运行文件以及文本文件不存在需要进行预警。

具体地,在步骤“检测在所述配置平台的运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件”之后,所述数据转换方法还包括:

d1:若在所述配置平台的数据目录下不存在运行文件或者不存在文本文件,确定至少一张差异业务数据表中的数据异常,并生成对应的数据报错信息。

d2:若是预设时间段内生成数据报错信息的次数大于预设次数阈值,生成异常报警信息。

在本申请实施例中,若是确定出在对应的数据目录下不存在运行文件或者是文本文件,确定数据存在问题,会进行作业报错生成数据报错信息,提示数据装载失败,并尝试重新进行数据装载文件检测过程,若是在预设时间段内连续生成数据报错信息的次数大于预设次数阈值,生成异常报警信息,提醒工作人员介入处理。

具体地,若ok文件、txt文件不存在,数据存在问题,则作业报错,装载数据失败,重试3次后报错,人工参与。

值得注意的是,数据在数据库中的存储方式为:清全插,import txt文件将数据导入数据库。

下面将通过具体示例,来对本申请实施例中的系统的数据转换过程进行阐述,请参阅图2,图2为本申请实施例所提供的数据转换过程中调度程序作业执行流程图:

步骤一T1→T2:时间自动触发虚拟父作业(V_LIA_START)。

步骤二T2→T3:虚拟父启动作业完成,触发数据载入层作业。

步骤三T3→T4:数据源导入到数据库。在指定目录下自动检测相对应的ok文件,若ok文件存在,开始检测txt文件,若txt文件存在,开始装载数据。若ok文件、txt文件不存在,数据存在问题,则作业报错,装载数据失败,重试3次后报错,人工参与。数据存储模式:全清全插,import txt文件将数据导入数据库。

步骤四T4→T5:数据载入层的初始化。此处有设计sql脚本,数据载入层完成后数据初始化层自动触发,检测sql脚本是否存在,若存在则执行sql脚本。数据存储模式:读取sql脚本,select结果集生成多个txt文件,拼接txt文件,在import txt文件将数据导入数据库。

步骤五T5→T6:将初始化层数据通过设计sql脚本逻辑转换数据后装载到转换层。初始化层加载完成后数据转换层自动触发,检测sql脚本是否存在,存在则执行sql脚本,如不存在,则返回报错信息;若sql脚本执行错误则返回报错信息。数据加载模式:读取sql脚本,select结果集生成多个txt文件,拼接txt文件,在import txt文件将数据导入数据库。

步骤六T6→T7:转换层加载完成,卸数层自动触发作业。Count转换层数据量,生成ok文件;通过时间参数获取不同时期的数据,export导出数据,生成txt文件。

步骤七T7→T8:卸数层完成,ok文件及txt文件自动上传到摆渡机。

步骤八T5、T6→T9:初始化层、转换层加载完成,自动触发转入历史库的作业。数据加载模式:若数据为增量数据,INSERT方式将增量数据加载到历史库表中;若数据为全量数据,则通过读取设计的sql脚本,select结果集生成多个txt文件,在import txt文件将数据导入到数据库中。

进一步的,请参阅图3,图3为本申请实施例所提供的数据转换过程中调度作业示例流程图,如图3中所示,数据转换过程中调度作业示例包括:

步骤一:时间自动触发虚拟父作业(V_LIA_START);

步骤二:负债组虚拟任务启动成功,触发数据载入层作业。

步骤三:ALI_LIA模型检查OK文件是否准备好,若是OK文件已准备好,进行数据载入层的初始化。

步骤四:ALI_LIA模型执行初始化逻辑,若是初始化逻辑执行成功进行数据转换逻辑,若是装在数据失败,重试3次后报错,需要人为参与。

步骤五:BLI_LIA模型若是确认初始化报错,需要排错后重新执行。

步骤六:转换层加载完成,若是转换逻辑执行成功,卸数层自动触发作业,生成ok文件;若是转换逻辑报错,排错后重新执行。

步骤七:卸数层完成,ok文件及txt文件自动上传到摆渡机,若是卸数报错,排错后重新执行。

步骤八:同步数据,成功同步数据和OK文件到摆渡机,若是同步报错,排错后重新执行。

步骤九:初始化层、转换层加载完成,自动触发转入历史库的作业,同步下发表数据到历史表;同步新核心初始化层表数据到历史表;回溯历史表数据到数仓转换层表。

S104、控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,并生成所述下游业务处理设备可识别的业务文件发送至所述下游业务处理设备。

在本申请实施例中,数据设备在接收到配置平台发送的数据文件后,从数据文件中解析出至少一个差异数据表,控制数据转换设备将升级业务数据表转换成下游业务处理设备可以识别的原始业务数据表,发送至下游业务处理设备,以使下游业务处理设备根据业务文件中的业务数据处理目标业务。

具体地,步骤“控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,生成所述下游业务处理装置可识别的业务文件发送至所述下游业务处理设备”,包括:

e1:控制所述数据转换设备接收所述配置平台基于接收的所述下游业务处理装置发送的业务需求确定出的数据文件。

e2:控制所述数据转换设备将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表转换为所述下游业务处理装置可识别的业务文件后,发送至所述下游业务处理设备,以使所述下游业务处理设备基于所述业务文件转换后的业务数据处理目标业务。

在一种可能的实施方式中,数据转换设备也是从摆渡机中获取数据的,通过配置平台中的装数脚本(shell脚本)进行调度,将数据装入数据转换装置的数据贴源层的数据表中。

在一种可能的实施方式中,数据转换设备包括数据贴源层、数据转换层以及数据下发层,通过数据贴源层、数据转换层以及数据下发层对新业务核心系统中与旧业务核心系统中存在差异的差异业务数据表转换为对应的原始业务数据表。

具体地,步骤“将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表转换为所述下游业务处理装置可识别的业务文件”,包括:

f1:接收所述配置平台发送的数据文件,并将所述数据文件转换回至少一张差异业务数据表。

f2:将所述至少一张差异业务数据表转换为对应的原始业务数据表。

f3:将所述原始业务数据表按照所述下游业务处理设备的指示的数据转换规则,转换成所述业务文件。

在本申请实施例中,接收配置平台发送的数据文件,并将数据文件转换成数据转换设备可以识别的至少一张差异业务数据表,并将至少一张差异业务数据表中的数据写入数据转换设备中的数据贴源层,进而将至少一张差异业务数据表转换为对应的原始业务数据表,再将原始数据表根据下游业务处理设备规定的编码格式、分隔符、文件名称等要求生成业务文件,卸数到摆渡机,下游业务处理设备从摆渡机获取对应的业务文件进行业务处理。

在一种可能的实施方式中,需要将差异业务数据表转换成对应的原始业务数据表是将差异业务数据表中的业务数据写入到原始业务数据表的过程。

具体地,步骤“将所述至少一张差异业务数据表转换为对应的原始业务数据表”,包括:

g1:确定所述差异业务数据表与对应的原始业务数据表之间的表格差异,确定所述差异业务数据表中的数据在所述原始业务数据表中的写入数据位置。

g2:将所述差异业务数据表中的数据按照写入数据位置写入,得到所述原始业务数据表。

在本申请实施例中,在确定出差异业务数据表后,需要确定出每张差异业务数据表与原始业务数据表之间的表格差异,此处,表格差异包括但不限于,相同业务数据写入位置不同,表格中所包括的字段数量不同,相同字段在业务数据表中的位置不同等。

例如,每张差异业务数据表与原始业务数据表之间的表格差异可以是业务数据A以及业务数据B存在于同一张原始业务数据表中,但是,在新业务核心系统中,业务数据A以及业务数据B是分别存在于两张升级业务数据表中;或者是,差异业务数据表包括4个字段,而在原始业务数据表中存在5个字段;或者是,W字段在差异业务数据表中的第三列,而W字段在原始业务数据表中的第五列。

在一种可能的实施方式中,在确定出差异业务数据表与原始业务数据表之间的差异后,需要确定差异业务数据表中的业务数据在原始业务数据表中位置,进而将差异业务数据表中的业务数据写入到原始业务数据表中,完成差异业务数据表到原始业务数据表的转换。

例如,业务数据A以及业务数据B存在于同一张原始业务数据表中,但是,在新业务核心系统中,业务数据A以及业务数据B是分别存在于两张升级业务数据表中,此时,确定出业务数据A位于原始业务数据表的X行Y列,业务数据B位于原始业务数据表的M行N列,分别将业务数据A写入原始业务数据表的X行Y列,业务数据B写入原始业务数据表的M行N列,将业务数据A以及业务数据B写入同一张业务数据表中,完成差异业务数据表到原始业务数据表的转换。

值得注意的是,对于本申请实施例来说,考虑的是新业务核心系统与旧业务核心系统中相同部分的业务数据的写入转换的问题,对于新业务核心系统中新增的且在旧业务核心系统中并不存在的业务数据来说,并不参与数据表转换的过程(新业务核心系统升级后新增的业务数据,当下游业务处理设备未适配新业务核心系统升级更新后,并不会由下游业务处理设备未的业务处理请求,因此,转换时也不需要进行考虑)。

在本申请实施例中,在将差异业务数据表到原始业务数据表的转换后,数据转换设备按照下游业务处理设备要求的文件编码方式、文件分隔符等生成对应的业务文件发送至下游业务处理设备进行业务处理,这样,在业务核心系统升级且下游业务处理设备并未完全升级适配新业务核心系统的过度时期,可以保证下游业务处理设备的业务正常处理。

本申请实施例提供的系统的数据转换系统及数据转换方法,控制配置平台接收下游业务处理设备发送的业务需求,从新业务核心系统中以及旧业务核心系统中确定出响应于业务处理请求的多张升级业务数据表以及多张原始业务数据表,并比较多张升级业务数据表以及多张原始业务数据表,确定出多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表,将至少一张差异业务数据表通过数据转换设备转换成对应的原始业务数据表后,再发送给下游业务处理设备进行业务处理。

在本申请中,在升级到新业务核心系统后,根据下游业务处理设备发送的业务处理请求,确定旧业务核心系统中包括的多个原始业务数据表以及新业务核心系统中包括多个升级业务数据表在响应所述业务需求时,存在差异的至少一个差异业务数据表,并通过数据转换设备将至少一个差异业务数据表转换成下游业务处理设备可以识别的原始业务数据表,再发给下游业务处理设备,这样,将升级后新业务核心系统存在差异的与旧业务核心系统中差异业务数据表转换成下游业务处理设备可以识别的原始业务数据表,防止了下游业务处理设备无法识别升级后新业务核心系统中的业务数据表的情况出现,保证了在下游业务处理设备适配新业务核心系统的过渡期间,可以进行业务处理,减少了系统升级的业务处理空窗期,有助于提升系统升级的效率。

基于同一发明构思,本申请实施例中还提供了与系统的数据转换方法对应的系统的数据转换装置,由于本申请实施例中的系统的数据转换装置解决问题的原理与本申请实施例上述系统的数据转换装置方法相似,因此配置平台的实施可以参见方法的实施,重复之处不再赘述。

请参阅图4,图4为本申请实施例所提供的一种系统的数据转换装置的结构示意图,如图4中所示,所述数据转换装置400包括:

请求接收模块410,控制所述配置平台接收所述下游业务处理设备发送的业务处理请求;

差异数据表确定模块420,控制所述配置平台基于所述业务处理请求,从新业务核心系统中以及旧业务核心系统中确定出响应于所述业务处理请求的多张升级业务数据表以及多张原始业务数据表,比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表;

文件发送模块430,控制所述配置平台将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备;

数据转换模块440,控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,并生成所述下游业务处理设备可识别的业务文件发送至所述下游业务处理设备。

在一种可能的实施方式中,所述文件发送模块430用于通过以下步骤将所述至少一张差异业务数据表转换成数据文件:

基于所述数据转换设备指示的文件编码方式以及文件分隔符,将所述至少一张差异业务数据表的格式进行转换,生成所述数据文件。

在一种可能的实施方式中,所述文件发送模块430在用于将所述至少一张差异业务数据表转换成数据文件发送至数据转换设备时,所述文件发送模块430用于:

检测在所述配置平台中的运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件;

若在所述配置平台中的数据目录下运行文件以及文本文件均存在,将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备。

在一种可能的实施方式中,所述文件发送模块430还用于:

若在所述配置平台中的数据目录下不存在运行文件或者不存在文本文件,确定至少一张差异业务数据表中的数据异常,并生成对应的数据报错信息;

若是预设时间段内生成数据报错信息的次数大于预设次数阈值,生成异常报警信息。

在一种可能的实施方式中,如图4所示,所述配置平台400还包括文件直供模块450,所述文件直供模块450用于:

比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与所述多张原始业务数据表相同的至少一张目标业务数据表;

将所述升级业务数据表中包括的至少一张目标业务数据表,转换为所述下游业务处理设备可识别的业务文件,下发至所述下游业务处理设备,以使所述下游业务处理设备应用对应的业务数据处理所述目标业务。

在一种可能的实施方式中,所述数据转换模块440在用于控制所述数据转换设备将所述至少一张差异业务数据表转换为对应的原始业务数据表,生成所述下游业务处理装置可识别的业务文件发送至所述下游业务处理设备时,所述数据转换模块440用于:

控制所述数据转换设备接收所述配置平台基于接收的所述下游业务处理装置发送的业务需求确定出的数据文件;

控制所述数据转换设备将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表转换为所述下游业务处理装置可识别的业务文件后,发送至所述下游业务处理设备,以使所述下游业务处理设备基于所述业务文件转换后的业务数据处理目标业务。

在一种可能的实施方式中,所述数据转换模块440在用于将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表转换为所述下游业务处理设备可识别的业务文件时,所述数据转换模块440用于:

接收所述配置平台发送的数据文件,并将所述数据文件转换回至少一张差异业务数据表;

将所述至少一张差异业务数据表转换为对应的原始业务数据表;

将所述原始业务数据表按照所述下游业务处理设备的指示的数据转换规则,转换成所述业务文件。

在一种可能的实施方式中,所述数据转换模块440在用于将所述至少一张差异业务数据表转换为对应的原始业务数据表时,所述数据转换模块440用于:

确定所述差异业务数据表与对应的原始业务数据表之间的表格差异,确定所述差异业务数据表中的数据在所述原始业务数据表中的写入数据位置;

将所述差异业务数据表中的数据按照写入数据位置写入,得到所述原始业务数据表。

在另一种可能的实施方式中,本申请实施例还提供一种升级系统的数据转换系统,请参阅图5,图5为本申请实施例所提供的升级系统的数据转换系统的结构示意图之一,如图5所示,数据转换系统500包括配置平台510,数据转换设备520以及下游业务处理设备530;

所述配置平台510,用于接收所述下游业务处理设备发送的业务处理请求;基于所述业务处理请求,从新业务核心系统中以及旧业务核心系统中确定出响应于所述业务处理请求的多张升级业务数据表以及多张原始业务数据表,并比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表,并将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备;

所述数据转换设备520,用于接收所述配置平台发送的数据文件,并将所述数据文件中包括的至少一张差异业务数据表转换为对应的原始业务数据表,将所述原始业务数据表转换为所述下游业务处理设备可识别的业务文件后,发送至所述下游业务处理设备;

所述下游业务处理设备530,用于接收到目标业务后,生成所述业务处理请求发送至所述配置平台,在接收到所述数据转换设备发送的业务文件后,将所述业务文件转换为对应的业务数据,应用所述业务数据处理所述目标业务。

在一种可能的实施方式中,配置平台510还用于:

基于所述数据转换设备指示的文件编码方式以及文件分隔符,将所述至少一张差异业务数据表的格式进行转换,生成所述数据文件。

在一种可能的实施方式中,配置平台510还用于:

检测在运行执行数据目录下是否存在执行差异业务数据表的格式转换流程的运行文件以及文本文件;

若对应的数据目录下运行文件以及文本文件均存在,将所述至少一张差异业务数据表转换成数据文件发送至所述数据转换设备520;

若对应的数据目录下不存在运行文件或者不存在文本文件,确定至少一张差异业务数据表中的数据异常,并生成对应的数据报错信息;

若是预设时间段内生成数据报错信息的次数大于预设次数阈值,生成异常报警信息。

在一种可能的实施方式中,配置平台510包括数据初始化层,所述数据初始化层用于:

从所述新业务核心系统中获取并初始化与所述业务需求对应的升级业务数据表;

当存在对应的调度数据库脚本时,执行所述调度数据库脚本,生成与所述升级业务数据表对应的数据表文件,并存储所述数据表文件。

在一种可能的实施方式中,所述数据初始化层还用于:

比较多张升级业务数据表以及多张原始业务数据表,确定出所述多张原始业务数据表中与所述多张原始业务数据表相同的至少一张目标业务数据表;

将所述升级业务数据表中包括的至少一张目标业务数据表,转换为所述下游业务处理设备530可识别的业务文件,下发至所述下游业务处理设备530,以使所述下游业务处理设备530应用对应的业务数据处理所述目标业务。

针对于配置平台510对于业务数据的具体处理步骤在系统的数据转换方法的实施例中以具体进行说明,在此不再赘述。

在一种可能的实施方式中,请参阅图6,图6为本申请实施例所提供的升级系统的数据转换系统的结构示意图之二,如图6所示,数据转换系统500还包括第一摆渡机540以及第二摆渡机550;

所述第一摆渡机540,用于接收所述配置平台510发送的数据文件,并将所述数据文件转换至所述数据转换设备520;

所述第二摆渡机550,用于接收所述数据转换设备520发送的业务文件,并将所述业务文件转发至所述下游业务处理设备530。

具体地,配置平台510从新业务核心系统中获取到的少一张差异业务数据表发送至数据转换装置是通过第一摆渡机540完成的,配置平台510将数据文件卸数到第一摆渡机540,数据转换设备520从第一摆渡机540处获取数据文件进行数据转换;将数据文件转换成数据转换设备520可以识别的至少一张差异业务数据表,并将至少一张差异业务数据表中的数据写入数据转换设备520中的数据贴源层,进而将至少一张差异业务数据表转换为对应的原始业务数据表,再将原始数据表根据下游业务处理设备530规定的编码格式、分隔符、文件名称等要求生成业务文件,卸数到第二摆渡机550,下游业务处理设备530从第二摆渡机550获取对应的业务文件进行业务处理。

在一种可能的实施方式中,如图7所示,所述数据转换设备520包括数据贴源层、数据转换层以及数据下发层;

所述数据贴源层,用于接收所述配置平台510发送的数据文件,并将所述数据文件转换回至少一个差异业务数据表;将所述至少一个差异业务数据表发送至所述数据转换层;

所述数据转换层,用于将所述至少一个差异业务数据表转换为对应的原始业务数据表,并将所述原始业务数据表发送至所述数据下发层;

所述数据下发层,用于将所述原始业务数据表按照所述下游业务处理装置的指示的数据转换规则,转换成所述业务文件,并将所述业务文件发送至所述下游业务处理设备530。

所述数据转换层具体用于:

确定所述差异业务数据表与对应的原始业务数据表之间的表格差异,确定所述差异业务数据表中的数据在所述原始业务数据表中的写入数据位置;

将所述差异业务数据表中的数据按照写入数据位置写入,得到所述原始业务数据表。

针对于数据转换设备520中数据贴源层、数据转换层以及数据下发层对于业务数据的具体处理步骤在系统的数据转换方法的实施例中以具体进行说明,在此不再赘述。

在一种可能的实施方式中,数据转换系统500还包括历史表库(图中未示出),所述历史表库用于:

存储所述数据转换设备520转换后的原始业务数据表以及所述数据初始化存储层初始化的升级业务数据表;或者;

还原初始化的升级业务数据表后,发送至所述配置平台510初始化新业务核心系统中的升级业务数据表的流程中。

具体地,历史表库的作用在于对旧业务核心系统中的原始业务数据表以及初始化后的新业务核心系统中被初始化后的升级业务数据表进行存储,以便后续可以直接将处理过后的业务数据表进行调用(在遇到相同的业务请求时,可以不再去新业务核心系统请求数据),同时,历史表库还可以对升级后的新业务核心系统中的表进行初始化后的业务数据进行还原,在从历史表库中调用相同的新业务核心系统的业务数据时,将新业务核心系统中的表进行初始化后的业务数据进行还原,返回至数据初始化层进行后续转换处理。

本申请实施例提供的系统的数据转换系统及数据转换装置,控制配置平台接收下游业务处理设备发送的业务需求,从新业务核心系统中以及旧业务核心系统中确定出响应于业务处理请求的多张升级业务数据表以及多张原始业务数据表,并比较多张升级业务数据表以及多张原始业务数据表,确定出多张原始业务数据表中与多张原始业务数据表存在差异的至少一张差异业务数据表,将至少一张差异业务数据表通过数据转换设备转换成对应的原始业务数据表后,再发送给下游业务处理设备进行业务处理。

在本申请中,在升级到新业务核心系统后,根据下游业务处理设备发送的业务处理请求,确定旧业务核心系统中包括的多个原始业务数据表以及新业务核心系统中包括多个升级业务数据表在响应所述业务需求时,存在差异的至少一个差异业务数据表,并通过数据转换设备将至少一个差异业务数据表转换成下游业务处理设备可以识别的原始业务数据表,再发给下游业务处理设备,这样,将升级后新业务核心系统存在差异的与旧业务核心系统中差异业务数据表转换成下游业务处理设备可以识别的原始业务数据表,防止了下游业务处理设备无法识别升级后新业务核心系统中的业务数据表的情况出现,保证了在下游业务处理设备适配新业务核心系统的过渡期间,可以进行业务处理,减少了系统升级的业务处理空窗期,有助于提升系统升级的效率。

请参阅图7,图7为本申请实施例所提供的一种电子设备的结构示意图。如图7中所示,所述电子设备700包括处理器710、存储器720和总线730。

所述存储器720存储有所述处理器710可执行的机器可读指令,当电子设备700运行时,所述处理器710与所述存储器720之间通过总线730通信,所述机器可读指令被所述处理器710执行时,可以执行如上述图1所示方法实施例中的系统的数据转换方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。

本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的系统的数据转换方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

技术分类

06120115848281