掌桥专利:专业的专利平台
掌桥专利
首页

一种数据导出、导入方法及装置

文献发布时间:2023-06-19 11:35:49


一种数据导出、导入方法及装置

技术领域

本发明涉及数据处理技术领域,特别是涉及一种数据导出、导入方法及装置。

背景技术

基于大数据等技术的业务平台可以向用户提供各种业务,这些业务平台在向用户提供业务时,会产生大量业务数据。在向用户提供上述业务数据之前,基于用户需求或者业务平台的需求,可能会需要按照一定的数据处理方式对业务数据进行处理。其中,基于一种数据处理方式对业务数据进行处理可以称为一项作业。

由于存在上述需求,需要针对业务平台提供的各种业务分别进行作业开发,并为业务平台的每一个业务配置相应的作业。

这样在业务平台数量较多,且每一业务平台所提供的业务较多的情况下,需要开发的作业数量较多,开发周期较长,从而导致为业务平台提供的业务配置作业的效率低。

发明内容

本发明实施例的目的在于提供一种数据导出、导入方法及装置,以提高为业务平台提供的业务配置作业的效率。具体技术方案如下:

第一方面,本发明实施例提供了一种数据导出方法,所述方法包括:

确定目标业务的待导出作业;

获得表征各待导出作业执行流程的作业流;

针对每一待导出作业,获得用于实现该待导出作业的实现数据以及该待导出作业的配置数据;

生成包含所述作业流、所获得实现数据以及配置数据的导出数据,并导出所述导出数据。

本发明的一个实施例中,上述确定目标业务的待导出作业,包括:

获得作业导出服务向目标组件的导出接口发送的作业导出请求,其中,所述目标组件为:用于向用户提供的目标业务的组件;

根据所述作业导出请求,确定所述目标业务的待导出作业。

本发明的一个实施例中,上述导出所述导出数据,包括:

通过所述导出接口,将所述导出数据存入至导出数据库。

本发明的一个实施例中,在存在多个目标业务的情况下,所述生成包含所述作业流、所获得实现数据以及配置数据的导出数据,包括:

针对每一目标业务,生成包含该目标业务对应的目标作业流、目标实现数据以及目标配置数据的制品包,以及所生成制品包与该目标业务的对应关系,其中,所述目标作业流为:表征属于该目标业务的待导出作业执行流程的作业流,所述目标实现数据为:实现属于该目标业务的待导出作业的实现数据,所述目标配置数据为:属于该目标业务的待导出作业的配置数据;

对所生成的对应关系以及制品包进行打包处理,得到导出数据。

第二方面,本发明实施例提供了一种数据导入方法,所述方法包括:

获得目标业务的待导入数据,其中,所述待导入数据包括:表征所述目标业务的各待导入作业执行流程的作业流、用于实现所述目标业务的各待导入作业的实现数据以及所述目标业务的各待导入作业的配置数据;

在所述目标业务中导入所述作业流和各待导入作业的实现数据,并按照各待导入作业的配置数据对各待导入作业进行配置,以使得各待导入作业按照所述作业流进行数据处理。

本发明的一个实施例中,上述获得目标业务的待导入数据,包括:

从导入数据库获得目标业务的待导入数据,其中,所述导入数据库用于存储:作业导入服务在接收到数据导入请求后上传的待导入数据。

本发明的一个实施例中,上述作业导入服务通过以下方式上传待导入数据:

基于接收到的数据导入请求,获得导入数据;

对所述导入数据进行解包处理,得到制品包以及各个制品包与业务的对应关系,其中,所述制品包包含所对应业务的目标作业流、目标实现数据以及目标配置数据,所述目标作业流为:表征属于所述制品包所对应业务的待导出作业执行流程的作业流,所述目标实现数据为:实现属于所述制品包所对应业务的待导出作业的实现数据,所述目标配置数据为:属于所述制品包所对应业务的待导出作业的配置数据;

将所得到的制品包以及对应关系上传导入数据库。

第三方面,本发明实施例提供了一种数据导出装置,所述装置包括:

作业确定模块,用于确定目标业务的待导出作业;

作业流获得模块,用于获得表征各待导出作业执行流程的作业流;

数据获得模块,用于针对每一待导出作业,获得用于实现该待导出作业的实现数据以及该待导出作业的配置数据;

数据导出模块,用于生成包含所述作业流、所获得实现数据以及配置数据的导出数据,并导出所述导出数据。

本发明的一个实施例中,上述作业确定模块,包括:

请求获得子模块,用于获得作业导出服务向目标组件的导出接口发送的作业导出请求,其中,所述目标组件为:用于向用户提供的目标业务的组件;

作业确定子模块,用于根据所述作业导出请求,确定所述目标业务的待导出作业。

本发明的一个实施例中,上述数据导出模块,具体用于通过所述导出接口,将所述导出数据存入至导出数据库。

本发明的一个实施例中,在存在多个目标业务的情况下,所述数据导出模块,包括:

数据生成子模块,用于针对每一目标业务,生成包含该目标业务对应的目标作业流、目标实现数据以及目标配置数据的制品包,以及所生成制品包与该目标业务的对应关系,其中,所述目标作业流为:表征属于该目标业务的待导出作业执行流程的作业流,所述目标实现数据为:实现属于该目标业务的待导出作业的实现数据,所述目标配置数据为:属于该目标业务的待导出作业的配置数据;

数据得到子模块,用于对所生成的对应关系以及制品包进行打包处理,得到导出数据。

第四方面,本发明实施例提供了一种数据导入装置,所述装置包括:

数据获得模块,用于获得目标业务的待导入数据,其中,所述待导入数据包括:表征所述目标业务的各待导入作业执行流程的作业流、用于实现所述目标业务的各待导入作业的实现数据以及所述目标业务的各待导入作业的配置数据;

数据导入模块,用于在所述目标业务中导入所述作业流和各待导入作业的实现数据,并按照各待导入作业的配置数据对各待导入作业进行配置,以使得各待导入作业按照所述作业流进行数据处理。

本发明的一个实施例中,上述数据获得模块,具体用于从导入数据库获得目标业务的待导入数据,其中,所述导入数据库用于存储:作业导入服务在接收到数据导入请求后上传的待导入数据。

本发明的一个实施例中,上述作业导入服务具体通过以下方式上传待导入数据:基于接收到的数据导入请求,获得导入数据;对所述导入数据进行解包处理,得到制品包以及各个制品包与业务的对应关系,其中,所述制品包包含所对应业务的目标作业流、目标实现数据以及目标配置数据,所述目标作业流为:表征属于所述制品包所对应业务的待导出作业执行流程的作业流,所述目标实现数据为:实现属于所述制品包所对应业务的待导出作业的实现数据,所述目标配置数据为:属于所述制品包所对应业务的待导出作业的配置数据;将所得到的制品包以及对应关系上传导入数据库。

第五方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述第一方面或第二方面任一所述的方法步骤。

第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面或第二方面所述的方法步骤。

由以上可见,应用本发明实施例提供的方案进行数据导出时,由于导出数据包含表征各待导出作业执行流程的作业流、用于实现各待导出作业的实现数据以及各待导出作业的配置数据,在导出上述导出数据后,可以将上述导出数据导入至未进行作业开发的目标业务中,目标业务可以直接基于所导入的数据对业务数据进行处理,相较于现有技术,不需要为每一业务开发相应的作业,而只需要导出目标业务的待导出作业,并将所导出的待导出作业导入至未进行作业开发的目标业务中,提高了为业务平台提供的业务配置作业的效率。

另外,由于导出包含作业流、实现数据以及配置数据的导出数据,所导出的导出数据中包含的数据较为全面且数据量较多,实现了批量数据的导出和迁移,进一步提高了为业务平台提供的业务配置作业的效率。

当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据导出方法的流程示意图;

图2为本发明实施例提供的一种数据导入方法的流程示意图;

图3为本发明实施例提供的一种数据导出、导入方法的信令交互图;

图4为本发明实施例提供的一种数据导出装置的结构示意图;

图5为本发明实施例提供的一种数据导入装置的结构示意图;

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

首先,对本发明实施例提供的数据导出方法的执行主体进行说明。

一种情况下,实现数据导出的执行主体可以为业务平台中的电子设备。上述业务平台为:用于向用户提供业务的平台,如上述业务平台可以为基于大数据技术的业务平台。

在这种情况下,上述电子设备可以为业务平台中具有管理功能的电子设备。

上述电子设备还可以为业务平台中部署待导出作业的电子设备,具体的,上述电子设备中目标组件可以为执行主体,上述目标组件为:用于实现待导出作业相对应的目标业务的组件。

另一种情况下,实现数据导出的执行主体还可以为测试平台中的电子设备,上述测试平台用于实现测试功能的平台。

具体的,上述电子设备可以为测试平台中具有管理功能的电子设备。

再一种情况下,实现数据导出的执行主体还可以为:平台之外用于实现数据导出的电子设备。

参见图1,图1为本发明实施例提供的一种数据导出方法的流程示意图,上述方法包括以下步骤S101-S104。

步骤S101:确定目标业务的待导出作业。

上述目标业务可以是业务平台向用户提供的一种或者多种业务。例如:上述目标业务可以为音视频提供业务、信息查询业务、身份认证业务等。上述业务平台可以为基于大数据技术的业务平台。

作业可以理解为:用于对业务的业务数据进行处理的数据处理方式或者数据处理业务逻辑。例如:上述作业可以为:用于对业务的业务数据进行删除、插入、合并等作业。

在此基础上,上述待导出作业是指:要导出的、用于对目标业务的业务数据进行处理的数据处理方式。

上述待导出作业,可以是电子设备接收到开发人员所使用的客户端发送的导出请求后,对作业导出请求进行解析,获得作业导出请求中携带的作业标识,基于所获得的作业标识确定的目标业务的待导出作业。

上述待导出作业,还可以是开发人员在用户操作界面上选择了目标业务的各待导出作业,电子设备将开发人员所选择的各待导出作业确定为目标业务的待导出作业。

上述待导出作业,还可以是开发人员在用户操作界面上选择了目标业务,电子设备确定开发人员所选择的目标业务对应的各个作业,并将所确定的各个作业作为目标业务的待导出作业。

步骤S102:获得表征各待导出作业执行流程的作业流。

上述作业流用于表征各待导出作业的执行流程。在对业务的业务数据进行处理时,是需要按照业务的各作业的执行流程依次执行各作业,实现对业务的业务数据进行处理的,所以需要获得表征各待导出作业执行流程的作业流。

例如:假设目标业务的待导出作业包括W1、W2、W3,作业流可以为:表征先执行W1、再执行W2、最后执行W3的作业流。

具体的,可以预先设定各业务的作业的执行流程。这种情况下,在确定待导出作业后,可以从上述预先设定的执行流程中,获得表征目标业务的各待导出作业的执行流程的作业流。

上述作业流,还可以根据各待导出作业的输入信息、输出信息,确定表征各待导出作业的执行流程的作业流。

具体的,可以确定各待导出作业的输入信息所表示的输入物理含义与输出信息所表示的输出物理含义;针对每一待导出作业,将该待导出作业对应的输入物理含义与其他待导出作业对应输出物理含义进行匹配,并将该待导出作业对应的输出物理含义与其他待导出作业对应的输入物理含义进行匹配,根据匹配结果确定该待导出作业与其他待导出作业之间的执行流程;根据所确定的各待导出作业之间的执行流程,确定表征各待导出作业的执行流程的作业流。

例如:假设目标业务的待导出作业包括W1、W2、W3,各待导出作业对应的输入物理含义与输出物理含义如下表1所示。

表1

对于待导出作业W1,其对应的输出物理含义与待导出作业W3对应的输入物理含义相匹配的,也就是待导出作业W1的输出信息为待导出作业W3输入信息,可以确定待导出作业W3是在执行待导出作业W1之后开始执行的。

对于待导出作业W2,其对应的输入物理含义与待导出作业W3对应的输出物理含义相匹配的,也就是待导出作业W2的输入信息为待导出作业W3的输出信息,可以确定待导出作业W2是在执行待导出作业W3之后开始执行的。

对于待导出作业W3,其对应的输入物理含义与待导出作业W1对应的输出物理含义相匹配的、且其对应的输出物理含义与待导出作业W2对应的输入物理含义相匹配,也就是待导出作业W3的输入信息为待导出作业W1的输出信息,待导出作业W3的输出信息为待导出作业W2的输入信息,可以确定待导出作业W3是在执行待导出作业W1之后开始执行的、且待导出作业W2是在执行待导出作业W3之后开始执行的。

这样根据所确定的各个待导出作业的执行流程,可以确定作业流为:表征先执行W1、再执行W3、最后执行W2的执行流程的作业流。

上述作业流,还可以是开发人员在用户操作界面确定了目标业务的各待导出作业执行流程后,电子设备基于开发人员所确定的各待导出作业的执行流程,确定表征各待导出作业执行流程的作业流。

步骤S103:针对每一待导出作业,获得用于实现该待导出作业的实现数据以及该待导出作业的配置数据。

上述实现数据是指用于实现待导出作业的数据,例如:上述实现数据可以为用于实现待导出作业的代码、SQL等数据。

上述待导出作业的配置数据是指用于实现对待导出作业进行配置的数据。上述待导出作业的配置数据可以包括:待导出作业的运行规则、资源配置、告警规则以及调度配置等数据。

具体的,上述待导出作业的运行规则为:用于实现待导出作业执行时依赖的规则。例如:上述运行规则可以为:在满足预设的作业执行触发条件时开始执行上述作业,在满足预设的作业结束触发条件时结束执行上述作业等。

上述待导出作业的资源配置为:用于实现待导出作业执行时的依赖资源。例如:上述资源配置可以为配置预设大小的计算资源、存储资源等。

上述待导出作业的告警规则为:用于实现待导出作业执行时发生故障产生告警的规则。例如:上述告警规则可以为:向工作人员发送告警短信,告警灯闪烁等。

上述待导出作业的调度配置为:用于实现待导出作业执行时资源调度配置的规则。例如:上述调度配置可以为:配置资源时的调度路径、调度实现方法等。

具体的,可以从预设的数据库中获得用于实现各待导出作业的实现数据以及各待导出作业的配置数据,上述预设的数据库中存储了开发人员预先为目标业务的各作业开发的实现数据以及配置数据。

开发人员可以在数据开发平台预先进行作业开发,上述数据开发平台用于向用户提供作业开发、作业运行以及作业提交等各个业务,用户在进行作业开发时,可以在用户操作界面中选择作业插件,基于所选择的作业插件的框架,配置作业的依赖规则、设置资源配置、配置告警规则以及调度配置等配置数据,并通过写代码或者sql的方式配置用于实现作业的实现数据,从而实现作业的开发。数据开发平台中的电子设备可以将用户所配置的作业的实现数据和配置数据存储至上述数据库中。

步骤S104:生成包含作业流、所获得实现数据以及配置数据的导出数据,并导出导出数据。

具体的,可以对所获得的作业流、实现数据以及配置数据进行打包处理,得到数据包,可以称该数据包为制品包,作为导出数据。

由以上可见,应用本实施例提供的方案进行数据导出时,由于导出数据包含表征各待导出作业执行流程的作业流、用于实现各待导出作业的实现数据以及各待导出作业的配置数据,在导出上述导出数据后,可以将上述导出数据导入至未进行作业开发的目标业务中,目标业务可以直接基于所导入的数据对业务数据进行处理,相较于现有技术,不需要为每一业务开发相应的作业,而只需要导出目标业务的待导出作业,并将所导出的待导出作业导入至未进行作业开发的目标业务中,提高了为业务平台提供的业务配置作业的效率。

另外,由于导出包含作业流、实现数据以及配置数据的导出数据,所导出的导出数据中包含的数据较为全面且数据量较多,在进行数据导入时,实现了批量数据的导出和迁移,进一步提高了为业务平台提供的业务配置作业的效率。

本发明的一个实施例中,还可以在电子设备中部署用于导出作业的作业导出服务,这种情况下,可以按照以下步骤A1-步骤A2实现上述步骤S101中确定目标业务的待导出作业。

步骤A1:获得作业导出服务向目标组件的导出接口发送的作业导出请求。

上述目标组件为:用于向用户提供的目标业务的组件。上述导出接口为:用于实现导出目标业务的待导出作业的接口。

上述作业导出服务可以与各个业务平台中部署的目标组件进行数据交互,因此,上述作业导出服务又可以称为公共作业导出服务。

由于目标组件是用于实现目标业务的,目标业务所产生的业务数据也是由目标组件生成的,所以对上述业务数据进行处理的导出数据也可以由目标组件生成并导出,所以作业导出服务可以向目标组件的导出接口发送作业导出请求。当目标组件接收到上述作业导出请求后,目标组件可以按照步骤S101-步骤S104生成导出数据并导出所生成的导出数据。

上述作业导出请求,可以是作业导出服务接收到开发人员所使用的客户端发送的作业导出请求后,对作业导出请求进行解析,获得作业导出请求中携带的目标组件的标识,向所获得的标识对应的目标组件发送作业导出请求。

上述作业导出请求,还可以是开发人员在用户操作界面上选择目标业务的待导出作业后,作业导出服务基于开发人员所选择的目标业务的待导出作业,生成作业导出请求,并向目标组件发送所生成的作业导出请求。

步骤A2:根据作业导出请求,确定目标业务的待导出作业

上述待导出作业,可以是目标组件对作业导出请求进行解析,获得作业导出请求中携带的待导出作业的标识,基于待导出作业的标识确定目标业务的待导出作业。

上述待导出作业,还可以是在作业导出请求中未携带待导出作业的标识时,目标组件将目标业务对应的各作业,作为目标业务的待导出作业。

这样,由于作业导出服务是用于提供作业导出的服务,在作业导出服务提供服务时,可以根据作业导出服务向目标组件的导出接口发送的作业导出请求,得到目标业务的待导出作业。

本发明的一个实施例中,在导出导出数据时,可以通过目标组件的导出接口,将导出数据存入至导出数据库。

上述导出数据库可以为电子设备上的数据库,还可以为用于存储导出数据的电子设备上的数据库,可以将上述电子设备称为三态公共服务机器。

具体的,作业导出服务的服务页面中可以设置下载按钮/接口,开发人员可以通过上述下载按钮/接口下载导出数据库中的导出数据。

这样将导出数据存入至导出数据库,能够保存所生成的导出数据,并且在之后需要导出数据时,可以直接从导出数据库中获得,而不需要重新生成导出数据,提高了获得导出数据的效率,还可以实现基于导出数据库对各个导出数据进行集中管理。

本发明的一个实施例中,在存在多个目标业务的情况下,生成上述导出数据时,可以针对每一目标业务,生成包含该目标业务对应的目标作业流、目标实现数据以及目标配置数据的制品包,以及所生成制品包与该目标业务的对应关系,对所生成的对应关系以及制品包进行打包处理,得到导出数据。

上述目标作业流为:表征属于该目标业务的待导出作业执行流程的作业流。上述目标实现数据为:实现属于该目标业务的待导出作业的实现数据。上述目标配置数据为:属于该目标业务的待导出作业的配置数据。

上述对应关系为:所生成的各个制品包与各个目标业务之间的对应关系。

具体的,可以对所生成的对应关系以及各个制品包进行数据封装,实现打包处理,得到导出数据。

在得到上述制品包以及对应关系后,可以将上述制品包和对应关系导入至导出数据库中,由于上述导出数据库中存储了制品包,又可以将上述导出数据库称为制品库。

这样在存在多个目标业务的情况下,由于导出数据中包含了目标业务与制品包之间的对应关系,可以根据对应关系较为准确地确定各个制品包所对应的目标业务。

与上述数据导出方法相对应的,本发明实施例还提供了一种数据导入方法。

首先,对本发明实施例提供的数据导入方法的执行主体进行说明。

实现数据导入的执行主体为业务平台中的电子设备。上述业务平台为待进行数据导入的业务平台。

具体的,上述电子设备可以为:业务平台中具有管理功能的电子设备。

上述电子设备还可以为:业务平台中部署待导入数据对应的目标业务的电子设备,具体的,上述电子设备中目标组件可以为执行主体,上述目标组件为:用于实现向用户提供目标业务的组件。

参见图2,图2为本发明实施例提供的一种数据导入方法的流程示意图,在上述方法中包括以下步骤S201-步骤S202。

步骤S201:获得目标业务的待导入数据。

上述待导入数据包括:表征上述目标业务的各待导入作业执行流程的作业流、用于实现目标业务的各待导入作业的实现数据以及目标业务的各待导入作业的配置数据。

上述待导入数据,可以是电子设备接收后开发人员所使用的客户端发送的数据导入请求后,对数据导入请求进行解析,获得数据导入请求中携带的目标业务的待导入数据。

具体的,由于业务可以部署在各个业务平台上,不同业务平台可以提供相同的业务,对于同一业务来说,对业务的业务数据进行处理的数据处理方式相同。所以,用户可以在获得某一业务平台的目标业务的导出数据后,将所获得的导出数据作为另一业务平台的目标业务的待导入数据,并向另一业务平台发送携带所获得的目标业务的待导入数据的数据导入请求。这样,不需要为另一业务平台的目标业务开发作业,提高为业务平台提供的业务配置作业的效率。

例如:开发人员可以在某一业务平台的作业导出服务的服务页面上将目标业务的导出数据下载到U盘或者网盘中,开发人员将下载到U盘或者网盘中的目标业务的导出数据作为另一业务平台中同一目标业务的导入数据,并将目标业务的导入数据上传至另一业务平台中,开发人员所使用的客户端向业务平台发送携带目标业务的导入数据的数据导入请求。

当然,对于不同业务来说,对业务的业务数据进行处理的数据处理方式也有可能是相同的。所以,用户在获得某一目标业务的导出数据后,可以将所获得的导出数据作为与该目标业务具有相同作业的目标业务的待导入数据,并向业务平台发送携带所获得的目标业务的待导入数据的数据导入请求。

上述待导入数据,还可以是从导入数据库获得目标业务的待导入数据。上述导入数据库用于存储:作业导入服务在接收到数据导入请求后上传的待导入数据。

上述作业导入服务用于实现导入作业功能,上述作业导入服务可以与各个用于实现业务的组件进行数据交互,上述作业导入服务又可以称为公共作业导入服务。

对于一个业务平台来说,既可以导出目标业务的导出数据,又可以导入目标业务的导入数据,所以,在一个业务平台上,可以同时设置公共作业导出服务和公共作业导入服务,并且可以将公共作业导出服务可以与公共作业导入服务集成,集成得到的服务可以称为公共作业导入导出服务。

具体的,作业导入服务在接收到数据导入请求后,可以对数据导入请求进行解析,获得数据导入请求所携带的待导入数据的标识,基于所获得的待导入数据的标识,从导出数据库中获得目标业务的待导入数据,并将所获得的待导入数据导入上述导入数据库,上述导出数据库用于存储:目标业务的导出数据。

步骤S202:在目标业务中导入作业流和各待导入作业的实现数据,并按照各待导入作业的配置数据对各待导入作业进行配置,以使得各待导入作业按照作业流进行数据处理。

具体的,可以通过目标业务的导入接口导入作业流和各待导入作业的实现数据,并通过目标业务的导入接口按照各待导入作业的配置数据对各待导入作业进行配置。

对于同一目标业务来说,既可以导出目标业务的导出数据,又可以导入目标业务的导入数据,所以,对于同一目标业务,可以设置一个导入导出接口,这一接口既可以实现数据导入,又可以实现数据导出。

由于上述作业流是表征目标业务的待导入作业执行流程,上述各待导入作业的实现数据是用于实现各待导入作业的数据,在目标业务中导入作业流和各待导入作业的实现数据,并按照各导入作业的配置数据对各导入作业进行配置后,目标业务可以按照作业流所表征的各待导入作业执行流程,依次执行各待导入作业的实现数据。

由以上可见,应用本实施例提供的方案进行数据导入时,在获得目标业务的待导入数据后,在目标业务中导入待导入数据包含的作业流和实现数据,并按照各待导入作业的配置数据对各待导入作业进行配置,由于上述配置数据是用于实现对待导入作业进行配置的数据,上述作业流是表征各待导入作业的执行流程,上述实现数据是表征实现各待导入作业的实现数据,所以可以基于配置数据可以对待导入数据进行配置,并且可以按照作业流表征的各待导入作业的执行流程依次执行各待导入作业的实现数据,从而可以实现对目标业务的业务数据进行处理。相较于现有技术,不需要工作人员对每一业务分别进行作业开发,而只需要导入目标业务的待导入数据,提高了为业务平台提供的业务配置作业的效率。

另外,由于所导入的导入数据包含作业流、实现数据以及配置数据,导入数据中包含的数据较为全面且数据量较多,在进行数据导入时,实现了批量数据的迁移和导入,进一步提高了为业务平台提供的业务配置作业的效率。

本发明的一个实施例中,上述作业导入服务还可以通过以下步骤B1-步骤B3上传待导入数据。

步骤B1:基于接收到的数据导入请求,获得导入数据。

具体的,可以对数据导入请求进行解析,获得数据导入请求中携带的导入数据。

步骤B2:对导入数据进行解包处理,得到制品包以及各个制品包与业务的对应关系。

上述制品包包含所对应业务的目标作业流、目标实现数据以及目标配置数据。

上述目标作业流为:表征属于制品包所对应业务的待导出作业执行流程的作业流,上述目标实现数据为:实现属于制品包所对应业务的待导出作业的实现数据,上述目标配置数据为:属于制品包所对应业务的待导出作业的配置数据。

上述对应关系为各个制品包与业务的对应关系,当制品包与业务具有对应关系时,表示可以基于该制品包中的数据实现对该业务的业务数据进行处理。

由于对于不同业务平台上的同一业务的业务数据进行处理的数据处理方式相同,所以对于一个制品包来说,可以与不同业务平台上的同一目标业务具有对应关系。

当然,当对于不同业务的业务数据进行处理的数据处理方式相同时,对于同一个制品包来说,也可以与不同的目标业务具有对应关系。

在对导入数据进行解包处理时,可以对导入数据进行拆分,得到各个制品包,以及各个制品包与业务的对应关系,根据上述对应关系,可以确定各个制品包所对应的业务。

步骤B3:将所得到的制品包以及对应关系上传导入数据库。

由于是将所得到的制品包以及对应关系上传导入数据库中,对应关系为各个制品包与业务之间的对应关系,所以基于上述对应关系,可以较为准确地确定各制品包所对应的业务。

以下以一个具体实施例,并结合图3,对本发明实施例提供的数据导出、导入方法进行具体说明。

由于不同业务平台可以提供同一业务,例如:业务平台A和业务平台B均可以提供身份信息查询业务,对同一业务的业务数据进行处理的数据处理方式是相同的,因此,在进行数据导出时,开发人员可以导出业务平台A的目标业务的导出数据,并将所导出的导出数据作为业务平台B的目标业务的导入数据,将上述导入数据导入至业务平台B的目标业务中,这样,不需要对不同业务平台中的业务进行开发,提高了业务开发的效率。

图3为本发明实施例提供的一种数据导出、导入方法的信息交互图。图3中包括开发人员,业务平台A中的公共导入导出服务S1、目标组件T1、制品库D1,业务平台B中的公共导入导出服务S2、目标组件T2、制品库D2。

开发人员登录公共导入导出服务S1,并向公共导入导出服务S1发送作业导出请求。作业导出请求用于请求导出业务平台A中各个目标业务的作业。

公共导入导出服务S1向各个目标业务相对应的目标组件T1的导出接口发送作业导出请求。

各个目标组件T1基于作业导出请求,生成包含作业流、实现数据以及配置数据的各个制品包,并确定各个制品包与目标业务的对应关系,将所生成的各个制品包与对应关系进行合并处理,得到导出数据。

目标组件通过导出接口将上述导出数据导入至制品库D1。

开发人员通过公共导入导出服务S1的下载接口下载制品库D1中各个目标业务对应的导出数据。

开发人员将所下载的导出数据作为导入数据,上传至公共导入导出服务S2中。

公共导入导出服务S2对导入数据进行拆分,得到各制品包与业务的对应关系以及各个制品包。

公共导入导出服务S2记录各个制品包的信息,并将拆分后制品包与对应关系上传至制品库D2中。

公共导入导出服务将各个制品包导入至各制品包所对应的业务的目标组件中。

与上述数据导出方法相对应,本发明实施例还提供了一种数据导出装置。

参见图4,图4为本发明实施例提供的一种数据导出装置的结构示意图,上述装置包括以下模块401-404。

作业确定模块401,用于确定目标业务的待导出作业;

作业流获得模块402,用于获得表征各待导出作业执行流程的作业流;

数据获得模块403,用于针对每一待导出作业,获得用于实现该待导出作业的实现数据以及该待导出作业的配置数据;

数据导出模块404,用于生成包含所述作业流、所获得实现数据以及配置数据的导出数据,并导出所述导出数据。

由以上可见,应用本实施例提供的方案进行数据导出时,由于导出数据包含表征各待导出作业执行流程的作业流、用于实现各待导出作业的实现数据以及各待导出作业的配置数据,在导出上述导出数据后,可以将上述导出数据导入至未进行作业开发的目标业务中,目标业务可以直接基于所导入的数据对业务数据进行处理,相较于现有技术,不需要为每一业务开发相应的作业,而只需要导出目标业务的待导出作业,并将所导出的待导出作业导入至未进行作业开发的目标业务中,提高了为业务平台提供的业务配置作业的效率。

另外,由于导出包含作业流、实现数据以及配置数据的导出数据,所导出的导出数据中包含的数据较为全面且数据量较多,实现了批量数据的导出和迁移,进一步提高了为业务平台提供的业务配置作业的效率。

本发明的一个实施例中,上述作业确定模块401,包括:

请求获得子模块,用于获得作业导出服务向目标组件的导出接口发送的作业导出请求,其中,所述目标组件为:用于向用户提供的目标业务的组件;

作业确定子模块,用于根据所述作业导出请求,确定所述目标业务的待导出作业。

这样由于作业导出服务是用于提供作业导出的服务,在作业导出服务提供服务时,可以根据作业导出服务向目标组件的导出接口发送的作业导出请求,得到目标业务的待导出作业。

本发明的一个实施例中,上述所述数据导出模块,具体用于通过所述导出接口,将所述导出数据存入至导出数据库。

这样将导出数据存入至导出数据库,能够保存所生成的导出数据,并且在之后需要导出数据时,可以直接从导出数据库中获得,而不需要重新生成导出数据,提高了获得导出数据的效率,还可以实现基于导出数据库对各个导出数据进行集中管理。

本发明的一个实施例中,在存在多个目标业务的情况下,所述数据导出模块,包括:

数据生成子模块,用于针对每一目标业务,生成包含该目标业务对应的目标作业流、目标实现数据以及目标配置数据的制品包,以及所生成制品包与该目标业务的对应关系,其中,所述目标作业流为:表征属于该目标业务的待导出作业执行流程的作业流,所述目标实现数据为:实现属于该目标业务的待导出作业的实现数据,所述目标配置数据为:属于该目标业务的待导出作业的配置数据;

数据得到子模块,用于对所生成的对应关系以及制品包进行打包处理,得到导出数据。

这样,在存在多个目标业务的情况下,由于导出数据中包含了目标业务与制品包之间的对应关系,可以根据对应关系较为准确地确定各个制品包所对应的目标业务。

与上述数据导入方法相对应的,本发明实施例还提供了一种数据导入装置。

参见图5,图5为本发明实施例提供的一种数据导入装置的结构示意图,上述装置包括以下模块501-502。

数据获得模块501,用于获得目标业务的待导入数据,其中,所述待导入数据包括:表征所述目标业务的各待导入作业执行流程的作业流、用于实现所述目标业务的各待导入作业的实现数据以及所述目标业务的各待导入作业的配置数据;

数据导入模块502,用于在所述目标业务中导入所述作业流和各待导入作业的实现数据,并按照各待导入作业的配置数据对各待导入作业进行配置,以使得各待导入作业按照所述作业流进行数据处理。

由以上可见,应用本实施例提供的方案进行数据导入时,在获得目标业务的待导入数据后,在目标业务中导入待导入数据包含的作业流和实现数据,并按照各待导入作业的配置数据对各待导入作业进行配置,由于上述配置数据是用于实现对待导入作业进行配置的数据,上述作业流是表征各待导入作业的执行流程,上述实现数据是表征实现各待导入作业的实现数据,所以可以基于配置数据可以对待导入数据进行配置,并且可以按照作业流表征的各待导入作业的执行流程依次执行各待导入作业的实现数据,从而可以实现对目标业务的业务数据进行处理。相较于现有技术,不需要工作人员对每一业务分别进行作业开发,而只需要导入目标业务的待导入数据,提高了为业务平台提供的业务配置作业的效率。

另外,由于所导入的导入数据包含作业流、实现数据以及配置数据,导入数据中包含的数据较为全面且数据量较多,在进行数据导入时,实现了批量数据的迁移和导入,进一步提高了为业务平台提供的业务配置作业的效率。

本发明的一个实施例中,上述数据获得模块501,具体用于从导入数据库获得目标业务的待导入数据,其中,所述导入数据库用于存储:作业导入服务在接收到数据导入请求后上传的待导入数据。

本发明的一个实施例中,上述所述作业导入服务具体通过以下方式上传待导入数据:

基于接收到的数据导入请求,获得导入数据;对所述导入数据进行解包处理,得到制品包以及各个制品包与业务的对应关系,其中,所述制品包包含所对应业务的目标作业流、目标实现数据以及目标配置数据,所述目标作业流为:表征属于所述制品包所对应业务的待导出作业执行流程的作业流,所述目标实现数据为:实现属于所述制品包所对应业务的待导出作业的实现数据,所述目标配置数据为:属于所述制品包所对应业务的待导出作业的配置数据;将所得到的制品包以及对应关系上传导入数据库。

由于是将所得到的制品包以及对应关系上传导入数据库中,对应关系为各个制品包与业务之间的对应关系,所以基于上述对应关系,可以较为准确地确定各制品包所对应的业务。

与上述数据导出、导入方法相对应,本发明实施例还提供了一种电子设备。

参见图6,图6为本发明实施例提供的一种电子设备的结构示意图,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,

存储器603,用于存放计算机程序;

处理器601,用于执行存储器603上所存放的程序时,实现本发明实施例提供的数据导出或者数据导入方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的数据导出或者数据导入方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行时实现本发明实施例提供的数据导出或者数据导入方法。

由以上可见,应用本实施例提供的方案进行数据导出时,由于导出数据包含表征各待导出作业执行流程的作业流、用于实现各待导出作业的实现数据以及各待导出作业的配置数据,在导出上述导出数据后,可以将上述导出数据导入至未进行作业开发的目标业务中,目标业务可以直接基于所导入的数据对业务数据进行处理,相较于现有技术,不需要为每一业务开发相应的作业,而只需要导出目标业务的待导出作业,并将所导出的待导出作业导入至未进行作业开发的目标业务中,提高了为业务平台提供的业务配置作业的效率。

另外,由于导出包含作业流、实现数据以及配置数据的导出数据,所导出的导出数据中包含的数据较为全面且数据量较多,实现了批量数据的导出和迁移,进一步提高了为业务平台提供的业务配置作业的效率。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

相关技术
  • 一种数据导出、导入方法及装置
  • 一种数据导入方法、数据导出方法、装置及数据处理系统
技术分类

06120112984618