一种数据自动化编译方法及系统

技术领域

本发明涉及数据编译技术领域，具体涉及一种数据自动化编译方法及系统。

背景技术

目前数据分区域(UR)编译，需要人工调度，编译过程需要值守，且人工调度无法充分利用计算资源，整体编译效率低，存在人工操作易出错且不易发现，通常在编译工作完成后才能发现。

除此之外工具版本多，编译操作人员承担工具运维的部分工作，数据备份需要人工管理，存储没有统一规划，出现人员流转导致的信息丢失，编译任务信息流转没有统一渠道，信息混乱和丢失，成果数据的交付前准备需要人工完成。

发明内容

本发明针对现有技术中存在的至少一个技术问题，提供一种数据自动化编译方法及系统，将繁琐的人工编译，扭转为自动化的任务下发，从而实现降本增效。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种数据自动化编译方法，包括：

搭建自动化编译平台，所述自动化编译平台包括前端模块、后台模块和argo模块；

通过所述前端模块获取数据编译需求，创建数据编译任务；

后台模块获取数据编译需求字段，配置相关参数并存储，并将所述相关参数发送给所述argo模块；

所述argo模块根据所述相关参数调取相应的任务模板以及待编译数据，将与所述任务相关的编译工具进行串联，对所述待编译数据自动化编译。

进一步的，所述数据编译需求字段包括：数据交付范围，成果数据版本号，成果数据版本名称，最终交付数据是否加密。

进一步的，所述前端模块为基于react开发的web UI界面。

进一步的，所述web UI界面包括项目聚合页面，通过所述项目聚合页面进入对应量产项目主页，并在所述量产项目主页中填写数据编译需求，完成数据编译任务的创建。

进一步的，该方法还包括，在数据编译任务的各个节点，所述argo模块将节点状态回传给所述前端模块进行展示。

进一步的，所述argo模块还根据任务模板，将所述待编译数据进行切分成多段数据，并对所述多段数据进行并行编译，各段数据编译完成后对编译结果进行合并。

进一步的，在对所述待编译数据自动化编译时，若某一编译工具完成编译工作，则所述argo模块立即释放该编译工具及其对应的计算资源。

第二方面，本发明提供一种数据自动化编译系统，包括：自动化编译平台、编译工具资源库以及数据存储单元；所述自动化编译平台包括前端模块、后台模块和argo模块；

所述前端模块，用于获取数据编译需求，并根据所述数据编译需求创建数据编译任务；

所述后台模块，用于分析所述数据编译需求，获取数据编译需求字段，配置相关参数并存储，并将所述相关参数发送给所述argo模块；

所述argo模块，用于根据所述相关参数从所述数据存储单元调取相应的任务模板以及待编译数据，并根据所述任务模板从所述编译工具资源库中调取与任务相关的编译工具，按照所述任务模板进行串联，对所述待编译数据自动化编译。

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述计算机软件程序，进而实现本发明第一方面所述的一种数据自动化编译方法。

第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本发明第一方面所述的一种数据自动化编译方法的计算机软件程序。

本发明的有益效果是：相比之前纯人工的编译方式，手工逐个配置个环节编译工具，编译过程需要值守，且人工调度无法充分利用计算资源，整体编译效率低，存在人工操作易出错且不易发现，通常在编译工作完成后才能发现。

在将编译工具集成平台后，编译环节节点可控，自动化编译平台统一任务切分，细粒度分散计算资源调度，支持多个任务并行运行，支持多数据合并，成果数据存储管理，实现生产数据编译流程自动化，提升产线编译工作效率。

附图说明

图1为本发明实施例提供的一种数据自动化编译方法流程示意图；

图2为本发明实施例提供的一种数据自动化编译系统结构示意图；

图3为本发明实施例提供的电子设备的实施例示意图；

图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种数据自动化编译方法流程示意图，如图1所示，该方法，包括：

搭建自动化编译平台，所述自动化编译平台包括前端模块、后台模块和argo模块；

通过所述前端模块获取数据编译需求，创建数据编译任务；

后台模块获取数据编译需求字段，配置相关参数并存储，并将所述相关参数发送给所述argo模块；

所述argo模块根据所述相关参数调取相应的任务模板以及待编译数据，将与所述任务相关的编译工具进行串联，对所述待编译数据自动化编译。

进一步的，所述数据编译需求字段包括：数据交付范围，成果数据版本号，成果数据版本名称，最终交付数据是否加密。

进一步的，所述前端模块为基于react开发的web UI界面。

进一步的，所述web UI界面包括项目聚合页面，通过所述项目聚合页面进入对应量产项目主页，并在所述量产项目主页中填写数据编译需求，完成数据编译任务的创建。

进一步的，该方法还包括，在数据编译任务的各个节点，所述argo模块将节点状态回传给所述前端模块进行展示。

进一步的，所述argo模块还根据任务模板，将所述待编译数据进行切分成多段数据，并对所述多段数据进行并行编译，各段数据编译完成后对编译结果进行合并。

进一步的，在对所述待编译数据自动化编译时，若某一编译工具完成编译工作，则所述argo模块立即释放该编译工具及其对应的计算资源。

如图2所示，本发明实施例提供一种数据自动化编译系统，包括：自动化编译平台、编译工具资源库以及数据存储单元；所述自动化编译平台包括前端模块、后台模块和argo模块；

所述前端模块，用于获取数据编译需求，并根据所述数据编译需求创建数据编译任务；

所述后台模块，用于分析所述数据编译需求，获取数据编译需求字段，配置相关参数并存储，并将所述相关参数发送给所述argo模块；

所述argo模块，用于根据所述相关参数从所述数据存储单元调取相应的任务模板以及待编译数据，并根据所述任务模板从所述编译工具资源库中调取与任务相关的编译工具，按照所述任务模板进行串联，对所述待编译数据自动化编译。

请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。如图3所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：

搭建自动化编译平台，所述自动化编译平台包括前端模块、后台模块和argo模块；

通过所述前端模块获取数据编译需求，创建数据编译任务；

后台模块获取数据编译需求字段，配置相关参数并存储，并将所述相关参数发送给所述argo模块；

所述argo模块根据所述相关参数调取相应的任务模板以及待编译数据，将与所述任务相关的编译工具进行串联，对所述待编译数据自动化编译。

请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图4所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：

搭建自动化编译平台，所述自动化编译平台包括前端模块、后台模块和argo模块；

通过所述前端模块获取数据编译需求，创建数据编译任务；

后台模块获取数据编译需求字段，配置相关参数并存储，并将所述相关参数发送给所述argo模块；

所述argo模块根据所述相关参数调取相应的任务模板以及待编译数据，将与所述任务相关的编译工具进行串联，对所述待编译数据自动化编译。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。