一种企业流程调度的可视化分析方法及系统

技术领域

本发明属于企业流程调度技术领域，具体涉及一种企业流程调度的可视化分析方法及系统。

背景技术

企业在进行任务调度时，其实大多是以流程形式而进行的，在信息化的过程中，通信企业也将这些任务调度的过程信息化了，早期通常是通过程序硬编码的方式来处理这些任务之间的流转，随着业务的复杂的处理情况不断出现以及需求的不断变更，这种编码的方式显然已无法应对，这个时候通过可视化流程来管理任务调度，以达到任务调度的可视化、可管理、可监控、可调优，就显得尤为必要。

目前现有的企业流程调度的可视化分析方法及系统还存在一些问题：由于ETL系统的使用门槛较高，导致企业的人力成本较高，工作效率较低，同时企业数据的安全性较低，不方便对数据进行溯源，导致在发生数据源变更或者业务变更时，不能快速评估影响范围，并做出及时响应，增加了数据的风险，为此我们提出一种企业流程调度的可视化分析方法及系统。

发明内容

本发明的目的在于提供一种企业流程调度的可视化分析方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种企业流程调度的可视化分析方法，包括以下步骤：

S1.建立ETL系统，采用交互式、图形化、可拖拽的设计，对ETL流程进行管理与调度监控；

S2.对企业财务数据进行采集，通过ETL系统，对财务数据采集的对象以及汇总方式进行集中整合，并将整合的数据进行存储和备份至云服务，设计权限功能，供管理层进行实时调度查阅，并对管理层的浏览轨迹进行监控；

S3.对数据进行溯源分析，通过对数据清洗与处理过程中的各类脚本及处理作业程序进行解析并存储数据表间的关联关系，再以可视化的图表的形式将其展现给用户，实现对各类数据进行可视化的溯源分析；

S4.对网络故障进行故障诊断与处理，通过命令或程序脚本对交换机、交换机端口进行远程操作和管理，将远程配置功能添加到交换机面板中，实现针对交换机面板指定端口的操作，确定网络数据的安全以及系统的正常运行。

优选的，所述S1中的具体步骤包括：

S101.采用界面拖拽组件画流程图的方式实现ETL工作流程的图形化创建；

S102.采用自动按时调度的处理方式实现ETL工作流程的调度监控，所述调度监控包括工作流程对未来数据的可视化调度与监控和工作流程对特定历史时间段数据的可视化调度监控。

优选的，所述S2中的具体步骤包括：

S201.以任务接口机、任务前置机和任务发布机作为可视化载体；

S202.将数据整理并传输至财务数据中心；

S203.财务数据中心将备份上传至云服务进行信息共享，并对财务数据中心和云服务进行权限控制；

S204.通过合并流程管理、数据采集集合并过程监控，并在此基础上进行应用建模，将整合好的数据上传至数据中心，部分数据通过手动输入至数据中心，并通过ERP对数据进行规划。

优选的，所述S3中的具体步骤包括：

S301.按照粒度从大到小，将溯源过程中的各类关系分为三个层次：任务级，表级，字段级；对这三个层次配置不同的存储模型；

S302.对数据清洗与处理过程中的各类SQL脚本及处理作业程序进行解析；

S303.对两部分内容进行巡检和预警；

S304.通过可视化的形式，对溯源存储模型内的各级模型，进行展现，同时用户可以针对巡检预警模块中的异常情况进行变更操作。

优选的，所述S303中的具体步骤包括：

S3031.对已尝试解析的脚本与流程，但无法确认源与目标关系的，将对应信息反馈给用户，由用户手动指定对关系；

S3032.对与已成功解析并存放至存储模型内的个级别关系，进行每日的变更巡检，如发现变更，则通知用户变更情况。

本发明还提供了一种企业流程调度的可视化分析系统，包括ETL流程管理与调度监控模块、企业财务数据调度模块、数据溯源分析模块和故障诊断与处理模块；

所述ETL流程管理与调度监控模块用于建立ETL系统，采用交互式、图形化、可拖拽的设计，对ETL流程进行管理与调度监控；

所述企业财务数据调度模块用于对企业财务数据进行采集，通过ETL系统，对财务数据采集的对象以及汇总方式进行集中整合，并将整合的数据进行存储和备份至云服务，设计权限功能，供管理层进行实时调度查阅，并对管理层的浏览轨迹进行监控；

所述数据溯源分析模块用于对数据进行溯源分析，通过对数据清洗与处理过程中的各类脚本及处理作业程序进行解析并存储数据表间的关联关系，再以可视化的图表的形式将其展现给用户，实现对各类数据进行可视化的溯源分析；

所述故障诊断与处理模块用于对网络故障进行故障诊断与处理，通过命令或程序脚本对交换机、交换机端口进行远程操作和管理，将远程配置功能添加到交换机面板中，实现针对交换机面板指定端口的操作，确定网络数据的安全以及系统的正常运行。

优选的，所述ETL流程管理与调度监控模块包括图形化创建单元和调度监控单元，所述图形化创建单元用于采用界面拖拽组件画流程图的方式实现ETL工作流程的图形化创建，所述调度监控单元用于采用自动按时调度的处理方式实现ETL工作流程的调度监控，所述调度监控包括工作流程对未来数据的可视化调度与监控和工作流程对特定历史时间段数据的可视化调度监控。

优选的，所述企业财务数据调度模块包括财务数据调度单元、数据质量管理与数据整合单元、数据上传单元和数据管理单元，所述财务数据调度单元用于将务接口机、任务前置机和任务发布机作为可视化载体，所述数据质量管理与数据整合单元用于将数据整理并传输至财务数据中心，所述数据上传单元用于通过财务数据中心将备份上传至云服务进行信息共享，并对财务数据中心和云服务进行权限控制，所述数据管理单元用于通过合并流程管理、数据采集集合并过程监控，并在此基础上进行应用建模，将整合好的数据上传至数据中心，部分数据通过手动输入至数据中心，并通过ERP对数据进行规划。

优选的，所述数据溯源分析模块包括溯源分析存储单元、解析单元、巡检预警单元和可视化展现单元，所述溯源分析存储单元用于按照粒度从大到小，将溯源过程中的各类关系分为三个层次：任务级，表级，字段级；对这三个层次配置不同的存储模型，所述解析单元用于对数据清洗与处理过程中的各类SQL脚本及处理作业程序进行解析，所述巡检预警单元用于对两部分内容进行巡检和预警，所述可视化展现单元用于通过可视化的形式，对溯源存储模型内的各级模型，进行展现，同时用户可以针对巡检预警模块中的异常情况进行变更操作。

优选的，所述故障诊断与处理模块包括预警管理单元、诊断管理单元、缺陷管理单元、巡检管理单元和应急控制单元。

与现有技术相比，本发明的有益效果是：

(1)本发明采用交互式、图形化、可拖拽的设计，使得ETL的工作流程易于创建、便于维护，减少繁琐的人工介入，降低了ETL系统的使用门槛，降低企业的人力成本，提高工作效率；

(2)本发明通过对企业财务数据进行采集，通过ETL系统，对财务数据采集的对象以及汇总方式进行集中整合，并将整合的数据进行存储和备份至云服务，并设计有权限功能，供管理层进行实时调度查阅，并对管理层的浏览轨迹进行监控，提高数据的安全性；

(3)本发明通过对数据进行溯源分析，在数据出现异常情况时，可快速定位异常来源，提高数据问题解决效率，另外在发生数据源变更或者业务变更时，可快速整理出变更所涉及的表、流程，缩短后续开发所需时间，降低因变更所带来的数据风险；

(4)本发明通过对网络故障进行故障诊断与处理，能够确定网络数据的安全以及系统的正常运行。

附图说明

图1为本发明的流程图；

图2为本发明的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图2，本发明提供一种技术方案：一种企业流程调度的可视化分析方法，包括以下步骤：

S1.建立ETL系统，采用交互式、图形化、可拖拽的设计，对ETL流程进行管理与调度监控；

S2.对企业财务数据进行采集，通过ETL系统，对财务数据采集的对象以及汇总方式进行集中整合，并将整合的数据进行存储和备份至云服务，设计权限功能，供管理层进行实时调度查阅，并对管理层的浏览轨迹进行监控；

S3.对数据进行溯源分析，通过对数据清洗与处理过程中的各类脚本及处理作业程序进行解析并存储数据表间的关联关系，再以可视化的图表的形式将其展现给用户，实现对各类数据进行可视化的溯源分析；

S4.对网络故障进行故障诊断与处理，通过命令或程序脚本对交换机、交换机端口进行远程操作和管理，将远程配置功能添加到交换机面板中，实现针对交换机面板指定端口的操作，确定网络数据的安全以及系统的正常运行。

本实施例中，优选的，所述S1中的具体步骤包括：

S101.采用界面拖拽组件画流程图的方式实现ETL工作流程的图形化创建；

S102.采用自动按时调度的处理方式实现ETL工作流程的调度监控，所述调度监控包括工作流程对未来数据的可视化调度与监控和工作流程对特定历史时间段数据的可视化调度监控。

本实施例中，优选的，所述S2中的具体步骤包括：

S201.以任务接口机、任务前置机和任务发布机作为可视化载体；

S202.将数据整理并传输至财务数据中心；

S203.财务数据中心将备份上传至云服务进行信息共享，并对财务数据中心和云服务进行权限控制；

S204.通过合并流程管理、数据采集集合并过程监控，并在此基础上进行应用建模，将整合好的数据上传至数据中心，部分数据通过手动输入至数据中心，并通过ERP对数据进行规划。

本实施例中，优选的，所述S3中的具体步骤包括：

S301.按照粒度从大到小，将溯源过程中的各类关系分为三个层次：任务级，表级，字段级；对这三个层次配置不同的存储模型；

S302.对数据清洗与处理过程中的各类SQL脚本及处理作业程序进行解析；

S303.对两部分内容进行巡检和预警；

S304.通过可视化的形式，对溯源存储模型内的各级模型，进行展现，同时用户可以针对巡检预警模块中的异常情况进行变更操作。

本实施例中，优选的，所述S303中的具体步骤包括：

S3031.对已尝试解析的脚本与流程，但无法确认源与目标关系的，将对应信息反馈给用户，由用户手动指定对关系；

S3032.对与已成功解析并存放至存储模型内的个级别关系，进行每日的变更巡检，如发现变更，则通知用户变更情况。

本发明还提供了一种企业流程调度的可视化分析系统，包括ETL流程管理与调度监控模块、企业财务数据调度模块、数据溯源分析模块和故障诊断与处理模块；

所述ETL流程管理与调度监控模块用于建立ETL系统，采用交互式、图形化、可拖拽的设计，对ETL流程进行管理与调度监控；

所述企业财务数据调度模块用于对企业财务数据进行采集，通过ETL系统，对财务数据采集的对象以及汇总方式进行集中整合，并将整合的数据进行存储和备份至云服务，设计权限功能，供管理层进行实时调度查阅，并对管理层的浏览轨迹进行监控；

所述数据溯源分析模块用于对数据进行溯源分析，通过对数据清洗与处理过程中的各类脚本及处理作业程序进行解析并存储数据表间的关联关系，再以可视化的图表的形式将其展现给用户，实现对各类数据进行可视化的溯源分析；

所述故障诊断与处理模块用于对网络故障进行故障诊断与处理，通过命令或程序脚本对交换机、交换机端口进行远程操作和管理，将远程配置功能添加到交换机面板中，实现针对交换机面板指定端口的操作，确定网络数据的安全以及系统的正常运行。

本实施例中，优选的，所述ETL流程管理与调度监控模块包括图形化创建单元和调度监控单元，所述图形化创建单元用于采用界面拖拽组件画流程图的方式实现ETL工作流程的图形化创建，所述调度监控单元用于采用自动按时调度的处理方式实现ETL工作流程的调度监控，所述调度监控包括工作流程对未来数据的可视化调度与监控和工作流程对特定历史时间段数据的可视化调度监控。

本实施例中，优选的，所述企业财务数据调度模块包括财务数据调度单元、数据质量管理与数据整合单元、数据上传单元和数据管理单元，所述财务数据调度单元用于将务接口机、任务前置机和任务发布机作为可视化载体，所述数据质量管理与数据整合单元用于将数据整理并传输至财务数据中心，所述数据上传单元用于通过财务数据中心将备份上传至云服务进行信息共享，并对财务数据中心和云服务进行权限控制，所述数据管理单元用于通过合并流程管理、数据采集集合并过程监控，并在此基础上进行应用建模，将整合好的数据上传至数据中心，部分数据通过手动输入至数据中心，并通过ERP对数据进行规划。

本实施例中，优选的，所述数据溯源分析模块包括溯源分析存储单元、解析单元、巡检预警单元和可视化展现单元，所述溯源分析存储单元用于按照粒度从大到小，将溯源过程中的各类关系分为三个层次：任务级，表级，字段级；对这三个层次配置不同的存储模型，所述解析单元用于对数据清洗与处理过程中的各类SQL脚本及处理作业程序进行解析，所述巡检预警单元用于对两部分内容进行巡检和预警，所述可视化展现单元用于通过可视化的形式，对溯源存储模型内的各级模型，进行展现，同时用户可以针对巡检预警模块中的异常情况进行变更操作。

本实施例中，优选的，所述故障诊断与处理模块包括预警管理单元、诊断管理单元、缺陷管理单元、巡检管理单元和应急控制单元。

本发明的原理及优点：本发明采用交互式、图形化、可拖拽的设计，使得ETL的工作流程易于创建、便于维护，减少繁琐的人工介入，降低了ETL系统的使用门槛，降低企业的人力成本，提高工作效率；通过对企业财务数据进行采集，通过ETL系统，对财务数据采集的对象以及汇总方式进行集中整合，并将整合的数据进行存储和备份至云服务，并设计有权限功能，供管理层进行实时调度查阅，并对管理层的浏览轨迹进行监控，提高数据的安全性；通过对数据进行溯源分析，在数据出现异常情况时，可快速定位异常来源，提高数据问题解决效率，另外在发生数据源变更或者业务变更时，可快速整理出变更所涉及的表、流程，缩短后续开发所需时间，降低因变更所带来的数据风险；通过对网络故障进行故障诊断与处理，能够确定网络数据的安全以及系统的正常运行。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。