数据的采集方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种数据的采集方法、装置、电子设备及计算机可读存储介质。

背景技术

在移动互联网和互联网金融高速发展的当前，金融行业的各项主要业务均完成了在线化、移动化，金融科技、智慧金融体系等概念应运而生。与其他同样被高频使用的互联网服务不同，金融行业的特殊性使得其互联网/信息技术系统对质量管理的要求非常高，高标准的质量管理是建设智慧金融体系的最有效保障手段。

质量管理工作的最重要部分之一是建立面向软件全生命周期的质量管理体系，而软件全生命周期中的需求分析、设计、开发、各类测试等不同环节的工作性质不同，如果将质量管理工作下沉到每个具体的环节，需要各个环节的工作人员进行数据采集和指标分析，并提交质量报告，在实际的工作流程中这样的方式会加重各环节工作人员的负担，无法保证数据的时效性，并且在需要结合不同环节质量数据进行质量管理分析时多有不便。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：

第一方面，本申请实施例提供了一种数据的采集方法，该方法包括：

在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；

基于采集策略采集目标数据。

可选地，数据源包括HTTP数据源，基于采集策略采集目标数据，包括：

将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。

可选地，数据源包括本地报表文件，基于采集策略采集目标数据，包括：

当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。

可选地，数据源包括在线报表文件系统，基于采集策略采集目标数据，包括：

将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；

对目标报表文件进行文件数据解析，得到目标数据。

可选地，数据源包括数据库，基于采集策略采集目标数据，包括：

通过SQL语句从数据库获取目标数据。

可选地，在采集目标数据之前，方法还包括：

对已采集数据进行前置处理。

可选地，前置处理包括以下至少一项：

对已采集数据进行标记；

对已采集数据进行清理。

可选地，在采集目标数据之后，上述方法还包括：

基于已采集数据以及目标数据，确定比对数据。

可选地，上述方法还包括：

对目标数据和\或比对数据进行可视化展示。

第二方面，本申请实施例提供了一种数据的采集装置，该装置包括：

采集策略确定模块，用于在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；

数据采集模块，用于基于采集策略采集目标数据。

可选地，数据源包括HTTP数据源，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。

可选地，数据源包括本地报表文件，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。

可选地，数据源包括在线报表文件系统，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；

对目标报表文件进行文件数据解析，得到目标数据。

可选地，数据源包括数据库，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

通过SQL语句从数据库获取目标数据。

可选地，上述装置还包括：

前置处理模块，用于在采集目标数据之前，对已采集数据进行前置处理。

可选地，前置处理包括以下至少一项：

对已采集数据进行标记；

对已采集数据进行清理。

可选地，上述装置还包括：

数据比对模块，用于在采集目标数据之后，基于已采集数据以及目标数据，确定比对数据。

可选地，上述装置还包括：

可视化模块，用于对目标数据和\或比对数据进行可视化展示。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器；

存储器，用于存储操作指令；

处理器，用于通过调用操作指令，执行如本申请的第一方面的任一实施方式中所示的数据的采集方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的数据的采集方法。

本申请实施例提供的技术方案带来的有益效果是：

本申请实例提供的方案，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种数据的采集方法的流程示意图；

图2为本申请实施例提供的一种数据采集方法的具体实施方式的流程示意图；

图3为本申请实施例提供的一种数据的采集装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本申请实施例提供的一种数据的采集方法的流程示意图，如图1所示，该方法主要可以包括：

步骤S110：在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；

步骤S120：基于采集策略采集目标数据。

本申请实施例中，为展示软件全生命周期中的各个阶段的质量管理情况，需要将软件全生命周期中各个阶段相应的质量管理数据作为量化的基础，而不同阶段的数据来源往往也各不相同，基于数据来源的多样性，本申请实施例中的数据源可以包括：HTTP(HyperText Transfer Protocol，超文本传输协议)数据源，本地报表文件，在线报表文件系统以及数据库。

本申请实施例中，可以在软件全生命周期中设置指定阶段，并从指定阶段的数据源中采集目标数据，以便通过各指定阶段的目标数据实现对软件全生命周期的质量管理。由于各数据源中目标数据的采集方式并不相同，因此可以针对不同的指定阶段，分别配置采集策略，以便获取不同指定阶段的目标数据。

本申请实例提供的方法，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同指定阶段采集到的数据进行质量管理分析。

本申请实施例的一种可选方式中，数据源包括超HTTP数据源，基于采集策略采集目标数据，包括：

将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。

本申请实施例中，可以通过HTTP请求获取JSON格式数据的数据源，并通过代理接口获取。HTTP数据源的定义可以包含请求地址、请求类型、请求头、请求体、登录授权、响应数据获取路径、数据落库对照表、数据存储表结构等。其中，请求地址、请求类型、请求头以及请求体可以用于定义第一HTTP请求，登录授权用于完成登录以及权限验证，响应数据获取路径、数据落库对照表以及数据存储表结构用于获取目标数据。

本申请实施例的一种可选方式中，数据源包括本地报表文件，基于采集策略采集目标数据，包括：

当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。

本申请实施例中，用户可以手动上传本地报表文件，从而通过本地报表文件进行文件数据解析，得到目标数据。

在实际使用中，本地报表文件可以为EXCEL格式的报表文件。

本申请实施例的一种可选方式中，数据源包括在线报表文件系统，基于采集策略采集目标数据，包括：

将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；

对目标报表文件进行文件数据解析，得到目标数据。

本申请实施例中，在线报表文件系统可以为IT管理系统等。可以通过HTTP请求的形式获取对目标报表文件进行数据采集和处理。在实际使用中，目标报表文件可以为EXCEL格式的报表文件。

网络EXCEL数据源的定义包含请求地址、请求类型、请求头、请求体、登录授权、EXCEL表头解析选择信息、数据存储表结构等。

本申请实施例的一种可选方式中，数据源包括数据库，基于采集策略采集目标数据，包括：

通过SQL语句从数据库获取目标数据。

本申请实施例中，还可以通过SQL语句直连相应数据库并选择数据的方式进行数据抽取和处理。数据库的数据源的定义可以包含数据库连接串、数据选择SQL语句、数据存储表结构等。

本申请实施例的一种可选方式中，在采集目标数据之前，方法还包括：

对已采集数据进行前置处理。

本申请实施例中，已采集数据可以为已经采集并存储的目标数据。可以在采集目标数据之前，对已采集数据进行前置处理。具体而言，前置处理可以包括对已采集数据进行标记，以及对已采集数据进行清理。

本申请实施例的一种可选方式中，在采集目标数据之后，方法还包括：

基于已采集数据以及目标数据，确定比对数据。

本申请实施例中，采集目标数据之后，可以基于已采集数据以及目标数据，确定比对数据。例如，比对数据可以为根据已采集数据与目标数据进行预定计算，得到比对数据。

本申请实施例的一种可选方式中，上述方法还包括：

对目标数据和\或比对数据进行可视化展示。

本申请实施例中，在完成目标数据的采集之后，可以进行可视化处理，生成相应的页面和图标，本申请实施例中，可以根据采集到的数据存储的数据表结构，自动生成相应数据表展示前端页面和后端数据提供接口的代码，快速完成数据的基础展示。另外，也可通过灵活的配置，在已采集到的数据中筛选部分数据项，选择Echarts提供的图表样式作为可视化形式，生成相应的可视化图表展示前端页面和后端数据提供接口的代码，快速完成质量管理数据的可视化展示。

图2中示出了本申请实施例提供的一种数据采集方法的具体实施方式的流程示意图。

如图2中所示，网络EXCLE数据源，即在线报表文件系统。DB数据源，即数据库。EXCLE数据源，即本地报表文件。

可以对HTTP数据源以及在线报表文件系统进行一次或者多次的数据采集，具体而言，可以定时或者循环采集数据。循环执行，即从数据库或http接口中获取一系列循环参数数据，循环调用，每份参数数据对应一次循环执行，从而一次性采集大量数据，循环执行过程可以定义在单次执行中遇到错误时，是否自动跳过该次执行继续之后的循环。

登录/代理，其中，登录即进行登录验证：定义并保存登录信息。在使用HTTP数据源和网络EXCEL数据源获取数据均要发送HTTP请求，定义数据源时可以从已保存的登录信息中选择合适的完成登录和权限验证。代理，即定义并保存代理信息，部分HTTP数据源和网络EXCEL数据源获取数据发送HTTP请求时需要经由代理。

参数传递，即在执行数据获取时将定义好的参数传递给数据源。与此同时一个数据源获取最终数据往往不是发送一次HTTP请求就能够完成的，而发送的多次HTTP请求间需要一些参数作为桥梁，参数传递功能也提供了不同步骤之间的参数传递。

连接数据库，即定义数据库连接，用于DB数据源使用SQL获取数据前的登录验证。

可以定时建立任务，通过数据源建立定时任务，同时定义执行数据源时使用的参数，可以支持循环执行和分步执行。

定时任务执行，即以CRON表达式定义任务执行的时间和频次，自动采集已经完成定义的质量管理数据，按定义好的数据表结构存储到数据库中。例如，在异常管理方面每2小时扫描一次之前2小时内执行失败的任务，默认重新执行一次，再次失败即发送邮件通知任务负责人进行排查。

本发明提出了一种装置，能将金融领域软件全生命周期中的各个阶段、各个技术指标数据进行统一的采集和处理、通过不同的维度可视化展示出来，从而建立一个灵活、透明、可回溯、可审计的质量控制管理平台，在不增加各环节开发测试人员工作负担的情况下，对整个系统的质量管理状况进行量化、整合和展示，令全方位的把控整个系统的质量管理情况成为可能。

基于与图1中所示的方法相同的原理，图3示出了本申请实施例提供的一种数据的采集装置的结构示意图，如图3所示，该数据的采集装置20可以包括：

采集策略确定模块210，用于在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；

数据采集模块220，用于基于采集策略采集目标数据。

本申请实例提供的装置，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。

可选地，数据源包括HTTP数据源，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。

可选地，数据源包括本地报表文件，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。

可选地，数据源包括在线报表文件系统，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；

对目标报表文件进行文件数据解析，得到目标数据。

可选地，数据源包括数据库，采集策略确定模块在基于采集策略采集目标数据时，具体用于：

通过SQL语句从数据库获取目标数据。

可选地，上述装置还包括：

前置处理模块，用于在采集目标数据之前，对已采集数据进行前置处理。

可选地，前置处理包括以下至少一项：

对已采集数据进行标记；

对已采集数据进行清理。

可选地，上述装置还包括：

数据比对模块，用于在采集目标数据之后，基于已采集数据以及目标数据，确定比对数据。

可选地，上述装置还包括：

可视化模块，用于对目标数据和\或比对数据进行可视化展示。

可以理解的是，本实施例中的数据的采集装置的上述各模块具有实现图1中所示的实施例中的数据的采集方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述数据的采集装置的各模块的功能描述具体可以参见图1中所示实施例中的数据的采集方法的对应描述，在此不再赘述。

本申请实施例提供了一种电子设备，包括处理器和存储器；

存储器，用于存储操作指令；

处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的数据的采集方法。

作为一个示例，图4示出了本申请实施例所适用的一种电子设备的结构示意图，如图4所示，该电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。

其中，处理器2001应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器2004可以包括接收机和发射机，收发器2004应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。

处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请任一实施方式中所提供的数据的采集方法。

本申请实施例提供的电子设备，适用于上述方法任一实施例，在此不再赘述。

本申请实施例提供了一种电子设备，与现有技术相比，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的数据的采集方法。

本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，在此不再赘述。

本申请实施例提供了一种计算机可读存储介质，与现有技术相比，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。