一种进程巡检数据的处理方法及系统

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种进程巡检数据的处理方法、系统、电子设备及计算机可读存储介质。

背景技术

目前，针对大量机器的进程巡检是运维领域重要的基础功能，对于目前业界的通用方案来说，也仅支持一些通用的指标数据采集，无法定制化采集特定种类的进程数据如针对某应用进程特有的配置数据、活动数据等。

现有技术中，传统的做法是在对应不同的进程的应用中做代码的定制化埋点，由应用进程自己去上报相关的进程数据、配置数据到服务器，这个做法有着比较多的问题，如：需要对应项目的开发配合，对源代码的侵入性，改造麻烦；出现指标的改动、增加的场景需要多方改动配合，无法实现快速滚动升级；而且，针对上报来的数据的处理没有统一的格式、指标模型，容易出错，处理起来效率低下。

发明内容

本申请实施例的目的在于提供一种进程巡检数据的处理方法、系统、电子设备及计算机可读存储介质，可以实现提高进程巡检的处理效率的技术效果。

第一方面，本申请实施例提供了一种进程巡检数据的处理方法，包括：

通过预设配置管理数据库获取待检生产机器的进程数据；

对所述进程数据调度脚本任务信息进行巡检，获得任务结果数据；

基于所述任务结果数据进行数据分解处理，获得数据分解信息；

基于所述任务结果数据和所述数据分解信息进行数据再聚合处理，获得数据分析结果。

在上述实现过程中，对待检生产机器的进程数据采集与计算分析分离，可支持大量待检生产机器的数据的采集，即待检生产机器的数量可以是多个；而且，基于任务结果数据进行数据分解处理后、进行数据再聚合处理，不需要因为脚本任务信息中新指标的加入而作出改动，指标的数据类型可以自由化，允许对任务结果数据的进行分离-应用-合并运算操作；从而，该进程巡检数据的处理方法可以实现提高进程巡检的处理效率的技术效果。

进一步地，在基于所述任务结果数据进行数据分解处理，获得数据分解信息的步骤之后，所述方法还包括：

基于预设指标对所述任务结果数据进行数据分区处理，获得任务分区数据，所述数据分区处理以所述预设指标为单位进行分区，且数据分区的伸缩与所述预设指标的增减相互对应。

在上述实现过程中，数据分区以预设指标为单位，即通过预设指标的增减可以便捷地实现分区的伸缩。对于处于单一指标分区里的数据，可以通过采集脚本的定义写入，而不需要有固定的形式，可以是一个字符串，一个整数，甚至一个JS对象简谱数据，具有可以多层嵌套的特性，不需要具体声明类型。

进一步地，所述基于所述任务结果数据和所述数据分解信息进行数据再聚合处理，获得数据分析结果的步骤，包括：

通过所述任务分区数据和所述数据分解信息进行数据再聚合处理，获得数据分析结果。

在上述实现过程中，在对数据分解信息进行再聚合处理、分析的时候，同样以分区为单位，数据的读取性能可以得到较大的提高，从而为后续的分析业务流程打下基础，提高处理效率。

进一步地，所述预设指标为Key-value指标，所述基于预设指标对所述任务结果数据进行数据分区处理，获得任务分区数据的步骤，包括：

基于Key-value指标对所述任务结果数据进行数据分区处理，获得任务分区数据。

在上述实现过程中，Key-value支持多层嵌套的数据存储、读取，使得进程巡检数据的处理方法可以固化下来，在后续的数据采集变更中，只需要在采集脚本里做代码的修改，就可以在大量的待检生产机器上适用，数据的服务端不需要任何的改动。

进一步地，所述通过预设配置管理数据库获取待检生产机器的进程数据的步骤，包括：

基于所述预设配置管理数据库调度所述待检生产机器的计算端和服务端，获得进程数据。

进一步地，所述对所述进程数据调度脚本任务信息进行巡检，获得任务结果数据的步骤，包括：

基于预设任务下发-数据回收周期对所述进程数据调度脚本任务信息进行巡检，获得任务结果数据，所述脚本任务信息包括采集层元数据分解、元数据索引、索引整合、数据分解、数据成型中的一种或多种。

在上述实现过程中，在进行数据分解时，可以预先设置元数据分解运算时间，该元数据分解运算时间与预设任务下发-数据回收周期相对应。

第二方面，本申请实施例提供了一种进程巡检数据的处理系统，包括：

进程模块，用于通过预设配置管理数据库获取待检生产机器的进程数据；

脚本模块，用于对所述进程数据调度脚本任务信息进行巡检，获得任务结果数据；

数据分解模块，用于基于所述任务结果数据进行数据分解处理，获得数据分解信息；

数据分析模块，用于基于所述任务结果数据和所述数据分解信息进行数据再聚合处理，获得数据分析结果。

进一步地，所述进程巡检数据的处理系统还包括数据分区模块，所述数据分区模块用于基于预设指标对所述任务结果数据进行数据分区处理，获得任务分区数据，所述数据分区处理以所述预设指标为单位进行分区，且数据分区的伸缩与所述预设指标的增减相互对应。

进一步地，所述数据分析模块具体用于：通过所述任务分区数据和所述数据分解信息进行数据再聚合处理，获得数据分析结果。

进一步地，所述数据分区模块具体用于：基于Key-value指标对所述任务结果数据进行数据分区处理，获得任务分区数据。

进一步地，所述进程模块具体用于：基于所述预设配置管理数据库调度所述待检生产机器的计算端和服务端，获得进程数据。

进一步地，所述脚本模块具体用于：基于预设任务下发-数据回收周期对所述进程数据调度脚本任务信息进行巡检，获得任务结果数据，所述脚本任务信息包括采集层元数据分解、元数据索引、索引整合、数据分解、数据成型中的一种或多种。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。

第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。

本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种进程巡检数据的处理方法的流程示意图；

图2为本申请实施例提供的另一种进程巡检数据的处理方法的流程示意图；

图3为本申请实施例提供的进程巡检数据的处理系统的结构框图；

图4为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请实施例的目的在于提供一种进程巡检数据的处理方法、系统、电子设备及计算机可读存储介质，可应用于对大量机器的进程巡检过程中；该进程巡检数据的处理方法中，对待检生产机器的进程数据采集与计算分析分离，可支持大量待检生产机器的数据的采集，即待检生产机器的数量可以是多个；而且，基于任务结果数据进行数据分解处理后、进行数据再聚合处理，不需要因为脚本任务信息中新指标的加入而作出改动，指标的数据类型可以自由化，允许对任务结果数据的进行分离-应用-合并运算操作；从而，该进程巡检数据的处理方法可以实现提高进程巡检的处理效率的技术效果。

请参见图1，图1为本申请实施例提供的一种进程巡检数据的处理方法的流程示意图，该进程巡检数据的处理方法包括如下步骤：

S100：通过预设配置管理数据库获取待检生产机器的进程数据。

示例性地，预设配置管理数据库(CMDB，Configuration Management Database)是一个逻辑数据库，包含了配置项全生命周期的信息以及配置项之间的关系，该关系包括物理关系、实时通信关系、非实时通信关系和依赖关系中的一种或多种。预设配置管理数据库存储与管理企业的计算机技术(IT，Internet Technology)架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。

可选地，配置管理数据库可能是由几个物理数据库组成，这些数据库形成了一个逻辑实体，对数据库之间的整合状况要进行优化，所有配置项信息都包括在配置管理数据库中。配置管理数据库对所有的IT组件、组件的不同版本和状态，以及组件之间的关系进行跟踪。

S200：对进程数据调度脚本任务信息进行巡检，获得任务结果数据。

示例性地，采集待检生产机器的进程数据可以是并行采集，即可以同时对多个待检生产机器的进程数据进行采集。

在一些实施方式中，通过预设配置管理数据库得到的进程数据，可以知道待检生产机器上应用的运行信息，即待检生产机器上会有哪些应用程序在上面运行；从而，针对这些待检生产机器去调度统一的脚本任务信息，这个过程是异步可调节的，比如每次100台待检生产机器同时调度；在调度时各个待检生产机器设计为乱序调度，可以防止同一网络区域过于活跃。

S300：基于任务结果数据进行数据分解处理，获得数据分解信息。

S400：基于任务结果数据和数据分解信息进行数据再聚合处理，获得数据分析结果。

示例性地，对基于脚本任务信息跑出来的任务结果数据做出分析，结构化为对应的数据；这里就有一个分解数据和再聚合数据的过程，这个过程结构为可伸缩的，即巡检任务对应的脚本任务信息可以增加指标数据也可以减少，脚本任务信息在指标数据上的改动不需要知会“基于脚本任务信息跑出来的任务结果数据做出分析”的流程。

示例性地，该进程巡检数据的处理方法中，对待检生产机器的进程数据采集与计算分析分离，可支持大量待检生产机器的数据的采集，即待检生产机器的数量可以是多个；而且，基于任务结果数据进行数据分解处理后、进行数据再聚合处理，不需要因为脚本任务信息中新指标的加入而作出改动，指标的数据类型可以自由化，允许对任务结果数据的进行分离-应用-合并运算操作；从而，该进程巡检数据的处理方法可以实现提高进程巡检的处理效率的技术效果。

请参见图2，图2为本申请实施例提供的另一种进程巡检数据的处理方法的流程示意图。

示例性地，在S300：基于任务结果数据进行数据分解处理，获得数据分解信息的步骤之后，方法还包括：

S310：基于预设指标对任务结果数据进行数据分区处理，获得任务分区数据，数据分区处理以预设指标为单位进行分区，且数据分区的伸缩与预设指标的增减相互对应。

示例性地，数据分区以预设指标为单位，即通过预设指标的增减可以便捷地实现分区的伸缩。

在一些实施方式中，对于处于单一指标分区里的数据，可以通过采集脚本的定义写入，而不需要有固定的形式，可以是一个字符串，一个整数，甚至一个JS对象简谱(JSON，JavaScript Object Notation)数据，具有可以多层嵌套的特性，不需要具体声明类型。

示例性地，JS对象简谱是一种轻量级的数据交换格式。它基于欧洲计算机协会制定的JS规范的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

示例性地，S400：基于任务结果数据和数据分解信息进行数据再聚合处理，获得数据分析结果的步骤，包括：

S410：通过任务分区数据和数据分解信息进行数据再聚合处理，获得数据分析结果。

示例性地，在对数据分解信息进行再聚合处理、分析的时候，同样以分区为单位，数据的读取性能可以得到较大的提高，从而为后续的分析业务流程打下基础，提高处理效率。

示例性地，预设指标为Key-value指标，S310：基于预设指标对任务结果数据进行数据分区处理，获得任务分区数据的步骤，包括：

基于Key-value指标对任务结果数据进行数据分区处理，获得任务分区数据。

示例性地，Key-value支持多层嵌套的数据存储、读取，使得进程巡检数据的处理方法可以固化下来，在后续的数据采集变更中，只需要在采集脚本里做代码的修改，就可以在大量的待检生产机器上适用，数据的服务端不需要任何的改动。

示例性地，key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。

示例性地，如果辅以实时搜索引擎(Real-Time Search Engine)进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询；其中：

Key-value代表根据关键字取值；

key代表关键字；

value代表值；

示例性地，Key-value具有极高的并发读写性能，Key-value数据库是一种以键值对存储数据的一种数据库，类似Java中的map。可以将整个数据库理解为一个大的map，每个键都会对应一个唯一的值。

示例性地，S100：通过预设配置管理数据库获取待检生产机器的进程数据的步骤，包括：

S110：基于预设配置管理数据库调度待检生产机器的计算端和服务端，获得进程数据。

示例性地，S200：对进程数据调度脚本任务信息进行巡检，获得任务结果数据的步骤，包括：

S210：基于预设任务下发-数据回收周期对进程数据调度脚本任务信息进行巡检，获得任务结果数据，脚本任务信息包括采集层元数据分解、元数据索引、索引整合、数据分解、数据成型中的一种或多种。

示例性地，在进行数据分解时，可以预先设置元数据分解运算时间，该元数据分解运算时间与预设任务下发-数据回收周期相对应。

综上所述，本申请实施例提供的进程巡检数据的处理方法，至少包括以下优点：

1、这个聚合分析数据的模型下，我们不需要因为新的指标而作出改动，指标的数据类型自由化；

2、数据的并发采集与计算分析分离，支持大量机器的数据的采集；

3、数据结构的自由化允许数据集的分离-应用-合并运算操作；

4、数据的读写性能高、对数据库友好、在后续业务逻辑的程序上可以做到数据的分析条理分明，可读性强。

请参见图3，图3为本申请实施例提供的进程巡检数据的处理系统的结构框图，该进程巡检数据的处理系统包括：

进程模块100，用于通过预设配置管理数据库获取待检生产机器的进程数据；

脚本模块200，用于对进程数据调度脚本任务信息进行巡检，获得任务结果数据；

数据分解模块300，用于基于任务结果数据进行数据分解处理，获得数据分解信息；

数据分析模块400，用于基于任务结果数据和数据分解信息进行数据再聚合处理，获得数据分析结果。

示例性地，进程巡检数据的处理系统还包括数据分区模块，数据分区模块用于基于预设指标对任务结果数据进行数据分区处理，获得任务分区数据，数据分区处理以预设指标为单位进行分区，且数据分区的伸缩与预设指标的增减相互对应。

示例性地，数据分析模块400具体用于：通过任务分区数据和数据分解信息进行数据再聚合处理，获得数据分析结果。

示例性地，数据分区模块具体用于：基于Key-value指标对任务结果数据进行数据分区处理，获得任务分区数据。

示例性地，进程模块100具体用于：基于预设配置管理数据库调度待检生产机器的计算端和服务端，获得进程数据。

示例性地，脚本模块200具体用于：基于预设任务下发-数据回收周期对进程数据调度脚本任务信息进行巡检，获得任务结果数据，脚本任务信息包括采集层元数据分解、元数据索引、索引整合、数据分解、数据成型中的一种或多种。

需要注意的是，本申请实施提供的进程巡检数据的处理系统与图1至图2所示的方法实施例相对应，为避免重复，此处不再赘述。

本申请还提供一种电子设备，请参见图4，图4为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口520用于与其他节点设备进行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器510可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。

存储器530可以是，但不限于，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory)等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器510执行时，电子设备可以执行上述图1至图2方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。

所述存储器530、存储控制器、处理器510、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图4所示的结构仅为示意，所述电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。