数据处理方法、系统、计算机设备和存储介质

技术领域

本发明涉及计算机应用技术领域，更为具体而言，涉及一种数据处理方法、系统、计算机设备和存储介质。

背景技术

为了实现资产的线上管理，目前已有通过构建基础数据库，并根据简单的脚本完成数据的录入，进而提供查询功能的数据管理方法。然而，当前的数据管理方法缺乏规范化的数据管理流程，并且管纳数据质量差，应用领域有限，无法满足各工具组件与领域系统的数据要求。

因此，需要一种优化配置管理系统和方法，来实现详尽而规范化的数据管理，以扩大配置管理数据的覆盖范围，提高精细化程度和服务能力，满足各工具组件与领域系统的数据要求。

发明内容

为解决上述现有技术存在的问题或部分问题，本发明实施方式提供了一种数据处理方法、系统、计算机设备和存储介质，根据待采集数据的属性信息确定的业务规则获取的采集包，在数据来源自动收集的数据中进行数据采集，能够实现基于多数据源的自动化、规范化数据采集，不仅提高了配置数据的采集效率，还扩充了采集到的数据范围。

根据本发明的第一方面，本发明实施方式提供了一种数据处理方法，其包括：选取待采集数据的数据来源，其中，所述数据来源自动收集其产生的数据；根据所述待采集数据的属性信息确定所述待采集数据对应的业务规则；根据所述业务规则确定获取所述待采集数据的采集包，并发布所述采集包；将所述采集包下发至所述采集包对应的采集器；所述采集器在所述数据来源收集的数据中根据所述采集包进行数据采集。

本发明上述实施方式根据待采集数据的属性信息确定的业务规则获取采集包，并在数据来源自动收集的数据中根据采集包进行数据采集，能够实现基于多数据源的自动化、规范化数据采集，不仅提高了配置数据的采集效率，还扩充了采配置管理数据的覆盖范围，进而可以满足各工具组件与领域系统的数据要求。

在本发明的一些实施方式中，所述业务规则为所述待采集数据的属性信息对应的采集包的版本和下发策略。

在本发明的一些实施方式中，所述数据来源包括以下至少之一：云管平台、网络管理系统、服务器管理系统、虚拟化管理平台、应用系统、存储管理系统。

本发明上述实施方式通过提供多种数据来源，可以实现满足各种数据采集需求，进而提供更加详尽且精细的数据管理。

在本发明的一些实施方式中，所述属性信息包括：操作系统的名称、版本、序列号、所在区域。

在本发明的一些实施方式中，所述数据处理方法还包括：将采集到的数据根据所述属性信息进行存储；将所述采集到的数据根据接口提供给所需系统；根据所述属性信息对所述存储的数据进行搜索，获取搜索结果。

根据本发明的第二方面，本发明实施方式提供了一种数据处理系统，其包括：数据来源选取模块，用于选取待采集数据的数据来源，其中，所述数据来源自动收集其产生的数据；采集包发布模块，用于根据所述待采集数据的属性信息确定所述待采集数据对应的业务规则，根据所述业务规则确定获取所述待采集数据的采集包，并将所述采集包下发至所述采集包对应的采集器；数据采集模块，用于使所述采集器在所述数据来源收集的数据中根据所述采集包进行数据采集。

本发明上述实施方式根据待采集数据的属性信息确定的业务规则获取采集包，并在数据来源自动收集的数据中根据采集包进行数据采集，能够实现基于多数据源的自动化、规范化数据采集，不仅提高了配置数据的采集效率，还扩充了采配置管理数据的覆盖范围，进而可以满足各工具组件与领域系统的数据要求。

在本发明的一些实施方式中，所述业务规则为所述待采集数据的属性信息对应的采集包的版本和下发策略。

在本发明的一些实施方式中，所述数据来源包括以下至少之一：云管平台、网络管理系统、服务器管理系统、虚拟化管理平台、应用系统、存储管理系统。

本发明上述实施方式通过提供多种数据来源，可以实现满足各种数据采集需求，进而提供更加详尽且精细的数据管理。

在本发明的一些实施方式中，所述属性信息包括：操作系统的名称、版本、序列号、所在区域。

在本发明的一些实施方式中，所述数据处理系统还包括：仓库模块，用于将所述数据采集模块采集到的数据根据所述属性信息进行存储，并将所述采集到的数据根据接口提供给所需系统；搜索模块，用于根据所述属性信息对所述仓库模块中存储的数据进行搜索，获取搜索结果。

根据本发明的第三方面，本发明实施方式提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述数据处理方法所包含的步骤。

根据本发明的第四方面，本发明实施方式提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时能够实现如上任意一种实施方式所述的数据处理方法。

由上述可知，本发明实施方式提供的数据处理方法、系统、存储介质和计算机设备，根据待采集数据的属性信息确定的业务规则获取采集包，并在数据来源自动收集的数据中根据采集包进行数据采集，能够实现基于多数据源的自动化、规范化数据采集，不仅提高了配置数据的采集效率，还扩充了采配置管理数据的覆盖范围，进而可以满足各工具组件与领域系统的数据要求。

附图说明

图1是根据本发明一种实施方式的数据处理方法的流程示意图；

图2是根据本发明一种实施方式的数据处理系统的架构图。

具体实施方式

以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。

图1是根据本发明一种实施方式的数据处理方法的流程示意图。

如图1所示，在本发明的一种实施方式中，所述方法可包括：步骤S11、步骤S12、步骤S13、步骤S14和步骤S15，下面对上述步骤进行具体的描述。

在步骤S11中，选取待采集数据的数据来源，其中，所述数据来源自动收集其产生的数据。在一种实施方式中，数据来源包括但不限于下述一种或多种：云管平台、网络管理系统、服务器管理系统、虚拟化管理平台、应用系统、存储管理系统。

在步骤S12中，根据所述待采集数据的属性信息确定所述待采集数据对应的业务规则。在一种实施方式中，待采集数据的属性信息可以包括但不限于：操作系统的名称、版本、序列号、所在区域等。

在另一种实施方式中，待采集数据对应的业务规则可以是待采集数据的属性信息对应的采集包的版本和下发策略。

在步骤S13中，根据所述业务规则确定获取所述待采集数据的采集包，并发布所述采集包。

在步骤S14中，将所述采集包下发至所述采集包对应的采集器。其中，采集包对应的采集器为进行数据采集的机器或机器范围。

在一种实施方式中，将所述采集包下发至采集器后，可以在对应流程管理中进行审批，审批通过后再执行步骤S15。

在步骤S15中，所述采集器在所述收集到的数据中根据所述采集包进行数据采集。

采用本发明实施方式的上述方法，根据待采集数据的属性信息确定的业务规则获取采集包，并在数据来源自动收集的数据中根据采集包进行数据采集，能够实现基于多数据源的自动化、规范化数据采集，不仅提高了配置数据的采集效率，还扩充了采配置管理数据的覆盖范围，进而可以提供详尽且精细的数据管理，满足各工具组件与领域系统的数据要求。

在一种实施方式中，通过对采集范围以及采集质量进行设置，可以管理可采集数据的范围，并对采集的结果进行审阅。此外，还可以根据关键属性调和采集数据，并进行字段冲突管理；提供配置数据的配置项属性字段质量管理规则(例如：是否为空、枚举、字典、正则表达式校验等)来进行数据治理；提供配置数据不同版本之间周期性比对来实现配置管理数据的管理和管控。

在另一种实施方式中，将采集到的数据根据属性信息进行存储；将所述采集到的数据根据接口提供给所需系统；根据属性信息对存储的数据进行搜索，获取搜索结果。其中，所需系统可以包括但不限于应用监控、流程管理、敏捷交付等下游系统。其中，存储的数据对应的目录为存储数据的配置类型(即属性信息)，每个配置类型可显示全量配置项的各项信息。此外，还可以具备“漏斗”功能，即可以定制需要显示特定的配置项属性信息。示例性的，针对平台资源层的数据，其对应的配置项可以包括但不限于：ActiveMQ中间件、AIX操作系统、Apache中间件、资源池构建单元、C框架、联机事务处理中间件等。在该实施方式中基于存储数据的搜索，可以直接根据配置项的名称搜索，例如具体的主机名，或者应用高级搜索，即根据配置类型(即属性信息)进行搜索，配置项可以包括但不限于：物理机，虚拟机，linux操作系统，交换机，路由器等信息。其中，具体的搜索方法可以通过关键字匹配的方法进行搜索，以获取对应的搜索结果。举例而言，选择linux操作系统这一配置项，同时选择创建时间填写为2020年8月8日，那么将筛选出满足这两个条件的所有配置项。此外，还可以将常用的搜索条件(如前述的linux操作系统以及创建时间)添加到常用搜索，作为当前用户或其他用户的搜索条件，由此，可以在下次搜索时按照此条件迅速获取搜索结果。

在其他实施方式中，通过设置配置项之间的部署、访问、包含、连接、具有、管理、备份等七种关系，可以解决对象及关系缺失的问题；通过联接丰富的上下游系统，并对接敏捷交付、云平台、自动化运维系统、应用监控、投产管控等多个核心系统平台，可以解决消费场景有限的问题，具体而言，通过将采集到的数据根据标准的数据服务目录的方式提供给对接的平台或系统，或者通过订阅的方式将收集到的数据变更增量提供给对接的平台或系统；针对自动化流程的需求通道，采用新型技术加快开发周期，可以解决技术框架陈旧的问题；通过确定云管理平台等少数数据来源，统一规范化采集数据格式，规范数据采集模型创建流程，同时在前端增加数据校正与冲突管理，可以解决数据质量差的问题。

图2是根据本发明一种实施方式的数据处理系统的架构图。

如图2所示，所述数据处理系统包括：

数据来源选取模块210，用于选取待采集数据的数据来源，其中，所述数据来源自动收集其产生的数据。在一种实施方式中，数据来源包括但不限于下述一种或多种：云管平台、网络管理系统、服务器管理系统、虚拟化管理平台、应用系统、存储管理系统。

采集包发布模块220，用于根据所述待采集数据的属性信息确定所述待采集数据对应的业务规则；根据所述业务规则确定获取所述待采集数据的采集包，并发布所述采集包；将所述采集包下发至所述采集包对应的采集器。

在一种实施方式中，待采集数据的属性信息可以包括但不限于：操作系统的名称、版本、序列号、所在区域等。

在另一种实施方式中，待采集数据对应的业务规则可以是待采集数据的属性信息对应的采集包的版本和下发策略。

数据采集模块230，用于使所述采集器在所述数据来源收集的数据中根据所述采集包进行数据采集。

仓库模块240，用于将所述数据采集模块230采集到的数据根据所述属性信息进行存储，并将所述采集到的数据根据接口提供给所需系统。其中，所需系统可以包括但不限于应用监控、流程管理、敏捷交付等下游系统。

搜索模块250，用于根据所述属性信息对所述仓库模块240中存储的数据进行搜索，获取搜索结果。其中，存储的数据对应的目录为存储数据的配置类型(即属性信息)，每个配置类型可显示全量配置项的各项信息。此外，还可以具备“漏斗”功能，即可以定制需要显示特定的配置项属性信息。

在一种实施方式中，对仓库模块240中存储的数据进行搜索的具体搜索方法可以通过关键字匹配的方法进行搜索，以获取对应的搜索结果。

采用本发明实施方式的上述系统，根据待采集数据的属性信息确定的业务规则获取采集包，并在数据来源自动收集的数据中根据采集包进行数据采集，能够实现基于多数据源的自动化、规范化数据采集，不仅提高了配置数据的采集效率，还扩充了采配置管理数据的覆盖范围，进而可以提供详尽且精细的数据管理，满足各工具组件与领域系统的数据要求。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。

对应的，本发明实施方式还提供一种计算机可读存储介质，其上存储有计算机可读指令或程序，所述计算机可读指令或程序被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述数据处理方法所包含的步骤，在此不再赘述。其中，所述存储介质可以包括：例如，光盘、硬盘、软盘、闪存、磁带等。

另外，本发明实施方式还提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机指令或程序，其中，所述一条或多条计算机指令或程序被所述处理器执行时能够实现如上任意一种实施方式所述的数据处理方法。所述计算机设备可以是，例如，服务器、台式计算机、笔记本计算机等。

最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。因此本发明的保护范围应以权利要求为准。