一种运用于多云环境的IT运维数据汇聚系统及方法

技术领域

本发明属于互联网技术领域，具体涉及一种运用于多云环境的IT运维数据汇聚系统及方法。

背景技术

随着云计算技术的发展，市面上出现了许多不同的云厂商。而在各个行业的实际应用中，企业通常会基于数据安全、服务可用性、性价比等因素的考虑，将业务或者部分模块部署在不同的云厂商上。虽然云厂商各自提供有运维相关的系统，也提供了各自获取数据的接口及后台，但是各个系统彼此相互独立，运维数据割裂。

当企业需要采集运维相关数据进行个性化处理汇总分析时，例如采集服务器负载情况、数据库的状态、网络的流量等数据进行分析，就需要与各个云厂家逐个进行集成对接。但是由于各家的集成对接方式不尽相同，没有统一的调用方式和入口，所以这就给使用多云环境、个性化处理汇总分析的企业带来极大的不便和困难。

发明内容

针对现有技术中的缺陷，本发明提供一种运用于多云环境的IT运维数据汇聚系统及方法，统一了运维数据收集的入口，降低了运维数据对接的成本。

一种运用于多云环境的IT运维数据汇聚系统，包括：

webGUI模块：用于供用户配置绑定的多个厂商的账号信息，将账号信息发送给控制中心；

控制中心：用于将接收到的账号信息入数据库；控制中心还用于接收用户的数据调用请求，根据数据调用请求读取数据库中的分析数据，将读取到的分析数据返回给用户；

定时任务模块：用于定时读取数据调用请求，生成定时任务；

任务执行模块：用于当监听到新的定时任务时，根据定时任务从数据库中获取用户对应的账号信息，并根据账号信息和定时任务收集对应厂商的运维数据，将运维数据传送给数据处理模块；

数据处理模块：用于对运维数据进行分析，以得到分析数据，将分析数据入数据库。

进一步地，账号信息包括以下至少一种数据：

任务调度时间间隔、授权收集的数据项、账户权限、密码、api令牌；

其中，数据项包括以下至少一种数据：cpu的使用率、内存的使用率、磁盘的使用率。

进一步地，

数据库用于对接收到的数据进行持久化；

控制中心具体用于对账号信息发送给数据库；

数据处理模块具体用于将分析数据发送给数据库。

进一步地，控制中心还用于驱动定时任务模块启动；

定时任务模块具体用于启动后，根据用户配置的任务调度时间间隔读取数据调用请求，将数据调用请求转换为定时任务。

进一步地，IT运维数据汇聚系统还包括：

消息模块：用于存储定时任务；

定时任务模块还用于将定时任务推送给消息模块；

任务执行模块还用于监听消息模块，监听消息模块是否有新的定时任务。

进一步地，数据处理模块具体用于：

对运维数据进行归类、汇聚，以得到分析数据；

修改定时任务的状态，并将状态返回给控制中心；

控制中心还用于将状态传输给数据库。

第二方面，一种运用于多云环境的IT运维数据汇聚方法，包括：

webGUI模块供用户配置绑定的多个厂商的账号信息，将账号信息发送给控制中心；

控制中心将接收到的账号信息入数据库；

控制中心接收用户的数据调用请求；

定时任务模块定时读取数据调用请求，生成定时任务；

任务执行模块当监听到新的定时任务时，根据定时任务获取用户对应的账号信息，并根据账号信息和定时任务收集对应的厂商的运维数据，将运维数据传送给数据处理模块；

数据处理模块对运维数据进行分析，以得到分析数据，将分析数据入数据库；

控制中心根据数据调用请求读取数据库中的分析数据，将读取到的分析数据返回给用户。

进一步地，账号信息包括以下至少一种数据：

任务调度时间间隔、授权收集的数据项、账户权限、密码、api令牌；

其中，数据项包括以下至少一种数据：cpu的使用率、内存的使用率、磁盘的使用率。

进一步地，定时任务模块定时读取数据调用请求，生成定时任务具体包括：

定时任务模块启动后，根据用户配置的任务调度时间间隔读取数据调用请求，将数据调用请求转换为定时任务。

进一步地，在数据处理模块对运维数据进行分析，以得到分析数据之后，还包括：

数据处理模块修改定时任务的状态，并将状态返回给控制中心；

控制中心将状态入数据库。

由上述技术方案可知，本发明提供的IT运维数据汇聚系统及方法，用户只需绑定厂商相应的账户，就可以收集运维数据，自动归类汇总入库。该系统集成了市面上绝大多数主流的公有云厂商的SDK，覆盖面广，构建简单，通用性强，具有丰富的API对接能力，统一了运维数据收集的入口，能够简单快速的对接到企业内部自有系统，大大的降低了运维数据对接的成本，操作简便，维护性强。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为实施例提供的IT运维数据汇聚系统的模块框图。

图2为实施例提供的IT运维数据汇聚方法的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

实施例：

一种运用于多云环境的IT运维数据汇聚系统，参见图1，包括：

webGUI模块：用于供用户配置绑定的多个厂商的账号信息，将账号信息发送给控制中心；

控制中心：用于将接收到的账号信息入数据库；控制中心还用于接收用户的数据调用请求，根据数据调用请求读取数据库中的分析数据，将读取到的分析数据返回给用户；

定时任务模块：用于定时读取数据调用请求，生成定时任务；

任务执行模块：用于当监听到新的定时任务时，根据定时任务从数据库中获取用户对应的账号信息，并根据账号信息和定时任务收集对应厂商的运维数据，将运维数据传送给数据处理模块；

数据处理模块：用于对运维数据进行分析，以得到分析数据，将分析数据入数据库。

在本实施例中，webGUI模块主要负责与用户进行交互。webGUI模块可以供用户绑定多个厂商的账号，厂商的账号应具有获取运维数据的权限，当用户完成账号绑定后，开启账号的运维数据获取功能。默认情况下，厂商的账号只收集服务器的基础数据，例如：cpu的使用率、内存的使用率、磁盘的使用率等等。webGUI模块也可以供用户配置账号信息，将配置的账号信息转换为json格式后，发送到控制中心。这样用户可以根据自身需求配置账号信息，以满足用户对运维数据个性化分析处理的需求。

在本实施例中，控制中心主要负责对来自webGUI模块的账号信息进行入库、API能力模块调用的处理和响应。API能力模块为分析数据提供了开放的能力，更方便的集成到企业的自有系统中。例如API能力模块中的API可以从各个厂商收集运维数据，如服务器中cpu负载、内存使用、磁盘使用情况，redis、mysql的状态数据，各账户的余额等等。API能力模块还支持http和https协议。这样用户无需与各个厂商做集成，只需调用相应的API，即可获取到多家厂商的运维数据。控制中心收到json格式的账号信息后，对账号信息进行格式解析，然后入库进行持久化。当用户想要收集某个厂商的某个运维数据时，可以发起数据调用请求，数据调用请求需明确指出发起数据调用请求的用户、需要收集的厂商、需要收集的运维数据，数据调用请求进行缓存。控制中心收到数据调用请求之后，根据数据调用请求调用API能力模块中的API，读取数据库中的分析数据，最后将分析数据统一为json格式后返回给用户。

在本实施例中，定时任务模块主要负责定时任务的派发。定时任务模块会定时从缓存中读取数据调用请求，对数据调用请求进行格式处理，生成定时任务，定时任务模块重复上述操作，循环生成定时任务。

在本实施例中，任务执行模块集成了各个厂商的API，主要负责执行定时任务。任务执行模块一直处于任务监听状态，当监听到新的定时任务时，任务执行模块触发获取动作，获取定时任务，解析定时任务识别出具体的任务动作，之后启动数据收集引擎根据账号信息和定时任务收集对应的厂商的运维数据。其中数据收集引擎设置在任务执行模块内，任务执行模块可以将收集到的运维数据统一格式化为json格式传给数据处理模块。其中厂商主要是公有云厂商，公有云指第三方提供商为用户提供的能够使用的云，公有云一般可通过Internet使用，可在整个开放的公有网络中提供服务。

在本实施例中，数据处理模块主要负责对收集到的json格式的运维数据进行归类、聚合、入库。

该IT运维数据汇聚系统，用户只需绑定厂商相应的账户，就可以收集运维数据，自动归类汇总入库。该系统集成了市面上绝大多数主流的公有云厂商的SDK，覆盖面广，构建简单，通用性强，具有丰富的API对接能力，统一了运维数据收集的入口，能够简单快速的对接到企业内部自有系统，大大的降低了运维数据对接的成本，操作简便，维护性强。

进一步地，在一些实施例中，账号信息包括以下至少一种数据：

任务调度时间间隔、授权收集的数据项、账户权限、密码、api令牌；

其中，数据项包括以下至少一种数据：cpu的使用率、内存的使用率、磁盘的使用率。

在本实施例中，webGUI模块可以供用户配置任务调度时间间隔、授权收集的数据项、账户权限、密码、api令牌等等，其中任务调度时间间隔表示读取厂商的运维数据的频率，任务调度时间间隔可以配置为1分钟、3分钟等等。授权收集的数据项为用户可以收集的数据。一般情况下，用户的角色与账户权限相关联，用户成为某个角色后将获得该角色的账户权限。管理员可以通过webGUI模块为用户添加角色和账户权限，其中账户权限可以包括增加、删除、修改、查看，例如张三的账户权限包括了查看，那么张三就可以查看汇总后的分析数据。当用户配置了厂商的api令牌时，那么当想要获取该厂商上的运维数据，就需要使用该api令牌进行鉴权。

进一步地，在一些实施例中，

数据库：用于对接收到的数据进行持久化；

控制中心具体用于对账号信息发送给数据库；

数据处理模块具体用于将分析数据发送给数据库。

在本实施例中，IT运维数据的数据库进行数据的持久化。例如控制中心将账号信息发送给数据库进行持久化，数据处理模块将得到的分析数据发送给数据库进行持久化。

进一步地，在一些实施例中，控制中心还用于驱动定时任务模块启动；

定时任务模块具体用于启动后，根据用户配置的任务调度时间间隔读取数据调用请求，将数据调用请求转换为定时任务。

在本实施例中，控制中心模块还可以驱动定时任务模块启动。定时任务模块启动后，定时生成定时任务。例如定时任务模块根据任务调度时间间隔定时读取用户发起的数据调用请求，对数据调用请求进行格式转换，生成定时任务。

进一步地，在一些实施例中，IT运维数据汇聚系统还包括：

消息模块：用于存储定时任务；

定时任务模块还用于将定时任务推送给消息模块；

任务执行模块还用于监听消息模块，监听消息模块是否有新的定时任务。

在本实施例中，该系统还设有消息模块。定时任务模块当生成定时任务后，将定时任务推送给消息模块。任务执行模块则监听消息模块是否有新的定时任务，如果有，从消息模块中读取新的定时任务。

进一步地，在一些实施例中，数据处理模块具体用于：

对运维数据进行归类、汇聚，以得到分析数据；

修改定时任务的状态，并将状态返回给控制中心；

控制中心还用于将状态传输给数据库。

在本实施例中，数据处理模块完成运维数据的分析后，修改定时任务的状态，例如修改已完成运维数据分析的定时任务的状态为已完成。数据处理模块将定时任务的状态回传给控制中心，由控制中心对各个定时任务的状态进行入库，这样控制中心就能够了解各个定时任务的执行状态。

一种运用于多云环境的IT运维数据汇聚方法，参见图2，包括：

S1：webGUI模块供用户配置绑定的多个厂商的账号信息，将账号信息发送给控制中心；

S2：控制中心将接收到的账号信息入数据库；

S3：控制中心接收用户的数据调用请求；

S4：定时任务模块定时读取数据调用请求，生成定时任务；

S5：任务执行模块当监听到新的定时任务时，根据定时任务获取用户对应的账号信息，并根据账号信息和定时任务收集对应的厂商的运维数据，将运维数据传送给数据处理模块；

S6：数据处理模块对运维数据进行分析，以得到分析数据，将分析数据入数据库；

S7：控制中心根据数据调用请求读取数据库中的分析数据，将读取到的分析数据返回给用户。

进一步地，在一些实施例中，账号信息包括以下至少一种数据：

任务调度时间间隔、授权收集的数据项、账户权限、密码、api令牌；

其中，数据项包括以下至少一种数据：cpu的使用率、内存的使用率、磁盘的使用率。

进一步地，在一些实施例中，定时任务模块定时读取数据调用请求，生成定时任务具体包括：

定时任务模块启动后，根据用户配置的任务调度时间间隔读取数据调用请求，将数据调用请求转换为定时任务。

进一步地，在一些实施例中，在数据处理模块对运维数据进行分析，以得到分析数据之后，还包括：

数据处理模块修改定时任务的状态，并将状态返回给控制中心；

控制中心将状态入数据库。

本发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述实施例中相应内容。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。