基于事件机制的资源处理流程日志收集系统

技术领域

本发明涉及日志查询领域，尤其涉及一种基于事件机制的资源处理流程日志收集系统。

背景技术

在互联网时代下,信息持续增长,服务器的规模也越来越大,这也给运维带来了巨大的挑战.系统故障时,如果不能快速定位修复,将带来极大的损失.这是一个不能忽视的问题.日志是一个系统重要的组件，它记录了系统的运行情况，在系统发生故障时，系统的运维和开发人员可以通过日志快速了解系统运行过程中的错误。随着系统规模越来越大，日志规模也随之扩大，日志的统计和检索也变得越来越困难，使得在故障发生时，找到知道系统是在哪一步流程出了问题，往往需要花费大量时间从巨大的日志量中来查询和分析故障原因。在分布式架构的系统中，传统的日志排查手段需要运维管理人员每台服务器上去查看对应的日志文件，这在分布式系统中几乎是不可能实现的任务。传统的日志查询手段，需要运维管理人员首先要大概定位日志，比如找到某个服务的日志文件，或者获取出错的时间信息再根据时间范围去获取日志信息。

发明内容

本发明的目的是提供一种能够在系统出现故障时进行快速定位的基于事件机制的资源处理流程日志收集系统。

本发明解决其技术问题，采用的技术方案是：

基于事件机制的资源处理流程日志收集系统，包括：资源流程处理模块、资源存储模块、日志收集模块和日志服务器；

所述资源流程处理模块，用于按照日志产生的服务组件或者程序流程对资源的日志信息进行分组；

所述资源存储模块，用于保存资源数据，当资源状态发生变化时，产生一个资源状态变化事件，并以日志信息的形式通知给日志收集模块；

所述日志收集模块，用于当接收到所述日志信息时，将其发送至日志服务器；

所述日志服务器，用于按照对资源的日志信息的分组情况，对接收的日志信息进行汇总分析，通过日志服务器查询日志信息时，能够查询到资源的按照时间顺序的状态变化情况的处理流程情况。

进一步的是，设定每种资源必须有一个状态字段，在不同的处理阶段处于不同的状态，程序流程进行到某个阶段，系统就会发送该资源在该阶段的日志信息。

进一步的是，所有资源以及对应的处理流程进行到一定的阶段都会通过系统发送日志信息，日志收集模块收到日志后，通过远程调用将日志信息发送到日志服务器。

进一步的是，日志服务器在收到日志信息，对其进行汇总分析后，将日志信息保存到键值数据库中。

进一步的是，通过日志服务器的查询接口进行日志信息查询，查询日志信息时，根据云平台中的系统组件或者具体资源查询对应服务组件或业务流程产生的日志信息。

本发明的有益效果是，通过上基于事件机制的资源处理流程日志收集系统，对一个业务一系列处理流程看作是对一个资源处理,这里对处理的资源进行分类，并且当资源的变化时，记录其变化状态并按事件发生时间顺序保存到数据库中，当系统出现故障时，可快速定位到资源的处理流程，大大节省定位故障时间，提高了检索和分析效率。经过实际云平台运行，针对日志查询效率的提升巨大，同时日志中心也实现了将分布式系统中各个组件的日志信息汇总到中心服务上，为我们的日志排查带来了便捷。

另外，本发明能够在系统出现故障时,开发和运维人员需要快速定位到故障的原因,以便于快速修复,减小系统宕机带来的风险和损失。为了解决快速定位错误的问题，本发明将日志与云平台各个资源处理流程管理起来，并按照各种资源进行分组汇总，这样云平台的运维管理人员就能够通过具体的资源以及对应的业务定位到对应的问题点。

附图说明

图1为本发明实施例中基于事件机制的资源处理流程日志收集系统的结构框图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

实施例

本实施例提出一种基于事件机制的资源处理流程日志收集系统，其结构框图见图1，其中，该系统包括：资源流程处理模块、资源存储模块、日志收集模块和日志服务器；其中：资源流程处理模块，用于按照日志产生的服务组件或者程序流程对资源的日志信息进行分组，这里，资源流程处理模块设置在云平台，便于自定义分组；资源存储模块，用于保存资源数据，当资源状态发生变化时，产生一个资源状态变化事件，并以日志信息的形式通知给日志收集模块；日志收集模块，用于当接收到日志信息时，将其发送至日志服务器；日志服务器，用于按照对资源的日志信息的分组情况，对接收的日志信息进行汇总分析，通过日志服务器查询日志信息时，能够查询到资源的按照时间顺序的状态变化情况的处理流程情况，从而快速定位资源处理情况。

上述系统中，为了有效监控资源的状态情况，可以设定每种资源必须有一个状态字段，在不同的处理阶段处于不同的状态，程序流程进行到某个阶段，系统就会发送该资源在该阶段的日志信息。

需要指出的是，所有资源以及对应的处理流程进行到一定的阶段都会通过系统发送日志信息，日志收集模块收到日志后，通过远程调用将日志信息发送到日志服务器。日志服务器在收到日志信息，对其进行汇总分析后，可以将日志信息保存到键值数据库中。

具体应用过程中，用户通过日志服务器的查询接口进行日志信息查询，查询日志信息时，就可以根据云平台中的系统组件或者具体资源查询对应服务组件或业务流程产生的日志信息。

本实施例中，通过日志服务器，以及日志存储流程，我们构建的日志系统达到了将日志按照产生的服务组件或者程序流程分组的效果，这样在根据问题定位日志，或者排查某个服务的一些问题时，大大提高了查询日志的效率，节约了大量的人力成本，为使用该云平台的企业产生了巨大的经济效益；并且，将分组与传统的程序日志记录相结合，达到了日志分组的效果，同时通过日志中心来汇总整个分布式系统中所有服务组件的日志，通过结合分组与聚合日志的能力，我们做到比传统日志系统更高的日志查询效率，加上分组日志的威力，我们构建的日志系统甚至超越了传统的日志中心的查询效率。

本实施例在具体实施过程中：

首先通过在云平台中针对具体的程序流程进行分组，这样在每个流程中产生的日志就具备了分组的特性，能够做到在查询日志时根据我们服务的某个具体程序流程去查询日志，而不用按照传统的日志查询手段—如查询出某个日志文件某个时间段的所有日志内容，再自己去分析。通过直接定位分组大大提高了日志查询效率。

其次，我们的日志中心服务器，运用了自研分布式存储技术，达到了极限高可用的能力，要比传统的日志中心可靠性高很多，我们也提供了根据日志分组或者服务组件等条件查询，这样在查询时可以很方便的根据需要获取日志数据。