一种基于日志采集的监控预警系统及方法

技术领域

本发明涉及服务器日志技术领域，尤其涉及一种基于日志采集的监控预警系统及方法。

背景技术

随着互联网规模的不断扩大，应用不断增多，网络已经深入到生活的各方面，给用户的日常生活带来极大的方便；在实际生产过程中，系统服务调用及用户操作行为均为产品的持续迭代和优化提供了重要的数据支撑，同时也对稳定交付运行也起着至关重要的作用；但是系统不会一直健康的运行，因此对系统进行监控预警就显着格外重要。

现有技术中对系统进行监控预警通常会将接口调用日志和操作日志的数据丢弃，导致监控预警的准确度不高；同时，对数据进行分析的周期较长，导致不能及时的发出预警。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于日志采集的监控预警系统及方法，旨在解决现有技术中对系统进行监控预警的准确率低和时效性低的问题。

为实现上述目的，本发明提供一种基于日志采集的监控预警系统，其中，所述基于日志采集的监控预警系统包括：

数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；所述数据定义模块分别与所述数据变更模块和所述数据监听模块连接，所述数据变更模块与所述数据监听模块连接，所述数据监听模块与所述数据分析模块连接，所述数据分析模块与所述预警响应模块连接；

所述数据定义模块用于定义业务实体和行为埋点，并将所述业务实体发送给所述数据变更模块，将所述行为埋点发送给数据监听模块；

所述数据变更模块用于对所述业务实体进行处理得到目标业务实体，并将所述目标业务实体发送给所述数据监听模块；

所述数据监听模块用于基于所述目标业务实体获取接口调用日志，基于所述行为埋点获取操作日志，将所述操作日志发送给所述数据分析模块，并将所述接口调用日志储存至日志数据库；

所述数据分析模块用于对所述操作日志进行分类得到分类结果，并将所述分类结果发送给所述预警响应模块；

所述预警响应模块用于根据所述分类结果执行应急处理方案，并更新所述日志数据库。

所述的基于日志采集的监控预警系统，其中，所述数据定义模块包括定义单元和第一发送单元；所述定义单元用于将更新业务数据行为定义为业务实体，并将页面操作行为定义为行为埋点；所述第一发送单元用于将所述业务实体发送给所述数据变更模块，并将所述行为埋点发送给数据监听模块。

所述的基于日志采集的监控预警系统，其中，所述数据变更模块包括更新单元和第二发送单元；所述更新单元用于基于系统接口对所述业务实体的增删改查操作进行更新，得到目标业务实体；所述第二发送单元用于并将所述目标业务实体发送给所述数据监听模块。

所述的基于日志采集的监控预警系统，其中，所述数据分析模块包括分类单元和第三发送单元；所述分类单元用于基于预警规则引擎对所述操作日志进行事件信息分类得到分类结果；所述第三发送单元用于将所述分类结果发送至所述预警响应模块。

所述的基于日志采集的监控预警系统，其中，所述预警响应模块包括预警查找单元、预警执行单元与后台处理单元，其中，所述预警查找单元、所述预警执行单元与所述后台处理单元之间依次连接；所述预警查找单元用于接收所述分类结果，根据所述分类结果查找应急处理库，得到不同类型的应急处理方案，并将所有的所述应急处理方案发送给所述预警执行单元；所述预警执行单元用于执行不同类型的应急处理方案，并将所述应急处理方案对应的预警配置发送给后台处理单元；所述后台处理单元用于根据所述预警配置触发预警通知服务，并更新所述日志数据库。

所述的基于日志采集的监控预警系统，其中，所述日志数据库的信息包括：日志ID、实体ID、未更新数值和已更新数值。

所述的基于日志采集的监控预警系统，其中，所述操作日志包括：页面访问日志、按钮点击日志和页面元素选择日志。

此外，本发明还提供一种基于日志采集的监控预警系统的基于日志采集的监控预警方法，其中，所述基于日志采集的监控预警系统的基于日志采集的监控预警方法包括：

所述数据定义模块定义业务实体和行为埋点，所述数据监听模块基于所述业务实体采集接口调用日志，基于所述行为埋点采集操作日志，并将所述接口调用日志储存至日志数据库；

所述数据分析模块对所述操作日志进行分类得到分类结果，并根据所述分类结果查找应急处理库得到不同类型的应急处理方案，所述预警响应模块执行每个所述应急处理方案，并更新所述日志数据库。

所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其中，所述获取业务实体和行为埋点，之后还包括：

若所述数据变更模块接收所述业务实体的变更请求，所述数据变更模块调用系统接口，并基于所述系统接口对所述业务实体进行更新，得到目标业务实体。

所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，其中，所述对所述操作日志进行分类得到分类结果，之后还包括：

所述数据分析模块提取分类结果中错误日志，对所述错误日志进行归集，并根据规则路由对归集后的错误日志进行处理。

本发明的所述基于日志采集的监控预警系统包括：数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；所述数据定义模块分别与所述数据变更模块和所述数据监听模块连接，所述数据变更模块与所述数据监听模块连接，所述数据监听模块与所述数据分析模块连接，所述数据分析模块与所述预警响应模块连接；所述数据定义模块用于定义业务实体和行为埋点，并将所述业务实体发送给所述数据变更模块，将所述行为埋点发送给数据监听模块；所述数据变更模块用于对所述业务实体进行处理得到目标业务实体，并将所述目标业务实体发送给所述数据监听模块；所述数据监听模块用于基于所述目标业务实体获取接口调用日志，基于所述行为埋点获取操作日志，将所述操作日志发送给所述数据分析模块，并将所述接口调用日志储存至日志数据库；所述数据分析模块用于对所述操作日志进行分类得到分类结果，并将所述分类结果发送给所述预警响应模块；所述预警响应模块用于根据所述分类结果执行应急处理方案，并更新所述日志数据库。本发明通过基于日志采集的监控预警系统可以进行实时预警，有效提高监控预警的准确率和时效性。

附图说明

图1是本发明的基于日志采集的监控预警系统的一种原理示意图；

图2是本发明的基于日志采集的监控预警系统的另一种原理示意图；

图3是本发明基于日志采集的监控预警系统的基于日志采集的监控预警方法的较佳实施例中的处理流程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明较佳实施例所述的基于日志采集的监控预警系统的一个实施例包括，如图1所示，所述基于日志采集的监控预警系统包括：数据定义模块10、数据变更模块20、数据监听模块30、数据分析模块40与预警响应模块50；所述数据定义模块10分别与所述数据变更模块20和所述数据监听模块30连接，所述数据变更模块20与所述数据监听模块30连接，所述数据监听模块30与所述数据分析模块40连接，所述数据分析模块40与所述预警响应模块50连接。

其中，所述数据定义模块10用于定义业务实体和行为埋点，并将所述业务实体发送给所述数据变更模块20，将所述行为埋点发送给数据监听模块30；所述数据变更模块20用于对所述业务实体进行处理得到目标业务实体，并将所述目标业务实体发送给所述数据监听模块30；所述数据监听模块30用于基于所述目标业务实体获取接口调用日志，基于所述行为埋点获取操作日志，将所述操作日志发送给所述数据分析模块40，并将所述接口调用日志储存至日志数据库；所述数据分析模块40用于对所述操作日志进行分类得到分类结果，并将所述分类结果发送给所述预警响应模块50；所述预警响应模块50用于根据所述分类结果执行应急处理方案，并更新所述日志数据库。

如图2所示，本发明实施例中基于日志采集的监控预警系统的另一个实施例包括：数据定义模块10、数据变更模块20、数据监听模块30、数据分析模块40与预警响应模块50；所述数据定义模块10分别与所述数据变更模块20和所述数据监听模块30连接，所述数据变更模块20与所述数据监听模块30连接，所述数据监听模块30与所述数据分析模块40连接，所述数据分析模块40与所述预警响应模块50连接。

具体地，用户在系统的操作行为分为两类，一类是需要更新业务数据的，而这类操作行为是需要对后端的业务数据进行增删改查操作，即增加，删除，修改及查询；而另外一类是无需对后端的业务数据进行增删改查操作的其他行为，其中，所述其他行为指的是对页面的访问、按钮的点击、页面元素的选择等；所述数据定义模块10(例如，客户端)包括定义单元101和第一发送单元102，通过所述定义单元101将某个业务之下的增删改查操作的集合封装起来，并定义为一个业务实体，是通过调用后台的接口服务实现的；还通过所述定义单元101将用户对页面的访问、按钮的点击、页面元素的选择等类型的操作行为定义为行为埋点；对不同的操作行为进行定义，是为了后续更加方便快捷的获取到对应的接口调用日志和操作日志；在用户的操作行为完成定义后，所述第一发送单元102将所述业务实体发送给所述数据变更模块20，并且所述第一发送单元102还将所述行为埋点发送给数据监听模块30，因为所述行为埋点是由所述数据监听模块30直接监听。

具体地，所述数据变更模块20包括更新单元201和第二发送单元202；当所述业务实体需要进行变更时，将变更请求发送至所述数据变更模块20的更新单元201，所述更新单元201通过统一的数据变更入口对所述业务实体进行实体更新服务，而实现的过程是所述更新单元201通过调用变更的系统接口对所述业务实体进行变更得到变更后的业务实体，即目标业务实体，例如，用户点击了修改某条数据，所述更新单元201接收修改请求，此时所述更新单元201会调用update接口来完成此条数据的修改；而对所述业务实体进行变更主要是对所述业务实体的增删改查进行变更，其中，变更的作用是为了实现业务的诉求，例如，用户需要修改当前业务的执行人，相当于变更了业务的执行人；所述第二发送单元202将所述目标业务实体发送给所述数据监听模块30。

具体地，在执行业务实体变更数据时，所述数据监听模块30(例如，MQ，MessageQueue，消息队列)对所述目标业务实体进行监听，而所述行为埋点是由所述数据监听模块30直接进行监听；之后，所述数据监听模块30基于所述业务实体获取接口调用日志，因为业务实体是通过调用后台的接口服务实现的，即只要某个业务进行增删改查操作，就会调用接口服务，则会产生对应的接口调用日志；所述数据监听模块30基于所述行为埋点获取用户的操作日志，因为用户在进行对页面的访问、按钮的点击、页面元素的选择等类型的操作行为，是通过埋点的方式来实现的，则只要用户进行以上的操作行为，就会产生对应的操作日志；所述数据监听模块30将所述接口调用日志保存至日志数据库中，其中，所述日志数据库中储存的数据包括日志ID、实体ID、未更新数值和已更新数值；所述数据监听模块30并将所述操作日志发送给数据分析模块40(例如，事件监听分析器)，因为所述接口调用日志和所述操作日志对系统监控有着极其重要的作用，能够为后续对系统进行实时的监控预警做准备。

具体地，所述数据分析模块40包括分类单元401和第三发送单元402，在所述数据分析模块40接收到所述操作日志后，所述数据分析模块40的分类单元401将会读取预警规则引擎，通过所述预警规则引擎对所述操作日志进行问题或者事件信息分类，得到分类结果；所述第三发送单元402将所述分类结果发送至所述预警响应模块50。

进一步地，所述分类结果包含错误日志，用户在操作过程中，会出现系统错误，而此时就会产生系统错误的错误日志，则需要将所述错误日志进行抽取，在所述数据分析模块40完成抽取后，对所抽取的错误日志进行归集，并通过规则路由错误的处理通道对所述错误日志进行处理，防止对后续的监控预警产生干扰所造成预警不准确，以便于提高监控预警的准确率。

具体地，所述预警响应模块50包括预警查找单元501、预警执行单元502与后台处理单元503，其中，所述预警查找单元501、所述预警执行单元502与所述后台处理单元503之间依次连接；在所述数据分析模块40完成分类后，将所述分类结果发送至所述预警响应模块50，而所述预警响应模块50中的所述预警查找单元501接收所述分类结果，根据所述分类结果去查找应急处理库，得到不同类型的应急处理方案，启动不同类型的预警服务，并将所有的所述应急处理方案发送给所述预警执行单元502；所述预警执行单元502将所接收的不同类型的应急处理方案进行执行，并将所述应急处理方案对应的预警配置发送给后台处理单元503；所述后台处理单元503根据所述预警配置触发预警通知服务，并更新所述日志数据库，实现了对系统进行实时的监控预警，不仅提高了监控预警的时效性，还提高了监控预警的准确率。

进一步地，基于图1所示的基于日志采集的监控预警系统，本发明较佳实施例所述的基于日志采集的监控预警系统的基于日志采集的监控预警方法，如图3所示，所述基于日志采集的监控预警系统的基于日志采集的监控预警方法包括以下步骤：

步骤S10、所述数据定义模块定义业务实体和行为埋点，所述数据监听模块基于所述业务实体采集接口调用日志，基于所述行为埋点采集操作日志，并将所述接口调用日志储存至日志数据库。

步骤S20、所述数据分析模块对所述操作日志进行分类得到分类结果，并根据所述分类结果查找应急处理库得到不同类型的应急处理方案，所述预警响应模块执行每个所述应急处理方案，并更新所述日志数据库。

进一步地，若所述数据变更模块接收所述业务实体的变更请求，所述数据变更模块调用系统接口，并基于所述系统接口对所述业务实体进行更新，得到目标业务实体。

进一步地，所述数据分析模块提取分类结果中错误日志，对所述错误日志进行归集，并根据规则路由对归集后的错误日志进行处理。

具体地，用户在系统的操作行为分为两类，一类是需要更新业务数据的，而这类操作行为是需要对后端的业务数据进行增删改查操作，即增加，删除，修改及查询；而另外一类是无需对后端的业务数据进行增删改查操作的其他行为，其中，所述其他行为指的是对页面的访问、按钮的点击、页面元素的选择等；则所述数据定义模块将某个业务之下的增删改查操作的集合封装起来定义为一个业务实体，及将用户对页面的访问、按钮的点击、页面元素的选择等类型的操作行为定义为行为埋点；若所述数据变更模块接收所述业务实体的变更请求，调用系统接口，基于所述系统接口对所述业务实体进行更新，得到目标业务实体；之后所述数据监听模块通过所述业务实体去采集接口调用日志，并通过所述行为埋点去采集操作日志，将所述接口调用日志储存至日志数据库；所述数据分析模块读取预警规则引擎，通过所述预警规则引擎对所述操作日志进行问题或者事件信息分类，得到分类结果；若所述分类结果包含错误日志，则所述数据分析模块需要将所述错误日志进行抽取，并对所抽取的错误日志进行归集，通过规则路由错误的处理通道对所述错误日志进行处理，防止对后续的监控预警产生干扰所造成预警不准确，以便于提高监控预警的准确率；所述数据分析模块根据所述分类结果去查找应急处理库，得到不同类型的应急处理方案，并启动不同类型的预警服务；所述预警响应模块将不同类型的应急处理方案进行执行，并读取出所述应急处理方案对应的预警配置，根据所述预警配置触发预警通知服务，并更新所述日志数据库，实现了对系统进行实时的监控预警，不仅提高了监控预警的时效性，还提高了监控预警的准确率。

本发明解决了对系统进行监控预警的准确率低和时效性低的问题。

本发明提供了一种基于日志采集的监控预警系统及方法，所述基于日志采集的监控预警系统包括：数据定义模块、数据变更模块、数据监听模块、数据分析模块与预警响应模块；所述数据定义模块分别与所述数据变更模块和所述数据监听模块连接，所述数据变更模块与所述数据监听模块连接，所述数据监听模块与所述数据分析模块连接，所述数据分析模块与所述预警响应模块连接；所述数据定义模块用于定义业务实体和行为埋点，并将所述业务实体发送给所述数据变更模块，将所述行为埋点发送给数据监听模块；所述数据变更模块用于对所述业务实体进行处理得到目标业务实体，并将所述目标业务实体发送给所述数据监听模块；所述数据监听模块用于基于所述目标业务实体获取接口调用日志，基于所述行为埋点获取操作日志，将所述操作日志发送给所述数据分析模块，并将所述接口调用日志储存至日志数据库；所述数据分析模块用于对所述操作日志进行分类得到分类结果，并将所述分类结果发送给所述预警响应模块；所述预警响应模块用于根据所述分类结果执行应急处理方案，并更新所述日志数据库。本发明通过基于日志采集的监控预警系统可以进行实时预警，有效提高监控预警的准确率和时效性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。