基于移动终端的大数据告警处理装置

技术领域

本发明涉及大数据运维领域，尤其涉及一种基于移动终端的大数据告警处理装置。

背景技术

大数据生产环境中，有各种任务需要24小时执行，如：定时下载脚本、数据入库、跑数脚本、定时推送脚本、服务持久化进程监控等。生产环境需要基础数据的收集和各类风险预警，以确保相关值班人员第一时间了解并处理告警问题。常规手段，通过手动检查、短信或者邮件的方式进行通知，短信通知：通过短信方式发送告警内容；邮件通知：通过邮件方式发送告警内容；电话通知：自动打电话通知相关值班人员。短信通知缺点：内容长度有限，当告警多而杂时，容易造成噪音，相关人员容易忽视告警内容，失去原来告警的意义；邮件通知缺点：非即时通知，值班人员需要主动收取邮件，通知不及时；电话通知：不能设置告警级别，只有最紧急情况下才会通过电话通知，否知会影响值班人员的工作和生活。

由于生成环境需要快速响应，这些方式都不够灵活方便，至少需要20分钟到1小时才能解决问题，同时需要使用PC端进行通信连接后才能处理，因此，需要一种可以直接在移动终端上处理的装置，实现即时处理。

发明内容

本发明要解决的技术问题是提供一种基于移动终端的大数据告警处理装置，结合小程序的通知功能，区分告警级别根据告警级别设置多种告警方式；通过小程序，可直接在小程序页面发送命令，实现告警的即时处理。

本发明为解决上述技术问题而采用的技术方案是提供一种基于移动终端的大数据告警处理装置，包括交互页面、Kafka服务器、工作节点、命令节点和网关，所述交互页面包括小程序页面和后台管理页面，所述后台管理页面接入到监控程序或者机器管理页面，所述网关连接到服务器群；所述后台管理页面配置给网关的定时监控任务监控到异常或者服务器群自定义消息传送到网关时所述网关获取告警信息；所述网关调用Kafka服务器向Kafka消息中间件写入告警信息；工作节点从Kafka服务器获取告警信息并进行处理后发送消息；所述小程序页面确认接收消息后，发送命令到Kafka服务器；工作节点从Kafka服务器获取命令并处理后发送到命令节点，命令节点对命令进行审计后发送到网关，网关读取命令并发送到服务器群的目标服务器。

进一步地，所述工作节点获取命令进行分析，根据命令内容转换成对应的类对象，并将相关的服务器信息补充到对应的类对象，然后发送处理好的命令信息到命令节点进行审计。

进一步地，所述工作节点处理告警信息后，通过后台管理页面的配置信息中预先设定的规则确定消息发送方式，消息发送方式包括小程序、短信、邮件或电话，然后根据配置信息中接收人和对应机器的关系调用小程序、短信、邮件或电话接口发送消息。

进一步地，所述工作节点自动统计设定周期内的告警信息生成告警统计报告并通过邮件发送；所述工作节点统计发生频率高于设定频次的告警信息和对应的处理命令，然后通过自学习方式进行记忆，在高频次的告警信息再次发生时自动将对应的处理命令发送到命令节点，同时将自动处理的告警信息通过小程序发送通知。

进一步地，所述命令包括系统相关命令、Http API调用命令和预设的自定义命令，所述命令节点对系统相关命令只审计不添加指令；对Http API调用命令审计的同时自动补全目标API地址；对预设的自定义命令审计的同时自动添加对应服务器或机器信息。

进一步地，所述命令节点通过正则表达式或关键字对命令进行审计，检查命令的合理性，对比预设的自定义命令中的常用命令，如果是常用命令则审计合格，否则检查是否为敏感权限操作命令，若为敏感权限操作命令，则禁止发送到网关，同时将敏感权限操作命令通过小程序发送通知；所述命令节点对审计合格的命令进行加密后发送到网关。

进一步地，所述小程序页面设置在微信小程序中，通过所述小程序页面接收告警信息和小程序发送的通知；通过所述小程序页面查询历史告警记录以及告警处理时间；通过所述小程序页面进行命令输入，包括选择输入预设的自定义命令和手动输入临时命令；所述小程序页面通过工作节点进行消息的转发。

进一步地，所述后台管理页面接入到监控程序，所述监控程序部署在服务器上，所述后台管理页面通过配置的方式互通消息到不同的机器；所述后台管理页面的设置项包括：告警级别设置，并根据告警级别设置告警规则和通知发送方式；消息发送方式的接口配置，包括小程序、短信、邮件或电话的接口配置；Kafka服务器功能配置；命令节点审计或过滤规则设置；统计告警数据和处理命令设置；服务器群管理设置，包括机器资源阀值设置，查看用户密码权限信息；预设的自定义命令录入设置；网关的定时监控任务输入设置。

进一步地，所述工作节点的日志采集组件收集交互页面、Kafka服务器、工作节点、命令节点和网关各模块的日志，在命令触发原始操作时生成跟踪标识，与原始操作相关的每一行日志都携带该跟踪标识用于日后追踪。

本发明对比现有技术有如下的有益效果：本发明提供的基于移动终端的大数据告警处理装置，支持多种通知方式，提供小程序通知；通过小程序结合移动终端输入命令，实现告警的即时处理；后台管理页面灵活接入不同的监控程序，与不同的监控系统对接，减少监控系统的功能冗余；命令节点的命令审计功能减少人员的误操作，同时检查是否有不合规的行为，预防错误发生；工作节点的自动学习功能，通过学习值班人员的命令，统计历史告警，自动回填命令，实现无感知运维；小程序接入个人社交账号，直接定位账号的使用人和使用位置，减少权限控制，维护更简单。

附图说明

图1为本发明实施例中基于移动终端的大数据告警处理装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1为本发明实施例中基于移动终端的大数据告警处理装置结构示意图。

请参见图1，本发明实施例的基于移动终端的大数据告警处理装置，包括交互页面、Kafka服务器、工作节点、命令节点和网关，所述交互页面包括小程序页面和后台管理页面，所述后台管理页面接入到监控程序或者机器管理页面，所述网关连接到服务器群；所述后台管理页面配置给网关的定时监控任务监控到异常或者服务器群自定义消息传送到网关时所述网关获取告警信息；所述网关调用Kafka服务器向Kafka消息中间件写入告警信息；工作节点从Kafka服务器获取告警信息并进行处理后发送消息；所述小程序页面确认接收消息后，发送命令到Kafka服务器；工作节点从Kafka服务器获取命令并处理后发送到命令节点，命令节点对命令进行审计后发送到网关，网关读取命令并发送到服务器群的目标服务器。

各模块的功能如下：

交互页面：

小程序页面：设置在微信小程序中；接收小程序通知；接收告警信息；查询历史告警记录以及告警处理时间；进行命令输入，包括选择输入预设的自定义命令和手动输入临时命令；通过工作节点进行消息的转发。微信小程序部署在阿里云或者AWS上，只需实现简单的功能。

后台管理页面：接入到监控程序，通过配置的方式互通消息到不同的机器；在后台管理页面进行参数的设置，设置项包括：告警级别设置，并根据告警级别设置告警规则和通知发送方式；消息发送方式的接口配置，包括小程序、短信、邮件或电话的接口配置；Kafka服务器功能配置，如最近告警信息，Kafka大小offset信息，创建删除主题操作，查看Kafka服务器运行状态等；命令节点审计或过滤规则设置；统计告警数据和处理命令设置，通过不同维度观察告警趋势；服务器群管理设置，包括机器资源阀值设置，查看用户密码权限信息等；预设的自定义命令录入设置；网关的定时监控任务输入设置。

监控程序部署在服务器上，根据监控内容的不同可以灵活添加不同程序，如：将机器cup、内存、磁盘等信息与网关做互通；在不同机器上部署API接口，接收预设命令的调用；网关直接通过ssh命令输入Linux命令，进而控制程序。

Kafka服务器：使用Spring Boot-Kafka组件，通过API接口提供服务，向Kafka中间件读写信息。工作节点的数据读写功能都通过Kafka服务器实现。

工作节点：

处理告警信息，通过后台管理页面的配置信息中预先设定的规则确定消息发送方式，消息发送方式包括小程序、短信、邮件或电话，然后根据配置信息中接收人和对应机器的关系调用小程序、短信、邮件或电话接口发送消息；

读取Kafka中间件信息，获取命令进行分析，根据命令内容转换成对应的类对象，并将相关的服务器信息补充到对应的类对象，然后发送处理好的命令信息到命令节点进行审计；

自动统计设定周期内的告警信息生成告警统计报告并通过邮件发送给管理人员；

统计发生频率高于设定频次的告警信息和对应的处理命令，然后通过自学习方式进行记忆，在高频次的告警信息再次发生时自动将对应的处理命令发送到命令节点，实现无感知处理，同时将自动处理的告警信息通过小程序发送通知告知值班人员，争取把此类告警消除。

后台管理页面的后端功能都运行在工作节点上；消息发送功能集中在工作节点的一个子模块上。

工作节点的日志采集组件收集交互页面、Kafka服务器、工作节点、命令节点和网关各模块的日志，在命令触发原始操作时生成跟踪标识，与原始操作相关的每一行日志都携带该跟踪标识用于日后追踪错误、优化命令节点的处理流程、提供数据给工作节点进行分析。

命令节点：

命令包括系统相关命令、Http API调用命令和预设的自定义命令，所述命令节点对系统相关命令只审计不添加指令；对Http API调用命令审计的同时自动补全目标API地址；对预设的自定义命令审计的同时自动添加对应服务器或机器信息。

命令节点通过正则表达式或关键字对命令进行审计，检查命令的合理性，对比预设的自定义命令中的常用命令，如果是常用命令则审计合格，否则检查是否为敏感权限操作命令，若为敏感权限操作命令，则禁止发送到网关，同时将敏感权限操作命令通过小程序发送通知；所述命令节点对审计合格的命令进行加密后发送到网关。

网关：

转发其他组件的消息或命令到服务器集群；读取配置信息，发送三种命令：系统相关命令、Http API调用命令和预设的自定义命令，启动或重启脚本。

服务器只能通过网关对外进行连接，保证服务器的安全，同时可以对多种开发语言做设配，增加扩展性；网关采用双网关，减少负载压力。

本发明实施例的基于移动终端的大数据告警处理装置，在具体使用时，以某服务器的关键服务无响应为例：

在后台管理页面配置定时监控任务或者此关键服务有消息推送到网关时，产生告警，生成跟踪标志，记录相关日志：

网关调用Kafka服务器向Kafka消息中间件写入告警信息，记录相关日志；

工作节点处理消息内容，通过配置信息，确定需要使用何种消息发送方式小程序、短信、邮件或者电话，通过接收人和对应机器的关系发送消息；短信通知，普通告警，需要处理的时候通过PC或者小程序操作；邮件通知，一般性的升级，维护等通知；电话通知，紧急事故，接到电话后，需要在小程序上点击确认，并且处理；

由工作节点分析告警，发现告警多次发生，则将以前的处理命令自动发送，代替手动输入。

通过小程序，接收人在微信小程序页面接收到信息，并且选择确认接收。直接在小程序上输入命令，或者选择预先设置好的命令。确认处理完毕后点击确认，通过小程序通知上级负责人；

小程序页面输入的命令发送到Kafka服务器保存在Kafka中间件上；

工作节点获取消息，转化为类对象，并把相关的服务器信息补充到类对象里面，发送到命令节点；

命令节点对命令进行审计，禁止敏感命令等，检查合法发送到网关；

网关读取对应的配置，把命令发送到目标服务器；服务器返回消息，开始执行；确保此次告警没有问题，处理完成。

综上所述，本发明实施例的基于移动终端的大数据告警处理装置，支持多种通知方式，并且提供小程序通知；通过小程序结合移动终端输入命令，实现告警的即时处理；后台管理页面灵活接入不同的监控程序，与不同的监控系统对接，减少监控系统的功能冗余；命令节点的命令审计功能减少人员的误操作，同时检查是否有不合规的行为，预防错误发生；工作节点的自动学习功能，通过学习值班人员的命令，统计历史告警，自动回填命令，实现无感知运维；小程序接入个人社交账号，直接定位账号的使用人和使用位置，减少权限控制，维护更简单。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。