实时的数据库错误日志的统计分析系统及其方法

技术领域

本发明属于大数据技术领域，具体涉及一种实时的数据库错误日志的统计分析系统及其方法。

背景技术

在日志解析架构的数据库同步系统中，源端数据同步系统负责捕获源端数据库的操作日志，并解析日志还原得到相应的数据库操作，然后发送到目标端数据同步系统，目标端数据同步系统负责把这些操作在目标端数据库中执行，从而完成数据同步的过程。在该过程中会产生错误日志，数据库的错误日志分析都是在安装数据库的服务器上将错误查询的日志拷贝到临时目录，通过服务器上安装的插件对该日志进行分析。获取出指定时间段的错误日志。无法实时的获取到当前库的状态以及具体错误。同时数据库管理员也没有精力将所有数据库的错误日志一一整理出来。

相关技术中，错误日志分析系统每次都需要登录到安装数据库的服务器上进行操作，不仅对数据的性能会造成影响，服务器的安全性也无法得到保障。这种分析系统也只会对历史的错误日志分析，无法实时获取到系统产生的错误日志。因此，随着公司业务量的增长，数据库数据量越来越多，错误日志散落在各个数据库的服务器上，如何稳定高效的采集错误日志、快速的获取数据库的健康状态和快速的定位数据库问题越来越迫切的成为公司需要解决的难题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种实时的数据库错误日志的统计分析系统及其方法，以解决现有技术中无法快速获取数据库的健康状态和快速的定位数据库的问题。

为实现以上目的，本发明采用如下技术方案：一种实时的数据库错误日志的统计分析系统，包括：

数据库服务器，设有慢日志采集服务单元，用于在错误日志产生时采集错误日志；

消息中间件，用于接收所述错误日志并存储；

服务层，用于对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；

展示输出层，输出并展示所述分析数据和清洗后的原始数据。

进一步的，若所述数据库服务器包括多个，则每个数据库服务器中均设有慢日志采集服务单元。

进一步的，所述对所述错误日志进行清洗，包括：

将所述错误日志中的非结构化的数据处理成结构化的数据。

进一步的，所述数据库服务器还包括：

报警单元，用于在错误日志产生时进行报警。

进一步的，所述展示输出层包括：

显示单元，所述显示单元采用触控屏。

本申请实施例提供一种实时的数据库错误日志的统计分析方法，包括：

在错误日志产生时采集错误日志；

接收所述错误日志并存储；

对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；

输出并展示所述分析数据和清洗后的原始数据。

进一步的，将所述分析数据和清洗后的原始数据存储至分布式搜索引擎。

本发明采用以上技术方案，能够达到的有益效果包括：

本发明提供一种实时的数据库错误日志的统计分析系统及其方法，所述系统包括数据库服务器在错误日志产生时采集错误日志；消息中间件接收错误日志并存储；服务层对错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配，对匹配数据进行统计分析；对原始数据进行清洗；展示输出层输出并展示分析数据和清洗后的原始数据。本发明提供的系统采用部署采集程序到所有数据库服务器上对错误日志进行实时的采集，并上传至消息队列中间件中，实时的错误日志处理服务会从消息队列中间件中获取错误日志明细，并根据相应的规则清洗日志，最后将原始日志和清洗过后的日志存储至分布式搜索引擎，并通过可视化界面展提供用户实时的错误日志分析。本发明提供的技术方案无需登录到服务器命令行窗口，直接实时采集错误日志，并可以通过可视化界面查看所有数据库的错误日志，并可以按照库自定义规则来过滤错误日志，实现用户的自助化、定制化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实时的数据库错误日志的统计分析系统的结构示意图；

图2为本发明实时的数据库错误日志的统计分析系统的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的实时的数据库错误日志的统计分析系统及其方法。

如图1所示，本申请实施例中提供的实时的数据库错误日志的统计分析系统，包括：

数据库服务器，设有慢日志采集服务单元，用于在错误日志产生时采集错误日志；

消息中间件，用于接收所述错误日志并存储；

服务层，用于对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；

展示输出层，输出并展示所述分析数据和清洗后的原始数据。

本申请提供的实时的数据库错误日志的统计分析系统的工作原理为，系统采用部署采集程序到所有数据库服务器上对错误日志进行实时的采集，并上传至消息队列中间件中，实时的错误日志处理服务会从消息队列中间件中获取错误日志明细，并根据相应的规则清洗日志，并将原始日志和清洗过后的日志存储至分布式搜索引擎。并通过可视化界面展提供用户实时的错误日志分析。

其中，规则匹配引擎是存储用户自定义的一些规则。可以理解的是，用户可以根据自己的需要进行设定，本申请在此不做限定。

优选的，若所述数据库服务器包括多个，则每个数据库服务器中均设有慢日志采集服务单元。

具体的，本申请是所有的数据库服务器都会安装慢日志采集服务，慢日志采集服务实时收集慢日志并主动推送到消息队列中间件中，然后慢日志实时处理程序会从消息中间件获取慢日志的原始数据并对原始数据进行清洗，并将原始数据写入一分到分布式搜索引擎中。同时会根据用户自定义的规则引擎进行匹配，将匹配的规则引擎的慢日志进行统计分析并存入到分布式搜索引擎中，并通过可视化展示服务对外展示。

优选的，所述对所述错误日志进行清洗，包括：

将所述错误日志中的非结构化的数据处理成结构化的数据。

优选的，所述数据库服务器还包括：

报警单元，用于在错误日志产生时进行报警。

具体的，本申请在数据库服务器上部署数据采集服务，当数据库有新增的错误日志产生时，服务主动拉取错误日志文件，可以实现错误日志的实时分析，实时预警，以及根据用户自定义的规则对日志进行匹配，然后聚合计算生成统计好的数据。

一些实施例中，所述展示输出层包括：

显示单元，所述显示单元采用触控屏。

本申请最后可以通过触控屏显示清洗后得到的分析数据以及原始数据。

如图2所示，本申请实施例提供一种实时的数据库错误日志的统计分析方法，包括：

S101，在错误日志产生时采集错误日志；

S102，接收所述错误日志并存储；

S103，对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；

S104，输出并展示所述分析数据和清洗后的原始数据。

优选的，将所述分析数据和清洗后的原始数据存储至分布式搜索引擎。

本申请提供的实时的数据库错误日志的统计分析方法的工作原理是，本申请在数据库服务器上部署数据采集服务，当数据库有新增的错误日志产生时，服务主动拉取错误日志文件，并主动推送到消息队列中间件中，然后慢日志实时处理程序会从消息中间件获取慢日志的原始数据并对原始数据进行清洗，并将原始数据写入一分到分布式搜索引擎中。同时会根据用户自定义的规则引擎进行匹配，将匹配的规则引擎的慢日志进行统计分析并存入到分布式搜索引擎中，最后通过可视化展示服务对外展示。

本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；

存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的实时的数据库错误日志的统计分析方法；

处理器用于调用并执行存储器中的计算机程序。

综上所述，本发明提供一种实时的数据库错误日志的统计分析系统及其方法，所述系统包括数据库服务器在错误日志产生时采集错误日志；消息中间件接收错误日志并存储；服务层对错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配，对匹配数据进行统计分析；对原始数据进行清洗；展示输出层输出并展示分析数据和清洗后的原始数据。本发明提供的系统采用部署采集程序到所有数据库服务器上对错误日志进行实时的采集，并上传至消息队列中间件中，实时的错误日志处理服务会从消息队列中间件中获取错误日志明细，并根据相应的规则清洗日志，最后将原始日志和清洗过后的日志存储至分布式搜索引擎，并通过可视化界面展提供用户实时的错误日志分析。本发明提供的技术方案无需登录到服务器命令行窗口，直接实时采集错误日志，并可以通过可视化界面查看所有数据库的错误日志，并可以按照库自定义规则来过滤错误日志，实现用户的自助化、定制化。

可以理解的是，上述提供的系统实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为系统、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的系统、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的方法。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。