一种基于点位解析的日志解析系统

技术领域

本发明涉及数据解析领域，尤其涉及一种基于点位解析的日志解析系统。

背景技术

随着信息技术的发展和数据挖掘的兴起，如何挖掘数据中的价值在业界备受关注。而机器或应用系统产生的海量日志中包含的系统的运行状态、用户操作行为等相关信息，蕴含着丰富的价值，所以日志数据受到越来越多的重视，现有技术中对于异常日志的解析和判定系统应运而生。

中国专利公开号：CN111309696A，公开了一种日志处理方法及装置、电子设备、可读介质，方法包括：获得未解析日志文件和未解析日志文件对应的终端设备的属性信息；判断未解析日志文件是否满足发送条件；若是，则依据未解析日志文件和终端设备的属性信息，生成并发送日志上报消息给管理装置，以使管理装置依据日志管理策略对未解析日志文件进行处理；否则，保存未解析日志文件至本地，并依据未解析日志文件的存储时间，处理未解析日志文件。保证能够将满足发送条件的未解析日志文件发送给管理装置进行处理，减轻日志处理装置的处理压力，提升对堆积的日志信息的处理效率；同时，保证保存至本地的日志文件能够被及时处理，减少存储空间被占用的情况，提升日志解析的效率。

但是，现有技术中还存在以下问题，

现有技术中未考虑对较大数据量的日志进行异常解析时，日志生成量的波动与数据异常之间的关联，并对应的调整解析间隔，以提高对异常日志的判定效率。

发明内容

为解决现有技术中未考虑对较大数据量的日志进行异常解析时，日志生成量的波动与数据异常之间的关联，并对应的调整解析间隔，以提高对异常日志的判定效率的问题，本发明提供一种基于点位解析的日志解析系统，其包括：

数据获取模块，其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量，并确定各时间间隔内的日志数据的更新量的波动状况；

数据解析模块，其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元，

所述第一数据解析单元内预设第一解析点位间隔，用以在更新量处于第一波动状况下时获取第一波动时间段，并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；

所述第二数据解析单元内预设第二解析点位间隔，用以在所述更新量处于第二波动状况下时获取第二波动时间段，基于所述更新量调整所述第二解析点位的间隔，并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；

其中，所述第一解析点位间隔大于所述第二解析点位间隔，

所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时，根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定。

进一步地，所述数据获取模块还包括数据监控单元，用以根据公式(1)计算日志数据的波动离散量E，

公式(1)中，n表示时间间隔的数量，其为大于1的整数，表示第i个时间间隔内的日志数据更新量，

进一步地，所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee，并确定日志数据更新量平均值△E，并按照公式(2)计算更新量表征值E0，

E0=|Ee-△E| (2)

所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比，

以判定当前时间间隔内日志数据的更新量的波动情况，其中，

若所述更新量表征值E0大于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第一波动状况；

若所述更新量表征值E0小于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第二波动状况。

进一步地，所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第一波动时间段；

所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第二波动时间段。

进一步地，所述第二数据解析单元根据第二波动时间段内日志数据的更新量表征值E0与所述波动离散量E的第一差值△E的大小确定对所述第二解析点位间隔的调整方式，对所述第二解析点位间隔进行调整，其中，

第一调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔减小至第一间隔值；

第二调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔减小至第二间隔值；

第三调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔增加至第三间隔值；

第四调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔增加至第四间隔值；

其中，所述第二预设调整量大于所述第一预设调整量。

进一步地，所述第二数据解析单元内预设有差值对比参量，所述第一调整方式需满足所述第一差值为负值，且所述第一差值的绝对值小于所述差值对比参量；

所述第二调整方式需满足所述第一差值为负值，且所述第一差值的绝对值大于或等于所述差值对比参量；

所述第三调整方式需满足所述第一差值为正值，且所述第一差值的绝对值小于所述差值对比参量；

所述第四调整方式需满足所述第一差值为正值，且所述第一差值的绝对值大于或等于所述差值对比参量。

进一步地，所述第三数据解析单元确定所述第一数据解析单元以及第二数据解析单元判定日志数据出现异常时的解析点位，并判定是否需调用解析点位之间的日志数据，并判定已调用日志数据是否出现异常，其中，

若所述第一数据解析单元连续判定第一预设数量的解析点位的日志数据出现异常，则所述第三数据解析单元调用所述第一数据解析单元判定出现异常的解析点位间的日志数据，并判定已调用日志数据是否出现异常；

若所述第二数据解析单元连续判定第二预设数量的解析点位的日志数据出现异常时，则所述第三数据解析单元判定需调用所述第二数据解析单元判定出现异常的解析点位间的日志数据，并判定已调用日志数据是否出现异常；

所述第一预设数量大于所述第二预设数量。

进一步地，所述数据解析模块还包括数据记录单元，其用以记录所述第一数据解析单元、第二数据解析单元以及第三数据解析单元所判定的异常日志数据，并记录各异常日志数据所生成的时间。

进一步地，所述第一数据解析单元以及第二数据解析单元均与样本数据库相连接，所述样本数据库内预存储有若干异常样本数据，所述第一数据解析单元或/和所述第二数据解析单元将日志数据与所述样本数据库内数据进行拟合，拟合过程包括，

若存在任意解析点位的日志数据与所述样本数据库内的异常样本数据相同，则所述第一数据解析单元或/和所述第二数据解析单元判定所述日志数据存在异常。

进一步地，各所述解析点位为日志数据生产时间的时间线上的时间节点。

与现有技术相比，本发明通过数据获取模块监控日志数据库，以确定日志数据更新量的波动情况，以根据波动情况的不同，调用第一数据解析单元或第二数据解析单元，第一数据解析单元设置有比第二解析数据解析单元更短的解析点位间隔，以对日志数据进行抽样判定，以判定异常日志数据，本发明通过上述过程，对于更新量波动较大的时间段内的日志采取更短的解析点位间隔判定日志数据是否存在异常，减少漏判，并且，对于波动量较小的时间段内的日志采取较大的解析点位间隔，以在包括可靠性的前提下提高解析效率。

尤其，本发明设置数据监控单元，用以确定连续时间间隔内日志数据的波动离散量，在设备或程序发生异常时，对应日志数据的数据量往往会发生较大的波动，而通过计算波动离散量E，以表征日志数据变化量的波动程度，以此为基准确定不同时间段内的日志数据更新量的波动状况，对于波动较大的情况，选用第一数据解析单元用较短的解析点位间隔对数据进行解析判定日志数据是否存在异常，进而在提高异常判定效率的同时避免漏判，提高日志解析效率。

尤其，本发明设置第一数据解析单元以及第二数据解析单元，两个单元设定有不同的解析点位间隔，在实际情况中，由于日志数据更新量的波动程度与设备或程序是否存在异常存在关联，因此，对于日志数据的波动量较大的时间间隔选用第一数据解析单元进行解析，对于日志数据波动量较小的时间间隔选用第二数据解析单元进行解析，两个单元可以同时对不同时间间隔生成的日志数据进行解析，判定是否日志数据是否存在异常，在提高系统可靠性的前提下提高日志解析效率。

尤其，本发明的第二数据解析单元，不断的根据日志数据的更新量表征值与所述波动离散量E的第一差值对第二解析点位间隔进行调整，对于更新量的波动量较小的时间段，对时间段内的日志数据进行解析时选用大的解析点位间隔，由于在这种情况下，日志出现异常数据的情况较小，因此通过上述过程在保证可靠性的前提下提高了日志解析效率，并提高了系统的解析精度。

尤其，本发明还设置第三数据解析单元，以对连续多个解析点位均出现异常时对各解析点位之间的日志数据也进行解析，以进行补充判定，进而提高系统的可靠性，减少对于异常数据的判定遗漏。

附图说明

图1为发明实施例的基于点位解析的日志解析系统结构示意图；

图2为发明实施例的数据解析模块结构示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1以及图2所示，其为本发明实施例的基于点位解析的日志解析系统结构示意图以及数据解析模块结构示意图，本发明的基于点位解析的日志解析系统，包括：

数据获取模块，其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量，并确定各时间间隔内的日志数据的更新量的波动状况；

数据解析模块，其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元，

所述第一数据解析单元内预设第一解析点位间隔，用以在更新量处于第一波动状况下时获取第一波动时间段，并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；

所述第二数据解析单元内预设第二解析点位间隔，用以在所述更新量处于第二波动状况下时获取第二波动时间段，基于所述更新量调整所述第二解析点位的间隔，并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；

其中，所述第一解析点位间隔大于所述第二解析点位间隔，

所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时，根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定。

具体而言，本发明对数据获取模块、数据解析模块的具体结构不做限定，其可以是单独的外接计算机或能够进行数据用算的硬件模块，对于各模块中的单元，其可以是计算机中的功能程序，只需能实现对应的功能即可，此处不再赘述。

具体而言，所述数据获取模块还包括数据监控单元，用以根据公式(1)计算日志数据的波动离散量E，

公式(1)中，n表示时间间隔的数量，其为大于1的整数，

具体而言，所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee，并确定日志数据更新量平均值△E，并按照公式(2)计算更新量表征值E0，

E0=|Ee-△E| (2)

所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比，

以判定当前时间间隔内日志数据的更新量的波动情况，其中，

若所述更新量表征值E0大于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第一波动状况；

若所述更新量表征值E0小于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第二波动状况。

具体而言，本发明设置数据监控单元，用以确定连续时间间隔内日志数据的波动离散量，在设备或程序发生异常时，对应日志数据的数据量往往会发生较大的波动，而通过计算波动离散量E，以表征日志数据变化量的波动程度，以此为基准确定不同时间段内的日志数据更新量的波动状况，对于波动较大的情况，选用第一数据解析单元用较短的解析点位间隔对数据进行解析判定日志数据是否存在异常，进而在提高异常判定效率的同时避免漏判，提高日志解析效率。

具体而言，所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第一波动时间段；

所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第二波动时间段。

具体而言，本发明设置第一数据解析单元以及第二数据解析单元，两个单元设定有不同的解析点位间隔，在实际情况中，由于日志数据更新量的波动程度与设备或程序是否存在异常存在关联，因此，对于日志数据的波动量较大的时间间隔选用第一数据解析单元进行解析，对于日志数据波动量较小的时间间隔选用第二数据解析单元进行解析，两个单元可以同时对不同时间间隔生成的日志数据进行解析，判定是否日志数据是否存在异常，在提高系统可靠性的前提下提高日志解析效率。

具体而言，所述第二数据解析单元根据第二波动时间段内日志数据的更新量表征值E0与所述波动离散量E的第一差值△E的大小确定对所述第二解析点位间隔的调整方式，对所述第二解析点位间隔进行调整，其中，

第一调整方式为根据在所述第二数据解析单元内预设的第一预设调整量d1将第二解析点位间隔D02减小至第一间隔值D1’，设定D1’=D02-d1；

第二调整方式为根据在所述第二数据解析单元内预设的第二预设调整量d2将第二解析点位间隔D02减小至第二间隔值D2’，设定D2’=D02-d2；

第三调整方式为根据在所述第二数据解析单元内预设的第一预设调整量d1将第二解析点位间隔D02增加至第三间隔值D3’，设定D3’=D02+d1；

第四调整方式为根据在所述第二数据解析单元内预设的第二预设调整量d2将第二解析点位间隔D02增加至第四间隔值D4’，设定D4’=D02+d2；

其中，所述第二预设调整量d1大于所述第一预设调整量d2，0.3D0＞d1＞d2＞0，所述第一解析点位间隔以及第二解析点位间隔由本领域技术人员基于日志数据库的数据存储量根据具体需要进行设定，此处不再赘述。

具体而言，所述第二数据解析单元内预设有差值对比参量De，De＜0.3E，所述第一调整方式需满足所述第一差值为负值，且所述第一差值的绝对值小于所述差值对比参量；

所述第二调整方式需满足所述第一差值为负值，且所述第一差值的绝对值大于或等于所述差值对比参量；

所述第三调整方式需满足所述第一差值为正值，且所述第一差值的绝对值小于所述差值对比参量；

所述第四调整方式需满足所述第一差值为正值，且所述第一差值的绝对值大于或等于所述差值对比参量。

具体而言，本发明的第二数据解析单元，不断的根据日志数据的更新量表征值与所述波动离散量E的第一差值对第二解析点位间隔进行调整，对于更新量的波动量较小的时间段，对时间段内的日志数据进行解析时选用大的解析点位间隔，由于在这种情况下，日志出现异常数据的情况较小，因此通过上述过程在保证可靠性的前提下提高了日志解析效率，并提高了系统的解析精度。

具体而言，所述第三数据解析单元确定所述第一数据解析单元以及第二数据解析单元判定日志数据出现异常时的解析点位，并判定是否需调用解析点位之间的日志数据，并判定已调用日志数据是否出现异常，其中，

若所述第一数据解析单元连续判定第一预设数量n1的解析点位的日志数据出现异常，则所述第三数据解析单元调用所述第一数据解析单元判定出现异常的解析点位间的日志数据，并判定已调用日志数据是否出现异常；

若所述第二数据解析单元连续判定第二预设数量n2的解析点位的日志数据出现异常时，则所述第三数据解析单元判定需调用所述第二数据解析单元判定出现异常的解析点位间的日志数据，并判定已调用日志数据是否出现异常；

所述第一预设数量n1大于所述第二预设数量n2，10＞n1＞n2＞0。

具体而言，所述数据解析模块还包括数据记录单元，其用以记录所述第一数据解析单元、第二数据解析单元以及第三数据解析单元所判定的异常日志数据，并记录各异常日志数据所生成的时间。

具体而言，所述第一数据解析单元以及第二数据解析单元均与样本数据库相连接，所述样本数据库内预存储有若干异常样本数据，所述第一数据解析单元或/和所述第二数据解析单元将日志数据与所述样本数据库内数据进行拟合，拟合过程包括，

若存在任意解析点位的日志数据与所述样本数据库内的异常样本数据相同，则所述第一数据解析单元或/和所述第二数据解析单元判定所述日志数据存在异常。

具体而言，本发明还设置第三数据解析单元，以对连续多个解析点位均出现异常时对各解析点位之间的日志数据也进行解析，以进行补充判定，进而提高系统的可靠性，减少对于异常数据的判定遗漏。

具体而言，各所述解析点位为日志数据生产时间的时间线上的时间节点。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。