一种基于大数据的多平台日志审计分析系统及方法

技术领域

本发明涉及日志审计技术领域，具体为一种基于大数据的多平台日志审计分析系统及方法。

背景技术

现有技术记录的日志审计系统可以收集网络中的各种网络设备、安全设备（包括但不限于防火墙、IDS系统、VPN和防病毒系统）、主机系统（即Windows和Unix/Linux）、应用服务（包括但不限于mail服务、web服务、FTP服务和DNS服务）等产生的大量日志数据，进行集中管理和全面、有效的综合统计，为用户提供了一个方便、高效、直观的日志安全审计平台，能够帮助用户及时发现网络中存在的安全风险、准确地进行事后取证，进而可以更加有效地保障自身网络的安全运行；

但是当在日志审计系统中需要对日志文件进行定期清理时，往往是通过人工基于经验或者系统需求进行时长的设置，人为影响因素大且耗费人力较大，如对系统中存储超过六个月时间的日志文件进行清除；同时这种时长的设置并不能智能化依据系统中记录多平台的数据特性进行周期的缩短，来实现高精度日志清理周期的分析、提高系统的存储空间以及节省人力资源的利用。

发明内容

本发明的目的在于提供一种基于大数据的多平台日志审计分析系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的多平台日志审计分析方法，包括以下分析步骤：

步骤S1：基于设置日志自动清理周期的日志审计系统，提取日志审计系统存储记录的日志清理事件，且每一类日志清理事件记录的日志自动清理周期相同；判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性；

步骤S2：在步骤S1的判断结果为唯一时，对历史设置的日志自动清理周期进行校验；

步骤S3：在步骤S1的判断结果为不唯一时，调用日志清理事件记录的日志响应数据，构建日志清理事件所包含每一平台的周期评估模型；

步骤S4：获取监测状态下的实际清理周期，以上一清理事件结束为实时监测的起始节点，设置实时监测节点为查询节点，并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。

进一步的，步骤S1中判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性包括以下分析步骤：

标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台；

提取待分析日志平台在日志清理事件中记录的最大调用周期，最大调用周期是指日志清理事件记录对应待分析日志平台的异常事件所需调用的日志文件跨度时长，跨度时长是指异常事件发生时的日志文件与所需调用分析的日志文件的存储间隔时长；

将各待分析日志平台按照最大调用周期的数值进行由大到小的排序，提取序列第一的待分析日志平台为目标平台；

分析目标平台是为了在包含多平台的系统确定清理周期时以目标平台进行最大限度的分析可以提高分析效率，使得最大限度的满足各平台的日志调用需求；

提取每一类型日志清理事件包含独立日志清理事件的目标平台，若同一类型日志清理事件中独立日志清理事件的目标平台均相同且不同类型日志清理事件间的目标平台不相同，则输出判断结果为唯一；除此之外，输出判断结果为不唯一。

进一步的，步骤S2包括：

步骤S21：获取日志审计系统历史记录的最大日志存储容量，以及最大日志存储容量对应的连续存储时长，最大日志存储容量是指不存在日志清理事件下系统提醒因剩余容量达到预警容量时的日志存储容量的最大值；连续存储时长是指由上一日志清理事件时刻到系统提醒因剩余容量达到预警容量时刻的间隔时长；

步骤S22：提取每一类型日志清理事件的日志自动清理周期T和最大日志存储容量对应的连续存储时长L，当存在日志自动清理周期T>连续存储时长L的日志清理事件时，对日志清理事件的日志自动清理周期校验为时长为L的日志自动清理周期；当日志清理事件的日志自动清理周期T≤连续存储时长L，继续监测，并将目标平台与对应校验后的日志自动清理周期以数据对的形式进行存储。

当日志清理事件满足唯一性时，说明历史记录的每一类型清理事件对应一平台的日志处理需求，所以在分析时长上不需调整，只需满足系统存储的容量问题进行调整即可。

进一步的，步骤S3包括以下分析步骤：

步骤S31：将每一种目标平台对应记录不同日志自动清理周期的日志清理事件进行归类存储生成平台分析集合；提取平台分析集合中各日志清理事件记录的日志响应数据；日志响应数据是指日志清理事件中记录调用最大周期对应异常事件的特征数据，特征数据包括特征指标和指标值；

步骤S32：将每一平台分析集合中第i类日志清理事件的特征指标构成特征集合U

步骤S33：提取比较结果A中特征指标在第i类日志清理事件中的平均指标值X

生成第i类日志清理事件的序列对R

Y=ɑ

代入d类日志清理事件对应的序列对R

序列对中平均指标值X

每一目标平台对应唯一周期评估模型。

进一步的，步骤S4包括以下分析过程：

实时目标平台是指在起始节点和查询节点间的时段内存在异常事件时，异常事件记录的最大调用周期对应的平台为实时目标平台；当起始节点和查询节点间的时段不存在异常事件时，提取日志审计系统记录的日志文件存储量最大值对应的关联平台为实时目标平台；关联平台是指日志审计系统存储日志文件对应的平台；

当步骤S1中的判断结果唯一时，提取实时目标平台相应数据对中记录的日志自动清理周期，当日志自动清理周期与实际清理周期的差值大于等于差值阈值时，传输预警信号给日志审计系统；当日志自动清理周期与实际清理周期的差值小于差值阈值时，继续监测；

当步骤S1中的判断结果不唯一时，提取起始节点到查询节点间隔时长内的实时日志响应数据，查询节点是指日志审计系统记录的日志自动清理周期最小值对应起始节点的终止节点，且日志自动清理周期最小值小于实际清理周期；实时响应数据是指满足实时目标平台对应的特征指标和指标值；

将实时响应数据代入实时目标平台对应的周期评估模型Y得到实时预估周期Y0，若实时预估周期Y0小于日志自动清理周期最小值时，传输预警信号给日志审计系统；若实时预估周期Y0大于等于日志自动清理周期最小值时，继续监测；

且间隔单位清理周期更新实时响应数据，并代入周期评估模型得到实时更新预估周期，直到日志自动清理周期最小值+k个单位清理周期=实际清理周期时停止更新；

若更新过程中存在实时更新预估周期<日志自动清理周期最小值+单位清理周期时，传输预警信号给日志审计系统，否则继续监测保持实际清理周期；单位清理周期是指历史记录的清理周期的最小变化量；预警信号是指提醒日志审计管理人员对日志清理周期进行缩小预警调整。

缩小预警调整是为了节约系统中日志文件占用的存储空间，当存在可以缩短设置的清理周期情况时，有效的调整可以提高日志文件的清除合理性，且在不同平台记录日志文件的审计系统中，对目标平台进行审计分析可以合理的提高整体系统设置清除时长的预警精确度，使得清理周期的设置不再随着人为因素的改变而发生波动，数据合理且有效；同时不分析增大日志清理时长是因为增加存储时长会一定程度的增加存储压力，且在实际运用中，若日志清理时长需要增加的前提是存在调用更远时间日志的需求，所以在运行过程中人为会存在对时长增加的响应改变。

多平台日志审计分析系统，包括日志清理事件存储模块、唯一性判断模块、清理周期分类分析模块和实时监测预警模块；

日志清理事件存储模用于基于设置日志自动清理周期的日志审计系统，提取日志审计系统存储记录的日志清理事件；

唯一性判断模块用于判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性；

清理周期分类分析模块用于基于唯一性判断模块的判断结果对日志自动清理周期进行分类分析；

实时监测预警模块用于获取监测状态下的实际清理周期，以上一清理事件结束为实时监测的起始节点，设置实时监测节点为查询节点，并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。

进一步的，唯一性判断模块包括平台标记单元、最大调用周期提取单元、目标平台确定单元和判断分析单元；

平台标记单元用于标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台；

最大调用周期提取单元用于提取待分析日志平台在日志清理事件中记录的最大调用周期；

目标平台确定单元用于将各待分析日志平台按照最大调用周期的数值进行由大到小的排序，提取序列第一的待分析日志平台为目标平台；

判断分析单元用于比较同一类型日志清理事件中独立日志清理事件的目标平台在不同类型清理事件中的关系，输出判断结果。

进一步的，清理周期分类分析模块包括唯一特征分析单元和不唯一特征分析单元；

唯一特征分析单元用于对日志自动清理周期按照历史记录的最大日志存储容量对应的连续存储时长进行校验分析；

不唯一特征分析单元用于建立周期评估模型对日志自动清理周期进行分析。

进一步的，实时监测预警模块包括实时目标平台选取单元、分类比较单元和预警调整单元；

实时目标平台选取单元用于在起始节点和查询节点间的时段内存在异常事件时或不存在异常事件时确定对应目标平台；

分类比较单元用于基于判断结果唯一和判断结果不唯一时进行分类分析预警监测方式；

预警调整单元用于在满足预警需求时进行预警信号的传输。

与现有技术相比，本发明所达到的有益效果是：本申请通过对日志审计系统中记录的日志清理事件进行分析，判别日志审计系统在处理多平台日志生成状态下的清理周期设定的合理性，将合理的周期进行校验，不合理的周期进行更新预警，以实现对实时监测多平台日志生成数据时的数字化分析；除此之外，本申请还在实时监测分析过程中将众多平台单一化选取可以最大限度代表设置清理周期需求的目标平台，节省了共同分析多平台日志数据的数字算力，并且智能化提高了清理周期设置的实用性、合理性和精确度，节省了系统对日志文件的存储空间以及系统所需的人力成本。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一种基于大数据的多平台日志审计分析系统的结构示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供技术方案：一种基于大数据的多平台日志审计分析方法，包括以下分析步骤：

步骤S1：基于设置日志自动清理周期的日志审计系统，提取日志审计系统存储记录的日志清理事件，且每一类日志清理事件记录的日志自动清理周期相同；判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性；

步骤S2：在步骤S1的判断结果为唯一时，对历史设置的日志自动清理周期进行校验；

步骤S3：在步骤S1的判断结果为不唯一时，调用日志清理事件记录的日志响应数据，构建日志清理事件所包含每一平台的周期评估模型；

步骤S4：获取监测状态下的实际清理周期，以上一清理事件结束为实时监测的起始节点，设置实时监测节点为查询节点，并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。

步骤S1中判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性包括以下分析步骤：

标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台；

提取待分析日志平台在日志清理事件中记录的最大调用周期，最大调用周期是指日志清理事件记录对应待分析日志平台的异常事件所需调用的日志文件跨度时长，跨度时长是指异常事件发生时的日志文件与所需调用分析的日志文件的存储间隔时长；

将各待分析日志平台按照最大调用周期的数值进行由大到小的排序，提取序列第一的待分析日志平台为目标平台；

分析目标平台是为了在包含多平台的系统确定清理周期时以目标平台进行最大限度的分析可以提高分析效率，使得最大限度的满足各平台的日志调用需求；

提取每一类型日志清理事件包含独立日志清理事件的目标平台，若同一类型日志清理事件中独立日志清理事件的目标平台均相同且不同类型日志清理事件间的目标平台不相同，则输出判断结果为唯一；除此之外，输出判断结果为不唯一。

步骤S2包括：

步骤S21：获取日志审计系统历史记录的最大日志存储容量，以及最大日志存储容量对应的连续存储时长，最大日志存储容量是指不存在日志清理事件下系统提醒因剩余容量达到预警容量时的日志存储容量的最大值；连续存储时长是指由上一日志清理事件时刻到系统提醒因剩余容量达到预警容量时刻的间隔时长；

步骤S22：提取每一类型日志清理事件的日志自动清理周期T和最大日志存储容量对应的连续存储时长L，当存在日志自动清理周期T>连续存储时长L的日志清理事件时，对日志清理事件的日志自动清理周期校验为时长为L的日志自动清理周期；当日志清理事件的日志自动清理周期T≤连续存储时长L，继续监测，并将目标平台与对应校验后的日志自动清理周期以数据对的形式进行存储。

当日志清理事件满足唯一性时，说明历史记录的每一类型清理事件对应一平台的日志处理需求，所以在分析时长上不需调整，只需满足系统存储的容量问题进行调整即可。

步骤S3包括以下分析步骤：

步骤S31：将每一种目标平台对应记录不同日志自动清理周期的日志清理事件进行归类存储生成平台分析集合；提取平台分析集合中各日志清理事件记录的日志响应数据；日志响应数据是指日志清理事件中记录调用最大周期对应异常事件的特征数据，特征数据包括特征指标和指标值；

步骤S32：将每一平台分析集合中第i类日志清理事件的特征指标构成特征集合U

步骤S33：提取比较结果A中特征指标在第i类日志清理事件中的平均指标值X

生成第i类日志清理事件的序列对R

Y=ɑ

代入d类日志清理事件对应的序列对R

序列对中平均指标值X

每一目标平台对应唯一周期评估模型。

上述的周期评估模型在不同平台分析集合中所计算出的回归系数和误差项都是可能存在差异的，因为代入序列对中每一特征指标可能不同，以及特征指标对应的指标值也可能不同；且在特征指标的个数大于平台分析集合中日志清理事件的种类数时，可以代入相同日志自动清理周期对应的日志清理事件相关的数值，不取平均值，以实现对回归系数和误差项的计算；

如存在目标平台甲，记录日志清理事件如下：

日志清理事件1：日志自动清理周期为6个月；特征指标：日志调用时间范围5个月、异常事件相邻调用间隔时长10d；

日志清理事件2：日志自动清理周期为4个月；特征指标：日志调用时间范围1.5、单次调用日志比例1/10；

日志清理事件3：日志自动清理周期为6个月；特征指标：日志调用时间范围4、单次调用日志比例1/7；

则将日志清理事件1、2、3存储至平台分析集合；提取日志清理事件比较后的特征指标为日志调用时间范围；且对应日志自动清理周期为6个月时特征指标的指标值平均值为4.5；则构成序列对为[4.5,6]和[1.5,4]；

因为特征指标的个数为1，则建立周期评估模型为Y=ɑ

步骤S4包括以下分析过程：

实时目标平台是指在起始节点和查询节点间的时段内存在异常事件时，异常事件记录的最大调用周期对应的平台为实时目标平台；当起始节点和查询节点间的时段不存在异常事件时，提取日志审计系统记录的日志文件存储量最大值对应的关联平台为实时目标平台；关联平台是指日志审计系统存储日志文件对应的平台；

当步骤S1中的判断结果唯一时，提取实时目标平台相应数据对中记录的日志自动清理周期，当日志自动清理周期与实际清理周期的差值大于等于差值阈值时，传输预警信号给日志审计系统；当日志自动清理周期与实际清理周期的差值小于差值阈值时，继续监测；

当步骤S1中的判断结果不唯一时，提取起始节点到查询节点间隔时长内的实时日志响应数据，查询节点是指日志审计系统记录的日志自动清理周期最小值对应起始节点的终止节点，且日志自动清理周期最小值小于实际清理周期；实时响应数据是指满足实时目标平台对应的特征指标和指标值；

将实时响应数据代入实时目标平台对应的周期评估模型Y得到实时预估周期Y0，若实时预估周期Y0小于日志自动清理周期最小值时，传输预警信号给日志审计系统；若实时预估周期Y0大于等于日志自动清理周期最小值时，继续监测；

且间隔单位清理周期更新实时响应数据，并代入周期评估模型得到实时更新预估周期，直到日志自动清理周期最小值+k个单位清理周期=实际清理周期时停止更新；

若更新过程中存在实时更新预估周期<日志自动清理周期最小值+单位清理周期时，传输预警信号给日志审计系统，否则继续监测保持实际清理周期；单位清理周期是指历史记录的清理周期的最小变化量；预警信号是指提醒日志审计管理人员对日志清理周期进行缩小预警调整。

缩小预警调整是为了节约系统中日志文件占用的存储空间，当存在可以缩短设置的清理周期情况时，有效的调整可以提高日志文件的清除合理性，且在不同平台记录日志文件的审计系统中，对目标平台进行审计分析可以合理的提高整体系统设置清除时长的预警精确度，使得清理周期的设置不再随着人为因素的改变而发生波动，数据合理且有效；同时不分析增大日志清理时长是因为增加存储时长会一定程度的增加存储压力，且在实际运用中，若日志清理时长需要增加的前提是存在调用更远时间日志的需求，所以在运行过程中人为会存在对时长增加的响应改变。

多平台日志审计分析系统，包括日志清理事件存储模块、唯一性判断模块、清理周期分类分析模块和实时监测预警模块；

日志清理事件存储模用于基于设置日志自动清理周期的日志审计系统，提取日志审计系统存储记录的日志清理事件；

唯一性判断模块用于判断日志审计系统中每一类型日志清理事件中包含目标平台的唯一性；

清理周期分类分析模块用于基于唯一性判断模块的判断结果对日志自动清理周期进行分类分析；

实时监测预警模块用于获取监测状态下的实际清理周期，以上一清理事件结束为实时监测的起始节点，设置实时监测节点为查询节点，并基于步骤S2和步骤S3的分析结果进行实际清理周期的预警响应。

唯一性判断模块包括平台标记单元、最大调用周期提取单元、目标平台确定单元和判断分析单元；

平台标记单元用于标记每一类型日志清理事件中存在日志文件生成的平台为待分析日志平台；

最大调用周期提取单元用于提取待分析日志平台在日志清理事件中记录的最大调用周期；

目标平台确定单元用于将各待分析日志平台按照最大调用周期的数值进行由大到小的排序，提取序列第一的待分析日志平台为目标平台；

判断分析单元用于比较同一类型日志清理事件中独立日志清理事件的目标平台在不同类型清理事件中的关系，输出判断结果。

清理周期分类分析模块包括唯一特征分析单元和不唯一特征分析单元；

唯一特征分析单元用于对日志自动清理周期按照历史记录的最大日志存储容量对应的连续存储时长进行校验分析；

不唯一特征分析单元用于建立周期评估模型对日志自动清理周期进行分析。

实时监测预警模块包括实时目标平台选取单元、分类比较单元和预警调整单元；

实时目标平台选取单元用于在起始节点和查询节点间的时段内存在异常事件时或不存在异常事件时确定对应目标平台；

分类比较单元用于基于判断结果唯一和判断结果不唯一时进行分类分析预警监测方式；

预警调整单元用于在满足预警需求时进行预警信号的传输。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。