一种通行证日志分析系统

技术领域

本发明属于日志分析技术领域，特别涉及一种通行证日志分析系统。

背景技术

中国科技网通行证，是基于中国科技网的统一账号系统，包括了中科院邮件系统用户和原Duckling通行证注册用户，面向中国科技网多个科研应用服务的用户。中国科技网通行证的安全直接关系大量科研应用服务系统的安全。而日志的分析和审计是系统安全中的一个关键环节。目前的日志异常分析方法主要通过恶意IP地址匹配，对未标记为恶意的IP地址无法检测，无法及时发现或发现其它维度的异常情况。不适合中国科技网通行证这种需要及时发现异常行为的场景。

为解决上述问题，现有方法是根据特定时间范围内多次登陆IP地址的物理位置距离进行判断。如当某个用户通过IP地址IP1在时间T1登陆，用户下一次登陆在时间T2通过IP2登陆系统时，通过解析IP1和IP2的物理位置，计算两个IP地址的地理距离，再计算T2和T1的时间差，并得到用户的移动速度v，判断速度v是否为现实中的合理速度。虽然这种方法解决了基于恶意IP地址判断的缺点，但也存在明显的不足，当用户通过VPN登陆时，VPN登陆的IP地址与用户实际所在的地理位置距离过大时，速度v的值会过大报异常，造成误报。

发明内容

本发明提出一种通行证日志分析系统。

为达到上述目的，本发明采用如下技术方案：

本发明其中一个技术方案提供一种通行证日志分析系统，所述系统包括：

数据读取模块，所述数据读取模块被配置为读取数据仓库中的原始日志；

数据处理模块，所述数据处理模块被配置为用于对原始日志进行处理，计算每一用户对应的多个特征量；

异常检测模块，所述异常检测模块被配置为用于将计算的特征量与前一时间段的特征量进行对比，是否存在偏移，当偏移量大于阈值时进行报警。

结合第一个技术方案，进一步改进的技术方案中，所述原始日志的数据源包括日志原始文件、压缩文件、HDFS、数据仓库或数据流。

结合第一个技术方案，进一步改进的技术方案中，所述对原始日志进行处理包括对日志实现清洗、转换和存储到ES数据库中；或过滤非目标日志、补充缺少字段、添加IP地址信息。

结合第一个技术方案，进一步改进的技术方案中，所述特征量包括用户登陆时间、登陆IP地址和登陆地理位置。

结合第一个技术方案，进一步改进的技术方案中，所述异常检测模块具体被配置为：设置对比时长t天，计算前t天内用户登陆时间、登陆IP地址和登陆物理位置，获得特征量Y1；从第t+1天开始，再计算t天内特征量Y2，并计算Y2与Y1的偏移量ΔY，将ΔY与阈值ΔY1进行比较，当ΔY＞ΔY1时，进行报警。

结合第一个技术方案，进一步改进的技术方案中，特征量Y1和Y2按照如下公式获得：

当H

本发明提供的一种通行证日志分析系统，该系统在分析中国科技网通行证日志时，能提高日志异常分析的准确性和及时性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明其中一个实施例提供的一种通行证日志分析系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明其中一实施例提供一种通行证日志分析系统，如图1所示，所述系统包括：

数据读取模块10，所述数据读取模块被配置为读取数据仓库中的原始日志；

其中，所述原始日志包括实时日志和离线日志；所述原始日志的数据源包括日志原始文件、压缩文件、HDFS、数据仓库或数据流。

数据处理模块20，所述数据处理模块被配置为用于对原始日志进行处理，计算每一用户对应的多个特征量；所述特征量包括用户登陆时间、登陆I P地址和登陆地理位置。

其中，原始日志中包含很多类型的日志，其中一部分与用户登陆安全相关，前期通过特征工程建立日志特征库，根据日志特征进行筛选必要的日志并解析相关字段，再补充IP地址归属地等信息。具体的，对原始日志进行处理包括对日志实现清洗、转换和存储到ES数据库中；或过滤非目标日志、补充缺少字段、添加IP地址信息。

异常检测模块30，所述异常检测模块被配置为用于将计算的特征量与前一时间段的特征量进行对比，是否存在偏移，当偏移量大于阈值时进行报警。

其中，具体为，设置对比时长t天，计算前t天内用户登陆时间、登陆IP地址和登陆物理位置，获得特征量Y1；从第t+1天开始，再计算t天内特征量Y2，并计算Y2与Y1的偏移量ΔY，将ΔY与阈值ΔY1进行比较，当ΔY＞ΔY1时，进行报警。t可以为1天或5天等。

本发明提供的通行证日志分析系统在分析中国科技网通行证日志时，能提高日志异常分析的准确性和及时性。

进一步改进的方案中，当用户采用VPN进行登录，为了消除误报的情况，本申请进一步采用如下方法计算Y1和Y2；

当H

通过上述方法计算Y1和Y2，在进行比较时，可以消除由于VPN登录导致的误报情况。其中，本申请利用关联规则对H

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。