掌桥专利:专业的专利平台
掌桥专利
首页

基于时序数据异常检测的数据泄露检测方法及装置

文献发布时间:2024-04-18 19:58:30


基于时序数据异常检测的数据泄露检测方法及装置

技术领域

本发明涉及电数据处理技术领域,尤其涉及一种基于时序数据异常检测的数据泄露检测方法及装置。

背景技术

数据泄露是指存储在电子设备中的敏感或机密数据被未经授权的第三方获取或使用的情况。这些敏感数据可能涉及个人身份信息、财务数据、公司机密、客户资料等重要信息。数据泄露的后果可能包括经济损失、个人隐私泄露、信誉受损以及潜在的法律责任。随着信息技术的不断发展和广泛应用,数据泄露事件呈现出愈发频繁和严重的趋势,对单位和个人的安全构成了巨大的威胁。因此,数据泄露的检测与防范既是个人隐私保护的需要,也是经济发展和社会稳定的基础要求。

常用的数据泄露检测别方法一般从网络层面入手,对网络流量、客户端IP等进行监控,并设置特定的规则去匹配。这种检测方式主要依赖于网络流量的模式分析和识别,通过监控网络通信和访问的数据包,来判断是否存在异常行为。然而,这种方式并没有深入到数据层面进行检测,检测到的异常情况可能并不是数据泄露导致,并且该规则匹配方法在数据泄露检测中存在一些局限性,原因在于规则匹配往往考虑的方面比较单一,难以捕捉数据泄露事件的联动效果,从而导致数据泄露检测的精度欠佳。

发明内容

本发明提供一种基于时序数据异常检测的数据泄露检测方法及装置,用以解决现有技术中数据泄露检测精度欠佳的缺陷。

本发明提供一种基于时序数据异常检测的数据泄露检测方法,包括:

基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据;

分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果;

若所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合,则基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

根据本发明提供的一种基于时序数据异常检测的数据泄露检测方法,所述对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果,具体包括:

从所述数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息中分别获取所述若干个访问者每次访问请求的访问目标、所述访问目标的访问权限、访问请求时间、访问请求频率;

基于所述若干个访问者中任一访问者每次访问请求的访问目标、所述访问目标的访问权限、访问请求时间、访问请求频率以及所述任一访问者的用户权限进行异常行为分析,确定所述任一访问者的异常行为分析结果;

基于所述若干个访问者的异常行为分析结果,确定所述数据泄露检测结果。

根据本发明提供的一种基于时序数据异常检测的数据泄露检测方法,所述基于所述若干个访问者的异常行为分析结果,确定所述数据泄露检测结果,具体包括:

若所述若干个访问者的异常行为分析结果均指示相应访问者不存在异常行为,则确定所述数据泄漏检测结果为不存在数据泄露,并提高所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常置信度;其中,所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常置信度用于在相应访问量时序数据的异常检测过程中确定相应访问量时序数据是否存在异常;

若所述若干个访问者中任一访问者的异常行为分析结果指示所述任一访问者存在异常行为,则确定所述数据泄漏检测结果为存在数据泄漏。

根据本发明提供的一种基于时序数据异常检测的数据泄露检测方法,所述方法还包括:

若所述系统访问量时序数据对应的异常检测结果指示所述系统访问量时序数据不存在异常,且若干个访问者的单一访问量时序数据对应的异常检测结果指示相应单一访问量时序数据存在异常,则基于所述若干个访问者的单一访问量时序数据中存在异常的时间区间,确定所述若干个访问者各自对应的疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在各自对应的疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

根据本发明提供的一种基于时序数据异常检测的数据泄露检测方法,所述分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果,具体包括:

判断任一待检测访问量时序数据是否具备周期性;所述待检测访问量时序数据为系统访问量时序数据或单一访问量时序数据;

若所述任一待检测访问量时序数据具备周期性,则确定所述任一待检测访问量时序数据中每个数据的z分数,并基于所述任一待检测访问量时序数据中每个数据的z分数以及所述任一待检测访问量时序数据对应的异常置信度,确定所述任一待检测访问量时序数据对应的异常检测结果;

否则,判断所述任一待检测访问量时序数据是否具备全局波动性;

若所述任一待检测访问量时序数据不具备全局波动性,则确定所述任一待检测访问量时序数据中每个数据的均值,并基于所述任一待检测访问量时序数据中每个数据的均值以及所述任一待检测访问量时序数据对应的异常置信度,确定所述任一待检测访问量时序数据对应的异常检测结果;

若所述任一待检测访问量时序数据具备全局波动性,则对所述任一待检测访问量时序数据进行分窗后,获取各个窗口内的数据的均值漂移值,基于各个窗口内的数据的均值漂移值以及所述任一待检测访问量时序数据对应的异常置信度,确定所述任一待检测访问量时序数据对应的异常检测结果。

根据本发明提供的一种基于时序数据异常检测的数据泄露检测方法,所述判断任一待检测访问量时序数据是否具备周期性,具体包括:

对所述任一待检测访问量时序数据按照预设周期进行划分,得到多个划分时序数据;

对所述多个划分时序数据两两计算相关系数,得到所述任一待检测访问量时序数据对应的相关系数集合;

若所述任一待检测访问量时序数据对应的相关系数集合中超过预设数量阈值的相关系数大于预设相似度阈值,则确定所述任一待检测访问量时序数据具备周期性,否则确定所述任一待检测访问量时序数据不具备周期性。

根据本发明提供的一种基于时序数据异常检测的数据泄露检测方法,所述判断所述任一待检测访问量时序数据是否具备全局波动性,具体包括:

计算所述任一待检测访问量时序数据中各数据对应的均值和标准差;

基于所述任一待检测访问量时序数据中各数据对应的标准差和均值计算所述任一待检测访问量时序数据的变异系数;

若所述任一待检测访问量时序数据的变异系数大于预设变异阈值,则确定所述任一待检测访问量时序数据具备全局波动性,否则确定所述任一待检测访问量时序数据不具备全局波动性。

本发明还提供一种基于时序数据异常检测的数据泄露检测装置,包括:

时序数据获取单元,用于基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据;

异常数据检测单元,用于分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果;

数据泄露检测单元,用于在所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合时,基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于时序数据异常检测的数据泄露检测方法。

本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于时序数据异常检测的数据泄露检测方法。

本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于时序数据异常检测的数据泄露检测方法。

本发明提供的基于时序数据异常检测的数据泄露检测方法及装置,通过分别对系统访问量时序数据和各个访问者的单一访问量时序数据进行异常检测,得到系统访问量时序数据和各个访问者的单一访问量时序数据各自对应的异常检测结果,当系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合时,基于系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的上述若干个访问者在疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果,通过上述对时序指标进行异常检测,并结合其它信息进行溯源佐证的方式,从多个角度全面检测数据泄露行为,提升了数据泄露检测的准确度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的基于时序数据异常检测的数据泄露检测方法的流程示意图;

图2是本发明提供的数据泄露检测结果确定方法的流程示意图;

图3是本发明提供的基于时序数据异常检测的数据泄露检测装置的结构示意图;

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1是本发明提供的基于时序数据异常检测的数据泄露检测方法的流程示意图,如图1所示,该方法包括:

步骤110,基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据。

此处,数据操作记录中记录了系统接收到的来自访问者的每一次访问请求(包括访问文件、访问数据库、访问大数据平台、访问中台以及访问应用程序等访问请求),并将各个访问请求的客户端IP、请求时间、请求状态、敏感信息标识、访问目标、该访问目标的访问权限以及访问请求时间等信息作为访问请求信息存储到数据操作记录中。基于数据操作记录中记录的各个访问请求的访问请求信息,获取预设时间段的系统访问量时序数据和各个访问者的单一访问量时序数据。其中,系统访问量时序数据包含了该预设时间段内按固定时间粒度统计的系统总访问请求量,特定访问者的单一访问量时序数据包含了该预设时间段内按固定时间粒度统计的来自该特定访问者的访问请求量。需要说明的是,系统访问量时序数据的时间粒度与各个访问者的单一访问量时序数据的时间粒度是一致的,而时间粒度具体可以根据实际应用场景设定,本发明实施例对此不作具体设定。例如,若系统访问量时序数据是按小时统计的系统总访问请求量,则各个访问者的单一访问量时序数据也是按小时统计的来自相应访问者的访问请求量。

步骤120,分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果。

此处,针对系统访问量时序数据和各个访问者的单一访问量时序数据分别进行异常检测,从系统访问量时序数据和各个访问者的单一访问量时序数据中检测是否存在单个异常值或多个异常值构成的异常区间,从而得到系统访问量时序数据和各个访问者的单一访问量时序数据各自对应的异常检测结果。其中,异常检测结果指示了相应访问量时序数据是否存在异常,且在存在异常时还包括存在异常的时间区间。系统访问量时序数据和各个访问者的单一访问量时序数据所采用的异常检测方法可以基于相应访问量时序数据的数据特点选择的,例如当相应访问量时序数据分别为局部波动型数据、全局波动型数据或是周期性数据时可以采用不同的异常检测算法,且系统访问量时序数据和单一访问量时序数据所采用的异常检测方法可以相同也可以不同,本发明实施例对此不作具体限定。

在一些实施例中,针对系统访问量时序数据和各个访问者的单一访问量时序数据中的任一待检测访问量时序数据,可以判断该待检测访问量时序数据是否具备周期性。若该待检测访问量时序数据具备周期性,则确定该待检测访问量时序数据中每个数据的z分数。例如,可以采用如下公式计算任一数据x

其中,k>0,T为该待检测访问量时序数据的周期,w为时间窗口的一半,mean(x

基于该待检测访问量时序数据中每个数据的z分数以及该待检测访问量时序数据对应的异常置信度,确定该待检测访问量时序数据对应的异常检测结果。其中,若该待检测访问量时序数据中任一数据的z分数大于该待检测访问量时序数据对应的异常置信度,则确定该待检测访问量时序数据存在异常,并基于其中z分数大于该待检测访问量时序数据对应的异常置信度的数据所对应的时间区间,确定该待检测访问量时序数据存在异常的时间区间。

若该待检测访问量时序数据不具备周期性,则继续判断该待检测访问量时序数据是否具备全局波动性。若该待检测访问量时序数据不具备全局波动性,则确定该待检测访问量时序数据中每个数据的均值,并基于该待检测访问量时序数据中每个数据的均值以及该待检测访问量时序数据对应的异常置信度,确定该待检测访问量时序数据对应的异常检测结果。其中,若连续预设数量(例如5)个数据的均值在第一异常阈值范围以外,则确定该待检测访问量时序数据存在异常,并基于其中均值在第一异常阈值范围以外的连续数据所对应的时间区间,确定该待检测访问量时序数据存在异常的时间区间。此处,第一异常阈值范围的最小值为该待检测访问量时序数据的中位数减去该待检测访问量时序数据对应的异常置信度,而最大值为该待检测访问量时序数据的中位数加上该待检测访问量时序数据对应的异常置信度。

若该待检测访问量时序数据具备全局波动性,则对该待检测访问量时序数据进行滑动分窗后,获取各个窗口内的数据的均值漂移值,并基于各个窗口内的数据的均值漂移值以及该待检测访问量时序数据对应的异常置信度,确定该待检测访问量时序数据对应的异常检测结果。其中,可以采用如下公式计算任一窗口t内的数据的均值漂移值:

其中,w为滑动窗口的长度,x

在另一些实施例中,为了判断任一待检测访问量时序数据是否具备周期性,可以对该待检测访问量时序数据按照预设周期进行划分,得到多个划分时序数据,随后对多个划分时序数据两两计算相关系数,得到该待检测访问量时序数据对应的相关系数集合。其中,可以利用皮尔逊相关系数的计算方式计算两个划分时序数据之间的相关系数。若该待检测访问量时序数据对应的相关系数集合中超过预设数量阈值的相关系数大于预设相似度阈值,则确定该待检测访问量时序数据具备周期性,否则确定该待检测访问量时序数据不具备周期性。此外,为了判断任一待检测访问量时序数据是否具备全局波动性,可以计算该待检测访问量时序数据中各数据对应的标准差和均值。计算该待检测访问量时序数据中各数据对应的标准差和均值的比值,作为该待检测访问量时序数据的变异系数。若该待检测访问量时序数据的变异系数大于预设变异阈值,则确定该待检测访问量时序数据具备全局波动性,否则确定该待检测访问量时序数据不具备全局波动性。

步骤130,若所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合,则基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

此处,若系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果均指示相应访问量时序数据存在异常,且系统访问量时序数据中存在异常的时间区间与上述若干个访问者的单一访问量时序数据中存在异常的时间区间有重合。在这种情况下,表明在同一个时间段内从系统总访问量的角度以及从上述若干个访问者的单人访问量的角度都存在访问异常,而这种异常可能是数据泄露导致的。因此,可以基于系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间。此处,可以将系统访问量时序数据中存在异常的时间区间与上述若干个访问者的单一访问量时序数据中存在异常的时间区间之间的重合部分,作为上述疑似泄漏区间,也可以直接将系统访问量时序数据中存在异常的时间区间作为上述疑似泄漏区间。

在一些实施例中,在系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果均指示相应访问量时序数据存在异常,且系统访问量时序数据中存在异常的时间区间与上述若干个访问者的单一访问量时序数据中存在异常的时间区间有重合时,可以从数据操作记录中随机抽取上述若干个访问者在存在异常的时间区间内发起的多个访问请求对应的访问请求信息,并判断上述多个访问请求对应的访问请求信息中各访问请求的请求状态和敏感信息标识,若超过预设数量的访问请求的请求状态为“成功”且敏感信息标识为包含敏感数据,即可判定存在疑似数据泄露事件,然后基于系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间。

随后,对数据操作记录中记录的上述若干个访问者在疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。由于在上述步骤中确定存在疑似数据泄漏事件,但是为了提升数据泄露检测的准确性、避免误报,可以从上述若干个访问者在疑似泄漏区间之前的访问请求信息中寻找佐证信息,通过对其进行异常行为分析,确定上述若干个访问者是否在为数据泄露做前期的探测准备,例如端口测试、文件权限测试等。若从上述若干个访问者在疑似泄漏区间之前的访问请求信息中检测到了异常,则可以进一步确定存在数据泄露事件,从而提升了数据泄露检测的准确性。

在一些实施例中,如图2所示,所述对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果,具体包括:

步骤210,从所述数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息中分别获取所述若干个访问者每次访问请求的访问目标、所述访问目标的访问权限、访问请求时间、访问请求频率;

步骤220,基于所述若干个访问者中任一访问者每次访问请求的访问目标、所述访问目标的访问权限、访问请求时间、访问请求频率以及所述任一访问者的用户权限进行异常行为分析,确定所述任一访问者的异常行为分析结果;

步骤230,基于所述若干个访问者的异常行为分析结果,确定所述数据泄露检测结果。

具体地,从数据操作记录中记录的上述若干个访问者在疑似泄漏区间之前的访问请求信息中分别获取上述若干个访问者每次访问请求的访问目标、该访问目标的访问权限、访问请求时间、访问请求频率,结合上述若干个访问者自身的用户权限,对上述若干个访问者在疑似泄漏区间之前的每次访问请求进行异常行为分析,得到上述若干个访问者的异常行为分析结果。需要说明的是,除访问目标、该访问目标的访问权限、访问请求时间、访问请求频率以外,进行异常行为分析时所依据的信息还可以包括访问方式、请求地址等,本发明实施例对此不作具体限定。其中,可以将上述若干个访问者中的任一访问者在疑似泄漏区间之前的各次访问请求的访问目标、该访问目标的访问权限、访问请求时间、访问请求频率以及该访问者的用户权限输入至已训练的异常行为分析模型,利用该异常行为分析模型进行异常行为分析,得到该访问者的异常行为分析结果。该访问者的异常行为分析结果指示了该访问者在疑似泄漏区间之前是否存在数据泄露的探测准备行为。

此处,可以将任一访问者在疑似泄漏区间之前的各次访问请求的访问目标、该访问目标的访问权限和访问请求时间对应的三元组按照访问请求的访问请求时间的先后顺序进行排序,然后与访问请求频率以及该访问者的用户权限组合后输入至异常行为分析模型。该异常行为分析模型可以基于样本访问者在预设期间内的多次访问请求的访问目标、该访问目标的访问权限、访问请求时间、访问请求频率、相应样本访问者的用户权限以及相应样本访问者在该预设期间的异常标签训练得到,而该异常行为分析模型可以基于卷积神经网络或循环神经网络构建得到。

根据上述若干个访问者的异常行为分析结果,可以确定数据泄露检测结果。其中,若上述若干个访问者的异常行为分析结果均指示相应访问者不存在异常行为,则确定数据泄漏检测结果为不存在数据泄露,并提高系统访问量时序数据和各个访问者的单一访问量时序数据各自对应的异常置信度,提升相应访问量时序数据的异常检测的检测率。此处,系统访问量时序数据对应的异常置信度用于在系统访问量时序数据的异常检测过程中确定系统访问量时序数据是否存在异常,各个访问者的单一访问量时序数据各自对应的异常置信度用于在单一访问量时序数据的异常检测过程中确定单一访问量时序数据是否存在异常,而系统访问量时序数据或单一访问量时序数据对应的异常置信度在异常检测过程中的作用已在上述实施例中详述,在此不做赘述。若上述若干个访问者中任一访问者的异常行为分析结果指示该访问者存在异常行为,则确定数据泄漏检测结果为存在数据泄漏。

在另一些实施例中,若系统访问量时序数据对应的异常检测结果指示系统访问量时序数据不存在异常,但若干个访问者的单一访问量时序数据对应的异常检测结果指示相应单一访问量时序数据存在异常,则可以基于上述若干个访问者的单一访问量时序数据中存在异常的时间区间,确定上述若干个访问者各自对应的疑似泄漏区间。其中,对于上述若干个访问者中的任一访问者,可以直接将该访问者的单一访问量时序数据中存在异常的时间区间,作为该访问者对应的疑似泄漏区间。随后,对数据操作记录中记录的上述若干个访问者在各自对应的疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。此处,对任一访问者在对应的疑似泄漏区间之前的访问请求信息进行异常行为分析以及确定数据泄露检测结果的方式,与上述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合的情况类似,在此不再赘述。除此之外,还可以调低系统访问量时序数据对应的异常置信度,减少系统访问量时序数据的异常检测的误报率。

综上所述,本发明实施例提供的方法,通过分别对系统访问量时序数据和各个访问者的单一访问量时序数据进行异常检测,得到系统访问量时序数据和各个访问者的单一访问量时序数据各自对应的异常检测结果,当系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合时,基于系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的上述若干个访问者在疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果,通过上述对时序指标进行异常检测,并结合其它信息进行溯源佐证的方式,从多个角度全面检测数据泄露行为,提升了数据泄露检测的准确度。

下面对本发明提供的基于时序数据异常检测的数据泄露检测装置进行描述,下文描述的基于时序数据异常检测的数据泄露检测装置与上文描述的基于时序数据异常检测的数据泄露检测方法可相互对应参照。

基于上述任一实施例,图3是本发明提供的基于时序数据异常检测的数据泄露检测装置的结构示意图,如图3所示,该装置包括:

时序数据获取单元310,用于基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据;

异常数据检测单元320,用于分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果;

数据泄露检测单元330,用于在所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合时,基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

本发明实施例提供的装置,通过分别对系统访问量时序数据和各个访问者的单一访问量时序数据进行异常检测,得到系统访问量时序数据和各个访问者的单一访问量时序数据各自对应的异常检测结果,当系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合时,基于系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的上述若干个访问者在疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果,通过上述对时序指标进行异常检测,并结合其它信息进行溯源佐证的方式,从多个角度全面检测数据泄露行为,提升了数据泄露检测的准确度。

基于上述任一实施例,所述对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果,具体包括:

从所述数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息中分别获取所述若干个访问者每次访问请求的访问目标、所述访问目标的访问权限、访问请求时间、访问请求频率;

基于所述若干个访问者中任一访问者每次访问请求的访问目标、所述访问目标的访问权限、访问请求时间、访问请求频率以及所述任一访问者的用户权限进行异常行为分析,确定所述任一访问者的异常行为分析结果;

基于所述若干个访问者的异常行为分析结果,确定所述数据泄露检测结果。

基于上述任一实施例,所述基于所述若干个访问者的异常行为分析结果,确定所述数据泄露检测结果,具体包括:

若所述若干个访问者的异常行为分析结果均指示相应访问者不存在异常行为,则确定所述数据泄漏检测结果为不存在数据泄露,并提高所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常置信度;其中,所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常置信度用于在相应访问量时序数据的异常检测过程中确定相应访问量时序数据是否存在异常;

若所述若干个访问者中任一访问者的异常行为分析结果指示所述任一访问者存在异常行为,则确定所述数据泄漏检测结果为存在数据泄漏。

基于上述任一实施例,数据泄露检测单元330还用于:

若所述系统访问量时序数据对应的异常检测结果指示所述系统访问量时序数据不存在异常,且若干个访问者的单一访问量时序数据对应的异常检测结果指示相应单一访问量时序数据存在异常,则基于所述若干个访问者的单一访问量时序数据中存在异常的时间区间,确定所述若干个访问者各自对应的疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在各自对应的疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

基于上述任一实施例,所述分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果,具体包括:

判断任一待检测访问量时序数据是否具备周期性;所述待检测访问量时序数据为系统访问量时序数据或单一访问量时序数据;

若所述任一待检测访问量时序数据具备周期性,则确定所述任一待检测访问量时序数据中每个数据的z分数,并基于所述任一待检测访问量时序数据中每个数据的z分数以及所述任一待检测访问量时序数据对应的异常置信度,确定所述任一待检测访问量时序数据对应的异常检测结果;

否则,判断所述任一待检测访问量时序数据是否具备全局波动性;

若所述任一待检测访问量时序数据不具备全局波动性,则确定所述任一待检测访问量时序数据中每个数据的均值,并基于所述任一待检测访问量时序数据中每个数据的均值以及所述任一待检测访问量时序数据对应的异常置信度,确定所述任一待检测访问量时序数据对应的异常检测结果;

若所述任一待检测访问量时序数据具备全局波动性,则对所述任一待检测访问量时序数据进行分窗后,获取各个窗口内的数据的均值漂移值,基于各个窗口内的数据的均值漂移值以及所述任一待检测访问量时序数据对应的异常置信度,确定所述任一待检测访问量时序数据对应的异常检测结果。

基于上述任一实施例,所述判断任一待检测访问量时序数据是否具备周期性,具体包括:

对所述任一待检测访问量时序数据按照预设周期进行划分,得到多个划分时序数据;

对所述多个划分时序数据两两计算相关系数,得到所述任一待检测访问量时序数据对应的相关系数集合;

若所述任一待检测访问量时序数据对应的相关系数集合中超过预设数量阈值的相关系数大于预设相似度阈值,则确定所述任一待检测访问量时序数据具备周期性,否则确定所述任一待检测访问量时序数据不具备周期性。

基于上述任一实施例,所述判断所述任一待检测访问量时序数据是否具备全局波动性,具体包括:

计算所述任一待检测访问量时序数据中各数据对应的均值和标准差;

基于所述任一待检测访问量时序数据中各数据对应的标准差和均值计算所述任一待检测访问量时序数据的变异系数;

若所述任一待检测访问量时序数据的变异系数大于预设变异阈值,则确定所述任一待检测访问量时序数据具备全局波动性,否则确定所述任一待检测访问量时序数据不具备全局波动性。

图4是本发明提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、存储器(memory)420、通信接口(Communications Interface)430和通信总线440,其中,处理器410,存储器420,通信接口430通过通信总线440完成相互间的通信。处理器410可以调用存储器420中的逻辑指令,以执行基于时序数据异常检测的数据泄露检测方法,该方法包括:基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据;分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果;若所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合,则基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

此外,上述的存储器420中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于时序数据异常检测的数据泄露检测方法,该方法包括:基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据;分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果;若所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合,则基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的基于时序数据异常检测的数据泄露检测方法,该方法包括:基于数据操作记录中记录的访问请求信息,获取系统访问量时序数据和各个访问者的单一访问量时序数据;分别对所述系统访问量时序数据和所述各个访问者的单一访问量时序数据进行异常检测,得到所述系统访问量时序数据和所述各个访问者的单一访问量时序数据各自对应的异常检测结果;若所述系统访问量时序数据和若干个访问者的单一访问量时序数据对应的异常检测结果指示相应访问量时序数据存在异常且存在异常的时间区间存在重合,则基于所述系统访问量时序数据和若干个访问者的单一访问量时序数据中存在异常的时间区间,确定疑似泄漏区间,并对数据操作记录中记录的所述若干个访问者在所述疑似泄漏区间之前的访问请求信息进行异常行为分析,确定数据泄露检测结果。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

相关技术
  • 半导体结构及半导体结构的形成方法
  • 时序数据无监督异常检测模型训练方法及装置、时序数据无监督异常检测方法及装置
技术分类

06120116500135