流量异常检测方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及网络安全技术领域，尤其涉及一种流量异常检测方法、装置、计算机设备及可读存储介质。

背景技术

随着互联网行业的公司规模的不断扩大，企业的公网和内网的业务快速迭代，网络流量呈现爆发式增长，管理的难度成倍增加。某些团队利用管理上的弱势，通过自行编写计算机程序对企业的业务发起恶意攻击，不仅给公司的服务器造成的巨大的压力也伤害了正常用户的正常使用。因此越来越多的公司开始投入大量的资源维护网络安全。Web应用防火墙（Web Application Firewall简称WAF），是一种对APP或网站的恶意流量、威胁进行识别并监控、拦截的网络应用。针对海量的流量攻击请求，WAF一般具备Web防护攻击、CC攻击防护、访问控制等功能，并能够通过开源组件对不同粒度的流量可视化。而对于流量的波动，如何检测周期性流量波动中的异常流量，传统地通过同比、环比或极值法等指标难以检测时序流量中的异常波动，因此，我们需要一种检测流量周期性波动的方法以辨别正常还是异常的流量波动。

发明内容

本发明的目的在于提供一种流量异常检测方法、装置、计算机设备及计算机可读存储介质，旨在解决现有的业务流量周期性波动中异常流量检测问题，检测易损接口中潜在的波动，以提前发现隐匿在流量波动中的攻击行为。

第一方面，本发明提供了一种流量异常检测方法，包括：

S101、获取业务流量数据并接入流数据处理平台；

S102、解析流数据处理平台的实时日志，从被监控接口中解析得到观察业务数据；

S103、对观察业务数据进行异常检测得到异常数据点；

S104、对异常数据点进行异常数据校验，存储通过校验的数据并推送到即时消息沟通软件。

第二方面，本发明提供了一种流量异常检测装置，包括：

数据获取模块，用于获取业务流量数据并接入流数据处理平台；

解析模块，用于解析流数据处理平台的实时日志，从被监控接口中解析得到观察业务数据；

异常检测模块，用于对观察业务数据进行异常检测得到异常数据点；

异常校验模块，用于对异常数据点进行异常数据校验，存储通过校验的数据并推送到即时消息沟通软件。

第三方面，本发明提供了一种计算机设备，包括：

一个或多个处理器；

存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上所述流量异常检测方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的流量异常检测方法的步骤。

在本发明中提供了一种流量异常检测方法，通过考察监控单个业务接口的方式检测风险，对时序特征数据观察业务数据的异常检测是在传统的STL分解算法的基础上，通过对N个特征分别构建M个时间窗口模型，引入M*N多个模型，结合多个维度建立多个模型，对每个模型的输出进行融合，对单模型的特征和/或多模型的输出结果通过多数投票或加权投票机制生成最终的异常检测结果，相比之下可以减少误报率和漏报率。另外，可以根据实际业务需求对不同的接口调整监控时间窗口的长短和经验阈值，设置更加灵活。

附图说明

图1是本发明实施例一提供的流量异常检测方法的流程图；

图2是本发明实施例二提供的流量异常检测装置的功能模块框图；

图3是本发明实施例三提供的计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

在Web安全防护能力的过程中，一般传统的流量检测手段下会通过本周期和上一周期的流量对比计算同比、环比监测指标，如果指标超出预先设定的专家阈值即可视为异常。而在实际的业务场景中，一个业务周期的流量并不是有规律地上下波动，而是在某一个时点或某一个时期超出或低于正常的业务观测值，比如易遭遇异常流量风险的接口，如短信、询价接口，其流量大小具有周期性特点，比如白天和晚上分别对应业务的高峰期和低峰期，工作日和非工作日的流量就有很大的差距，呈现出没有规律性的特征，通过基线拟合比较难发现流量异常而且容易发生误报，如果简单通过对比观测前后观察周期的流量波动范围就很容易造成误报。另外现有通过大盘监控的手段有效但是存在滞后性。个体流量的波动从整体上看来难以察觉，所以本发明通过考察监控单个业务接口的方式检测风险，同时也方便精细化运营。

实施例一

如图1所示，本发明实施例一提供了一种流量异常检测方法100，包括以下步骤：

S101、获取业务流量数据并接入流数据处理平台，具体地，收集客户端、内部信息平台等需要实施监控的业务方所产生的业务流量数据，WAF网关对该原始业务流量数据做多维度检测与防护后，例如针对IP地址、用户凭证、设备标识等进行检验和防护，之后接入流数处理平台，例如Kafka。

S102、解析流数据处理平台的实时日志，从被监控接口中解析得到观察业务数据，例如使用Flink解析实时的Kafka日志，实际应用中可以根据业务需要列出被监控的接口，从接口中解析出带有时间戳的业务流量数据，构建M（M为大于等于3的正整数）个监控时间窗口，例如M=3时，可以取5分钟、10分钟、15分钟间隔的时间窗口，分别对各个被监控接口计算N（N为大于等于3的正整数）个特征得到N*M个模型的观察业务数据，其中当N=3时，3个特征是请求频次、响应时间、响应数据包特征，共可得到N*M=9个模型的9组观察业务数据，并将观察业务数据存储至MySQL数据库。实际应用中可以根据实际业务需求对不同的接口调整监控时间窗口的长短，设置更加灵活，异常流量具有隐蔽性良好的特征，通过细分业务场景，对容易发生资产损失的业务场景重点监控，小范围的精细化监控能更有效地检测到异常流量。

S103、对观察业务数据进行异常检测得到异常数据点，具体包括：

S1031、采用时间序列分解算法将观察业务数据分解为趋势分量、季节性分量和残差分量；

S1032、通过GESD异常检测算法检测趋势分量、季节性分量和残差分量，得到异常数据点。

例如对步骤S102中以5分钟、10分钟、15分钟间隔的时间窗口，分别对各个业务接口计算请求频次、响应时间、响应数据包特征得到的9组观察业务数据，采用时间序列分解算法，分别将9组观察业务数据分解为趋势分量、季节性分量和残差分量，基于时序分解的结果能有效地平滑周期性流量波动对异常检测的影响，通过GESD（Generalized ExtremeStudentized Deviate）异常检测算法检测各分量下得到异常数据点，例如上述9组观察业务数据经异常检测后可得到9组异常数据点的检测结果。

S104、对异常数据点进行异常数据校验，存储通过校验的数据并且推送到即时消息沟通软件，其中异常数据校验具体包括：

S1041、以经验阈值或n-sigma准则对M*N模型中的单个模型做异常数据校验，其中可以根据实际业务特点由运营人员介入来设置不同的经验阈值或n-sigma准则；

S1042、对M*N个模型采用多数投票或者加权投票机制进行投票，或者是对M*N个模型按照特征分为N个组，先进行组内投票再整体投票，得票率超过阈值则通过校验。

例如针对步骤S103中得到的9个模型的异常数据点直接进行投票；或者先针对特征分组分为3个组，先进行组内投票，再针对异常数据点整体投票。其中上述经验阈值取值根据专家知识和业务要求来确定，一般来说以“少数服从多数”的原则，得票率超过 50% 即通过，如果对于准确率要求较高，可适当提高得票率阈值。之后将通过校验的数据推送到即时消息沟通软件（例如飞书等软件），安全运营人员接收到推送后介入告警事件快速响应并检查生产环境是否有攻击源并决定是否对攻击源执行对应操作，在WAF管理平台编写策略规则对其限制，另外按照业务需要对检出的异常数据点按照一定的类别分类存入数据库中作为情报数据供后续分析使用。

本发明实施例一提供的一种流量异常检测方法，通过考察监控单个业务接口的方式检测风险，对观察业务数据的异常检测是在传统的STL分解算法的基础上，通过对N个特征分别构建M个时间窗口模型，引入M*N多个模型，对每个模型的输出进行融合，对单模型的特征和/或多模型的输出结果通过多数投票或加权投票机制生成最终的异常检测结果，相比之下可以减少误报率和漏报率。另外，可以根据实际业务需求对不同的接口调整监控时间窗口的长短和经验阈值，设置更加灵活。

实施例二

本发明实施例二提供了一种流量异常检测装置200，包括：

数据获取模块201，用于获取业务流量数据并接入流数据处理平台；

解析模块202，用于解析流数据处理平台的实时日志，从被监控接口中解析得到观察业务数据；

异常检测模块203，用于对观察业务数据进行异常检测得到异常数据点；

异常校验模块204，用于对异常数据点进行异常数据校验，存储通过校验的数据并推送到即时消息沟通软件。

本发明实施例二提供的流量异常检测装置与本发明实施例一提供的流量异常检测方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

实施例三

如图3所示，本发明实施例三提供了一种计算机设备300，包括：

一个或多个处理器301；

存储器302；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如实施例一提供的流量异常检测方法的步骤。

实施例四

本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一提供的流量异常检测方法的步骤。

在本发明中提供了一种流量异常检测方法，通过考察监控单个业务接口的方式检测风险，对观察业务数据的异常检测是在传统的STL分解算法的基础上，通过对N个特征分别构建M个时间窗口模型，引入M*N多个模型，对每个模型的输出进行融合，对单模型的特征和/或多模型的输出结果通过多数投票或加权投票机制生成最终的异常检测结果，相比之下可以减少误报率和漏报率。另外，可以根据实际业务需求对不同的接口调整监控时间窗口的长短和经验阈值，设置更加灵活。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。