一种基于大数据的网络监测方法及系统

技术领域

本发明涉及网络监测技术领域，尤其涉及一种基于大数据的网络监测方法及系统。

背景技术

当前网络与信息安全领域，正面临着全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。

面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面

1. 数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据量时难以为继，海量异构高维数据的融合、存储和管理遇到困难；安全设备和网络应用产生的安全事件数量巨大，IDS误报严重，一台IDS系统，一天产生的安全事件数量成千上万，通常99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信息中，难以识别；

2. 威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重，不能实时预测。一个攻击活动之后常常接着另外一个攻击活动，前一个攻击活动为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源的安全事件其实是一种协作攻击，这些都缺乏有效的综合分析

3. 安全预判能力有限，缺乏对抗能力：安全运营以被动应急响应为主，难以对风险进行提前的评估与研判，总是疲于救火。

发明内容

本发明提供了一种基于大数据的网络监测方法，包括：

Step1、收集各服务节点接收到的网络数据包并进行存储；

Step2、将收集到的数据包进行聚类分析，构建正常网络行为模型；

Step3、使用正常网络行为模型对网络传输中的数据包实时进行异常检测；

Step4、检测到的异常数据包通过关联分析器进行进一步的分析；

Step5、根据关联分析器的分析结果进行预警与响应。

如上所述的一种基于大数据的网络监测方法，其中将收集到的数据包进行聚类分析，构建正常网络行为模型，具体分为以下子步骤：

对数据包进行特征提取，并将提取的特征值处理为聚类分析所需数据类型；

对处理完成的数据进行聚类分析，并获取聚类结果中正常网络行为数据包；

根据正常网络行为数据包建立正常网络行为模型。

如上所述的一种基于大数据的网络监测方法，其中根据正常网络行为数据包建立正常网络行为模型，具体包括以下子步骤：

根据历史数据包计算数据包各特征的加权值；

根据数据包各特征的加权值计算数据包各特征的偏差参数；

根据数据包各特征、数据包各特征的加权值、以及数据包各特征的偏差参数，建立正常网络行为模型。

如上所述的一种基于大数据的网络监测方法，其中使用正常网络行为模型对网络传输中的数据包实时进行异常检测，具体分为以下子步骤：

通过网络监测工具实时采集网络传输过程中的数据包；

提取数据包的特征，将提取的特征输入到正常网络行为模型中；

对正常网络行为模型的输出结果设置阈值，实时输出结果超出阈值时则视为异常数据包。

如上所述的一种基于大数据的网络监测方法，其中检测到的异常数据包通过关联分析器进行进一步的分析，具体包括以下子步骤：

基于异常数据包传输时间确定异常周期，对异常周期内重要设备、业务的安全关键点要素进行基线分析；

基于基线分析结果进行深度分析，确定异常数据包所造成的网络威胁类型。

如上所述的一种基于大数据的网络监测方法，其中根据关联分析器的分析结果进行预警与响应，具体包括：

将异常变动关键点的变化量与异常数据包所包含的详细信息形成报表，以网络威胁类型为标题进行预警；

针对不同的威胁类型设置不同的应急方案，应急方案包括应急条件与应急措施；

根据关联分析器的分析结果是否满足应急条件，判断是否触发应急措施。

本发明还提供一种基于大数据的网络监测系统，包括：数据包采集模块，正常网络行为模型构建模块，异常数据包检测模块，关联分析模块，预警与响应模块。

如上所述的一种基于大数据的网络监测系统，其中数据包采集模块，用于收集各服务节点接收到的网络数据包并进行存储；

正常网络行为模型构建模块，用于将数据包采集模块收集到的数据包进行聚类分析，构建正常网络行为模型；

异常数据包检测模块，用于使用正常网络行为模型对网络传输中的数据包实时进行异常检测；

关联分析模块，用于对异常数据包检测模块检测到的异常数据包进行进一步的分析；

预警与响应模块，用于根据关联分析模块的分析结果进行预警与响应。

本发明实现的有益效果如下：将多个数据源的数据进行联合、相关或组合分析，以获得高质量的信息，提高网络监测中网络安全评估的准确性，可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种基于大数据的网络监测方法流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明实施例一提供一种基于大数据的网络监测方法，包括：

步骤S10：收集各服务节点接收到的网络数据包并进行存储；

使用网络监测工具Wireshark，来捕获网络数据包，Wireshark是一个常用的开源网络分析工具，可以在不同的操作系统上运行，在Wireshark上设置需要监测的网络接口，也就是服务节点上可被调用的网络接口，所有经过被监测网络接口的数据包都会被捕获，以此收集各服务节点接收到的数据包，将收集到的数据包存储起来，为后续的分析处理提供数据支持。

步骤S20：将收集到的数据包进行聚类分析，构建正常网络行为模型；

解析收集到的数据包，获得数据包头所包含的传输信息，根据传输信息中的状态标志，过滤传输失败的数据包，对剩余的数据包进行聚类分析，分类出正常网络行为数据包，与异常网络行为数据包，并根据正常网络行为数据包构建出正常网络行为模型，具体地：

步骤S21：对数据包进行特征提取，并将提取的特征值处理为聚类分析所需数据类型；

从数据包中解析出来的传输信息中进行特征提取，包括：协议类型、源地址和目标地址、源端口和目标端口、包长度、时间戳、数据包标志、数据包负载、数据包流量。

对数值型的特征数据进行归一化处理，对字符型数据进行独热编码处理，提高聚类分析算法的效率。

步骤S22：对处理完成的数据进行聚类分析，并获取聚类结果中正常网络行为数据包；

导入大数据处理引擎的库和模块到自己的系统中，创建出聚类分析的大数据处理对象，再将处理完成的数据加载到对象中，设置k值为2，执行大数据处理对象的聚类分析方法，执行完成之后会生成一个包含正常网络行为数据包，与异常网络行为数据包的聚类分析模型，为模型中的每个数据点分配聚类标签，根据聚类标签过滤出正常网络行为数据包。

步骤S23：根据正常网络行为数据包建立正常网络行为模型；

正常网络行为模型为：

的计算公式为/>

步骤S30：使用正常网络行为模型对网络传输中的数据包实时进行异常检测；

通过网络监测工具实时采集网络传输过程中的数据包，解析之后提取数据包的特征，将提取的特征输入到正常网络行为模型中，对输出结果设置阈值，超出阈值时则视为异常数据包，其余数据包丢弃。

步骤S40：检测到的异常数据包通过关联分析器进行进一步的分析；

关联分析器用于对异常数据包结合时空因素综合分析，具体地：

步骤S41：基于异常数据包传输时间前后作为异常周期，对异常周期内重要设备、业务的安全关键点要素进行基线分析，通过单个或多个关键点的变动进行综合分析，基线分析模型为：

步骤S42：基于基线分析结果进行深度分析，确定异常数据包造成的网络威胁类型，基线分析模型的输出结果S包含异常变动关键点及异常变动关键点的变化量，根据安全关键点在异常周期内的变化量计算网络威胁类型，增量变化为正，降量变化为负；网络威胁类型计算公式为：

步骤S50：根据关联分析器的分析结果进行预警与响应；

将异常变动关键点的变化量与异常数据包所包含的详细信息形成报表，以网络威胁类型为标题进行预警，针对不同的威胁类型设置不同的应急方案，应急方案包括应急条件与应急措施，当检测关联分析器的分析结果或异常数据包所包含信息满足应急条件时，触发应急措施，有效避免或阻碍网络异常行为造成网络安全事故。

实施例二

本发明实施例一提供一种基于大数据的网络监测系统，包括：数据包采集模块，正常网络行为模型构建模块，异常数据包检测模块，关联分析模块，预警与响应模块；

（1）数据包采集模块，用于收集各服务节点接收到的网络数据包并进行存储；设置需要监测的网络接口，也就是服务节点上可被调用的网络接口，所有经过被监测网络接口的数据包都会被捕获，以此收集各服务节点接收到的数据包，将收集到的数据包存储起来，为后续的分析处理提供数据支持；

（2）正常网络行为模型构建模块，用于将数据包采集模块收集到的数据包进行聚类分析，构建正常网络行为模型，包括以下子模块：

①数据包处理子模块，用于对数据包进行特征提取，并将提取的特征值处理为聚类分析所需数据类型；从数据包中解析出来的传输信息中进行特征提取，包括：协议类型、源地址和目标地址、源端口和目标端口、包长度、时间戳、数据包标志、数据包负载、数据包流量。

对数值型的特征数据进行归一化处理，对字符型数据进行独热编码处理，提高聚类分析算法的效率。

②聚类分析子模块，用于对数据包处理子模块处理完成的数据进行聚类分析，并获取聚类结果中正常网络行为数据包；导入大数据处理引擎的库和模块到自己的系统中，创建出聚类分析的大数据处理对象，再将处理完成的数据加载到对象中，设置k值为2，执行大数据处理对象的聚类分析方法，执行完成之后会生成一个包含正常网络行为数据包，与异常网络行为数据包的聚类分析模型，为模型中的每个数据点分配聚类标签，根据聚类标签过滤出正常网络行为数据包。

③正常网络行为模型建立子模块，用于根据聚类分析子模块过滤出的正常网络行为数据包建立正常网络行为模型；

正常网络行为模型为：

的计算公式为/>

（3）异常数据包检测模块，用于使用正常网络行为模型对网络传输中的数据包实时进行异常检测；通过数据包采集模块实时采集网络传输过程中的数据包，解析之后提取数据包的特征，将提取的特征输入到正常网络行为模型中，对输出结果设置阈值，超出阈值时则视为异常数据包，其余数据包丢弃。

（4）关联分析模块，用于对异常数据包检测模块检测到的异常数据包进行进一步的分析，包括以下子模块：

①基线分析子模块，用于根据异常数据包传输时间确定异常周期，对异常周期内重要设备、业务的安全关键点要素进行基线分析；通过单个或多个关键点的变动进行综合分析，基线分析模型为：

②深度分析子模块，基于基线分析结果进行深度分析，确定异常数据包造成的网络威胁类型，基线分析模型的输出结果S包含异常变动关键点及异常变动关键点的变化量，根据安全关键点在异常周期内的变化量计算网络威胁类型，增量变化为正，降量变化为负；网络威胁类型计算公式为：

（5）预警与响应模块，用于根据关联分析模块的分析结果进行预警与响应；将异常变动关键点的变化与异常数据包所包含的详细信息形成报表，以网络威胁类型为标题进行预警，针对不同的威胁类型设置不同的应急方案，应急方案包括应急条件与应急措施，当检测关联分析器的分析结果或异常数据包所包含信息满足应急条件时，触发应急措施，有效避免或阻碍网络异常行为造成网络安全事故。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。