一种网络流量可视化与分析方法及系统

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种网络流量可视化与分析方法及系统。

背景技术

在互联网发展速度如此之快的今天，网络作为各行各业稳定发展的保障，各应用对网络性能的要求越来越高。针对现代网络日益增长的高可用性、可拓展性与安全性的需求和网络运维模式的矛盾，传统园区网的弊端日益凸显。

传统园区网络多采用人工介入的方式实现运维，其存在非智能、互相独立、管理低效等实际问题，造成安全防护、负载均衡、流量调度等网络功能很难有效地实现，使得网络资源的管理与高效利用尤为复杂。一旦网络中出现某些故障，则就急需进行维修。但是，由于控制点的数目较多，导致故障点难以定位，进一步影响整体修复，延长网络的恢复时间，容易造成更大程度的经济损失。因此，有必要对网络状态进行监控，实现网络流量的异常检测。

然而，现有的网络流量监测仅限于控制点流量大小的监测，无法检测出网络流量的异常情况。

发明内容

本发明实施例所要解决的技术问题在于，提供一种网络流量可视化与分析方法及系统，能够解决现有网络流量监测方式无法检测到流量异常的问题。

为了解决上述技术问题，本发明实施例提供了一种网络流量可视化与分析方法，所述方法包括以下步骤：

接收由SDN-ONOS控制器在园区网上实时采集到的收发数据；

以预定时长为基本单位，在所接收到的收发数据中进行数据截取，得到各预定时长内的INT时序数据；

将各预定时长内的INT时序数据均进行特征工程，以选取出相应的特征，并将各预定时长内的INT时序数据对应选取的特征均进行标准化后，进一步分别导入已训练好的异常数据检测模型中，判断出各INT时序数据是否为正常流量；其中，所述异常数据检测模型是采用LSTM神经网络技术所搭建的深度神经网络。

其中，所述各INT时序数据进行特征工程时所选取出的特征包括延迟、抖动和跳数。

其中，所述方法进一步包括：

通过仪表盘显示各INT时序数据的各类延迟、抖动情况；

通过环形图显示各INT时序数据对应各类协议的占比，以及不同协议的流量在时间段内的发送数量；

通过折线图显示各INT时序数据的变化信息，以及全局数据在不同时间段内的显示。

其中，所述方法进一步包括：

若判断出某一INT时序数据为异常流量时，显示抖动异常及延迟异常，并且触动警告。

其中，所述方法进一步包括：

在各预定时长内的INT时序数据中任选取一个，并将所选INT时序数据通过一个滑动窗口进行划分后，导入已训练好的数据预测模型中，得到所选INT时序数据未来一段时间内的变化情况；其中，所述数据预测模型是采用LSTM神经网络技术所搭建的深度神经网络。

本发明实施例还提供了一种网络流量可视化与分析系统，包括；

数据接收单元，用于接收由SDN-ONOS控制器在园区网上实时采集到的收发数据；

数据截取单元，用于以预定时长为基本单位，在所接收到的收发数据中进行数据截取，得到各预定时长内的INT时序数据；

数据异常检测单元，用于将各预定时长内的INT时序数据均进行特征工程，以选取出相应的特征，并将各预定时长内的INT时序数据对应选取的特征均进行标准化后，进一步分别导入已训练好的异常数据检测模型中，判断出各INT时序数据是否为正常流量；其中，所述异常数据检测模型是采用LSTM神经网络技术所搭建的深度神经网络。

其中，所述各INT时序数据进行特征工程时所选取出的特征包括延迟、抖动和跳数。

其中，还包括：

显示单元，用于通过仪表盘显示各INT时序数据的各类延迟、抖动情况；通过环形图显示各INT时序数据对应各类协议的占比，以及不同协议的流量在时间段内的发送数量；以及通过折线图显示各INT时序数据的变化信息，以及全局数据在不同时间段内的显示。

其中，还包括：

异常流量报警单元，用于若判断出某一INT时序数据为异常流量时，显示抖动异常及延迟异常，并且触动警告。

其中，还包括：

数据预测单元，用于在各预定时长内的INT时序数据中任选取一个，并将所选INT时序数据通过一个滑动窗口进行划分后，导入已训练好的数据预测模型中，得到所选INT时序数据未来一段时间内的变化情况；其中，所述数据预测模型是采用LSTM神经网络技术所搭建的深度神经网络。

实施本发明实施例，具有如下有益效果：

本发明基于LSTM神经网络技术搭建深度神经网络而成的异常数据检测模型进行网络流量可视化与分析，从而能够解决现有网络流量监测方式无法检测到流量异常的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种网络流量可视化与分析方法的流程图；

图2为本发明实施例提供的一种网络流量可视化与分析方法中LSTM神经网络的运行流程图；

图3为本发明实施例提供的一种网络流量可视化与分析方法中异常数据检测模型进行训练及测试的流程图；

图4为本发明实施例提供的一种网络流量可视化与分析方法中数据预测模型进行训练及测试的流程图；

图5为本发明实施例提供的一种网络流量可视化与分析系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种网络流量可视化与分析方法，所述方法包括以下步骤：

步骤S1、接收由SDN-ONOS控制器在园区网上实时采集到的收发数据；

步骤S2、以预定时长为基本单位，在所接收到的收发数据中进行数据截取，得到各预定时长内的INT时序数据；

步骤S3、将各预定时长内的INT时序数据均进行特征工程，以选取出相应的特征，并将各预定时长内的INT时序数据对应选取的特征均进行标准化后，进一步分别导入已训练好的异常数据检测模型中，判断出各INT时序数据是否为正常流量；其中，所述异常数据检测模型是采用LSTM神经网络技术所搭建的深度神经网络。

具体过程为，在步骤S1之前，首先，构建异常数据检测模型和数据预测模型。其中，异常数据检测模型和数据预测模型都是采用LSTM神经网络技术所搭建的深度神经网络。

如图2所示，长短期记忆LSTM分为三个部分：(1)遗忘阶段：对之前结点传输进来的数据进行相关处理，保留重要的信息而丢弃不重要的数据；(2)选择性记忆阶段：将当前阶段下的输入数据进行处理，有选择性的保留重要的信息进行记忆，不重要的信息少记录一些；(3)输出阶段：判断完成以后将需要预测的信息状态进行输出。

在LSTM中存入以下参数来进行训练：

input_size:我们需要确定输入特征维数，即每一行输入元素的个数；

hidden_size:隐藏层状态的维数，即隐藏层节点的个数；

num_layers:LSTM堆叠的层数，默认值是1层；

batch_first:输入输出的第一维是否为batch_size，由于我们使用了torch来向神经网络传递连续的数据，且LSTM的数据和torch传递的数据有着相同的含义，所以将batch_first设置为true；

Linear是用于设置网络中的全连接层，形状通常为[batch_size,size]。

其次，为了能够有效的通过LSTM来预测数据变化的趋势，需要通过获取大量数据，制作数据集来进行测试与训练。

(1)针对异常数据检测模型：设计其网络内部，使用Chronograf工具将数据插入InfluxDB时序数据库，然后根据数据库内的数据使用LSTM为代表的深度学习算法来训练，使得在已有的流量数据集上进行学习，具备检测未知威胁与网络故障的能力

如图3所示，首先将获取到的数据，进行特征工程选取合适的特征(这些特征与流量的是否正常有关)，如延迟、抖动和跳数等；然后，将选取的特征进行标准化，然后再转换为Tensor数据类型，然后输入异常数据模型进行训练，最后取测试集的数据，在训练好的异常数据模型上验证效果，输出测试流量是否正常，从而得到已训练好的异常数据模型。其中，异常数据模型的输入为经过处理的一段时间内的INT时序数据，输出为0或1。0表示该条流量为正常，1表示该条流量为异常。应当说明的是，INT技术对TCP/UDP引入了INT填充头。INT元数据报头和INT元数据堆栈将被封装在填补报头和TCP/UDP有效负载之间。格式采用基于INT_v1.0版本的INT-MD Hop-by-Hop Metadata Header Format。

(2)针对数据预测模型：设计其网络内部，构造符合数据集的特征提取器通过Chronograf工具将数据插入InfluxDB时序数据库，根据数据库中的数据进行流量预测，预测流量数据的内容为特定字段(延迟、抖动)在一段时间内的主要变化。

如图4所示，首先选取数据中的某一个或多个特征(如延迟)，接着，通过一个滑动窗口w将数据进行划分，滑动窗口大小决定了要预测多大范围的数据。比如取滑动窗口大小为10，即预测十个时间周期的数据延迟变化。然后，将划分好的数据转换为Tensor类型数据，然后输入数据预测模型进行训练。最后取测试集的数据，在训练好的数据预测模型上验证效果，输出一段时间内的数据延迟变化，从而得到已训练好的数据预测模型。其中，数据预测模型的输入为一段时间内的INT时序数据，输出为未来一段时间内的变化(如延迟)。

接着，对模型、优化器和损失函数进行了相关的定义后，对数据进行函数的调用以及LSTM模型的建立。

最后，对于之前处理的数据进行反标准化，便于输出可以直观看到的结果，让我们更好的观察、研究和分析。将得到的数据进行清洗与划分，最后得到以下16个特征，如下表1所示：

表1

在步骤S1中，由SDN-ONOS控制器在园区网上实时采集收发数据。选用ONOS控制器可以对网络中的设备进行数据收集与下发，上传进入数据库后供智能算法学习再将所预测与收集到的数据传送给前端进行展示。ONOS控制器为安全可靠、可扩展、高可用的设计方案提供良好保障，且它在具备了操作系统所需要的功能以后，对系统中存在的逻辑层次结构以及网络物理实体载体进行了高度的抽象统一，简化了现存问题的复杂性，这种可移植的设计和高度的抽象统一保障了系统能够高效的更新迭代。

在步骤S2中，以预定时长(如10S)为基本单位，在所接收到的收发数据中进行数据截取，得到各预定时长内的INT时序数据。

在步骤S3中，将各预定时长内的INT时序数据均进行特征工程，以选取出相应的特征(如延迟、抖动和跳数等)，并将各预定时长内的INT时序数据对应选取的特征均进行标准化后，进一步分别导入已训练好的异常数据检测模型中，判断出各INT时序数据是否为正常流量。当然，若判断出某一INT时序数据为异常流量时，显示抖动异常及延迟异常，并且触动警告。

在本发明实施例中，该方法进一步包括：通过仪表盘显示各INT时序数据的各类延迟、抖动情况；通过环形图显示各INT时序数据对应各类协议的占比，以及不同协议的流量在时间段内的发送数量；通过折线图显示各INT时序数据的变化信息，以及全局数据在不同时间段内的显示。

在本发明实施例中，还可以基于INT时序数据的数据预测，因此该方法进一步包括：

在各预定时长内的INT时序数据中任选取一个，并将所选INT时序数据通过一个滑动窗口进行划分后，导入已训练好的数据预测模型中，得到所选INT时序数据未来一段时间内的变化情况；其中，所述数据预测模型是采用LSTM神经网络技术所搭建的深度神经网络。

如图5所示，为本发明实施例中，提供的一种网络流量可视化与分析系统，包括；

数据接收单元110，用于接收由SDN-ONOS控制器在园区网上实时采集到的收发数据；

数据截取单元120，用于以预定时长为基本单位，在所接收到的收发数据中进行数据截取，得到各预定时长内的INT时序数据；

数据异常检测单元130，用于将各预定时长内的INT时序数据均进行特征工程，以选取出相应的特征，并将各预定时长内的INT时序数据对应选取的特征均进行标准化后，进一步分别导入已训练好的异常数据检测模型中，判断出各INT时序数据是否为正常流量；其中，所述异常数据检测模型是采用LSTM神经网络技术所搭建的深度神经网络。

其中，所述各INT时序数据进行特征工程时所选取出的特征包括延迟、抖动和跳数。

其中，还包括：

显示单元，用于通过仪表盘显示各INT时序数据的各类延迟、抖动情况；通过环形图显示各INT时序数据对应各类协议的占比，以及不同协议的流量在时间段内的发送数量；以及通过折线图显示各INT时序数据的变化信息，以及全局数据在不同时间段内的显示。

其中，还包括：

异常流量报警单元，用于若判断出某一INT时序数据为异常流量时，显示抖动异常及延迟异常，并且触动警告。

其中，还包括：

数据预测单元，用于在各预定时长内的INT时序数据中任选取一个，并将所选INT时序数据通过一个滑动窗口进行划分后，导入已训练好的数据预测模型中，得到所选INT时序数据未来一段时间内的变化情况；其中，所述数据预测模型是采用LSTM神经网络技术所搭建的深度神经网络。

实施本发明实施例，具有如下有益效果：

本发明基于LSTM神经网络技术搭建深度神经网络而成的异常数据检测模型进行网络流量可视化与分析，从而能够解决现有网络流量监测方式无法检测到流量异常的问题。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。