基于深度学习的流量异常检测方法、系统、终端及介质

技术领域

本发明涉及互联网技术领域，更具体地说，它涉及基于深度学习的流量异常检测方法、系统、终端及介质。

背景技术

随着大数据时代的到来，互联网应用层各式各样，网络的组成成分也日益复杂。为了能够更好地实施网络管理及网络安全措施，网络管理者需要对海量的网络流量类型及流量异常检测。在过去的十几年中，网络流量分类方法对优化网络配置，减少网络安全风险以及提高用户服务质量起到了重要作用。

现在网络中也不断涌现出新的应用类型，极大地增加了网络流量的多样性和复杂性，通过网络流量分类方法对网络流量的识别分类后再对分类后的网络流量进行网络异常对比分析，存在数据处理量较大、复杂程度高，且存在一定的延迟，难以达到高效、实时的进行流量异常安全监管的效果。

因此，如何研究设计高效、实时的基于深度学习的流量异常检测方法、系统、终端及介质是我们目前急需解决的问题。

发明内容

为解决现有网络流量异常检测效率低、时效性差的问题，本发明的目的是提供基于深度学习的流量异常检测方法、系统、终端及介质。

本发明的上述技术目的是通过以下技术方案得以实现的：

第一方面，提供了基于深度学习的流量异常检测方法，包括以下步骤：

S101：获取历史网络流量数据，并依据网络流量类型对历史网络流量数据进行分类处理；

S102：对各类历史网络流量数据进行归一化处理后得到相应类别的流量时间序列；

S103：通过深度学习神经网络训练模型对所有的流量时间序列进行训练后得到流量主线路、流量分支线路以及流量分支线路与流量主线路的关联信息；

S104：通过基于混沌理论方法的预测模型对流量主线路的流量时间序列进行预测得到下一刻的主流量预测数据；

S105：根据同一流量主线路的关联信息、网络流量预测数据计算得到相应流量分支线路下一刻的分支流量预测数据；

S106：获取实时网络流量数据，并将实时网络流量数据与流量预测数据对比分析后得到异常检测结果。

进一步的，所述深度学习神经网络训练模型包括输入层、第一隐藏层、第二隐藏层、输出层；

其中，输入层设有N个神经元，N为网络流量数据的分类类型数量；

第一隐藏层设有M个神经元，M为流量时间序列的序列数量；

第二隐藏层设有P×Q个神经元，P为预设主线路数量，N＝P+Q；

输出层设有三个神经元；

以及，输入层的每个神经元分别与第一隐藏层的每个神经元依次连接；

第一隐藏层的每个神经元分别与第二隐藏层的每个神经元依次连接；

第二隐藏层的每个神经元分别与输出层的每个神经元依次连接。

进一步的，所述流量主线路训练选取具体为：

流量主线路的流量时间序列各项数值均不为零；

以及，优先选择关联的流量分支线路数量最多的线路。

进一步的，所述关联信息包括：

流量分支线路与流量主线路关联的起始点信息；

流量分支线路与流量主线路关联的终止点信息；

流量分支线路与流量主线路于起始点至终止点时间段内的关联函数。

进一步的，所述基于混沌理论方法的预测模型具体为：

通过序列相关法确定流量时间序列的时间延迟，并通过饱和关联维数法确定流量时间序列的最佳嵌入维数；

根据最佳嵌入维数建立重构相空间，以间隔取点方式对流量时间序列预处理后投入到重构相空间中；

通过欧氏距离计算重构相空间中两个序列点之间的贴近度，选取与预测起报点之间的贴近度最小的多个序列点组成相似近点集；

通过相似近点集的后续序列点坐标值对预测起报点的后续序列点坐标变化进行预测。

第二方面，提供了基于深度学习的流量异常检测系统，包括：

数据划分模块，用于获取历史网络流量数据，并依据网络流量类型对历史网络流量数据进行分类处理；

数据处理模块，用于对各类历史网络流量数据进行归一化处理后得到相应类别的流量时间序列；

模型训练模块，用于通过深度学习神经网络训练模型对所有的流量时间序列进行训练后得到流量主线路、流量分支线路以及流量分支线路与流量主线路的关联信息；

数据预测模块，用于通过基于混沌理论方法的预测模型对流量主线路的流量时间序列进行预测得到下一刻的主流量预测数据；

数据计算模块，用于根据同一流量主线路的关联信息、网络流量预测数据计算得到相应流量分支线路下一刻的分支流量预测数据；

异常检测模块，用于获取实时网络流量数据，并将实时网络流量数据与流量预测数据对比分析后得到异常检测结果。

第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于深度学习的流量异常检测方法。

第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于深度学习的流量异常检测方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明先通过对网络流量进行分类处理，然后对分类后的网络流量进行训练后得到能够体现网络流量在时间域分布情况的流量主线路、流量分支线路以及流量分支线路与流量主线路的关联信息，仅对流量主线路的下一刻的主流量预测数据进行预测，并结合对应的关联函数即可计算得到流量分支线路的分支流量预测数据，其计算过程复杂度较低；且通过获取的实时网络流量数据进行直接对比即可得到异常检测结果，其时效性强；

2、本发明能够直观得出存在异常情况的时间节点以及具体的异常情况，无需进行二次分析处理，数据处理过程简单；

3、本发明通过深度学习神经网络训练模型对网络流量进行主线路、分支线路分类训练，主线路、分支线路的分类效果好，两者之间关联性强；

4、本发明通过基于混沌理论方法的预测模型进行网络流量数据预测，其预测结果准确可靠。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中的流程图；

图2是本发明实施例中深度学习神经网络训练模型的结构示意图；

图3是本发明实施例中的系统架构图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

实施例1：基于深度学习的流量异常检测方法，如图1所示，包括以下步骤：

S101：获取历史网络流量数据，并依据网络流量类型对历史网络流量数据进行分类处理；

S102：对各类历史网络流量数据进行归一化处理后得到相应类别的流量时间序列；

S103：通过深度学习神经网络训练模型对所有的流量时间序列进行训练后得到流量主线路、流量分支线路以及流量分支线路与流量主线路的关联信息；

S104：通过基于混沌理论方法的预测模型对流量主线路的流量时间序列进行预测得到下一刻的主流量预测数据；

S105：根据同一流量主线路的关联信息、网络流量预测数据计算得到相应流量分支线路下一刻的分支流量预测数据；

S106：获取实时网络流量数据，并将实时网络流量数据与流量预测数据对比分析后得到异常检测结果。

如图2所示，深度学习神经网络训练模型包括输入层、第一隐藏层、第二隐藏层、输出层。其中，输入层设有N个神经元，N为网络流量数据的分类类型数量；第一隐藏层设有M个神经元，M为流量时间序列的序列数量；第二隐藏层设有P×Q个神经元，P为预设主线路数量，N＝P+Q；输出层设有三个神经元。以及，输入层的每个神经元分别与第一隐藏层的每个神经元依次连接；第一隐藏层的每个神经元分别与第二隐藏层的每个神经元依次连接；第二隐藏层的每个神经元分别与输出层的每个神经元依次连接。

流量主线路训练选取具体为：流量主线路的流量时间序列各项数值均不为零；以及，优先选择关联的流量分支线路数量最多的线路。

关联信息包括：流量分支线路与流量主线路关联的起始点信息；流量分支线路与流量主线路关联的终止点信息；流量分支线路与流量主线路于起始点至终止点时间段内的关联函数。

基于混沌理论方法的预测模型具体为：通过序列相关法确定流量时间序列的时间延迟，并通过饱和关联维数法确定流量时间序列的最佳嵌入维数；根据最佳嵌入维数建立重构相空间，以间隔取点方式对流量时间序列预处理后投入到重构相空间中；通过欧氏距离计算重构相空间中两个序列点之间的贴近度，选取与预测起报点之间的贴近度最小的多个序列点组成相似近点集；通过相似近点集的后续序列点坐标值对预测起报点的后续序列点坐标变化进行预测。

实施例2：基于深度学习的流量异常检测系统，如图3所示，包括数据划分模块、数据处理模块、模型训练模块、数据预测模块、数据计算模块、异常检测模块。数据划分模块，用于获取历史网络流量数据，并依据网络流量类型对历史网络流量数据进行分类处理。数据处理模块，用于对各类历史网络流量数据进行归一化处理后得到相应类别的流量时间序列。模型训练模块，用于通过深度学习神经网络训练模型对所有的流量时间序列进行训练后得到流量主线路、流量分支线路以及流量分支线路与流量主线路的关联信息。数据预测模块，用于通过基于混沌理论方法的预测模型对流量主线路的流量时间序列进行预测得到下一刻的主流量预测数据。数据计算模块，用于根据同一流量主线路的关联信息、网络流量预测数据计算得到相应流量分支线路下一刻的分支流量预测数据。异常检测模块，用于获取实时网络流量数据，并将实时网络流量数据与流量预测数据对比分析后得到异常检测结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。