一种基于自适应深度学习的5G网络异常检测方法及系统

技术领域

本发明涉及一种基于自适应深度学习的5G网络异常检测方法及系统，属于网络安全技术领域。

背景技术

5G移动通信技术提供的更为先进的通信架构功能和更高的通信性能，给现有的网络安全防御系统带来新的挑战。随着国家对网络安全越来越重视，通信基础设施的网络安全在过去几年里得到了快速发展，创新的网络安全防御方法已经得到广泛应用，而随着5G新技术的出现，新的问题出现了，现有的入侵检测和防御程序是否能有效地保护5G网络安全似乎不那么明确，而这些已有的防御技术能否随着5G新技术的应用进行相应地调整就可以满足5G网络安全的需要也成了极具挑战性的问题。本发明提出了一种新的面向5G的网络安全检测体系结构，以快速高效地识别5G移动网络中的网络威胁。本发明基于一个现有的网络异常检测系统，通过从网络流中提取流量特征来分析网络流量，识别异常流量的目的，为了满足5G高速流量的分析需求，本发明在现有流量分析架构中根据5G网络结构进行了自适应调整，并使用了深度学习技术，基于深度学习的流量分析技术允许根据管理流量的波动自动调整网络检测体系结构的配置，目的是优化每个特定时刻所需的计算资源，并微调分析和检测过程的行为和性能。使用不同深度学习技术的解决方案扩展实验分析和确定它们对不同网络流量负载的适用性和性能。实验结果表明，基于5G用户设备采集的网络流量，本发明中的网络异常检测体系架构能够达到对网络流量进行异常检测的效果，并优化资源消耗。

从事网络安全专业的研究工作者设计并研发了许多网络安全检测系统，以保护网络设备免受恶意入侵者的攻击。这些系统用于解决网络安全威胁，如病毒、木马、蠕虫和僵尸网络等。现有基于入侵检测系统（IDS）的解决方案包括采取积极主动的方法来预测和消除计算系统中的漏洞，这是比较理想的处理漏洞的方式。而对于无法完全消灭的漏洞可以通过制定漏洞触发响应性的缓解措施来规避。

任何保护机制都不可避免需要通过集成具有良好性能和精确检测能力的算法来支撑运行，从而允许对信息流量收集的数据进行快速处理。如果没有这些能力，IDS系统基本上无法完成实时监测和分析功能，当潜在的网络攻击开始发生时也几乎不可能及时检测到。新的问题出现是由于当前的网络提供了越来越高的传输速率。例如有线网络，速率已经从几年前的100Mbps提高到现在的10Gbps。通信网络中大量的信息流量使得现有的检测系统IDS无法有效地收集和分析每一个网络流量包。例如，像Snort这样的深度数据包检查（DPI）工具可以在高达1Gbps的有线网络上正常工作，而超过1.5Gbps速率则开始出现丢弃数据包的情况。近期研究又进行了深入的实验，通过使用Snort和在其上集成应用机器学习技术，对这种IDS进行了深入的性能比较，评估了这种升级后的IDS处理网络流量的速度高达10Gbps。实验结果表明，在4Gbps网络中，使用Snort的平均丢包率达到9.5%，而在10Gbps网络中，使用Snort的平均丢包率上升到20%。为了提高系统的性能，基于硬件加速器的并行化技术已经成为研究的热点。其中，基于现场可编程门阵列（FPGA）的技术支持高达4Gbps的无损耗速度，而基于专用集成电路（ASIC）的技术则接近7.2Gbps。

然而，由于5G新无线技术带宽的增加，基于IDS深度分析技术的解决方案仅在上述方向上研究已经无法满足检测需求，只能考虑向新的检测方法发展。高速通信流量使得人们首先想到检测系统从检查原始网络数据包转向使用基于人工智能的创新技术分析流量网络流。例如，基于块的神经网络（BBNN）用于基于异常的IDS，通过使用FPGA架构实现了大约22Gbps的吞吐量。这个解决方案提供了对收集到的网络流量进行快速分类，并检测攻击或恶意代码的人工智能方法，明显使得吞吐量大幅提升。然而，这些解决方案似乎还是不能满足对未来5G网络的设想，因为预计网络传输速率会更高。目前，创建和部署新的5G移动技术已经开始开展大量的研发工作。5G新的先进特性将使现有的检测程序很难适应新的要求。

欧洲5G-PPP联盟已经确定了一组关键性能指标（KPI），这些指标在分析和检查交通网络流量时具有重要影响，它要求以一种高效快速的方式确定传入网络流量的某些特征，以便完成检测过程。这些KPI中重点列出以下四个：

（1）每个地理区域的移动数据量高出1000倍；

（2）10到100倍的连接设备；

（3）10倍到100倍超典型用户数据速率；

（4）端到端延迟<1ms。

这些指标使网络异常检测程序在5G移动网络中成为一个更大的挑战，5G用户拥有大量的用户设备，用户设备所产生的大量数据流量，以及连接延迟的降低，要满足上述关键性能指标，同时又不能损失检测精度，5G网络异常检测系统面临着新的挑战。

发明内容

本发明所要解决的技术问题是提供一种基于自适应深度学习的5G网络异常检测方法，能够有效适应5G高速数据传输的要求，并实现对网络流量数据的异常检测，实现高效的网络预警机制。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于自适应深度学习的5G网络异常检测方法，用于针对各终端经各无线电接入网接入因特网的场景，实现流量异常检测，并实现相应优化；实时执行如下步骤A至步骤D；

步骤A. 分别针对各终端所接入的各个无线电接入网基础设施，检测无线电接入网基础设施中的网络流量汇总，并应用预设第一深度学习网络，分析其中是否存在异常流量，是则针对异常流量，构建症状包；否则不做任何处理；待对各无线电接入网基础设施完成上述操作后，进入步骤B；

步骤B. 应用预设第二深度学习网络，针对各个症状包进行分类，确定各个网络异常，然后进入步骤C；其中，预设第一深度学习网络的执行速率满足5G网络速率，并且预设第一深度学习网络的执行速率优于预设第二深度学习网络的执行速率；

步骤C. 针对各个网络异常进行监控诊断，获得各个诊断结果，并基于预设策略库，选择获得对应各个诊断结果的操作动作，然后进入步骤D；

步骤D. 应用对应各个诊断结果的操作动作，针对步骤A与步骤B的执行、以及相应无线电接入网，进行资源与功能的优化。

作为本发明的一种优选技术方案：所述步骤A中，针对异常流量，结合时间戳、以及异常类型，构建症状包。

作为本发明的一种优选技术方案：所述步骤A中，分别针对各终端所接入的各个无线电接入网基础设施，执行如下步骤A1至步骤A3；

步骤A1. 采集无线电接入网基础设施中预设指定时长内的所有网络流量，并获得该所有网络流量整体所对应的特征向量，然后进入步骤A2；

步骤A2. 应用预设第一深度学习网络，针对该特征向量进行分类，分析其中是否存在异常流量，是则进入步骤A3；否则不做任何处理；

步骤A3. 针对该特征向量，结合时间戳、以及异常类型，构建症状包。

作为本发明的一种优选技术方案：所述步骤C中，根据针对无线电接入网基础设施执行关于预设类型信息的监控，针对各个网络异常进行监控诊断，获得各个诊断结果。

作为本发明的一种优选技术方案：所述对无线电接入网基础设施监控的预设类型信息，包括无线电接入网中处理器和内存的资源使用情况、以及应用预设第一深度学习网络进行异常流量分析的网络流量。

作为本发明的一种优选技术方案：所述步骤C中，针对各个诊断结果，根据各诊断结果所对应的网络资源，结合相应虚拟网络运营商对该网络资源的安全策略所构成的预设策略库，选择获得对应各个诊断结果的操作动作。

与上述相对应，本发明还要解决的技术问题是提供一种基于自适应深度学习的5G网络异常检测方法的系统，能够有效适应5G高速数据传输的要求，并实现对网络流量数据的异常检测，实现高效的网络预警机制。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于自适应深度学习的5G网络异常检测方法的系统，用于针对各终端经各无线电接入网接入因特网的场景，实现流量异常检测，并实现相应优化；包括网络异常检测模块、监控和诊断模块、安全策略管理模块、虚拟化网络功能管理模块、以及至少一个异常症状检测模块；

其中，异常症状检测模块的数量小于或等于无线电接入网的数量，并且各异常症状检测模块与数量相等的各无线电接入网彼此一一对应，各异常症状检测模块分别设置于对应无线电接入网的基础设施中；各异常症状检测模块的输出端分别与网络异常检测模块的输入端相连，进行上传通信；网络异常检测模块的输出端依次串联通信监控和诊断模块、安全策略管理模块、虚拟化网络功能管理模块，执行信号的顺序传输通信；虚拟化网络功能管理模块的控制端分别对接网络异常检测模块、以及各异常症状检测模块进行控制；

各异常症状检测模块分别针对其所设无线电接入网基础设施，检测无线电接入网基础设施中的网络流量汇总，并应用预设第一深度学习网络，分析其中是否存在异常流量，是则针对异常流量，构建症状包，并发送给网络异常检测模块；否则不做任何处理；

网络异常检测模块用于接收分别来自各异常症状检测模块的症状包，并应用预设第二深度学习网络，针对各个症状包进行分类，确定各个网络异常，并发送给监控和诊断模块，并且预设第二深度学习网络的执行速率满足5G网络速率，并且预设第二深度学习网络的执行速率优于预设第一深度学习网络的执行速率；

监控和诊断模块用于针对来自网络异常检测模块的各个网络异常，进行监控诊断，获得各个诊断结果，并发送给安全策略管理模块；

安全策略管理模块用于针对来自监控和诊断模块的各个诊断结果，基于预设策略库，选择获得对应各个诊断结果的操作动作，并发送给虚拟化网络功能管理模块；

虚拟化网络功能管理模块用于应用来自安全策略管理模块的操作动作，针对网络异常检测模块、相应无线电接入网、以及各异常症状检测模块的执行操作，进行资源与功能的优化。

作为本发明的一种优选技术方案：还包括虚拟化基础设施监控模块、以及数量与异常症状检测模块的数量相等的入侵检测系统模块，各个入侵检测系统模块与数量相等的各无线电接入网彼此一一对应，各入侵检测系统模块分别设置于对应无线电接入网的基础设施中；各入侵检测系统模块的输出端分别与虚拟化基础设施监控模块的输入端相连，进行上传通信；虚拟化基础设施监控模块的输出端对接所述监控和诊断模块的输入端；

各入侵检测系统模块分别用于针对其所设无线电接入网的基础设施，执行预设类型信息的监控，并上传至虚拟化基础设施监控模块；

虚拟化基础设施监控模块用于接收来自各入侵检测系统模块的预设类型信息，并转发至监控和诊断模块；

监控和诊断模块用于根据无线电接入网基础设施关于预设类型信息的监控，针对来自网络异常检测模块的各个网络异常，进行监控诊断，获得各个诊断结果，并发送给安全策略管理模块。

作为本发明的一种优选技术方案：系统划分为虚拟化基础设施子系统、虚拟化网络功能子系统、管理和业务流程子系统、以及操作和业务支持子系统；

其中，虚拟化基础设施子系统用于虚拟化包括计算、存储和网络的物理资源，并将其公开供虚拟化网络功能子系统使用；

管理和业务流程子系统用于管理实现网络服务中虚拟化网络功能的结合、虚拟化网络功能的生命周期、虚拟化网络功能在虚拟化资源中的部署、以及支持多租户的网络切片的组合；

所述网络异常检测模块、以及所述各个异常症状检测模块、各个入侵检测系统模块构成虚拟化网络功能子系统；

管理和业务流程子系统根据虚拟网络运营商对操作和业务支持子系统定义的预设策略库，控制相应无线电接入网基础设施；管理和业务流程子系统包括协调器、虚拟化基础设施管理、以及所述虚拟化网络功能管理模块，其中，所述安全策略管理模块、监控和诊断模块构成协调器，所述虚拟化基础设施监控模块构成虚拟化基础设施管理。

作为本发明的一种优选技术方案：所述协调器还包括编排控制器，所述虚拟化网络功能管理模块包括虚拟化网络功能安全模块、虚拟化网络功能服务质量模块、以及各个虚拟化网络功能管理子模块，所述虚拟化基础设施管理还包括虚拟化基础设施安全模块、虚拟化基础设施控制模块、以及各个虚拟化基础设施管理子模块。

本发明所述一种基于自适应深度学习的5G网络异常检测方法及系统，采用以上技术方案与现有技术相比，具有以下技术效果：

本发明所设计基于自适应深度学习的5G网络异常检测方法及系统，针对已有网络异常检测方案进行实质性扩展，应用深度学习识别技术，构建两阶段分级检测技术，先通过分设于各个无线电接入网基础设施中的异常症状检测模块，在满足5G网络速率的情况下，针对网络流量进行检测，发现异常流量，并构建症状包；然后通过向网络异常检测模块进行上传，由网络异常检测模块针对症状包进行症状分析诊断，之后经过一系列措施获得诊断结果的操作动作，针对相应无线电接入网的资源与功能进行优化，使其具有管理流量波动的自适应能力，能够在必要时实现更多计算资源的调配部署，能够高效实现5G网络的异常流量检测，保证5G网络环境下的安全工作。

附图说明

图1是本发明所设计基于自适应深度学习的5G网络异常检测方法的系统的整体架构图；

图2是本发明所设计基于自适应深度学习的5G网络异常检测方法的系统的核心架构图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

本发明设计了一种基于自适应深度学习的5G网络异常检测方法，用于针对各终端经各无线电接入网（RAN）接入因特网的场景，实现流量异常检测，并实现相应优化；实际应用当中，具体实时执行如下步骤A至步骤D。

步骤A. 分别针对各终端所接入的各个无线电接入网（RAN）基础设施，检测无线电接入网（RAN）基础设施中的网络流量汇总，并应用预设第一深度学习网络，分析其中是否存在异常流量，是则针对异常流量，结合时间戳、以及异常类型，构建症状包；否则不做任何处理；待对各无线电接入网（RAN）基础设施完成上述操作后，进入步骤B。

实际应用当中，上述步骤A中，分别针对各终端所接入的各个无线电接入网（RAN）基础设施，具体执行如下步骤A1至步骤A3。

步骤A1. 采集无线电接入网（RAN）基础设施中预设指定时长内的所有网络流量，并获得该所有网络流量整体所对应的特征向量，然后进入步骤A2。

步骤A2. 应用预设第一深度学习网络，针对该特征向量进行分类，分析其中是否存在异常流量，是则进入步骤A3；否则不做任何处理。

步骤A3. 针对该特征向量，结合时间戳、以及异常类型，构建症状包。

步骤B. 应用预设第二深度学习网络，针对各个症状包进行分类，确定各个网络异常，然后进入步骤C；其中，预设第一深度学习网络的执行速率满足5G网络速率，并且预设第一深度学习网络的执行速率优于预设第二深度学习网络的执行速率。

步骤C. 根据针对无线电接入网（RAN）基础设施执行关于预设类型信息的监控，针对各个网络异常进行监控诊断，获得各个诊断结果，进一步针对各个诊断结果，根据各诊断结果所对应的网络资源，结合相应虚拟网络运营商对该网络资源的安全策略所构成的预设策略库，选择获得对应各个诊断结果的操作动作，然后进入步骤D。

实际应用当中，针对无线电接入网（RAN）基础设施监控的预设类型信息，包括无线电接入网（RAN）中处理器和内存的资源使用情况、以及应用预设第一深度学习网络进行异常流量分析的网络流量。

步骤D. 应用对应各个诊断结果的操作动作，针对步骤A与步骤B的执行、以及相应无线电接入网（RAN），进行资源与功能的优化。

针对上述所设计基于自适应深度学习的5G网络异常检测方法，本发明进一步设计了针对此方法的系统，用于针对各终端经各无线电接入网（RAN）接入因特网的场景，实现流量异常检测，并实现相应优化；如图2所示，包括网络异常检测模块（NAD）、监控和诊断模块（monitoring & diagnoser）、安全策略管理模块（security policy manager）、虚拟化网络功能管理模块（VNF Managers）、虚拟化基础设施监控模块（VI Monitors）、以及至少一个入侵检测系统模块（IDS）、至少一个异常症状检测模块（ASD）。

其中，异常症状检测模块（ASD）的数量小于或等于无线电接入网（RAN）的数量，并且各异常症状检测模块（ASD）与数量相等的各无线电接入网（RAN）彼此一一对应，各异常症状检测模块（ASD）分别设置于对应无线电接入网（RAN）的基础设施中；各异常症状检测模块（ASD）的输出端分别与网络异常检测模块（NAD）的输入端相连，进行上传通信；网络异常检测模块（NAD）的输出端依次串联通信监控和诊断模块（monitoring & diagnoser）、安全策略管理模块（security policy manager）、虚拟化网络功能管理模块（VNF Managers），执行信号的顺序传输通信。

入侵检测系统模块（IDS）的数量与异常症状检测模块（ASD）的数量相等，各个入侵检测系统模块（IDS）与数量相等的各无线电接入网（RAN）彼此一一对应，各入侵检测系统模块（IDS）分别设置于对应无线电接入网（RAN）的基础设施中；各入侵检测系统模块（IDS）的输出端分别与虚拟化基础设施监控模块（VI Monitors）的输入端相连，进行上传通信；虚拟化基础设施监控模块（VI Monitors）的输出端对接所述监控和诊断模块（monitoring &diagnoser）的输入端。

虚拟化网络功能管理模块（VNF Managers）的控制端分别对接网络异常检测模块（NAD）、以及各异常症状检测模块（ASD）进行控制。

各异常症状检测模块（ASD）分别针对其所设无线电接入网（RAN）基础设施，检测无线电接入网（RAN）基础设施中的网络流量汇总，并应用预设第一深度学习网络，分析其中是否存在异常流量，是则针对异常流量，构建症状包，并发送给网络异常检测模块（NAD）；否则不做任何处理，这里即本发明的一个重点，即由异常症状检测模块（ASD）针对无线电接入网（RAN）基础设施中的全部网络流量实现快速搜索异常症状，并且满足5G网络速率。

针对异常症状检测模块（ASD），具体设计包含流量计量功能，流量计量功能分两步完成，即包括流量导出器和流量收集器，流量导出器相当于一个观测点，负责计量过程，也就是根据观测到的流量创建流量记录；流量收集器负责获取和存储流量导出器创建的流量记录，即获得流量记录所对应的特征向量，异常症状检测模块（ASD）依据此特征向量将这些流量分类为异常或正常流量，此环节的分类必须尽可能快，允许精度不那么高，但是响应时间要短，即满足5G网络的高速率要求。如果怀疑异常，则由所涉及的特征向量、时间戳和检测到的异常类型组成的症状包被发送到下一级，即网络异常检测模块（NAD）。

各入侵检测系统模块（IDS）分别用于针对其所设无线电接入网（RAN）的基础设施，执行预设类型信息的监控，并上传至虚拟化基础设施监控模块（VI Monitors）。

虚拟化基础设施监控模块（VI Monitors）用于接收来自各入侵检测系统模块（IDS）的预设类型信息，并转发至监控和诊断模块（monitoring & diagnoser）。

网络异常检测模块（NAD）用于接收分别来自各异常症状检测模块（ASD）的症状包，并应用预设第二深度学习网络，针对各个症状包进行分类，确定各个网络异常，并发送给监控和诊断模块（monitoring & diagnoser），并且预设第二深度学习网络的执行速率满足5G网络速率，并且预设第二深度学习网络的执行速率优于预设第一深度学习网络的执行速率。

具体应用中，网络异常检测模块（NAD）设计包括中央进程处理器来分析时间轴和这些症状之间的关系，以识别任何网络异常，一旦出现异常，它将立即与检测体系的监控和诊断模块（monitoring & diagnoser）建立通信。

本发明中异常症状检测模块（ASD）性能主要从执行时间的角度分析ASD模块的吞吐量，而暂不考虑分类精度。在5G网络中，每一个RAN必须管理的流量总量使得每秒能够处理足够数量的流量变得至关重要。因为在本发明的架构中依赖第二级（NAD）来细化最终的检测结果，所以在ASD级别不考虑检测精度，或者说不是本发明保护的重点。

监控和诊断模块（monitoring & diagnoser）用于根据无线电接入网（RAN）基础设施关于预设类型信息的监控，针对来自网络异常检测模块（NAD）的各个网络异常，进行监控诊断，获得各个诊断结果，并发送给安全策略管理模块（security policy manager）。

安全策略管理模块（security policy manager）用于针对来自监控和诊断模块（monitoring & diagnoser）的各个诊断结果，基于预设策略库，选择获得对应各个诊断结果的操作动作，并发送给虚拟化网络功能管理模块（VNF Managers）；实际应用中，进一步建议在安全策略管理模块（security policy manager）中引入性能监控指示器和异常原因，以便根据VNO安全策略自动采取相应的措施。

虚拟化网络功能管理模块（VNF Managers）用于应用来自安全策略管理模块（security policy manager）的操作动作，针对网络异常检测模块（NAD）、相应无线电接入网（RAN）、以及各异常症状检测模块（ASD）的执行操作，进行资源与功能的优化。

对于这里虚拟化网络功能管理模块（VNF Managers）所实现的优化操作，包括如下：

（1）调整RAN资源

当发现任何单个资源过载时，这些操作可以部署新的虚拟化资源、更改当前资源配置或者平衡流量收集器的负载。

（2）优化ASD和NAD功能

网络流量的波动起伏也意味着网络流量的变化。为了优化检测过程、最大化吞吐量和最小化响应时间，ASD和NAD模块可以优化选择另一个更合适的框架来代替深度学习框架或检测模型。

（3）扩展ASD和NAD功能

有时候，部署精确的检测组件可以避免误报。尤其是这些操作可以实例化DPI机制，允许在第2层或者第3层流量中进行深入检索。

针对上述所设计应用的网络异常检测模块（NAD）、监控和诊断模块（monitoring &diagnoser）、安全策略管理模块（security policy manager）、虚拟化网络功能管理模块（VNF Managers）、虚拟化基础设施监控模块（VI Monitors）、各入侵检测系统模块（IDS）、各异常症状检测模块（ASD），如图1所示，本发明进一步设计整体网络架构系统，即将系统划分为虚拟化基础设施子系统（VI）、虚拟化网络功能子系统（VNF）、管理和业务流程子系统（MANO）、以及操作和业务支持子系统（OSS/BSS）。

其中，虚拟化基础设施子系统（VI）用于虚拟化包括计算、存储和网络的物理资源，并将其公开供虚拟化网络功能子系统使用。

管理和业务流程子系统用于管理实现网络服务中虚拟化网络功能的结合、虚拟化网络功能的生命周期、虚拟化网络功能在虚拟化资源中的部署、以及支持多租户的网络切片的组合。

所述网络异常检测模块（NAD）、以及所述各个异常症状检测模块（ASD）、各个入侵检测系统模块（IDS）构成虚拟化网络功能子系统（VNF）。

管理和业务流程子系统（MANO）根据虚拟网络运营商（VNO）对操作和业务支持子系统（OSS/BSS）定义的预设策略库，控制相应无线电接入网（RAN）基础设施,管理和业务流程子系统（MANO）实现网络服务的虚拟化网络功能子系统（VNF）的结合、虚拟化网络功能子系统（VNF）的全生命周期、虚拟化网络功能子系统（VNF）在虚拟化资源中的部署、以及支持多租户的网络切片的组合。

管理和业务流程子系统包括协调器（orchestrator）、虚拟化基础设施管理、以及所述虚拟化网络功能管理模块（VNF Managers），其中，所述安全策略管理模块（securitypolicy manager）、监控和诊断模块（monitoring & diagnoser），结合编排控制器（orchestration controller）构成协调器（orchestrator），所述虚拟化网络功能管理模块（VNF Managers）包括虚拟化基础设施监控模块（VI Monitors）、虚拟化网络功能安全模块、虚拟化网络功能服务质量模块、以及各个虚拟化网络功能管理子模块，所述虚拟化基础设施管理还包括虚拟化基础设施安全模块、虚拟化基础设施控制模块、以及各个虚拟化基础设施管理子模块。

本发明设计方案中所涉及的第一深度学习网络与第二深度学习网络中，即使用了机器学习技术实现网络流量异常检测，异常现象即为不符合预期行为的一种模式，它不常出现，而且与所谓正常态的概念紧密相关。从本质上讲，可以将所有不符合正常类的网络流量视为异常。因此，异常检测系统不应受到任何预定义异常集的限制；相反，系统应该达到足够灵活可以识别任何影响网络的未知事件。第一种直接的方法是定义一个代表正常行为的区域，并将不属于该区域的任何样本视为异常。然而，现实因素例如正常类和异常类之间边界不清晰，或用于训练、验证、测试的标记数据的可靠性，都会使这种方法面临很大的挑战。

机器学习异常检测技术作为分类器，以以下三种模式之一运行：

（1）有监督：具有标记为正常或异常流量的数据集可用。这些方法使用这个标记的数据集来找到一个分离正常和异常流量的边界。

（2）半监督：训练集只包含正常的流量，任何不属于这种流量的东西都被认为是异常的。

（3）无监督：不需要标记的训练集。这种技术的目标是在数据集中发现一组相似的例子（如聚类分析），或者确定数据在输入空间中的分布（称为密度估计），或者将高维数据投影到低维空间。

在有监督的检测中，主要的问题是如何建立一个真正全面的训练集，并对所有的异常流量进行适当的标记。这需要两组包含异常和正常轨迹的数据集。而在实际的网络环境中，获得这些数据集是非常困难的，或者可靠性不高、维护很困难。

当使用无监督的方法进行聚类时，即使有大量涵盖所有不同场景和流量模式的数据，也不能确保已识别的类与所需的类相对应。然而，当用于降维时，这些方法非常适合于提取有区别作用的高层特征，从而提高监督或半监督算法的分类性能。

最后，半监督机器学习方法尝试从收集到的足够数量样本中估算正常流量的概率分布。围绕这个区域（不一定是凸的）定义一个严格的边界，这样的话样本可以按正常方式被归类。与监督方法不同的是，在样本空间中没有关于异常区域形状的信息。如果新流量超过阈值距离，则将其归类为异常。

深度学习算法，包括有监督和无监督学习，在一系列难题领域都取得了最新成果。他们从本质上是以无监督的方式使用了众所周知的多层感知器方式获取高层特征，而这些高层特征是依据其他简单的单一特征来表达。几种典型的深度学习神经网络，例如：即卷积神经网络（CNN）、深度信念网络（DBN）、堆叠式自动编码器（SAE）、长短期记忆递归网络（LSTM）等，每一种适合处理不同种类的分类问题。在计算机网络安全中，异常检测系统集成深度学习算法近年来随着人工智能的兴起也受到了特别的关注。

在无监督学习方法中，DBN和SAE算法在从复杂和高维数据集中识别到恒定特征方面被证实有效。RBM (Restricted Boltzmann Machine) 是一个DBN的构造块，RBM每一层独立训练，一个RBM会将从前面的层学习到的特征层作为输入。SAE使用相同的思想以无监督的方式训练堆叠的自动编码器，一次一个，以获得一组更具描述性的低维特征。两者都可以通过反向传播或支持向量机（SVM）层在监督下进行微调。它们也可以配置为半监督的单类方法，例如添加一个单类支持向量机作为最后一层。这些半监督单类算法非常适用异常检测，在异常检测中捕捉到的异常流量通常比正常流量要小得多。它们还可以用于前一阶段检测背景流量异常值，这可以为进一步深入了解流量特性提供一些有用的信息。

LSTM是一种特别适合于检测、预测时间序列中的复杂模式的深度学习架构，而时间序列包含了事件之间存在的可变大小的时滞。这些时滞信息有助于从一个缺少可靠性征兆的临时模式中检测出异常。此外，LSTM可用于有监督和无监督学习。

训练深度学习方法因需要大量的数据和迭代来收敛是一个代价很高的过程，然而却优于其他经典算法。此外，它们在预测模式下表现出高度并行的计算模式充分利用了GPU的计算能力。作为本发明的一部分，利用深度学习方式是为了找到具有时效性的解决方案，这些解决方案能够在低评估运行时间内提供足够的精确度，以处理来自5G移动网络中预期的大量输入信息的特征。

理论上讲任何能够处理症状序列中复杂模式的深度学习架构都是可以选择的。经过综合考虑，本发明诸如设计NAD模块选择LSTM网络模型。相反，本发明提供的ASD模块必须能够达到每秒评估大量的流量特征，而且不需要分析时间序列，ASD模块的运行时性能至关重要。

本发明中的ASD模块的时间测量过程中，诸如设计选择了DBN和SAE模型。两个主要原因是：它们基本上共享同一结构（即预测基本上可以通过使用矩阵运算和激活函数来计算）；在有监督学习和无监督学习两种类型中都可以使用。

若有可用的标记集，就可以使用DBN或SAE算法后跟一个分类层。若没有标记集，则可以将DBN算法转换为半监督方法，使用正常网络流量进行训练，并将DBN作为一种可区分的RBM，而不需要任何BP算法（backpropagation）层。即使是在这种情况下，实现预测所需的矩阵运算次数基本上是相同的。

一种受监督的DBN算法选择了三种不同的实现方式来评估。它们分别有一个、三个和六个隐藏层，后面跟随一个分类层输出一个单独的二进制标签。所需深度取决于网络数据的变化程度。这些模型被认为是之前通过使用一个标记为正常或异常的训练集进行训练过的。

本发明中的ASD模块重点在预测时间评估上，同时也要验证在本发明提供的解决方案限制下是否能够获得良好的检测（分类）效果。使用一个最简单的分类器DBN，跟着一个分类层，测试结果足够可以显示出令人满意的实验结果。

一个有效的机器学习机制还需要一组具有高度区分度的特征。可以采用从一批网络流量中计算出各种统计度量和信息度量的方法进行提取。有时候也不可避免的要使用特征设计。总之，通过使用深度学习算法，模型将可以通过整合原始输入组件越来越多地学习高层特征。

大量与深度学习技术相关的库和框架可以用来训练本发明中提出的模型，首先他们具备管理LSTM循环网络（本发明中NAD模块使用的模型）和DBN的能力，然后还应该支持多个GPU，并且可以选择允许多节点并行执行以备将来的扩展。TensorFlow 1.4、Caffe20.8.1、Theano 1.0.0rc1（使用Lasagne0.2.dev1）、Pythorc0.2.0_4、MXNet0.11.0和CNTK2.2等产品基本都符合要求。

模型的训练是使用深度学习技术最耗时的部分，而由于5G网络中网络安全防御问题固有的时间限制，需要一个框架来尽快评估被训练过的模型。使用DBN对上述框架的性能进行了评估。输出流量数量作为一个症状标签，可以扩展以匹配检测到的不同攻击。通过简单地将输出流量大小设置为类的数量并根据需要调整每个隐藏层的大小来实现。

为了达到最佳性能，无论哪个处理器在运行模型，批量大小对执行时间都有很大影响。如果模型是由CPU来评估的，那么大批量的数据将利用高级矢量扩展指令集。但是，超过一定的批量大小，可能会有更多的缓存/TLB被错过和页错误，从而导致更差的吞吐量。相反，如果模型是由GPU评估的，那么增加批量大小则可以减少执行时间，因为可以同时使用大部分的可用处理单元，但同时将批量大小的流量传输到GPU内存的时间也会增加。因此批量流量大小是受GPU内存大小限制的。

确定最佳批量流量大小和框架，大多数深度学习框架都是基于数据流图的数值计算软件库，其中节点表示操作，边缘表示它们之间的数据通信。灵活的体系结构允许使用单独的API在各种硬件平台中部署计算到一个或多个CPU或GPU。可以将CPU或GPU视为黑盒，通过在每个RAN上安装检测软件的过程中执行的基准程序来确定更合适的框架。这个基准程序会运行一定数量的测试程序来找出给定框架的最佳批量流量大小。测试程序会覆盖所有可能的元组（模型、框架、向量大小、批量大小）组合的性能。在这种情况下，模型代表了被训练用于异常检测的不同的深度学习模型中的任何一个，而框架代表适用于硬件配置的任何一个合适的框架。此外基准程序还可能获得更多的性能指标以辅助安全策略管理者做出更准确的决策。

CPU与GPU性能比较，GPU已经成为机器学习计算的核心工具，非常适合执行深度学习模型。计算过程越复杂和独立，性能越好。与其他典型的深度学习模型（如CNN）使用的矩阵相比，本发明使用的模型没有考虑太深，矩阵非常小。在特殊情况下，与计算时间相比，将批量流量从主内存传输到GPU所用的时间更突出。处理性能与设置的流量批量大小有关，如果批量大小很小，则内存传输的数量会增加，从而限制吞吐量，相反，如果批量大小很大，显然内存就会成为限制。每种框架都可以根据自身的特点做相应的改进。与CPU相比，GPU显示出每个框架都有显著的性能改进。几乎所有的GPU框架都比其他CPU框架获得了更好的结果，只有个别模型，在CPU上运行性能优于GPU。

本发明在5G移动网络体系结构下，提出了一种自适应的异常检测系统，使得系统可以自动调整计算资源和检测元素，以优化和保证检测过程。这种适应可以通过设计系统中的虚拟化网络功能无缝地进行。

本发明基于一个新的两级深层机器学习模型，其中第一级是一种监督或半监督的学习方法，在每一个RAN中尽可能快地实现DBN或SAE运行。由于RAN处理的网络通信量过大，准确性会受到影响，但它的重要任务是检测症状，即在可配置的短时间内收集发生在本地的异常轨迹状况。所有收集到的症状流都被发送到NAD模块，在NAD模块中症状流汇集作为LSTM循环网络的输入，LSTM模型通过有监督方式下被训练用以识别网络攻击的时态模式。

为了实现深度学习框架的综合比较性能评估进行了实验方案设计，用来确定达到最佳处理性能的配置方案。实验结果表明，5G网络中的每个系统都能够使用多种框架，这取决于给定RAN中物理资源（GPU或CPU）的可靠性或网络流量接收速率。

在实际应用当中，为了达到更好的实用效果，本发明提供的解决方案还有扩展的空间：首先，扩展与检测（分类）相关的实验工作，以确定精选出来的深度学习模型，使得它们各自的最佳超参数和最佳特征集更适合于每种配置和给定的吞吐量需求。此外，还需要使用实际的数据对这两个不同层级进行训练，并从整体上评估异常检测体系结构的准确性。

本发明所设计基于自适应深度学习的5G网络异常检测方法及系统，针对已有网络异常检测方案进行实质性扩展，应用深度学习识别技术，构建两阶段分级检测技术，先通过分设于各个无线电接入网基础设施中的异常症状检测模块，在满足5G网络速率的情况下，针对网络流量进行检测，发现异常流量，并构建症状包；然后通过向网络异常检测模块进行上传，由网络异常检测模块针对症状包进行症状分析诊断，之后经过一系列措施获得诊断结果的操作动作，针对相应无线电接入网的资源与功能进行优化，使其具有管理流量波动的自适应能力，能够在必要时实现更多计算资源的调配部署，能够高效实现5G网络的异常流量检测，保证5G网络环境下的安全工作。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。