一种基于动态分类的流量管理方法、系统及装置

技术领域

本发明涉及互联网领域，尤其涉及一种基于动态分类的用于网络流量管理的方法、系统及装置。

背景技术

随着互联网技术的不断发展，各种应用数量猛增，特别是随着短视频、云盘、云游戏等应用的兴起，用户对于网络流量需求进入了爆发式增长的时期，对网络质量也提出了更高要求。

根据互联网数据中心IDC发布的2020年中国网络质量年度报告，45％的中国网民表示网络“体验不佳”，其中排名第一的因素为“网络卡顿”。

面临这一难题的运营商首先考虑到很多网络应用都有自身的网络特性，他们各自对实时性要求也各不相同，传统的“一视同仁”的转发方式无法满足部分应用的实时性的较高需求而对于另一部分应用而言则显得有些“浪费”，因此当前在整体带宽变化不大的前提下，采取措施对网络流量进行差异化分类管理，优先满足对实时性需求高的应用是可行的一种应对方法。具体而言，基于对网络流量进行分类，为不同的应用(流量类型)定制合适的传输环境，从而改善网络应用访问感知、提高客户满意度。

传统的流量分类方法有基于TCP端口识别和基于深度包检测DPI两种，它们的本质都是通过解析网络流量数据包得到内含的有效数据，再通过匹配某些特征字段从而来达到分类。

基于TCP端口识别的网络流量分类技术是根据TCP协议依据端口进行分类，该方法虽然算法简单，但是随着端口跳变和端口伪装技术的出现，其准确率不断降低，适用范围也大大减小。

基于深度包检测DPI的网络流量分类技术是通过分析网络流量数据包的有效数据与已知的程序或者协议进行匹配从而进行网络流量分类的技术，但这种技术受到数据加密以及一些隐私问题的影响，分类结果无法达到商用条件。

除此之外，无论是基于TCP端口识别技术还是基于深度包检测DPI技术，两者的分类皆是根据人为设定的静态规则对网络流量进行分类，达不到实时智能化要求。

例如，CN112187653A公开的网络流量判定方法包括获取一流量，判定其对应的业务模式，基于该业务模式调取流量分类模型，基于流量分类模型判定该流量的流量类型。该方法为静态分类，未针对复杂网络场景建立动态分类识别模型，不具备行业通用性。

又如，CN112187652A公开的网络流量判定方法采集一段时间内的多条样本流量，对多条样本流量进行聚类，以获得多个样本流量类型，基于所述多个样本流量类型，建立初始特征提取规则和初始特征判定规则。该方法基于特定时间内聚类样本建立流量判定规则，未考虑流量的多维时序特征，易导致分类结果误差大。

因此，亟须一种结合网络流量类型和每种类型流量变化趋势的动态快速分类的流量管理方法，满足实时性要求，改善用户体验。

发明内容

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。

本发明提出一种基于机器学习的动态网络流量分类方法、系统及装置。其通过采集网络流量特征数据，建立流量分类的有效特征数据库，继而利用极端梯度提升XGBoost算法在线构建网络流量分类模型，依据网络流量分类模型输出网络流量分类结果，进而结合每类流量类型的实时性的要求及变化趋势将其映射到不同的逐跳行为PHB类型，匹配差异化的流量管理策略，通过不同PHB类型自带的转发策略，对网络流量采实时转发。从而保障其后续服务能达到各自实时性要求，提高客户使用感受。其分类效果和准确性高于现有的TCP分类技术、DPI分类技术。

本发明的基于动态分类的流量管理系统包括：用于采集网络流量筛选特征数据并依据应用类型打上类型标签的数据准备模块、用于基于打上了类型标签的网络流量通过XGBoost算法构建网络流量分类模型的在线训练模块、用于利用所述网络流量分类模型对网络流量进行分类的流量分类模块、用于统计分析经分类后每种类型的网络流量在一段时间内的变化趋势状态将每种类型网络流量划分趋势状态类型的流量类型趋势分析模块、用于结合网络流量类型和变化趋势状态类型将不同类型网络流量映射到不同的PHB类型PHB映射模块，以及用于根据不同PHB类型自带的转发策略对网络流量进行实时转发的流量分发模块。

本发明的基于动态分类的流量管理方法包括：采集流量数据并提取特征数据，依据应用的类型打上类型标签；使用XGBoost算法利用一时间段内所采集并打上了类型标签的流量数据进行在线训练，获得流量分类模型；使用所述流量分类模型对所采集的每条流量进行分类；构建特征工程，识别每种类型的流量的变化趋势状态；将每种类型的流量映射到不同的PHB类型；以及根据实时流量的PHB类型对应的策略进行转发。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。

图1是本发明的动态网络流量管理系统的框图；

图2是本发明的动态网络流量管理方法的整体流程图；

图3是图2方法中步骤S5的细化流程图；

图4是根据本发明的动态网络流量管理方法的一个具体实施例的Chat类和Stream类流量分类与转发流程图。

附图中的流程图和框图显示了根据本申请的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

具体实施方式

以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述，本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解，可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

本发明提供了一种基于动态分类的流量管理方法和系统。通过统计近期网络节点中通过的网络流量的特征数据(数据包的个数、数据包长字节数、分片标志Flags字段值等)，将网络流量按照应用程序类型分成9种类型，并通过统计每种类型流量近期变化趋势状态将其分成萎缩型、平稳型和增长型，结合流量类型对网络实时性的要求及流量类型的变化趋势将不同类型网络流量映射到QoS服务质量中的PHB类型中，生成映射策略，对实时的网络流量分类后按照映射策略进行转发，既保证了不同类型流量对网络实时性的要求又保证了高频流量可以以较高优先级转发。

如图1所示，本发明的基于动态分类的流量管理系统包括：数据准备模块、在线训练模块、流量分类模块、流量类型趋势分析模块、PHB映射模块和流量分发模块。具体如下：

·数据准备模块：在一段时间内(例如，一个月、三个月、半年等)在网络中某个观测点(例如，路由器或三层交换机)对网络流量进行采集，筛选出对流量分类起积极作用的不同的流量特征数据用于分类，统计分析并依据应用的类型打上类型标签，得到打上类型标签的数据集；此外，数据准备模块也负责对网络流量数据进行实时采集；

·在线训练模块：对数据准备模块所分析的一段时间内采集的网络流量特征数据所得到的打上了类型标签的网络流量数据集进行训练，通过XGBoost算法构建网络流量分类模型；

·流量分类模块：根据数据准备模块筛选得到的对网络流量的分类起积极作用的不同特征数据，利用在线训练模块训练所得的网络流量分类模型对网络流量进行分类，获得经分类的网络流量；

·流量类型趋势分析模块：通过统计分析每种类型网络流量在一段时间内的变化趋势状态，将每种类型网络流量划分状态类型，例如，包括萎缩型流量、平稳型流量和增长型流量；

·PHB映射模块：通过结合分析流量分类模块得到的网络流量类型以及流量类型趋势分析模块得到的每种类型变化趋势状态，将不同流量类型映射到不同的PHB类型；

·流量转发模块：根据不同PHB类型自带的转发策略，对网络流量实时转发。

如图2所示，本发明的基于动态分类的流量管理方法包括：

在步骤S1，在网络中某个观测点(路由器或三层交换机)采集一段时间的网络流量，提取其中的特征数据，包括数据包的个数、数据包包长；IP首部的源IP、目的IP、服务类型Type of Service字段值、分片标志Flags字段值；TCP首部的源端口、目的端口、首部长度Data Offset字段值、紧急标识URG字段值；UDP首部的源端口、目的端口和整条网络流的持续时间等。

调试人员根据应用类型将这些网络流量特征数据分为分类并打上类型标签，具体分类可以例如分为如下九种：Chat(即时消息应用程序类型)、DNS(域名系统服务应用类型)、Email(电子邮件应用类型)、File transfer(文件传输应用类型)、Game(多人在线游戏应用类型)、HTTP(超文本传输协议应用类型)、P2P(P2P文件共享应用类型)、Stream(流媒体应用类型)和VoIP(IP电话应用类型)。每种类型的流量对于实时性有不同要求，将在后续步骤中给予不同权重。

在步骤S2，将步骤S1采集的网络流量特征数据拆分成训练集和测试集，选择XGBoost算法完成训练测试工作；数据集当中网络流量特征数据作为树分裂的节点，不同类型网络流量生成树后得到的分数不同，据此获得流量分类模型。

在步骤S3，依据步骤S1得到的每条网络流量的实时特征数据和步骤S2中训练出的分类模型对每条网络流量进行分类，得到每条网络流量的类型。当训练出了t棵决策树后，每条网络流量分类预测得分为：

其中，

在步骤S4：对步骤S1中收集到的网络数据构建特征工程：统计每种类型流量总量的特征，如：近7天、1个月、6个月等时间粒度的均值、最大值、中位数、最小值等统计特征；利用时序分解算法分解各指标的趋势项，并判断指标的变化趋势；根据特征工程的输出，利用SVM分类算法构建流量类型趋势状态分类模型，从而识别每种流量类型所处趋势状态是萎缩、平稳还是增长。

在步骤S5，结合步骤S3中得到的不同类型流量和步骤S4中得到的相应类型流量的变化趋势将不同类型流量类映射到不同PHB类型，PHB类型有DF(默认转发)类型，四种等级的AF(确保转发)类型，包括AF1、AF2、AF3和AF4以及EF(迅速转发)类型。

在步骤S6，根据步骤S3得到的实时网络流量的类型以及步骤S5得到的每种流量类型对应的PHB类型对实时网络流量按照相应类型进行转发，从而提高网络服务质量。

以下结合图3讨论图2中步骤S5将不同类型流量类映射到不同PHB类型的具体步骤：

步骤S5-1：将步骤S1中的不同类型的网络流量按照对实时性的要求添加初始权重值W(i)，例如，将HTTP类型、P2P类型、Email类型、File transfer类型、DNS类型、Chat类型、Game类型、Stream类型和VoIP类型初始权重值分别设置为1、1、2、2、3、4、4、5和6；

步骤S5-2：将步骤S4中得到的不同变化趋势状态的流量类型添加附加权重值A(i)，例如，将萎缩型、平稳型和增长型的流量类型附加权重值分别设置为1、2和3；

步骤S5-3：将步骤S5-1中的初始权重值W(i)和步骤S5-2中的附加权重值A(i)相加即为不同类型流量最终权重值，例如，可能的结果为2、3、4、5、6、7、8和9；

步骤S5-4：根据步骤S5-3中得到的最终权重值将不同类型流量类标记为PHB中的EF、AF4、AF3、AF2、AF1和DF类型，其中最终权重值为2和3的流量类型标记为DF类型默认转发，最终权重值为4、5、6和7的流量类型分别标记为AF1、AF2、AF3和AF4类型确保转发，权重值为8和9的标记为EF类型迅速转发。

图4是根据本发明的一个实施例的在步骤S1被打上了Chat类和Stream类标签的流量分类与转发流程图。具体步骤如下：

步骤S100：通过分析不同类型流量对网络实时性要求为其添加初始权重值，W_(Chat)＝4，W_(Stream)＝5；

步骤S200：通过两种类型流量的变化趋势为其添加附加权重值，假设Chat型流量为增长型，Stream型流量为萎缩型，为其添加附加权重值，A_(Chat)＝3，A_(Stream)＝1；

步骤S300：结合初始权重值和附加权重值得到Chat型流量最终权重值为7，Stream型流量最终权重值为6，对应PHB类型分别为AF4和AF3，生成PHB映射策略；

步骤S400：收集实时网络流量并分析其类型，若是Chat型流量则按照AF4转发，若是Stream型流量则按照AF3转发，AF4优先级高于AF3。

本发明的基于动态分类的流量管理方法和系统建立了一套复杂网络场景下的特征数据模型，充分结合流量的近期趋势变化特征，赋予不同权值、生成差异化管理策略，满足通用类流量的识别的多样化需求。适用于大中型互联网环境下(如运营商网络、大型IDC网络等)的流量识别和流量调度，具备广泛的适用性。本发明的方法和系统充分利用互联网带宽资源，提升网络复用率，能有效提升大中型互联网的响应速度，有效解决了大中型网络的分类、调度难题。

以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。