基于加密流量的网络流量筛选方法和装置

技术领域

本发明涉及网络安全技术领域，具体涉及一种基于加密流量的网络流量筛选方法和装置。

背景技术

随着越来越多的数据在网络中传输，由此带来网络流量带宽越来越大，传输数据越来越多。面对如此庞大的数据量，网络流量检测设备在处理性能上将面临比较大的瓶颈。特别是带阻断功能的网络安全设备，其需要高响应的要求和大流量的处理能力。面对如此大的网络流量，如何做到快速响应和检测威胁成为一个难点。其中一个可以做的是在处理流量的同时过滤掉一些通信量大的白应用流量，从而减少对检测的消耗。目前针对流量的识别上，一般采用的方式为提取明文特征，用DPI技术来做检测。但是，针对越来越多的加密流量，现有技术中通过特征来检测的方式无法实现加密流量的提取和过滤，导致过滤效果较差，无法有效降低网络安全设备的处理负担。

因此，提供一种基于加密流量的网络流量筛选方法和装置，以解决现有技术无法有效过滤加密流量的问题，就成为本领域技术人员亟待解决的问题。

发明内容

为此，本发明实施例提供一种基于加密流量的网络流量筛选方法和装置，以至少部分解决现有技术无法有效过滤加密流量的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本发明提供了一种基于加密流量的网络流量筛选方法，所述方法包括：

获取待筛选的网络流量，并提取所述网络流量中的流量数据；

对各所述流量数据进行解析，以确定各所述流量数据的通信协议；

基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库。

在一些实施例中，待筛选的网络流量的来源包括以下至少一者：

网盘、视频播放器、音乐播放器、视频会议、短视频、直播、远程访问和网络摄像头。

在一些实施例中，所述流量数据的通信协议包括：

HTTP协议、TCP/UDP明文协议、TCP/UDP密文协议以及TLS协议。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述通信协议为HTTP协议数据的情况下，将所述通信协议输入预先创建的第一深度包检测特征库；

若所述通信协议与所述第一深度包检测特征库中存储的数据结果匹配成功，则确定所述通信协议对应的流量数据满足筛选条件并输入所述筛选结果数据库；

其中，所述第一深度包检测特征库是根据提取的第一明文特征串创建的，所述第一明文特征串是在通信协议为HTTP协议数据的流量数据样本中提取的。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述流量数据的通信协议为TCP/UDP协议明文数据的情况下，将所述通信协议输入预先创建的第二深度包检测特征库；

若所述通信协议与所述第二深度包检测特征库中存储的数据结果匹配成功，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

其中，所述第二深度包检测特征库是根据提取的第二明文特征串创建的，所述第二明文特征串是在通信协议为TCP/UDP协议明文数据的流量数据样本中提取的。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述通信协议为TCP/UDP协议密文数据的情况下，判定所述流量数据为P2P，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

在所述流量数据的通信协议不为TCP/UDP协议密文数据的情况下，判定所述流量数据为非P2P，并将该流量数据输入异常行为识别模块继续识别。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述流量数据的通信协议为TLS协议数据的情况下，将TLS协议数据与DNS相关联，以得到关联数据；

若所述关联数据与预存的应用DNS域名库相匹配，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

将DNS证书限定域指纹、证书CN、SNI与TLS应用特征库中的证书限定域指纹匹配，匹配成功的再根据证书CN或SNI与TLS应用特征库中的SNI、证书CN进行模糊匹配，匹配成功的将对应的目的IP和目的端口加入大流量通信IP库中；未成功匹配的进入P2P传输层处理模块。

本发明还提供一种基于加密流量的网络流量筛选装置，所述装置包括：

数据获取单元，用于获取待筛选的网络流量，并提取所述网络流量中的流量数据；

协议确定单元，用于对各所述流量数据进行解析，以确定各所述所流量数据的通信协议；

结果筛选单元，用于基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本发明所提供的基于加密流量的网络流量筛选方法，通过获取待筛选的网络流量，并提取所述网络流量中的流量数据；对各所述流量数据进行解析，以确定各所述所流量数据的通信协议；基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库；使得该方法在应用于加密流量时，能够通过行为、特征、指纹综合处理筛选出大流量白应用通信的流量方法，丢弃这些流量，从而减少网络安全设备的处理负担，提高了流量筛选能力，解决了现有技术无法有效过滤加密流量的问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于加密流量的网络流量筛选方法的流程示意图之一；

图2为本发明所提供的基于加密流量的网络流量筛选方法的流程示意图之二；

图3为本发明所提供的基于加密流量的网络流量筛选方法的流程示意图之三；

图4为本发明所提供的基于加密流量的网络流量筛选装置的结构示意图；

图5为本发明所提供的电子设备的实体结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先对本发明所涉及的专有名词进行如下名词解释：

HTTP：超文本传输协议(Hyper Text Transfer Protocol，HTTP)是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。

TCP/UDP明文：在TCP/IP网络体系结构中，TCP(传输控制协议，Transport ControlProtocol、UDP(用户数据报协议，User Data Protocol)是传输层最重要的两种协议，为上层用户提供级别的通信可靠性。TCP/UDP明文指协议传输的载荷部分未加密。

TCP/UDP密文：在TCP/IP网络体系结构中，TCP(传输控制协议，Transport ControlProtocol、UDP(用户数据报协议，User Data Protocol)是传输层最重要的两种协议，为上层用户提供级别的通信可靠性。TCP/UDP明文指协议传输的载荷部分加密。

SNI：SNI(Server Name Indication)是TLS的扩展，这允许在握手过程开始时通过客户端告诉它正在连接的服务器的主机名称。

TLS：(英语：Transport Layer Security，缩写作TLS)，及其前身安全套接层(Secure Sockets Layer，缩写作SSL)是一种安全协议，目的是为互联网通信提供安全及数据完整性保障。

CN：通用名称(CN)(Common Name(CN))，公用名用于指定主机或服务器标识。当客户端尝试连接到远程服务器(例如HTTP服务器)时，将首先获取该服务器的SSL证书，然后将要连接的主机名或域名与SSL证书中提供的公用名进行比较，如果相同，则使用SSL证书来加密连接。

证书限定域指纹：由x509证书中颁发者CN(Common Name)、C(Country)、S(State/Provice)、L(Locality)和使用者CN(Common Name)、C(Country)、S(State/Provice)、L(Locality)，拼接成字符串，使用SHA1算法计算得到的HASH值。

DNS(Domain Name System，缩写：DNS)是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。

P2P：对等式网络(peer-to-peer，简称P2P)，又称点对点技术，是一种实现网络中不同主机直接通信的技术。

x509：是密码学里公钥证书的格式标准。

SHA1：SHA-1(英语：Secure Hash Algorithm 1，中文名：安全散列算法1)是一种密码散列函数，美国国家安全局设计，并由美国国家标准技术研究所(NIST)发布为联邦数据处理标准(FIPS)。SHA-1可以生成一个被称为消息摘要的160位(20字节)散列值，散列值通常的呈现形式为40个十六进制数。

为了解决现有技术中，针对大量加密流量筛选困难的问题，本发明提供了一种基于加密流量的网络流量筛选方法，以提高网络流量筛选的效果。

请参考图1，图1为本发明所提供的基于加密流量的网络流量筛选方法的流程示意图之一。

在一种具体实施方式中，本发明提供的基于加密流量的网络流量筛选方法包括以下步骤：

S110：获取待筛选的网络流量，并提取所述网络流量中的流量数据；其中，待筛选网络流量的来源包括网盘、视频播放器、音乐播放器、视频会议、短视频、直播、远程访问和网络摄像头等。

S120：对各所述流量数据进行解析，以确定各所述流量数据的通信协议；例如，所述流量数据的通信协议包括HTTP协议、TCP/UDP明文协议、TCP/UDP密文协议以及TLS协议。

S130：基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库。针对不同类型的通信协议，可以选择不同的处理策略进行筛选，以便提高筛选结果的准确性。

在一些实施例中，如图2所示，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的通信应用类别输入筛选结果数据库，具体包括：

S210：在所述流量数据的通信协议为HTTP协议数据的情况下，将所述通信协议输入预先创建的第一深度包检测特征库；

S220：若所述通信协议与所述第一深度包检测特征库中存储的数据结果匹配成功，则确定所述通流量数据满足筛选条件并输入所述筛选结果数据库；

其中，所述第一深度包检测特征库是根据提取的第一明文特征串创建的，所述第一明文特征串是在通信协议为HTTP协议数据的流量数据样本中提取的。

在实际使用场景中，还可能出现通信流量与所述第一深度包检测特征库中存储的数据结果匹配失败的情况，当匹配失败时，可将对应的流量数据输入P2P识别模块中，判定所述流量数据对应的通信应用类别为P2P，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库。

在一些实施例中，基于预先创建的处理策略对各所述流量数据进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述流量数据的通信协议为TCP/UDP协议明文数据的情况下，将所述流量数据的通信协议输入预先创建的第二深度包检测特征库；

若所述流量数据的通信协议与所述第二深度包检测特征库中存储的数据结果匹配成功，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

其中，所述第二深度包检测特征库是根据提取的第二明文特征串创建的，所述第二明文特征串是在通信协议为TCP/UDP协议明文数据的流量数据样本中提取的。

在实际使用场景中，还可能出现所述流量数据与所述第二深度包检测特征库中存储的数据结果匹配失败的情况，当匹配失败时，可将对应的流量数据输入P2P识别模块中，判定所述流量数据为P2P，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库。

在创建第一/第二深度包检测特征库时，首先需要收集大流量网络流量，网络的传输大流量通常包括视频和网盘下载，通过对网络应用大流量的挑选，可以减少处理面以及针对性的解决问题。在获取网络流量后，提取各种网络流量的通信协议，可以获得应用层协议HTTP、HTTPS以及传输层协议TCP、UDP；传输层上又可以对载荷是否加密分为TCP/UDP明文传输、TCP/UDP密文传输，通过协议的分类能够针对不同的协议构建不同的特征库，以作为不同类别待识别应用的匹配基础。

进一步地，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，还包括：

在所述通信协议为TCP/UDP协议密文数据的情况下，判定所述流量数据为P2P，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库，在所述流量数据的通信协议不为TCP/UDP协议密文数据的情况下，判定所述流量数据为非P2P，并将该流量数据输入异常行为识别模块继续识别。

其中，异常行为识别模块用于对上述过程未识别出的流量进行继续识别。具体地，同一个IP对统计3分钟内的上下行流量传输比例，上下行比例在40％-60％之间的进入流持续时间行为识别；流持续时间行为识别，流持续时间在10分钟以上的进入下一步流量大小统计行为识别；符合前两步检测，流量大小上下行总和大小在3分钟内传输10MB以上的源IP、源端口、目的IP、目的端口加入大流量通信IP库。

在所述通信应用类别的通信协议为TLS协议数据的情况下，将TLS协议数据与DNS相关联，以得到关联数据；若所述关联数据与预存的应用DNS域名库相匹配，则确定所述通信应用类别满足筛选条件并输入所述筛选结果数据库。

这样，针对不同协议采取不用的手段取解决问题，通信应用类别主要分为明文和密文，明文协议可以直接通过分析通信协议，从而获得通信特征，通过特征匹配检测。

为了便于理解，下面以一个具体使用场景为例，简述本发明所提供的方法的实施过程。如图3所示，待识别的网络流量进入流量设备后，做流量协议解析，按协议格式可以将需要的流量分为HTTP协议、TCP协议、UDP协议、TLS协议来进行单独处理。其中针对TCP、UDP协议还需要进一步确认是否为加密协议，判定TCP、UDP是否为加密协议，采用信息熵的方法。经过此次的协议可以将流量分为TCP/UDP明文流量和TCP/UDP密文流量。

HTTP协议数据、TCP/UDP协议明文数据经过深度包检测特征库的匹配进入检测环节，匹配成功的将对应的协议和目的IP、目的端口作为大流量通信IP库进行存储并应用到设备中实时丢弃。未匹配成功的进入下一个环节P2P传输层处理模块。

密文协议可以从密文协议握手阶段来处理，主要为TLS协议，从证书的角度、SNI的角度去做过滤筛查。当完全没有特征的情况下，可以从流持续时间、流上下行比例、流载荷大小等行为上去处理流量。具体地，TLS协议数据关联DNS，匹配应用DNS域名库，匹配成功的则将对应的目的IP和目的端口加入大流量通信IP库中；将DNS证书限定域指纹、证书CN、SNI与TLS应用特征库中的证书限定域指纹匹配，匹配成功的再根据证书CN或SNI与TLS应用特征库中的SNI、证书CN进行模糊匹配，匹配成功的将对应的目的IP和目的端口加入大流量通信IP库中；未成功匹配的进入下一个环节P2P传输层处理模块。

P2P传输层识别模块中，在3分钟时间内，判断IP对是否同时存在TCP/UDP两种协议传输，如果同时存在，将目的IP、目的端口加入大流量通信IP库，该大流量通信IP库即为筛选结果数据库。

在上述具体实施方式中，本发明所提供的基于加密流量的网络流量筛选方法，通过获取待筛选的网络流量，并提取所述网络流量中的流量数据；对各所述流量数据进行解析，以确定各所述所流量数据的通信协议；基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库；使得该方法在应用于加密流量时，能够通过行为、特征、指纹综合处理筛选出大流量白应用通信的流量方法，丢弃这些流量，从而减少网络安全设备的处理负担，提高了流量筛选能力，解决了现有技术无法有效过滤加密流量的问题。

除了上述方法，本发明还提供一种基于加密流量的网络流量筛选装置，如图4所示，所述装置包括：

数据获取单元401，用于获取待筛选的网络流量，并提取所述网络流量中的流量数据；

协议确定单元402，用于对各所述流量数据进行解析，以确定各所述所流量数据的通信协议；

结果筛选单元403，用于基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库。

在一些实施例中，网络流量筛选装置还包括异常行为识别模块，该异常行为识别模块用于在所述通信应用类别的通信协议为TCP/UDP协议密文数据的情况下，对未识别出为P2P的通信协议进行继续识别。

在一些实施例中，待筛选的网络流量的来源包括以下至少一者：

网盘、视频播放器、音乐播放器、视频会议、短视频、直播、远程访问和网络摄像头。

在一些实施例中，所述流量数据的通信协议包括：

HTTP协议、TCP/UDP明文协议、TCP/UDP密文协议以及TLS协议。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述通信协议为HTTP协议数据的情况下，将所述通信协议输入预先创建的第一深度包检测特征库；

若所述通信协议与所述第一深度包检测特征库中存储的数据结果匹配成功，则确定所述通信协议对应的流量数据满足筛选条件并输入所述筛选结果数据库；

其中，所述第一深度包检测特征库是根据提取的第一明文特征串创建的，所述第一明文特征串是在通信协议为HTTP协议数据的流量数据样本中提取的。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述流量数据的通信协议为TCP/UDP协议明文数据的情况下，将所述通信协议输入预先创建的第二深度包检测特征库；

若所述通信协议与所述第二深度包检测特征库中存储的数据结果匹配成功，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

其中，所述第二深度包检测特征库是根据提取的第二明文特征串创建的，所述第二明文特征串是在通信协议为TCP/UDP协议明文数据的流量数据样本中提取的。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述通信协议为TCP/UDP协议密文数据的情况下，判定所述流量数据为P2P，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

在所述流量数据的通信协议不为TCP/UDP协议密文数据的情况下，判定所述流量数据为非P2P，并将该流量数据输入异常行为识别模块继续识别。

在一些实施例中，基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库，具体包括：

在所述流量数据的通信协议为TLS协议数据的情况下，将TLS协议数据与DNS相关联，以得到关联数据；

若所述关联数据与预存的应用DNS域名库相匹配，则确定所述流量数据满足筛选条件并输入所述筛选结果数据库；

将DNS证书限定域指纹、证书CN、SNI与TLS应用特征库中的证书限定域指纹匹配，匹配成功的再根据证书CN或SNI与TLS应用特征库中的SNI、证书CN进行模糊匹配，匹配成功的将对应的目的IP和目的端口加入大流量通信IP库中；未成功匹配的进入P2P传输层处理模块。

在上述具体实施方式中，本发明所提供的基于加密流量的网络流量筛选装置，通过获取待筛选的网络流量，并提取所述网络流量中的流量数据；对各所述流量数据进行解析，以确定各所述所流量数据的通信协议；基于预先创建的处理策略对各所述通信协议进行筛选，将满足筛选条件的通信协议所对应的流量数据输入筛选结果数据库；使得该装置在应用于加密流量时，能够通过行为、特征、指纹综合处理筛选出大流量白应用通信的流量方法，丢弃这些流量，从而减少网络安全设备的处理负担，提高了流量筛选能力，解决了现有技术无法有效过滤加密流量的问题。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述方法。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。