网络异常检测方法、装置、电子设备及存储介质

技术领域

本发明涉及无线通信技术领域，具体涉及一种网络异常检测方法、装置、电子设备及存储介质。

背景技术

随着第五代移动通信技术(5th Generation Mobile CommunicationTechnology，5G)网络的深入建设，移动通信网络已经、并将长期存在第二代移动通信技术(2nd Generation Mobile Communication Technology，2G)/第四代移动通信技术(4thGeneration Mobile Communication Technology，4G)/5G多网、多频并存现象，网络的维护、运维和监测成本将变的越来越高，如何能够快速地发现网络的异常波动，对无固定门限的关键性能指标(Key Performance Indication，KPI)和关键质量指标(Key QualityIndicators，KQI)如流量、话务量、在线用户数等进行实时监测，进而发现隐性故障、告警等问题，变得越来越重要。

现有的网络异常检测，主要为基于统计学方法的概率估计或阈值判定，以及基于机器学习方法的网络流量异常检测。其中，传统统计学方法对不同类型数据的适应性差，模型的鲁棒性较差，且需要使用人员具有较强的领域经验；机器学习方法中，模型建立过程复杂且需要大量的先验数据作为支撑，而一些简单的机器学习模型无法对多维数据进行有效处理，检测精度也比较差。

发明内容

针对现有技术存在的问题，本发明提供一种网络异常检测方法、装置、电子设备及存储介质。

第一方面，本发明提供一种网络异常检测方法，包括：

针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取所述时序数据在所述目标待检测时刻的多个时序特征，得到所述多个时序特征组成的多维特征集合；

对所述多维特征集合进行多次随机抽样，获得多个抽样特征集，所述多个抽样特征集的并集等于所述多维特征集合；

基于异常检测模型，分别对每个所述抽样特征集进行异常检测，得到每个所述抽样特征集对应的异常检测结果；

基于每个所述抽样特征集的异常检测结果，确定所述目标待检测时刻是否为异常时序点；

其中，所述异常检测模型是基于所述目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

可选地，所述对所述多维特征集合进行多次随机抽样，获得多个抽样特征集，包括：

基于所述目标待检测时刻的目标网络指标数据与所述目标待检测时刻的上一时刻的目标网络指标数据之间的关联关系，确定划分参数；

对所述多维特征集合进行多次随机抽样，每次随机抽样的结果作为一个抽样特征集，直至已获得的多个抽样特征集的并集等于所述多维特征集合，则停止抽样；

其中，每次从所述多维特征集合中随机抽取的特征的个数为1至所述划分参数之间的随机整数。

可选地，所述基于所述目标待检测时刻的目标网络指标数据与所述目标待检测时刻的上一时刻的目标网络指标数据之间的关联关系，确定划分参数，包括：

获取所述目标待检测时刻的目标网络指标数据与所述目标待检测时刻的上一时刻的目标网络指标数据之间的相对差值；

基于所述相对差值以及所述多维特征集合的特征维数，确定划分参数。

可选地，所述划分参数通过如下公式确定：

其中，p表示划分参数，X

可选地，所述基于每个所述抽样特征集的异常检测结果，确定所述目标待检测时刻是否为异常时序点，包括：

以每个所述抽样特征集的特征维数作为每个所述抽样特征集对应的权重系数，对每个所述抽样特征集的异常检测结果进行加权求和；

根据加权求和的结果，确定所述目标待检测时刻是否为异常时序点。

可选地，所述根据加权求和的结果，确定所述目标待检测时刻是否为异常时序点，包括：

若加权求和的结果小于0，则确定所述目标待检测时刻为异常时序点；或者，

若加权求和的结果大于或等于0，则确定所述目标待检测时刻为正常时序点；

其中，所述抽样特征集的异常检测结果为-1时，表示所述抽样特征集的检测结果为异常；所述抽样特征集的异常检测结果为1时，表示所述抽样特征集的检测结果为正常。

可选地，所述时序特征包括差分时序特征、平滑时序特征和指数时序特征中的至少一种。

第二方面，本发明还提供一种网络异常检测装置，包括：

特征提取模块，用于针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取所述时序数据在所述目标待检测时刻的多个时序特征，得到所述多个时序特征组成的多维特征集合；

抽样模块，用于对所述多维特征集合进行多次随机抽样，获得多个抽样特征集，所述多个抽样特征集的并集等于所述多维特征集合；

检测模块，用于基于异常检测模型，分别对每个所述抽样特征集进行异常检测，得到每个所述抽样特征集对应的异常检测结果；

确定模块，用于基于每个所述抽样特征集的异常检测结果，确定所述目标待检测时刻是否为异常时序点；

其中，所述异常检测模型是基于所述目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

第三方面，本发明还提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现如第一方面所述网络异常检测方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述网络异常检测方法的步骤。

本发明提供的网络异常检测方法、装置、电子设备及存储介质，通过提取时序数据在目标待检测时刻的多维时序特征，采用多次抽样的方式获得多个抽样特征集，对多个抽样特征集进行异常检测后，结合多个抽样特征集的异常检测结果进行最终的异常结果判定，不仅提高了检测准确率，而且不受具体检测模型和样本数据量的限制，无需预先对原始数据进行标签分类，从而既保证了检测的准确率，又大大降低了对检测模型和样本数据的要求。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的网络异常检测方法的流程示意图；

图2是本发明提供的随机抽样过程的流程示意图；

图3是本发明提供的流量异常检测结果示意图；

图4是本发明提供的网络异常检测装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有网络异常检测手段所存在的问题，本发明提供一种与具体模型无关的、采用多次抽样特征加权判别的无监督异常检测方案，实现无线通信网络的异常检测。

图1为本发明提供的网络异常检测方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤100、针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取时序数据在目标待检测时刻的多个时序特征，得到多个时序特征组成的多维特征集合；

具体地，网络指标可以是网络的KPI或KQI指标，如流量、话务量、在线用户数等。实际应用中，可以通过对各种网络指标的时序数据分别进行异常检测，来及时发现网络异常波动。

目标网络指标即需要进行异常检测的某一网络指标，为了检测该网络指标在一定时间长度内是否存在异常波动的时刻(即异常时序点)，首先需要获取该网络指标在一定时间长度内的时序数据。例如，可以使用[X

获取目标网络指标的时序数据后，针对具体某一待检测时刻(即目标待检测时刻)，可以提取时序数据在该待检测时刻的多个不同的时序特征，该多个不同的时序特征可以组成该待检测时刻对应的一个多维特征集合。

可选地，所述时序特征可以包括差分时序特征、平滑时序特征和指数时序特征中的至少一种。差分时序特征、平滑时序特征或指数时序特征中还可以分别包括多个不同的相关时序特征。

以下通过具体实施例对上述时序特征的提取过程进行举例说明。

(1)提取差分时序特征

首先，提取时序数据在任意时刻i，跨度为k的一阶差分特征

式中，X

在差分特征的基础之上，提取差分比特征

k的取值可以根据所检测指标X的时间粒度特性进行选取，如该指标的时间粒度为天，则k可以取值1～7；若该指标的时间粒度为小时，则k可以取值1～24。

(2)提取平滑时序特征

首先，提取时序数据在任意时刻i，窗口为k的滑动平均特征

然后，在一般波动期望的基础之上，进一步得到窗口k内的各类统计特征，包括方差

上述方差

(3)提取指数时序特征

首先，提取时序数据在任意时刻i，窗口为k，系数为α的指数加权平均特征

式中，系数α可以灵活设置，可选地，系数α可以设置为0.1～0.3之间的任意数值。

然后，在指数加权平均特征的基础上，进一步得到窗口k内的各类统计特征，包括方差

提取多个不同的时序特征后，即可得到时刻i对应的多维特征集合，根据所提取时序特征的情况，该多维特征集合中特征的个数(即特征维数)可以灵活变化。可选地，时刻i对应的多维特征集合w

步骤101、对多维特征集合进行多次随机抽样，获得多个抽样特征集，多个抽样特征集的并集等于多维特征集合；

具体地，得到待检测时刻对应的多维特征集合后，可以从该多维特征集合中进行多次随机抽样，每次随机抽取一定数量的特征组成一个抽样特征集，最终使得各抽样特征集的并集等于该多维特征集合即可，即该多维特征集合中的所有特征都已经被抽取。

可选地，所述对多维特征集合进行多次随机抽样，获得多个抽样特征集，可以包括：

基于目标待检测时刻的目标网络指标数据与目标待检测时刻的上一时刻的目标网络指标数据之间的关联关系，确定划分参数；

对多维特征集合进行多次随机抽样，每次随机抽样的结果作为一个抽样特征集，直至已获得的多个抽样特征集的并集等于多维特征集合，则停止抽样；

其中，每次从多维特征集合中随机抽取的特征的个数为1至划分参数之间的随机整数。

具体地，图2为本发明提供的随机抽样过程的流程示意图，如图2所示，进行多次随机抽样之前，可以先根据待检测时刻与其上一时刻的指标值之间的关联关系，确定一个划分参数p，然后在进行随机抽样时，每次先获取1至该划分参数p之间的一个随机整数randj，作为该次随机抽样需要抽取的特征的个数。如此，从待检测时刻i对应的多维特征集合w

可选地，所述基于目标待检测时刻的目标网络指标数据与目标待检测时刻的上一时刻的目标网络指标数据之间的关联关系，确定划分参数，可以包括：

获取目标待检测时刻的目标网络指标数据与目标待检测时刻的上一时刻的目标网络指标数据之间的相对差值；

基于相对差值以及多维特征集合的特征维数，确定划分参数。

具体地，本实施例中，根据待检测时刻与其上一时刻的指标值之间的关联关系，确定划分参数时，可以首先获取待检测时刻与其上一时刻的指标值之间的相对差值，然后，根据该相对差值和多维特征集合的特征维数进行综合判断，确定划分参数。

可选地，所述划分参数可以通过如下公式确定：

其中，p表示划分参数，代表了每次随机抽样最多能抽取的特征的个数，其取值最多不超过

步骤102、基于异常检测模型，分别对每个抽样特征集进行异常检测，得到每个抽样特征集对应的异常检测结果；其中，异常检测模型是基于目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

具体地，异常检测模型可以选择基础异常检测模型，如iForest(IsolationForest，独立森林算法)、DBSCAN(Density-Based Spatial Clustering of Applicationswith Noise，具有噪声的基于密度的聚类算法)等无监督模型，定义为模型f。

对模型f进行训练时，可以首先获取目标网络指标的样本时序数据，然后通过提取该样本时序数据在不同时刻的多维时序特征数据(即多个不同的时序特征的数据)，分别得到各时刻对应的多维特征集合，再将这些多维特征集合输入模型f中，使得模型f能够进行特征自学习，确定正常数据的基本特征。

通过随机抽样获得多个抽样特征集后，即可依次将每个抽样特征集输入模型f中进行异常检测，得到每个抽样特征集对应的异常检测结果。

步骤103、基于每个抽样特征集的异常检测结果，确定目标待检测时刻是否为异常时序点。

具体地，获得每个抽样特征集对应的异常检测结果后，即可根据这些异常检测结果进行综合判定，以确定目标待检测时刻是否为异常时序点。

可选地，所述基于每个抽样特征集的异常检测结果，确定目标待检测时刻是否为异常时序点，包括：

以每个抽样特征集的特征维数作为每个抽样特征集对应的权重系数，对每个抽样特征集的异常检测结果进行加权求和；

根据加权求和的结果，确定目标待检测时刻是否为异常时序点。

具体地，本实施例中，可以以每个抽样特征集的特征维数作为每个抽样特征集对应的权重系数，在获得每个抽样特征集对应的异常检测结果后，对每个抽样特征集的异常检测结果进行加权求和，根据加权求和的结果，确定最终的检测结果。

可选地，所述根据加权求和的结果，确定目标待检测时刻是否为异常时序点，包括：

若加权求和的结果小于0，则确定目标待检测时刻为异常时序点；或者，

若加权求和的结果大于或等于0，则确定目标待检测时刻为正常时序点；

其中，抽样特征集的异常检测结果为-1时，表示抽样特征集的检测结果为异常；抽样特征集的异常检测结果为1时，表示抽样特征集的检测结果为正常。

具体地，将多个抽样特征集E

对每个抽样特征集的异常检测结果进行加权求和，确定最终的检测结果Y

式中，|E

图3为本发明提供的流量异常检测结果示意图，如图3所示，以流量数据为例，采用本发明提供的网络异常检测方法对某网络小区的流量异常进行识别，得到图3中的检测结果，图中黑色圆点为检测得到的异常时序点，检测结果表明，该方法能够有效地识别时序数据的异常波动。

本发明提供的网络异常检测方法，通过提取时序数据在目标待检测时刻的多维时序特征，采用多次抽样的方式获得多个抽样特征集，对多个抽样特征集进行异常检测后，结合多个抽样特征集的异常检测结果进行最终的异常结果判定，不仅提高了检测准确率，而且不受具体检测模型和样本数据量的限制，无需预先对原始数据进行标签分类，从而既保证了检测的准确率，又大大降低了对检测模型和样本数据的要求。

下面对本发明提供的网络异常检测装置进行描述，下文描述的网络异常检测装置与上文描述的网络异常检测方法可相互对应参照。

图4为本发明提供的网络异常检测装置的结构示意图，如图4所示，该装置包括：

特征提取模块400，用于针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取时序数据在目标待检测时刻的多个时序特征，得到多个时序特征组成的多维特征集合；

抽样模块410，用于对多维特征集合进行多次随机抽样，获得多个抽样特征集，多个抽样特征集的并集等于多维特征集合；

检测模块420，用于基于异常检测模型，分别对每个抽样特征集进行异常检测，得到每个抽样特征集对应的异常检测结果；

确定模块430，用于基于每个抽样特征集的异常检测结果，确定目标待检测时刻是否为异常时序点；

其中，异常检测模型是基于目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

可选地，所述抽样模块410，用于：基于目标待检测时刻的目标网络指标数据与目标待检测时刻的上一时刻的目标网络指标数据之间的关联关系，确定划分参数；对多维特征集合进行多次随机抽样，每次随机抽样的结果作为一个抽样特征集，直至已获得的多个抽样特征集的并集等于多维特征集合，则停止抽样；其中，每次从多维特征集合中随机抽取的特征的个数为1至划分参数之间的随机整数。

可选地，所述基于目标待检测时刻的目标网络指标数据与目标待检测时刻的上一时刻的目标网络指标数据之间的关联关系，确定划分参数，包括：获取目标待检测时刻的目标网络指标数据与目标待检测时刻的上一时刻的目标网络指标数据之间的相对差值；基于相对差值以及多维特征集合的特征维数，确定划分参数。

可选地，所述划分参数通过如下公式确定：

其中，p表示划分参数，X

可选地，所述确定模块430，用于：以每个抽样特征集的特征维数作为每个抽样特征集对应的权重系数，对每个抽样特征集的异常检测结果进行加权求和；根据加权求和的结果，确定目标待检测时刻是否为异常时序点。

可选地，所述根据加权求和的结果，确定目标待检测时刻是否为异常时序点，包括：若加权求和的结果小于0，则确定目标待检测时刻为异常时序点；或者，若加权求和的结果大于或等于0，则确定目标待检测时刻为正常时序点；其中，抽样特征集的异常检测结果为-1时，表示抽样特征集的检测结果为异常；抽样特征集的异常检测结果为1时，表示抽样特征集的检测结果为正常。

可选地，所述时序特征包括差分时序特征、平滑时序特征和指数时序特征中的至少一种。

在此需要说明的是，本发明提供的网络异常检测装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communication Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的计算机程序，以执行上述各实施例提供的任一所述网络异常检测方法的步骤，例如包括：针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取时序数据在目标待检测时刻的多个时序特征，得到多个时序特征组成的多维特征集合；对多维特征集合进行多次随机抽样，获得多个抽样特征集，多个抽样特征集的并集等于多维特征集合；基于异常检测模型，分别对每个抽样特征集进行异常检测，得到每个抽样特征集对应的异常检测结果；基于每个抽样特征集的异常检测结果，确定目标待检测时刻是否为异常时序点；其中，异常检测模型是基于目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例提供的任一所述网络异常检测方法的步骤，例如包括：针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取时序数据在目标待检测时刻的多个时序特征，得到多个时序特征组成的多维特征集合；对多维特征集合进行多次随机抽样，获得多个抽样特征集，多个抽样特征集的并集等于多维特征集合；基于异常检测模型，分别对每个抽样特征集进行异常检测，得到每个抽样特征集对应的异常检测结果；基于每个抽样特征集的异常检测结果，确定目标待检测时刻是否为异常时序点；其中，异常检测模型是基于目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例提供的任一所述网络异常检测方法的步骤，例如包括：针对目标网络指标的时序数据对应的时间长度内的目标待检测时刻，提取时序数据在目标待检测时刻的多个时序特征，得到多个时序特征组成的多维特征集合；对多维特征集合进行多次随机抽样，获得多个抽样特征集，多个抽样特征集的并集等于多维特征集合；基于异常检测模型，分别对每个抽样特征集进行异常检测，得到每个抽样特征集对应的异常检测结果；基于每个抽样特征集的异常检测结果，确定目标待检测时刻是否为异常时序点；其中，异常检测模型是基于目标网络指标的样本时序数据在不同时刻的多维时序特征数据训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。