运维异常值的识别方法、装置、智能运维系统及存储介质

技术领域

本申请属于数据处理技术领域，尤其涉及一种运维异常值的识别方法、装置、智能运维系统及存储介质。

背景技术

随着信息技术的高速发展，数据采集与存储能力日益强大，在通信、互联网、金融等领域进行智能运维(Artificial Intelligence for IT Operations，AIOps)的过程中，都需要采集并检测大量的KPI数据(key performance indicators)，KPI数据为CPU使用率、内存占用率、在线用户数等等。准确的识别KPI数据中运维异常值将有利于提高后续数据分析结果的准确性，提高预设场景的正确触发机率。

相关技术中可基于基线预测模型，预测得到上下界，通过将实际检测值与上下界比较，以判断实际检测值是否为运维异常值。而基线预测模型的训练过程中以降低上下界差异为目标，导致预测得到的上下界比较窄，然而实际生产中KPI数据往往是高度非平稳的数据，这样导致运维异常值的精确率较低。相关技术中还可以基于统计分析法进行运维异常值判断，但是该方法假设KPI数据分布服一定规律的分布，例如高斯分布，例如计算实际检测值与预测值之间的差异是否落在训练得到的差异分布中概率较小的区域，从而判定实际检测值是否为运维异常值。而实际生产中KPI数据是否服从预设规律，或者使用怎样的核方法变换才能使得KPI数据服从预设规律分布，都是基于经验假设，使得该方式需要投入大量的人力进行调优，不利于检测模型的复用。

发明内容

本申请实施例提供了一种运维异常值的识别方法、装置、智能运维系统及存储介质，省去对待检测数据进行预设规律的统计假设，识别准确率高、复用性好。

第一方面，本申请实施例提供一种运维异常值的识别方法，方法包括：

获取运维差异数据，运维差异数据包括至少一个差异值集合，差异值集合包括与运维监控指标对应的多个差异值，差异值为根据与同一运维监控指标对应的预测值和实际检测值计算得到；

对于差异值集合e

根据与阈值∈对应的第一差异子集的交叉熵、第二差异子集的交叉熵、第一差异子集的类内方差和第二差异子集的类内方差，计算得到与阈值∈一一对应的类间方差；

根据类间方差集合确定最小类间方差值，并确定与所述最小类间方差值对应的所述阈值∈为最佳阈值∈

在一实施例中，根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的最佳阈值∈

对第二差异子集中的差异值进行指数加权平滑处理，生成第三差异子集；

根据第三差异子集、最小类间方差值、最佳阈值∈

在一实施例中，根据第三差异子集、最小类间方差值、最佳阈值∈

其中，s

在一实施例中，根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的最佳阈值∈

根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的最佳阈值∈

将差异值集合e

对待定运维异常值集合进行异常裁剪处理，生成运维异常值集合，运维异常值集合为运维差异数据中的运维异常值。

在一实施例中，根据与阈值∈对应的第一差异子集的交叉熵、第二差异子集的交叉熵、第一差异子集的类内方差和第二差异子集的类内方差，计算得到与阈值∈对应的类间方差，采用以下公式计算得到：

σ

其中，H

在一实施例中，对于差异值集合，分别计算第一差异子集的交叉熵和第二差异子集的交叉熵，采用以下公式计算得到：

其中，H

在一实施例中，对于差异值集合，分别计算第一差异子集的类内方差和第二差异子集的类内方差，采用以下公式计算得到：

/>

其中，σ

第二方面，本申请实施例提供一种运维异常值识别装置，包括：

获取模块，获取运维差异数据，运维差异数据包括至少一个差异值集合，差异值集合包括与运维监控指标对应的多个差异值，差异值为根据与同一运维监控指标对应的预测值和实际检测值计算得到；

计算模块，用于对于差异值集合e

计算模块还用于根据与阈值∈对应的第一差异子集的交叉熵、第二差异子集的交叉熵、第一差异子集的类内方差和第二差异子集的类内方差，计算得到与阈值∈对应的类间方差；

确定模块，用于根据类间方差集合确定最小类间方差值，并确定与所述最小类间方差值对应的所述阈值∈为最佳阈值∈

第三方面，本申请实施例提供一种智能运维系统，智能运维系统包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如上述的运维异常值的识别方法。

第四方面，本申请实施例提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如上述的运维异常值的识别方法。

本申请实施例提供的运维异常值的识别方法、装置、智能运维系统及存储介质，通过求解差异值集合e

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的运维异常值的识别方法的流程示意图；

图2是本申请一实施例提供的运维异常值的识别方法的流程示意图；

图3是本申请又一实施例提供的运维异常值的识别方法中S140的细化流程示意图；

图4是本申请一实施例提供的运维异常值识别装置的结构示意图；

图5是本申请一实施例提供的智能运维系统的硬件结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请的更好的理解。

需要说明的是，在本文中，诸如第二和第三等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

目前，用户在智能运维系统上书写的时候，常常因为不必要的触碰屏幕，使得智能运维系统上显示不必要的内容，从而降低的书写效率和书写内容质量。

为了解决现有技术问题，本申请实施例提供了一种运维异常值的识别方法、装置、智能运维系统及存储介质。下面首先对本申请实施例所提供的运维异常值的识别方法进行介绍。

图1示出了本申请一个实施例提供的运维异常值的识别方法的流程示意图。该方法包括以下步骤：

S110，获取运维差异数据，运维差异数据包括至少一个差异值集合，差异值集合包括与运维监控指标对应的多个差异值，差异值为根据与同一运维监控指标对应的预测值和实际检测值计算得到；

S120，对于差异值集合e

S130，根据与阈值∈对应的第一差异子集的交叉熵、第二差异子集的交叉熵、第一差异子集的类内方差和第二差异子集的类内方差，计算得到与阈值∈对应的类间方差；

S140，根据类间方差集合确定最小类间方差值，并确定与所述最小类间方差值对应的所述阈值∈为最佳阈值∈

运维监控指标是对服务、系统等网络设备的监控指标。运维监控指标可以包括基于网络的KPI监控指标和基于业务的KPI监控指标，基于网络的KPI监控指标包括但不限于网络接口利用率、访问并发量、接入网数，基于业务的KPI监控指标包括但不限于接入时长、时延等。运维差异数据中包括与至少一个运维监控指标对应的多个差异值，即在进行单一指标分析的时候，运维差异数据中可以仅包括一个差异值集合，该差异值集合中包括与同一运维监控指标对应的差异值；在进行多指标多维度分析的时候，运维差异数据中可以包括多个差异值集合，多个差异值集合分别包括与不同运维监控指标对应的差异值。例如在进行cpu占用率和内存占用率的运维异常值综合识别时，运维差异数据中可以包括与cpu占用率对应的差异值，以及与内存占用率对应的运维异常值。

电子设备可以检测得到各个运维监控指标对应的实际检测值，该实际检测值可以是时序数据。还可以参考相关技术根据已采集的历史检测值预测得到预测值，差异值可以是与同一采集时间点对应的实际检测值和预测值的差值，差异值还可以是根据同一采集时间点对应的实际检测值和预测值的差值变换得到的其他可体现实际检测值和预测值差异的其他数值。

本领域技术人员可以基于ARIMA、HW、Prophet、LSTM、RNN、Prophet等训练得到时序预测算法模型。示例性的，对于实际检测得到KPI数据X＝{x

当d＝1时，通过时序预测算法模型获得时刻t的预测值

其中h为历史预测差异的数量。使用指数加权平均算法对预测差异向量e进行处理来抑制突变值对后续计算的影响，指数加权平均后得到：

使用Min-Max线性函数归一化方法对e

该指数加权差异序列e

通过类间方差σ

分别将差异值集合e

在一实施例中，S130，采用以下公式计算得到：

σ

其中，σ

当维度d>1时，差异值集合e

在本申请中，通过求解差异值集合e

另外，在应用于极度不均衡的运维差异数据的识别的情况下，仅有少数的差异值是运维异常值。如果此时单使用交叉熵来评估分类的话，由于数据的极度不均衡，将会倾向于将所有的值都判定为正常值，这样算法的收益最大，σ

请参阅图2，在一实施例中，S140之后，还包括：

S210，对第二差异子集中的差异值进行指数加权平滑处理，生成第三差异子集；

S220，根据第三差异子集、最小类间方差值、最佳阈值∈

在最佳阈值∈

在最佳阈值∈

可选的，异常评估值采用以下公式计算得到：

其中，s

上述公式中的分母是阈值∈为最佳阈值∈

在一些实施例中，在确定最佳阈值∈

S310，根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的最佳阈值∈

S320，将差异值集合e

S330，对待定运维异常值集合进行异常裁剪处理，生成运维异常值集合，运维异常值集合为运维差异数据中的运维异常值。

S320中的待定运维异常值集合即可以认为是阈值∈为最佳阈值∈

对第二差异子集中的差异值进行指数加权平滑处理，生成第三差异子集e

e

在一实施例中，对于差异值集合，分别计算第一差异子集的交叉熵和第二差异子集的交叉熵，采用以下公式计算得到：

其中H

H

在一实施例中，对于差异值集合，分别计算第一差异子集的类内方差和第二差异子集的类内方差，采用以下公式计算得到：

其中，σ

基于上述实施例提供的运维异常值的识别方法，相应地，本申请还提供了运维异常值识别装置的具体实现方式。请参见以下实施例。

首先参见图4，本申请实施例提供的运维异常值识别装置400包括：

获取模块10，获取运维差异数据，运维差异数据包括至少一个差异值集合，差异值集合包括与运维监控指标对应的多个差异值，差异值为根据与同一运维监控指标对应的预测值和实际检测值计算得到；

计算模块20，用于对于差异值集合e

计算模块20还用于根据与阈值∈对应的第一差异子集的交叉熵、第二差异子集的交叉熵、第一差异子集的类内方差和第二差异子集的类内方差，计算得到与阈值∈对应的类间方差；

确定模块30，用于根据类间方差集合确定最小类间方差值，并确定与所述最小类间方差值对应的所述阈值∈为最佳阈值∈

作为本申请的一种实现方式，上述计算模块20还用于：

根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的∈

对第二差异子集中的差异值进行指数加权平滑处理，生成第三差异子集；

根据第三差异子集、最小类间方差值、最佳阈值∈

作为本申请的一种实现方式，上述计算模块20采用以下公式计算得到：

其中，s

作为本申请的一种实现方式，上述确定模块30还用于：

根据类间方差集合确定最小类间方差值，并确定最小类间方差值对应的最佳阈值∈

将差异值集合e

对待定运维异常值集合进行异常裁剪处理，生成运维异常值集合，运维异常值集合为运维差异数据中的运维异常值。

作为本申请的一种实现方式，上述计算模块20采用以下公式计算得到：

σ

其中，H

作为本申请的一种实现方式，上述计算模块20采用以下公式计算得到：

其中H

H

作为本申请的一种实现方式，上述计算模块20采用以下公式计算得到：

其中，σ

本发明实施例提供的运维异常值识别装置能够实现上述方法实施例中的各个步骤，为避免重复，这里不再赘述。

图5示出了本申请实施例提供的智能运维系统的硬件结构示意图。

在智能运维系统可以包括处理器1001以及存储有计算机程序指令的存储器1002。

具体地，上述处理器1001可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1002可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1002可在综合网关容灾设备的内部或外部。在特定实施例中，存储器1002是非易失性固态存储器。

存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。

处理器1001通过读取并执行存储器1002中存储的计算机程序指令，以实现上述实施例中的任意一种运维异常值的识别方法。

在一个示例中，智能运维系统还可包括通信接口1003和总线1010。处理器1001、存储器1002、通信接口1003通过总线1010连接并完成相互间的通信。

通信接口1003，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线1010包括硬件、软件或两者，将智能运维系统的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1010可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该智能运维系统可以基于上述实施例，从而实现上述的运维异常值的识别方法和装置。

另外，结合上述实施例中的运维异常值的识别方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种运维异常值的识别方法，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，上述计算机可读存储介质可包括非暂态计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等，在此并不限定。

另外，本申请实施例还提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器执行时可实现前述方法实施例的步骤及相应内容。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。