一种基于贝叶斯网络的异常路径分析方法

技术领域

本发明涉及一种新的数据异常路径分析方法—一种基于贝叶斯网络的异常路径分析方法。

背景技术

近年来，随着数据技术的发展，数据的采集、传输、存储和挖掘等被各行业广泛应用。数据技术已经服务于多个行业领域包括工业生产、公共安全、交通运输等，并取得了了较大的成功。通过数据挖掘技术，建立基于数据驱动的辅助决策系统，提高工作效率和经济效益是目前数据技术应用的主要内在动力之一。因此，如何充分利用数据技术在行业发展中的作用，不断提高经济效益和社会效益一直是研究的热点。伴随着工业生产的智能化，人的作用越来越弱而大机器设备愈发复杂，保障机器设备安全稳定运行极其重要。近几年数据采集技术和大数据传输技术的发展，为建立基于数据驱动的设备监控和异常预警系统准备了充分的数据条件。而通过数据去发现设备中的问题所利用的核心技术之一就是异常检测方法，通过对数据进行分析并发现异常，进而及时了解设备状态，对设备进行相关维护。目前在复杂的工业生产设备下，发现问题仅仅是初步的任务，如果排查定位问题是需要进一步解决的问题。

目前人们普遍关注于发现数据中的异常，基于此学者们研究了大量的异常检测算法如基于统计模型、基于聚类、基于相似性度量、基于约束规则等。但这些异常检测算法只能处理异常的发现任务，而对于异常是从哪里发生并传播的很难给出有效的解决方案。尤其是在工业领域，各个采集数据点之间存在较强的关联程度，某一处的数据异常波动，会导致其下游的数据也出现异常。当异常存在放大效应时，某一点的微小波动可能不易察觉，但到下游则会出现剧烈的异常波动，此时根据当前点的波动去分析异常来源具有重要的现实意义。尤其是涉及到工业设备安全运行方面，工业界最普遍的设备维护方法是对设备进行定期的维护和检修。而早期的设备异常往往能够反映在数据之中，通过对数据进行分析能够更早的发现异常，同时利用异常路径分析方法对异常源进行定位，有利于用户发现问题原因，提前排查问题，减少经济损失。通过异常路径分析技术，对协助用户筛查问题，辅助用户决策等具有重要的意义。

发明内容

发明目的：本发明针对异常路径分析的需求，提出一种新的异常路径分析方法—一种基于贝叶斯网络的异常路径分析方法。该算法满足工业大数据流中的对于异常数据的识别和异常传播路径及异常原因的分析定位功能。

技术方案：本发明使用的一种基于贝叶斯网络的异常路径分析方法包括四个部分：贝叶斯网络结构的学习、数据流的接入以及异常检测和最大异常路径输出。

贝叶斯网络结构的学习主要任务是在从数据中学习贝叶斯网络结构。其主要包含两个步骤(1)变量序的获取；(2)网络结构的学习。贝叶斯网络结构能够有效地表达数据中各维度之间的依赖关系，是后续异常路径分析的主要依据。

数据流的接入。数据流中的每个维度与贝叶斯网络结构中的每一个节点一一对应。

异常检测。异常检测的目标是对流入到贝叶斯网络结构中的每个节点进行异常识别并给出异常评分值。该阶段采用滑动窗口方法，保存T大小时刻的网络结构数据状态。

最大异常路径输出。针对时刻t下的数据，在进行异常检测后，每个节点均保存着当前时刻的异常评分值。当存在异常点时，在贝叶斯网络中搜索异常评分值和最大的异常路径并作为结果输出。

有益效果：本发明的显著优点是通过变量序调整方法优化贝叶斯网络结构学习提升其网络结构学习效果。同时将网络结构与异常检测方法相结合，采取异常评分机制对异常可疑程度进行打分，最后通过在网络中搜索最大的异常评分值和给出最可能的异常传播路径。

附图说明

图1是本发明的总体结构图。

图2是贝叶斯网络状态流示意图。

图3是滑动窗口示意图。

具体实施方式

如图1所示，本发明的方法主要包括四个部分贝叶斯网络结构学习、数据异常检测、异常路径分析和结果输出，下面详细进行说明：

步骤1：从数据集中学习贝叶斯网络结构。

从数据集中学习贝叶斯网络结构主要分为以下两步：

1)首先获取贝叶斯网络结构学习算法的搜索空间，以降低贝叶斯网络结构学习的复杂度。该搜索空间称为变量序，用符号ρ表示。对于有n个变量的数据集D，其变量序的获取方法如下：

①首先初始两个矩阵m

②进行独立性检验，最弱的变量对X

独立性检验采用互信息方法，其计算公式如下：

在上式中当I(X

同理当I(X

③根据G

④对ρ

前一个节点不是待插入节点的连接点，仅当前一个节点的连接点个数比待插入节点小；若前一个节点是待插入节点的邻接点，仅当越过该点后，仍能保证待插入点之前的连接点个数大于或等于节点之后的依附点个数则允许越过；特殊情况，对于

⑤输变量序ρ

2)将第一步输出的输变量序ρ作为K2贝叶斯网络结构学习的参数，对数据集D进行贝叶斯网络结构学习并输出贝叶斯网络结构G。

步骤2：将数据流与贝叶斯网络结构中的节点进行一一对应输入

步骤3：对节点数据进行异常检测。具体的检测流程如下：

①假设贝叶斯网络结构中某一节点对应实时数据流记为D

②对这T个时刻下的数据进行波动异常检测，并对异常程度给出评分。此时我们利用方差变化值进行异常的评分。首先设置长度为T的滑动窗口，依次计算待检测数据在窗口中的方差统计值；再计算相邻两滑动窗口中的方差差值作为当前数据到来后整体方差的变化值，并将其作为异常程度评分。

方差计算量：

在整体数据集中而部分数据偏离时，对偏离数据的变化十分敏感，即当在离散程度较小的数据中加入一个较为偏离的数据时，整体的方差会骤然增大，因此我们采用方差差值：

步骤4：当出现异常数据时，计算当前贝叶斯网络结构下，最大得分的异常路径，并将路径进行输出。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。