基于数据筛选的数据异常检测系统及方法

技术领域

本发明涉及数据处理技术领域，具体涉及基于数据筛选的数据异常检测系统及方法。

背景技术

随着大数据时代的到来，数据量呈指数级增长，涉及到结构化、半结构化和非结构化数据，传感器技术和物联网的发展，使得越来越多的工厂采用传感器和相关监测设备实时采集工艺参数和设备状态数据，这些数据可以通过云平台或数据管理系统进行收集、存储和分析，以了解工厂的安全运行状况，但是随着工厂中的数据来源与类型的不断增多，将来自不同系统与设备的数据进行整合和分析成为一个重要的趋势，通过将工艺参数和设备状态等综合起来，可以更全面地评估工厂的安全风险，以识别更复杂的风险情况。

异常检测常用的算法为LOF(Local Outlier Factor)算法，由于LOF算法本身需要基于一组数据特征来计算样本数据点的局部密度进而进行异常检测，导致在工厂设备运行数据的异常检测中不适配LOF算法的异常检测形式的问题，并且由于LOF算法在进行异常数据检测时只在固定的局部范围中进行，忽略数据点在全局趋势下的变化，从而降低了异常检测结果的准确性。

发明内容

为了解决上述问题，本发明提供基于数据筛选的数据异常检测系统及方法。

本发明一个实施例提供了基于数据筛选的数据异常检测方法，该方法包括以下步骤：

获取工厂设备运行数据序列，所述工厂设备运行数据序列包括若干个设备的工艺参数数据和状态数据；所述设备的工艺参数数据包含若干个工艺参数，每个工艺参数在不同阶段所需的采集次数不同，每次采集时均具有期望值；所述设备的状态数据包括设备在运行时间内消耗的能量、设备的平均无故障时间、设备的平均修复时间、设备在运行时间内的进料量、产出量、良品量以及设备操作人员的信息数据，所述操作人员的信息数据包括参与设备安全培训的人数和操作人员的总人数；

根据每个设备的工艺参数数据中每个工艺参数在不同阶段所需的采集次数和每次采集时的期望值，获取每个设备的工艺参数数据异常值；根据每个设备的状态数据中每个设备在运行时间内消耗的能量、设备的平均无故障时间、设备的平均修复时间、设备在运行时间内的进料量、产出量、良品量以及设备操作人员的信息数据，获取每个设备的状态数据异常值；根据每个设备的工艺参数数据异常值和状态数据异常值，获取若干个设备数据点；

根据所有设备数据点的工艺参数数据与状态数据之间的分布情况，获取距离影响系数；根据所有设备数据点的数量获取初始

根据每次异常检测的若干个疑似异常数据点和每个疑似异常数据点对应的异常因子对所有疑似异常数据点进行筛选得到所有异常数据点。

优选的，所述根据每个设备的工艺参数数据中每个工艺参数在不同阶段所需的采集次数和每次采集时的期望值，获取每个设备的工艺参数数据异常值的具体公式为：

式中，

优选的，所述根据每个设备的状态数据中每个设备在运行时间内消耗的能量、设备的平均无故障时间、设备的平均修复时间、设备在运行时间内的进料量、产出量、良品量以及设备操作人员的信息数据，获取每个设备的状态数据异常值的具体公式为：

式中，

优选的，所述根据每个设备的工艺参数数据异常值和状态数据异常值，获取若干个设备数据点，包括的具体方法为：

以设备的工艺参数数据异常值为横轴，以设备的状态数据异常值纵轴，将工厂设备运行数据序列输入二维坐标系中，获取若干个设备数据点。

优选的，所述根据所有设备数据点的工艺参数数据与状态数据之间的分布情况，获取距离影响系数的具体公式为：

式中，

优选的，所述根据所有设备数据点的数量获取初始

将所有设备数据点的总数量进行开平方根后的结果，记为第一结果，将第一结果进行向上取整后作为初始

优选的，所述根据初始

根据距离影响系数获取所有次扩展

优选的，所述根据距离影响系数获取所有次扩展

根据距离影响系数，获取第二次扩展

式中，

将第一次异常检测的所有疑似异常数据点组成的集合记为第一集合，将第二次异常检测的所有疑似异常数据点组成的集合记为第二集合；则第二次扩展

式中，

将第二次异常检测的所有疑似异常数据点组成的集合记为第三集合，将第三次异常检测的所有疑似异常数据点组成的集合记为第四集合；则第三次扩展

式中，

优选的，所述根据每次异常检测的若干个疑似异常数据点和每个疑似异常数据点对应的异常因子对所有疑似异常数据点进行筛选得到所有异常数据点，包括的具体方法为：

第

式中，

预设一个阈值

本发明还提出基于数据筛选的数据异常检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述基于数据筛选的数据异常检测方法的步骤。

本发明的技术方案的有益效果是：根据每个设备的工艺参数数据异常值和状态数据异常值，获取若干个设备数据点，将工厂设备运行数据序列划分为两个维度，以此实现转化为适配LOF算法的异常检测形式；根据初始

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于数据筛选的数据异常检测方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于数据筛选的数据异常检测系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于数据筛选的数据异常检测系统及方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于数据筛选的数据异常检测方法的步骤流程图，该方法包括以下步骤：

步骤S001：获取工厂设备运行数据序列。

需要说明的是，对工厂内设备运行数据都需要两个维度，分别是工艺参数维度和设备状态维度，每个设备都对应有这两个维度，因为设备的工艺参数和设备状态通常被视为主要的讨论维度，因为它们在生产和制造环境中具有重要的作用，对生产过程和设备性能的监测、控制和优化起到关键的作用。

具体的，首先需要采集工厂设备运行数据序列，具体过程为：

通过不同类型的传感器和不同类型的仪表装置，采集工厂内若干个设备的工艺参数数据和状态数据，将工厂内若干个设备的工艺参数数据和状态数据记为工厂设备运行数据序列。

其中，每个设备的工艺参数数据包含若干个工艺参数，每个工艺参数在不同阶段所需的采集次数不同，每次采集时均具有期望值；设备的工艺参数数据具体获取方式为：将温度传感器、压力传感器和液位传感器直接嵌入设备中，获取设备的温度工艺参数、压力工艺参数和液位工艺参数。

对于任意一个设备，通过能耗仪表装置测量设备在运行时间内消耗的能量；通过生产计数器计算设备在运行时间内的进料量、产出量和良品量；通过自动计数仪表装置和设备维护记录故障报告，采集设备的平均无故障时间和平均修复时间；通过培训记录和员工档案，获取设备操作人员的信息数据，设备操作人员的信息数据是指操作人员是否参与设备安全培训；将设备在运行时间内消耗的能量、设备在运行时间内的进料量、产出量、良品量、设备的平均无故障时间和平均修复时间和设备操作人员的信息数据，作为所述设备的状态数据。

至此，通过上述方法得到工厂设备运行数据序列。

步骤S002：根据每个设备的工艺参数数据异常值和状态数据异常值，获取若干个设备数据点。

需要说明的是，每个设备均对应一个参数异常值和一个状态异常值，由于一个设备对应该设备的若干个工艺参数，而每个工艺参数又对应有不同阶段，每个工艺参数在进行分析时需要分析该工艺参数在不同阶段的相对偏差、本身的稳定性、变化频率异常，相对偏差是以工艺参数不同阶段的实际值与期望值的差距所得到的；由于设备的能耗越大，物料利用率越低，平均无故障时间越短，平均修复时间越长，设备良品率越低，操作该设备的操作员参与安全培训的人数越少，设备利用率越低，则该设备在设备状态特征方面的异常值就越大，以此获取设备的状态异常值。

具体的，第

式中，

进一步的，第

式中，

需要说明的是，

至此，获得每个设备的工艺参数数据异常值和状态数据异常值。

具体的，以设备的工艺参数数据异常值为横轴，以设备的状态数据异常值纵轴，将工厂设备运行数据序列输入二维坐标系中，获取若干个设备数据点。

至此，通过上述方法得到若干个设备数据点。

步骤S003：根据初始

需要说明的是，

具体的，距离影响系数的计算方法为：

式中，

需要说明的是，距离影响系数与设备数据点整体分布的离散程度有关，

至此，获得距离影响系数。

具体的，初始

式中，

进一步的，获取所有次扩展

进一步的，获取所有次扩展

第二次扩展

式中，

将第一次异常检测的所有疑似异常数据点组成的集合记为第一集合，将第二次异常检测的所有疑似异常数据点组成的集合记为第二集合；则第二次扩展

式中，

将第二次异常检测的所有疑似异常数据点组成的集合记为第三集合，将第三次异常检测的所有疑似异常数据点组成的集合记为第四集合；则第三次扩展

式中，

至此，通过上述方法得到所有次异常检测的若干个疑似异常数据点和每个疑似异常数据点对应的异常因子。

步骤S004：根据异常程度对所有疑似异常数据点进行筛选得到所有异常数据点。

需要说明的是，疑似异常数据点在当前

具体的，第

式中，

预设一个阈值

若第

通过以上步骤，完成基于数据筛选的数据异常检测方法。

本发明还提出基于数据筛选的数据异常检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现步骤S001到步骤S004中所述基于数据筛选的数据异常检测方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。