一种时序数据故障检测方法、系统、设备及介质

技术领域

本发明涉及时序数据异常检测技术领域，具体而言，涉及一种时序数据故障检测方法、系统、设备及介质。

背景技术

时序数据处理可以应用于智慧城市、物联网、车联网、工业互联网等领域，其包括数据采集、数据清洗、数据分析等多个维度，属于大数据和人工智能新兴领域。就目前而言，现有研究无法高效地检测和识别时序数据中的故障异常，容易导致故障被延误发现，导致设备或系统在故障发生后继续运行，进一步加剧故障的严重程度，导致维修成本的增加。并且需要更长时间来定位和修复故障。基于此，为了实现高效快速的完成时序数据故障异常检测和故障模式识别，本发明设计了一种时序数据故障检测方法、系统、设备及介质。

发明内容

本发明的目的在于提供一种时序数据故障检测方法、系统、设备及介质，其采用机器学习方法，通过特征提取与选择，叠加知识图谱功能，实现时序数据的在线监测、异常告警、故障分类，能够有效提升时序数据故障发现及分析的性能，降低企业在时序数据故障检测方面所耗费成本，提高企业生产效率，增强时序数据的应用能力。

本发明的实施例通过以下技术方案实现：

一种时序数据故障检测方法，该方法的步骤包括：

获取离线数据及实时数据，对离线数据及实时数据进行数据预处理，并对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；

在训练管道中，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；

在故障检测管道中，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息，完成时序数据的故障检测。

可选的，所述离线数据及实时数据的获取过程为：通过文件上传方式接入离线数据，通过MQTT/Modbus协议接入实时数据，分别将离线数据及实时数据进行存储，并将离线数据及实时数据的关联信息存入MySQL数据库。

可选的，所述对离线数据及实时数据进行数据预处理，其中，数据预处理具体为：对存储的离线数据及实时数据依次进行数据清洗处理、数据规整处理、去野值处理以及归一化处理，其中，去野值处理采用中值去噪法，归一化处理包含最大最小标准化处理、z-score标准化处理。

可选的，所述将训练数据分别进行数值特征提取及趋势特征提取，其中，训练数据的数值特征提取的具体过程如下：

随机设定训练数据

定义滑动窗口W，每个滑动窗口包括训练数据

将取值特征集合

可选的，所述趋势特征提取包括横向趋势特征和纵向趋势特征，其中，训练数据的趋势特征获取过程如下：基于多样本特征及快速傅里叶变化将提取的训练数据横向趋势特征进行特征融合，基于设定条件对训练数据的纵向趋势特征进行特征融合，得到训练数据的趋势特征，其中，设定条件具体为基于保留每一个趋势阶层的最大占比和最小占比，以表征为融合后的纵向趋势特征。

可选的，所述将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，其具体过程与所述离线数据的特征提取及融合过程一致。

可选的，所述基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，其故障判读过程如下：

基于趋势特征在先，数值特征在后的顺序，根据模型文件中的训练数据趋势特征对待检测数据趋势特征进行对比，判别待检测数据的趋势特征是否在训练数据趋势特征的范围内，若是，则执行数值特征判读；若否，则获取待检测数据趋势特征不符合的时间范围及故障范围，并对待检测数据趋势特征的其他时间范围进行数值特征判读。

一种时序数据故障检测系统，包括：

数据采集模块，获取离线数据及实时数据；

数据质量保证模块，对离线数据及实时数据进行数据预处理；

任务识别模块，对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；

数据训练模块，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；

故障检测模块，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息；

可视化模块，基于可视化模块对数据训练模块及故障检测模块进行展示。

一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现时序数据故障检测方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现时序数据故障检测方法的步骤。

本发明实施例的技术方案至少具有如下优点和有益效果：

本发明实施例采用机器学习方法，通过特征提取与选择，叠加知识图谱功能，实现时序数据的在线监测、异常告警、故障分类，能够有效提升时序数据故障发现及分析的性能，降低企业在时序数据故障检测方面所耗费成本，提高企业生产效率，增强时序数据的应用能力。

附图说明

图1为本发明实施例提供的一种时序数据故障检测方法的流程示意图；

图2为本发明实施例提供的一种时序数据故障检测系统的原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

参照图1所示，图1为本发明实施例提供的一种时序数据故障检测方法的流程示意图。

在一些实施例中，一种时序数据故障检测方法，该方法的步骤包括：

获取离线数据及实时数据，对离线数据及实时数据进行数据预处理，并对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；

在训练管道中，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；

在故障检测管道中，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息，完成时序数据的故障检测。

在本实施例的具体应用中，本实施例的具体步骤可以划分为：第1步，服务初始化。数据库异常处理，日志系统初始化等，MySQL数据库、redis数据库、nginx代理服务启动，节点信息（ip地址和端口）注册等。第2步，数据采集。通过文件上传的方式接入离线数据，通过MQTT等协议接入实时数据，将接入数据进行存储，并将关联信息存入MySQL数据库中。第3步，数据质量保证模块。对接入的数据进行数据清洗、数据规整、去野值、归一化等预处理操作。其中去野值采用中值去噪方法，归一化包含最大最小标准化、z-score标准化等。第4步，任务切片。根据任务识别模块对数据流向管道进行分割，若任务类型为训练，则将数据送入训练管道。若任务类型检测，则将数据送入检测管道。第5步，训练模块。训练模块中分为特征提取和融合、模型持久化和存储。第6步，故障检测模块。当任务识别为故障检测任务时，数据会经过数据管道进入故障检测模块。第7步，利用可视化展示模块对训练情况和结果、故障检测情况和结果进行可视化展示。

在本实施例关于训练模块的具体应用中，本实施例从时序数据本身特性出发，在专业人员检测某一个时序数据是否发生故障时，一般会观察时序数据的两个方面，一方面是观察时序数据的数值是否与正常时序数据数值一致，另一方面是观察时序数据的趋势特性是否与正常时序数据趋势一致。因此本专利以此为灵感，从两个方面进行时序数据的特征提取，分别为数值特征提取部分和趋势特征提取部分。数值特征提取过程如下所述：

对于某个时序数据，其有N个历史数据（训练数据），有

定义一个滑动窗口W，每个滑动窗口包含

最后得到该历史数据

将所有的历史数据得到的取值特征

其计算过程如下所示：

其中，

在本实施例中，为了全面且精细描述时序数据的特征，本专利从两个方面对时序数据的趋势特征进行描述，分别是横向趋势和纵向趋势。趋势特征提取过程如下：

对于某个时序数据有N个历史数据（训练数据），有

同样的，在进行趋势特征提取时，进行窗口化操作，得到窗口化的数据

提取窗口化后的数据

得到计算后的时间序列，即

在本实施例中，定义了22种趋势特征，即

根据计算得到的窗口时间序列

利用直方图统计的方式，量化纵向趋势特征。利用计算得到的横向趋势特征

在本实施例中，当所有的训练样本均经过以上特征提取后，便进行多样本特征融合过程。特征融合可以分为两个部分，分别为纵向特征融合和横向特征融合。纵向特征融合过程是将

其中

横向特征融合过程是指对所有样本

在本实施例中，为了方便用户便于理解和修改模型内容，本专利中模型持久化格式采用的是json格式。Json格式是一种轻量级的文本数据交换格式，其具有自我描述性，易于理解。模型持久化完成之后进行模型存储，存储结果及关联关系均记录在MySQL数据库中。

在本实施例关于故障检测模块的具体应用中，当任务识别为故障检测任务时，数据会经过数据管道进入故障检测模块。当数据进入故障检测模块后，会进行下述步骤：1、在经过数据预处理后，数据会进行两个方面的特征提取，分别为趋势特征提取和数值特征提取，其提取过程与训练模块中特征提取相同。2、读取模型内容，作为判读标准。3、数据特征提取完成后，进入故障判读阶段，故障判读分为两个方面，分别为趋势特征判读和数值特征判读。在先后顺序上为先进行趋势特征判读后进行数值特征判读。趋势特征判读过程为根据模型中的趋势特征和被判读数据的趋势特征进行对比，判别被判读的趋势特征是否在模型趋势特征的范围内，如果在模型特征的范围内，接着进行该时间范围内的数值特征判读。若不在模型特征范围内，便对故障区域进行精细查找，精确定位故障范围，找到趋势不符合的时间范围，并进行其余范围的数值特征判读。如果一个时间段内已经不满足趋势特征，则该时间段内已经被标记为故障区域，为了节省算法的复杂度，便不会进行该故障区域的数值特征判读。判读完成之后，会返回故障区域，并进行在线故障告警，之后根据知识图谱对故障类型进行识别，最后对故障信息进行整合和告警。

参照图2所示，图2为本发明实施例提供的一种时序数据故障检测系统的原理示意图。

在一些实施例中，一种时序数据故障检测系统，包括：

数据采集模块，获取离线数据及实时数据；

数据质量保证模块，对离线数据及实时数据进行数据预处理；

任务识别模块，对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；

数据训练模块，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；

故障检测模块，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息；

可视化模块，基于可视化模块对数据训练模块及故障检测模块进行展示。

可以理解的，本实施例所提供时序数据故障检测系统与上述实施例所提供的时序数据故障检测方法出于相同的发明构思，关于本发明实施例中各个模块更加具体的工作原理参考上述实施例，在本发明实施例中不做赘述。

一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现时序数据故障检测方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现时序数据故障检测方法的步骤。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。