一种基于CPSAMLP的工业过程微小故障分类方法

技术领域

本发明涉及一种工业过程故障诊断方法，特别是涉及一种基于CPSAMLP的工业过程微小故障分类方法。

背景技术

随着科学技术与生产技术不断发展，工业过程越来越复杂，在工业生产过程中，各种高维复杂的故障数据被记录储存，对数据进行分析，挖掘有效信息，利用故障数据进行故障分类能够避免严重安全事故的发生，保证产品的质量，是众多学者共同关注的课题。

在复杂的工业过程当中，各部分联系更加紧密，往往某些微小故障就引发连锁反应，造成重大事故。一般将幅值变化缓慢，特征不明显，容易受噪声影响，难以识别的故障称为微小故障。微小故障，由于幅值变化缓慢，特征不明显，往往难以识别。

针对MLP方法，目前由WOA优化MLP的故障诊断方法解决了神经网络训练陷入局部最优，诊断精度低的问题。但是该方法没有考虑故障数据的动态特性。多特征融合的MLP故障诊断模型，利用多层感知器处理非线性数据的优势，有效地提升了故障诊断效果。然而故障数据各个变量之间具有局部的相关性，上述方法忽略了这一特点。

还有一种基于小波变换的MLP神经网络方法并结合支持向量机(SVM)方法，有效的提升了故障诊断效果。但是在训练神经网络前，需要人工提取部分特征，难以快速的实现故障诊断。并且，传统的MLP方法在微小故障诊断领域还未被广泛应用。

发明内容

本发明的目的在于提供一种基于CPSAMLP的工业过程微小故障分类方法，该方法采用滑动窗口在时间维度和空间维度滑动,增强数据的时序相关性和空间相关性，将自注意力机制引入MLP模型增强局部相关信息的提取，同时使用Swish激活函数提取数据的非线性特征；采用交叉熵损失和中心损失联合训练神经网络，使特征信息向中心聚合，提升模型对微小故障的分类能力。

本发明的目的是通过以下技术方案实现的：

一种基于CPSAMLP的工业过程微小故障分类方法，所述方法采用滑动窗口在时间维度和空间维度滑动,增强数据的时序相关性和空间相关性，将自注意力机制引入MLP模型增强局部相关信息的提取，同时使用Swish激活函数提取数据的非线性特征；采用交叉熵损失和中心损失联合训练神经网络，使特征信息向中心聚合，提升模型对微小故障的分类能力,在田纳西伊士曼(TE)过程所提方法的有效性；

具体包括以下过程：

1).收集历史数据，采用滑动窗技术对原始数据进行数据增强；

2).对原始数据进行数据标准化预处理，划分数据集为训练数据和测试数据；

3).基础网络选用MLP,在MLP中加入在注意力机制层，设计一个中心交叉熵损失；

4).初始化故障分类网络参数；

5).将训练数据传入CPSAMLP故障分类模型当中；

6).使用中心交叉熵损失联合训练参数；

7).不断进行迭代，保存效果最好的故障分类模型参数；

8).将测试数据，输入已保存好的CPSAMLP故障分类模型中，输出预测结果，计算分类准确率。

所述的一种基于CPSAMLP的工业过程微小故障分类方法，所述收集历史数据使用滑动窗技术对数据进行增强处理，X＝{x

所述的一种基于CPSAMLP的工业过程微小故障分类方法，所述对原始数据进行数据标准化预处理，即x＝(x-x_min)/(x_max-x_min)，x表示样本数值，x_min表示x的最小数值，x_max表示x的最大数值。

所述的一种基于CPSAMLP的工业过程微小故障分类方法，所述CPSAMLP故障分类模型，在MLP中加入自注意力机制模块，激活函数选用Swish，并使用改进后的损失函数优化神经网络参数；

Swish＝x·sigmoid(βx)

进行迭代训练，不断优化神经网络的参数，保存最终模型。评价指标选用准确率；

TP：将正类预测为正类的样本个数,TN：将负类预测为负类的样本个数,FP：将负类预测为正类的样本个数,FN：将正类预测为负类的样本个数。

所述的一种基于CPSAMLP的工业过程微小故障分类方法，所述计算分类准确率使用测试集对分类模型进行测试，验证所提方法的有效性。

利用测试集验证所提方法的有效性，对比MLP方法准确率提升了8.92％

本发明的优点与效果是：

1.本发明提出了一种中心聚合自注意力多层感知机微小故障分类模型(CenterPolymerization Self Attention Multilayer Perceptron,CPSAMLP)。首先通过数据增强技术对故障数据进行时序特性和空间特性增强。通过引入Swish激活函数和注意力机制，设计出自注意力多层感知机(SAMLP)模型，增强模型对非线性和局部相关性特征的提取能力。然后使用交叉熵损失函数和中心损失函数联合训练模型，利用中心损失函数缩小类内间距的优势使模型能更好识别微小故障，最终得到CPSAMLP模型。在TE过程进行仿真实验，并与MLP和SAMLP方法做对比，证明了所提方法的有效性。

2.本发明提出基于CPSAMLP的工业过程微小故障分类模型，利用TE的故障数据得到具体的故障类别，本发明方法能有效地解决了微小故障分类往往忽略数据的动态性和局部相关性，提升模型对微小故障的分类能力。在TE过程故障数据进行验证，证明所提方法的有效性。

附图说明

图1为本发明分类方法示意图；

图2为本发明分类结果混淆矩阵图。

具体实施方式

下面结合附图所示实施例对本发明进行详细说明。

本发明分类方法的过程为：

1).收集历史数据，采用滑动窗技术对原始数据进行数据增强；对原始数据进行数据预处理，划分数据集为训练数据和测试数据；

2).基础网络选用MLP,在MLP中加入在注意力机制层，设计一个中心交叉熵损失；

3).初始化故障分类网络参数，将训练数据传入CPSAMLP故障分类模型当中，使用中心交叉熵损失联合训练参数，不断进行迭代，保存故障分类模型参数；

4).将测试数据，输入已保存好的CPSAMLP故障分类模型中，输出预测结果，计算分类准确率。

1.滑窗数据增强原理

使用滑动窗技术对数据进行增强处理，X＝{x

2.数据预处理

进行数据预处理时，采用标准化预处理，即x＝(x-x_min)/(x_max-x_min)，x表示样本数值，x_min表示x的最小数值，x_max表示x的最大数值。

3.模型结构设计

1).MLP原理

MLP分类模型用一个函数f将输入向量x和输出向量y联系起来。

y＝f(x；θ) (1)

对于l层MLP，原理可以表示为公式(2)。

h

h

θ表示MLP的全部参数，包含W和b，σ是激活函数，本文所提方法中选用Swish激活函数。其公式如公式(3)所示，β为权重参数。

σ(x)＝x·sigmoid(βx)(3).

2)自注意力机制原理

自注意力机制，将输入x通过线性映射层分别得到查询矩阵Q、键矩阵K和值矩阵V，计算公式如式(4)所示。查询矩阵K与键矩阵Q点乘，经过Softmax对结果进行归一化，将权重缩小在0-1区间范围之内，相关性越大V的权重越大，将得到的V进行加权求和得到输出。数学原理可以表示为式(5)，其中WQ、WK、WV作为网络参数，可以从训练中学习。

Q＝W

K＝W

V＝W

out＝Attention(K,Q,V)

＝V*Softmax(QK

3).损失函数

本文提出一种交叉熵损失(cross-entropy)和中心损失(center loss)联合监督训练的损失函数。

交叉熵损失函数常用于分类问题中，其原理如式(7)所示。

中心损失函数其原理如式(8)所示。

x

L

λ为中心损失的权重参数。交叉熵损失作为主损失函数增大类与类之间的距离，中心损失作为辅助损失减小类内间距，能有效的提升对微小故障的分类准确率

4.故障分类模型设计

该模型首先经过三个全连接层，激活函数为Swish，随后进入自注意力机制层，随后经过两个全连接层，在倒数第二层中得到维度为4的深度特征(深度特征用于计算中心损失)。通过Softmax函数，模型最终输出每个类别的概率，其中对应的概率最高的类别是模型分类的结果。使用中心交叉熵损失训练神经网络参数

5.使用测试集对分类模型进行测试，验证所提方法的有效性。

本实验基于TE过程故障数据集。TE工艺是由伊士曼化学公司创建的，该实验环境是基于对一个真实的工业过程的模拟，它作为一种基准数据集，已被广泛地应用于故障分类中。

TE过程总共有40个测量变量和12个控制变量。TE流程包含21种故障类型。在这些故障中，有一些故障很容易被检测到，因为它们极大地影响了过程，并改变了过程变量之间的关系。然而，也有一些难以检测的故障(故障3、9和15)，因为它们对测量和操纵变量的影响很小。由于故障3、9和15它们之间的混淆程度较高，故很容易被错分。

在本实验中选择了8个故障作为实验数据。所选的8个故障包括故障3、故障4、故障5、故障9、故障10、故障11、故障12、故障15。选取21个测量变量和12个控制变量作为数据的初始特征。对数据进行数据增强，数据特征数为33*3＝99每种故障训练数据包括798个样本，训练总样本数为798*8＝6384，每种故障测试数据为478个样本，测试总样本数为478*8＝3824。

所提CPSAMLP分类模型输入大小为99，每个批次大小为32，即每次输入32个样本到模型中进行训练。该模型前三个全连接层的大小为78、39和18，dropout层设为0.3，激活函数为Swish，随后进入自注意力机制层，后两个全连接层大小分别为4和8，在倒数第二层中得到维度为4的深度特征，用于计算中心损失。通过Softmax函数，模型最终输出每个类别的概率，其中对应的概率最高的类别是模型分类的结果。本实验选择Adam优化器，学习率设为0.001，λ设为0.11，β设为1，迭代次数为400。实验过程采用的MLP方法的模型架构及参数选择与所提方法基本一致。

从分类结果中。可以看出本文提出的CPSAMLP方法能够更好的区分微小故障，效果最好，整体的分类准确率提升了8.92％，因此，实验证明所提方法具有很好的分类能力。

。