基于映射关系挖掘的复杂装备参数特征提取方法

技术领域：

本发明涉及复杂装备运行参数检测技术领域，具体的说是一种特别适用于处 理多零件运行参数间存在复杂映射关系、挖掘精度高、检测准确率高的基于映射 关系挖掘的复杂装备参数特征提取方法。

背景技术：

具有大量零部件的复杂装备如民航发动机的气路参数原始值中不仅包含突 变异常，同样包含了演化异常，即异常体现在气路参数的前后时刻的关联关系与 整体波动趋势中。目前航空公司判断发动机异常的标准是建立性能基线，使用气 路参数实际测量值与基线的偏差表征异常。这些作为监控发动机的气路性能状态 及故障预测的气路参数偏差值包括：排气温度偏差值、燃油流量偏差值和核心机 转速偏差值，而基线和偏差值被国外生产厂家所垄断，一旦基线和偏差值获取受 限，基于基线和偏差值的异常检测方法也将无法使用，极大限制了我国航空公司 的监控自主性。

气路参数不仅存在突变异常，还存在演化异常，如图1表示了用偏差值表示 的发动机性能随时间衰退的趋势，当性能衰退到一定程度即发生演化异常。基于 混合核慢特征分析的特征提取方法从原理上对于突变异常效果较好，为了能更好 的降低漏报，还必须研究面对演化异常的特征提取方法。

演化异常不同于突变异常，其不存在明显的突变，异常体现在性能随时间的 衰退上，体现在气路参数中则是相关参数波动越来越大，参数间越来越不符合理 论映射关系。因此，如果能够挖掘气路参数间映射关系，根据实际值不符合映射 关系的程度不仅可以判断突变异常，还可以判断演化异常。

对于挖掘气路参数间映射关系，每次巡航产生的气路参数间存在一定影响， 演化异常体现在不同时刻气路参数的关联关系中，仅使用单次巡航的气路参数建 立映射关系，将不可避免的存在较大误差。为了建立更准确的气路参数映射关系 挖掘模型，必须从气路参数时间序列的角度出发。循环神经网络常被用于处理时 间序列数据，但是其存在的梯度消失和梯度爆炸问题使其面对过长的时间序列时 精度不足。长短时记忆网络(LongShort-term Memory Networks，LSTM)是循 环神经网络(Recurrent Neural Network，RNN)的一种，RNN在处理时间序列数 据时具有先天优势。但是随着时间步的增加，网络层数不断增加，因此梯度消失 和梯度爆炸问题越来越严重，最终影响算法效果。LSTM通过遗忘门决定上一时 刻的哪些信息被丢弃，通过输入门决定需要更新的数值，最后通过输出门决定输出哪些信息，记忆单元能够保存长期状态，因此门操作和记忆单元使得LSTM在 处理长时间序列时表现良好。

注意力机制(Attention Mechanism)借鉴了大脑处理人类视觉信号的特殊机 制，大脑快速扫描图像的全局信息，然后关注有用的重点区域，以更好的掌握重 点区域的细节，忽略次要区域，提高人脑图像处理效率和速度。注意力机制与这 一过程相似，通过计算输入数据的每个元素对输出的贡献，为其加权，从而实现 关注有用信息忽略次要信息的目的。使用注意力机制可以明显的提高神经网络性 能和可解释性，而且注意力机制能够有效的克服神经网络训练过程中的梯度消失 和梯度爆炸问题，提高收敛速度和模型效果。

发明内容：

本发明基于认为异常样本不符合气路参数间的映射关系，为此提出了结合注 意力机制与长短时记忆网络的基于映射关系挖掘的复杂装备参数特征提取方法； 为强迫映射关系更明显的体现出正常样本和异常样本的区别，提出了极端样本不 平衡条件下的弱监督交叉熵损失函数；通过映射关系挖掘模型便可以建立复杂装 备运行参数的映射关系，正常的参数一定在映射关系的影响下小范围波动，而异 常参数则不符合这一映射关系，此外，随着设备性能的衰退，参数实际值将越来 越不符合映射关系，基于此，这一先建立映射关系，然后筛选不符合映射关系的 数据，将不符合程度作为特征，将是能够应用在异常检测领域的一种十分有效的 特征提取方法，针对演化异常和性能衰退的特征提取效果更好。

本发明通过以下措施达到：

一种基于映射关系挖掘的复杂装备参数特征提取方法，其特征在于，包括以 下步骤：

步骤1：对输入数据标准化处理，使用时间窗将其划分为时间序列数据作为模型输入；

步骤2：构建基于注意力机制与长短时记忆网络的映射关系挖掘模型；

步骤3：构建结合了WSCE损失函数的分类器；

步骤4：划分训练集与验证集，使用随机梯度下降法训练模型；

步骤5：设置初始超参数，开始使用训练模型；

步骤6：根据有标签样本数和无标签样本数的比值设置不平衡系数α，根据特征 提取结果中异常样本明显程度设置聚焦系数γ，根据MSE损失函数和WSCE损失 函数的大小设置调整系数β，其余参数根据特征提取效果结合网格搜索确定，参 数调整完成后将输出作为用于检测演化异常和突变异常的特征。

本发明中通过滑动窗口将参数原始值划分为长度为T的时间序列，使用注意 力机制结合长短时记忆网络构建用于学习映射关系的编码器(Encoder)和解码 器(Decoder)，学习观测参数与其余参数的映射关系，为防止输入的关键信息 不足导致映射关系挖掘效果精度下降，分三次建立单一参数与其余参数的映射关 系模型，模型设置如下：

步骤2-1：第一个编码器输入除EGT外其余参数的长度为T的时间序列，编码 器输出学习到的某些信息(编码)；

步骤2-2：解码器输入编码器的编码和EGT的前T-1个时刻的时间序列EGT (1～T-1)，输出学习到的T时刻EGT理论值(预测值)，使用MSE损失函数计算 预测值和实际值的损失训练模型；

步骤2-3：将实际值不符合映射关系的程度(差值)作为特征，特征表示了 气路实际运行状态与理想运行状态的偏离程度。

本发明步骤3中设置为特征分类的分类器，分类器输入提取出的特征，输出 样本预测类别；过于复杂的分类器使完整模型难以训练，且样本不平衡使得分类 器的效果难以提升，但是通过简单的分类器结合样本不平衡条件下的弱监督交叉 熵损失函数(Weakly-supervised cross-entropy under class-imbalance，WSCE)， 计算样本标签和预测类别的损失，强迫映射关系学习模型更好的体现出大部分无 标签正常样本与已知异常的差异，实现更好的特征提取效果；

使用两个损失函数的加权和计算损失，训练网络；

完整损失函数如公式(1)所示。

Loss＝Loss

式中Loss

Loss

β——用来调整两个损失函数的数量级，便于模型训练。

本发明映射关系挖掘算法采用了机器翻译等领域常用的seq2seq即编码器-解 码器结构，X＝(x

其中编码器输入数据由多个维度为n，长度为T的时间序列(矩阵)组成，图 中以某一条时间序列为例，展示了映射关系挖掘过程。因为注意力的计算需要依 赖前一时刻LSTM层隐藏状态，因此首先介绍LSTM层。对于输入的每个维度为n 长度为T的时间序列X＝(x

h＝(h

＝(f

式中h

f

每一个LSTM单元都包括遗忘门(Forget Gate)，输入门(Input Gate)和输 出门(Output Gate)，f

h

式中[h

σ——sigmoid激活函数,

上式中

添加了Input-Attention(I-Attn)后，对于某一条时间序列X＝(x

式中h

s

公式(9)中

注意力层后通过softmax层，输出值α

是第k个特征在时间t时刻的注意力权重，通过softmax层保证全部输入的 加权和为1。因此，通过添加注意力机制，输入变为：

将

f

解码器同样地，t时刻的Temporal-Attention(T-Attn)权重l

式中d

s′

其中

经过softmax层处理后，t时刻的β

注意力权重

得到加权和上下文向量c

公式(16)中

同样地，非线性函数f

d

式中

σ——sigmoid激活函数,

因此T时刻的预测值可以由某一函数F表达，如公式(23)所示。

式中[d

W

b

v

b

本发明中样本不平衡条件下的弱监督交叉熵损失函数(WeaklySupervised CrossEntropy,WSCE)，如公式(24)所示：

Loss

式中y——表示标签，y＝0表示异常，y＝1表示正常，

P——分类器输出的样本为正常的概率，

α——不平衡系数，α根据已知异常数目与样本总数的比值确定并调整，

γ——聚焦系数，用于调整损失下降速度，γ不小于0，

当样本为已知异常时，y＝0，分类器的输出P越接近0，损失越小；当样本没 有标签(大概率为正常)时，y＝1，分类器的输出P越接近1，损失越小；通过不 平衡系数α调整无标签样本分类损失-y log(P)和异常样本分类损失 (1-y)P

本发明与现有技术相比，结合注意力机制与长短时记忆网络的基于映射关系 挖掘的复杂装备参数特征提取方法；为强迫映射关系更明显的体现出正常样本和 异常样本的区别，提出了极端样本不平衡条件下的弱监督交叉熵损失函数；通过 映射关系挖掘模型便可以建立复杂装备运行参数的映射关系，正常的参数一定在 映射关系的影响下小范围波动，而异常参数则不符合这一映射关系，此外，随着 设备性能的衰退，参数实际值将越来越不符合映射关系，基于此，这一先建立映 射关系，然后筛选不符合映射关系的数据，将不符合程度作为特征，将是能够应 用在异常检测领域的一种十分有效的特征提取方法，针对演化异常和性能衰退的 特征提取效果更好。

附图说明：

附图1是用偏差值表示的航空发动机性能随时间衰退趋势曲线图。

附图2是本发明原理框图。

附图3是本发明中映射关系挖掘算法流程图。

附图4是本发明中分类器的结构框图。

附图5是本发明中混合训练方式的映射关系挖掘效果示意图。

附图6是混合训练得到的特征提取结果示意图。

附图7是新发训练得到的特征提取结果。

附图8是旧发训练得到的特征提取结果。

附图9是不加弱监督损失函数及分类器的混合训练特征提取结果示意图。

附图10仅有LSTM的映射关系挖掘模型的映射关系挖掘结果。

附图11单编码器解码器的映射关系挖掘结果。

附图12其他方法特征提取结果。

具体实施方式：

下面结合附图和实施例，对本发明作进一步的说明。

实施例1：

本例提供了一种基于映射关系挖掘的复杂装备参数特征提取方法，本例共选 取12台CFM56-5B-2/3型号发动机。CFM56-5B-2型号发动机共需要考虑包括飞行 高度(Alt)、风扇转速(FS)、核心机转速(CS)、进口总温(TAT)、排气 温度(EGT)、燃油流量(FF)、油液温度(OT)、油液压力(OP)和马赫数 (Ma)在内的九个监控数据。12台发动机共有监控参数31000余条，其中包含CNR 报告和维修记录给出的17个异常。部分气路参数原始值如表1所示，选择的数据 具有不同的单位，需要消除量纲对后续计算的影响，故需要对其进行标准化处理， 本章选择Z-Score标准化方法对其进行处理，以使不同参数间具有可比性，并提高网络训练速率。

为进行准确的特征提取，体现性能变化趋势和演化异常，提出了图2图所示 的基于映射关系挖掘的弱监督气路特征提取算法(Weakly Supervised Feature Extraction，WSFE)。

EGT、FF、CS是三个极为重要的参数，很多异常都会直接体现在其中，CNR 中提供的偏差值模型也是基于EGT、FF、CS三个参数，因此本例将EGT、FF、 CS作为特征提取所用的观测参数。

首先，通过滑动窗口将气路参数原始值划分为长度为T的时间序列，使用注 意力机制结合长短时记忆网络构建用于学习映射关系的编码器(Encoder)和解 码器(Decoder)，学习EGT、FF、CS与其余参数的映射关系，为防止输入的关 键信息不足导致映射关系挖掘效果精度下降，分三次建立单一参数与其余参数的 映射关系模型。

以第一个编码器和解码器为例介绍模型细节，为了学习EGT(T)(T时刻的 EGT)与其余数据的映射关系，模型设置如下：

1)第一个编码器输入除EGT外其余参数的长度为T的时间序列，编码器输出 学习到的某些信息(编码)；

2)解码器输入编码器的编码和EGT的前T-1个时刻的时间序列EGT(1～T-1)， 输出学习到的T时刻EGT理论值(预测值)，使用MSE损失函数计算预测值和实 际值的损失训练模型；

3)将实际值不符合映射关系的程度(差值)作为特征，特征表示了气路实 际运行状态与理想运行状态的偏离程度；

4)设置为特征分类的分类器，分类器输入提取出的特征，输出样本预测类 别。过于复杂的分类器使完整模型难以训练，且样本不平衡使得分类器的效果难 以提升。但是通过简单的分类器结合样本不平衡条件下的弱监督交叉熵损失函数 (Weakly-supervisedcross-entropy under class-imbalance，WSCE)，计算样本标 签和预测类别的损失，强迫映射关系学习模型更好的体现出大部分无标签正常样 本与已知异常的差异，实现更好的特征提取效果。

5)使用两个损失函数的加权和计算损失，训练网络。

训练弱监督气路特征提取方法的完整损失函数如公式(1)所示。

Loss＝Loss

式中Loss

Loss

β——用来调整两个损失函数的数量级，便于模型训练。

本例中映射关系挖掘算法采用了机器翻译等领域常用的seq2seq即编码器-解 码器结构，如图3所示。图中X＝(x

(1)编码器

输入数据由多个维度为n，长度为T的时间序列(矩阵)组成，图中以某一条 时间序列为例，展示了映射关系挖掘过程。因为注意力的计算需要依赖前一时刻 LSTM层隐藏状态，因此首先介绍LSTM层。对于输入的每个维度为n长度为T的 时间序列X＝(x

h＝(h

＝(f

式中h

f

每一个LSTM单元都包括遗忘门(Forget Gate)，输入门(Input Gate)和输 出门(Output Gate)，f

h

式中[h

σ——sigmoid激活函数。

上式中

添加了Input-Attention(I-Attn)后，对于某一条时间序列X＝(x

式中h

s

公式(9)中

注意力层后通过softmax层，输出值α

是第k个特征在时间t时刻的注意力权重，通过softmax层保证全部输入的 加权和为1。因此，通过添加注意力机制，输入变为：

将

f

(2)解码器

同样地，t时刻的Temporal-Attention(T-Attn)权重l

式中d

s′

其中

经过softmax层处理后，t时刻的β

注意力权重

得到加权和上下文向量c

公式中

同样地，非线性函数f

d

式中

σ——sigmoid激活函数。

因此T时刻的预测值可以由某一函数F表达，如公式(23)所示。

式中[d

W

b

v

b

交叉熵损失函数(Cross Entropy，CE)可以用于有监督分类任务，但是交叉 熵面对样本不平衡时表现不佳，焦点损失(Focalloss，FL)能够在样本不平衡时 将模型的重点集中在少数类样本，但是这两种损失函数只适用于有监督学习， 在标签不够时无法使用。为了实现样本极端不平衡条件下的弱监督特征提取， 必须研究以CE和FL为基础的能够使用弱监督标签的损失函数。

因此本发明提出了样本不平衡条件下的弱监督交叉熵损失函数(WeaklySupervised Cross Entropy,WSCE)，如公式(24)所示。

Loss

式中y——表示标签，y＝0表示异常，y＝1表示正常。

P——分类器输出的样本为正常的概率。

α——不平衡系数，α根据已知异常数目与样本总数的比值确定并调整。

γ——聚焦系数，用于调整损失下降速度，γ不小于0。

当样本为已知异常时，y＝0，分类器的输出P越接近0，损失越小；当样本没 有标签(大概率为正常)时，y＝1，分类器的输出P越接近1，损失越小；通过不 平衡系数α调整无标签样本分类损失-y log(P)和异常样本分类损失 (1-y)P

由于提取出的特征的难分性以及样本的极端不平衡，结构简单的分类器对异 常的识别能力极其有限，结构复杂的分类器效果提升有限且模型难以训练。但是 通过简单的分类器结合样本不平衡条件下的弱监督交叉熵损失函数，能够有效的 提升特征提取的效果，提取出的特征中正常和异常差异明显。分类器结构如图4 所示，采用和映射关系挖掘模型的编码器相同的网络结构，后面接两层LSTM和 一层全连接层，为节省篇幅，不再介绍分类器的公式推导。分类器全连接层神经 元数目为1，激活函数为sigmoid，损失函数采用Loss

表1CFM-5B-2航空发动机气路参数原始值

模型训练及超参数设置：

基于映射关系挖掘的弱监督气路参数特征提取应用验证过程如下所示：

1)首先对输入数据标准化处理，使用时间窗将其划分为时间序列数据作为 模型输入；

2)构建基于注意力机制与长短时记忆网络的映射关系挖掘模型；

3)构建结合了WSCE损失函数的分类器；

4)训练集与验证集划分视具体任务确定；

5)使用随机梯度下降法训练模型；

6)设置初始超参数，开始训练模型；

7)根据有标签样本数和无标签样本数的比值设置不平衡系数α，根据特征 提取结果中异常样本明显程度设置聚焦系数γ，根据MSE损失函数和WSCE损失 函数的大小设置调整系数β，其余参数根据特征提取效果结合网格搜索确定。

8)参数调整完成后将输出作为用于检测演化异常和突变异常的特征。

9)根据特征提取结果能够直观反映出异常和能够直观反映出性能衰退趋势 验证模型有效性；

10)将本发明模型多个具体细节删除进行特征提取，以验证本发明模型细节 设置是否合理；

11)为证明本发明模型的优越性，采用多个传统特征提取方法作为对比试验。

基于映射关系挖掘的弱监督气路参数特征提取模型超参数设置如表所示。

表2超参数设置

如图5所示为本发明提出的映射关系挖掘模型得到的前五十条测试集预测值(Predictedvalue)与实际值(Originalvalue)的对比，图中蓝色线条表示预测值， 黄色线条表示实际值。本发明提出的方法能够有效的学习到气路参数间的映射关 系，模型的预测值能够准确的抓住实际值的特点。

如图6到图8所示为分别使用混合数据、新发数据和旧发数据训练模型的特征 提取结果。使用混合数据的结果中前70％为训练集，后30％为测试集；使用新发 数据的结果中新发数据(灰线表示)为训练集，旧发数据(粉线表示)为测试集； 使用旧发数据的结果中，旧发数据(粉线表示)为测试集，新发数据(灰线表示) 为训练集。图中横坐标表述数据点编号，纵坐标分别表示EGT、CS和FF实际值 与模型输出的理论值的差值ΔEGT、ΔCS和ΔFF，标记为“×”的点表示CNR给 出的已知异常点。根据图中结果可以看出：使用混合数据训练的特征提取结果能 够明显的表现出大部分异常，波动较小的是新发的特征提取结果，波动较大的是 旧发的特征提取结果，提取出的特征能明显体现出新发和旧发健康状况的不同以 及发动机性能变化趋势。使用新发训练的模型对异常更敏感，但是泛化能力稍弱。 使用旧发训练的模型对异常不敏感，但泛化能力强，因此旧发动机的异常检测应 该使用新发训练的模型，新发动机的异常检测可以使用混合训练的模型。

如表3所示为不同训练方式下的得分，分别使用均方根误差(Root Mean SquareError，RMSE)、平均绝对误差(Mean Absolute Error,MAE)、平均绝对 百分比误差(MeanAbsolute Percentage Error,MAPE)和决定系数(R2score,R2) 评估映射关系挖掘效果，如公式(25)-(28)所示，其中RMSE、MAE、MAPE 均为越小越好，R2为越接近1越好。

/>

式中Var——表示y的方差。

根据表3可知，混合训练方式得到的模型映射关系挖掘效果最好，能够明显 反映出发动机性能变化趋势，能够直观反映出气路演化异常和气路突变异常，但 其用于异常检测是否效果最好还需要进一步通过实验得出。

表3不同训练方式下本发明映射关系学习模型的得分

特征提取对比试验：

下面分别使用不加Loss

为节省篇幅，不再详细展示不同训练数据得到的结果。如图9所示为不加弱 监督损失函数及分类器的混合训练特征提取结果，图中横坐标表示数据点编号， 纵坐标分别表示EGT、CS和FF实际值与模型输出的理论值的差值ΔEGT、ΔCS和 ΔFF，标记为“×”的点表示已知异常点，灰色线条表示旧发动机，粉色线条表 示新发动机。其特征提取效果略差与本发明提出的方法，部分异常表现的不够明 显，证明了本发明提出的损失函数的优越性。

根据表4的得分，无WSCE损失函数和分类器几乎不影响映射关系学习效果， 但是结合图9所示的特征提取效果，可以认为WSCE损失函数和分类器能够有效 的提高映射关系学习模型对已知异常的分辨能力。

表4无WSCE损失和分类器的映射关系学习模型的得分

图10所示为仅有LSTM的映射关系挖掘模型在验证集上的映射关系挖掘结 果，这种模型过拟合严重，几乎不能学习到气路参数间的正确映射关系。如图11 所示为仅有Attn和LSTM的单编码器-解码器的映射关系学习模型在验证集上的 映射关系挖掘效果，该模型编码器输入除EGT、FF、CS外参数的时间序列，解 码器输入编码和EGT、FF、CS前T-1时刻的时间序列，输出EGT、FF、CS的T时 刻时间序列。可以看出虽然该模型也能反映出气路变化的趋势，但是映射关系不 够准确，误差很大，证明了本发明提出的模型结构的优越性。

表5所示为该两种模型的得分，得分过低，说明映射关系挖掘误差太大，学 习到的映射关系质量低，无法使用。提取出的特征无法用于后续异常检测，因此 为节省篇幅不再展示这两种模型的特征提取结果。

表5仅LSTM和单编码器解码器的映射关系学习模型得分

如图12所示为几种经典方法的特征提取结果，图中横坐标表示数据点编号， 纵坐标表示提取出的特征(无明确的物理意义和量纲)，标记为“×”的点表示 已知异常点。这四种方法的特征提取结果几乎不能明显的表现出异常，证明了本 发明模型的优越性。

本例主要针对民航发动机气路演化异常的特征提取方法，首先选择三个重点 参数，分别挖掘这三个参数与其余参数的映射关系。为了能够准确的挖掘映射关 系，采用注意力机制结合长短时记忆网络构建编码器和解码器，使用MSE损失函 数计算预测值与实际值的损失训练模型。为了强迫学习到的映射关系更好的反映 出异常的特点，在交叉熵和焦点损失的基础上，研究了极端样本不平衡条件下的 弱监督交叉熵损失函数，通过与分类器结合使用，便可以在不降低映射关系挖掘 精度的条件下，更大程度的使映射关系反映出异常特点。最后将实际值不符合映 射关系预测值的程度作为特征，用于后续的异常检测。经过多组实验对比，证明 本发明所提出模型的每项设置都能有效提升模型效果，能够更准确的挖掘气路参 数映射关系，新的损失函数能够更明显的体现出异常样本的特点，能够明显体现 出气路性能衰退趋势，能够用于挖掘体现气路演化异常和突变异常所需的特征， 能够应用在异常检测中。