一种发动机寿命预测方法、存储介质及计算设备

技术领域

本发明属于航空涡扇发动机剩余寿命预测技术领域，具体涉及一种基于MLP集成随机抽样子空间决策树的发动机寿命预测方法、存储介质及计算设备。

背景技术

正确预测航空发动机剩余寿命是合理维护发动机和保证飞行器安全的重要手段。航空发动机相关的众多参数能体现发动机的工作状态和剩余寿命。目前随着智能化仪表和计算机存储技术的广泛应用，大量的参数数据可以得到有效地监测、收集和存储。基于收集的数据进行挖掘成为发动机剩余寿命预测的有效方式和手段之一。这种基于数据驱动的方法不需要分析故障状态和各参数之间的工作机理，也不依赖于专家的知识与经验，但需要充分挖掘数据隐藏的信息才能更好地预测发动机的剩余寿命。

目前，在发动机数据挖掘方法上主要有基于统计的方法、基于机器学习的方法或结合统计方法和机器学习的组合预测方法等。统计学方法主要侧重于分析属性之间的关系，基于此建立退化模型或从相似性角度出发计算发动机的剩余使用寿命。近年来随着机器学习方法在工业场景中的广泛应用，其也被越来越多地用来自动挖掘隐藏在发动机相关监测数据中的信息。

以往的研究工作应用一定的方法和技术手段实现对航空发动机剩余使用寿命的预测，促进了这一领域的研究进展，但用于数据分析和挖掘的属性的选取无特定的规律。有的方法采用与发动机相关的14个检测参数，还有的方法采用7个或8个参数。为了避免特征选择不恰当给预测带来的损失问题，有必要研究不同属性特征组合下的预测性能。随机子空间有利于探测不同特征组合，决策树方便在子空间上建立预测模型。为避免单一决策树可能带来的不够可靠和稳健的问题，同时为了考虑不同子空间上的预测结果，以多层感知器(Multi-Layer Perceptron，MLP)自学习集成子空间决策树的方式给出预测结果。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于MLP集成随机抽样子空间决策树的发动机寿命预测方法、存储介质及计算设备，以探讨多种特征组合下的发动机剩余寿命，以MLP自学习的方式集成多种特征组合下基于决策树的预测结果。

本发明采用以下技术方案：

一种发动机寿命预测方法，包括以下步骤：

S1、依据特征之间的相关程度去除发动机状态数据中信息冗余的特征，同时根据特征与预测目标之间的相关性去除与预测目标相关系数绝对值小于0.15的特征；

S2、随机选取抽样特征子空间，以特征子空间中的特征属性为节点，以最小化均方误差为依据选择最优分裂节点，通过迭代分裂节点构建决策回归树，得到不同抽样子空间上对应的决策树，不同抽样子空间上的决策树得到对应特征组合下的寿命预测结果；

S3、构建MLP模型结构和损失函数，通过Adam算法学习得到MLP模型参数；

S4、基于训练好的MLP模型集成多棵决策树的预测结果，得到发动机的剩余使用寿命。

具体的，步骤S1具体为：

S101、设有m个样本，每个样本有N维特征，第i个特征表示为F

S102、通过Pearson相关系数判断特征之间以及特征和预测目标之间的相关程度，根据相关系数进行特征选择。

进一步的，步骤S102具体为：

S1021、任意两个特征之间的Pearson相关系数大于0.95的情况，去掉其中一个特征；

S1022、任意一个特征和剩余寿命目标间相关系数的绝对值小于0.15的情况，去掉对应特征；

S1023、经过步骤S1021和S1022处理后剩余的特征即为特征选择结果。

具体的，步骤S2具体为：

S201、使用Bootstrap随机抽样的方法重复n次得到n个抽样样本集；在每个抽样样本集上随机选择特征得到随机抽样子空间；

S202、在每个随机抽样子空间样本集sub_new_train_data[i]上构建一颗决策树，n个随机抽样子空间样本集共构建n棵决策树；

S203、决策树相关参数寻优。

进一步的，步骤S202具体为：

S2021、对每个随机抽样子空间样本集sub_new_train_data[i]，选择一个最优特征值进行节点分裂，以均方误差MSE衡量分裂点的优劣，均方误差MSE是真实值与预测值的差值的平方然后求和平均，计算如下：

其中，l为随机抽样子空间样本数，y

S2022、在步骤S2021节点分裂的基础上得到的子节点上分别再选最优特征值进行下次分裂，最优分裂点的选取都以最小化均方误差MSE为准则，重复分裂过程直到树的最大深度数max_depth达到给定的阈值。

进一步的，步骤S203具体为：

S2031、设定子空间最大特征数目可搜索范围为1到最大特征数目，随机抽样子空间的个数可搜索范围为50～200，决策树的最大深度数可搜索范围为1～10；

S2032、在每个可搜索特征数目上、每个可搜索随机抽样子空间的个数上和每个可搜索最大深度数上，采用网格搜索法搜索每一组参数下，对应的决策树在训练集上的均方误差MSE；

S2033、选择最小的均方误差MSE对应的特征数目为随机子空间的最大特征数、对应的子空间个数为随机抽样子空间的数目n、对应的深度数作为决策树的最大深度数max_depth。

具体的，步骤S3具体为：

S301、构建包含输入层、两个隐含层和输出层的MLP神经网络，MLP神经网络的输入是各个随机抽样子空间上决策树的输出结果，隐含层每一个神经元对输入进行非线性运算，第一个隐含层第j个神经元的输出为：

第二个隐含层第k个神经元的输出为：

神经网络最终输出为：

采用ReLU激活函数如下：

f(x)＝max(0,x)

S302、构建MLP损失函数，然后基于Adam算法训练MLP，MLP损失函数如下：

其中，第一项为模型预测值与真实值之间的误差平方和，y

具体的，步骤S4中，训练好MLP模型后，航空发动机的剩余使用寿命RUL计算如下：

RUL＝MLP(trees_predict(test))

其中，test为需要预测RUL的航空发动机的各子空间特征向量组成的集合，trees_predict()表示在各随机子空间上建立的决策树集合，MLP()表示MLP模型对应的函数计算。

本发明的另一个技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。

本发明的另一个技术方案是，一种计算设备，包括：

一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于MLP集成随机抽样子空间决策树的发动机寿命预测方法，依据特征之间的相关程度去除信息冗余的特征，同时根据特征与预测目标之间的相关性去除与预测目标相关程度小的特征，基于随机抽样子空间和决策树探测不同特征组合下的预测结果，基于MLP自学习集成不同子空间对应的预测结果，以避免选取某一特定特征空间的困难和风险问题，又通过运用集成预测方法避免单一预测方法不够可靠和稳健的问题。

进一步的，通过去除原始特征空间中信息冗余的特征和与预测目标相关程度小的特征，有利于步骤S2更有效地随机选取特征子空间。

进一步的，根据Pearson相关系数大小进行特征选择，有利于去除冗余特征和与预测目标相关程度小的特征。

进一步的，在特征选择后得到的特征空间上进行随机抽样子空间的选取，有益于得到不同的特征组合，在随机抽样子空间上建立决策树有益于得到对应特征组合下的发动机剩余寿命预测结果。

进一步的，建立各随机抽样子空间上的决策树，有益于探测不同特征组合上的预测性能，得到不同特征组合空间上的发动机剩余寿命预测结果。

进一步的，通过网格搜索法寻找使得预测性能评价指标值MSE最佳的决策树参数，旨在得到各随机抽样子空间上的最佳预测性能。

进一步的，通过设计合理的网络结构、损失函数和训练算法学习得到MLP模型，基于建立的MLP模型可集成各随机抽样子空间上决策树的预测结果，给出更为准确和可靠的剩余寿命预测结果。

进一步的，得到用本发明方法计算的发动机剩余寿命预测结果，为航空发动机的保养和故障预测提供依据。

综上所述，本发明结合了特征选择、随机抽样子空间、决策树和MLP集成预测等各个模块的优势，有效挖掘已有数据中隐藏的信息，可用于航空发动机的剩余寿命预测。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为MLP集成随机抽样子空间决策树的航空发动机寿命预测方案示意图；

图2为相关分析热度图；

图3为MLP模型结构图；

图4为测试集上预测值与真实值对比图；

图5为各个剩余寿命区间上的平均绝对误差图；

图6为各个剩余寿命区间上的均方根误差图；

图7为各个剩余寿命区间上的预测准确率图。

具体实施方式

本发明提供了一种基于MLP集成随机抽样子空间决策树的发动机寿命预测方法、存储介质及计算设备，解决发动机状态关联参数多但不知何种特征组合对寿命预测更为有效的问题；该方法包括以下步骤：首先依据特征之间的相关程度去除信息冗余的特征，同时根据特征与预测目标之间的相关性去除与预测目标相关系数绝对值小于0.15的特征；然后随机选取抽样样本的特征子空间，以特征子空间中的特征属性为节点，以最小化均方误差为依据选择最优分裂节点，通过迭代分裂节点构建决策回归树，不同子空间上的决策树得到对应特征组合下的寿命预测结果；接着构建MLP模型结构和损失函数，通过Adam算法学习得到MLP模型参数；最后基于训练好的MLP模型集成多棵决策树的预测结果，得到发动机的剩余使用寿命。同现有方法相比，该方法探讨了不同特征组合空间上的发动机寿命预测结果，通过学习的方法集成不同子空间上的预测值，提高预测准确度和可靠性，为航空发动机的保养和故障预测提供依据。

请参阅图1，本发明一种基于MLP集成随机抽样子空间决策树的发动机寿命预测方法，对于监测到的发动机状态数据，先依据特征之间的相关程度去除信息冗余的特征，同时根据特征与预测目标之间的相关性去除与预测目标相关程度小的特征；然后随机选取抽样样本集，在随机抽样样本集上随机选取特征子空间，在得到的随机抽样子空间上建立决策回归树，得到不同子空间上对应的决策树；接着构建MLP模型结构和损失函数，通过Adam算法学习得到MLP模型参数；最后基于训练好的MLP模型集成多棵决策树的预测结果，得到发动机的剩余使用寿命。具体步骤如下：

S1、依据特征之间的相关程度去除发动机状态数据中信息冗余的特征，同时根据特征与预测目标之间的相关性去除与预测目标相关系数绝对值小于0.15的特征；

S101、相关性计算；

为了考查特征之间的相关程度，用Pearson相关系数表征两个特征之间的相关性。设有m个样本，每个样本有N维特征，第i个特征表示为F

其中，

Pearson相关系数的取值范围是[-1,1]，Pearson相关系数大于0表示特征F

S102、特征选择；

通过计算出的Pearson相关系数来判断特征之间的相关程度，并根据相关系数大小进行特征选择，具体步骤如下：

S1021、任意两个特征之间的Pearson相关系数大于0.95的情况，去掉其中一个特征；

S1022、任意一个特征和剩余寿命这一目标之间的相关系数的绝对值小于0.15的情况，去掉该特征；

S1023、经过第一步和第二步处理后剩余的特征即为特征选择结果。

S2、随机选取抽样特征子空间，以特征子空间中的特征属性为节点，以最小化均方误差为依据选择最优分裂节点，通过迭代分裂节点构建决策回归树，得到不同抽样子空间上对应的决策树，不同抽样子空间上的决策树得到对应特征组合下的寿命预测结果；

S201、样本抽样和随机选择特征；

为了得到n个随机抽样子空间，使用Bootstrap随机抽样的方法重复n次得到n个抽样样本集。在每个抽样样本集上随机选择特征得到随机抽样子空间，该算法描述如下：

算法：基于Bootstrap随机抽样和随机选择特征子空间算法

输入：训练样本train_data

输出：n个抽样子空间样本集sub_new_train_data

算法描述：

1.给定抽样样本数l、子空间最大特征数目max_features

2.for i＝1 to n

3.new_train_data[i]赋值为空

4.for j＝1 to l

5.从train_data中随机抽取一个样本，放入new_train_data[i]集合中

6.end for

7.从new_train_data[i]中随机抽取max_features维特征构成子空间训练数据集sub_new_train_data[i]

8.end for

9.返回sub_new_train_data

S202、构建决策回归树

在每个随机抽样子空间样本集sub_new_train_data[i]上构建一颗决策树，n个随机抽样子空间样本集共构建n棵决策树。每棵树的构建步骤如下：

S2021、选择一个最优特征值进行节点分裂。穷举子空间上每个特征的每个取值找最好的分裂点，以均方误差(MSE，Mean Square Error)衡量分裂点的优劣。MSE是真实值与预测值的差值的平方然后求和平均，其计算公式如式(2)所示：

其中，l为随机抽样子空间样本数，y

S2022、在前一步节点分裂的基础上得到的子节点上分别再选最优特征值进行下次分裂，最优分裂点的选取都以最小化MSE为准则，重复这样的分裂过程直到树的最大深度数max_depth达到给定的阈值。

S203、决策树相关参数寻优

构建决策树涉及的重要参数有：随机抽样子空间的个数、子空间最大特征数目、决策树的深度；用网格交叉验证方法解决模型的调参问题，先将训练集均分成3个不相交的子集，对每一组决策树参数先用两个子集建立决策树，然后用剩下的一个子集验证该决策树的性能，经过3次循环验证，平均MSE作为该参数下决策树的性能评价依据。

决策树相关参数寻优，具体步骤如下：

S2031、设定子空间最大特征数目可搜索范围为1到最大特征数目，随机抽样子空间的个数可搜索范围为50到200，决策树的最大深度数可搜索范围为1到10；

S2032、在每个可搜索特征数目上、每个可搜索随机抽样子空间的个数上和每个可搜索最大深度数上，采用网格搜索法搜索每一组参数下，对应的决策树在训练集上的预测性能评价值MSE；

S2033、选择最小的MSE对应的特征数目为随机抽样子空间的最大特征数、对应的随机抽样子空间的个数为寻优后随机抽样子空间的个数n、对应的深度数作为决策树的最大深度数。

S3、构建MLP模型结构和损失函数，通过Adam算法学习得到MLP模型参数；

S301、构建MLP模型结构；

请参阅图3，MLP是由多个神经元组成的一种网络模型，在每一个神经元上进行非线性运算，MLP神经网络的输入是各个子空间上决策树的输出结果，第一个隐含层第j个神经元的输出

其中，n为MLP模型的输入变量个数，j∈{1,2,...,n

第二个隐含层第k个神经元的输出

其中，k∈{1,2,...,n

神经网络最终输出y

其中，

为了有选择地对决策树的输出进行组合预测，采用ReLU激活函数，形式如下式(7)所示：

f(x)＝max(0,x) (7)

S302、构建MLP损失函数，基于Adam算法训练MLP；

为了减小MLP模型对训练数据的过度拟合，在设计训练损失函数时不仅考虑了误差平方和，还添加了正则项来约束模型的权重，从而降低模型的复杂度，损失函数定义如下式(8)所示：

其中，第一项为模型预测值与真实值之间的误差平方和，y

S4、基于MLP集成决策树的预测结果。

训练好MLP模型之后，对需要预测剩余使用寿命的航空发动机使用下式(9)计算：

RUL＝MLP(trees_predict(test)) (9)

其中，test为需要预测RUL的航空发动机的各子空间特征向量组成的集合，trees_predict()表示在各随机子空间上建立的决策树集合，MLP()表示MLP模型对应的函数计算。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过NASA的C-MAPSS航空发动机数据集来验证本发明方法。数据集是NASA进行资产退化建模的非常著名的公共数据集，也是研究航空发动机寿命预测最常用的数据集之一。

数据集可进一步分为训练集和测试集；训练集包括100组发动机从正常状态到故障状态的变化数据，共有20631行，26列有效数据，测试集也包括100台发动机数据，用于验证算法性能。数据集第一列为发动机编码，第二列为使用周期数，第3、4、5列分别对应于发动机的三种操作模式，剩余的21列为传感器对应的测量值，表1给出了该数据集中21个属性的描述。在这26列数据中，第三种操作模式、设定风扇转速、设定核心机换算转速、风扇入口压力、风扇入口总温、燃烧室燃气比和发动机压比的数据值一直未发生改变，说明发动机使用寿命和这些数据无关。经过删除7个常数值的列，数据集中还有19个属性。另外，考虑发动机初期性能相对平稳，退化趋势不明显，即先经历性能正常阶段，运行一段时间后发生退化。据此，根据剩余寿命的分段模型，该模型将设备的剩余寿命划分成常数阶段和线性递减阶段，本发明根据分段模型的转折点，直接用使用周期数大于75的样本学习发动机的性能退化过程。

表1传感器数据集描述

步骤S1中，基于式(1)计算19个特征之间的Pearson相关系数以及预测目标RUL和各特征之间的相关系数，结果采用如图2所示的“热度图”表示。经过相关分析进行特征选择，最终选取的14个特征是T24、T30、T50、P30、Nf、Nc、Ps30、Phi、NRf、BPR、htBleed、W31、W32。

在步骤S203决策树相关参数寻优过程中，经过网格交叉验证得到决策树的最优参数为：n为70，最大子空间特征数为7，树的最大深度为5。

在步骤S3中，学习到的MLP参数为表2所示：

表2 MLP模型参数调优结果

请参阅图4，在步骤S4基于MLP集成决策树的预测结果中，给出了100个测试发动机样本上的预测值和真实值。

发动机剩余寿命预测的评价指标包括平均绝对误差(MAE)、均方根误差(RMSE)、惩罚得分、拟合优度(R

将发动机剩余寿命预测误差定义为L

其中：

考虑到滞后预测比提前预测带来的后果可能更为严重，惩罚得分Score这一指标考虑了对滞后预测进行一个惩罚，其计算方法为：

MAE表示预测值与真实值之间绝对误差的平均值，其值越小说明预测值与真实值之间的偏差越小；计算公式如式(12)所示：

其中，y

RMSE表示预测值与真实值之间残差的样本标准差，这一指标可衡量预测结果的离散程度。其值越大说明离散程度越高。其计算公式如式(13)所示：

拟合优度R

其中，

100台测试发动机剩余寿命的相关指标值如表3所示。

表3 MLP集成随机抽样子空间决策树的发动机寿命预测性能指标结果

在发动机使用过程中，实际剩余寿命会随着维修保养等操作发生变化，使得越接近最终寿命时的预测越有意义。所以有必要分析当剩余寿命位于不同区间时，预测指标值的变化趋势。为了保证测试样本在每个区间都有一定的数目分布，本实施例中选取[0,30)、[30,60)、[60,90)、[90,120)、[120,150)共5个区间分析了平均绝对误差、均方根误差和预测准确率的变化情况，结果分别见图5、图6和图7所示。

请参阅图5，当真实剩余寿命处于[30,60)这一区间时，MAE值最小，为7.45，而当真实剩余寿命处于[0,30)时，MAE值相对于[60,90)、[90,120)、[120,150)区间的MAE值要小得多，此时MAE值为8.6。

请参阅图6，RMSE在各个区间的取值大小规律和MAE的相同，在[0,30)区间内RMSE取值为12.29，[30,60)区间内对应的取值为9.64。

从图7预测准确率随剩余寿命区间分布来看，当剩余寿命在最短的区间[0,30)时，准确率最高，其值为0.72。这符合当发动机使用周期越接近于其真实寿命时，希望其预测越准确的应用需求。

综上所述，本发明一种发动机寿命预测方法、存储介质及计算设备，随机选取抽样特征子空间探测了不同特征组合，借助于决策树得到了不同子空间上发动机的剩余寿命，应用MLP集成了不同子空间上决策树的预测结果，得到了航空发动机剩余使用寿命。实验结果验证了本方法的实用性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。