贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法

技术领域

本发明属于预测与健康管理中的剩余寿命预测技术领域，特别是一种贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法。

背景技术

故障的发生可能会导致巨大的维修更换成本，甚至威胁人们的生命健康安全。为了预测并管理系统未来可能出现的风险，提高战备完好率和任务成功率，让机器设备更安全、可靠地运行，对机器设备进行预测与健康管理(Prognostics and health management,PHM)至关重要。在PHM中，预测是健康管理的基础，健康管理通过感知设备的状态，结合预测信息，根据实际的需求与资源做出下一步维修行为的决策。因此，对设备剩余寿命(Remaining useful life，RUL)进行预测是PHM技术的核心工作。随着传感器技术的飞速发展，各种设备都可以在线监测其健康状态，为数据驱动的预测方法提供了足够的数据支持。深度学习(Deep learning，DL)凭借着其卓越的非线性捕捉能力，在RUL预测领域受到越来越多的关注。

尽管DL方法能够实现良好的RUL预测，但是该方法只能提供RUL点估计值，无法实现不确定性的量化。在现实系统中，RUL预测常常会受到两类不确定性的影响：一种是固有不确定性，与数据本身有关，反映了数据噪声、测量误差等不可控因素的影响；另一种是认知不确定性，反映了数据量的限制对网络可信度的制约。贝叶斯方法通过结合已知信息对后验分布进行推理，是一个强大的不确定性量化框架，近年来将贝叶斯方法同DL结合起来的贝叶斯深度学习(Bayesian deep learning,BDL)方法成为了广大研究者的研究热点。BDL融合了DL强大的非线性处理能力和贝叶斯方法的不确定性量化能力，具有非常广阔的应用前景。但是，BDL的计算需要大量的计算成本和时间成本，大大限制了BDL的实际应用。幸运的是，Gal和Ghahramani已经证明，将正则化方法dropout应用于深度神经网络可将其近似为贝叶斯深度神经网络(Bayesian deep neural network,BDNN)，这让BDL的快速计算和实际应用成为可能。但由于网络选取的误差和近似推理的使用，贝叶斯不确定性估计通常是不准确的。例如，置信度为95％的后验置信区间通常无法包含95％的真实结果。因此，为了获取准确的不确定性量化结果，寻求一种贝叶斯深度学习的剩余寿命预测及其不确定性量化校准方法是十分迫切且必要的。

发明内容

本发明针对上述现有技术中的缺陷，提出一种贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法。该方法包括预处理系统退化数据获取基础数据集，确定深度神经网络类型和规模，构建基于贝叶斯深度学习的剩余寿命预测网络，确定剩余寿命预测网络的超参数进行训练和验证，量化所训练剩余寿命预测网络的不确定性，获取不确定性校准系数，判断预测不确定性的校准系数和固有不确定性的校准系数是否均不再改变或变化很小，若是输出剩余寿命预测值和不确定性量化结果。本发明构建了贝叶斯深度学习网络进行不确定性建模，通过蒙特卡洛采样获得预测分布，结合保序回归和STD scaling法进行预测不确定性、固有不确定性、认知不确定性的校准，可有效提高预测精度和不确定性校准质量。

本发明提供一种贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法，其包括以下步骤：

S1、预处理系统退化数据获取基础数据集：对系统退化数据进行预处理，包括特征筛选、特征降维、数据归一化和集合划分，得到用于网络训练、验证、测试和校准的基础数据集，包括训练集、验证集、测试集和校准集；

S2、确定深度神经网络类型和规模：根据退化数据特征选择合适类型的深度神经网络，包括卷积神经网络CNN和长短期记忆网络LSTM，并根据数据集的大小确定网络的规模，包括神经元数目和网络层数；

S3、构建基于贝叶斯深度学习的剩余寿命预测网络：将正则化方法Concretedropout应用于所选的深度神经网络来捕捉认知不确定性，并在网络输出上放置一个高斯分布来捕获固有不确定性，依此构建基于贝叶斯深度学习的剩余寿命预测网络，并确定网络的损失函数；

S31、将认知不确定性量化融入网络，使用KL散度并结合蒙特卡洛采样法得到推断分布和真实后验分布的距离的解析表达式；

S32、将固有不确定性量化融入网络，获取网络的损失函数Loss：

S33、在使用梯度下降法优化损失函数时，从伯努利分布中采样，为使用重参数化法更新参数，将离散的伯努利分布替换成其对应的Concrete分布，即采样点z为：

其中，t为温度参数，用以控制从Concrete分布和伯努利分布中采样点的相似性，取0.1；p

S4、确定剩余寿命预测网络的超参数进行训练和验证：通过网格搜索策略确定剩余寿命预测网络的超参数，包括批次大小、训练轮数和学习率，在训练集上训练网络并通过验证集验证，以防止网络过拟合；

S5、量化所训练剩余寿命预测网络的不确定性：在剩余寿命预测网络测试阶段，在测试集上通过蒙特卡洛dropout获得预测分布以估计剩余寿命，并利用不确定性分解公式分别量化预测不确定性、认知不确定性和固有不确定性；

S6、获取不确定性校准系数：基于量化所训练剩余寿命预测网络的不确定性，获取对应预测不确定性和固有不确定性的校准系数：

S61、定义校准：校准被定义为网络输出的预测分布的累积分布函数(CDF)和经验得到的CDF在数据量足够大的情况下能够匹配，更直观地，即被定义为置信度为α的后验置信区间应当包含占比为α的真实结果；

S62、基于校准定义，对于未校准网络H，进行预测不确定性校准；

S621、给定校准集

其中，μ

S622、计算φ

其中，I{·}表示指示函数；

S623、构建校准数据集S：

S624、在校准数据集S上利用保序回归拟合特征φ

S63、校准固有不确定性和认知不确定性：结合STD scaling方法，直接对网络方差进行放缩，并利用极大似然原则获取校准系数的取值，实现固有不确定性和认知不确定性的校准；

S7、判断预测不确定性的校准系数λ

S8、输出剩余寿命预测值和不确定性量化结果：由校准后的网络输出剩余寿命的预测值及其预测不确定性、固有不确定性和认知不确定性的量化结果。

进一步，所述步骤S31具体包括以下步骤：

S311、对于一个L层的深度神经网络，每层单元数量为K

其中，W

S312、将Concrete dropout应用于深度神经网络以捕捉认知不确定性，即把固定的网络权重ω处理成推断分布q

其中，θ表示变分参数且有：

其中，M

S313、对于历史数据中的N个输入

KL(q

其中，p(Y|X,ω)表示基于历史数据集的似然函数；p(ω)表示权重的先验分布且选取为：

其中，p(W

S314、结合蒙特卡洛采样法，得到KL(q

其中，p(y

所述步骤S32具体包括以下步骤：

S321、在网络输出上放置一个高斯分布：

p(y

其中，μ(x

S322、考虑到观测噪声的建模会受到数据不足和网络认识不充分的制约，即受到认知不确定性的影响，将固有不确定性建模为σ

进一步，所述步骤S63具体包括以下步骤：

S631、通过不确定性分解公式表示各类不确定性校准后数值的关系：

λ

其中，η

S632、固有不确定性的校准系数λ

其中，σ

其中，μ

S633、对预测不确定性校准系数

S6331、对于训练好的网络

S6332、在校准集上利用S62步骤的校准方法校准预测不确定性，得到预测不确定性的校准系数

S6333、利用极大似然估计在校准集上估计固有不确定性的校准系数

S6334、将

S6335、将训练后的子网络更新至

优选的，所述步骤S5具体包括以下步骤：

S51、通过预测方差来衡量不确定性，且预测方差Var(y|x)分解为：

Var(y|x)＝Var

其中，Var

S52、对于测试数据x

S53、计算预测均值及不确定性：

其中，预测均值μ

认知不确定性

固有不确定性

预测不确定性

进一步，所述步骤S8中预测不确定性

固有不确定性

认知不确定性

与现有技术相比，本发明的技术效果为：

1、本发明设计的一种贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法，基于对设备的退化数据进行预处理后得到的数据集，根据数据特征和数据集的大小选择合适类型和规模的深度神经网络，并在此基础上，构建贝叶斯深度学习网络以建模固有不确定性和认知不确定性，并确定其损失函数，网络中的超参数通过网格搜索的策略进行选择，随后进行网络训练，并结合验证集数据防止网络过拟合。

2、本发明设计的一种贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法，对于训练好的网络，通过蒙特卡洛采样获得预测分布，进而得到预测值及各类不确定性的量化结果，为了校准不确定性，结合保序回归和STD scaling方法，提出了预测不确定性、固有不确定性、认知不确定性的校准，最后由已校准的网络预测剩余寿命和量化不确定性，可有效提高预测精度和不确定性校准质量。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是本发明的贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法流程图；

图2是本发明的针对涡扇发动机和锂离子电池数据集构建的预测网络图；

图3a为本发明在FD001数据集上剩余寿命预测值及0.9置信度下置信区间的估计结果；

图3b为本发明在FD001数据集上的固有不确定性和认知不确定性的量化结果；

图4a为本发明在FD002数据集上剩余寿命预测值及0.9置信度下置信区间的估计结果；

图4b为本发明在FD002数据集上的固有不确定性和认知不确定性的量化结果；

图5a为本发明在FD003数据集上剩余寿命预测值及0.9置信度下置信区间的估计结果；

图5b为本发明在FD003数据集上的固有不确定性和认知不确定性的量化结果；

图6a为本发明在FD004数据集上剩余寿命预测值及0.9置信度下置信区间的估计结果；

图6b为本发明在FD004数据集上的固有不确定性和认知不确定性的量化结果；

图7a为本发明在锂离子电池数据集上剩余寿命预测值及0.9置信度下置信区间的估计结果；

图7b为本发明在锂离子电池数据集上的固有不确定性和认知不确定性的量化结果。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明的贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法，该方法包括以下步骤：

S1、预处理系统退化数据获取基础数据集：对系统退化数据进行预处理，包括特征筛选、特征降维、数据归一化和集合划分，得到用于网络训练、验证、测试和校准的基础数据集，包括训练集、验证集、测试集和校准集。

S2、确定深度神经网络类型和规模：根据退化数据特征选择合适类型的深度神经网络，包括卷积神经网络CNN和长短期记忆网络LSTM，并根据数据集的大小确定网络的规模，包括神经元数目和网络层数。

S3、构建基于贝叶斯深度学习的剩余寿命预测网络：将正则化方法Concretedropout应用于所选的深度神经网络，以使之近似为贝叶斯深度神经网络来捕捉认知不确定性，并在网络输出上放置一个高斯分布来捕获数据本身的噪声，即固有不确定性，依此构建基于贝叶斯深度学习的剩余寿命预测网络，并确定网络的损失函数。其中，Concretedropout是指在深度学习网络的训练过程中，对于神经网络单元，基于贝叶斯估计，按照一定的概率将其暂时从网络中丢弃并实时优化其丢弃概率的方法。

S31、将认知不确定性量化融入网络，使用KL散度并结合蒙特卡洛采样法得到推断分布和真实后验分布的距离的解析表达式。

S311、对于一个L层的深度神经网络，每层单元数量为K

其中，W

S312、将Concrete dropout应用于深度神经网络以捕捉认知不确定性，即把固定的网络权重ω处理成推断分布q

其中，θ表示变分参数且有：

其中，M

S313、对于历史数据中的N个输入

KL(q

其中，p(Y|X,ω)表示基于历史数据集的似然函数；p(ω)表示权重的先验分布且选取为：

其中，p(W

S314、结合蒙特卡洛采样法，得到KL(q

其中，p(y

S32、将固有不确定性量化融入网络，获取网络的损失函数Loss。

S321、在网络输出上放置一个高斯分布：

p(y

其中，μ(x

S322、考虑到观测噪声的建模会受到数据不足和网络认识不充分的制约，即受到认知不确定性的影响，将固有不确定性建模为σ

S33、在使用梯度下降法优化损失函数时，从伯努利分布中采样，为使用重参数化法更新参数，将离散的伯努利分布替换成其对应的Concrete分布。Concrete分布是指在具有封闭形式密度的单纯形上的连续分布，且允许梯度信息在概率状态间传递。采样点z为：

其中，t为温度参数，用以控制从Concrete分布和伯努利分布中采样点的相似性，取0.1；u表示均匀分布[0,1]中的采样点，得到采样点z关于p

上述的步骤S3是本发明的重要发明点，主要体现在，构建贝叶斯深度学习网络以建模固有不确定性和认知不确定性，并确定其损失函数，为量化不确定性提供了重要依据。

S4、确定剩余寿命预测网络的超参数进行训练和验证：通过网格搜索策略确定剩余寿命预测网络的超参数，包括批次大小、训练轮数和学习率，在训练集上训练网络并通过验证集验证，以防止网络过拟合。

S5、量化所训练剩余寿命预测网络的不确定性：在剩余寿命预测网络测试阶段，在测试集上通过蒙特卡洛dropout获得预测分布以估计剩余寿命，并利用不确定性分解公式分别量化预测不确定性、认知不确定性和固有不确定性。其中，蒙特卡洛dropout是指在网络测试阶段将某些神经网络单元从网络中丢弃，对同一个输入进行多次前向传播的过程。

S51、通过预测方差来衡量不确定性，且预测方差Var(y|x)分解为：

Var(y|x)＝Var

其中，Var

S52、对于测试数据x

其中，μ

S53、计算预测均值及不确定性：

其中，预测均值μ

认知不确定性

固有不确定性

预测不确定性

S6、获取不确定性校准系数：基于量化所训练剩余寿命预测网络的不确定性，获取对应预测不确定性和固有不确定性的校准系数。

S61、定义校准：校准被定义为网络输出的预测分布的累积分布函数(CDF)和经验得到的CDF在数据量足够大的情况下能够匹配，更直观地，即被定义为置信度为α的后验置信区间应当包含占比为α的真实结果。

S62、基于校准定义，对于未校准网络H，进行预测不确定性校准。

S621、给定校准集

其中，μ

S622、计算φ

其中，I{·}表示指示函数。

S623、构建校准数据集S：

S624、在校准数据集S上利用保序回归拟合特征φ

S63、校准固有不确定性和认知不确定性：结合STD scaling方法，直接对网络方差进行放缩，并利用极大似然原则获取校准系数的取值，实现固有不确定性和认知不确定性的校准。其中，STD scaling是指将待校准分布的标准差上乘一放缩因子，以实现对其衡量的不确定性的整体放缩。

S631、通过不确定性分解公式表示各类不确定性校准后数值的关系：

λ

其中，η

S632、固有不确定性的校准系数λ

其中，μ

S633、对预测不确定性校准系数

S6331、对于训练好的网络

S6332、在校准集上利用S62步骤的校准方法校准预测不确定性，得到预测不确定性的校准系数

S6333、利用极大似然估计在校准集上估计固有不确定性的校准系数

S6334、将

S6335、将训练后的子网络更新至

上述的步骤S6是本发明的重要发明点，主要体现在，结合保序回归和STD scaling方法，提出的预测不确定性、固有不确定性、认知不确定性的校准，为剩余寿命预测和不确定性的精准量化提供了重要依据。

S7、判断预测不确定性的校准系数λ

S8、输出剩余寿命预测值和不确定性量化结果：由校准后的网络输出剩余寿命的预测值及其预测不确定性、固有不确定性和认知不确定性的量化结果。

其中，预测不确定性

固有不确定性

认知不确定性

下面结合涡扇发动机和锂离子电池对本发明做进一步的详细说明。

S1、预处理系统退化数据获取基础数据集：对涡扇发动机和锂离子电池数据集进行分析并预处理：涡扇发动机退化数据集由商用模块化航空推进仿真系统(CommercialModular Aero-Propulsion System Simulation，C-MAPSS)生成。该数据集由FD001、FD002、FD003、FD004四个子数据集组成，每个子数据集包含一个训练集和一个测试集。进一步划分训练发动机数据，取其中20％的发动机数据作为验证集，10％的发动机数据作为校准集，其余为训练集。每个子数据集均由21个传感器信号和3维工况数据多组多个时间序列组成，每组时间序列数据对应一台发动机的退化过程状态参数的变化情况。每台发动机属于同类产品，但有不同的初始状态，包括初始磨损和个体间制造上的差异。该数据集的基本概况如表1所示。

表1

C-MAPSS数据集包含21个传感器采集信号，但是有些传感器信号在整个退化过程中保持恒定，如T2、P2、P15、epr、farB、Nf-dmd和PCNfR-dmd，这些传感器信号无法反映发动机的退化状态。因此，为了降低输入维度，舍弃了这些传感器信号。对于三维的工况数据，通过对其聚类以降低数据维度，简化输入数据的形式，从而利于提高网络的计算速度和预测准确度。因此，最终选取输入数据为14维的传感器数据、1维工况数据和1维运行时间数据。

此外，考虑到不同工况下的传感器信号和不同传感器之间信号的幅值差异，利用归一化技术将原始信号映射到[0,1]范围内：

其中，

锂离子电池数据集由A123系统(APR18650M1A)制造的124个锂离子磷酸(LFP)/石墨电池的退化数据组成。在30℃的强制对流温度条件下，这些电池在48通道Arbin LBT恒电位仪上进行快速充放电，并利用传感器采集参数信号。根据测试开始的日期，数据集可以分为3个批次，各个批次之间在实验设计上都有一些不同之处。

选取该数据集的第二个批次共43个电池数据进行实验，每个电池均在同一运行条件下快速充放电直至失效，并进一步划分数据集，其中训练集、验证集、校准集、测试集的电池数量比例为5:2:1:2。与由截断数据组成的发动机测试集不同，锂离子电池测试集由全寿命周期数据组成。每个电池的全寿命周期数据共八维：充电时间、循环次数、内阻抗、放电容量、充电容量、平均温度、最高温度、最低温度。经分析，锂离子电池退化的主要表现形式为放电容量的降低。因此将放电容量达到初始放电容量的80％经历的循环数作为该电池的寿命。此外，上述信号中某些维度信号存在冗余，如放电容量和充电容量，平均温度、最高温度和最低温度。因此，为了简化输入，在这些冗余信号中选取一维信号作为最终的输入。最终选取的输入数据为：内阻抗、放电容量、平均温度、充电时间和循环次数。

与发动机数据预处理一样，选择归一化方法处理不同维度输入数据的幅值差异。但是，与发动机不同的是，锂离子电池的采集信号存在较大尖峰，使得归一化后的数据无法合理分布于[0,1]之间。因此，在归一化之前，需要先去除信号中的尖峰。

S2、确定深度神经网络类型和规模：根据退化数据特征选择合适类型的深度神经网络，并根据数据集的大小确定网络的规模，包括神经元数目、网络层数等。由于涡扇发动机和锂离子电池的退化数据均为时间序列数据，为了捕捉数据中的时序信息并处理长时间依赖的特征，选择LSTM作为基本网络框架。考虑到两个数据集均为中等规模的，因此选择三层LSTM建立网络。经过多次训练验证，每层LSTM选取的神经元数目分别为256、128和64。

S3、构建基于贝叶斯深度学习的剩余寿命预测网络：网络的基本架构如图2所示，将Concrete dropout应用于所选网络的各层中。为了保证贝叶斯推理的正确性，在对网络权重进行dropout操作时，需要保持LSTM层各个时间步的dropout mask相同，即Variational dropout。为了捕获固有不确定性，在最后一层LSTM的最后时间步上连接全连接层输出高斯分布的两个参数：均值μ和标准差σ。为保证输出的标准差有意义，标准差对应全连接层的激活函数选取指数激活函数。经过多次训练验证，各层控制参数α

S4、确定剩余寿命预测网络的超参数进行训练和验证：选择Adam算法优化网络，通过试错策略结合网格搜索尝试各种超参数的组合，并通过训练验证选取最佳组合，如表2所示。

表2

在网络训练过程中，为了提高网络的泛化能力，利用早停法避免过拟合，即当验证集的Loss不再下降时停止训练。

S5、量化所训练剩余寿命预测网络的不确定性：在测试阶段打开dropout，具体操作为：对于网络中的每一层网络，首先从以优化完成的dropout概率p为参数的伯努利分布中采样得到dropout mask；其次将dropout mask与该层网络的权重相乘，对于LSTM层，保证各个时间步的dropout mask相同，即只需采样一次dropout mask；然后输出均值和标准差。重复上述步骤1000次，得到均值和标准差的1000次采样值

S6、获取不确定性校准系数：首先确定迭代终止阈值ε＝0.01；其次根据不确定性的量化结果在校准集上利用保序回归校准预测不确定性并计算对应的校准系数λ

表3

S8、输出剩余寿命预测值和不确定性量化结果，图3a-7b分别展示了本发明在各个数据集上的剩余寿命预测值及其0.9置信度下的置信区间的估计结果和固有不确定性及认知不确定性的量化结果。

本发明设计的一种贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法，基于对设备的退化数据进行预处理后得到的数据集，根据数据特征和数据集的大小选择合适类型和规模的深度神经网络，并在此基础上，构建贝叶斯深度学习网络以建模固有不确定性和认知不确定性，并确定其损失函数，网络中的超参数通过网格搜索的策略进行选择，随后进行网络训练，并结合验证集数据防止网络过拟合；对于训练好的网络，通过蒙特卡洛采样获得预测分布，进而得到预测值及各类不确定性的量化结果，为了校准不确定性，结合保序回归和STD scaling方法，提出了预测不确定性、固有不确定性、认知不确定性的校准，最后由已校准的网络预测剩余寿命和量化不确定性，可有效提高预测精度和不确定性校准质量。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。