贝叶斯神经网络设备运行趋势预测方法及系统

技术领域

本发明涉及定量预测技术领域，具体而言，涉及一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法及系统。

背景技术

对于机电设备的运行趋势预测，以及服务于大型运动会等的临时设施的安全保障，通常涉及使用历史设备运行数据来预测未来设备的运行趋势。这对于维护设备、减少停机时间和提高效率非常重要。

现有技术中对设备运行预测方案的准确性及可靠性不足。

发明内容

为解决上述问题，本发明实施例提供了一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，所述方法包括：获取电力变压器数据及临时设施传感器数据；将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。

可选地，所述电力变压器数据包括电力变压器的各种条件下相应的健康指数；所述临时设施传感器数据包括：倾角传感器的X和Y轴的二维数据以及振动传感器的X、Y和Z轴的三维数据。

可选地，所述将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间，包括：设输入张量为x，x的形状为(B,C,L)，其中B表示批处大小；C表示通道数；L表示输入序列长度；采用unsqueeze函数操作改变数据输入的维度，将输入张量x的维度中插入一个新的维度，使其维度变成(B,1,L)；

y

经过上述公式，x的形状变成了(B，1，L)，然后将输入张量x进行一维卷积操作，将输入张量x经过卷积操作后产生输出y，公式如下：

其中y

可选地，所述添加了通道注意力机制的贝叶斯神经网络包括三个部分：前处理层，通道注意力层和后处理层；可选地，所述将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取，包括：首先，定义神经网络模型如下：

y＝f(x；W)

其中，x是输入；y是输出；W是网络权重；其次，将预处理后的所述数据输入到所述前处理层；所述前处理层包括一个具有贝叶斯权重的线性层、一个批归一化层和一个Relu激活函数；然后，在经过了前处理层对数据处理后，将处理后数据输入到所述通道注意力层，所述通道注意力层包括一维卷积、Relu激活函数和Sigmoid激活函数；通过卷积操作生成注意力权重，所述注意力权重用于对输入数据中不同位置的信息进行加权；最后，将数据输入后处理层以进一步处理来自前处理层的特征表示，以生成最终特征输出；所述后处理层包括一个贝叶斯线性层、归一化层和Relu激活函数。

可选地，所述将预处理后的所述数据输入到所述前处理层，包括：首先，将输入特征映射到输出特征；在训练之前为每个权重引入先验分布，公式如下：

P(W)～N(θ|μ，σ

其中，θ是权重的随机变量；μ是权重的先验均值；σ是先验方差；通过观察训练数据后，更新权重的分布，得到后验分布，表示为：

其中，D是观测到的数据，P(θ|D)是权重的后验分布，P(D|θ)是数据在给定权重的似然，P(θ)是数据的边际概率；将通过贝叶斯线性层后输出的具有不确定性的张量，进行归一化处理，特征被缩放到均值为0，标准差为1的分布；通过Relu激活函数将规范化后的数据中负值设置为零，保持正值不变。

可选地，所述在经过了前处理层对数据处理后，将处理后数据输入到所述通道注意力层，包括：首先通过一维卷积层将输入数据的通道数降低，然后再通过一维卷积将通道数重新提升到原有输入的通道数；其中，Relu激活函数用于引入非线性，Sigmoid激活函数用于限制输出在[0，1]范围内，表示注意力权重，公式表示如下：

x

x

x

可选地，所述将数据输入后处理层以进一步处理来自前处理层的特征表示，以生成最终特征输出，包括：贝叶斯线性层将所述前处理层的输出特征映射到相同数量的输出特征；归一化层会将后处理层的输出进行归一化，确保输出的每个特征维度具有相似的统计属性；通过Relu激活函数对输出数据应用修正线性单元，将所有负数值设置为零，并保留正数值。

可选地，所述预测层包括一个一维卷积层和一个贝叶斯线性层；其中所述一维卷积层用于将输入的多个通道进行卷积操作；所述贝叶斯线性层包括先验参数，用于生成最终的预测输出。

本发明实施例提供一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统，所述系统包括：数据采集模块，用于获取电力变压器数据及临时设施传感器数据；预测模块，用于将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。

本发明实施例提供的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法及系统，结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，从而提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图；

图2为本发明实施例中基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图；

图3为本发明实施例中贝叶斯神经网络网络结构图；

图4为本发明实施例中一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种能够有效预测设备设施的运行趋势预测方法。为了可以有效预测临时设施的运行趋势，构建了贝叶斯神经网络中引入通道注意力机制的模型，示例性地，通过kaggle公开数据集中电力变压器数据和冬奥会提供的现场实时数据来证明此模型的有效性。

本发明实施例通过引入通道注意力机制和贝叶斯神经网络，提高设备运行趋势的预测准确性。这可以帮助设备维护团队更准确地预测设备可能出现的问题，减少不必要的停机时间和维修成本。

参见图1所示的本发明实施例中一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图，该方法包括以下步骤：

S1，获取电力变压器数据及临时设施传感器数据。

示例性地，电力变压器数据来自kaggle公开数据集“电力变压器数据集中的故障分析”的原始数据集。该数据集包含电力变压器的各种条件(例如，氢、氧等)以及相应的健康指数。这将有利于电力变压器的健康状态(指数)分析或回归模型的预测，用于实验和学习目的。以冬奥会临时设施传感器数据为例，包括倾角传感器X和Y轴上的二维数据，振动传感器的X，Y和Z轴上的三维数据。

S2，将上述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间。

首先设输入张量为x，x的形状为(B,C,L)，其中B表示批处大小；C表示通道数，通常在卷积神经网络中表示不同的特征或过滤器；L表示输入序列长度。为了保证后续在使用卷积神经网络进行数据预处理，需要采用unsqueeze函数操作改变数据输入的维度。因此在进行预处理层之前，先对输入x的维度中插入一个新的维度，使其维度变成(B,1,L)。

y

经过上述公式，x的形状变成了(B,1,L)，然后将x进行一维卷积操作，将输入x经过卷积操作后产生输出y，公式如下：

其中y

示例性地，经过上述预处理后，将14个通道的原始数据从(B，14)的二维形状转换成(B，14，14)的三维特征表示，将数据映射到高维特征表示。

S3，将预处理后的数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取。

本发明实施例中设计了三层贝叶斯神经网络层，分为三个部分：前处理层，注意力层和后处理层。

首先，本发明实施例定义了一个神经网络模型：

y＝f(x；W) (1.3)

其中，x是输入；y是输出；W是网络权重。

然后将数据输入到前处理层是一个具有贝叶斯权重的线性层、一个批归一化层和一个Relu激活函数组成，首先它将输入特征映射到输出特征。贝叶斯权重意味着该层的权重具有不确定性，在训练之前，为每个权重引入先验分布。通常使用正态分布作为先验分布，公式如下：

P(W)～N(θ|μ，σ

其中，θ是权重的随机变量；μ是权重的先验均值；σ是先验方差。

通过观察训练数据后，更新权重的分布，得到后验分布。根据贝叶斯定理，后验分布可以表示为：

其中，D是观测到的数据，P(θ|D)是权重的后验分布，P(D|θ)是数据在给定权重的似然，P(θ)是数据的边际概率。

将通过贝叶斯线性层后输出的具有不确定性的张量，进行归一化处理，特征被缩放到均值为0，标准差为1的分布。然后Relu激活函数会将规范化后的数据中负值设置为零，保持正值不变，这有助于引入非线性，使网络能够学习复杂的函数。

在经过了前处理层的一系列对数据处理后，将数据输入到本发明所提出的通道注意力模块，此注意力模块由一维卷积、Relu激活函数和Sigmoid激活函数组成，通过卷积操作生成注意力权重，这些权重可以用于对输入数据中不同位置的信息进行加权，以便模型在前处理层和后处理层阶段更好地关注输入的某些部分。总的来说，首先通过一维卷积层将输入数据的通道数降低，然后再通过一维卷积将通道数重新提升到原有输入的通道数。在这个过程中，Relu激活函数用于引入非线性，而Sigmoid激活函数用于限制输出在[0，1]范围内，表示注意力权重。公式表示如下：

x

x

x

最后将数据送入后处理层来进一步处理来自前处理层的特征表示，以生成最终的模型输出。后处理层引入更多的非线性，增加模型的表示能力。后处理层包括一个贝叶斯线性层、归一化层和Relu激活函数。贝叶斯线性层是将前处理层的输出特征映射到相同数量的输出特征，进一步加工前处理层的特征，以便更好地匹配模型的目标任务。然后归一化层会将后处理层的输出进行归一化，确保输出的每个特征维度具有相似的统计属性。最后通过Relu激活函数对输出数据应用修正线性单元，将所有负数值设置为零，并保留正数值。

S4，将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。

将通过上述经过多层处理后的特征张量，输入到最后的预测层进行输入。

预测层是由一个一维卷积层和一个贝叶斯线性层构成，其中一维卷积层是将输入的14个通道进行卷积操作，从而得到一个通道的特征图。假设这一层的输出为y

y

将一维特征图通过贝叶斯线性层，该层包括先验参数，用于生成最终的预测输出。假设该层输出表示为y

y

最终的输出是一个标量值，表示模型对输入数据的预测值，同时考虑了贝叶斯推断中的不确定性。这个输出可以用于回归任务或其他需要对数据进行预测的应用。

进一步，上述方法还可以包括以下训练步骤。

S5，将处理好的数据进行数据划分，划分为训练集，验证集和测试集比例为3∶1∶1。

S6，用样本的训练集对模型进行训练。通过每次的迭代获得最好的模型参数，并将其保存下来。

S7，将保存下来的模型，用于模型的最终测试。

本发明实施例提供的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，从而提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。

参见图2所示的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图，示出了预处理层Prelayer、贝叶斯神经网络(Bayesian Neural Networks，BNN)、预测层Pred。

其中，BNN包括三层贝叶斯神经网络层，分为三个部分：前处理层BNN Layer1，注意力层BNN Layer2和后处理层BNN Layer3。

如图2所示，BNN层包括贝叶斯权重的线性层BayesLinear、批归一化层LayerNorm和Relu激活函数、注意力层AttnLinear、贝叶斯线性层BayesLinear、归一化层LayerNorm和Relu激活函数；预测层Pred包括一维卷积层Convld和贝叶斯线性层BayesLinear。

参见图3所示的贝叶斯神经网络网络结构图，示出了左侧的输入层X

图4示出了本发明实施例提供的一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统的结构示意图，该系统包括：

数据采集模块401，用于获取电力变压器数据及临时设施传感器数据；

预测模块402，用于将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。

本发明实施例提供的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，从而提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。

进一步，上述系统还包括：

参数确定模块，通过加入了通道注意力机制的贝叶斯神经网络训练数据，保存最优参数模型。参数确定模块包括贝叶斯神经网络隐藏层和概率分布参数设定，初始权值和阈值；通道注意力模块的参数设定；算法参数子模块确定模型的迭代次数。

数据预测模块，用于处理后的新样本上，并未预先进行训练和验证的数据，采用基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，对机电设备和临时设施未来趋势进行预测。

性能评价模块，采用平均绝对误差(Mean Absolute Error，MAE)，均方根误差(Root Mean Square Error，RMSE)，平均绝对百分比误差(Mean Absolute PercentageError，MAPE)等对模型预测结果进行评价。

本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。