基于多模态知识图谱的滚动轴承故障诊断方法

技术领域

本发明涉及旋转机械装置中关键部件滚动轴承的故障诊断技术领域，尤其公开了一种基于多模态知识图谱的滚动轴承故障诊断方法。

背景技术

在现代工业领域，轴承故障的准确诊断对于对保证设备安全运行具有重要意义。然而，轴承故障往往是复杂的，涉及多种故障类型的组合。

现有的故障诊断算法通常将不同故障类型视为独立的事件，并为复合故障类型分配新的标签进行分类。其次，获得足够的样本也是一个挑战，因为机械设备的关键部件通常不允许处于故障状态，而故障的多样性和复杂性加剧了样本收集的难度。更重要的是，传统方法没有考虑不同故障属性之间的关联性。这导致了对于涉及多个语义的复杂故障情况的性能下降，限制了诊断的实用性。而在实际情况中，一旦故障发生，不同的故障类型可能同时存在，并且具有相似的特征或者相互关联的概率，其内在联系对故障识别具有重要意义。此外，由于工作条件复杂，从单模态数据中获得高质量的故障特征是困难的。若需要同时识别故障发生的位置、直径大小和深度，或者更多其他的属性，或者查询类似的故障事件时，传统的方法显然无法胜任。

综上所述，如何在工作条件复杂且样本收集困难的情况下考虑故障类型之间的关联性，通过多模态数据提取有效故障振动特征是滚动轴承故障诊断面临的一大难题。

发明内容

本发明提供了一种基于多模态知识图谱的滚动轴承故障诊断方法，旨在工作条件复杂且样本收集困难的情况下考虑故障类型之间的关联性，通过多模态数据提取有效故障振动特征是滚动轴承故障诊断。

本发明的涉及一种基于多模态知识图谱的滚动轴承故障诊断方法，包括以下步骤：

将振动信号滑窗处理得到信号实体节点，经预处理得到其多模态数据；采用低秩多模态融合方法将多模态特征融合得到信号实体节点的表示，同时基于描述文本提取关系和属性值节点，并根据语义规则建立节点之间的连接，初步构建基于信号的多模态知识图谱；

使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断。

进一步地，将振动信号滑窗处理得到信号实体节点，经预处理得到其多模态数据；采用低秩多模态融合方法将多模态特征融合得到信号实体节点的表示，同时基于描述文本提取关系和属性值节点，并根据语义规则建立节点之间的连接，初步构建基于信号的多模态知识图谱的步骤包括：

知识抽取，将振动信号数据进行滑窗处理，以创建实体节点，文档中的故障分类标准作为属性关系，而每个分类标准下的具体故障类型作为属性值节点，基于相应的属性关系建立实体间关系，信号实体由N个传感器收集数据，并以时序数据和频谱图的形式表示；

使用低秩多模态融合法来整合实体节点的多模态信息；

经过知识抽取和多模态融合的结合，完成多模态知识图谱的构建。

进一步地，使用低秩多模态融合法来整合实体节点的多模态信息的步骤中，实体节点通过以下公式计算得出：

其中，e表示实体节点，K表示张量的秩，向量集合

进一步地，经过知识抽取和多模态融合的结合，完成多模态知识图谱的构建的步骤中，多模态知识图谱以三元组(h,r,t)的形式进行表示，其中，h表示头结点，r表示关系，t表示尾节点。

进一步地，多模态知识图谱包括关系三元组(e,r,e)和属性三元组(e,a,v)两种类型，其中，e表示实体节点，r表示实体间关系，a表示属性关系，v表示属性值节点。

进一步地，使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断的步骤中，定义述多模态知识图谱为G＝{E,R}，输入G,E,R,以及L，其中，E表示所有节点的集合，由三元组中的e和v拼接而成；R是所有关系的集合，由三元组中r和a拼接而成，嵌入大小为D；e表示实体节点，r表示实体间关系，a表示属性关系，v表示属性值节点，L为层数。

进一步地，使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断的步骤包括：

对于每一层的不同邻居节点和目标节点，使用关系级联注意力网络的节点级注意力聚合节点特征；

对于不同阶的邻域信息，使用关系级联注意力网络的层级注意力聚合节点特征；

通过一个独立的关系参数矩阵来学习R，其中，R是所有关系的集合；

经关系级联注意力网络编码更新所有节点和关系嵌入之后，二维卷积知识图谱嵌入的解码器利用得到的嵌入，计算所有候选三元组得分。

进一步地，对于每一层的不同邻居节点和目标节点，使用关系级联注意力网络的节点级注意力聚合节点特征的步骤中，节点级注意力聚合节点特征为：

α

其中，α

对于不同阶的邻域信息，使用关系级联注意力网络的层级注意力聚合节点特征的步骤中，层级注意力聚合节点特征为：

γ

其中，γ

进一步地，通过一个独立的关系参数矩阵来学习R，其中，R是所有关系的集合的步骤中，关系参数矩阵通过反向传播实现自适应关系表示学习：

r

其中，r

经关系级联注意力网络编码更新所有节点和关系嵌入之后，二维卷积知识图谱嵌入的解码器利用得到的嵌入，计算所有候选三元组得分的步骤中，评分函数如下所示：

其中，ψ

进一步地，使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断的步骤之后还包括：

将所有三元组随机划分为训练集、验证集和测试集，对训练集使用关系级联注意力网络与二维卷积知识图谱嵌入相结合来更新E和R，根据在验证集上的结果迭代进行训练，然后利用测试集评估多模态知识图谱补全链接预测的效果，从而实现故障诊断，其中，E表示所有节点的集合，R是所有关系的集合。

本发明所取得的有益效果为：

本发明提供一种基于多模态知识图谱的滚动轴承故障诊断方法，通过将振动信号滑窗处理得到信号实体节点，经预处理得到其多模态数据；采用低秩多模态融合方法将多模态特征融合得到信号实体节点的表示，同时基于描述文本提取关系和属性值节点，并根据语义规则建立节点之间的连接，初步构建基于信号的多模态知识图谱；使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断。本发明提供的基于多模态知识图谱的滚动轴承故障诊断方法，综合考虑了传统的基于振动信号的滚动轴承故障诊断方法存在的缺点，收集了多个轴承故障振动信号数据集，构建了轴承故障MKG(Multimodal Knowledge Graph，多模态知识图谱)，这是首次尝试利用振动信号构建MKG，其次提出了RCGAT(Relational Cascading Graph Attention Network，多模态知识图谱补全)+ConvE(Convolutional 2D Knowledge Graph Embeddings，二维卷积知识图谱嵌入)模型进行故障链接预测，实现故障诊断。本发明提供的基于多模态知识图谱的滚动轴承故障诊断方法，将信号实体与多个单一故障类型或相似故障的实体连接，这有助于解决复合故障样本采集难题，同时充分考虑了故障类型之间的相关性，以预测故障类型并查找相似的故障信号实体。而且将节点表示从单一的文本数据扩充到图片、时序数据，使得节点表达的信息更丰富，更能反映轴承运行状态。

附图说明

图1为本发明基于多模态知识图谱的滚动轴承故障诊断方法第一实施例的流程示意图；

图2为本发明基于多模态知识图谱的滚动轴承故障诊断方法第二实施例的流程示意图；

图3(a)为本发明平均倒数排名(MRR)的变化趋势图；

图3(b)为本发明平均轶(MR)的变化趋势图；

图3(c)为本发明排名前1的三元组的平均占比(HITS@1)的变化趋势图；

图3(d)为本发明排名前3的三元组的平均占比(HITS@3)的变化的趋势图；

图3(e)为本发明排名前10的三元组的平均占比(HITS@10)的变化的趋势图；

图3(f)为本发明损失值(Loss)的变化的趋势图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

如图1所示，本发明第一实施例提出一种基于多模态知识图谱的滚动轴承故障诊断方法，包括以下步骤：

步骤S100、将振动信号滑窗处理得到信号实体节点，经预处理得到其多模态数据；采用低秩多模态融合方法将多模态特征融合得到信号实体节点的表示，同时基于描述文本提取关系和属性值节点，并根据语义规则建立节点之间的连接，初步构建基于信号的多模态知识图谱。

基于信号的多模态知识图谱(Multimodal Knowledge Graph，MKG)构建方法，将振动信号滑窗处理得到信号实体节点，经预处理得到其多模态数据，采用低秩多模态融合(Low-rank Multimodal Fusion，LMF)方法将多模态特征融合得到信号实体节点的表示，同时基于描述文本提取关系和属性值节点，并根据语义规则建立节点之间的连接，初步构建MKG。多模态数据包括多个传感器收集到的振动信号和数据采集说明文件。

步骤S200、使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断。

提出基于多模态知识图谱补全(Multimodal Knowledge Graph Completion，MKGC)的故障诊断方法，先使用关系级联注意力网络(Relational Cascading GraphAttention Networ，RCGAT)进行对节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入(Convolutional 2D Knowledge Graph Embeddings，ConvE)作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断。

进一步地，请见图1和图2，本实施例提供的基于多模态知识图谱的滚动轴承故障诊断方法，步骤S100包括：

步骤S110、知识抽取，将振动信号数据进行滑窗处理，以创建实体节点，文档中的故障分类标准作为属性关系，而每个分类标准下的具体故障类型作为属性值节点，基于相应的属性关系建立实体间关系，信号实体由N个传感器收集数据，并以时序数据和频谱图的形式表示。

知识抽取，将振动信号数据进行滑窗处理，以创建实体节点，文档中的故障分类标准作为属性关系，而每个分类标准下的具体故障类型作为属性值节点，实体间关系是基于相应的属性关系建立的，信号实体由N个传感器收集数据，并以时序数据和频谱图的形式表示，总共有2N种模态数据，除了将时序数据本身用作输入向量外，我们对图像模态使用了GoogLeNet(Google Inception Net，深度卷积神经网络)进行预处理，对属性、属性值和关系的文本模态使用了Bert(Bidirectional Encoder Representation fromTransformers，转换器的双向编码器表示模型)进行预处理。

步骤S120、使用低秩多模态融合法来整合实体节点的多模态信息。

使用LMF(Low-rank Multimodal Fusion，低秩多模态融合)方法来整合实体节点e的多模态信息：

公式(1)中，e表示实体节点，K表示张量的秩，它是使分解有效的最小值，向量集合

步骤S130、经过知识抽取和多模态融合的结合，完成多模态知识图谱的构建。

经过知识抽取和多模态融合，MKG构建完成并以三元组(h,r,t)的形式表示信息，h表示头结点，r表示关系，t表示尾节点，在实施例中，包含关系三元组(e,r,e)和属性三元组(e,a,v)两种类型，其中，e表示实体节点，r表示实体间关系，a表示属性关系，v表示属性值节点。

优选地，本实施例提供的基于多模态知识图谱的滚动轴承故障诊断方法，步骤S200中，定义述多模态知识图谱为G＝{E,R}，输入G,E,R,以及L，其中，E表示所有节点的集合，由三元组中的e和v拼接而成；R是所有关系的集合，由三元组中r和a拼接而成，嵌入大小为D；e表示实体节点，r表示实体间关系，a表示属性关系，v表示属性值节点，L为层数。本实施例提出的基于多模态知识图谱的滚动轴承故障诊断方法，先使用RCGAT进行对节点和关系嵌入编码，然后使用ConvE作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断，具体过程是：

步骤S210、对于每一层的不同邻居节点和目标节点，使用关系级联注意力网络的节点级注意力聚合节点特征。

不同邻居节点对目标节点的影响不一样，因此对于每一层都使用RCGAT节点级注意力聚合节点特征，即：

a

公式(2)和(3)中，e

步骤S220、对于不同阶的邻域信息，使用关系级联注意力网络的层级注意力聚合节点特征。

考虑到不同阶的邻域信息对节点表示的贡献不同，使用RCGAT层级注意力聚合节点特征，即：

γ

公式(4)和(5)中，γ

步骤S230、通过一个独立的关系参数矩阵来学习R，其中，R是所有关系的集合。

R通过一个独立的关系参数矩阵W

r

公式(6)中，r

步骤S240、经关系级联注意力网络编码更新所有节点和关系嵌入之后，二维卷积知识图谱嵌入的解码器利用得到的嵌入，计算所有候选三元组得分。

经RCGAT编码更新所有节点和关系嵌入之后，ConvE解码器利用得到的嵌入计算所有候选三元组得分，评分函数如下：

公式(7)中，

优选地，参见图1和图2，本发明第二实施例提出一种基于多模态知识图谱的滚动轴承故障诊断方法，在第一实施例的基础上，本实施例提供的基于多模态知识图谱的滚动轴承故障诊断方法，步骤S200之后还包括：

步骤S300、将所有三元组随机划分为训练集、验证集和测试集，对训练集使用关系级联注意力网络与二维卷积知识图谱嵌入相结合来更新E和R，根据在验证集上的结果迭代进行训练，然后利用测试集评估多模态知识图谱补全链接预测的效果，从而实现故障诊断，其中，E表示所有节点的集合，R是所有关系的集合。

将所有三元组随机划分为训练集，验证集和测试集，对训练集使用RCGAT+ConvE更新E和R，根据在验证集上的结果迭代进行训练，然后利用测试集评估MKGC链接预测的效果，从而实现故障诊断。

本实施例提供的基于多模态知识图谱的滚动轴承故障诊断方法，同现有技术相比，通过将振动信号滑窗处理得到信号实体节点，经预处理得到其多模态数据；采用低秩多模态融合方法将多模态特征融合得到信号实体节点的表示，同时基于描述文本提取关系和属性值节点，并根据语义规则建立节点之间的连接，初步构建基于信号的多模态知识图谱；使用关系级联注意力网络对属性值节点和关系嵌入编码，然后使用二维卷积知识图谱嵌入作为解码器得到候选三元组的分数排序，进行链接预测，实现滚动轴承的故障诊断。本发明提供的基于多模态知识图谱的滚动轴承故障诊断方法，综合考虑了传统的基于振动信号的滚动轴承故障诊断方法存在的缺点，收集了多个轴承故障振动信号数据集，构建了轴承故障MKG(Multimodal Knowledge Graph，多模态知识图谱)，这是首次尝试利用振动信号构建MKG，其次提出了RCGAT(Relational Cascading Graph Attention Network，多模态知识图谱补全)+ConvE(Convolutional 2D Knowledge Graph Embeddings，二维卷积知识图谱嵌入)模型进行故障链接预测，实现故障诊断。本实施例提供的基于多模态知识图谱的滚动轴承故障诊断方法，将信号实体与多个单一故障类型或相似故障的实体连接，这有助于解决复合故障样本采集难题，同时充分考虑了故障类型之间的相关性，以预测故障类型并查找相似的故障信号实体。而且将节点表示从单一的文本数据扩充到图片、时序数据，使得节点表达的信息更丰富，更能反映轴承运行状态。

本实施例提供的基于多模态知识图谱的滚动轴承故障诊断方法，将构建的MKG中所有三元组随机划分为训练集，验证集和测试集，对训练集使用RCGAT+ConvE更新E和R，在验证集上，计算平均倒数排名(MRR，Mean Reciprocal Rank)，平均秩(MR，Mean Rank)和排名前n的三元组的平均占比(HITS@n)，n依次取[1，3，10]，迭代进行训练，然后利用测试集评估MKGC链接预测的效果，从而实现故障诊断。

为了证明本发明方法的有效性，收集了7个公开的轴承数据集凯斯西储大学(CWRU)，都灵理工大学(DIRG)，FEMTO-ST(PHM 2012)，辛辛那提大学(IMS)，机械故障预防技术学会(MFTP)，渥太华大学(Ottawa)，西安交通大学(XTJU-sy)的轴承振动信号数据，滑动窗口大小设置为1024获取实体节点e，对于每种不同故障类型取100个样本构建知识图谱，根据故障类型的分类标准，我们总结了7种属性关系a，分别是:load，speed，Bearing_status，Occurs_in，Fault_Diameter，radial_force，Position_Relative_to_Load_Zone，每种关系下都有对应的属性值v，经实体消岐后共得到90个属性值节点，还有对应的7种实体关系r：same_load，same_speed，same_Bearing_status，same_Occurs_in，same_Fault_Diameter，same_Position_Relative_to_Load_Zone，same_radial_force。由于根据语义规则构建完整的知识图谱规模过大，我们对于每个信号实体的每种关系只提取一个三元组，最终得到177300个三元组，25090个节点，14种关系，所有三元组按8:1:1的比例划分数据集进行实验，使用知识图谱链接预测指标：平均倒数排名(MRR)，平均秩(MR)和排名前n的三元组的平均占比(HITS@n)进行评价，将其与不同KGC方法进行比较，对比分析了本发明方法与关系矩阵限制为对角矩阵的双线性模型(Dismult)，翻译模型(TransE)，神经网络模型(ConvE)，关系图卷积网络编码+ConvE解码(RGCN+ConvE)，关系图注意力网络编码+ConvE解码(RGAT+ConvE)的预测准确度，使用本发明方法可以达到倒数排名(MRR)：0.30737，平均秩(MR)：3161.7，排名前1的三元组的平均占比(HITS@1)：0.23359，排名前3的三元组的平均占比(HITS@3)：0.37687，排名前10的三元组的平均占比(HITS@10)：0.42812。MRR指标分别比上述方法高出0.11058，0.09598，0.09383，0.07094，0.04909说明本发明方法具有较好的预测准确率，能够高效地对故障进行诊断，预测结果对比如图3所示。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。