一种基于多模态数据的油气管道泄漏信号检测方法及系统

技术领域

本发明属于深度学习领域，特别是涉及一种基于多模态数据的油气管道泄漏信号检测方法及系统。

背景技术

在能源的各种运输方式中，管道运输由于其运输安全性较高的同时还能达到运输成本低、不受季节变化的影响，因此成为能源运输的主流方式。特别是随着对石油、天然气的需求量增加，油气管道的数量也在不断增加。但是随着时间的推移，管道会出现腐蚀及老化的现象，在受到外界干扰的情况下也会产生不同程度的损坏。一旦发生管道泄漏，不仅会影响油气的运输，甚至会造成严重的环境污染进而影响人们的生活。因此，油气管道泄漏信号的检测对经济以及环境至关重要，也是管道完整性的关键。

近几年来，深度学习具有很高的热度，在目标检测、图像分类、时序信号分析等方面得到了广泛的应用。Zahoor等人提出了一种脆弱性指数和一维卷积神经网络流体管道泄漏检测和尺寸识别技术。Kim等人提出了一种进行各种流动模拟选择最敏感的变量，在适当范围改变变量从而生成数据集，使用深度神经网络方法对数据进行训练的方法进行泄漏大小和位置的检测。An等人提出了一种主动声脉冲压缩技术，将匹配后的滤波信号归一化后输入到一维卷积神经网络中，对管道泄漏进行分类。但是，大多数的管道泄漏信号检测往往选取单一的传感器信号，无法采集到全面的信息。

发明内容

本发明的目的是提供一种基于多模态数据的油气管道泄漏信号检测方法及系统，能够解决单一模态信号信息不全面的问题,能够通过密集、交织的方式对多源特征进行交互跨层融合，充分利用不同模态不同层次信号间的互补能力，进而提高管道泄漏信号的检测精度,以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于多模态数据的油气管道泄漏信号检测方法，包括：

采集负压波信号、声波信号、流量信号并分别转换为图片，对所述图片进行多层特征提取，获得负压波初始特征、声波初始特征、流量初始特征；

对所述负压波初始特征、所述声波初始特征、所述流量初始特征进行特征交互，获得各层的融合特征；

基于各层的融合特征获得高层聚合特征与低层聚合特征；

基于所述高层聚合特征与所述低层聚合特征获得中间层聚合特征；

基于所述中间层聚合特征检测多传感器信号下的油气管道泄漏信号。

可选的，对所述图片进行多层特征提取，分别获得五层的负压波初始特征、声波初始特征、流量初始特征。

可选的，获得各层的融合特征的过程包括：对所述负压波初始特征、所述声波初始特征、所述流量初始特征的相同层基于关键特征进行逐层跨模态特征交互，获得各层的融合特征。

可选的，逐层跨模态特征交互的过程包括：

基于所述负压波初始特征、所述声波初始特征、所述流量初始特征，采用逐元素相乘，获得声波初始融合特征、全局初始融合特征、流量初始融合特征；

基于所述全局初始融合特征获得初始融合系数；

基于初始融合系数对所述声波初始融合特征、所述全局初始融合特征处理获得声波初始加权特征、流量初始加权特征；

对所述声波初始加权特征、流量初始加权特征、全局初始融合特征进行特征提取，获得显著特征；

基于所述显著特征、所述声波初始加权特征、所述流量初始加权特征获得单层的融合特征。

可选的，通过将负压波初始特征分别与声波初始特征、流量初始特征进行逐元素相乘获得所述声波初始融合特征、所述流量初始融合特征；

将所述负压波初始特征与所述声波初始特征、所述流量初始特征逐元素相乘得到全局初始融合特征。

可选的，获得高层聚合特征的过程包括：

将第四层融合特征、第五层融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作获得第五聚合特征；

将第五聚合特征与第四层融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作得到高层聚合特征。

可选的，获得低层聚合特征的过程包括：

将第一层融合特征与第二层融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作获得第一聚合特征；

将第一聚合特征与第二融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作获得低层聚合特征。

可选的，获得中间层聚合特征的过程包括：

对高层聚合特征与低层聚合特征在中间层即第三层进行级联实现跨层级的信息传递，经过卷积、池化、批量归一化、ReLU、残差操作进一步提取和增强特征得到中间层聚合特征。

本发明还提供一种基于多模态数据的油气管道泄漏信号检测系统，包括：信号预处理模块、初始特征提取模块、多模态共识交互模块、对称特征聚合模块、分类模块；

所述信号预处理模块用于将采集的负压波信号、声波信号、流量信号分别转换为图片；

所述初始特征提取模块用于对所述图片进行多层特征提取；

所述多模态共识交互模块用于根据多层特征提取的结果获得各层的融合特征；所述多模态共识交互模块包括一个并行注意力模块，用于从像素和全局两个维度进行注意力的分配；

所述对称特征聚合模块用于通过各层的融合特征获得高层聚合特征、低层聚合特征、中间层聚合特征；

所述分类模块用于利用所述中间层聚合特征进行油气管道泄漏信号检测。

可选的，所述初始特征提取模块采用三支路网络，所述三支路网络采用三个相同的ResNet特征提取网络。

本发明的技术效果为：

本发明提出了一种用于油气管道泄漏信号检测的多传感器多模态特征融合网络，该网络能够实现对多模态特征充分地交互融合以及跨层聚合，利用多模态丰富信息的同时，通过并行注意力模块，为不同的像素和不同的通道分配不同的权重，模型可以自动学习到不同位置和通道之间的关联性和重要性，提高模型的表达能力，而且中间层保证了高级特征的语义信息和低级特征的细节信息间的聚合，可以得到更全面、更丰富的中间层聚合特征，增强模型对输入数据的理解和表示能力。具体包括一个三支路主干架构、五个多模态共识交互模块(MCIM)、五个并行注意力模块(PAM)一个对称特征聚合模块(SFAM)。

本发明可以更充分地交互融合关键特征。本发明提出了多模态共识交互模块(MCIM)，利用声波、负压波、流量三种包含丰富信息的数据进行交互互补。所述负压波初始特征与声波初始特征、流量初始特征逐元素相乘后经sigmoid操作得到初始融合系数，对三种模态的初始特征进行整合形成全局初始融合特征，以全局初始融合特征为指导经过sigmoid函数形成门函数，充当了门控机制注意力。另外引入一种新的注意力机制进行同时具有像素特征和全局特征的显著特征的提取，每个位置和通道有不同的重要程度，给不同位置不同通道的特征分配不同的权重，筛选出更重要的特征。三种模态的特征一直以三分支的形式进行交互融合，将三分支特征组合起来进行隐式交互，用以对齐三分支特征，捕获三个分支特征间的相对关系。本发明提出的多模态共识交互模块可以让模型在多源丰富信息下交互的同时，综合利用像素特征和全局特征，更关注某些关键信息，提高模型的表达能力，增强特征的互补性，从而提高模型在处理多模态数据时的性能和准确度。

本发明提出了对称特征聚合模块(SFAM)，该模块分为三个阶段，首先将第四、五层的融合特征进行级联等操作后得到高层聚合特征，再将第一、二层的融合特征进行级联等操作得到低层聚合特征，最后在第三层将高层聚合特征和低层聚合特征进行级联等得到中间层聚合特征。中间层起桥梁作用，可以将高级特征的语义信息和低级特征的细节信息联系起来，在中间层级联高层聚合特征和低层聚合特征可以得到更全面、更丰富的中间层聚合特征，更好地利用多层特征之间互补的潜力，实现语义信息和细节信息的充分融合，此外，通过对称特征聚合这种对称性可以增强模型的稳定性和鲁棒性，使得模型对输入数据的变化更具有适应性。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例的基于多模态数据的油气管道泄漏信号检测的流程图；

图2为本申请实施例的基于多模态数据的油气管道泄漏信号检测的网络结构示意图；

图3为本申请实施例的多模态共识交互模块的网络结构示意图；

图4为本申请实施例的并行注意力模块的网络结构示意图；

图5为本申请实施例的对称特征聚合模块的网络结构示意图；

图6为本申请实施例的对称特征聚合模块的高层特征聚合部分流程图；

图7为本申请实施例的对称特征聚合模块的低层特征聚合部分流程图；

图8为本申请实施例的对称特征聚合模块的中间层特征聚合部分流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-8所示，本实施例中提供一种基于多模态数据的油气管道泄漏信号检测方法及系统，包括：

在本实施例中，如图1所示，基于多模态数据的油气管道泄漏信号检测具体包括：

S1、将负压波、声波与流量传感器采集到的信号转换为图片，对负压波、声波、流量三种信号的图片分别进行多层特征提取，分别得到五层的负压波初始特征、声波初始特征、流量初始特征；

在一些可能的实施方式中，安装在管道的负压波、声波、流量传感器接收管道的泄漏信号，分别采集管道泄漏孔径为0.4mm、2mm、4mm的泄漏信号和无泄漏时的正常信号，将一维的时序信号转换为二维时频图。本申请实施例可以将负压波、声波、流量信号的二维时频图输入到三路并行的ResNet网络中提取特征，其中ResNet去除最后的池化层和全连接层，可得到三种模态的五层初始特征。用

S2、将所述负压波、声波、流量初始特征的相同层基于关键特征进行跨模态特征交互，得到五层的融合特征；

在一些可能的实施方式中，负压波初始特征与声波初始特征、流量初始特征逐元素相乘后经充当门控机制注意力的sigmoid操作得到初始融合系数，声波初始特征与负压波初始特征逐元素相乘后乘以初始融合系数得到声波初始加权特征，流量初始特征与负压波初始特征逐元素相乘后乘以初始融合系数得到流量初始加权特征，对不同特征加权，进而突出重要特征贡献，对声波初始加权特征、流量初始加权特征、全局初始融合特征经级联、卷积、批量归一化、ReLU操作进一步提取和增强特征后，送入并行注意力模块进行同时具有像素特征和全局特征的显著特征的提取，对声波初始加权特征、流量初始加权特征、显著特征进行逐元素相加、级联、卷积等操作后得到对应层的融合特征。

S3、将第四、五层即高层所述融合特征级联后进行多级特征聚合处理，得到高层聚合特征；

在一些可能的实施方式中，将第四、五层融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作进一步提取和增强特征得到第五聚合特征，对第五聚合特征与第四融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作后得到高层聚合特征。

S4、将第一、二层即低层所述融合特征级联后进行多级特征聚合处理，得到低层聚合特征；

在一些可能的实施方式中，将第一、二层所述融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作后得到第一聚合特征，对第一聚合特征与第二融合特征级联后，经过卷积、池化、批量归一化、ReLU、残差操作后得到低层聚合特征。

S5、将高层聚合特征与低级聚合特征在第三层即中间层进行级联等操作后得到中间层聚合特征；

在一些可能的实施方式中，对高层聚合特征与低层聚合特征在中间层进行级联实现跨层级的信息传递，促进不同层级之间的交互和合作，然后经过卷积、池化、批量归一化、ReLU、残差操作进一步增强特征得到中间层聚合特征。

S6、利用所述中间层聚合特征检测多传感器信号下的油气管道泄漏信号。

本实施例提出了一种用于油气管道泄漏信号检测的多传感器多模态特征融合网络，该网络能够实现对多模态特征充分地交互融合以及跨层聚合，利用多模态丰富信息的同时，通过并行注意力模块，为不同的像素和不同的通道分配不同的权重，模型可以自动学习到不同位置和通道之间的关联性和重要性，提高模型的表达能力，而且中间层保证了高级特征的语义信息和低级特征的细节信息间的聚合，可以得到更全面、更丰富的中间层聚合特征，增强模型对输入数据的理解和表示能力。具体包括一个三支路主干架构、五个多模态共识交互模块(MCIM)、五个并行注意力模块(PAM)一个对称特征聚合模块(SFAM)。

在一些可能的实施方式中，对所述中间层聚合特征进行卷积、softmax操作可以实现对管道泄漏孔径的分类，本申请可以实现多种泄漏孔径的检测。

基于上述配置，本申请实施例将声波、负压波、流量三种模态信号经三支路特征提取网络提取出声波、负压波、流量初始特征，经过交互融合后将多模态特征融合到一个统一的框架中，然后在中间层级联高层聚合特征和低层聚合特征，然后经过卷积、池化、批量归一化、ReLU、残差操作后得到中间层聚合特征，利用中间层聚合特征检测多传感器信号下的油气管道泄漏信号。本申请提出的多模态共识交互模块可以让模型在多源丰富信息下交互的同时，通过注意力机制对像素特征和全局特征进行注意力分配，同时从像素和通道两个角度考虑关键特征，将不同维度的特征进行互补，从而提供更全面、更丰富的特征表示，更好地捕捉多模态数据中的相关信息。对称特征聚合模块中的中间层的融合特征起桥梁作用，在中间层将高层聚合特征和低层聚合特征联系起来，可以更充分地聚合多层特征。本申请实施例能够通过密集、交织的方式对多源特征进行多层跨模态交互融合，充分利用不同模态和多层特征的互补性，提高模型的性能和准确率。

油气管道泄漏信号检测的网络结构示意图如图2所示；

所述油气管道泄漏信号检测的网络由三路并行的ResNet网络作为主干网络提取多层特征，其中ResNet包含5层卷积块并且去除最后的池化层和全连接层。5层卷积块分别提取声波、负压波、流量的五层初始特征，第一层的声波、负压波、流量初始特征的尺寸为256×256×1，第二层的声波、负压波、流量初始特征的尺寸为88×88×64，第三层的声波、负压波、流量初始特征的尺寸为44×44×256，第四层的声波、负压波、流量初始特征的尺寸为44×44×512，第五层的声波、负压波、流量初始特征的尺寸为22×22×1024，

图3为本实施例的多模态共识交互模块的网络结构示意图，将ResNet主干网络提取出的五层声波、负压波、流量初始特征输入到多模态共识交互模块(MCIM)进行多模态特征的交互融合；

输入到多模态共识交互模块的声波、负压波、流量初始特征分别为

对全局初始融合特征

具体地，多模态共识互补模块的计算模型可以表示为：

其中，下脚标i(i＝1，2，3，4，5)表示在第i层进行交互融合C(·)表示级联，F

所述多模态共识交互模块，通过逐元素相乘和加权操作，将声波、负压波和流量的初始特征进行融合，综合利用不同模态的信息，提取出更全面、更丰富的特征表示；通过使用初始融合系数α和加权操作，使分支特征更关注共同的区域，减少噪声的影响，这有助于提高模型对关键信息的捕捉能力，提高模型的鲁棒性和准确度；所述多模态共识交互模块利用并行注意力模块，同时考虑像素特征和全局特征，根据不同位置和通道的重要程度给特征分配不同的权重，这样可以筛选出更重要的特征，提高模型对输入数据的理解和表示能力；所述多模态共识交互模块通过级联、卷积、ReLU等操作，将特征进行融合和增强，这有助于增强模型的表达能力，提高模型对输入数据的理解和表示能力。

图4为本申请实施例的并行注意力模块的网络结构示意图。

输入到并行注意力模块的特征f∈R

第二路输入特征经过全局平均池化将每个通道的H×W压缩为一个实数后，采用一维卷积实现通道之间的交互，然后经过sigmoid函数得到注意力权重。其中一维卷积中卷积核的大小是通过自适应的方法变化的，

第一路得到的特征f

f

其中，GAP(·)表示全局平均池化，Conv(·)表示卷积，F

本发明实施例提出的并行注意力模块可以根据像素级别的细节信息和全局信息来决定特征的重要性，从而更好地捕捉多模态数据中的关键信息，自动学习到不同位置和通道之间的关联性和重要性，可以增强模型对输入数据的理解和表示能力，提高模型的表达能力；不同维度的特征进行互补，从而提供更全面、更丰富的特征表示，所述并行注意力模块可以将不同维度的特征进行有效地融合，使得模型能够更好地捕捉多模态数据中的相关信息。

所述并行注意力模块可以适应不同尺寸的输入特征，通过1x1卷积和形状重构，可以将输入特征转换为适合进行矩阵相乘的形状，这使得模块可以处理各种大小的输入；所述并行注意力模块具有自适应性，模块中的一维卷积核大小是通过自适应的方法确定的，根据通道数量来自动调整卷积核的大小；所述并行注意力模块具有交互性，全局平均池化将每个通道的信息压缩为一个实数，一维卷积的卷积核在通道维度上滑动，实现了通道之间的交互。

图5为本实施例的对称特征聚合模块的网络结构示意图。对称特征聚合模块的输入为五层多模态共识交互模块输出的融合特征；

输入到对称特征聚合模块的融合特征为

该模块分为三个阶段，首先将第四、五层的融合特征进行级联后通过渐进式引导的方式聚合得到高层聚合特征，此时高层聚合特征富含语义信息但是细节信息不足，将第一、二层的融合特征进行级联后通过渐进式引导的方式聚合得到低层聚合特征，此时低层聚合特征细节信息丰富却缺少语义信息，中间层起桥梁作用，将高层聚合特征和低层聚合特征联系起来得到富含语义信息和细节信息的中间层聚合特征，多层特征可以实现更全面、充分的聚合，综合利用低层和高层的特征信息也使得模型能够更全面、更准确地理解输入数据同时这种对称性可以增强模型的稳定性和鲁棒性，使得模型对输入数据的变化更具有适应性。

具体地，对称特征聚合模块的计算模型可以表示为：

其中，

所述对称特征聚合模块，通过级联和残差连接操作，将不同层的特征进行融合，综合利用低层和高层的特征信息，使得模型能够更全面、更准确地理解输入数据；所述对称特征聚合模块，通过基础卷积、平均池化、批量归一化和ReLU操作，可以对特征进行增强和提取，学习到更具有判别性的特征表示，从而提高模型的性能和准确度；所述对称特征聚合模块，通过残差连接帮助模型更好地传递梯度和信息，模型可以学习到特征的增量变化，从而更好地捕捉输入数据中的细微变化和关键信息；所述对称特征聚合，这种对称性可以增强模型的稳定性和鲁棒性，使得模型对输入数据的变化更具有适应性。

图6为本申请实施例的对称特征聚合模块的高层特征聚合部分流程图，包括：

在第五层将四、五层的融合特征级联得到第五级联特征；对第五级联特征进行卷积核为3的基础卷积、平均池化、批量归一化和ReLU操作；

然后与第五级联特征进行残差连接得到第五聚合特征；将第五聚合特征与第四融合特征级联；然后经过卷积核为3的基础卷积、平均池化、批量归一化和ReLU操作；然后与第四融合特征进行残差连接得到高层聚合特征。

图7为本申请实施例的对称特征聚合模块的低层特征聚合部分流程图，包括：

在第一层将一、二层的融合特征级联得到第一级联特征；对第一级联特征进行卷积核为3的基础卷积、平均池化、批量归一化和ReLU操作；

然后与第一级联特征进行残差连接得到第一聚合特征；将第一聚合特征与第二融合特征级联；然后经过卷积核为3的基础卷积、平均池化、批量归一化和ReLU操作；然后与第二融合特征进行残差连接得到低层聚合特征。

图8为本申请实施例的对称特征聚合模块的中间层特征聚合部分流程图，包括：

将高层聚合特征与低层聚合特征进行级联；然后经过卷积核为3的基础卷积、平均池化、批量归一化和ReLU操作；

然后与第三融合特征进行残差连接得到中间层聚合特征。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。