一种基于低分辨率红外图像的密封件弱小泄露目标检测方法

技术领域

本发明涉及密封件检测技术领域，具体来说是一种基于低分辨率红外图像的密封件弱小泄露目标检测方法。

背景技术

随着新能源汽车、高端制造业、智能家电等行业的发展，大容积的被测件屡见不鲜，如新能源汽车的电池包、空调蒸发器、汽车油箱等，以及在航天航空等更高质量标准要求的设备及零部件生产过程中，对密封检测的自动化、效率和检测精度的要求越来越高，因此急需采用新技术来满足需求。

工业现场目前应用较广泛的密封检测手段是直压检漏法、差压检漏法、流量检漏法，多数情况下可以快速、定量检测和判定，但对于大容积小泄漏的密封件需要加长检测周期，且均无法定位漏点位置进行工件后期修复。氦质谱分析法虽然可准确定位，但一般需要逐点扫描检测，测试时间长、功效低、成本高，不适合规模化生产线上使用。

红外成像是一种快速、无损、准确、较低成本的有效检测技术，是检测仪器升级换代发展方向。但红外设备随着分辨率不同，其成本价格升高，由于微小泄漏目标区域所占像素少，且温差带来的类别特征不明显，因此造成低分辨率红外成像设备难以检测发现。高分辨率的相机虽然能检测到更高精度的微小泄漏，但相机价格昂贵，不适合在规模化工业生产线上使用。(本发明的红外相机指8-14um下的长波红外，弱小泄漏点，指泄漏孔径<0.05mm在可见相机波段无法检测到的裂纹等)

因此，针对现有的在线零部件生产线上检测方式，不能适应快速准确定位或者弱小泄漏量定量化判定的需求,突破检测过程中弱小泄漏的定位难题，提高检测的准确性和检测灵敏度,并且结合成本控制的需要，如何利用低分辨率红外图像进行弱小泄露点检测已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中低分辨率红外图像难以实现弱小泄露点检测的缺陷，提供一种基于低分辨率红外图像的密封件弱小泄露目标检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于低分辨率红外图像的密封件弱小泄露目标检测方法，包括以下步骤：

11)数据采集与预处理：利用红外相机采集密封件的红外目标图像，对红外目标图像进行下采样操作得到低分辨率图像，对低分辨率图像进行扩充构建训练数据集并进行预处理；

12)红外图像超分辨率重建网络的构建：利用改进的多尺度残差模块配合不同大小的卷积核，对其进行串行连接融合不同的特征信息，并与双注意力机制模块相联合，构建出红外图像超分辨率重建网络；

13)红外图像超分辨率重建网络的训练：利用预处理后的训练数据集对红外图像超分辨率重建网络进行训练；

14)待检测密封件红外视频图像的获取与预处理：获取低分辨率红外相机采集密封件红外视频，并对其进行分割、滤波处理；

15)密封件弱小泄露目标的检测：将预处理后的待检测密封件红外视频图像输入训练后的红外图像超分辨率重建网络，得到密封件红外弱小目标超分辨率重建图像，对高分辨率红外图像通过双边滤波与帧差方差法计算得到疑似泄漏点坐标，再通过阈值判断处理，得到密封件弱小实际泄露检测目标。

所述数据采集与预处理包括以下步骤：

21)获取红外相机采集密封件的红外目标图像，得到高分辨率图像；

22)对高分辨率图像进行下采样得到低分辨率图像，下采样系数为2和4；

23)对低分辨率图像进行剪切和翻转操作，分别生成10000张128×128和256×256的低分辨率训练图像。

所述红外图像超分辨率重建网络的构建包括以下步骤：

31)构建多尺度残差模块：

设定改进多尺度残差模块第一部分由1×1和3×3的卷积核组成，第二部分由3×3、5×5、3×3卷积核组成，第三部分由1×1、3×3、5×5组成，第四部分由3×3的池化和1×1卷积组成；

32)构建注意力模块，所述的注意力模块包括通道注意力模块和空间注意力模块：

321)设定通道注意力模块：

3211)设定注意力模块使用平均池化和最大池化运算将通道信息集中起来，生成两个不同的通道上下文信息束：

3212)将这两个信息束转移到同一个共享网络，该共享网络由多层感知器MLP组成，其中含有一个隐含层；

3213)使用元素求和来合并输出特征向量，以产生通道注意权重信息：

M

通道注意力模块计算如下所示：

其中，σ为sigmoid函数，R为特征图，c为通道数，M

322)设定空间注意力模块：

3221)沿用通道注意力平均池化

3222)通过一个7*7的卷积层和激活函数σ生成空间注意力权重信息M

空间注意力模块表达式如下：

其中，σ为sigmoid函数，R为特征图，s为通道，AvgPool为平均池化操作，MaxPool为最大池化操作，

33)将改进的多尺度残差模块和注意力模块并行连接，以得到多尺度残差注意力模块；

34)设定红外图像超分辨率重建网络的第一部分为卷积运算层，对3×128×128原红外图像扩大4倍后的3×512×512红外图像进行卷积运算得到红外图像特征维度为16×512×512；

35)设定红外图像超分辨率重建网络的第二部分为卷积下采样层，对特征维度为16×512×512数据进行Conv_s2+Dynamic ReLU+Conv运算的下采样操作，通过下采样操作将输入特征缩小得到2倍的低分辨率红外图像，其中：Conv_s2为卷积核为2的卷积运算，动态激活函数为Dynamic ReLU；

36)设定红外图像超分辨率重建网络的第三部分为卷积上采样层，通过对原始低分辨红外图像和放大2倍的低分辨率红外图像经16个改进的多尺度残差注意力模块IMRDAM和像素重组模PixelShuffle进行图像放大得到放大4倍的超分辨率红外图像。

所述红外图像超分辨率重建网络的训练包括以下步骤：

41)设定采用MSE损失函数，并在其基础上引入内容损失函数和感知内容损失函数分量并进行线性组合，其表达式如下：

其中MSE损失函数反映了原图和超分辨率重建图像之间的均方误差，其值越小得到的超分辨率图像越好，MSE损失函数定义如下所示：

W、h分别为图像的高度、宽度，X(x,y)和Y(x,y)分别为原始图像和生成图像，引入两个损失分量：感知损失分量和内容损失分量；

内容损失函数利用减少重建图像和训练图像的L1距离来提高重建图像的质量，内容损失函数定义如下所示：

感知损失利用调整预训练模型提取的高维特征信息的差异来提升生成网络的稳定性，感知损失函数定义如下所示：

式中λ

42)利用预处理后的训练数据集对红外图像超分辨率重建网络进行训练，损失函数达到收敛以及更新参数，在训练时使用Adam优化器，参数设置为β

所述密封件弱小泄露目标的检测包括以下步骤：

51)将预处理后的低分辨率红外图像输入训练后的红外图像超分辨率重建网络，得到高分辨率红外图像；

52)对高分辨率红外图像进行双边滤波去除环境噪声，减少干扰点；

53)通过密封件泄漏处的图像灰度值会不断变化，对双边滤波后的红外图像进行帧差方差法计算得到得到疑似泄漏点的坐标；

54)对53)得到的疑似泄漏点设定阈值r通过帧差法计算前后帧红外图像的差分图像g

55)对54)得到的差分图像设定阈值p计算泄漏点灰度值变化帧数占总帧数的概率大小，以此得到实际泄漏点位置；其表达式如下：

其中，f(i,j)为最终泄漏点检测结果图，R

有益效果

本发明的一种基于低分辨率红外图像的密封件弱小泄露目标检测方法，与现有技术相比采用基于IMR-DAM超分辨率重建网络的方法，利用低成本低分辨率的红外相机进行高精度的弱小泄漏检测目的，达到采用低成本相机解决高精度泄漏检测问题。

本发明所涉及的超分辨率方法与现有方法相比重建的红外图像质量更好、重建速度更快；根据泄漏点处的红外图像变化原理提出基于双边滤波与帧差方差法的泄漏点检测，检测精度较常规方法有很大提升。本发明系统设备简单可以实现快速部署，快速检测，降低操作难度的同时大大提高了检测效率。

附图说明

图1为本发明的方法顺序图；

图2为本发明所涉及的红外图像超分辨率重建网络结构图；

图3为本发明所涉及的红外图像超分辨率重建结果对比图；

图4为本发明所涉及的铜件检测结果对比图；

图5为本发明所涉及的铝件检测结果对比图；

图6为本发明所涉及的泄漏点检测精度结果对比图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于低分辨率红外图像的密封件弱小泄露目标检测方法，包括以下步骤：

第一步，数据采集与预处理：利用红外相机采集密封件的红外目标图像，对红外目标图像进行下采样操作得到低分辨率图像，对低分辨率图像进行扩充构建训练数据集并进行预处理。在此，训练数据集的处理中，高、低分辨率图像均使用，形成一个从低分辨率到高分辨率的映射关系，而在模型训练完成以后，检测环节就不需要高分辨图像，因此高分辨率图像在此只用于模型训练。

所述数据采集与预处理包括以下步骤：

(1)获取红外相机采集密封件的红外目标图像，得到高分辨率图像。

(2)对高分辨率图像进行下采样得到低分辨率图像,下采样系数为2和4。

(3)对低分辨率图像进行剪切和翻转操作，分别生成10000张128×128和256×256的低分辨率训练图像。

第二步，红外图像超分辨率重建网络的构建：利用改进的多尺度残差模块使用不同大小的卷积核，将这些残差模块进行串行连接融合不同的特征信息，并与双注意力机制模块相联合，构建出红外图像超分辨率重建网络。

在此，基于改进的多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息，并与双注意力机制模块联合得到红外图像超分辨率重建网络。改进的多尺度残差模块可充分提取输入ITI通道的特征信息并重复利用，引进的注意力模块可使残差提取的特征更集中，有助与提高训练速度，且引进多组合损失函数使网络模型更加紧密，使得可以通过红外图像超分辨率重建网络经最后一层卷积得到重建高分辨率红外图像。

红外图像超分辨率重建网络的构建包括以下步骤：

(1)构建多尺度残差模块：

目前多尺度网络大都采用不同大小的卷积核，对网络连接形式没有太多变化。为充分提取红外小目标图像的特征信息，本文提出的多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息，更有利于对图像进行多尺度多维度的学习。改进多尺度残差模块第一部分由1×1和3×3的卷积核组成，第二部分由3×3、5×5、3×3卷积核组成，第三部分由1×1、3×3、5×5组成，第四部分由3×3的池化和1×1卷积组成，该多尺度残差模块与并行结构相比，拥有更好的特征提取和特征融合的能力，且能够加快训练速度。

设定改进多尺度残差模块第一部分由1×1和3×3的卷积核组成，第二部分由3×3、5×5、3×3卷积核组成，第三部分由1×1、3×3、5×5组成，第四部分由3×3的池化和1×1卷积组成。

(2)构建注意力模块,所述的注意力模块包括通道注意力模块和空间注意力模块：

A1)设定通道注意力模块。

通道注意力模块利用图像特征间的通道关系生成通道注意力权重信息。该模块首先使用平均池化和最大池化运算将通道信息集中起来，生成两个不同的通道上下文信息束:

A11)设定注意力模块使用平均池化和最大池化运算将通道信息集中起来，生成两个不同的通道上下文信息束:

A12)将这两个信息束被转移到同一个共享网络，该共享网络由多层感知器MLP组成，其中含有一个隐含层；

A13)使用元素求和来合并输出特征向量，以产生通道注意权重信息

M

其中σ为sigmoid函数；

通道注意力模块计算如下所示：

其中，σ为sigmoid函数，R为特征图，c为通道数，M

A2)设定空间注意力模块：

空间注意力模块是利用图像特征之间的空间关系生成空间注意力权重信息[15]，与通道注意力模块不同，空间注意力模块关注的图像空间维度的特征信息与通道注意力的通道特征信息共同构成通道空间注意力模块。空间注意力的计算首先沿用通道注意力平均池化

A21)沿用通道注意力平均池化

A22)通过一个7*7的卷积层和激活函数σ生成空间注意力权重信息M

空间注意力模块表达式如下：

其中σ为sigmoid函数，R为特征图，s为通道，AvgPool为平均池化操作，MaxPool为最大池化操作，

(3)将改进的多尺度残差模块和注意力模块并行连接，以得到多尺度残差注意力模块。

将改进的多尺度残差模块和注意力模块并行连接，以得到本文的多尺度残差注意力模块，如图3所示。首先通过IMRM对输入的特征进行多尺度残差映射得到特征信息F，通道注意力权重信息与F进行点乘运算得到F’，计算过程如下式所示：

空间注意力模块与F’进行点乘运行得到最终多尺度残差注意力信息F”,计算过程如下式所示：

最后由原始输入Fb与F”求和得到输出Fg，计算过程如下所示：

F

本发明以此所提出的红外图像超分辨率重建网络，模型具体结构如图2所示。首先对输入的图像进行卷积运算提取图像有效的特征信息，得到特征矩阵，维度为16×512×512。下采样操作由的Conv_s2(卷积核为2的卷积运算)、动态激活函数(Dynamic ReLU)及Conv组成。通过下采样生成低分辨率图像与原始图像比较得到重建损失。上采样操作由16个改进的多尺度残差与注意力模块(IMRDAM)和像素重组(PixelShuffle)组成，将多尺度残差特征输入注意力模块得到注意力特征权重后进行结果输出。PixelShuffle可以将一个H×W的低分辨率输入图像通过亚像素(Sub-pixel)操作变为aH×aW的高分辨率图像。上方两个加粗单箭头操作代表将上采样运算和下采样运算生成的数据进行拼接打包，实现信息传递。虚线单箭头操作表示偶回归网络(Dual regression networks)，通过逆下采样运算得到的图像与原图像比较，得到偶回归损失，使得网络更加紧密，进一步提升模型的学习性能。虚线双箭头表示损失函数的作用方向。

(4)设定红外图像超分辨率重建网络的第一部分为卷积运算层，对3×128×128原红外图像扩大4倍后的3×512×512红外图像进行卷积运算得到红外图像特征维度为16×512×512。

(5)设定红外图像超分辨率重建网络的第二部分为卷积下采样层，对特征维度为16×512×512数据进行Conv_s2+Dynamic ReLU+Conv运算的下采样操作，通过下采样操作将输入特征缩小得到2倍的低分辨率红外图像，其中：Conv_s2为卷积核为2的卷积运算，动态激活函数为Dynamic ReLU。

(6)设定红外图像超分辨率重建网络的第三部分为卷积上采样层，通过对原始低分辨红外图像和放大2倍的低分辨率红外图像经16个改进的多尺度残差注意力模块IMRDAM和像素重组模PixelShuffle进行图像放大得到放大4倍的超分辨率红外图像。

第三步，红外图像超分辨率重建网络的训练：利用预处理后的训练数据集对红外图像超分辨率重建网络进行训练。

在图像超分辨率领域，常用的损失函数包括MSE、L2、L1、感知损失。本发明采用MSE损失函数，并在其基础上引入内容损失函数和感知内容损失函数分量并进行线性组合。其中MSE损失函数反映了原图和超分辨率重建图像之间的均方误差，其值越小得到的超分辨率图像越好。在只使用MSE损失函数的情况下，结果会缺少高频细节，本发明引入两个损失分量：感知损失分量和内容损失分量。内容损失函数利用减少重建图像和训练图像的L1距离来提高重建图像的质量，

(1)设定采用MSE损失函数，并在其基础上引入内容损失函数和感知内容损失函数分量并进行线性组合，其表达式如下：

W、h分别为图像的高度、宽度，X(x,y)和Y(x,y)分别为原始图像和生成图像，其中MSE损失函数反映了原图和超分辨率重建图像之间的均方误差，其值越小得到的超分辨率图像越好，MSE损失函数定义如下所示：

引入两个损失分量：感知损失分量和内容损失分量；

内容损失函数利用减少重建图像和训练图像的L1距离来提高重建图像的质量，内容损失函数定义如下所示：

感知损失利用调整预训练模型提取的高维特征信息的差异来提升生成网络的稳定性，感知损失函数定义如下所示：

式中λ

(2)利用预处理后的训练数据集对红外图像超分辨率重建网络进行训练，损失函数达到收敛以及更新参数，在训练时使用Adam优化器，参数设置为β

第四步，待检测密封件红外视频图像的获取与预处理：获取低分辨率红外相机采集密封件红外视频，并按传统方法对其进行分割、滤波处理。

第五步，密封件弱小泄露目标的检测：将预处理后的待检测密封件红外视频图像输入训练后的红外图像超分辨率重建网络，得到密封件红外弱小目标超分辨率重建图像，对高分辨率红外图像通过双边滤波与帧差方差法计算得到的疑似泄漏点坐标，再通过阈值判断，得到密封件弱小实际泄露检测目标。

在红外目标检测过程中，由于周围环境存在空气流动、大气吸收散射作用、物体热辐射等干扰因素存在，不同帧图像的背景环境会发生忽明忽暗变化，导致图像噪声增加。因此在检测目标之前对图像进行滤波处理，本文采用双边滤波对超分辨率重建图像进行预处理。双边滤波是一种非线性滤波器，它可以起到保持边缘、降噪平滑的效果。双边滤波采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布。最重要的是，双边滤波的权重不仅考虑了像素的欧氏距离，还考虑了像素范围域中的辐射差异，例如卷积核中像素与中心像素之间相似程度、颜色强度，深度距离等，在计算中心像素的时候同时考虑这两个权重。

红外图像序列中的噪声往往和泄漏点目标信息混杂在一起，滤除噪声时可能会丢失一部分图像边缘细节。本文在泄漏检测中使用双边滤波可以保留图像边界的细节，并且对于模糊变化不明显的区域可获得出色的滤波效果，双边滤波去除了大部分的噪声，增强了泄漏点的与周围的对比度。

由于采集图像是帧序列图像，在器件存在泄漏的情况下，泄漏点的温度会不断变化，即温度升高灰度值变大，温度降低灰度值减小，表现在图像上是灰度值的细微变化，因此每张图像之间是变化的，不同帧图像的变化不尽相同。为了消除背景突出泄漏点灰度值的变化特点，提出了帧差方差法。双边滤波后的图像用h(i,j)表示，序列里的第k-1帧和第k帧分别用h

由于检测对象的不同和环境的变化，易将背景噪声点误减为泄露点。分析泄漏点的变化特点，随着加减压过程中，帧序列图灰度值会发生相应变化。

(1)将预处理后的低分辨率红外图像输入训练后的红外图像超分辨率重建网络，得到高分辨率红外图像；

(2)对高分辨率红外图像进行双边滤波去除环境噪声，通过密封件泄漏处的图像灰度值会不断变化，对双边滤波后的红外图像进行帧差方差法计算得到得到疑似泄漏点的坐标；

(3)对(2)得到的疑似泄漏点设定阈值r通过帧差法计算前后帧红外图像的差分图像g

(4)对(3)得到的差分图像设定阈值p计算泄漏点灰度值变化帧数占总帧数的概率大小，以此得到实际泄漏点位置；其表达式如下：

其中，f(i,j)为最终泄漏点检测结果图，R

主观评价分析如下：

将目前热门的算法与本发明算法对不同图像运行的结果图进行对比，结果图如图3所示。从图3中可以看出SRCNN算法模型的结果图较为模糊，出现了较多重影，与原图相比信息损失较大。VDSR和RDN算法模型重建的效果图无论从清晰度还是整体效果都比SRCNN要好，但在细节上还是出现了纹理细节不足和存在少量噪声。SRGAN算法模型在整体呈现和轮廓框架表现的都比较好，也比较接近原始图像，但从整体呈现还是放大后的细节相比本发明算法表现更好。

客观结果评价如下：

评价红外小目标图像的超分辨率结果图的好坏主要由两个方面，通常是两个评价指标：峰值信噪比(PSNR)和结构相似性(SSIM)。这两个指标的数值越高表示结果效果更好。各指标表达式如下：

式中H、W为红外目标图像的长和宽，I

本发明算法与对比算法在测试集上进行测试，选取4张图像进行PSRN和SSIM评价，数据如表1所示，可以看出本文算法的数值都高于其他算法，体现了本文算法的优越性。

表1几种算法的PSRN和SSIM数值展示

Table 1 PSRN and SSIM numerical display of several algorithms

双边滤波与帧差方差法结果对比如下：

通过部分实验结果对比可见，铜件检测如图4所示，图(a)、图(b)分别是第36帧、37帧原始图像(泄漏点在矩形框中)，图(c)是本文算法检测的泄漏点图像(为了清楚查看将图像灰度值归一化到0-255，下同)，图(d)阈值分割后检测的泄漏点图像。图(e)是第36帧、37帧原始图像经双边滤波后的差分图像，图(f)是图(e)阈值分割后检测的泄漏点图像。图(g)是对图(e)开运算提取的背景图，图(h)是经Top_hot算法滤波后检测的结果图，图(i)是阈值分割后检测的泄漏点图像。

铝件检测结果如图5所示(与上述铜件检测结果图像分布一致)，图(a)、图(b)分别是第50帧、51帧原始图像，图(c)、图(d)分别为本文算法检测的结果图，图(e)、图(f)分别为经双边滤波后的帧差法检测结果图，图(g)、图(h)、图(i)分别为Top_hot算法检测的结果图。

从上述铜件和铝件的检测结果可以看出，传统的帧差法虽然也能检测出泄漏点，但检测结果受图像选取的影响较大，检测结果干扰点较多，Top_hat算法虽然对图像有一个较好的背景提取，但仍然存在部分噪声点，本文算法利用泄漏点的变化特点，利用多帧序列图像能对泄漏点进行准确定位。

为了定量分析这三种算法的优缺点，本发明利用ROC(ReceiverOperatingCharacteristic)曲线对各个算法进行评估。ROC曲线的横坐标代表误警率，纵坐标代表正确检出率，曲线与横轴之间的面积越大，代表此算法的性能越好，误警率和正确检出率的定义如下式所示：

P

P

其中：D

从图6中可以看出，从铝件和铜件检测结果进行对比，本发明提出的基于双边滤波与帧差方差法与Top_hat算法和帧差法相比，在误警率为0时，本发明算法正确检出率较高，随着误警率的增大最终本正确检出率达到最高，体现了本发明算法的优越性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。