基于transformer的热成像检测管道内部缺陷的方法

技术领域

本发明涉及管道检测技术领域，尤其涉及一种基于transformer的热成像检测管道内部缺陷的方法。

背景技术

管道作为运输石油、天然气等能源的主要运输手段，主要铺设在地底或者海底。管道经过长时间的使用，内部出现开裂、腐蚀等现象，情况严重甚至造成管道发生泄漏，导致环境污染，因此对现役管道进行探伤十分重要。现有的管道检测技术主要为漏磁检测技术，但漏磁检测技术仅适用于铁磁材料的管道，对于一些横向裂纹，尤其是应力腐蚀裂纹检测精度不高，而热波具有横向传播特性，对于横向裂纹有较高的敏感性。因此使用热成像检测技术检测此类缺陷。热成像检测管道内部缺陷的现有的技术是通过对待测管道进行热激励，使待测管道表面产生温度场。当待测管道表面存在一定的缺陷时，缺陷将会阻碍热传导，从而导致缺陷位置的温度场分布发生改变。热像仪通过捕捉管道中温度场的差异，将温度值转化为灰度值，通过图像直观的表达出缺陷的具体信息。现有热成像检测技术多应用于精密仪器和金属工件等体积有限的物体，检测环境开放。热成像检测技术应用于管道内检测时，管道体积庞大，检测环境密闭，因此存在一系列问题，如下：

(1)管道内检测设备携带的电池数量有限，热激励设备功率降低，管道中缺陷处温度场差异减小，热像仪采集到的原始图像对比度较低；

(2)管道较长，热像仪采集到的原始图像数目较多，即使经过处理，对检测结果进行辨别仍然需要耗费大量的人力资源。

发明内容

针对上述现有技术的不足，本申请提供一种基于transformer的热成像检测管道内部缺陷的方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于transformer的热成像检测管道内部缺陷的方法，包括如下步骤：

步骤1：热像仪采集管道内部的原始图像，读取原始图像各像素的灰度值，记为k

步骤2：计算原始图像的平均灰度值

所述归一化处理采用的公式如下：

归一化处理的公式考虑到原始图像的灰度值偏小的问题，使归一化后的灰度值相对于一般归一化处理偏大，便于对图像进行gamma变换。

步骤3：对归一化处理后的图像进行gamma变换，gamma变换公式f′(x,y)＝Q·f(x,y)

其中，Q为常数，通常取1，x和y分别为归一化处理后图像某一像素的横纵坐标，f(x,y)为相应像素的灰度值，f′(x,y)为gamma变换后相应像素的灰度值，γ为gamma值，γ取值不同，图像的变换效果也不同；

所述gamma变换时进一步确定γ值的取值范围：

当

当

其余情况认为图像整体灰度值适中，γ值取1；

其中，R

步骤4：为了保证经过gamma变换后图像易于分辨且不至于丢失过多信息，通过图像对比度和图像的二元熵量化gamma变换对的图像处理效果，得到准确的γ值。过程如下：

步骤4.1：在给定γ值范围内得到随机数γ

其中，C和H分别为当前最优的对比度和二元熵；

步骤4.2：更新γ值为γ

步骤4.3：计算图像对比值

步骤4.4：循环执行步骤4.2和步骤4.3，得到最优的γ值，记为γ

步骤5：对归一化gamma变换后的图像进行归一化反变换处理得到图像I，归一化反变换公式

步骤6：将图像I的大小用图像分辨率描述，即I∈R

步骤7：构建transformer图像处理网络，将图像I进行线性变换得到一系列图像区块，用图像矩阵z

所述将图像I进行线性变换的过程如下：

将每个图像区块，即每个P

A

其中，z

步骤8：构建分类编码机制，输入步骤7线性变换后的图像矩阵z

步骤8.1：将z

其中，μ是平移参数，σ是缩放参数，b是再平移参数，g是再缩放参数；

步骤8.2：数据标准化后，传入到多头自注意力网络Multi-head Self-Attention，对图像区块进行初步权重分配，目的是在多层感知机网络中首先将缺陷图像区块、无缺陷图像区块和异常图像区块进行分类；

z′

其中，Z′

步骤8.3：数据进行实例标准化instance normalization，实例标准化公式如下：

其中，x

步骤8.4：将标准化后的图像数据传入到放缩标准注意力网络Scaled GeneralAttention和拼接注意力网络Concat Attention，放缩标准注意力网络以缺陷的形状、大小为分类标准对含有不同缺陷的图像区块分配权重，拼接注意力网络以裂纹缺陷的特征为分类标准对含有裂纹缺陷的图像区块和不含有裂纹缺陷的图像区块分配权重，放缩标准注意力网络起到辅助拼接注意力网络的作用；

z″

其中，Z″

步骤8.5：数据进行批量标准化Batch Normalization，传入到多层感知机网络Multi-Layer Perceptron，多层感知机网络根据注意力网络分配的权重进行具体的分类操作；

z

其中，Z

步骤8.6：各网络通过残差网络进行连接，提高图像识别的准确率。

步骤9：输出缺陷的分类结果，便于进一步对缺陷的分析和处理。

采用上述技术方案所产生的有益效果在于：

1、本发明提供的方法中，gamma变换使图像对比度和二元熵适中，在易于分辨的情况下不至于丢失太多信息；不仅如此，还考虑了热功率设备激励的变化和载体机器人是否出现故障的情况，按情况选择γ值的取值范围；

2、本发明提供的方法中，transformer模型由线性变换操作和多个自注意力网络、多层感知机网络以及残差网络构成，transformer模型经过较大规模的数据集预训练后，再迁移到较小规模数据集，其计算效率和准确度相较于现有的卷积神经网络具有显著的优势。管道较长，热像仪采集的图像数据庞大，根据需求将管道某一段的图像数据提取出来，输入到经过训练后的transformer模型中，可以更加快速、有效的识别出管道中缺陷信息。

3、本发明提供的方法中，图像分划为多个图像区块后进行线性变换，将输入图像转化为大小固定的二维矩阵，载体机器人在管道中缓慢的移动，热像仪采集到的图像尺寸较大，往往包含多个缺陷，将图像分块处理，减少图像尺寸，保证每个图像区块包含尽可能少的缺陷，从而提高图像分类的效率。

4、本发明提供的方法中，考虑到热成像检测技术的优点，在已有transformer的基础上，增加了两个并行的注意力网络：放缩标准注意力网络和标准注意力网络，在分类出管道不同缺陷下，有目的的识别出裂纹缺陷，充分发挥热成像检测技术在管道检测领域的优势，其缺陷分类不仅限于裂纹缺陷，分类结果可以与漏磁检测技术检测数据进行对比拟合，从而得到更为准确的缺陷信息。

附图说明

图1为本发明实施例中基于transformer的热成像检测管道内部缺陷的方法的流程图；

图2为本发明实施例中Transformer图像处理网络结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例中基于transformer的热成像检测管道内部缺陷的方法如下所述：

步骤1：热像仪采集管道内部的原始图像，读取原始图像各像素的灰度值，记为k

本实施例中，热像仪采集到的原始图像是分辨率为160×120，灰度值范围0～255，图像帧频为9HZ的灰度图像。

步骤2：计算原始图像的平均灰度值

所述归一化处理采用的公式如下：

归一化处理的公式考虑到原始图像的灰度值偏小的问题，使归一化后的灰度值相对于一般归一化处理偏大，便于对图像进行gamma变换。

步骤3：对归一化处理后的图像进行gamma变换，gamma变换公式f′(x,y)＝Q·f(x,y)

其中，Q为常数，通常取1，x和y分别为归一化处理后图像某一像素的横纵坐标，f(x,y)为相应像素的灰度值，f′(x,y)为gamma变换后相应像素的灰度值，γ为gamma值，γ取值不同，图像的变换效果也不同；由于热像仪采集到的原始图像灰度值较低，一般情况下，γ值取值大于1，但是当热成像检测技术的载体机器人出现故障时，会造成管壁局部过激励，从而导致原始图像灰度值过高。

所述gamma变换时进一步确定γ值的取值范围：

当

当

其余情况认为图像整体灰度值适中，γ值取1；

其中，R

步骤4：为了保证经过gamma变换后图像易于分辨且不至于丢失过多信息，通过图像对比度和图像的二元熵量化gamma变换对的图像处理效果，得到准确的γ值，过程如下：

步骤4.1：在给定γ值范围内得到随机数γ

其中，C和H分别为当前最优的对比度和二元熵；

步骤4.2：更新γ值为γ

步骤4.3：计算图像对比值

步骤4.4：循环执行步骤4.2和步骤4.3，得到最优的γ值，记为γ

图像对比度计算公式为：

图像二元熵计算公式为

其中，N

步骤5：对归一化gamma变换后的图像进行归一化反变换处理得到图像I，归一化反变换公式

步骤6：将图像I的大小用图像分辨率描述，即I∈R

步骤7：构建transformer图像处理网络，其流程如图2所示，将图像I进行线性变换得到一系列图像区块，用图像矩阵z

所述将图像I进行线性变换的过程如下：

将每个图像区块，即每个P×P的灰度矩阵进行线性变换，有

A

其中，z

步骤8：构建分类编码机制，输入步骤7线性变换后的图像矩阵z

步骤8.1：将z

其中，μ是平移参数，σ是缩放参数，b是再平移参数，g是再缩放参数；

步骤8.2：数据标准化后，传入到多头自注意力网络Multi-head Self-Attention，对图像区块进行初步权重分配，目的是在多层感知机网络中首先将缺陷图像区块、无缺陷图像区块和异常图像区块进行分类；

z′

其中，Z′

步骤8.3：数据进行实例标准化instance normalization，实例标准化公式如下：

其中，x

步骤8.4：将标准化后的图像数据传入到放缩标准注意力网络Scaled GeneralAttention和拼接注意力网络Concat Attention，放缩标准注意力网络以缺陷的形状、大小为分类标准对含有不同缺陷的图像区块分配权重，拼接注意力网络以裂纹缺陷的特征为分类标准对含有裂纹缺陷的图像区块和不含有裂纹缺陷的图像区块分配权重，放缩标准注意力网络起到辅助拼接注意力网络的作用；

z″

其中，Z″

放缩标准注意力网络数学模型：

其中，Q为查询，K与V为键值对，W为系数矩阵，通过训练得到。d

拼接注意力网络数学模型：

其中，Q为查询，K与V为键值对，W为系数矩阵，通过训练得到。W[Q；K

步骤8.5：数据进行批量标准化Batch Normalization，传入到多层感知机网络Multi-Layer Perceptron，多层感知机网络根据注意力网络分配的权重进行具体的分类操作；

z

其中，Z

步骤8.6：各网络通过残差网络进行连接，提高图像识别的准确率。

步骤9：输出缺陷的分类结果，便于进一步对缺陷的分析和处理。