一种基于深度学习的射线图像焊缝缺陷检测方法

技术领域

本发明涉及管道焊缝缺陷检测技术和深度学习技术领域，尤其涉及一种基于深度学习的射线图像焊缝缺陷检测方法。

背景技术

焊接技术在管道加工中具有重要应用价值。然而，以现在的焊接技术，焊缝依然会出现圆形缺陷、条形缺陷、裂纹、未熔合、咬边、内凹等焊接缺陷，因此焊接缺陷的检测对确保焊接产品的可靠性和安全性很重要。目前，人工检测仍然是缺陷检测的常见方法，然而该方式检测效率低下、准确度受限于检测人员的专业性。于是，研究人员开始结合机器学习算法在焊缝的X射线无损探伤图像上进行焊缝缺陷自动检测的研究。

最初的缺陷检测算法利用机器学习算法对图像处理阶段产生的候选区域进行识别，确定缺陷位置和类别，如Duan Feng等人(DUAN Feng,YIN Shifan,SONG Peipei,etal.Automatic Welding Defect Detection of X-Ray Images by Using CascadeAdaBoost with Penalty Term[J].IEEE Access,2019,7:125929-125938.)在图像预处理中得到图像中的潜在缺陷区域，利用级联AdaBoost对潜在缺陷区域进行真实缺陷判断。但是，这种方法位置预测不够准确。之后，随着深度学习算法的应用，Faster RCNN和YOLOv3被广泛用于焊缝缺陷的目标检测任务。如郭文明等人(郭文明,刘凯,渠慧帆.基于Faster R-CNN模型X射线图像的焊接缺陷检测[J].北京邮电大学学报,2019,42(06):20-28.)设计了一个基于Faster RCNN的焊接缺陷检测系统，对缺陷检测进行了简单的尝试；韦若禹等人(韦若禹,李舒婷,吴松荣,等.基于改进YOLO V3算法的轨道扣件缺陷检测[J].铁道标准设计,2020,64(12):30-36.)利用YOLOv3中的两个预测分支对缺陷进行检测。然而，模型的准确率仍然需要提升，研究方向主要集中在小缺陷目标检测、多尺度缺陷目标检测和检测效率的问题上。针对小缺陷目标检测问题，利用特征金字塔网络(FPN)在多层特征图进行预测是常用方式。李东洁等人(李东洁,李若昊.基于改进Faster RCNN的马克杯缺陷检测方法[J].激光与光电子学进展,2020,57(4):353-360.)在Faster RCNN检测网络的基础上结合FPN，对马克杯缺陷检测中的小目标检测问题进行了改善。Chen Yongbin等人(CHENYongbin,WANG Jingran,WANG Guitang.Intelligent Welding Defect Detection Modelon Improved R-CNN[J].IETE Journal of Research,2022:1-10.)利用Res2Net残差网络改进Faster RCNN的特征提取层，并且结合带加权特征的FPN模块，提高模型对小目标的检测能力。Liu Weipeng等人(LIU Weipeng,SHAN Shengqi,CHEN Haiyong,et al.X-ray WeldDefect Detection Based on AF-RCNN[J].Welding in the World,2022,66(6):1165-1177.)提出AF-RCNN网络检测焊缝缺陷，该算法将ResNet与FPN作为Faster RCNN的主干网络，结合高效卷积注意力模块和CIOU损失函数，提高Faster RCNN对小缺陷的检测能力。针对多尺度缺陷问题，陈海永等人(陈海永,赵鹏,闫皓炜.融合注意力的多尺度Faster RCNN的裂纹检测[J].光电工程,2021,48(1):64-74.)在Faster RCNN的主干网络中融合添加了自下而上通路的FPN，结合Focal Loss损失函数，提高缺陷的检测精度。朱安康等人(朱安康,王娆芬,张振宇.基于深度学习的铝材表面缺陷检测系统设计[J].传感器与微系统,2022,41(08):96-99+103.)针对缺陷尺寸不均匀造成检测效果低的问题，在Faster RCNN网络模型中加入可变形卷积提高检测准确率。在检测效率方面，唐茂俊等人(唐茂俊,黄海松,张松松,等.改进的Faster-RCNN在焊缝缺陷检测中的应用[J].组合机床与自动化加工技术,2021,(12):83-86.)在增加FPN结构的基础上，又增加解耦分类细化结构提高检测速度。吴伟浩等人(吴伟浩,李青.基于改进Yolov3的电连接器缺陷检测[J].传感技术学报,2020,33(2):299-307.)为了提高缺陷检测速度，减少了YOLOv3中的DBL单元的数量，并且采用单尺度特征图进行预测。上述研究围绕缺陷检测做了大量工作，但是小缺陷和多尺寸缺陷的存在，以及检测任务对模型效率的要求，使得检测模型仍然需要继续提高准确率，并且优化检测速度。

发明内容

本发明主要是克服现有技术中的不足之处，提供一种基于深度学习的射线图像焊缝缺陷检测方法。

为达到以上技术目的，本发明采用以下技术方案：

1、一种基于深度学习的射线图像焊缝缺陷检测方法，其特征在于包括以下步骤：

步骤一：对原始图像进行图像预处理，包括灰度拉伸、中值滤波和均值滤波，得到图像预处理后的图像，灰度拉伸公式为：

其中，g为灰度拉伸后的像素值，取值范围为区间[0,g

步骤二：将预处理后的图像作为输入图像，再将输入图像缩放成a×b×c的张量，a、b、c的取值范围均为正整数，然后进行标准化，标准化的公式为：

其中，u为标准化后的值，取值范围为区间[-1,1]，v为标准化前的值，取值范围为任意实数，m为所有待标准化的图像的像素值的均值，取值范围为任意实数，δ为所有待标准化的图像的像素值的标准差，取值范围为任意实数；

步骤三：将标准化后的张量作为输入，搭建Faster RCNN目标检测网络对图像中得缺陷进行检测，增加一个背景减去网络层，将传统Faster RCNN网络从四部分结构变为五部分结构，并且修改区域推荐网络层中的回归分支，对图像中缺陷的位置信息进行独立的预测，缺陷的位置信息包括缺陷的中心点横坐标、缺陷的中心点纵坐标、缺陷的高度和缺陷的宽度，该Faster RCNN网络包括背景减去网络层、特征提取网络层、区域推荐网络层、兴趣区域池化层、分类/位置回归层五部分，搭建步骤为：

(1)搭建背景减去网络层，减小图像中背景的影响，突出缺陷特征，它由m×n的大尺寸均值池化、卷积和跳跃连接构成，其中，m、n的取值范围均为正整数，该层的输入经过大尺寸均值池化和卷积后得到模拟背景，再通过跳跃连接用该层的输入减去模拟背景，得到该层的输出；

(2)搭建特征提取网络层，提取缺陷特征，它由ResNet50、FPN和SE注意力机制组成，其中，特征金字塔网络是一种提取不同大小的特征图，用于后续任务的典型方法，在缺陷检测任务中，它将N个特征图作为输出，N为正整数，用于后续部分的预测过程，每层特征图负责A种大小的锚框，A为正整数，锚框的大小用h

(3)将特征图作为输入，搭建区域推荐网络层，产生区域建议，该区域推荐网络在传统区域推荐网络层的分类和回归双支路基础上，细分回归支路的责任，对图像中缺陷的位置信息进行独立预测，包括前/背景分类支路、宽/中心点横坐标回归支路和高/中心点纵坐标回归支路三个分支，以下称为三支路区域推荐网络层，在分类支路中，对特征图中每个位置是否含有缺陷进行判断，含有缺陷的标记为正例，不含缺陷的标记为负例，并且在锚框的基础上对缺陷的位置进行粗略的预测，此处利用两个回归分支对缺陷的位置进行独立的预测，一个分支负责预测缺陷的中心点横坐标和宽，一个分支负责预测缺陷的中心点纵坐标和高，得到的位置信息以锚框位置作为基础，表示为锚框位置相对于缺陷位置在中心点横坐标、宽、中心点纵坐标、高上的偏移；

(4)搭建兴趣区域池化层，调整卷积层数K，K的取值范围为正整数，根据(3)中得到的正例、负例和偏移，从对应的特征图中提取出特征，并且输出为统一的大小，其中，提取特征时选择特征图的公式为：

其中，p为选择的特征图编号，取值范围为正整数，p

(5)搭建分类/位置回归层，由两个全连接构成，一个全连接层对缺陷种类进行分类，一个全连接层对缺陷位置进行回归，得到缺陷的种类和缺陷的位置，构成了一个带缺陷种类的边框，称为预测边框；

步骤四：在训练集上对模型进行训练，训练集的图像为I

(1)计算标签中缺陷位置相对于锚框的偏移量，包括横坐标、纵坐标、高度、宽度的偏移量，横坐标的偏移量计算公式为：

其中，t

其中，t

其中，t

其中，t

(2)训练模型中背景减去网络层、特征提取网络层和三支路区域推荐网络层三部分，训练完成的参数选择在训练过程中损失值最小的模型，每张图像选择N

其中，L为损失值，N

其中，S(x)为任意输入；

(3)训练整个模型，导入(2)中训练完成的三支路区域推荐网络层的参数，训练完成的模型选择在训练过程中损失值最小的模型，损失值计算公式和(2)相同，其中平滑L1损失输入的偏移换成基于三支路区域推荐网络层输出的偏移，每张图像选择N

(4)训练模型中背景减去网络层、特征提取网络层和三支路区域推荐网络层三部分，导入(3)中训练完成的背景减去网络层、特征提取网络层和三支路区域推荐网络层的参数，训练过程仅仅更新三支路区域推荐网络层的参数，其余训练过程与(2)相同；

(5)训练整个模型，导入(3)中训练完成的背景减去网络层、特征提取网络层、兴趣区域池化层、分类/位置回归层的参数，导入(4)中训练完成的三支路区域推荐网络层的参数，训练过程仅仅更新兴趣区域池化层、分类/位置回归层的参数，其余训练过程与(3)相同；

步骤五：模型在测试时需要对模型最后一层输出的预测边框进行后处理，筛选符合要求的预测边框，去除检测网络输出的不合格的预测边框，处理过程为：首先去除分类标签为非缺陷的预测框，然后去除左上角坐标、右下角坐标超过图像边界的预测框，最后剩余的预测边框按分类标签进行划分，同一类别的预测边框按照分类评分降序排序，去除评分低、但是又与评分更高的预测边框的交并比超过W的预测边框，W的取值范围为[0,1]，剩余的预测边框作为最终的预测结果，预测结果中的预测边框包括缺陷种类和缺陷位置两方面信息。

本发明所提供的一种基于深度学习的射线图像焊缝缺陷检测方法，利用FasterRCNN网络对射线图像进行目标检测，在传统Faster RCNN的基础上，本发明增加背景减去网络层，得到五个模块的Faster RCNN网络结构，该背景减去网络层具有带更新的参数，能随着网络训练不断优化降低背景的效果，突出缺陷特点，同时，利用三支路区域推荐网络层代替传统区域推荐网络，它具有的两个回归分支使预测缺陷位置信息的任务得到细分，一个分支负责预测缺陷的中心点横坐标和宽，一个分支负责预测缺陷的中心点纵坐标和高，增强缺陷位置预测的准确度。

有益效果：

与现有技术相比，本发明具有以下有益效果：

背景减去网络层能随着训练不断提高背景消除的效果，降低背景对缺陷检测的影响，突出缺陷区域；三支路的区域推荐网络层中包含两个回归分支，对缺陷位置的预测任务进行细分，使得到的候选框更准确，并且能减少区域推荐网络层输出的候选框数量，提高检测速度。

附图说明

图1为一种基于深度学习的射线图像焊缝缺陷检测方法的流程图，包括图像预处理、缩放与标准化、Faster RCNN网络、后处理，其中，Faster RCNN网络被修改为五部分结构，由背景减去网络层、特征提取网络层、三支路区域推荐网络层、兴趣区域池化层、分类/位置回归层五部分组成；

图2为背景减去网络层结构图，由大尺寸均值池化、卷积和跳跃连接组成，跳跃连接为图中的减法部分；

图3为三支路区域推荐网络层结构图，由六个卷积组成，共三条分支；

图4为焊缝缺陷检测的实例图，图中缺陷检测的结果包含了缺陷的种类和缺陷的位置，构成了带缺陷种类的边框，图中边框上方的数字代表缺陷的种类，“1”代表圆形缺陷，“2”代表条形缺陷，“3”代表未熔合缺陷，“4”代表内凹缺陷，“5”代表咬边缺陷，“6”代表裂纹缺陷。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例：

一种基于深度学习的射线图像焊缝缺陷检测方法，其具体实施方法如下：

步骤一：对原始图像进行图像预处理，得到图像预处理后的图像，包括灰度拉伸、中值滤波和均值滤波，灰度拉伸公式为：

其中，g为灰度拉伸后的像素值，g

步骤二：将预处理后的图像作为输入图像，再将输入图像缩放成224x224x3的张量，然后进行标准化，标准化的公式为：

其中，u为标准化后的值，v为标准化前的值，m为所有待标准化的图像的像素值的均值，根据缩放的大小，待标准化的输入有3个通道，均值分别取值为0.485、0.456、0.406，δ为所有待标准化的图像的像素值的标准差，根据缩放的大小，待标准化的输入有3个通道，标准差分别取值为0.229、0.224、0.225；

步骤三：将标准化后的张量作为输入，搭建Faster RCNN目标检测网络对图像中得缺陷进行检测，增加一个背景减去网络层，将传统Faster RCNN网络从四部分结构变为五部分结构，并且修改区域推荐网络层中的回归分支，对图像中缺陷的位置信息进行独立的预测，缺陷的位置信息包括缺陷的中心点横坐标、缺陷的中心点纵坐标、缺陷的高度和缺陷的宽度，该Faster RCNN网络包括背景减去网络层、特征提取网络层、区域推荐网络层、兴趣区域池化层、分类/位置回归层五部分，搭建步骤为：

(1)搭建背景减去网络层，减小图像中背景的影响，突出缺陷特征，它由25x25的大尺寸均值池化、卷积和跳跃连接构成，该层的输入经过大尺寸均值池化和卷积后得到模拟背景，再通过跳跃连接用该层的输入减去模拟背景，得到该层的输出；

(2)搭建特征提取网络层，提取缺陷特征，它由ResNet50、特征金字塔网络(FPN)和SE注意力机制组成，此处特征金字塔网络将5个特征图作为输出，用于后续部分的预测过程，5个特征图记为P2、P3、P4、P5、P6，每层特征图负责3种大小的锚框，每层特征图负责的锚框大小通过聚类获得，分别为P2层负责8x49、13x30、19x20的锚框，P3层负责16x98、26x60、38x41的锚框，P4层负责26x159、42x98、63x66的锚框，P5层负责38x236、62x145、93x98的锚框，P6层负责51x311、83x191、122x129的锚框，该层利用背景减去网络层的输出作为输入，输出为5个特征图；

(3)将特征图作为输入，搭建区域推荐网络层，产生区域建议，该区域推荐网络在传统区域推荐网络层的分类和回归双支路基础上，细分回归支路的责任，对图像中缺陷的位置信息进行独立预测，包括前/背景分类支路、宽/中心点横坐标回归支路和高/中心点纵坐标回归支路三个分支，以下称为三支路区域推荐网络层，在分类支路中，对特征图中每个位置是否含有缺陷进行判断，含有缺陷的标记为正例，不含缺陷的标记为负例，并且在锚框的基础上对缺陷的位置进行粗略的预测，此处利用两个回归分支对缺陷的位置进行独立的预测，一个分支负责预测缺陷的中心点横坐标和宽，一个分支负责预测缺陷的中心点纵坐标和高，得到的位置信息以锚框位置作为基础，表示为锚框位置相对于缺陷位置在中心点横坐标、宽、中心点纵坐标、高上的偏移；

(4)搭建兴趣区域池化层，调整卷积层数，此处在兴趣区域池化层增加4层卷积层，根据(3)中得到的正例、负例和偏移，从对应的特征图中提取出特征，并且输出为统一的大小，其中，提取特征时选择特征图的公式为：

其中，p为选择的特征图编号，p

步骤四：在训练集上对模型进行训练，训练集的图像为1200张管道焊缝的射线图像，训练集的标签为图像中缺陷的种类c以及缺陷的位置，缺陷种类的数量为7，c的取值为区间[0,6]中的正整数，分别对应非缺陷、圆形缺陷、条形缺陷、未熔合缺陷、内凹缺陷、咬边缺陷和裂纹缺陷，缺陷的位置包括缺陷的中心点横坐标x

(1)计算标签中缺陷位置相对于锚框的偏移量，包括横坐标、纵坐标、高度、宽度的偏移量，横坐标的偏移量计算公式为：

其中，t

其中，t

其中，t

/>

其中，t

(2)训练模型中背景减去网络层、特征提取网络层和三支路区域推荐网络层三部分，训练完成的参数选择在训练过程中损失值最小的模型，每张图像选择16个锚框进行计算，损失值的计算公式为：

其中，L为损失值，N

其中，S(x)为任意输入；

(3)训练整个模型，导入(2)中训练完成的三支路区域推荐网络层的参数，训练完成的模型选择在训练过程中损失值最小的模型，损失值计算公式和(2)相同，其中平滑L1损失输入的偏移换成基于三支路区域推荐网络层输出的偏移，每张图像选择16个候选框进行计算，保证训练过程中三支路区域推荐网络层的参数不更新；

(4)训练模型中背景减去网络层、特征提取网络层和三支路区域推荐网络层三部分，导入(3)中训练完成的背景减去网络层、特征提取网络层和三支路区域推荐网络层的参数，训练过程仅仅更新三支路区域推荐网络层的参数，其余训练过程与(2)相同；

(5)训练整个模型，导入(3)中训练完成的背景减去网络层、特征提取网络层、兴趣区域池化层、分类/位置回归层的参数，导入(4)中训练完成的三支路区域推荐网络层的参数，训练过程仅仅更新兴趣区域池化层、分类/位置回归层的参数，其余训练过程与(3)相同；

步骤五：模型在测试时需要对模型最后一层输出的预测边框进行后处理，筛选符合要求的预测边框，去除检测网络输出的不合格的预测边框，处理过程为：首先去除分类标签为非缺陷的预测框，然后去除左上角坐标、右下角坐标超过图像边界的预测框，最后剩余的预测边框按分类标签进行划分，同一类别的预测边框按照分类评分降序排序，去除评分低、但是又与评分更高的预测边框的交并比超过0.5的预测边框，剩余的预测边框作为最终的预测结果，预测结果中的预测边框包括缺陷种类和缺陷位置两方面信息；

步骤六：在相同的测试集下评价不同模型的性能，测试集的图像为300张管道焊缝的射线图像，测试集的标签为图像中缺陷的种类c以及缺陷的位置，缺陷种类的数量为7，c的取值范围为区间[0,6]中的正整数，分别对应非缺陷、圆形缺陷、条形缺陷、未熔合缺陷、内凹缺陷、咬边缺陷和裂纹缺陷，缺陷的位置包括缺陷的中心点横坐标x

其中，mAP表示均值平均精度，N表示类别数量，AP表示均值平均精度，计算公式为：

其中，P(R)表示精确率相对召回率的曲线，实际中由于无法得到连续曲线，这里的AP值取一定数量的等间距召回率区间下的最大精确率的平均值，精确率的公式为：

其中，P为精确率，TP为预测是正例、实际也是正例的样本数量，FP为预测是正例、实际是负例的样本数量，召唤率的公式为：

其中，R为召回率，FN为预测是负例、实际是正例的样本数量，比较结果为：

以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。