一种焊缝缺陷自动提取方法

技术领域

本发明涉及焊缝检测方法领域，具体涉及一种X射线管道焊缝缺陷自动提取方法。

背景技术

现阶段的焊缝无损检测中，X射线检测是一种十分重要的方法，由于其具有穿透性和无损性的特点，可以节省故障排除和研究方面的金钱和时间，因而得到了广泛的使用。现阶段对于X射线检测的结果一般以人工评定为主，计算机评定为辅。其评判过程十分依赖评定人员的个人能力，具有较强的主观性，易受外界影响，一定程度上会导致错判、漏判等问题的出现。现阶段的X射线成像技术也加大了对检测人员的要求，尤其是对X射线底片数字化后，会出现低信噪比，背景图像不稳定等一些列问题，给检测带来了一些困难。

现阶段的焊缝缺陷自动化检测主要是依靠基于灰度图像的形态学分析来完成。在此基础上,国内外专家提出了利用梯度直方图(HOG)和局部二值模式(LBP)的方法快速提取焊缝缺陷所在位置。使用大律法分割(OSTU)以加强二值化效果。采用Canny算子使得边缘更加精细化。但这些方法多对图片的预处理提出了较高的要求，在环境发生改变后，会使初始设定的参数失效，从而影响最终的结果。现阶段人工智能领域的发展也给焊缝自动化检测提出了新的方法。例如使用卷积神经网络(CNN)和全卷积网络(FCN)。CNN网络利用复杂的网络结构实现对图像的检测，但是其过高的数据量要求和运行硬件要求极大地增加了使用成本。FCN网络取消了全连接层，可对每一个像素都产生一个预测，但是其结果的准确率有待提高。因此如何降低图像质量要求，减少训练所需数据量，并对焊接缺陷等级评定且为缺陷成因的分析提供数据支持是目前有待解决的问题。

发明内容

本发明要解决的技术问题是如何降低图像质量要求，减少训练所需数据量，并对焊接缺陷等级评定且为缺陷成因的分析提供数据支持是目前有待解决的问题，提供一种焊缝缺陷自动提取方法。

本发明是通过下述技术方案来解决上述技术问题：

一种焊缝缺陷自动提取方法，所述提取方法包括：

焊缝图像获取；

焊缝图像预处理，获取预处理后焊缝图像；

将所述预处理后焊缝图像输入U型网络模型，所述U型网络模型包括包括网络输入端，网络输出端，下采样部分和上采样部分，所述下采样部分为编码器由ResNet34构成，所述上采样部分为解码器由U-net构成，所述上采样部分和下采样部分之间采用跳跃连接进行叠加，所述网络输入端采用与所述ResNet34相适应的通道图像作为输入图像，输出连接至所述下采样部分的输入端，所述上采样部分的输出端将图像转换为单通道图像输出；

获取焊缝提取图像。

较佳地，所述将所述预处理后焊缝图像输入所述U型网络模型之前还包括：

使用模型训练集对所述U型网络模型进行训练；

所述U型网络模型前向传播获取预测值，所述U型网络模型的损失函数进行损失值计算，即计算真实值和所述预测值间的差值；

使用模型验证集对所述U型网络模型进行验证；

验证所述U型网络模型的识别率并进行权重参数调整；

使用模型测试集对所述U型网络模型的准确率进行测试。

较佳地，所述焊缝图像获取包括：

对焊缝摄像底片进行数字化处理获取数字化焊缝图像，所述数字化焊缝图像包括：欠缺图像类，未融合图像类，裂缝图像类及未焊透图像类进而构建数据集；

对所述数字化焊缝图像进行人工标注；

将人工标注后的所述数字化焊缝图像转换为灰度标签图片文件和坐标图片文件。

较佳地，所述焊缝图像预处理包括：

调整所述标签图片文件的大小并将调整后的所述标签图片文件的通道数转换为适应所述Resnet34的通道数；

数据增强，增加调整后的所述标签图片的数量；

对所述数据集进行分类，包括所述模型训练集，所述模型验证集和所述模型测试集。

较佳地，所述下采样部分包括：一个大小为7×7步长为2的卷积核，若干下采样卷积层，若干池化层；所述上采样部分包括：若干上采样卷积层，若干差值上采样层，一个反卷积层和一个大小为1×1的卷积核。

进一步地，所述下采样卷积层采用若干个两个3×3的卷积核的残差网络模块，所述上采样卷积层采用若干个3×3的卷积核。

较佳地，在所述U型网络模型进行下采样时，使用了ImageNet数据集上与训练好的所述ResNet 34进行迁移学习，用于提高所述U型网络模型的识别能力。

较佳地，所述跳跃连接进行图像拼接时，通过zero padding的方式对所述上采样和所述下采样过程中边缘缺失像素进行填充。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：在保留了全卷积神经网络在像素分割上优势的同时，使得整个网络识别能力更强、接收域更大、融合多尺度信息，对图片的特征进行了拼接，增大了图像信息的使用率，降低了对图像质量的要求以及训练所需图像的数量，降低了对数据集的要求。

附图说明

图1为本发明一种焊缝缺陷自动提取方法一实施例中焊缝缺陷图像提取流程图；

图2为本发明一种焊缝缺陷自动提取方法一实施例中的焊缝图像获取流程图；

图3为本发明一种焊缝缺陷自动提取方法一实施例中的焊缝图像预处理流程图；

图4为本发明一种焊缝缺陷自动提取方法一实施例中的对U型网络模型训练流程图；

图5为本发明一种焊缝缺陷自动提取方法一实施例中的U型网络模型结构示意图；

图6为本发明一种焊缝缺陷自动提取方法一实施例中的未处理的待测焊缝图像；

图7为本发明一种焊缝缺陷自动提取方法一实施例中的通过U型网络模型提取后的缺陷图像。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。

需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。本文所使用的术语“安装”、“一端”、“另一端”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示为本发明焊缝缺陷图像提取流程图：

S01：焊缝图像获取；

如图2所示，为本发明焊缝图像获取流程图：

S011：对焊缝摄像底片进行数字化处理获取数字化焊缝图像

在一个示例中，所述数字化焊缝图像包括：欠缺图像类，未融合图像类，裂缝图像类及未焊透图像类进而构建数据集，这四大类缺陷的底片，通过胶片扫描仪数字化后，作为训练所用的数据集使用。

S012:对所述数字化焊缝图像进行人工标注；

使用图片注释软件对数据集进行人工标注。要求所用软件可使用多边形边框进行标注，标定范围要精准，标签无误。

S013：将人工标注后的所述数字化焊缝图像转换为灰度标签图片文件和坐标图片文件；

在一个示例中，将人工标注后所得的JSON文件转换为灰度标签图片文件和坐标图片文件。若灰度标签文件中缺陷区域像素不为0、背景不为1，则要对图片进行反色处理。

S02：焊缝图像预处理，获取预处理后焊缝图像；

如图3所示为本发明焊缝图像预处理流程图：

S021：调整所述标签图片文件的大小并将调整所述标签图片文件的通道数；

在一个示例中，原始图像在输入网络前对图像的大小进行调整，将图像转换为1024×1024大小的尺寸。此外，输入图像还需通过卷积核为3，长宽均为1的2维卷积层，将多通道数据映射到3通道以适应Resnet34。

S022：数据增强，增加调整后的所述标签图片的数量；

在一个示例中，通过包括图像整体翻转，图像剪裁后翻转以及增加高斯模糊在内的方法，增加数据集的数量。

S023：对所述数据集进行分类，包括所述模型训练集，所述模型验证集和所述模型测试集；

在一个示例中，拆分数据集为70％～90％为模型训练集，较佳地为80％为模型训练集，5％～15％为模型验证集，较佳地10％为验证集，5％～15％为模型测试集，较佳地10％为测试集。

S03：将所述预处理后焊缝图像输入U型网络模型；

在一个示例中，在将预处理后焊缝图像输入U型网络模型之前，需要对U型网络模型进行训练，如图4所示为本发明对U型网络模型训练流程图：

S031：使用模型训练集对所述U型网络模型进行训练；

在一个可选的示例中，U型网络模型中的4次下采样，使用ImageNet数据集上与训练好的ResNet 34进行迁移学习，用于提高U型网络模型的识别能力。选择Adam优化器对网络进行训练，输出端采用sigmoid激活函数，U型网络模型的损失函数

S032：使用模型验证集对所述U型网络模型进行验证；

在一个可选的示例中，在训练结束后需对U型网络模型的输出结果进行评估，系统的置信度判断采用Dice相似系数，即

S033：使用模型测试集对所述U型网络模型的准确率进行测试

在一个示例中，模型测试集不参与训练的过程，用以最终测试U型网络模型的准确率。

其中，本发明所使用的U型网络模型结构示意图如图5所示：

U型网络模型分为下采样和上采样两个部分，下采样部分和上采样部分之间采用跳跃连接(skip connect)进行叠加，整体上呈U型对称结构，在U型网络模型的左侧的编码器为ResNet34，在U型网络模型的右侧为解码器，两者之间通过跳跃连接进行叠加，网络输入端采用1024×1024像素尺寸的3通道图片作为输入图像，输出端为1024×1024像素尺寸的单通道图片。下采样的过程首先通过一个大小为7×7的，步长为2的卷积核，之后通过4个下采样卷积层和4个最大池化层，最大池化层采用2×2的池化核，下采样卷积层均采用含有两个3×3的卷积核的残差网络模块100，所述残差网络模块100的计算方式为，输入图像经过两个3×3的卷积计算后，再与输入图像相加，然后再进行激活后输出，其中加号表示相加，若两个卷积计算为F(x)，输入图像为x，则输出图像为F(x)+x。各层残差网络模块的个数按计算顺序分别为3、4、6、3。上采样的过程中有4个上采样卷积层，4个差值上采样层，一个反卷积层和一个1×1的卷积核，其中上采样卷积层采用3×3的卷积核，卷积核数量分别为2、2、2、2，在图像输出前，需通过一个1×1的卷积核使图片转换为单通道图像。在卷积层中，由于所述U型网络模型中的卷积层使用了valid卷积方式，图像的边缘像素会减少，从而改变了图像的尺寸，影响跳跃连接时图像的拼接，此时可通过zero padding的方式对缺失的边缘像素使用零来填充，使上采样和下采样中的图片能正确的拼接。

S04：获取焊缝提取图像；

在一个示例中，使用所述U型网络模型来进行裂纹提取任务，将待检测的裂纹图片输入已测试后的U网络模型，输入与输出图像的像素大小为1024×1024。

如图6所示为本发明一实施例中的未处理的待测焊缝图像，图像中存在一定数量的焊接缺陷，如图7所示为本发明一实施例中的通过所述U型网络模型提取后的焊缝缺陷图像，图像中白色的部分为焊接缺陷，黑色的部分为背景。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。