用于X射线焊缝图像的缺陷识别方法、设备和存储介质

技术领域

本发明涉及机器学习领域，尤其是涉及一种用于X射线焊缝图像的缺陷识别方法、计算机设备和存储介质。

背景技术

X射线的成像方式、焊接材质、焊接方法等客观因素的影响，图像存在噪声多、对比度低、焊缝区域与背景区域的灰度值分布较为相近、图像不同区域光照差异大等问题，这样的图像首先给人带来视觉上的不舒适，这使得技能工人需耗费大量的时间手动进行图像增强工作，以使图像质量最接近人眼判定程度。大量的图像增强工作易导致技能工人的疲劳，极易导致焊缝质量出现误判、漏判等情况出现。尽管焊缝的X射线图像捕获设备获得极大的改进，但仍然存在各种干扰因素，这导致X射线图像质量较差。因此，对于原始X射线图像的视觉效果和质量改进是图像预处理必不可少的部分。

然而，传统的焊缝检测方案是拍摄目标物的图像，对图像进行各种基于视觉技术的处理，当目标物所在的环境情况复杂时，检测目标物是否存在焊缝缺陷的准确度较低。

发明内容

本发明为克服上述情况不足，旨在提供一种用于X射线焊缝图像的缺陷识别方法、计算机设备和存储介质，能解决目前检测目标物是否存在焊缝缺陷的准确度较低的技术问题。

在一实施例中，提供一种用于X射线焊缝图像的缺陷识别方法，包括步骤：

构建机器学习训练网络，所述机器学习训练网络包括卷积层，所述卷积层用于提高图像的重构精度；

获取X射线焊缝原始图像，将X射线焊缝原始图像输入到机器学习训练网络得到缺陷特征图像，同时对缺陷特征图像进行初次的滤波去噪，得到去噪后的图像；

针对初次去噪后的图像进行二次去噪以获得二次去噪后的图像；

遍历二次去噪后的图像上的所有像素点，计算当前像素的局部阈值并统计当前邻域范围中边缘点的数目，根据当前像素的局部阈值以及当前邻域范围中边缘点的数目的范围对所有像素点赋值0或1完成对二次去噪后的图像的二值化处理，并得到二值化焊缝缺陷特征图；

对所述二值化焊缝缺陷特征图进行形态学处理；

遍历经过形态学处理后的二值化焊缝缺陷特征图中的各个像素，当遍历到的像素符合预设焊缝缺陷条件时，将符合所述预设焊缝缺陷条件的像素作为种子像素，并将所述种子像素的坐标进行入栈；将所述种子像素的邻域内符合所述预设焊缝缺陷条件的像素作为可填充像素，并将所述可填充像素的坐标进行入栈；弹出位于栈顶的坐标；将弹出的坐标所对应的像素作为种子像素继续查找可填充像素，直至栈内为空；在一次种子填充结束后，将弹出的各坐标所对应的像素区域确定为焊缝缺陷连通域；通过所述焊缝缺陷连通域确定所述目标物体是否存在焊缝缺陷。

作为本发明进一步的方案：其中，所述机器学习训练网络包括一个全连接层和九个卷积层，九个卷积层依次位于全连接层之后。

作为本发明进一步的方案：其中，所述卷积神经网络的初始输入是将一幅图像压缩为M的维矢量，并记为ΦX，其中Φ是大小为M×N维观测矩阵，M是测量数据，X是向量化的输入图像块；中间重建图像因分块量化后的量化误差的平均值记为损失函数，选择MSE作为损失函数，MSE是真实值与预测值的差值的平方求和平均；给定一组高分辨率图像{X

作为本发明进一步的方案：其中，所述针对初次去噪后的图像进行二次去噪以获得二次去噪后的图像步骤包括：

获取图像中的高对比度区域以及获取图像中的低对比度区域，其中所述高对比度区域以及所述低对比度区域包含了图像的边缘；

对所述高对比区域和所述低对比区域进行融合处理，获得二次去噪后的图像。

作为本发明进一步的方案：其中，在获取图像中的高对比度区域时，包括：

对初次去噪后的图像进行中值滤波，遍历初次去噪后的图像的所有像素点，计算每一个像素的对比度，得到一幅对比度图像，然后使用最大类间方差法(Otsu)对该对比度图进行二值化处理，得到一幅高对比度图，该图描述了图像上对比度较高的区域，这些区域包含了图像的边缘。

作为本发明进一步的方案：其中，使用式1计算每一个像素的对比度；

其中，D(x,y)代表像素点的对比度值，(x,y)代表一个像素点的坐标，x是横坐标，y是纵坐标，max即为取D(x+l，y+n)的最大值，其中变量l，n均为变量，变量范围为1-3。

作为本发明进一步的方案：其中，在获取图像中的低对比度区域时，包括：通过在初次去噪后的图像上迭代执行灰度形态学闭操作以及开操作得到背景，然后将初次去噪后的图像减去背景图像，得到一幅低对比度图。

作为本发明进一步的方案：其中，在对所述高对比区域和所述低对比区域进行融合处理时，包括：直接将高对比图和低对比图取交集，得到的边缘图像在滤除背景噪音的同时也滤除了低对比度部分，获得二次去噪后的图像。

作为本发明进一步的方案：其中，在根据当前像素的局部阈值以及当前邻域范围中边缘点的数目的范围对所有像素点赋值0或1完成对二次去噪后的图像的二值化处理，使用式2完成图像的二值化，并得到二值化焊缝缺陷特征图；

其中，g(x,y)代表当前像素点的灰度值，T为当前像素的局部阈值，Ne代表当前像素点邻域范围内的边缘点的数目，bw(x，y)代表图像坐标(x，y)处的二值化数值，r表示邻域半径，otherwise表示其它。

作为本发明进一步的方案：其中，当前像素的局部阈值T基于式3计算得到；

其中，T表示当前像素的局部阈值，m和s分别表示当前邻域范围内像素的灰度均值和标准差，k是一个调节系数，用于控制算法对图像对比度的响应，R是对灰度标准差的一个调节。

作为本发明进一步的方案：其中，所述种子像素的坐标入栈时，给所述坐标添加标签。

作为本发明进一步的方案：其中，在根据所述种子像素进行种子填充时，将全部入栈的坐标均添加相同的标签，将具有相同标签的坐标对应的像素区域确定为焊缝缺陷连通域。

作为本发明进一步的方案：当遍历像素时，若遍历到的所述像素已经存在标签，则不再对所述像素进行处理。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现用于X射线焊缝图像的缺陷识别方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现用于X射线焊缝图像的缺陷识别方法的步骤。

本发明的有益效果：本发明使用边缘区域的对比度信息对局部阈值进行自适应计算，能够在抑制噪音的同时保留较低对比度的前景信息，通过机器学习模型对图像中的焊缝缺陷特征进行第一次检测，得到焊缝缺陷特征图像；再对焊缝缺陷特征图像进行二值化处理，得到二值化焊缝缺陷特征图像，从二值化焊缝缺陷特征图像中提取焊缝缺陷连通域；通过焊缝缺陷连通域进行第二次检测，确定目标物是否存在焊缝缺陷，在检测过程中结合机器学习模型和连通域进行两次检测以减少错误检测，提高了检测准确度。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1是本发明一个实施例中用于X射线焊缝图像的缺陷识别方法的流程示意图。

图2为本发明一个实施例中计算机设备的内部结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本发明实施例中，一种用于X射线焊缝图像的缺陷识别方法，包括步骤S1-S6：

S1、构建机器学习训练网络：构建的机器学习训练网络包括一个全连接层和九个卷积层，九个卷积层依次位于全连接层之后，亦即卷积层的第一层至第九层依次位于全连接层之后，卷积层用于提高图像的重构精度，获得一个高分辨率的输出；所述卷积神经网络的初始输入是将一幅图像压缩为M的维矢量，并记为ΦX，其中Φ是大小为M×N维观测矩阵，M是测量数据，X是向量化的输入图像块；中间重建图像因分块量化后的量化误差的平均值记为损失函数，选择MSE作为损失函数，MSE是真实值与预测值的差值的平方求和平均；给定一组高分辨率图像{X

S2、图像的预处理：获取X射线焊缝原始图像，将X射线焊缝原始图像输入到机器学习训练网络得到缺陷特征图像，通过机器学习模型对图像中的焊缝缺陷特征进行第一次检测得到焊缝缺陷特征图像，同时对缺陷特征图像进行初次的滤波去噪，得到初次去噪后的图像。

S3、针对初次去噪后的图像进行二次去噪：所述二次去噪的步骤包括获取图像中的高对比度区域以及获取图像中的低对比度区域，其中所述高对比度区域以及所述低对比度区域包含了图像的边缘，对所述高对比区域和所述低对比区域进行融合处理，以获得二次去噪后的图像。

可理解的是，二次去噪的步骤为图像高低对比区域的融合处理。

首先包括高对比度区域的获取：对初次去噪后的图像进行中值滤波，其次遍历图像的所有像素点，使用式1计算每一个像素的对比度，得到一幅对比度图像，然后使用最大类间方差法(Otsu)对该对比度图进行二值化处理，得到一幅高对比度图，该图描述了图像上对比度较高的区域，这些区域包含了图像的边缘；

其中，D(x,y)代表像素点的对比度值，(x,y)代表一个像素点的坐标，x是横坐标，y是纵坐标，max即为取D(x+l，y+n)的最大值，其中变量l，n均为变量，变量范围为1-3。

随后再进行低对比度区域获取，通过在初次去噪后的图像上迭代执行灰度形态学闭操作以及开操作得到背景，然后初次去噪后的图像减去背景图像，得到低对比度图，这些边缘中包含了图像的高、低对比度边缘。

最后进行高、低对比区域的融合处理，直接将高、低对比图取交集，得到的边缘图像在滤除背景噪音的同时也滤除了低对比度部分，获得二次去噪后的图像。

S4、二次去噪图像二值化：遍历二次去噪后的图像上的所有像素点，计算当前像素的局部阈值并统计当前邻域范围中边缘点的数目，根据当前像素的局部阈值以及当前邻域范围中边缘点的数目的范围对所有像素点赋值0或1完成对二次去噪后的图像的二值化处理，并得到二值化焊缝缺陷特征图。

在根据当前像素的局部阈值以及当前邻域范围中边缘点的数目的范围对所有像素点赋值0或1完成对二次去噪后的图像的二值化处理，使用式2完成图像的二值化，并得到二值化焊缝缺陷特征图；

其中，g(x,y)代表当前像素点的灰度值，T为当前像素的局部阈值，Ne代表当前像素点邻域范围内的边缘点的数目，bw(x，y)代表图像坐标(x，y)处的二值化数值，r表示邻域半径，otherwise表示其它。

当前像素的局部阈值T基于式(式3)计算得到；

其中，T表示当前像素的局部阈值，m和s分别表示当前邻域范围内像素的灰度均值和标准差，k是一个调节系数，用于控制算法对图像对比度的响应，R是对灰度标准差的一个调节，和图像的灰度阶数有关，对于8发明位灰度图像，该R值为128。

S5、对所述二值化焊缝缺陷特征图进行形态学处理。从二值化焊缝缺陷特征图像中提取焊缝缺陷连通域；通过焊缝缺陷连通域进行第二次检测，确定目标物是否存在焊缝缺陷。

S6、遍历经过形态学处理后的二值化焊缝缺陷特征图中的各个像素，当遍历到的像素符合预设焊缝缺陷条件时，将符合所述预设焊缝缺陷条件的像素作为种子像素，并将所述种子像素的坐标进行入栈；将所述种子像素的邻域内符合所述预设焊缝缺陷条件的像素作为可填充像素，并将所述可填充像素的坐标进行入栈；弹出位于栈顶的坐标；将弹出的坐标所对应的像素作为种子像素继续查找可填充像素，直至栈内为空；在一次种子填充结束后，将弹出的各坐标所对应的像素区域确定为焊缝缺陷连通域；其中，所述种子像素的坐标入栈时，给所述坐标添加标签；在根据所述种子像素进行种子填充时，将全部入栈的坐标均添加相同的标签，将具有相同标签的坐标对应的像素区域确定为焊缝缺陷连通域；当遍历像素时，若遍历到的所述像素已经存在标签，则不再对所述像素进行处理；通过所述焊缝缺陷连通域确定所述目标物体是否存在焊缝缺陷。

本发明使用边缘区域的对比度信息对局部阈值进行自适应计算，能够在抑制噪音的同时保留较低对比度的前景信息，通过机器学习模型对图像中的焊缝缺陷特征进行第一次检测，得到焊缝缺陷特征图像；再对焊缝缺陷特征图像进行二值化处理，得到二值化焊缝缺陷特征图像，从二值化焊缝缺陷特征图像中提取焊缝缺陷连通域；通过焊缝缺陷连通域进行第二次检测，确定目标物是否存在焊缝缺陷，在检测过程中结合机器学习模型和连通域进行两次检测以减少错误检测，提高了检测准确度。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用于X射线焊缝图像的缺陷识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用于X射线焊缝图像的缺陷识别方法。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现用于X射线焊缝图像的缺陷识别方法的步骤。

关于处理器执行计算机程序时实现步骤的具体限定可以参见上文中对于用于X射线焊缝图像的缺陷识别的方法的限定，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现用于X射线焊缝图像的缺陷识别方法的步骤。

关于计算机程序被处理器执行时实现步骤的具体限定可以参见上文中对于用于X射线焊缝图像的缺陷识别的方法的限定，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例所提供的一种用于X射线焊缝图像的缺陷识别方法、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。