一种圆形焊缝识别方法及系统

技术领域

本发明涉及焊缝识别技术领域，尤其涉及一种圆形焊缝识别方法及系统。

背景技术

在焊接场景下，目前主流的圆形焊缝识别技术主要依赖于视觉识别，但视觉识别可能会受到以下几种负面影响：(1)焊接过程中产生的强光、热量、烟雾等噪声，会干扰图像和点云的采集和处理。(2)焊接过程中的熔池形变、热堆积效应、匙孔现象等，会导致图像和点云的几何信息不稳定。(3)焊接过程中的金属飞溅、火花、气泡等，会造成图像和点云的遮挡和缺失。因此，焊接场景下的圆形焊缝是一项具有挑战性的任务，需要采用有效的传感器融合、图像处理、深度学习等技术来提高圆形焊缝识别的准确性和鲁棒性。

目前，焊接场景下常用的圆形焊缝方法主要分为二维图像检测和三维点云检测方法。二维图像圆检测的方法有很多种，其中比较常用的主要有：霍夫圆检测法、霍夫梯度法以及随机霍夫变换检测法。三维点云圆形检测的方法有很多种，其中比较常用的主要有：基于随机采样一致算法的方法、基于霍夫变换的方法以及基于深度学习的方法。针对二维图像的圆检测方法，尤其是在实际的工业焊接场景的圆检测中，这些算法能实现大部分情况下的圆形焊缝，然而，由于二维图像的圆检测算法高度依赖于图像质量，对于焊接场景下由于弧光、烟雾、火花、气泡等噪声影响图像质量，以及候选圆大小不确定的情况下，二维图像检测方法会出现漏检、误检的情况。三维点云的圆检测直接利用三维空间中的点云数据，可以避免信息的损失或失真，能较好地缓解上述问题。然而，因为三维点云方法大多处理的是无序点云，在实际场景中，由于点云采集相机的成像效果不理想，容易受到金属飞溅、火花、气泡等导致点云遮挡或缺失，从而影响到点云的圆检测算法的检测精度。可见，现有技术中的圆形焊缝识别方法在识别过程中干扰因素较多，检测精度较低。

发明内容

本发明提供了一种圆形焊缝识别方法及系统，以解决现有技术中的圆形焊缝识别方法在识别过程中干扰因素较多、检测精度较低的问题。

为了实现上述目的，本发明通过如下的技术方案来实现：

第一方面，本发明提供一种圆形焊缝识别方法，包括：

S1：获取焊接场景下的待识别焊缝的二维图像和三维点云数据；

S2：对二维图像进行圆检测，确定二维图像中存在圆形结构的第一目标区域，并将第一目标区域映射到三维空间中得到三维点云区域；

S3：首先对第二目标区域进行三维圆检测，然后对其他区域进行三维圆检测以拟合出圆形结构参数，第二目标区域为三维点云数据中与第一目标区域的三维点云区域对应的区域，其他区域为三维点云数据中除第二目标区域以外的区域；

S4：根据圆形结构参数确定圆形识别结果。

可选地，对二维图像进行圆检测，确定二维图像中存在圆形结构的目标区域，包括：

采用无参数边缘检测算法检测二维图像得到连续的边缘段集合，并将边缘段集合转换为小于预设长度的直线段；

计算相邻直线段的角度变化率，将角度变化率小于预设变化率的直线段转换成圆弧段；

使用自适应多边形逼近算法，检测圆弧段确定候选圆和接近圆形形状的近圆椭圆，基于赫姆霍兹原理，根据圆形和椭圆参数附近弧段像素数计算误检为圆和椭圆的数量，从而对所述候选圆和近圆椭圆进行验证以初步得到圆形结构；

过滤掉初步得到的圆形结构中半径小于预设值的圆，得到二维图像中的圆，根据二维图像中的圆的圆心坐标和半径确定目标区域。

可选地，将目标区域映射到三维空间中得到三维点云区域，包括：

确定目标区域的第一位置和第二位置，第一位置和第二位置为对角关系；

根据第一位置的坐标对应的深度值、第二位置的坐标对应的深度值计算目标区域映射到对应的三维点云区域，其中，设定第一位置的坐标为(u

其中，μ为设置的高概率区域扩展系数，x

其中：

式中，(u,v)表示深度图中一个像素的坐标，d为像素对应的深度值，(x,y,z)为像素对应的三维空间中的坐标，K为相机的内参矩阵；

可选地，第一位置的坐标对应的深度值为第一位置的像素点的中值深度值，第二位置的坐标对应的深度值为第二位置的像素点的中值深度值。

可选地，S3之前，方法还包括：

对三维点云数据进行预处理得到预处理后的三维点云数据；

预处理包括直通滤波和下采样处理。

可选地，预处理还包括：

计算三维点云数据的最大连通区域并刨除离群点，使用移动最小二乘法对三维点云数据进行补全处理。

可选地，S3包括：

首先确定预处理后的三维点云数据中与三维点云区域对应的目标点云区域，采用点云圆检测的算法在目标点云区域拟合出圆形结构参数；

将预处理后的三维点云数据中除目标点云区域以外的区域视为其他区域，采用点云圆检测的算法在其他区域拟合出圆形结构参数。

可选地，S4包括：

根据圆形结构参数筛选出圆形结构中半径小于预设半径的圆形结构，滤除筛选出的圆形结构，并将剩余的圆形结构进行合并处理得到圆形识别结果。

第二方面，本申请提供一种圆形焊缝识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。

有益效果：

本发明提供的圆形焊缝识别方法，结合了二维图像和三维点云数据的圆检测算法，利用二维图像检测作为辅助手段进行圆形焊缝识别，可以减少点云圆检测的计算量和时间消耗，对三维点云数据中可能存在圆形结构的区域进行三维圆检测以快速筛选和识别，然后利用三维点云信息进行精确检测和修正，在第二目标区域内拟合出圆形结构的参数。对于剩余的点云区域，也采用同样的点云圆检测的算法，以补充二维圆检测可能漏检的情况。可以保证圆检测的完整性和正确性，对二维圆检测无法处理或漏检的情况进行补充和修正。这样，结合二维图像和三维点云数据，能够在复杂的焊接场景下，高效、准确地检测出圆形结构，鲁棒性好。

在进一步的方案中，在二维图像边缘检测阶段，本发明利用无参数边缘检测算法产生连续的边缘段集合，通过非最大抑制、滞后阈值化、腐蚀操作消除非边缘像素。可以减少焊接场景下受到强光、烟雾的影响。

在进一步的方案中，计算了点云的最大连通区域刨除离群点，而后使用了移动最小二乘法对点云进行补全。处理后的点云消除了弧光等离群点影响，并填充了飞溅等造成的小范围缺失值。避免焊接场景下点云采集可能受弧光、金属飞溅等影响出现离群点和缺失值的影响。

附图说明

图1为本发明优选实施例的一种圆形焊缝识别方法的流程图；

图2为本发明优选实施例的二维图像边缘提取结果示意图；

图3为本发明优选实施例的二维图像圆检测结果示意图；

图4为本发明优选实施例的识别得到的圆示意图。

具体实施方式

下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

应理解，现有技术中，霍夫圆检测是一种基于霍夫变换的方法，它将图像空间中的一个圆转换为参数空间中的一个点，然后通过投票和阈值来确定最可能的圆。它能够检测出不完整或有噪声的圆，而且不受图像旋转或缩放的影响。霍夫梯度法是一种对霍夫圆检测的改进方法，它利用图像的梯度信息来定位圆心，然后根据圆心到边缘点的距离来确定半径。它计算量相对较小，只需要遍历所有非零像素点，而且能够减少误检率。随机霍夫变换是一种基于随机采样一致算法的方法，它只选取少量的点来进行圆拟合，通过若干次的迭代来找到相对最优的圆。它基于的假设是获取一个圆形参数只需要知道它上面三个点就可以画出来。它能够在噪声较大或数据量较大的情况下快速找到近似解，而且能够处理重叠或相邻的圆。

针对二维图像的圆检测方法，尤其是在实际的工业焊接场景的圆检测中，这些算法能实现大部分情况下的圆检测，然而，由于二维图像的圆检测算法高度依赖于图像质量，对于焊接场景下由于弧光、烟雾、火花、气泡等噪声影响图像质量，以及候选圆大小不确定的情况下，二维图像检测方法会出现漏检、误检的情况。

基于随机采样一致算法的方法只选取少量的点来进行圆拟合，通过若干次的迭代来找到相对最优的圆。它基于的假设就是很多形状其实不需要所有点都参与计算，比如一个圆则只需要知道它上面三个点就可以画出来。因此在找到点云中的边缘之后，它会随机地选择几个点，根据这些点找到候选圆心和半径，并计算它们与其他点之间的误差。然后进行若干次迭代来找到在容忍阈值之内误差最小的圆。基于霍夫变换的方法是一种基于霍夫变换的方法，它将点云空间中的一个圆转换为参数空间中的一个点，然后通过投票和阈值来确定最可能的圆。它的原理是任何一个圆都必须满足(x-a)^2+(y-b)^2+(z-c)^2＝r^2这个基本公式，其中x,y,z是圆周点的坐标，a,b,c是圆心，r是半径。对于点云中的每一个非零点，它可能属于多个不同的圆，因此它对应参数空间中的一条曲线。如果点云中有一个真实的圆，那么它上面的所有点对应的曲线在参数空间中会相交于一个点，这个点就是该圆的参数。通过累加器和阈值来统计参数空间中每个点的相交次数，如果超过一定值，就认为该点代表一个圆。基于深度学习的方法利用神经网络来直接从点云数据中预测出圆形物体的位置和属性。它通常包括两个阶段：第一个阶段用于生成候选区域，第二个阶段用于细化区域以获得最终的检测结果。

以上的三维点云的圆检测直接利用三维空间中的点云数据，可以避免信息的损失或失真，能较好地缓解上述问题。然而，因为三维点云方法大多处理的是无序点云，在实际场景中，由于点云采集相机的成像效果不理想，容易受到金属飞溅、火花、气泡等导致点云遮挡或缺失，从而影响到点云的圆检测算法。

基于此，本申请提供一种圆形焊缝识别方法及系统，以解决现有技术中的圆形焊缝识别方法在识别过程中干扰因素较多，检测精度较低的问题。值得说明的是，本申请中的一种圆形焊缝识别方法对于激光焊接和、焊弧场景均可适用，不受焊接工艺约束。

请参见图1，本申请提供的一种圆形焊缝识别方法，包括：

S1：获取焊接场景下的待识别焊缝的二维图像和三维点云数据。

在该步骤中，获取焊接场景下的待识别焊缝的二维图像和三维点云数据，可以是通过相机扫描获取。

S2：对二维图像进行圆检测，确定二维图像中存在圆形结构的第一目标区域，并将第一目标区域映射到三维空间中得到三维点云区域。

在该步骤中，对二维图像进行适用于焊接场景下的圆检测的算法，找出图像中存在圆形结构的区域，并将这些区域标记为点云圆检测的第一目标区域，值得指出的是，第一目标区域也就是存在圆形结构的高概率区域。将这些二维区域映射到三维空间中。这样，可以利用二维图像信息进行快速筛选和定位，减少点云圆检测的计算量和时间消耗。

S3：对第二目标区域进行三维圆检测，并对其他区域进行三维圆检测以拟合出圆形结构参数，第二目标区域为三维点云数据中与第一目标区域的三维点云区域对应的区域，其他区域为三维点云数据中除第二目标区域以外的区域。

在该步骤中，第二目标区域内的点云采用点云圆检测的算法，可以利用三维点云信息进行精确检测和修正，在第二目标区域内拟合出圆形结构的参数。对于剩余的点云区域，也采用同样的点云圆检测的算法，以补充二维圆检测可能漏检的情况。这样，算法能保证圆检测的完整性和正确性，对二维圆检测无法处理或漏检的情况进行补充和修正。值得指出的是，第二目标区域是对应第一目标区域的三维点云区域。

S4：根据圆形结构参数确定圆形识别结果。

上述的圆形焊缝识别方法，结合了二维图像和三维点云数据的圆检测算法，利用二维图像检测作为辅助手段进行圆形焊缝识别，可以减少点云圆检测的计算量和时间消耗，对三维点云数据中可能存在圆形结构的区域进行三维圆检测以快速筛选和识别，然后利用三维点云信息进行精确检测和修正，在第二目标区域内拟合出圆形结构的参数。对于剩余的点云区域，也采用同样的点云圆检测的算法，以补充二维圆检测可能漏检的情况。可以保证圆检测的完整性和正确性，对二维圆检测无法处理或漏检的情况进行补充和修正。这样，结合二维图像和三维点云数据，能够在复杂的焊接场景下，高效、准确、鲁棒地检测出圆形结构。

在一完整示例中，上述的方法包括如下步骤：

1、二维图像圆检测：

利用无参数边缘检测算法产生连续的边缘段集合，考虑到焊接下多种噪声的影响，本申请通过非最大抑制、滞后阈值化、腐蚀操作消除非边缘像素，这样能有效避免焊接中弧光、烟雾等噪声对图像质量的影响，处理后的边缘信息如图2所示。之后将这些边缘段集合计算其最小二乘拟合的直线方程，以及根据方程拟合误差，如果拟合误差小于给定阈值，则认为该边缘段是一个直线段，否则将其分割为两个子边缘段，并递归地对每个子边缘段进行拟合和分割，直到所有的边缘段都被拟合为直线段或者达到预先设定的最小长度。根据相邻直线段的角度变化率，将两相邻直线段角度变化率小于阈值的直线段转换成圆弧段，之后使用自适应多边形逼近算法，检测候选圆和近圆椭圆。基于赫姆霍兹原理，通过一个反向验证步骤对候选点进行验证，消除了检测到的错误结果。

采用图像圆检测后，过滤半径大小内的圆并合并范围大小内的圆。得到二维检测的圆结果后，根据其圆心坐标和半径转为点云需要检测的二维候选区域点。图3所示为过滤了半径范围内和合并圆后转为二维候选区域点的结果。

作为可变换的实施方式，在一示例中，还可以使用图像的目标检测方法、图像分割方法对二维图像进行圆检测。

2、将二维区域转为三维点云区域：

由于本申请中的点云是由深度相机捕获深度图转点云获取的，因此，需要将二维区域的深度图转为三维点云区域，只需要将对应二维区域的第一位置和第二位置的坐标转为点云，即可获得相机坐标系下对应点的坐标值，例如，将第一位置确认为对应二维区域的左上角，将第二位置确认为对应二维区域的左下角，将左上角和左下角坐标转为点云，即可获得相机坐标系下对应点的坐标值，从而得到三维点云区域。假设深度图中一个像素的坐标为(u,v)，对应的深度值为d，那么该像素对应的三维空间中的坐标为(x,y,z)。假设相机的内参矩阵为K，表示为：

其中，f

为了防止转换过程中，转换的单个像素点受火花、弧光影响导致出现异常的范围区域，本申请对深度图采用了中值滤波，取像素点的中值深度信息作为需要转换的深度信息。

对于一个二维区域，根据左上角坐标(u

其中，μ作用是为了冗余区域扩充转换区域，μ为设置的高概率区域扩展系数，x

3、对获取的三维点云数据进行预处理：

对点云进行直通滤波后，为了进行点云圆检测，在直通滤波、下采样后，本申请考虑了焊接场景下点云采集可能受弧光、金属飞溅等影响出现离群点和缺失值的情况，首先计算了点云的最大连通区域刨除离群点，而后使用了移动最小二乘法对点云进行补全。处理后的点云消除了弧光等离群点影响，并填充了飞溅等造成的小范围缺失值。

4、对预处理后的点云数据进行点云圆检测：

本申请采用随机一致性采样算法实施点云圆检测，得到拟合圆的曲线方程后，将方程范围内的所有点归为圆上的点，并将剩余点继续作为下一阶段的点云检测的输入点云。具体地，在获取二维圆检测的结果后，对标记为点云圆检测的高概率区域进行优先处理，对这些区域内的点云进行三维圆检测的算法，然后再对剩下的点云区域进行同样的三维圆检测的算法，以提高圆检测的效率和准确度。这样，既能充分利用二维圆检测的信息，提前确定高概率出现圆形结构的区域，缩小检测范围，节省计算资源，又能避免二维圆检测的不足，对于二维圆检测无法识别或漏识别的情况，仍然能够通过三维圆检测的算法，从剩余点云中发现圆形结构。

作为可变换的实施方式，在一示例中，还可以使用点云分割方法进行三维点云圆检测。

5、候选圆过滤：

对于点云圆检测算法得到的结果，本申请也过滤了指定半径范围的圆后，也对圆心在范围内的圆进行了合并操作。合并后的圆结果即是最终得到的圆的结果，如图4所示，图像整体为输入的点云，加粗圆形曲线为检测到的最终圆形结果。

本申请采用点云检测为主，图像检测为辅的二维三维结合的圆检测方法，能有效地解决由于点云成像结果不理想产生噪声以及离群点干扰影响点云圆检测的缺点。同时，由于本发明采用的圆检测技术主要依赖于点云圆检测算法，其避免了二维圆检测高度依赖于图像质量的缺点。本发明首先利用二维圆检测的方法，对三维点云中可能存在圆形结构的区域进行快速筛选和识别，然后再对剩余的点云进行三维圆检测的方法，以提高圆检测的效率和准确。相比仅使用二维图像的圆检测方法，由于图像质量受到强光、烟雾的影响，导致圆形结构无法被清晰地识别。例如，在焊接过程中，由于强光或烟雾遮挡了圆形结构的边缘或轮廓，使得二维图像中无法提取出有效的特征点或边缘信息，从而导致二维圆检测算法失效或误检。而本发明采用三维点云信息为主，能够有效地避免这种缺陷。相比仅使用三维点云的圆检测方法，由于点云采集相机的成像效果不理想，以及焊接过程中的金属飞溅、火花、气泡，会产生噪声、遮挡、缺失和离群点，从而影响到点云的圆检测算法。为此，本发明使用二维图像信息为辅，提前定位到高概率检测到圆形的区域，同时在点云预处理阶段对点云进行离群点剔除和补全，可以在一定程度上避免三维点云的圆检测出现误检、漏检的情况。

本申请实施例还提供一种圆形焊缝识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。该圆形焊缝识别系统可以实现上述方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。