基于交互式的焊缝曲线提取与自动轨迹生成方法

技术领域

本发明涉及工业机器人自动化焊接技术领域，尤其是涉及一种基于交互式的焊缝曲线提取与自动轨迹生成方法。

背景技术

焊接技术是金属制造业的三大技术产业之一，在传统的手工焊接操作中，会产生大量的有毒气体、强光电弧及高温，所造成的尘肺病等呼吸系统疾病严重影响了工人的身心健康。同时，操作工人的焊接技术水平、疲劳程度等因素都会影响金属焊接的工作效率、焊接质量以及精度，因此，以工业机器人为载体的自动化焊接技术逐渐成为焊接领域发展的必然趋势。

目前焊接机器人的轨迹规划大多数是通过人工示教的方式对焊枪位置和姿态进行在线示教，由于人工操作主要凭借工人的自身经验，缺乏数据支撑，因此对于规则焊缝来说，往往能够较好的生成焊接轨迹，而对于曲面上的复杂形状焊缝来说，人工示教方式往往不能满足焊接工艺所需要的参数需求。

发明内容

本发明的目的在于提供一种基于交互式的焊缝曲线提取与自动轨迹生成方法，以解决现有技术中焊接效率低、焊接质量及精度偏低的问题。

为解决上述问题，本发明提供一种基于交互式的焊缝曲线提取与自动轨迹生成方法，具体包括以下步骤：

S1：对机器人视觉系统进行标定，建立焊接件的RGB-D图像的像素坐标与世界坐标系的三维坐标之间的数学映射关系；

S2：基于标定后的机器人视觉系统，提取光栅条纹图像的相位场分布，计算焊接件上物点的物点高度，建立物点高度与相位之间的数学映射关系；

S3：对焊接件上焊缝位置进行连续标注；

S4：设定兴趣区域，根据焊缝的标注痕迹获取焊接区域的最小包围盒，并提取标注痕迹的中心线，形成特征曲线；

S5：对所述特征曲线进行离散，生成路径点集合，并对所述路径点集合进行拟合，生成焊接轨迹。

进一步的，所述步骤S1建立焊接件的RGB-D图像的像素坐标与世界坐标系的三维坐标之间的数学映射关系的具体方法为：

采用带有预知位置点的标靶作为特征点提取图像，基于所述特征点在像素坐标系中的位置与所述特征点在世界坐标系中的坐标建立对应的数学映射关系，求解深度相机的内参数和外参数；所述特征点在像素坐标系中的位置与所述特征点在世界坐标系中的坐标之间的数学映射关系可表示为：

其中：Z

进一步的，所述步骤S2得到物点高度与相位值之间的数学映射关系的具体方法为：

S201：采用四步相移法并利用机器人视觉系统采集到四幅光栅条纹图像；

S202：对每一次相移的相移值进行赋值，计算区间相位值，并通过解相位方法得到完整的相位值，得到光栅条纹图像中的相位场分布；

S203：根据得到的相位场分布，计算焊接件上物点的物点高度，得到物点高度与相位值之间的数学映射关系。

进一步的，在步骤S201中，所述光栅条纹图像可表示为：

I

其中：i为第i次相移，i＝1,2,3,4；I

在步骤S202中，所述区间相位值通过如下公式计算得到：

其中：θ为相位值；I

在步骤S203中，所述物点高度通过如下公式计算得到：

其中：h为点(m,n)的高度；l为投影面至参考平面的垂直距离，θ

进一步的，所述步骤S4生成特征曲线的具体方法为：

利用机器人视觉系统获取添加了焊缝标注痕迹的RGB-D图像，并在获取的RGB-D图像中设置兴趣区域，提取所述兴趣区域内的前景区域，并确定兴趣区域内焊接区域的最小包围盒，对最小包围盒圈出的标注痕迹进行图像处理计算，提取出标注痕迹的中心线，形成焊接轨迹生成的特征曲线。

进一步的，在步骤S4中，采用二值分割方法提取所述兴趣区域内的前景区域，具体为：

确定灰度阈值，并根据确定的灰度阈值将图像上所有像素点进行二值化处理，以将图像分割成前景区域和背景区域，从而提取出前景区域；所述二值化公式表示如下：

其中：(x,y)为兴趣区域内的像素点；x,y为兴趣区域内所有像素点组成的像素矩阵的行列数；p(x,y)为像素点(x,y)进行二值化后的灰度值；f(x,y)为图像上像素点(x,y)的灰度值；T为灰度阈值。

进一步的，在步骤S4中，采用阈值迭代法确定所述灰度阈值，其具体方法为：

a.计算所述兴趣区域内图像所有像素点的第一灰度平均值，并将该第一灰度平均值作为初始灰度阈值；

b.基于所述初始灰度阈值，将所述图像中各像素点分割成两部分，并分别计算所述两部分像素点各自的第二灰度平均值，以及计算两个所述第二灰度平均值的算数平均值，以所述算术平均值作为第二灰度阈值；

c.判断所述初始灰度阈值对应的灰度值在二值化图像中出现的概率与第二灰度阈值对应的灰度值在二值化图像中出现的概率是否满足阈值的迭代计算公式，若满足，则以所述第二灰度阈值作为最终的灰度阈值对图像进行前景区域和背景区域的分割，否则，将所述第二灰度阈值视为步骤b中的初始灰度阈值，重复执行步骤b，直至得到的灰度阈值与前一灰度阈值之间满足阈值的迭代计算公式为止；所述阈值的迭代计算公式表示如下：

q

其中：q

进一步的，所述步骤S5生成焊接轨迹的具体方法为：

S501：对所述特征曲线进行离散，并对离散后形成的离散点进行迭代计算，拾取路径点，得到路径点集合；

S502：采用滑动轨迹方法依次对所述路径点集合中的路径点进行拟合，拟合出机器人的焊接轨迹。

进一步的，所述步骤S501得到路径点集合的具体方法为：

将所述特征曲线按照其曲线的曲率值进行离散，得到若干离散点；

取所述特征曲线的任一端的端点作为起始点，设定曲率误差阈值，自起始点开始迭代计算每一离散点的切向向量；

判断起始点的切向向量和与该起始点相邻的下一离散点的切向向量之差是否小于或等于误差阈值，若是，则拾取该离散点作为路径点，并以该路径点为起始点进行后续离散点的迭代拾取；否则将该离散点舍弃，并继续判断下一离散点与该起始点之间对应的差值与误差阈值的大小关系，直至所有离散点均判断完成，形成路径点集合。

进一步的，所述步骤S502拟合出机器人的焊接轨迹的具体方法为：

设定每一周期内拟合的路径点总数，采用滑动方法将所述路径点集合中的路径点按照拾取时序进行拟合，在拟合的每一周期内舍弃上一周期拟合的路径点中时序在前的预定数量的路径点，并按时序新增从路径点集合中选取相同数量的路径点进行拟合，得到机器人最终的焊接轨迹。

本发明采用机器人视觉系统提取焊接件表面上复杂焊缝的形状信息，同时基于图像处理技术提取焊缝出焊缝的特征曲线，根据焊接工艺需求，生成焊接机器人的焊接轨迹，能够有效提高焊接机器人的工作效率，并且焊接质量和焊接精度均能够得到良好的保证。

附图说明

图1为本发明基于交互式的焊缝曲线提取与自动轨迹生成方法

图2为步骤S2的流程图。

图3为步骤S2中物点高度与相位之间的数学映射关系图。

图4为步骤S4中迭代计算灰度阈值的流程图。

图5为步骤S5的流程图。

图6为步骤S501中离散点拾取原理示意图。

图7为步骤S502中路径点周期拟合原理示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，为本发明基于交互式的焊缝曲线提取与自动轨迹生成方法的流程图。本发明具体包括以下步骤：

S1：标定机器人视觉系统，建立像素坐标与三维坐标之间的数学映射关系。

具体的，采用带有预知位置点的标靶作为特征点提取图像，基于所述特征点在像素坐标系中的位置与所述特征点在世界坐标系中的坐标建立对应的数学映射关系：

其中：Z

在本实施例中，所述内参数矩阵可表示为：

其中：k

所述外参数矩阵可表示为：

其中：R,p分别为相机坐标系到世界坐标系的旋转矩阵和平移矩阵。

根据公式(1)、(2)和(3)，求解深度相机的内参数和外参数，以此建立焊接件的RGB-D图像的像素坐标与世界坐标系的三维坐标之间的数学映射关系。

S2：提取光栅条纹图像的相位场分布，建立物点高度与相位之间的数学映射关系。

具体的，向所述焊接件上投影光栅，并基于标定后的机器人视觉系统采集光栅条纹图像，进而提取出光栅条纹图像的相位场分布；然后计算焊接件上物点的物点高度，建立物点高度与相位之间的数学映射关系。

如图2所示，所述步骤S2得到物点高度与相位值之间的数学映射关系的具体方法为：

S201：采集光栅条纹图像，得到相移图。

在本实施例中，采用四步相移法提取光栅条纹图像上的相位场分布。具体的，向所述焊接件上投影光栅，并在利用标定后的机器人视觉系统采集光栅条纹图像，然后移动投影光栅，继续采集移动后的光栅条纹图像，直至四次以精确移动投影光栅后得到四幅光栅条纹图像(也即相移图)。

所述光栅条纹图像(或相移图)可表示为：

I

其中：i为第i次相移，i＝1,2,3,4；I

S202：计算完整相位值，得到光栅条纹图像中的相位场分布。

首先，分别对四次相移的相移值进行赋值，在本实施例中，四次相移对应的相移值分别为：α

其中：θ为相位值；I

S203：计算物点高度，得到物点高度与相位值之间的数学映射关系。

具体的，选取焊接件上某一物点，根据所述步骤S202中计算得到的相位角，计算物点高度h：

其中：h为点(m,n)的高度；l为投影面至参考平面的垂直距离，θ

由此，建立物点高度与相位之间的数学映射关系，所述物点高度与相位之间的数学映射关系如图3所示。

S3：对焊接件上焊缝位置进行连续标注。

采用人工方法对焊接件上的焊缝位置进行连续标注，并以标注位置作为特征区曲线的基准位置。在本实施例中，为方便从图像中准确区分焊缝位置与其他位置，在进行焊缝位置标注时，所述标注痕迹选用与背景色反差强烈的标注工具进行(如采用黑色油性笔在银色焊接件上进行标注)，并且人工标注的方式有利于形成连续统一的标注痕迹，方便了后续进行特征曲线的提取。

S4：获取焊接区域的最小包围盒，采用图像处理算法提取标注中心线，形成特征曲线。

首先，利用机器人视觉系统获取添加了焊缝标注痕迹的RGB-D图像。然后，在RGB-D图像中设定兴趣区域，所述兴趣区域即为所述RGB-D图像中包含有焊接区域的区域，如此可减少图像处理的计算时间，提高加工效率。最后，在所述兴趣区域内提取出前景区域(即标注了痕迹的焊接区域，与所述前景区域相对应的还有背景区域，该背景区域即为非焊接区域)，根据焊缝的标注痕迹获取焊接区域的最小包围盒，对最小包围盒圈出的标注痕迹进行图像处理计算，提取出标注痕迹的中心线，形成焊接轨迹生成的特征曲线。

在本实施例中，采用二值分割方法提取所述兴趣区域内的前景区域。具体为：

A.采用阈值迭代法确定所述灰度阈值。如图4所示，采用阈值迭代法迭代计算灰度阈值的过程如下：

a.确定初始灰度阈值。

计算所述兴趣区域内限定的RGB-D图像中所有像素点的灰度值，并计算所有灰度值的平均值作为第一灰度平均值，将该第一灰度平均值作为初始灰度阈值。所述第一灰度平均值T

其中：T

b.计算第二灰度阈值。

基于所述初始灰度阈值(即第一灰度平均值T

c.判断初始灰度阈值与第二灰度阈值是否使迭代计算公式成立。

判断所述初始灰度阈值T

q

其中：q

若得到的初始灰度阈值T

若得到的初始灰度阈值T

B.根据确定的最终灰度阈值将RGB-D图像上所有像素点进行二值化处理，以将图像分割成前景区域和背景区域，从而提取出前景区域，以提取标注痕迹的中心，得到特征曲线。所述二值化公式表示如下：

其中：(x,y)为兴趣区域内的像素点；x,y为兴趣区域内所有像素点组成的像素矩阵的行列数；p(x,y)为像素点(x,y)进行二值化后的灰度值；f(x,y)为图像上像素点(x,y)的灰度值；T为灰度阈值。

S5：对所述特征曲线进行离散，生成路径点集合，并将所述路径点拟合成焊接轨迹。

如图5所示，所述步骤S5的具体步骤为：

S501：对特征曲线进行离散，对各离散点进行迭代计算并拾取，得到路径点集合。

首先，计算所述特征曲线的曲率值，将所述特征曲线按照其曲线的曲率值进行离散，得到若干离散点。

然后，取所述特征曲线的任一端的端点作为迭代计算的起始点，并设定曲率误差阈值ε，自起始点开始迭代计算每一离散点的切向向量。

最后，判断起始点的切向向量K

若起始点的切向向量K

若起始点的切向向量K

S502：对路径点集合中的路径点进行拟合，得到机器人的焊接轨迹。

在本实施例中，采用滑动轨迹算法对所述路径点进行拟合。具体的，设定每一周期内拟合的路径点总数，采用滑动方法将所述路径点集合中的路径点按照拾取时序进行拟合，在拟合的每一周期内舍弃上一周期拟合的路径点中时序在前的预定数量的路径点，并按时序新增从路径点集合中选取相同数量的路径点进行拟合，得到机器人最终的焊接轨迹。如图7所示，在本实施例中，每一周期内计算的路径点为5个，舍弃的路径点为所述5个路径点中的前2个，即在第t计算周期内拟合的路径点为G

本发明基于机器人视觉系统标定和四步相移法建立RGB-D图像与焊接件的空间转换关系以及图像中相位与焊接件的高度映射关系，并利用二值分割方法提出图像中的前景区域，采用图形处理算法提取出人工标注的焊缝的中心线，作为焊接轨迹生成的特征曲线，最后对特征曲线进行离散和拟合得到机器人的自动焊接轨迹，有效提高了焊接加工的工作效率，并且相对于传统的人工示教的方式，本发明具有充分的数据支撑，使得机器人在执行焊接操作时具有更高的精度和质量；同时，通过机器人完成焊接操作，能够避免工人遭受职业危害，安全性也相较于传统的焊接方法更高。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明的专利保护范围之内。