基于目标检测的焊接机器人全自主视觉引导方法及系统

技术领域

本发明涉及焊接机器人技术领域，尤其涉及一种基于目标检测的焊接机器人全自主视觉引导方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前焊接领域多采用人工焊接或者人工示教焊接的方式进行作业，这两种方式都离不开人工的直接参与。但因为焊接工作环境恶劣，所需要的焊接技艺越来越复杂，所需要的人工成本也逐年攀高。且人工示教流程繁琐，需要人工根据焊件尺寸输入对应信息，调节对应的焊接工艺，需要适合的工装卡具进行定位，再针对每一条焊缝进行示教，整个过程耗时长，不能够保证作业效率。

虽然有智能焊接技术应用于焊接机器人，但智能焊接技术存在焊缝识别不准，识别不全的问题，在面临复杂工况的时候往往还是需要人为的介入，难以做到完全的自动化、智能化。

另外，现有的智能焊接方法对于弱观测条件下的超薄搭接、微小对接等复杂焊缝，感知精度较低。

发明内容

为了解决上述问题，本发明提出了一种基于目标检测的焊接机器人全自主视觉引导方法，能够利用激光-视觉多模融合表征进行弱观测条件下的焊缝智能识别及定位，从而实现焊接机器人高效动作规划与纠偏。

在一些实施方式中，采用如下技术方案：

一种基于目标检测的焊接机器人全自主视觉引导方法，包括：

获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；

基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；

基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。

作为进一步的方案，还包括：通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。

作为进一步的方案，还包括：在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。

作为进一步的方案，所述目标检测模型的损失函数具体为：

L

其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数；L

作为进一步的方案，基于所有焊缝的三维空间坐标计算最优的焊接顺序，具体为：

将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。

作为进一步的方案，寻找最短的无碰撞路径，具体为：

采用快速扩展随机树算法，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；所述目标引力函数如下：

其中，x

作为进一步的方案，进行焊接机器人焊接位姿初步调整，具体过程为：

分别以焊接机器人移动路径上的每一个采样点为中心点，建立三维空间坐标系，沿坐标轴X、Y、Z轴的正负两个方向分别延伸，确定X、Y、Z轴延伸线与焊接工件的交点；基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿。

作为进一步的方案，基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿，具体包括：

若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为一个，则该交点与所述中心点的连线方向为焊接机器人的当前位姿；

若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为两个，则两个交点的连线过所述中心点的垂线方向为焊接机器人的当前位姿；

若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为三个，则三个接触点组成平面，所述平面过所述中心点的法向量方向为焊接机器人的当前位姿；

若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为四个，假设a、b两个交点同轴，另外两个交点为c、d；则交点a、b、c组成第一平面，交点a、b、d组成第二平面，第一平面过所述中心点的法向量为α，第二平面过所述中心点的法向量为β，向量α和向量β相加组成的新向量方向即为焊接机器人的当前位姿；

若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为五个，分别为a、b、c、d、e；假设a、b两个交点同轴，c、d两个交点同轴，则交点e与所述中心点的连线方向即为焊接机器人的当前位姿；

若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为六个，停止作业。

在另一些实施方式中，采用如下技术方案：

一种基于目标检测的焊接机器人全自主视觉引导系统，包括：

焊缝位置获取模块，用于获取焊接工件位置RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；

焊接路径寻优模块，用于基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；

机器人位姿调整模块基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。

在另一些实施方式中，采用如下技术方案：

一种焊接机器人，包括：焊接机械臂和控制器，焊接机械臂上分别设有相机和焊缝跟踪器，所述控制器用于执行上述的基于目标检测的焊接机器人全自主视觉引导方法。

与现有技术相比，本发明的有益效果是：

(1)本发明基于图像识别方法识别所有焊缝的位置，识别准确度提高，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。采取先粗后细的位姿调整策略，可将焊缝的定位精度控制在0.1mm以内，相比人工焊接和人工示教焊接的方式，在焊接精度上完全排除了人的主观性，采用客观的评价指标以保证在不同的作业环境中达到相同的效果。

(2)本发明可完成焊缝自主识别，初始焊位导引，焊接角度调整，焊接顺序优化，自主选择焊接工艺等全套焊接流程。大大减少了人的参与，可全天候作业，有效提升了焊接效率，降低人力成本投入。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中基于目标检测的焊接机器人全自主视觉引导方法流程图；

图2为进行焊接机器人焊接位姿初步调整示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于目标检测的焊接机器人全自主视觉引导方法，结合图1，具体包括如下过程：

(1)获取焊接工件RGB图像和深度图像信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；

具体地，焊接机器人包括焊接机械臂，机械臂上分别架设有双目相机和激光焊缝跟踪器；其中，双目相机负责检索全局信息进行粗定位，激光焊缝跟踪器负责精准定位和调整位姿。

双目相机可以同时获取焊接工件RGB图像和深度图像信息；对RGB图像进行自适应缩放后送入训练好的目标检测模型；进行图像自适应缩放的目的是可以添加最少的黑边，减少信息冗余，提升检测速度。

本实施例中，目标检测模型采用YOLOv5目标检测算法；目标检测模型会获取图片中所有的焊缝以及焊点在图像中的位置，结果以bounding box(包含焊缝和焊点外接矩形框的位置信息：如左上角点和右下角点的像素坐标)的形式输出。

因为焊件在焊接之前需要进行预固定，预固定会产生焊点，焊点也可以作为辅助定位焊缝准确位置的重要特征，但会造成检测目标重叠的问题。同时，通常焊缝比较细长，对应的Bounding box纵横比远大于焊点的Bounding box纵横比。

本实施例将原本的损失函数替换为Focal-EIOULoss，EIOU Loss具体公式原理如下所示：

其中，b，b

Focal-EIOU Loss具体公式原理如下所示：

L

其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数，L

本实施例综合考虑了重叠损失、中心距离损失和宽高损失。同时为了更好地聚焦高质量锚框，给越好的回归目标越大的损失。实验证明，Focal-EIOU Loss比给定的GIOULoss损失函数取得了更好的效果。

训练目标检测模型时，需要采集焊件各个角度的图片，使用线上软件makesense共对训练集中的1517张图片进行标注，标注的特征为焊缝和焊点。训练时每次读取4张图片进行Mosaic数据增强，包括翻转、缩放、色域变换、随机裁剪、随机缩放和随机排布等。在训练时，网络采用自适应锚框计算，会在初始锚框的基础上输出预测框并和真实框进行比对，计算差距再反向更新。

(2)基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；

本实施例路径规划方面采用回溯法找到最优的焊接顺序，采用改进后的快速扩展随机树算法(简称RRT算法)寻找最短的无碰撞路径。

具体地，将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。

采用改进后的快速扩展随机树算法寻找最短的无碰撞路径，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；目标引力函数如下：

其中，x

(3)基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。

本实施例中，调整焊接角度以及姿态方面采取“先粗后细”的策略，先利用生成的路径结合所有焊缝的三维空间坐标进行初步的位姿调整，结合图2，具体过程如下：

分别以焊接机器人移动路径上的每一个采样点为中心点，建立三维空间坐标系，沿坐标轴X、Y、Z轴的正负两个方向分别延伸，确定X、Y、Z轴正负方向延伸线与焊接工件的交点；

基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿；以某一个中心点o为例：

①若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为一个，则该交点与中心点o的连线方向为焊接机器人的当前位姿；

②若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为两个，则两个交点的连线过中心点o的垂线方向为焊接机器人的当前位姿；

③若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为三个，则三个接触点组成平面，平面过中心点o的法向量方向为焊接机器人的当前位姿；

④若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为四个，假设a、b两个交点同轴，另外两个交点为c、d；则交点a、b、c组成第一平面，交点a、b、d组成第二平面，第一平面过中心点o的法向量为α，第二平面过中心点o的法向量为β，向量α和向量β相加组成的新向量方向即为焊接机器人的当前位姿；

⑤若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为五个，分别为a、b、c、d、e；假设a、b两个交点同轴，c、d两个交点同轴，则交点e与中心点o的连线方向即为焊接机器人的当前位姿。

⑥若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为六个，则停止作业。

基于上述位姿调整过程，直到激光焊缝跟踪器找到焊缝，再根据激光焊缝跟踪器上返回的亚毫米级别的距离信息对机械臂姿态和位置做进一步调整。

(4)通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。

本实施例中，利用激光焊缝跟踪器确定焊缝始末位置，确定焊缝的种类，调整焊接工艺；在原有焊缝位置信息的基础上，采用“由外向内”的方式检索焊缝准确的起止点位置，通过激光焊缝跟踪器返回的角度，位置和焊缝宽度等信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。

(5)在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。

本实施例方法的焊缝识别准确度明显提高，mAP(mean average precision，平均精度均值，其值越接近1越好)由改进前的0.974提升至0.995，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。

焊接精度显著提升，采取先粗后细的定位策略，可将焊缝的定位精度控制在0.1mm以内，相比人工焊接和人工示教焊接的方式，在焊接精度上完全排除了人的主观性，采用客观的评价指标以保证在不同的作业环境中达到相同的效果。

焊接效率提升30％至50％，整套智能焊接机器人系统可自主完成焊缝定位，路径规划，焊接工艺选择，焊接姿态调整等全套的焊接流程，大大减少了人的参与，可全天候作业，有效提升了焊接效率，降低人力成本投入。

产能预计提高50％至70％，焊接作为工业生产领域必不可少的一环，起到了至关重要的作用，一名优秀的焊工往往需要几年甚至几十年的经验积累。考虑到日益增长的人力成本，智能焊接系统能够有效地代替人力完成焊接任务，从而提升整个行业的自动化程度和效益。

实施例二

在一个或多个实施方式中，公开了一种基于目标检测的焊接机器人全自主视觉引导系统，包括：

焊缝位置获取模块，用于获取焊接工件位置RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；

焊接路径寻优模块，用于基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；

机器人位姿调整模块基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。

作为可选的实施方式，还包括：焊接工艺选择模块，用于通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。

需要说明的是，上述各模块的具体实现方式已经在实施例一中进行了详细的说明，此处不再详述。

实施例三

在一个或多个实施方式中，公开了一种焊接机器人，包括：焊接机械臂和控制器，焊接机械臂上分别设有相机和焊缝跟踪器，所述控制器用于执行上述的基于目标检测的焊接机器人全自主视觉引导方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。