双摄锁孔TIG焊在线视觉检测装置及方法

技术领域

本发明涉及焊接监控和图像处理技术领域，具体涉及一种基于双摄像头的锁孔TIG焊机器人在线视觉检测装置及方法。

背景技术

中厚板焊接结构在多个工业领域，如造船、桥梁、石油化工、锅炉容器以及重型机械等被广泛应用。然而，大型焊件通常具有大量的大曲面长焊缝，这导致焊缝质量稳定性差、生产效率低以及工人劳动强度大。近年来，深熔锁孔TIG焊技术作为一种新型的焊接方法，利用锁孔效应实现大熔深，能够一次性焊透、单面焊双面成型，焊缝成形良好，焊接质量高。结合机器人可以很好地替代人工进行自动化焊接工作，从而提高生产效率、降低工人劳动强度以及提高焊缝质量稳定性。然而，在实际焊接过程中，深熔锁孔TIG焊仍然存在一些问题，例如焊缝的欠熔透、部分熔透和过熔透现象。

并且中厚板的曲面长焊缝装配、加工变形等因素常常导致焊缝呈现不规则和随机的状态，机器人焊接需要实时调整焊枪进行纠偏。目前，成熟的工控计算机+工业机器人的方式笨重无法满足在移动过程中对曲面长焊缝的实时焊接检测和控制需求。

此外，焊接过程中弧光干扰强，视觉信息提取困难。主流的"单摄像机+组合滤波片"方案无法全面提取焊接过程信息，导致焊接精度难以进一步提高，也无法同时实现熔透识别和轨迹纠偏功能。这些问题的存在严重限制了焊接过程的在线质量监测和控制。

发明专利CN 109719368 B公开了一种机器人焊接过程多信息采集监控系统及方法，利用主控计算机+固定式工业机器人实现焊接的实时监控，该系统和方法适用于流水线上的焊接应用，但难以应用在需要移动或爬行的曲面长焊缝上的焊接质量实时识别和远程监控。并且其采用的“单摄像机+组合滤波片”的方式获取清晰的焊接过程信息，不仅结构设计复杂，而且单摄像头只能采集一侧熔池信息，信息提取不够精确，识别精度也难以提升。

发明专利CN202210550090公开了一种全位置机器人深熔K-TIG焊接系统及控制方法，其使用了昂贵的HDR摄像头方案，不仅价格昂贵，且单摄像头对熔池的信息提取并不完整，需要结合其他信息来弥补焊接检测和控制的精确性。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于双摄像头的锁孔TIG焊机器人在线视觉检测装置及方法，适用于锁孔TIG焊在中厚板曲面长焊缝的在线焊接质量检测和轨迹纠偏。

本发明的目的可以通过采取如下技术方案达到：

一种基于双摄像头的锁孔TIG焊机器人在线视觉检测装置的视觉检测方法，其中，所述视觉检测装置包括：第一CMOS摄像头1，与嵌入式主控板3相连，用于实时采集锁孔TIG焊的焊接前进的正方向的待焊的焊接场景图像，通过硬触发信号和第二CMOS摄像头2同步采集多曝光图像，传输图像数据给嵌入式主控板3；第二CMOS摄像头2，与嵌入式主控板3相连，用于实时采集锁孔TIG焊的焊接焊接前进的反方向的已焊的焊接场景图像，通过硬触发信号和第一CMOS摄像头1同步采集多曝光图像，传输图像数据给嵌入式主控板3；

嵌入式主控板3，与视觉检测装置其他组成部件进行数据通讯，并集成锁孔TIG焊熔透识别和轨迹纠偏的软件包；

HDMI屏4，与嵌入式主控板3相连，用于本地实时低动态焊接图像、分割和偏离标识图、熔透状态和预警信息的显示输出；

鼠标5，与嵌入式主控板3相连，用于软件界面点击和选择；

键盘6，与嵌入式主控板3相连，用于软件界面的参数设定输入；

AI计算棒7，与嵌入式主控板3相连，接收嵌入式主控板3预处理后的高动态图像数据，对分割模型推理后并返回结果数据，通过USB3.0与嵌入式主控板3通讯；

运动控制器8，与嵌入式主控板3相连，接收嵌入式主控板3的运动指令控制爬行机器人运动，并反馈焊枪实时位姿信息，通过网口与嵌入式主控版3通讯；

示教器9，与运动控制器8相连，用于手动控制爬行机器人10位姿示教焊接起始点、中间过程点以及终止点，通过拖拽式编程完成焊接预定轨迹规划，通过网口与嵌入式主控板3通讯；

爬行机器人10，与运动控制器8相连，执行运动控制器8发送的控制指令，并反馈机器人的实时轴状态，通过网口以EtherCat总线协议与运动控制器8通讯；

无线模块11，与嵌入式主控板3相连，用于传输实时低动态焊接图像、分割和偏离标识图、熔透状态和预警信息到远程服务器；

信号分配器12，与嵌入式主控板3、第一CMOS摄像头1和第二CMOS摄像头2IO口相连，用于将嵌入式主控板3的IO口输出信号生成两路输出，是将一个信号输出同时发送给两个摄像头实现同步触发的功能。

其中，基于在线视觉检测装置的视觉检测方法的过程如下：

步骤S1:将第一CMOS摄像头1和第二CMOS摄像头2分别安装在焊枪前进的正反方向位置，第一CMOS摄像头1与焊枪中心线夹角为50度，第二CMOS摄像头2与焊枪中心线夹角60度；

步骤S2:标定曝光时间序列，人为粗选定弧光、锁孔、熔池、待焊/已焊区域的曝光时间范围，在各自的范围内生成等步进的曝光时间序列分别进行试焊，观察试焊图像结果，第一CMOS摄像头1选定弧光、锁孔、熔池和待焊区清晰的曝光时间，第二CMOS摄像头2选定弧光、锁孔、熔池和已焊区清晰的曝光时间；将两摄像头弧光-弧光、锁孔-锁孔、熔池-熔池、待焊区-已焊区的曝光时间的乘积开根号作为最终的4个曝光时间，通过两摄像机的外触发控制4个曝光时间同步采集；

步骤S3：标定拼接参数，设计13x9的棋盘格，每格3mmx3mm，放置于两摄像头视野重叠区，检测棋盘格的角点，将两个摄像头角点映射到同一个真实世界平面，真实世界平面选为焊板表面，区域选为部分已焊区、熔池区和部分待焊区，映射后的图像像素值和真实世界存在对应比例关系，分别计算出映射到该平面的变换矩阵；

步骤S4:拼接融合，使用变换矩阵将两个摄像头的图像映射到一个同一个平面。通过将每个摄像头的图像中的像素坐标转换为平面上的坐标，以锁孔区域作为重叠区域通过线性过渡融合，确保拼接处没有明显的接缝。分别对第一CMOS摄像头1和第二CMOS摄像头2的弧光-弧光，锁孔-锁孔，熔池-熔池，待焊区-已焊区的清晰图进行拼接融合；

步骤S5：高动态合成，根据上面4张不同曝光时间的拼接融合图像估计出相机响应曲线函数，根据像素值与场景照度的映射关系将4张不同曝光时间的拼接融合图像合成为高动态图像，另外将高动态图像中每个通道线性映射到0-255范围低动态图用于显示；

步骤S6：将步骤S5合成的高动态图像作为输入，使用CNN分割网络输出包含锁孔、熔池和待焊焊缝的预测特征图；

步骤S7：根据步骤S6获取的预测特征图分离得到锁孔图像和熔池图像图像，并各提取16个关键点；

步骤S8：将锁孔和熔池的32个关键点作为特征，以当前帧和前3帧的特征共128个关键点作为输入，根据构建的神经网络识别熔透的状态；

步骤S9:根据步骤S6获取的预测特征图分离获得熔池图像和待焊焊缝图像，计算熔池重心，对待焊焊缝中心细化拟合三次项曲线，通过熔池重心和焊缝中心获取纵向偏差，通过原有路径规划叠加纵向偏差反馈给机器人控制器从而控制焊接纠偏。

进一步地，嵌入式主控板设计小巧，替代笨重的工业机器人，可以灵活安装到爬行机器人上，所述嵌入式主控板3大小为80mmx55mm，采用NXP i.MX6系列的4核Cortex-A9处理器，1GHz主频，内存为1GB DDR3，存储为4G EMMC，接口包含：1路HDMI 2.0、2路千兆以太网、2路USB2.0、2路USB3.0口、1路WiFi模块接口、5路串口(含1路调试串口)、2路TF卡、3路IIC、1路SPI、1路PCIE、23路GPIO和1路PWM，并设有独立硬件看门狗；

第一CMOS摄像头1和第二CMOS摄像头2分别安装在焊枪前进的正反方向位置，第一CMOS摄像头1与焊枪中心线夹角为50度，第二CMOS摄像头2与焊枪中心线夹角60度；支持硬触发，嵌入式主控板3的一路IO口连接信号分配器12分出两路连接两摄像头的IO口，通过不同脉冲信号同步控制两摄像头不同曝光时间的采集，曝光时间范围应满足10us-1s，动态范围大于60dB，分辨率高于1080P，帧率大于90帧/s。

进一步地，带AI硬件加速的芯片选择少，采用AI加速棒的方式不依赖于主控，所选芯片范围广，并且可以动态扩展算力适配不同只能应用场景，所述AI计算棒7通过USB3.0口传输数据，用于AI模型的推理，连接后虚拟成网卡，用户只需通过socket编程即可完成对数据的输入和输出。

所述运动控制器8，集成EtherCAT主站库，支持1ms周期通讯，含有点位运动、连续轨迹、直线圆弧插补、连续插补等运动功能，可以自由设定运行速度、停止速度、加、减速时间可以独立设置，S型曲线平滑等参数，并能在线修改、增加和删除运动。

所述示教器9，可以手动按键对关节轴和直角坐标系示教，完成起始点、中间过程点和终止点的示教，图像化模块集成运动功能，可以通过拖拽图形编程实现路径规划生成程序脚本，运行时将程序脚本通过网口下发到运动控制器8，由运动控制器8解析脚本控制机器人运动。

所述WIFI模块(11)，实时低动态图的焊接图像、分割与偏离标识图、熔透状态和预警信息传输到远程服务器。

进一步地，常规的CMOS摄像头动态范围不超过80dB，强弧光下同时清晰地观测各个焊接感兴趣区域需要动态范围超过140dB的摄像头，在不购买昂贵的高动态摄像头下，可以需要使用不同曝光时间采集不同的感兴趣区域的清晰图像，所述步骤S2中，人为粗选定弧光、锁孔、熔池、待焊/已焊区域的曝光时间范围，在各自的范围内生成等步进的曝光时间序列分别进行试焊，分别截取弧光、锁孔、熔池、待焊/已焊的图像，设立图像评价标准自动选取曝光时间得分最高的，其中，所述图像评价标准中，使用百分比法，确定图像中亮度排名前5％的像素值的均值和亮度排名后5％的像素值的均值，然后计算两者之差作为评价标准，两者之差越大代表图像动态范围越高，内容越丰富清晰。

进一步地，两摄像头采集的图像不是同个视角，对应的是不同平面，需要通过透视变换将两个摄像头变换到同个平面下进行后续拼接，变换后图像像素尺寸和物理世界具备比例关系，可以用于偏差计算。变换矩阵为：

其中u

变换后图像像素尺寸和实际尺寸比例关系如下：

其中u′

进一步地，变换后需要针对重叠区进行无缝拼接，简单叠加平均等操作会产生鬼影，采用线性渐变的方式融合，所述步骤S4在拼接过程中，采用线性渐变的权重实现平滑的过渡，该权重根据像素在重叠区域中的位置进行计算，并在像素值1和像素值2之间进行插值，通过将像素的距离归一化到[0,1]范围内获得权重系数α，权重系数α的计算公式如下：

α＝1-(d/D

其中，d表示像素位置到重叠区域边界的距离，D

进一步地，4张不同曝光时间的融合图对应的不同感兴趣区域的清晰图像，基于光辐照度和图像成像原理，将4张图像合成各个感兴趣区域均清晰的1张高动态图像，合成的高动态图像动态范围可以提升到140dB以上，为便于可视化观测，将高动态图像映射到低动态图像用于显示，所述步骤S5在高动态合成中，基于生成的4张不同曝光时间的拼接融合图像估计出相机响应曲线函数，通过最小化下列公式实现：

其中，Loss是目标损失函数，m是像素的空间索引，n是曝光时间Δt

对4张拼接图像从像素值映射到幅照度合成高动态图像L

另外将高动态图像L

进一步地，采用信息更丰富的高动态图像替代低动态RGB图像挖掘更多信息，现有的AI计算棒不超过3Tops算力，因算力限制，分割网络需轻量，同时设计带残差结构的卷积块解决梯度消失和梯度爆炸问题，引入膨胀卷积扩展网络的感受野，所述CNN分割网络的输入为512x512x3高动态图像，输出512x512x4，则512x512每个空间像素点的类别可通过以下方式判别：输出的4层逐点比较大小，求最大值索引，索引为0时对应背景点，索引为1时对应锁孔点，索引为2时对应熔池点，索引为3时对应待焊焊缝点；网络结构依次顺序连接如下：输入层:输入为大小为512x512x3；

第一卷积层:使用64个3x3的卷积核，输出为512x512x64的特征图；

第一下采样层:使用2x2的池化窗口进行下采样，将特征图大小减半为256x256x64；

带残差结构的第一卷积块，包括：第一主卷积层、第一膨胀卷积层和第一残差连接，其中，所述第一主卷积层：使用128个3x3的卷积核，生成256x256x128的特征图；所述第一膨胀卷积层：使用128个3x3的膨胀卷积核，膨胀因子为2，生成256x256x128的特征图；所述第一残差连接：将第一主卷积层的输出与第一膨胀卷积层的输出相加，得到256x256x128的特征图；

第二下采样层:使用2x2的池化窗口进行下采样，将特征图大小减半为128x128x128；

带残差结构的第二卷积块，包括：第二主卷积层、第二膨胀卷积层和第二残差连接，其中，所述第二主卷积层：使用128个3x3的卷积核，生成128x128x128的特征图；所述第二膨胀卷积层：使用256个3x3的膨胀卷积核，膨胀因子为2，生成128x128x128的特征图；所述第二残差连接：将第二主卷积层的输出与第二膨胀卷积层的输出相加，得到128x128x128的特征图；

第一上采样层：使用2x2的上池化，将特征图大小恢复为256x256x128；

第一拼接层：将第一上采样层的特征图与带残差结构的卷积块1的特征图进行拼接，得到大小为256x256x256的特征图；带残差结构的第三卷积块，包括：第三主卷积层、第三膨胀卷积层和第三残差连接，其中，所述第三主卷积层：使用64个3x3的卷积核，生成256x256x64的特征图；所述第三膨胀卷积层：使用64个3x3的膨胀卷积核，膨胀因子为2，生成256x256x64的特征图；所述第三残差连接：将第三主卷积层的输出与第三膨胀卷积层的输出相加，得到256x256x64的特征图；

第二上采样层:使用2x2的上池化，将特征图大小恢复为512x512x64；

第三卷积层:采用4个3x3的卷积核，输出为512x512x4的特征图；

输出层:输出为大小为512x512x4的特征图。

进一步地，焊接过程中锁孔和熔池形态变换多样，常规假定锁孔和熔池是椭圆只提取长宽，简单假定既不符合实际情况，也会失去很多有用信息，使用边界关键点方式可以更具体描述锁孔和熔池形态特征，所述步骤S7中分离出锁孔图，根据重心法获取锁孔区域重心O，计算锁孔区域的最上点T、最下点B、最左点L和最右点R，以O为中心连线T点、B点、L点、R点则分为4个区域，每个区域按圆心角4等分，分割线与边界相交的点共16个关键点作为关键特征点，4个区域包含T点、B点、L点、R点，对熔池相同的操作，同理可得熔池的16个关键特征点。

进一步地，使用BP网络自动提取特征替代人为的提取锁孔和熔池的长宽和其他形态特征，挖掘能力更深，并且使用当前帧和前3帧的关键点同时作为输入，考虑了焊接是渐变的过程，与历史帧具有相关性，相比只使用当前帧，从而提高识别精度，所述步骤S8中的熔透识别网络，存在4个输入和1个输出，4输入分别为当前帧，和前3帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，每个输入为64个节点；输出为4个节点，对4个节点求最大值索引，索引为0时代表欠熔透，索引为1时代表部分熔透，索引为2时代表良好熔透，索引为3时代表过熔透；网络结构依次顺序连接如下：

输入1：当前帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入1为64个节点；

输入2：前第一帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入2为64个节点；

输入3：前第二帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入3为64个节点；

输入4：前第三帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入4为64个节点；

第一BP网络：输入1的输出作为输入，输出64个节点，网络结构包含3层，第1个隐层节点数为256节点，第2个隐层节点数为1024节点，输出层为64节点；

第二BP网络：输入2的输出作为输入，输出64个节点，网络结构与第一BP网络相同；

第三BP网络：输入3的输出作为输入，输出64个节点，网络结构与第一BP网络相同；

第四BP网络：输入4的输出作为输入，输出64个节点，网络结构与第一BP网络相同；

特征1：第一BP网络的输出作为该特征，共64个特征点；

特征2：第二BP网络的输出作为该特征，共64个特征点；

特征3：第三BP网络的输出作为该特征，共64个特征点；

特征4：第四BP网络的输出作为该特征，共64个特征点；

第一全连接层：将特征1、特征2、特征3、特征4依次连接形成的256个总特征点作为输入，输出2048个节点；

第二全连接层：连接第一全连接层，输出256个节点；

第三全连接层：连接第二全连接层，输出4个节点；

输出层：输出为4个节点。

进一步地，采用双摄像头合成图像分割出的完整熔池提取熔池重心替代单摄像头不完整的熔池拟合提取重心的方法，保证重心计算更精确；采用提取待焊焊缝骨骼点和RANSAC鲁棒性的三次多项式方法拟合待焊焊缝直线的方法替代霍夫直线变换或直接拟合直线的方法，保证焊缝中心拟合精度和稳定性，所述步骤S9中采用焊接偏离检测，过程如下：

S91、提取512x512的输出层，根据类别分离出待焊焊缝分割图；

S92、对待焊焊缝分割图进行二值化处理，将焊缝区域转换为白色，非焊缝区域转换为黑色；

S93、对二值化后的焊缝分割图进行细化，以提取焊缝的骨骼；

S94、经过细化提取焊缝骨骼点；其中，细化提取过程如下：

S941、初始化输入图像，并创建一个与输入图像相同大小的输出图像，用于存储细化结果；

S942、复制输入图像到输出图像；

S943、进行迭代处理，迭代过程如下：

S9431、遍历输出图像中的每个像素，跳过边缘像素；

S9432、对于当前像素P，获取其8个相邻像素的值(上、下、左、右、左上、右上、左下、右下)；

S9433、检查以下条件：P的值为前景(白色)、P的8个相邻像素中至少有两个是背景(黑色)和P的8个相邻像素中相邻像素的转变次数等于1；如果以上条件都满足，将当前像素P标记为删除候选(背景色)；

S9434、根据标记的删除候选像素，更新输出图像，将标记的像素删除；

S9435、重复步骤S9433和步骤S9434，直到没有像素可以标记为删除候选；

S9436、返回最终的细化结果图像。

S95、结合三次多项式进行骨骼点曲线的拟合，拟合过程如下：

S951、从焊缝骨骼中随机选择一小部分点作为样本；

S952、使用这些样本点进行三次多项式曲线的拟合；

S953、计算其他非样本点到拟合曲线的距离，并根据设定的阈值将它们划分为内点和外点；

S954、重复上述步骤，选择具有最大内点数量的模型作为最终的拟合结果；

S96、基于当前帧的熔池重心横坐标作为输入，代入拟合的三次多项式算得当前帧的焊缝曲线纵坐标，则当前纵向偏差为当前熔透重心纵坐标减去焊焊缝曲线纵坐标；

S97、基于比例换算关系得到实际纵向偏差，将当前帧和下一帧之间的原有路径规划叠加纵向偏差的路径规划，发送运动叠加指令给运动控制器。

本发明相对于现有技术具有如下的优点及效果：

1)本发明适用于锁孔TIG焊在中厚板曲面长焊缝的在线焊接质量检测和轨迹纠偏，所设计的嵌入式装置小巧，灵活，可安装在各类爬行机器人上，适用范围广；

2)双摄像头使用硬触发多曝光同步采集焊接图像，并用软件方法生成高动态图像，相比复杂的“单摄像头+滤光片组合”结构设计更简单，相比昂贵的高动态摄像头，本发明采用工业CMOS摄像头成本低。

3)双摄像头在焊枪前进的前后方向同时采集，并映射到焊板表面进行拼接，获得完整的锁孔和熔池图像信息，相比单摄像头方案，对锁孔和熔池的信息提取更完整，并且本方案可以同时进行熔透检测和轨迹纠偏，单摄像头只能进行其中一种。相比各自独立采集不拼接的双摄像头方案，在视觉上更直观，可以在一个图像上直接观测完整锁孔和熔池图像信息，应用于焊接监控更人性化。

4)本发明直接采用高动态图像作为分割网络的输入，相比常规RGB图像输入具备更高的动态范围，输入信息更丰富。且设计的残差结构的卷积块不仅能解决梯度消失和梯度爆炸问题，膨胀卷积的引入也扩展了网络的感受野，所设计的分割网络不仅轻量，且具备较高的精确性。

5)本发明采用锁孔和熔池的32个关键点，使用BP网络自动提取特征替代人为的提取锁孔和熔池的长宽和其他形态特征，挖掘能力更深。使用当前帧和前3帧的关键点同时作为输入，考虑了焊接是渐变的过程，与历史帧具有相关性，相比只使用当前帧，具有更高的识别精度。

6)本发明采用双摄像头合成图像分割出的完整熔池提取熔池重心的方法相比单摄像头不完整的熔池拟合出来的熔池求重心的方法更精确，采用提取待焊焊缝骨骼点和RANSAC鲁棒性的三次多项式方法拟合待焊焊缝直线的方法相比直接拟合直线的方法，精度和稳定性更高。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中公开的一种基于双摄像头的锁孔TIG焊在线视觉检测装置结构图；

图2是本发明实施例中公开的一种基于双摄像头的锁孔TIG焊在线视觉检测流程图；

图3是本发明实施例中公开的一种基于双摄像头视觉的安装示意图；

图4是本发明实施例中公开的一种用于分割锁孔、熔池和待焊焊缝的神经网络结构图；

图5是本发明实施例中公开的一种用于识别熔透状态的神经网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，基于双摄像头的锁孔TIG焊在线视觉检测的嵌入式装置包括：

第一CMOS摄像头1、第二CMOS摄像头2，分别与嵌入式主控板3相连，用于实时采集锁孔TIG焊的焊接前进的正、反方向的焊接场景图像，两个CMOS摄像头通过硬触发信号同步采集多曝光图像，传输图像数据给嵌入式主控板3；嵌入式主控板3的一路IO口连接信号分配器12分出两路连接两摄像头的IO口，通过不同脉冲信号同步控制两摄像头不同曝光时间的采集；两摄像头两曝光时间范围应满足10us-1s，动态范围大于60dB，分辨率高于1080P，帧率大于90帧/s。两摄像头采集焊接前进的正、反方向的焊接场景图像，采集的焊接信息更全面。常规摄像头只有60dB左右的动态范围不足于观察焊接信息，因此通过范围宽的曝光时间范围采集多曝光图像合成高动态图，实现焊接观测；

嵌入式主控板3，与视觉检测装置其他组成部件进行数据通讯，并集成锁孔TIG焊熔透识别和轨迹纠偏的软件包；嵌入式主控板3大小为80mmx55mm，采用NXP i.MX6系列的4核Cortex-A9处理器，1GHz主频，内存为1GB DDR3，存储为4G EMMC，接口包含：1路HDMI 2.0、2路千兆以太网、2路USB2.0、2路USB3.0口、1路WiFi模块接口、5路串口(含1路调试串口)、2路TF卡、3路IIC、1路SPI、1路PCIE、23路GPIO和1路PWM，并设有独立硬件看门狗；嵌入式主控板3尺寸设计小巧，接口丰富，可以轻便地安装在爬行机器人上。

HDMI屏4，与嵌入式主控板3相连，用于本地实时低动态焊接图像、分割和偏离标识图、熔透状态和预警信息的显示输出；

鼠标5，与嵌入式主控板3相连，用于软件界面点击和选择；

键盘6，与嵌入式主控板3相连，用于软件界面的参数设定输入；

AI计算棒7，与嵌入式主控板3通讯，通过USB3.0口传输数据，连接后虚拟成网卡，用户只需通过socket编程即可完成对数据的输入和输出，接收嵌入式主控板3预处理后的高动态图像数据，对分割模型推理后并返回结果数据；采用AI计算棒的方式更加灵活，不带AI硬件加速的芯片远多于带AI硬件加速的，且功能性能强大，该方式选择性多，并且当单AI计算棒算力不足时，可以使用多个，具有算力叠加，灵活方便的特点，适用于不同的锁孔TIG焊爬行焊接的智能化需求；

运动控制器8，与嵌入式主控板3相连，接收嵌入式主控板3的运动指令控制爬行机器人运动，并反馈焊枪实时位姿信息，通过网口与嵌入式主控板3通讯；集成EtherCAT主站库，支持1ms周期通讯，能在线修改、增加运动，在获取焊接偏离值后，对偏差进行轨迹规划，叠加到原有轨迹中，实现纠偏的功能；

示教器9，与运动控制器8相连，可以手动按键对关节轴和直角坐标系示教，完成起始点、中间过程点和终止点的示教，图像化模块集成运动功能，可以通过拖拽图形编程实现路径规划生成程序脚本，运行时将程序脚本通过网口下发到运动控制器，由运动控制器解析脚本控制机器人执行运动，主要完成预定轨迹的示教和再现工作；

爬行机器人10，与运动控制器8相连，执行运动控制器8发送的控制指令，并反馈机器人的实时轴状态，通过网口与运动控制器8通讯；

无线模块11，与嵌入式主控板3相连，用于传输实时低动态焊接图像、分割和偏离标识图、熔透状态和预警信息到远程服务器；

信号分配器12，与嵌入式主控板3、第一CMOS摄像头1和第二CMOS摄像头2IO口相连，用于将嵌入式主控板3IO口输出信号生成两路输出，是将一个信号输出同时发送给两个摄像头实现同步触发；主要实现两摄像头的同步采集，用于两摄像头的拼接。

其中，基于所述嵌入式装置在线视觉检测方法的过程描述如下：

由于焊接过程中弧光干扰强，视觉信息提取困难。主流的"单视觉+滤光片组合"方案无法全面提取焊接过程信息，导致焊接精度难以进一步提高，同时也无法同时实现熔透识别和轨迹纠偏功能.而本发明使用双摄像头，并使用高动态合成+拼接融合的方案可以清晰提取完整的熔池和锁孔信息，进一步提升识别精度，同时满足实现熔透识别和轨迹纠偏的要求。如图2所示，步骤如下：

如图3所示，第一CMOS摄像头1与焊枪中心线夹角为50度，第二CMOS摄像头2与焊枪中心线夹角60度，第一CMOS摄像头1需要观测更多的待焊区域，角度所以小些，而第二CMOS摄像头2主要是观测熔池和锁孔用于熔透识别，所以角度大些采用该双摄像头同步采集的方案，对锁孔和熔池的信息提取更完整，可以同时熔透检测和轨迹纠偏，焊接跟踪过程中既能保证精度也能保证焊接质量。

标定曝光时间序列，人为粗选定弧光、锁孔、熔池、待焊/已焊区域的曝光时间范围，在各自的范围内生成等步进的曝光时间序列分别进行试焊，分别截取弧光、锁孔、熔池、待焊/已焊的图像，设立图像评价标准自动选取曝光时间得分最高的，其中，所述图像评价标准中，使用百分比法，确定图像中亮度排名前5％的像素值的均值和亮度排名后5％的像素值的均值，然后计算两者之差作为评价标准，两者之差越大代表图像动态范围越高，内容越丰富清晰。第一CMOS摄像头1选定弧光、锁孔、熔池和待焊区清晰的曝光时间，第二CMOS摄像头2选定弧光、锁孔、熔池和已焊区清晰的曝光时间；将两摄像头弧光-弧光、锁孔-锁孔、熔池-熔池、待焊区-已焊区的曝光时间的乘积开根号作为最终的4个曝光时间，通过两摄像机的外触发控制4个曝光时间同步采集；

标定拼接参数，设计13x9的棋盘格，每格3mmx3mm，放置于两摄像头视野重叠区，检测棋盘格的角点，将两个摄像头角点映射到同一个真实世界平面，真实世界平面选为焊板表面，区域选为部分已焊区、熔池区和部分待焊区，映射后的图像像素值和真实世界存在对应比例关系，分别计算出映射到该平面的变换矩阵；变换矩阵为：

其中u

变换后图像像素尺寸和实际尺寸比例关系如下：

其中u′

拼接融合，使用变换矩阵将两个摄像头的图像映射到一个同一个平面。通过将每个摄像头的图像中的像素坐标转换为平面上的坐标，以锁孔区域作为重叠区域通过线性过渡融合，确保拼接处没有明显的接缝。分别对第一CMOS摄像头1和第二CMOS摄像头2的弧光-弧光，锁孔-锁孔，熔池-熔池，待焊区-已焊区的清晰图进行拼接融合；在拼接过程中，采用线性渐变的权重实现平滑的过渡，该权重根据像素在重叠区域中的位置进行计算，并在像素值1和像素值2之间进行插值，通过将像素的距离归一化到[0,1]范围内获得权重系数α，权重系数α的计算公式如下：α＝1-(d/D

高动态合成，基于生成的4张不同曝光时间的拼接融合图像估计出相机响应曲线函数，通过最最小化下列公式实现：

其中，Loss是目标损失函数，m是像素的空间索引，n是曝光时间Δt

对4张拼接图像从像素值映射到幅照度合成高动态图像L

另外将高动态图像L

其中x

将合成的高动态图像作为输入，使用CNN分割网络输出包含锁孔、熔池和待焊焊缝的预测特征图；CNN分割网络的输入为512x512x3高动态图像，输出512x512x4，则512x512每个空间像素点的类别可通过以下方式判别：输出的4层逐点比较大小，求最大值索引，索引为0时对应背景点，索引为1时对应锁孔点，索引为2时对应熔池点，索引为3时对应待焊焊缝点。如图4所示，网络结构依次顺序连接如下：

输入层:输入为大小为512x512x3；

第一卷积层:使用64个3x3的卷积核，输出为512x512x64的特征图；

第一下采样层:使用2x2的池化窗口进行下采样，将特征图大小减半为256x256x64；

带残差结构的第一卷积块，包括：第一主卷积层、第一膨胀卷积层和第一残差连接，其中，所述第一主卷积层：使用128个3x3的卷积核，生成256x256x128的特征图；所述第一膨胀卷积层：使用128个3x3的膨胀卷积核，膨胀因子为2，生成256x256x128的特征图；所述第一残差连接：将第一主卷积层的输出与第一膨胀卷积层的输出相加，得到256x256x128的特征图；

第二下采样层:使用2x2的池化窗口进行下采样，将特征图大小减半为128x128x128；

带残差结构的第二卷积块，包括：第二主卷积层、第二膨胀卷积层和第二残差连接，其中，所述第二主卷积层：使用128个3x3的卷积核，生成128x128x128的特征图；所述第二膨胀卷积层：使用256个3x3的膨胀卷积核，膨胀因子为2，生成128x128x128的特征图；所述第二残差连接：将第二主卷积层的输出与第二膨胀卷积层的输出相加，得到128x128x128的特征图；

第一上采样层：使用2x2的上池化，将特征图大小恢复为256x256x128；

第一拼接层：将第一上采样层的特征图与带残差结构的卷积块1的特征图进行拼接，得到大小为256x256x256的特征图；带残差结构的第三卷积块，包括：第三主卷积层、第三膨胀卷积层和第三残差连接，其中，所述第三主卷积层：使用64个3x3的卷积核，生成256x256x64的特征图；所述第三膨胀卷积层：使用64个3x3的膨胀卷积核，膨胀因子为2，生成256x256x64的特征图；所述第三残差连接：将第三主卷积层的输出与第三膨胀卷积层的输出相加，得到256x256x64的特征图；

第二上采样层:使用2x2的上池化，将特征图大小恢复为512x512x64；

第三卷积层:采用4个3x3的卷积核，输出为512x512x4的特征图；

输出层:输出为大小为512x512x4的特征图。

根据获取的预测特征图分离出锁孔图，根据重心法获取锁孔区域重心O，计算锁孔区域的最上点T、最下点B、最左点L和最右点R，以O为中心连线T点、B点、L点、R点则分为4个区域，每个区域按圆心角4等分，分割线与边界相交的点共16个关键点作为关键特征点，4个区域包含T点、B点、L点、R点，对熔池相同的操作，同理可得熔池的16个关键特征点。

将锁孔和熔池的32个关键点作为特征，以当前帧和前3帧的特征共128个关键点作为输入，根据构建的神经网络识别熔透的状态；该网络存在4个输入和1个输出，4输入分别为当前帧，和前3帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，每个输入为64个节点；输出为4个节点，对4个节点求最大值索引，索引为0时代表欠熔透，索引为1时代表部分熔透，索引为2时代表良好熔透，索引为3时代表过熔透。如图5所示，网络结构依次顺序连接如下：

输入1：当前帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入1为64个节点；

输入2：前第一帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入2为64个节点；

输入3：前第二帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入3为64个节点；

输入4：前第三帧的16个锁孔关键点和16个熔池关键点，每个关键点包含横、纵坐标，输入4为64个节点；

第一BP网络：输入1的输出作为输入，输出64个节点，网络结构包含3层，第1个隐层节点数为256节点，第2个隐层节点数为1024节点，输出层为64节点；

第二BP网络：输入2的输出作为输入，输出64个节点，网络结构与第一BP网络相同；

第三BP网络：输入3的输出作为输入，输出64个节点，网络结构与第一BP网络相同；

第四BP网络：输入4的输出作为输入，输出64个节点，网络结构与第一BP网络相同；

特征1：第一BP网络的输出作为该特征，共64个特征点；

特征2：第二BP网络的输出作为该特征，共64个特征点；

特征3：第三BP网络的输出作为该特征，共64个特征点；

特征4：第四BP网络的输出作为该特征，共64个特征点；

第一全连接层：将特征1、特征2、特征3、特征4依次连接形成的256个总特征点作为输入，输出2048个节点；

第二全连接层：连接第一全连接层，输出256个节点；

第三全连接层：连接第二全连接层，输出4个节点；

输出层：输出为4个节点。

根据获取的预测特征图分离获得熔池图像和待焊焊缝图像，对待焊焊缝分割图进行二值化处理，将焊缝区域转换为白色，非焊缝区域转换为黑色；对二值化后的焊缝分割图应用细化算法，以提取焊缝的骨骼；经过细化提取焊缝骨骼点，细化步骤如下：初始化输入图像，并创建一个与输入图像相同大小的输出图像，用于存储细化结果，复制输入图像到输出图像，进行迭代处理，遍历输出图像中的每个像素，跳过边缘像素，对于当前像素P，获取其8个相邻像素的值(上、下、左、右、左上、右上、左下、右下)，检查以下条件：P的值为前景(白色)、P的8个相邻像素中至少有两个是背景(黑色)和P的8个相邻像素中相邻像素的转变次数等于1；如果以上条件都满足，将当前像素P标记为删除候选(背景色)；根据标记的删除候选像素，更新输出图像，将标记的像素删除；重复过程，直到没有像素可以标记为删除候选，返回最终的细化结果图像；使用RANSAC算法结合三次多项式进行骨骼点曲线的拟合，算法如下：从焊缝骨骼中随机选择一小部分点作为样本，使用这些样本点进行三次多项式曲线的拟合，计算其他非样本点到拟合曲线的距离，并根据设定的阈值将它们划分为内点和外点，重复上述步骤，选择具有最大内点数量的模型作为最终的拟合结果；基于当前帧的熔池重心横坐标作为输入，代入拟合的三次多项式算得当前帧的焊缝曲线纵坐标，则当前纵向偏差为当前熔透重心纵坐标减去焊焊缝曲线纵坐标，基于比例换算关系得到实际纵向偏差，将当前帧和下一帧之间的原有路径规划叠加纵向偏差的路径规划，发送运动叠加指令给运动控制器从而控制焊接纠偏。

试验验证，采用不同的焊接速度、焊接电流和预制焊缝间隙进行多次测试，并采集数据集，焊接速度设为350-450mm/min，焊接电流设为480-540A，焊缝间隙设为0.2-1mm，人为设置偏离0.2-0.5mm。在该数据集下，本发明所采用的熔透识别方法预测准确率为96.3％，而只采用单摄像头的当前帧的熔池和锁孔长宽作为输入特征相比，预测准确率增加7.6％，本发明所采用的特征识别精度更高。本发明所采用的轨迹纠偏算法，平均跟踪偏差为0.35mm，最大偏差0.53mm，相比单摄像头拟合提取熔池重心，直线拟合待焊中心相比，平均跟踪偏差减小0.12mm,最大偏差减少0.34mm。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。