一种基于双向熔池几何及纹理特征融合的熔透识别方法

技术领域

本发明属于焊接质量在线传感和智能控制领域，具体说的是一种基于双向熔池几何与纹理特征融合的熔透识别方法。

背景技术

熔透控制是实现焊接质量控制的重点，实现熔透控制的前提是能够获得准确反映熔透状态的焊接过程信息。目前能够反映熔透状态的信息包括焊接温度分布、熔池振荡、电弧声信息、电压电流信息、视觉信息等，其中视觉信息最为直观。

目前基于熔池图像的熔透控制研究大多集中于单向或多向熔池图像几何特征信息的提取，并基于此进行熔透控制。事实上，熔池图像内部信息丰富，除了几何信息之外，图像的纹理特征信息能够综合反映图像的灰度分布和细节变化，但目前基于熔池图像纹理特征的熔透控制研究较少。CN200710175859利用焊缝区和母材区的纹理特征的差异识别焊缝区域，确定焊缝边缘，该研究主要针对多层焊盖面焊前的焊缝识别问题，拍摄的是凝固后的焊缝图像，并未对焊接过程中的熔池图像以及熔池图像纹理特征能否反映熔透质量进行研究。文献[1]《铝合金双丝PMIG焊熔池视觉特征规律及表面形态三维重构》中提出了基于单向熔池图像几何和纹理特征的熔透识别，分别选用BP神经网络和RBF神经网络进行熔透识别，两种模型均把后上方熔池的几何特征和部分纹理特征作为输入量，存在的问题是BP神经网络容易陷入局部极小化，需要多次训练才能得到正确率较高的熔透识别模型，RBF神经网络熔透识别时正确率高于BP神经网络熔透识别模型，存在的问题是几何特征参数较多，提取速度较慢且误差较大，纹理特征参数较少，不能全面反映熔池图像特征，导致该模型多次测试获得的正确率不稳定，计算精度较低。两种熔透识别模型最大的不足是仅仅利用了后上方熔池图像的几何特征和纹理特征信息，侧上方熔池图像的信息并未加以利用。

众所周知，对接时焊枪正下方为熔池区域，但由于传感条件所限，从后上方进行熔池视觉传感时焊枪遮挡了部分电弧和熔池信息，而焊工在焊接过程中兼顾后方和侧面熔池、电弧等综合信息后对焊接质量进行预判，从而实时控制焊接质量，侧面熔池图像中包含的电弧形态、熔池流动状态及邻近区域的灰度变化比后方熔池图像更丰富直观，而纹理特征与其周围的灰度变化规律密切相关，不仅能够反映灰度的分布特征，也反映同样亮度或接近灰度的像素之间的位置分布特性，与焊接质量密切相关，但目前针对侧面熔池图像纹理特征与焊接质量之间关系的研究明显不足。

发明内容

为解决上述技术问题，本发明提供一种基于双向熔池几何与纹理特征融合的熔透识别方法，较仅利用单向熔池图像特征进行识别的方法训练迭代次数更少，计算精度更高，预测的熔透状态正确率更高，识别模型更稳定。

为实现上述技术目的，所采用的技术方案是：一种基于双向熔池几何与纹理特征融合的熔透识别方法，该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行二值图像处理，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。

熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。

后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度 W、熔池抛物线系数α和熔池分散度D。

熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与熔池面积S的比值。

熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法是：对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(x

侧上方熔池图像的纹理特征是指从侧上方获取的熔池图像中提取的平均能量AVG_ASM、平均熵AVG_ENT、平均对比度AVG_CON和平均逆差矩 AVG_IDM，计算步骤如下：

步骤一：设在θ方向上，相隔距离d的一对像素分别具有灰度值i和j出现的概率，记为p(i,j,d,θ)，设f(x,y)为图像像素坐标(x,y)的点所对应的灰度值，M和 N分别为图像行和列的维数，则任意一对像素对(x

其中#(X)表示集合X中的元素个数；

步骤二：依据步骤一，分别按式(5)-(8)计算侧上方熔池图像在0°、45°、90°和135°方向上的能量ASM、图像熵ENT、对比度CON和逆差矩IDM，其中G表示图像灰度级；

步骤三：将步骤二获得的0°、45°、90°和135°四个方向上的能量ASM求平均值，获得侧上方熔池图像的纹理特征参数之一平均能量AVG_ASM；

步骤四：将步骤二获得0°、45°、90°和135°四个方向上的图像熵ENT求平均值，获得侧上方熔池图像的纹理特征参数之二平均图像熵AVG_ENT；

步骤五：将步骤二获得0°、45°、90°和135°四个方向上的对比度CON求平均值，获得侧上方熔池图像的纹理特征参数之三平均对比度AVG_CON；

步骤六：将步骤二获得0°、45°、90°和135°四个方向上的逆差矩IDM求平均值，获得侧上方熔池图像的纹理特征参数之四平均逆差矩AVG_IDM。

本发明有益效果是：

(1)本发明利用后上方和侧上方同步传感采集到的熔池图像中提取的几何特征和纹理特征信息，较仅利用单向或多向视觉传感获得的几何信息更全面；

(2)本发明首次将侧上方熔池图像的纹理特征信息用于熔透状态识别，尤其是侧上方图像提取的纹理特征信息在反映熔透状态时比后上方信息的准确度更高；

(3)本发明进行图像纹理信息提取时不需要预处理，计算速度快，可批量处理；

(4)本发明建立的RBF熔透识别模型更稳定，平均正确率更高，可以用于碳钢、铝合金等材料熔焊过程中的熔透控制。

附图说明

图1为熔池双向实时同步视觉传感系统示意图；

图2为不同熔透状态下后上方和侧上方获取的同步熔池图像图；

图3为后上方熔池图像处理及几何特征参数提取步骤示意图；

图4为现有技术中基于RBF神经网络模型的熔透识别系统训练收敛图；

图5为本发明的基于RBF神经网络模型的熔透识别系统训练收敛图；

图6为本发明基于双向熔池几何与纹理特征融合的RBF熔透识别模型的输出预测图。

具体实施方式

下面结合具体实施例进一步说明本发明的技术方案。

一种基于双向熔池几何与纹理特征融合的熔透识别方法，该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行中值滤波、灰度拉伸、形态学处理、轮廓提取和特征提取，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。

熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。

后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度 W、熔池抛物线系数α和熔池分散度D。

熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与面积S的比值。

熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法是：对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(x

侧上方熔池图像的纹理特征是指从侧上方获取的熔池图像中提取的平均能量AVG_ASM、平均熵AVG_ENT、平均对比度AVG_CON和平均逆差矩 AVG_IDM，计算步骤如下：

步骤一：设在θ方向上，相隔距离d的一对像素分别具有灰度值i和j出现的概率，记为p(i,j,d,θ)，设f(x,y)为图像像素坐标(x,y)的点所对应的灰度值，M和 N分别为图像行和列的维数，则任意一对像素对(x

其中#(X)表示集合X中的元素个数；

步骤二：依据步骤一，分别按式(5)-(8)计算侧上方熔池图像在0°、45°、90°和135°方向上的能量(角二阶矩)ASM、图像熵ENT、对比度CON和逆差矩IDM，其中G表示图像灰度级；

步骤三：将步骤二获得的0°、45°、90°和135°四个方向上的能量ASM求平均值，获得侧上方熔池图像的纹理特征参数之一平均能量AVG_ASM；

步骤四：将步骤二获得0°、45°、90°和135°四个方向上的图像熵ENT求平均值，获得侧上方熔池图像的纹理特征参数之二平均图像熵AVG_ENT；

步骤五：将步骤二获得0°、45°、90°和135°四个方向上的对比度CON求平均值，获得侧上方熔池图像的纹理特征参数之三平均对比度AVG_CON；

步骤六：将步骤二获得0°、45°、90°和135°四个方向上的逆差矩IDM求平均值，获得侧上方熔池图像的纹理特征参数之四平均逆差矩AVG_IDM。

采用RBF神经网络模型，输入参量包含三个几何特征参数和四个纹理特征参数，分别为：后上方熔池图像中提取的熔池宽度W、熔池抛物线系数α、熔池分散度D，侧上方熔池图像中提出的平均能量AVG_ASM、平均图像熵AVG_ENT、平均对比度AVG_CON和平均逆差矩AVG_IDM，输出参量为未熔透、熔透和过熔透三种状态。

实施例1

试验系统如图1所示，焊机为STARMATIC R450 TOPMAG双丝自动焊机，母材为5A06铝合金，规格300mm×150mm×6mm，焊丝ER5356，直径1.6mm。双向视觉传感系统包括两个工业CCD摄像机、复合滤光片组、外部触发盒、计算机。在焊接前，将双向视觉传感系统通过专用夹具固定在焊枪上，调整后上方摄像机轴线与水平面夹角为35°，侧上方摄像机轴线与水平面夹角为15°。

具体步骤如下：

(1)焊接前，对铝合金母材表面进行化学清理和机械清理，去除表面的水分、油污和氧化膜。选用纯氩保护气，气流量20L/min。

(2)调节焊机参数，设置主丝电流110A、电压22V，辅丝电流118A、辅丝电压21V、焊速70cm/min，焊接得到未熔透焊缝。

(3)焊接过程中开启双向摄像机，实时、同步采集熔池图像，显示在计算机屏幕上，同时存在在计算机中。获得的后上方和侧上方同步熔池图像如图2 中(a)和(b)所示。

(4)通过图3所示图像处理步骤对每帧图像进行图像处理获得熔池轮廓，然后提取后上方熔池图像中的熔池宽度W、熔池抛物线系数α和熔池分散度D，选取120张熔池图像提取的几何特征参数放入数据集Q的前三列。

(5)对步骤(4)选择的各帧熔池图像对应的侧上方熔池图像进行纹理特征提取，利用公式(1)-(8)获得图像的平均能量AVG_ASM、平均图像熵 AVG_ENT、平均对比度AVG_CON和平均逆差矩AVG_IDM，放入数据集Q的后四列。

(6)接着调节焊机参数，设置主丝电流130A、电压22V，辅丝电流140A、辅丝电压21V、焊速60cm/min，焊接得到熔透焊缝。

(7)重复步骤(3)-(5)，获取的后上方和侧上方同步熔池图像如图2 中(c)和(d)所示，提取熔透状态下的双向熔池几何特征和纹理特征，选取其中120 帧熔池图像提取的几何特征和纹理特征参数放入数据集Q。

(8)继续调节焊机参数，设置主丝电流130A、电压22V，辅丝电流140A、辅丝电压21V、焊速50cm/min，焊接得到过熔透焊缝。

(9)重复步骤(3)-(5)，获取的后上方和侧上方同步熔池图像如图2 中(e)和(f)所示，提取过熔透状态下的双向熔池几何特征和纹理特征，选取其中 120帧熔池图像提取的几何特征和纹理特征参数放入数据集Q。

(10)建立RBF熔透识别网络模型[net,tr]＝newrb(P,T,GOAL,SPRED,MN), 其中P为输入向量，T为输出向量，GOAL为均方误差的目标，SPREAD为径向基的扩展速度,MN为最大神经元个数。RBF熔透识别网络部分样本的输入量和输出量如表1所示。

表1为熔池图像几何特征和纹理特征部分数据集

(11)将完成步骤(10)后的数据集Q归一化处理后，随机取80％作为 RBF熔透神别网络模型的输入量P，即288×7的矩阵，对应的输出量T为288×3 的矩阵。其中[001]代表未熔透，[010]代表熔透，[100]代表过熔透。

(12)设置训练参数，均方误差目标GOAL设定为0.05，径向基的扩展速度SPREAD设定为5，最大神经元个数MN设定为25。

(13)训练数据获得迭代收敛曲线，如图5所示，获得RBF熔透识别模型。

(14)利用步骤(11)中剩余的72组数据作为测试集，对步骤(13)建立的RBF熔透识别模型进行测试，得到熔透状态测试结果，如图6所示。

(15)保存该RBF熔透识别模型。

(16)设定新的焊接工艺参数施焊，拍摄实时双向熔池图像，提取几何及纹理特征参数，输入步骤(15)所得的RBF熔透识别模型，根据预测结果通过控制器调整焊机参数，实现熔透控制。

表2为本方法与文献[1]方法对同样的样本集测试10次的正确率对比

需要进一步说明的是，从图4、图5可知，与文献[1]仅利用单向熔池几何和纹理特征的熔透识别模型对比发现，本方法训练步数更少，网络输出性能更好，反映出网络结构更优秀。利用本方法与文献[1]方法对同样的数据集进行10次预测，正确率对比如表2所示。可见，两种方法均能获得98.6％的最高正确率，但本方法平均正确率更高，说明本熔透识别方法更稳定。