一种基于卷积神经网络的CO2焊接熔池图像识别方法

技术领域

本发明涉及接熔池图像识别的技术领域，尤其涉及一种基于卷积神经网络的CO

背景技术

近年来，国内外学术界许多专家从不同角度分析研究了熔池视觉检测，且经过多年研究已经形成了一定的理论体系。但由于影响熔池形貌的因素较多，较为复杂，所以对于收集到的熔池信息目前还多集中在理论研究阶段，真正借助这些信息来提升焊后检测方面的研究向相对较少，美国俄亥俄州立大学为研究熔池相关信息，以钢质焊件为研究对象，通过激光视觉传感器进行了熔池检测实验。在实验时，坡口宽度和焊件厚度分别设为0.5mm和1.5mm，对钢质材料进行焊接，在焊接过程中，使用视觉传感器检测熔池形状参数，该实验在收集信息时，不是实时收集的，这也是该实验的一大不足。

美国学者Y.M.Zhang和R.Kovacevic经过大量分析研究，创建了主动视觉熔池下榻检测方法，这种检测方法的光源是激光，利用激光照射焊缝表面，收集光反射条纹，然后利用图像处理技术对条纹变形量进行分析，得到该区域下榻量，然后将这一下榻量充当整个熔池下榻量，这种检测方法不是实时检测焊接过程，存在滞后性。

从以上研究能够了解到，现阶段，在熔池视觉检测方面的研究，国内外学术界还处在实验阶段，且现有的检测算法不够完善，也不够全面，同时也未充分利用和分析所收集到的熔池图像，距离将熔池图像应用于焊接质量实时监测和控制阶段还有很长一段距离。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于卷积神经网络的CO

为解决上述技术问题，本发明提供如下技术方案：包括，通过红外图像传感器采集熔池图像，并对所述熔池图像根据阈值进行分割处理；调节所述分割处理后的图像的对比度和亮度，并构建数据集；标记划分所述数据集为训练集和测试集，利用卷积神经网络对所述训练集进行训练，获得所述网络的参数；利用所述参数对所述测试集进行多次测试并获得测试精度，直至满足精度要求时输出所述熔池图像的识别结果。

作为本发明所述的基于卷积神经网络的CO

作为本发明所述的基于卷积神经网络的CO

g＝ω

其中，字母ω

T＝g

作为本发明所述的基于卷积神经网络的CO

其中，f(s,k)为坐标(s,k)像素值，M(i,j)为以点(i,j)为中心，窗口大小为[(2n+1)(2m+1)]的区域的局部均值，σ

所述图像的对比度为：

I(i,j)＝M(i,j)+G(f(i,j)-M(i,j))

其中，I(i,j)调整所述对比度的图像像素值，G为对比度参数。

作为本发明所述的基于卷积神经网络的CO

其中，α为系数参数，M为全局阈值。

作为本发明所述的基于卷积神经网络的CO

f(x，y)＝i(x，y)r(x，y)

其中，f(x，y)表示图像亮度，i(x，y)表示入射分量，r(x，y)表示反射分量；通过调节f的值来改变所述熔池图像的亮度假设图像的灰度值在[0，255]之间，若所述f的值越接近0，则述亮度越低；若所述f值越接近255，则所述亮度越高。

作为本发明所述的基于卷积神经网络的CO

作为本发明所述的基于卷积神经网络的CO

作为本发明所述的基于卷积神经网络的CO

作为本发明所述的基于卷积神经网络的CO

本发明的有益效果：通过采用红外图像传感器采集熔池图像，减少了复杂环境的影响，提升了图像处理效率；且能够降低依赖主观经验提取熔池图像特征参数特征对计算结果与分析产生的误差，从而提高了对熔池图像的识别精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的一种基于卷积神经网络的CO

图2为本发明第一个实施例所述的一种基于卷积神经网络的CO

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～图2，为本发明的第一个实施例，本发明的第一个实施例提供了一种基于卷积神经网络的CO

S1：通过红外图像传感器采集熔池图像，并对的熔池图像根据阈值进行分割处理。

其中需要说明的是，红外CCD(Charge-coupled Device)是现阶段使用相对广泛的一种图像传感器，该图像传感器能够将光辐射信号变为图像信号。

红外CCD探测器响应波段根据波长大小能够划分为有三段，分别是短波红外(1-3μm)、中波红外(3-6μm)以及长波红外(6-14μm)；焊接时所辐射出的光波波段恰好处于短波范畴内，所以借助红外CCD能够获得较为清晰和丰富的熔池相关图像数据和信息；本实施例使用日本索尼的红外CCD工业相机，该设备响应波长为1-5μm，相关参数见下表：

表1：红外CCD参数表。

基于CO

进一步的，利用大津算法动态选取合理的阈值，大小为M×N的图像I(x，y)有公式:

g＝ω

其中，字母ω

采用遍历的方法得到使类间方差g的最大值作为阈值：

T＝g

阈值分割可用以下代码在python平台中运行实现：

def genetic_thres(image,k,m):

th＝image

for i in range(image.shape[0]):

for j in range(image.shape[1]):

for t in range(1,len(k)-1):

if k[t-1]<＝image[i][j]

th[i][j]＝int(k[t-1])

return th

S2：调节分割处理后的图像的对比度和亮度，并构建数据集。

调节图像对比度的步骤如下：

对于图像中的每一个点，分别计算其局部均值与局部标准差：

其中，f(s,k)为坐标(s,k)像素值，M(i,j)为以点(i,j)为中心，窗口大小为[(2n+1)(2m+1)]的区域的局部均值，σ

局部标准差为：

图像对比度的表达式如下：

I(i,j)＝M(i,j)+G(f(i,j)-M(i,j))

其中，I(i,j)调整对比度的图像像素值，G为对比度参数，一般情况下G大于1。

对比度参数G为：

其中，α为系数参数，一般取大于0小于1的数；M为全局阈值。

调节亮度的步骤如下：

定义熔池图像的亮度：

f(x，y)＝i(x，y)r(x，y)

其中，f(x，y)表示图像亮度，i(x，y)表示入射分量，r(x，y)表示反射分量；通过调节f的值来改变熔池图像的亮度假设图像的灰度值在[0，255]之间，若f的值越接近0，则述亮度越低；若f值越接近255，则亮度越高。

进一步的，将所有经过对比度和亮度调节的图像构建卷积神经网络的数据集，共6000张图像。

S3：标记划分数据集为训练集和测试集，利用卷积神经网络对训练集进行训练，获得网络的参数。

定义75％的数据集作为训练集，25％的数据集作为测试集。

进一步的，通过设置输入层、输出层、激活函数、损失函数、隐层层数和节点数对卷积神经网络的结构进行构建。

具体的，首先对输入图像做归一化处理，尺寸为25*25；其次，激活函数选择sigmoid函数：

经过正则化优化的损失函数如下式：

优选的，训练卷积神经网络模型时选择反向传播算法来实现权重值的更新，反向传播算法通常和梯度下降法相结合的方式训练卷积神经网络，其要求每个输入值都有已知输出，而每个输入值通过卷积神经网络计算之后对比预测值与实际值的差距，接着计算损失函数的梯度，最后通过反馈的方式来更新权值大小，以致达到最小化损失函数的目的；为了更好的找到最优解，在模型训练到一定程度之后，经过每次迭代都会按照梯度方向修改步长，从而使损失函数在这个方向上逐渐减小；该算法在不增加计算量的同时，有效的提升了卷积神经网络模型的稳定性。

接着，设置固定隐层的节点数为10，选取隐层层数为2；最后，设定初始的隐层节点为3，在训练卷积神经网络模型时不断修改节点数，以达到最佳拟合效果，拟合效果如图2所示，当隐层节点数为7时拟合效果最佳。

再进一步的，利用随机梯度下降法选择训练集，每处理50个训练集，进行一次参数调整，使得收敛更快和减少了计算量，从而降低了熔池图像特征参数特征对计算结果与分析产生的误差。

S4：利用参数对测试集进行多次测试并获得测试精度，直至满足精度要求时输出熔池图像的识别结果。

实施例2

为了对本方法中采用的技术效果加以验证说明，本实施例选择BP神经网络识别方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

BP神经网络识别法容易形成局部极小值而得不到全局最优值，且BP神经网络中极小值比较多，所以很容易陷入局部极小值；收敛速度慢导致识别时间长；训练时学习新样本有遗忘旧样本的趋势，识别率低。

为验证本方法相对传统方法具有较好的识别效果，本实施例中将采用BP神经网络识别方法和本方法分别对熔池图像进行实时识别对比。

BP神经网络使用Candy算子对熔池边缘信息进行相应提取，然后计算熔池面积、长宽比以及复杂程度，并将其输入BP神经模型中，一般使用熔池周长平方与熔池面积比来表示熔池复杂度，该比值数值越大，熔池形状就越复杂。本实施例分别采用BP神经网络识别法和本方法对100张熔池图像进行识别，运行环境：CPU：2.3GHz；Memory：8GB；OS：win10 64位；在Python3.5中进行程序编译，训练参数在Keras框架执行；识别结果如下表所示。

表2：分别采用两种方法识别熔池图像的识别结果对比表。

实验表明，本发明提出的方法与BP神经网络识别法相比获得了良好的识别效果，并且卷积神经网络训练时间比BP神经网络训练时间短，用BP神经网络进行参数训练耗时3小时，而用本发明提出的方法进行参数训练只需1.7小时。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。