基于熔池图像的等离子弧焊接穿孔状态预测方法及系统

技术领域

本发明涉及焊接和图像处理技术领域，特别是涉及基于熔池图像的等离子弧焊接穿孔状态预测方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

穿孔等离子弧焊接是一种高能量密度的高效焊接方法，可焊工件厚度高达14mm，在材料连接领域具有重要的应用潜力。焊接过程中，在持续的等离子弧压力作用下，等离子弧下方的液态熔池金属被排开，形成贯穿工件的小孔。等离子弧焊接的接头质量与小孔和熔池的状态有着密切的关系，因此，在焊接过程中实时检测熔池和小孔行为，进而根据熔池、小孔行为特征进行实时调整焊接参数，实现闭环控制，对维持焊接过程的工艺稳定性，从而获得高质量的焊接接头，具有重要意义。

焊接过程中产生的熔池图像包含了大量信息，研究人员认为，可以通过视觉检测和特征提取技术对熔池图像进行分析，实现穿孔状态预测和模型评估。然而实践证明，基于传统机器学习方法建模，特征提取不全面，训练结果不可靠。近年来，深度学习技术有了较大发展，对图像的识别和分类准确率达到较高水平。卷积神经网络直接采用图像数据作为输入，从大量样本中直接提取抽象特征，降低了人工图像处理的难度。但是，正面熔池图像与常见图像存在很大差异，进行穿孔状态预测容易出现过拟合、精度低等问题，缺乏实用价值。

发明内容

为了解决现有技术的不足，本发明提供了基于熔池图像的等离子弧焊接穿孔状态预测方法及系统；

第一方面，本发明提供了基于熔池图像的等离子弧焊接穿孔状态预测方法；

基于熔池图像的等离子弧焊接穿孔状态预测方法，包括：

获取已知穿孔状态的等离子弧焊接熔池图像；对获取的图像进行预处理，并分为训练数据、验证数据、测试数据；

定义M个改进的主干网络，每个改进的主干网络均去除了原始主干网络的最后一个全连接层和输出层；每个改进的主干网络与Dense-GAP-Dense结构连接，形成一个预测模型；定义N个优化器；对M个预测模型和N个优化器进行组合，得到M*N组预测模型；其中，M和N均为正整数；

经过训练、验证和测试，筛选出预测准确率最高的预测模型；

获取待预测的等离子弧焊接熔池图像；将待预测的等离子弧焊接图像，输入到预测准确率最高的预测模型，输出待预测的等离子弧焊接图像的穿孔状态。

第二方面，本发明提供了基于熔池图像的等离子弧焊接穿孔状态预测系统；

基于熔池图像的等离子弧焊接穿孔状态预测系统，包括：

图像预处理模块，其被配置为：获取已知穿孔状态的等离子弧焊接熔池图像；对获取的图像进行预处理，并分为训练数据、验证数据、测试数据；

网络构建模块，其被配置为：定义M个改进的主干网络，每个改进的主干网络均去除了原始主干网络的最后一个全连接层和输出层；每个改进的主干网络与Dense-GAP-Dense结构连接，形成一个预测模型；定义N个优化器；对M个预测模型和N个优化器进行组合，得到M*N组预测模型；其中，M和N均为正整数；

模型筛选模块，其被配置为：经过训练、验证和测试，筛选出预测准确率最高的预测模型；

穿孔状态输出模块，其被配置为：获取待预测的等离子弧焊接熔池图像；将待预测的等离子弧焊接图像，输入到预测准确率最高的预测模型，输出待预测的等离子弧焊接图像的穿孔状态。

第三方面，本发明还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果是：

本发明以现有的8种卷积神经网络模型框架(VGG16,VGG19,ResNet50,InceptionNetV3,InceptionResNetV2,XceptionNet,DenseNet201,MobileNet)为主干网络，去除最后一层全连接层(Dense)，在输出层前依次增加全连接层(Dense)、全局池化层(Global Average Pooling,GAP)，全连接层(Dense)，三者组合共同形成“Dense-GAP-Dense”结构，整合全部特征图的空间信息，并将改进网络分别在SGD等7种优化器下，结合二分类交叉熵损失函数进行训练，共获得56个模型，使新构建的网络模型适应穿孔预测场景，提高模型鲁棒性。网络模型能够在迭代次数为30次左右收敛，并且与现有模型相比，性能平均提高了5.91％，从而为不同焊接场景模型下的模型选择和穿孔熔透预测的实际应用提供了技术基础。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1本发明基于双视觉传感器的穿孔等离子弧焊接工艺实验-视觉检测一体化平台示意图

图2本发明实施例中基于卷积神经网的预测模型结构示意图；

图3本发明实施例中基于熔池图像的等离子弧焊接穿孔状态预测流程图。

图4本发明实施例中模型训练流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了基于熔池图像的等离子弧焊接穿孔状态预测方法；

基于熔池图像的等离子弧焊接穿孔状态预测方法，包括：

S101：获取已知穿孔状态的等离子弧焊接熔池图像；对获取的图像进行预处理，并分为训练数据、验证数据、测试数据；

S102：定义M个改进的主干网络，每个改进的主干网络均去除了原始主干网络的最后一个全连接层和输出层；每个改进的主干网络与Dense-GAP-Dense结构连接，形成一个预测模型；定义N个优化器；对M个预测模型和N个优化器进行组合，得到M*N组预测模型；其中，M和N均为正整数；

S103：经过训练、验证和测试，筛选出预测准确率最高的预测模型；

S104：获取待预测的等离子弧焊接熔池图像；将待预测的等离子弧焊接图像，输入到预测准确率最高的预测模型，输出待预测的等离子弧焊接图像的穿孔状态。

进一步地，其中，每个改进的主干网络与Dense-GAP-Dense结构连接，形成一个预测模型；具体包括：

每个改进的主干网络的最后一层均与Dense-GAP-Dense结构连接，所述Dense-GAP-Dense结构，包括：依次连接的全连接层C1、全局池化层C2和全连接层C3；每个改进的主干网络的最后一层均与全连接层C1连接；全连接层C3与Softmax函数输出层连接。

进一步地，如图1所示，所述S101：获取已知穿孔状态的等离子弧焊接熔池图像；具体包括：

采用第一CCD摄像机，对等离子弧焊接工件上方的熔池进行拍摄，得到正面熔池图像；

采用第二CCD摄像机，对等离子弧焊接工件下方的小孔进行拍摄，得到背面小孔图像；

第一CCD摄像机和第二CCD摄像机同一时刻下获取的图像根据拍摄时刻一一对应，形成数据对，即t时刻下的正面熔池图像对应背面小孔图像。

第一CCD摄像机和第二CCD摄像机均将采集的图像通过数据采集卡，传输给PC端；

获取不同参数条件下的焊接熔池图像数据，进行不同参数的焊接实验得到正面熔池图像和背面小孔图像。

对正面熔池图像标记标签；标记标签，包括：穿孔状态标签和盲孔状态标签；

对背面小孔图像进行二值化处理，获取穿孔状态；

对正面熔池图像进行标签标记；标签包括：穿孔状态标签和盲孔状态标签。

从检测图像中选择能够反映焊接过程的典型正面熔池图像，同时背部小孔图像也被用来确认相应的熔池图像对应的小孔状态。根据穿孔等离子弧焊接的特征，将正面熔池图像分为穿孔(Keyhole)和盲孔(Non_keyhole)两类，分别用阿拉伯数字1和0表示，并作为数据库。数据的标定方法是，将背面小孔图像进行二值化处理，获取真实穿孔状态，与正面熔池图像数据一一对应。

进一步地，所述S101：对获取的训练图像进行预处理；具体包括：

对获取的训练图像进行图像归一化处理，和图像增强操作。

图像归一化，是在不改变原始图像质量的情况下，加快梯度下降速度；

图像增强操作，包括：图像锐化、平滑、去噪、灰度调整、白化处理等，降低输入的图片数据的冗余度，抑制无用信息；

最终，将数据划分成训练集、验证集、测试集。

进一步地，如图4所示，所述S102：定义M个改进的主干网络，每个改进的主干网络均去除了原始主干网络的最后一个全连接层和输出层；具体包括：

改进的VGG16、改进的VGG19、改进的ResNet50、改进的InceptionV3、改进的InceptionResNetV2、改进的XceptionNet、改进的DenseNet201和/或改进的MobileNet中的一种或多种；

其中，改进的VGG16，是指对VGG16，去除最后一层全连接层和输出层；

其中，改进的VGG19，是指对VGG19，去除最后一层全连接层和输出层；

其中，改进的ResNet50，是指对ResNet50，去除最后一层全连接层和输出层；

其中，改进的InceptionV3，是指对InceptionV3，去除最后一层全连接层和输出层；

其中，改进的InceptionResNetV2，是指对InceptionResNetV2，去除最后一层全连接层和输出层；

其中，改进的XceptionNet，是指对XceptionNet，去除最后一层全连接层和输出层；

其中，改进的DenseNet201，是指对DenseNet201，去除最后一层全连接层和输出层；

其中，改进的MobileNet，是指对MobileNet，去除最后一层全连接层和输出层；

进一步地，所述S102：定义N个优化器；具体包括：

SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器和/或RMSprop优化器中的一种或多种。

进一步地，所述S102：对M个预测模型和N个优化器进行组合，得到M*N组预测模型；其中，M和N均为正整数；具体包括：

改进的VGG16的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的VGG19的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的ResNet50的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的InceptionV3的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的InceptionResNetV2的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的XceptionNet的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的DenseNet201的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合；

改进的MobileNet的预测模型与SGD优化器、Adam优化器、Adagrad优化器、Adadelta优化器、Adamax优化器、Nadam优化器或RMSprop优化器分别进行组合。

进一步地，如图3所示，所述S103经过训练、验证和测试，筛选出预测准确率最高的预测模型；具体包括：

将预处理后的训练图像，分别输入到M*N组预测模型中，以进行模型的训练；以模型在验证数据上的预测精度作为每组组预测模型训练停止的标准；

将测试数据分别输入到训练完毕的M*N组预测模型中，输出每组预测模型的预测准确率，最终筛选出预测准确率最高的预测模型。

进一步地，所述S103经过训练、验证和测试，筛选出预测准确率最高的预测模型；详细包括：

将带有标签的正面熔池图像和背面小孔图像，作为第i组预测模型的输入值，将标签作为第i组预测模型的输出值，对第i组预测模型进行训练，以进行模型的训练；以模型在验证数据上的预测精度作为每组组预测模型训练停止的标准；得到训练后的第i组预测模型；其中，i的取值范围是1～M*N；

同理，得到训练后的M*N组预测模型；

将带有标签的正面熔池图像测试集，作为第i组预测模型的输入值，将标签作为第i组预测模型的输出值，对第i组预测模型进行测试，得到预测准确率最高的预测模型。

进一步地，所述S104：获取待预测的等离子弧焊接图像；将待预测的等离子弧焊接图像，输入到预测准确率最高的预测模型，输出待预测的等离子弧焊接图像的穿孔状态；具体包括：

获取待预测的等离子弧焊接图像；

将待预测的等离子弧焊接图像进行预处理；

将预处理后的待预测的等离子弧焊接图像，输入到预测准确率最高的预测模型，输出待预测的等离子弧焊接图像的穿孔状态。

所述方法还包括：定义回调函数，回调函数包含早停法、自动降低学习率、自动保存最优模型等。

基于卷积神经网的预测模型框架将VGG16，VGG19，ResNet50，InceptionV3，Xception，InceptionResNetV2，DenseNet201，MobileNet共8个模型框架的卷积层和池化层作为骨干网络；在其基础上去除最后一个全连接层后，增加“Dense-GAP-Dense”的结构(全连接层、全局池化层、全连接层)，其中全连接层中包含有1024个神经元，激活函数采用ReLU，输出层仍为Softmax函数。

优化器在SGD，Adam，Adagrad，Adadelta，Adamax，Nadam，RMSprop里选择。最终得到7种在不同优化器条件下训练的模型。

模型训练参数包括学习率(Learning_rate)、训练次数(Epoch)、每次使用的数据数量(Batch_size)等。

为实现对不同焊接场景模型下的模型选择和穿孔熔透预测的实际应用，本实施方式提供一种基于卷积神经网的基于熔池图像的等离子弧焊接穿孔状态预测方法，图2为该方法中基于卷积神经网的预测模型结构示意图：

本发明以现有深度学习模型为主干网络，设计并增加了全局池化层，形成“Dense-GAP-Dense”的结构，整合全部特征图的空间信息，并结合SGD等7种优化器，使新构建的网络模型适应穿孔预测场景，提高模型鲁棒性。该网络模型能够在迭代次数为30次左右收敛，并且与现有模型相比，性能平均提高了5.91％，从而为不同焊接场景模型下的模型选择和穿孔熔透预测的实际应用提供了技术基础。

实施例二

本实施例提供了基于熔池图像的等离子弧焊接穿孔状态预测系统；

基于熔池图像的等离子弧焊接穿孔状态预测系统，包括：

图像预处理模块，其被配置为：获取已知穿孔状态的等离子弧焊接熔池图像；对获取的图像进行预处理，并分为训练数据、验证数据、测试数据；

网络构建模块，其被配置为：定义M个改进的主干网络，每个改进的主干网络均去除了原始主干网络的最后一个全连接层和输出层；每个改进的主干网络与Dense-GAP-Dense结构连接，形成一个预测模型；定义N个优化器；对M个预测模型和N个优化器进行组合，得到M*N组预测模型；其中，M和N均为正整数；

模型筛选模块，其被配置为：经过训练、验证和测试，筛选出预测准确率最高的预测模型；

穿孔状态输出模块，其被配置为：获取待预测的等离子弧焊接熔池图像；将待预测的等离子弧焊接图像，输入到预测准确率最高的预测模型，输出待预测的等离子弧焊接图像的穿孔状态。

此处需要说明的是，上述图像预处理模块、网络构建模块、模型筛选模块和穿孔状态输出模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。