基于多模态融合感知的电弧增材制造熔覆层偏移监测方法

技术领域

本发明属于电弧增材制造质量检测领域，尤其涉及一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法。

背景技术

增材制造是采用材料逐层累加的方法制造实体零件的技术，主要包括激光增材制造、电子束增材制造、电弧增材制造等，增材制造的过程较为复杂，随着熔覆层层数的增加，热累积逐渐严重，最终会对成形件的结构尺寸及性能产生影响，因此实现增材制造过程的在线监测就显得尤为重要。在电弧增材制造过程中，一旦机器人的运动轨迹偏移正常设定轨迹，就会导致熔覆层的位置发生变化，然而熔覆层的位置与最终的增材制造工件质量密切相关，因此亟需研究熔覆层偏移在线监测技术。

伴随电弧增材制造过程而产生的视觉、声音、光谱、温度等多模态信息与增材制造成形质量密切相关，很多学者研究了视觉等单一模态特征与增材制造成形质量的关系，并且尝试通过在线识别模态特征从而实现增材制造成形质量的实时监测。考虑到电弧增材制造是一个多变量的强耦合过程，具有高度的非线性特点，当前时刻的熔池视觉等单一模态特征并不能完全反应增材制造成形质量，基于单一模态感知的电弧增材制造成形质量监测技术存在监测精度较低、鲁棒性较差的缺点。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法包括：

S100，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：

S200，利用训练后的熔池轮廓提取模型提取所述熔池图像的熔池轮廓，并根据所述熔池轮廓计算熔池的几何特征；

S300，在所述焊件侧壁温度场图像中选取ROI区域，并提取所述ROI区域的温度场分布特征；

S400，将所述几何特征以及所述温度场分布特征进行特征融合得到融合特征；

S500，将所述融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度。

本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：利用训练后的熔池轮廓提取模型提取熔池图像的熔池轮廓并计算熔池的几何特征；在焊件侧壁温度场图像中选取ROI区域并提取温度场分布特征；将几何特征以及温度场分布特征进行特征融合得到融合特征；将融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度以实现熔覆层偏移的在线监测。由于本发明将电弧增材制造过程中的熔池视觉、焊件温度等多模态信号进行协同感知，后续将提取得到的多模态信号特征进行融合后输入到神经网络模型，用于增材制造成形质量的监测，将有助于提高增材制造成形质量监测的精度和鲁棒性。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明提供的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法的流程示意图；

图2是本发明的监测方法过程示意图；

图3是本发明的监测系统示意图；

图4a是本发明的熔池轮廓提取网络模型结构图；

图4b是本发明的熔覆层在不同偏移程度下的对应熔池图像；

图5是本发明的焊件侧壁温度场ROI选取示意图；

图6是本发明的熔覆层在不同偏移程度下的对应焊件侧壁温度场图像；

图7是本发明的熔覆层在不同偏移程度下的对应焊件侧壁ROI温度场分布特征；

图8是本发明的熔覆层偏移预测模型结构图；

图9a-图9c是本发明的熔覆层偏移预测模型的预测值与真实值间的比较图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

结合图1和图2，本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，包括：

S100，通过采集设备分别采集熔池图像和焊件侧壁温度场图像；

本发明可以通过熔池视觉传感系统采集熔池图像以及通过红外热像仪采集焊件侧壁温度场图像；

参考图3，所述视觉传感系统包括减光片、高通滤光片、黑白CCD、计算机，并且熔池视觉传感系统的前端安装在焊枪上；所述红外热像仪安装在工作平台上。在电弧增材制造过程开始后，所述黑白CCD和所述红外热像仪受频率为50Hz的方波信号触发开始工作，所述黑白CCD采集熔池图像，所述所述红外热像仪采集焊件侧壁温度场图像。

本发明可以通过工作平台的FPGA模块生成频率为50Hz的方波信号，去触发黑白CCD和所述红外热像仪去采集图像。本发明的高通滤光片可以采用850nm高通滤光片。

S200，利用训练后的熔池轮廓提取模型提取所述熔池图像的熔池轮廓，并根据所述熔池轮廓计算熔池的几何特征；

参考图4a，图4a为熔池轮廓提取模型的结构图。本发明的熔池轮廓提取模型使用深度学习网络Unet构建，所述熔池轮廓提取模型的训练通过采集弧光影响下的熔池图像并组成训练样本，利用训练样本迭代训练所述熔池轮廓提取模型，并利用反向传播算法调整所述熔池轮廓提取模型的参数直至达到迭代次数。本发明的几何特征包括：熔池面积、熔池长度和熔池宽度；所述熔池面积为熔池轮廓内所有的像素点个数，所述熔池长度为熔池轮廓内竖直方向上每列像素点个数的最大值，所述熔池宽度为熔池轮廓内水平方向上每行像素点个数的最大值。

在完成一定的训练后，该模型就可以从弧光影响下的熔池图像中提取出熔池轮廓。如图4b所示，为熔覆层在不同偏移程度下的对应熔池图像。

S300，在所述焊件侧壁温度场图像中选取ROI区域，并提取所述ROI区域的温度场分布特征；

本发明S300包括：

S310，在所述焊件侧壁温度场图像中熔池区域以外的热影响区选取ROI区域；

其中，ROI区域大小为100像素×100像素；

S320，使用改进的梯度方向直方图算法提取所述ROI区域的温度场分布特征。

本发明的S320包括：

S321，将梯度方向[0°,360°)的梯度间隔设置为45°；

S322，利用改进的梯度方向直方图算法，对所述焊件侧壁温度场图像内提取的ROI区域的像素点进行梯度方向直方图投票得到温度场分布特征。

本发明ROI温度场图像中的像素点在使用其梯度幅值进行梯度方向直方图投票时，不仅需要根据该像素点的位置进行线性插值，而且需要在该像素点梯度方向的相邻区间进行矢量分解，改进后的梯度方向直方图的统计公式表示为：

其中，G表示像素点(x,y)的梯度幅值，x

如图5所示，图5为焊件侧壁温度场ROI选取示意图，在熔池区域以外的热影响区选取ROI，提取焊件侧壁ROI温度场分布特征。如图6所示，为熔覆层在不同偏移程度下的对应焊件侧壁温度场图像。如图7所示，图7为提取得到的熔覆层在不同偏移程度下的对应焊件侧壁ROI温度场分布特征。

S400，将所述熔池几何特征以及所述焊件侧壁ROI温度场分布特征进行特征融合得到融合特征；

S500，将所述融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度。

参考图8，所述熔覆层偏移预测模型使用BP神经网络构建，所述融合特征为11维特征向量，所述熔覆层偏移预测模型包括输入层、隐含层以及输出层，所述隐含层的层数为两层，每层设置有25个神经元。所述熔覆层偏移预测模型的训练通过将几何特征与对应的温度场分布特征融合得到融合特征并组成特征样本，利用特征样本迭代训练所述熔覆层偏移预测模型，并利用反向传播算法调整所述熔覆层偏移预测模型的参数直至达到迭代次数。

本发明以单道多层电弧增材制造为背景，监测电弧增材制造过程中熔覆层的偏移情况，整个电弧增材制造过程按照往复堆积的思想进行，在完成6个熔覆层的堆积后，第7层开始改变焊枪的运动轨迹，本发明使用5种方式完成第7个熔覆层的堆积，第一种方式为焊枪的起弧点偏移-3mm，焊枪运动方向平行于之前的堆积方向；第二种方式为焊枪的起弧点偏移-1.5mm，焊枪运动方向平行于之前的堆积方向；第三种方式为焊枪的起弧点不发生偏移，焊枪运动方向平行于之前的堆积方向，也就是增材制造过程正常；第四种方式为焊枪的起弧点偏移+1.5mm，焊枪运动方向平行于之前的堆积方向；第五种方式为焊枪的起弧点偏移+3mm，焊枪运动方向平行于之前的堆积方向。在熔覆层偏移预测网络模型的输出端，使用1表示熔覆层偏移-3mm的情况，使用2表示熔覆层偏移-1.5mm的情况，使用3表示熔覆层没有发生偏移的情况，使用4表示熔覆层偏移+1.5mm的情况，使用5表示熔覆层偏移+3mm的情况。如图9a所示，为熔覆层偏移预测模型的预测值与真实值间的比较图，图9b、图9c为在逐渐减少训练集数据组数的情况下熔覆层偏移预测模型的预测值与真实值的比较图。熔覆层偏移预测模型的总体预测准确率均超过98％，可以看出本发明的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法监测精度很高。

本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：利用训练后的熔池轮廓提取模型提取熔池图像的熔池轮廓并计算熔池的几何特征；在焊件侧壁温度场图像中选取ROI区域并提取温度场分布特征；将几何特征以及温度场分布特征进行特征融合得到融合特征；将融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度以实现熔覆层偏移的在线监测。由于本发明将电弧增材制造过程中的熔池视觉、焊件温度等多模态信号进行协同感知，后续将提取得到的多模态信号特征进行融合后输入到神经网络模型，用于增材制造成形质量的监测，将有助于提高增材制造成形质量监测的精度和鲁棒性。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。