基于深度学习的特征融合金属增材制造熔合状态实时预测方法

技术领域

本发明涉及金属增材制造技术领域，尤其涉及基于深度学习的特征融合金属增材制造熔合状态实时预测方法。

背景技术

因易成形复杂零件和良好的涂层加工，激光金属增材制造技术被广泛应用于医疗、航空航天和国防等领域。在激光金属增材制造技术中，单道单层的沉积熔合状态是影响零件成形质量的重要因素，而在影响沉积熔合状态的诸多工艺参数中，熔池形貌图像和熔池中心温度是影响沉积熔合状态的关键因素。因此研究激光金属增材制造过程中熔池图像和温度的变化对单道单层沉积熔合状态的影响对保证零件的成形质量有重要意义。

目前，在现有技术中，多是通过对所采集的熔池图像数据进行边缘提取以获得熔池尺寸。但是上述技术存在以下缺陷：例如，在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离，故上述视觉检测方法输出的熔池形状参数精度较低。

总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸；同时，若采用深度学习的方法对增材制造的成形尺寸进行预测，仅通过正面的熔池图像作为样本数据经过深度学习无法对成形高度等进行高精度的预测。

发明内容

本发明的目的是为了解决现有采集的图像数据存在干扰，难以进行准确处理；能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，在单一的熔池图像样本数据训练的情况下，处理出来的预测值误差较大、精度较低的缺点，而提出的基于深度学习的特征融合金属增材制造熔合状态实时预测方法。

为了实现上述目的，本发明采用了如下技术方案：

基于深度学习的特征融合金属增材制造熔合状态实时预测方法，包括以下步骤：

S1、建立实时预测初模型：包括用于对熔池图像数据进行特征提取的AlexNet卷积神经网络模型、用于对温度数据进行特征提取的VGG16卷积神经网络模型；

S2、训练实时预测初模型形成实时预测终模型：在一定时间序列下连续采集熔池图像数据、温度数据，对所得数据进行数据标注，形成图像数据集和温度数据集；

S3、输入熔池图像数据集和温度数据集至实时预测终模型实时预测激光金属增材沉积熔合状态。

优选的，所述AlexNet卷积神经网络模型和VGG16卷积神经网络模型用于将所提取的图像数据关键特征和温度数据关键特征进行特征融合的特征融合层以及特征融合层后依次连接包括全连接层和分类层的决策部分。

优选的，将S2所构建的所述图像数据集和温度数据集按比例划分为训练集和测试集。

优选的，所述训练集和测试集的划分比例分别为7比3。

优选的，将所述训练集输入实时预测模型进行训练，并通过所述测试集测试训练后的实时预测模型，直到测试的预测精度达到设定的阈值时，此时的实时预测模型为实时预测终模型。

基于深度学习的特征融合金属增材制造熔合状态实时预测系统，包括搭载实时预测系统的工控机和激光金属增材打印机。

优选的，所述激光金属增材打印机上安装有用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置。

优选的，所述工控机与图像采集装置和温度数据采集装置连接，用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态。

优选的，所述预测的激光金属增材沉积融合状态通过工控机的显示屏显示。

与现有技术相比，本发明的有益效果是：

本发明在一定时间序列下连续采集熔池图像和温度数据，先对有效的熔池图像和温度数据进行归一化处理；深度学习卷积神经网络模型在训练的时候排除了其他无关特征，利用熔池图像和温度数据进行特征融合，对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对成形高度测量进行预测，可有效提升这些参数的精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提出的基于深度学习的特征融合金属增材制造熔合状态实时预测方法的系统结构示意图；

图2为本发明提出的基于深度学习的特征融合金属增材制造熔合状态实时预测方法的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-2，本发明的实施例一提供了基于深度学习的特征融合金属增材制造熔合状态实时预测方法，包括以下步骤：S1、建立实时预测初模型：包括用于对熔池图像数据进行特征提取的AlexNet卷积神经网络模型、用于对温度数据进行特征提取的VGG16卷积神经网络模型；S2、训练实时预测初模型形成实时预测终模型：在一定时间序列下连续采集熔池图像数据、温度数据，对所得数据进行数据标注，形成图像数据集和温度数据集；S3、输入熔池图像数据集和温度数据集至实时预测终模型实时预测激光金属增材沉积熔合状态。

AlexNet卷积神经网络模型和VGG16卷积神经网络模型用于将所提取的图像数据关键特征和温度数据关键特征进行特征融合的特征融合层以及特征融合层后依次连接包括全连接层和分类层的决策部分，将S2所构建的图像数据集和温度数据集按比例划分为训练集和测试集，训练集和测试集的划分比例分别为7比3，将训练集输入实时预测模型进行训练，并通过测试集测试训练后的实时预测模型，直到测试的预测精度达到设定的阈值时，此时的实时预测模型为实时预测终模型。

基于深度学习的特征融合金属增材制造熔合状态实时预测系统，包括搭载实时预测系统的工控机和激光金属增材打印机，激光金属增材打印机上安装有用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置，工控机与图像采集装置和温度数据采集装置连接，用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态，预测的激光金属增材沉积融合状态通过工控机的显示屏显示。

本发明公开了基于深度学习的特征融合金属增材制造熔合状态实时预测系统，包括打印工作台、图像采集装置和温度传感器、人机交互装置、显示器及主机，所述图像采集装置和温度传感器、人机交互装置和显示器均与所述主机电性连接。

本发明在一定时间序列下连续采集熔池图像数据和温度数据，先对有效的熔池图像和温度数据进行归一化处理，使得熔池图像的图片尺寸和像素灰度大小的参数保持一致性。深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对熔合状态进行预测，可有效提升参数的精度。

实施例二：权利要求7中用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置可替换为红外热成像激光探头。

实施例三：权利要求8中用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态的工控机可替换为电脑端。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。