一种基于实例分割的熔覆池形貌识别及闭环控制方法

技术领域

本发明属于弧焊增材制造与机器视觉的技术领域，具体涉及一种基于实例分割的熔覆池形貌识别及闭环控制方法。

背景技术

弧焊增材制造是以电弧为热源、以金属焊丝为材料，通过对目标的三维CAD模型转化为STL模型为基础，按照一定的厚度和方向对模型进行分层切片，并对生成的轮廓进行路径规划，按照逐层累积的方式完成材料的填充，最终快速生成实体工件。而在逐层累积的过程中，熔覆池是目标件的最小成形单元，外界环境或者工艺参数的改变都会对其形状和尺寸造成影响，而其波动程度又直接影响着目标件成形质量的好坏，因此需要对熔覆池的形貌进行在线监测，用以评价成形质量，并对后续工艺参数的调整提供理论依据。

在弧焊增材制造过程中，影响熔覆池形貌和尺寸的因素有很多，如激光的功率、送丝速度、打印速度和外界环境的变化等，而这些变化因素可以统一反映在熔覆池的形貌和尺寸的变化上，因此对熔覆池的形貌和尺寸进行监控对弧焊增材制造打印出质量优良的工程件至关重要。

目前对弧焊增材制造过程中熔覆池形貌和尺寸的分析识别，有的通过经验丰富的工人对单道熔覆层打印质量的好坏进行判别，但这种方法需要工人有丰富的经验且效率较低；有的通过多经验参数的方式进行边缘检测，但是经验参数的有效性难以验证，适用性较低；还有的通过相位一致性模型进行边缘检测，但是算法计算量大、效率低，难以在工程实际中应用。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，该方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现了低成本、高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供依据。

技术方案：为实现上述目的，本发明提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：

S1：初始化弧焊增材制造输出功率及输出功率变化量；

S2：采集弧焊增材制造熔覆池彩色图像；

S3：更新弧焊增材制造输出功率；

S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；

S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；

S6：判断当前熔覆池彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤S2。

进一步的，所述步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。

进一步的，所述步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。

进一步的，所述步骤S4的具体过程为：

S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；

S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；

S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；

S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；

S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；

S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。

进一步的，所述步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；

残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：y

其中，y

特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。

进一步的，所述步骤S4.2具体包括如下步骤：

S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI，候选框的大小分别为64*64、128*128、256*256，候选框长和宽的比例分别为2：1、1：1和1：2，每个像素点都会生成9个大小不同的候选框，整个图像上会有将近20万个相互重叠的特征框；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；

S4.2.2：对候选框按照前景得分进行过滤和保留，取前6000个得分最高的保留，再通过非极大值抑制(NMS算法)，将前景得分最高的候选框和其他有重合的候选框进行对比，若重合度大于设定值则舍弃，否则就保留，筛选出最佳的边界框，去除冗余。

进一步的，所述步骤S4.3具体包括如下步骤：

S4.3.1：遍历所有的候选框，将候选框映射到特征图上对应位置；

S4.3.2：将每个候选框分割为若干个单元，每个单元再均分为若干个小区域，对每个小区域用双线性插值的方法求出中心点像素值；

其中，双线性插值是对原图像像素信息进行重新分布，在图像放大或者缩小时能够尽可能少丢失像素信息，每个小区域内四个顶点的坐标值分别为A(x

A1：对横坐标方向上进行插值，得到E、F点像素值f(E)、f(F)；

A2：对点E和F在纵坐标轴上进行插值，得到小区域像素点G的像素值f(G)；

S4.3.3：对每个单元的小区域进行最大池化操作，保留最大的像素值，也即每个小区域的中心点像素值。

进一步的，所述步骤S4.4的具体过程为：

在进行ROIAlign操作后，不同的候选框转换到特征图上的大小已经统一，尺寸为7*7，并在全连接操作后输入Softmax函数，将特征图映射为一个固定长度的特征向量，对候选框的位置进行回归、对候选框内的物体进行分类，得到属于熔覆池的置信度概率值，用来判断候选框内是否为熔覆池，并得到候选框像素坐标(M,N,W,H)，其中，M代表候选框左上角顶点距离输入图像左上角的水平距离、N代表候选框左上角顶点距离输入图像左上角的垂直距离、W代表候选框的像素长度值，H代表候选框的像素宽度值；

Softmax函数是将上一层的输出映射为0-1之间的实数，且映射的总和为1，其数学形式如下：

其中，Z

使用交叉熵函数作为Softmax的损失函数，数学形式为：

其中，i是元素的序号，可取1，2，3…等正整数，是t

进一步的，所述步骤S4.5的具体过程为：对所有的候选框，使用双线性插值从特征金字塔网络第二层提取出14*14的特征图，通过ROI-Pooling进行量化，使用2*2*256的卷积操作后连接到ReLU，将空间大小减小为指定大小7*7，最后通过多层感知机为候选框内每个类别生成7*7的粗预测掩码；

所述步骤S4.6的具体过程为：在特征金字塔网络中，从分辨率最小的层开始，先对所有像素点进行预测；再对分割结果使用双线性插值进行上采样，选择概率值在设定范围内0.45-0.55的点；将这些点和步骤S4.5生成的粗预测掩码输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，进行熔覆池图像的实例分割，完成熔覆池的形貌和尺寸识别。

进一步的，所述步骤S5包括如下步骤：

S5.1：由步骤S4.4得到的候选框像素坐标(M,N,W,H)可知熔覆池的长轴像素数为W，熔覆池短轴也即熔宽的像素数为H；

S5.2：将熔宽像素数H与熔宽像素数标定值80进行对比，得到熔宽变化量ΔMW＝H-80，并将其输入至模糊控制器，将生成的输出功率变化量ΔP反馈至步骤S3。

有益效果：本发明与现有技术相比，首先，通过特征金字塔网络，融合多种特征，在多个尺度上表征目标；其次，基于熔覆池存在内外两个边缘、中间较平滑的特点，优化采样方式，对边缘部分多采样，其余部分少采样，进而减少熔覆池目标检测识别所需时间，该方法不但克服了全程用人工的方法监控熔覆池的形貌和尺寸，进而调控工艺参数的方式存在的效率低、误差大等问题，而且克服了使用多经验参数的方式进行熔覆池边缘检测适用性低的特点，该方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现低成本高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供了可靠依据。

附图说明

图1是本发明方法整体流程图；

图2为熔覆池图像标注图；

图3为弧焊增材制造熔覆池在无熔滴遮挡时检测效果图；

图4为弧焊增材制造熔覆池在有熔滴遮挡时检测效果图；

图5为本发明方法检测效果的PR曲线图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：

S1：初始化弧焊增材制造输出功率及输出功率变化量；

S2：采集弧焊增材制造熔覆池彩色图像；

S3：更新弧焊增材制造输出功率；

S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；

S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；

S6：判断当前熔覆池彩色图像是否为最后一帧，如果是最后一帧，则控制弧焊机器人停止打印；如果不是最后一帧，则回到步骤S2，控制弧焊机器人继续打印。

本实施例的步骤S1中初始化弧焊增材制造输出功率P＝400W，输出功率变化量ΔP＝0。

本实施例的步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用NIKON D7100高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。

本实施例的步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。

本实施例的步骤S4的具体过程为：

S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；

S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；

S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；

S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；

S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；

S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。

步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；

残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：y

其中，y

特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。

步骤S4.2具体包括如下步骤：

S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI，候选框的大小分别为64*64、128*128、256*256，候选框长和宽的比例分别为2：1、1：1和1：2，每个像素点都会生成9个大小不同的候选框，整个图像上会有将近20万个相互重叠的特征框；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；

S4.2.2：对候选框按照前景得分进行过滤和保留，取前6000个得分最高的保留，再通过非极大值抑制(NMS算法)，将前景得分最高的候选框和其他有重合的候选框进行对比，若重合度大于0.5则舍弃，否则就保留，筛选出最佳的边界框，去除冗余。

步骤S4.3具体包括如下步骤：

S4.3.1：遍历所有的候选框，将候选框映射到特征图上对应位置；

S4.3.2：将每个候选框分割为2*2个单元，每个单元再均分为4个小区域，对每个小区域用双线性插值的方法求出中心点像素值；

其中，双线性插值是对原图像像素信息进行重新分布，在图像放大或者缩小时能够尽可能少丢失像素信息，每个小区域内四个顶点的坐标值分别为A(x

A1：对横坐标方向上进行插值，得到E、F点像素值f(E)、f(F)；

A2：对点E和F在纵坐标轴上进行插值，得到小区域像素点G的像素值f(G)；

S4.3.3：对每个单元的小区域进行最大池化操作，保留最大的像素值，也即每个小区域的中心点像素值。

步骤S4.4的具体过程为：

在进行ROIAlign操作后，不同的候选框转换到特征图上的大小已经统一，尺寸为7*7，并在全连接操作后输入Softmax函数，将特征图映射为一个固定长度的特征向量，对候选框的位置进行回归、对候选框内的物体进行分类，得到属于熔覆池的置信度概率值，用来判断候选框内是否为熔覆池，并得到候选框像素坐标(M,N,W,H)，其中，M代表候选框左上角顶点距离输入图像左上角的水平距离、N代表候选框左上角顶点距离输入图像左上角的垂直距离、W代表候选框的像素长度值，H代表候选框的像素宽度值；

Softmax函数是将上一层的输出映射为0-1之间的实数，且映射的总和为1，其数学形式如下：

其中，Z

使用交叉熵函数作为Softmax的损失函数，数学形式为：

其中，i是元素的序号，可取1，2，3…等正整数，是t

步骤S4.5的具体过程为：对所有的候选框，使用双线性插值从特征金字塔网络第二层提取出14*14的特征图，通过ROI-Pooling进行量化，使用2*2*256的卷积操作后连接到ReLU，将空间大小减小为指定大小7*7，最后通过多层感知机为候选框内每个类别生成7*7的粗预测掩码；

多层感知机也称人工神经网络，具有输入层、隐藏层和输出层，层与层之间全连接，其输出为f(x)＝K(b

步骤S4.6的具体过程为：在特征金字塔网络中，从分辨率最小的层开始，先对所有像素点进行预测；再对分割结果使用双线性插值进行上采样，选择概率值在设定范围内0.45-0.55的点；将这些点和步骤S4.5生成的粗预测掩码输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，进行熔覆池图像的实例分割，完成熔覆池的形貌和尺寸识别。

步骤S5包括如下步骤：

S5.1：由步骤S4.4得到的候选框像素坐标(M,N,W,H)可知熔覆池的长轴像素数为W，熔覆池短轴也即熔宽的像素数为H；

S5.2：将熔宽像素数H与熔宽像素数标定值80进行对比，得到熔宽变化量ΔMW＝H-80，并将其输入至模糊控制器，将生成的输出功率变化量ΔP反馈至步骤S3。

为了验证本发明方法的效果，对上述方法进行了实际应用，如图2所示为本次试验中对熔覆池原始图像使用LabelME工具进行手动标注，并保存为json格式文件的效果图。经过本发明方法后分别获取到图3和图4的效果图，图3是在无熔滴遮挡时的熔覆池检测效果图，图4是在有熔滴遮挡时的熔覆池检测效果图，从图中可以看出在有熔滴遮挡和无熔滴遮挡时都能对熔覆池进行良好的检测，从而解决了有熔滴遮挡情况下难以完成高质量检测的问题，且能检测出当前熔覆池长轴和短轴的像素数大小。

为了更加直观的显示本发明方法的效果，本实施例中将本发明方法、Faster R-CNN、Mask R-CNN方法三种方法的性能进行对比，根据图5可见，本发明方法的性能要好于Faster R-CNN和Mask R-CNN。