一种空调铜管焊接缺陷检测装置及检测方法

技术领域

本发明涉及空调铜管质检技术领域，具体而言，涉及一种空调铜管焊接缺陷检测装置及检测方法。

背景技术

制冷剂泄露是空调使用过程中最常见的问题之一，它不仅影响空调制冷制热效果，而且对大气垂直温度结构与辐射平衡产生严重威胁。空调铜管连接处焊接质量是决定空调使用效果与寿命的关键因素之一，也是导致制冷剂泄露的重要原因之一。空调铜管全称空调与制冷用铜管(简称ACR管)，它是连接室内机与室外机的关键部件。空调设备中冷凝器、蒸发器、压缩机等部件通过铜管连接，实现其制冷系统的热交换功能。

为了保证空调系统的正常运行以及提升空调热交换效率，一般采用不同管壁厚度与直径的铜管组合使用。焊接是目前连接空调铜管的最主要手段，焊接可以提高空调铜管连接处的连接强度、密封性、抗腐蚀性以及美观程度。不同管径与类型空调铜管连接处的焊接工艺是空调装配工艺中重要内容之一，焊接缺陷不仅是空调出厂质检的重要环节，也是决定空调维护难度与使用寿命的重要因素。

当前空调装配生产线上对铜管焊接缺陷的检测仍采用传统人工目检方式，结合人工经验与不同工艺点位的质量判别标准实现对铜管焊接缺陷的检测。由于工作时间长、判别任务重复度高，人工目检方式的整体精确度难以保证，极易造成铜管焊接缺陷漏检情形。近年来，随着图像处理与机器学习技术的快速发展，基于图像的缺陷检测方法也被广泛尝试应用于空调铜管缺陷检测任务。然而，受生产车间工况(光照、粉尘)、空调铜管图像采集过程中反光以及铜管焊接缺陷种类繁多等因素影响，基于图像的空调铜管缺陷检测方法的检测精度与识别准确度无法满足实际生产需求。

发明内容

本发明在于提供一种空调铜管焊接缺陷检测装置及检测方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

第一方面，本发明提供一种空调铜管焊接缺陷检测装置，包括工业边缘计算机，黑箱，以及安装于所述黑箱内，并电性连接于所述工业边缘计算机的六自由度机械臂、工业相机和补光系统；所述六自由度机械臂用于夹持空调铜管，并根据空调铜管类别，调节对应的姿态，使空调铜管的焊接部位于所述工业相机的图像采集区域；所述补光系统用于为所述工业相机营造光照条件稳定的图像采集环境；所述工业相机用于拍摄空调铜管焊接表观图像；所述工业边缘计算机用于对空调铜管焊接表观图像进行缺陷检测，判别空调铜管焊接表观图像是否存在缺陷。

在本发明的一较佳实施方式中，所述黑箱包括由工业铝型材搭建的箱架，以及通过铰链连接覆盖于所述箱架的黑色幕布。

在本发明的一较佳实施方式中，所述补光系统包括安装于所述黑箱顶部的环形的穹顶光源，以及安装于所述黑箱相对侧的两个带PL偏振片的面光源；所述工业相机朝下且位于所述穹顶光源中心；所述穹顶光源的竖直投影位于两个所述面光源之间；所述六自由度机械臂的底座固定于所述黑箱底部，且能将空调铜管夹持至两个所述面光源之间。

第二方面，本发明提供一种空调铜管焊接缺陷检测方法，包括以下步骤：

S1、获取若干空调铜管焊接表观图像，并进行预处理，之后将预处理后的空调铜管焊接表观图像数据划分为训练数据集、验证数据集和测试数据集；

S2、构建基于多缺陷分类架构的空调铜管焊接缺陷分类网络，并利用训练数据集进行训练，得到若干组分类模型网络权值，采用验证数据集和测试数据集，对匹配不同组分类模型网络权值的空调铜管焊接缺陷分类网络进行推理测试，选择最佳的一组分类模型网络权值，作为空调铜管焊接缺陷分类网络的最佳网络模型权值；

S3、对于某根待检测的空调铜管，获取其焊接局部的若干空调铜管焊接表观图像，并通过空调铜管焊接缺陷分类网络进行推理，结合推理决策得到分类结果。

在本发明的一较佳实施方式中，步骤S1中，对空调铜管焊接表观图像进行预处理的方法包括：首先对空调铜管焊接表观图像局部感兴趣区域进行剪裁，去除与焊接局部不相关的背景区域，并将保留的图像重构到(W,H)＝(224,224)像素；对于保留的图像，若其不存在焊接缺陷，则将其标注为合格产品，否则标注其焊接缺陷类别；标注完成后的图像即为预处理后的空调铜管焊接表观图像数据。

在本发明的一较佳实施方式中，焊接缺陷类别包括大漏、点状过烧、焊点裂纹、焊瘤、夹渣、连焊、气孔和沙眼。

在本发明的一较佳实施方式中，步骤S1中，训练数据集、验证数据集和测试数据集的数据比例为7:2:1。

在本发明的一较佳实施方式中，步骤S2中，多缺陷分类模型共训练30个世代，世代训练过程中，数据分批大小设定为16张样本，采用随机梯度下降方法对模型学习过程进行优化，采用LambdaLR策略对模型训练过程学习率进行调整，初始学习率设定为1e-2，结合softmax函数将多分类的预测结果归一化后，采用交叉熵损失函数计算损失，并将误差进行反向传播，通过世代训练最终得到30组分类模型网络权值。

在本发明的一较佳实施方式中，步骤S3中用到的推理决策模型为

其中，cls(I)表示图片I的分类结果，EfficientNet(·)表示空调铜管焊接缺陷分类网络，conf表示分类置信度，otherwise表示除conf≥0.7，conf≤0.4外，conf的其它限定条件；

当空调铜管焊接局部的空调铜管焊接表观图像的分类结果首次出现1，则表示存在缺陷，需停止检测并将该空调铜管标记为缺陷件；

当空调铜管焊接局部的所有空调铜管焊接表观图像的分类结果均为0，则表示无缺陷，将该空调铜管标记为合格件；

若空调铜管焊接局部的空调铜管焊接表观图像出现-1，则表示无法分辨，需要人工目检介入进行检测验证。

与现有技术相比，本发明的有益效果是：

1)利用本发明所述空调铜管焊接缺陷检测装置对空调铜管的焊接局部进行图像采样，能降低生产车间光照变化、粉尘等不稳定工况因素对图像采集质量的影响，提供稳定的图像采集环境，有效地提升采集图像质量.

2)能够自动检测空调铜管焊接缺陷，并且能够识别空调铜管不同类型的缺陷，提升了空调铜管焊接缺陷检测准确度、工艺可靠性以及生产线的自动化程度和效率。

3)构建的空调铜管焊接缺陷分类网络可在相对较小的模型上获得与更大模型相媲美的性能，减少了计算和内存需求，能够有效地降低计算复杂度，又能保持高精度，可以轻松进行迁移学习。

4)空调铜管焊接缺陷分类网络对焊接局部图像分类置信度阈值的选择充分考虑铜管焊接质检工艺与焊接良品率的要求。当分类网络对缺陷预测的置信度conf超过0.7，就说明本张推理图像有较大概率存在焊接缺陷，因此将预测置信度超过0.7的图像就认定为存在缺陷的图像；同理，当分类网络对缺陷预测的置信度conf低于0.4时，说明本张推理图像存在焊接缺陷的概率较低，将此类图像认定为不存在焊接缺陷的图像；当分类网络预测置信度为0.4

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例中空调铜管焊接缺陷检测装置的结构示意图；

图2是本发明实施例中空调铜管的焊接表观图像采集流程；

图3是本发明实施例中空调铜管焊接缺陷分类检测流程；

图中：1、工业相机；2、穹顶光源；3、面光源；4、PL偏振片；5、空调铜管；6、六自由度机械臂；7、底座；8、黑箱；9、工业边缘计算机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

请参照图1，本发明实施例提供一种空调铜管焊接缺陷检测装置，包括工业边缘计算机9，黑箱8，以及安装于黑箱8内，并电性连接于工业边缘计算机9的六自由度机械臂6、工业相机1和补光系统。

其中，黑箱8包括由工业铝型材搭建的箱架，以及通过铰链连接覆盖于箱架的黑色幕布，这样就搭建形成一个封闭空间，降低环境变化光照对成像系统的影响，为空调铜管焊接局部图像稳定采集提供可靠的环境条件。

补光系统用于为工业相机1营造图像采集环境，包括安装于黑箱8顶部的环形的穹顶光源2，以及安装于黑箱8相对侧的两个带PL偏振片4的面光源3。工业相机1朝下且位于穹顶光源2中心；穹顶光源2的竖直投影位于两个面光源3之间；六自由度机械臂6的底座7固定于黑箱8底部，且能将空调铜管5夹持至两个面光源3之间。

六自由度机械臂6用于夹持空调铜管5，并根据空调铜管5类别，调节对应的姿态(每类空调铜管5对应六自由度机械臂6的一种姿态，实现对空调铜管5不同点位、不同角度焊接处的位姿调整)，使空调铜管5的焊接部位于工业相机1的图像采集区域。工业相机1用于拍摄空调铜管焊接表观图像，即获取空调铜管焊接缺陷局部表观信息。

空调铜管焊接表观图像的采集流程如图2所示。

实际生产过程中，由于不同类型的空调铜管焊接点位数量不一致、焊接位置以及焊接缺陷类型繁多，为了提升焊接空调铜管质检良品率以及发现焊接工艺问题，本发明实施例根据不同类型焊接空调铜管的形状、焊接点位的实际情况，示教六自由度机械臂夹持铜管不同点位焊接缺陷局部表观信息采集位姿，并设计六自由度机械臂从焊接铜管夹持点到工业相机采集点的运动路径。在实时检测过程中，根据焊接空调铜管的类型调用相对应的六自由度机械臂示教运动路径，在工业相机采集点采集空调铜管不同位姿的局部焊接表观图像。

工业边缘计算机9用于对空调铜管焊接表观图像进行缺陷检测，判别出空调铜管焊接部位的缺陷。

工业边缘计算机9上部署了空调铜管焊接缺陷分类网络模型以及在训练集上的获取的最佳网络模型权值。

请参照图3，空调铜管焊接缺陷分类网络以及最佳网络模型权值的获取方法包括：

1、获取若干空调铜管焊接表观图像，并进行预处理，之后将预处理后的空调铜管焊接表观图像数据采用随机方式按照7:2:1的比例划分为训练数据集、验证数据集和测试数据集。

其中，对空调铜管焊接表观图像进行预处理的方法包括：

首先对空调铜管焊接表观图像局部感兴趣区域进行剪裁，去除与焊接局部不相关的背景区域，降低背景信息对后续缺陷特征表达的影响，并将保留的图像重构到(W,H)＝(224,224)像素；

对于保留的图像，若其不存在焊接缺陷，则将其标注为合格产品，否则标注其焊接缺陷类别，焊接缺陷类别包括大漏、点状过烧、焊点裂纹、焊瘤、夹渣、连焊、气孔和沙眼。

标注完成后的图像即为预处理后的空调铜管焊接表观图像数据。

2、构建空调铜管焊接缺陷分类网络，并利用训练数据集进行训练，利用验证数据集和测试数据集找出空调铜管焊接缺陷分类网络的最佳网络模型权值。

在本发明实例中，空调铜管焊接缺陷分类网络的训练均在PyTorch深度学习架构上通过Python语言实现。模型训练的硬件环境为一台配备2张11GB显存的RTX 2080Ti显卡，2.30GHzCPU处理器以及32GB运行内存的服务器，模型训练的软件环境为Ubuntu18.04操作系统与PyCharm集成开发环境。

为适应不同工况点位焊接缺陷检测的难易程度，本发明采用具有不同网络复杂度的EfficientNet(多缺陷分类模型)作为空调铜管焊接缺陷分类网络。

在训练阶段，模型共训练30个世代(epoch＝30)，世代训练过程中，数据分批大小设定为16张样本(batch size＝16)，采用随机梯度下降(Stochastic Gradient Descent,SGD)方法对模型学习过程进行优化，采用LambdaLR策略对模型训练过程学习率进行调整，初始学习率设定为1e-2(learning rate＝1e-2)。结合softmax函数将多分类的预测结果归一化后，采用典型的交叉熵损失函数来计算损失并将误差进行反向传播，Cross-Entropy损失函数如公式1中所示：

其中，L为分类损失，y表示的是图像中是否存在缺陷与类别的标签，

空调铜管焊接缺陷分类网络训练结束后，获得30组与空调铜管焊接缺陷分类网络相应的分类模型网络权值，采用验证数据集和测试数据集，对匹配不同组分类模型网络权值的空调铜管焊接缺陷分类网络进行推理测试，选择最佳的一组分类模型网络权值，作为空调铜管焊接缺陷分类网络的最佳网络模型权值。

为了适应空调生产装备产线实际工况，将空调铜管焊接缺陷分类网络以及最佳网络模型权值部署到工业边缘计算机9上，工业边缘计算机9即NVIDIA Jeston TX2边缘计算平台，部署方法具体包括：

1)将空调铜管焊接缺陷分类网络与最佳网络模型权值转化为可移植的ONNX格式文件；

2)为了缓解边缘计算平台上算力资源紧缺对部署网络模型性能的影响，利用TensorRT深度学习推理优化库对加载最优训练权值的空调铜管焊接缺陷分类网络进行硬件平台侧优化。TensorRT通过网络结构层间融合和数据精度方式替换范式进行神经网络模型的平台侧优化加速。其中TensorRT的网络结构层间融合机制将纵向和横向的某些层进行合并操作以实现减少神经网络的层数和CUDA核心的启动次数。TensorRT的数据精度替换机制则是使用数据量小的INT8量化功能对对网络的内存占用量进行加速优化；

3)将优化后的空调铜管焊接缺陷分类网络加载到NVIDIAJeston TX2边缘计算平台，即完成加载最优训练权值的空调铜管焊接缺陷分类网络的部署。

4)实际推理过程，为提升推理效率，采用TensorRT深度学习优化库对网络模型平台侧进行优化，并利用CUDA加速库进行并行计算，确保最大程度发挥边缘计算平台的优势。

在将加载最优训练权值的空调铜管焊接缺陷分类网络部署到工业边缘计算机9后，就可在实际生产过程中进行空调铜管焊接缺陷检测，具体包括：

利用工业相机1采集待检测空调铜管焊接点位的若干空调铜管焊接表观图像，然后输入到加载最优训练权重的空调铜管焊接缺陷分类网络中，实时地对空调铜管焊接表观图像进行顺序推理，推理决策模型如公式(2)中所示：

其中，cls(I)表示输入图片I的分类结果，EfficientNet(·)表示空调铜管焊接缺陷分类网络，conf表示分类置信度，otherwise表示除conf≥0.7，conf≤0.4外，conf的其它限定条件。

分类结果cls(I)取值可以是1,0,-1，分别表示“存在缺陷”、“无缺陷”和“无法分辨”，前两类别为绝对可信结果，最后一种类别则需要人工介入确认。

当空调铜管焊接局部的空调铜管焊接表观图像的分类结果首次出现1，则表示存在缺陷，需停止检测并将该空调铜管标记为缺陷件；

当空调铜管焊接局部的所有空调铜管焊接表观图像的分类结果均为0，则表示无缺陷，将该空调铜管标记为合格件；

若空调铜管焊接局部的空调铜管焊接表观图像出现-1，则表示无法分辨，需要人工介入进行检测验证。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。