激光熔覆层表面形貌智能检测系统及方法

技术领域

本发明属于激光熔覆层表面形貌检测技术领域，具体涉及一种激光熔覆层表面形貌智能检测系统及方法。

背景技术

再制造技术以资源利用的最大化与污染浪费的最小化为核心追求，借助应用修复及相关技术，通过对废旧零部件的表面修复与改造，实现废旧资源的再利用。激光再制造技术是绿色制造的重要组成部分，其中以激光熔覆为主要手段的先进修复技术，与其他常规修复技术相比，修复层与基体完全是冶金结合，热影响区小，晶粒细化，层内组织均匀细致，显微组织和性能都非常优越。此项技术能够充分发挥生产的规模效应，通过对废旧零部件的快速修复，在降低能耗与生产成本的同时，兼具环保优势。因此，在绿色制造研究领域中，采用激光熔覆技术对重大装备关键易损件进行修复与改造，已成为重要的研究热点之一。

激光熔覆技术是利用高能激光束将涂层材料与基体表面薄层辐照熔化，凝固后，使得基体表面和粉末金属达到冶金结合的一种特种加工技术。激光熔覆主要有涂层加工、堆积成型、零件修复等工艺方法，广泛应用于汽车、航天、国防等工业领域。基体与粉末以冶金方式结合，结合牢固；激光光斑小，加工面积就小，相对与整个基体来说热输入量小，因而熔覆后零件热变形小；熔覆过程中，激光仅熔化基体表面极薄的一层，粉末涂层稀释率低，涂层的性能能够得到保证。在一般材料零件表面熔覆高性能合金涂层来制造满足特殊使用要求(如耐磨、耐蚀、耐高温等)的零件，可以解决这些零件的加工制造难题，并可节省大量贵重金属材料，降低生产成本。利用堆积成型技术，可以实现快速原型，制造功能梯度零件，还可以制造镶嵌特殊传感器的智能零件。激光熔覆还可以对一些特殊贵重专用零件进行修复，延长专用零件的使用寿命。并且激光熔覆加工涂层的方式环保清洁，不会造成环境污染。

但由于激光熔覆激光熔覆过程一般为开环控制，对内部和外部干扰高度敏感，整个过程处于自发调节状态，系统内部缺少对影响因子的监测一反馈一调节机制。激光熔覆过程是一个非常复杂的过程，激光与粉末、基板之间相互作用，过程中具有温度场、应力场相互耦合、非线性变化等特征，相关因素变化呈非线性、离散性及随机性特点，对熔覆再制造过程产生不可控影响。同时，环境因素、材料因素、工艺参数以及相关设备都会对熔覆层质量造成影响。为减少或消除相关因素变化对再制造过程的影响，获得优良的产品质量，对激光熔覆层表面质量进行实时检测，对提高激光再制造的实时性、稳定性及智能化水平具有重要意义。

近年来，人们利用模拟仿真技术结合模糊控制技术和强大的具有非线性信息处理能力的机器学习技术相结合，使得激光熔覆过程具有一定的可预见性。

加拿大滑铁卢大学M.Asselin等采用三个互为I20°的摄像机对熔池进行拍摄，并在该检测系统基础上开发了模糊自适应阂值分割算法，通过透视变换的方法，实时精确提取熔覆层的高度、宽度和凝固速度，实现了对熔覆层几何形状的测量。

倪立斌等研究人员采用粒子群算法对BP神经网络进行优化，对实验数据进行训练，得到误差小的预测模型，并能较为准确地获得期望的激光熔覆层截面形貌。

张炳发等利用多元线性回归分析了工艺参数与熔覆层形貌之间的对应关系并与试验进行对比，结果表明，采用多元线性回归分析的方法在一定程度上可以对熔覆层的质量进行预测。

孟祥伟等采用BP神经网络对熔覆质量进行预测，该研究显示熔覆层质量的预测结果误差极小，具有良好的使用价值。

从激光熔覆层质量检测的研究现状来看，很多研究人员在激光熔覆层质量检测方面己经做了大量的工作，但仍存在一些问题。如在对激光熔覆层质量进行检测时，图像采集装置无法得到很好定位，造成采集图像可利用率不高。在图像处理方面，对于阈值优化上没有很好的算法处理作为支撑，造成图像与真实熔覆层质量差距较大，因而对激光熔覆层质量的实时检测研究还不完善。

近年来发展的机器视觉技术和深度学习技术是人工智能正在快速发展的一个分支。计算机视觉的目的就是模拟人类的视觉信息获取与处理系统，以图像传感设备取代人眼进行图像获取工作，以计算机取代人脑进行信息分析与处理，从而实现对实际环境的理解，在一定程度上替代人类的部分视觉工作。深度学习采用了一种由端到端的网络模型，在进行分类前无需人工产生图像的特征表达，在经过训练后，该模型可以自动产生图像的特征。深度学习采用了一种由端到端的网络模型，在进行分类前无需人工产生图像的特征表达，在经过训练后，该模型可以自动产生图像的特征，深度学习使机器视觉变得更易于使用，同时扩展了计算机和相机的精确检查极限。

因此研究基于机器视觉和深度学习的激光熔覆表面形貌检测技术对发展智能生产线有着至关重要的作用，也是我国工业生产智能制造的关键一步。

为此，我们提出一种激光熔覆层表面形貌智能检测系统及方法，实现激光熔覆表面形貌的快速检测，为工业生产领域的智能检测应用提供参考及技术保证，具有重要的现实意义和应用价值。

发明内容

本发明的目的在于提供一种激光熔覆层表面形貌智能检测系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种激光熔覆层表面形貌智能检测系统，包括激光熔覆加工系统和激光熔覆加工质量实时监测系统；

激光熔覆加工系统包括激光头、激光控制系统、送料控制系统、工作台、伺服控制系统和工控机；

所述激光头设置于工作台上方，所述激光头通过激光控制系统连接于工控机，所述激光头连接于送料控制系统，所述伺服控制系统连接于工控机，在工控机的控制下，括激光头、激光控制系统、送料控制系统、工作台和伺服控制系统工作，完成对工件的再制造和再修复；

激光熔覆加工质量实时监测系统包括CCD摄像头、图像采集卡、工控机、照明灯和照明控制系统；

所述照明灯设置于激光头旁边，所述照明灯通过照明控制系统连接于工控机，所述CCD摄像头通过图像采集卡连接于工控机，在工控机的控制下，CCD摄像头、图像采集卡、工控机、照明灯和照明控制系统工作，完成对工件的激光熔覆过程的动态监控。

本发明还提供了一种激光熔覆层表面形貌智能检测系统的检测方法，具体包括以下步骤：

S1、首先，以加工过程中采集到的激光熔覆图像数据集为基础，构建基于深度学习的激光熔覆层形貌检框架模型；

S2、其次，采用双向特征加权金字塔网络结构，对YOLOv5算法进行优化，并构建了YOLOv5-双向加权特征融合训练模型；

S3、然后，应用迁移学习的方法，完成激光熔覆层形貌智能检测迁移网络训练，在小数据集上获得检测精度；

S4、最后，将迁移学习训练后的模型固化，并通过多种方式进行优化剪枝处理，部署到嵌入式终端英伟达Jetson Nano中，实现嵌入式终端的在线智能检测。

与现有技术相比，本发明的有益效果是：本发明提供的一种激光熔覆层表面形貌智能检测系统及方法，本发明采用高速摄像机采集激光熔覆工件加工过程中的图像，开展基于深度学习算法实现被加工工件表面激光熔覆层形貌的智能检测。可以实现基于小样本激光熔覆层形貌的高精度智能识别，最终实现了激光熔覆层的快速检测，为智能制造技术中工件的再制造智能检测技术提供了参考。

附图说明

图1为本发明系统示意图；

图2为本发明双向特征金字塔网络融合后的网络示意图；

图3为本发明基于迁移学习的YOLOv5模型的示意图；

图4为本发明预训练模型的迁移训练过程流程图；

图5为本发明再训练模型的迁移训练过程流程图；

图6为本发明网络剪枝的示意图；

图7为本发明剪枝流程示意图。

图中：1、激光头；2、CCD摄像头；3、送料控制系统；4、激光控制系统；5、图像采集卡；6、工控机；7、伺服控制系统；8、工作台；9、照明灯；10、照明控制系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-7，实施例如下：一种激光熔覆层表面形貌智能检测系统，包括激光熔覆加工系统和激光熔覆加工质量实时监测系统；

激光熔覆加工系统包括激光头1、激光控制系统4、送料控制系统3、工作台8、伺服控制系统7和工控机6；

所述激光头1设置于工作台8上方，所述激光头1通过激光控制系统4连接于工控机6，所述激光头1连接于送料控制系统3，所述伺服控制系统7连接于工控机6，在工控机6的控制下，括激光头1、激光控制系统4、送料控制系统3、工作台8和伺服控制系统7工作，完成对工件的再制造和再修复；

所述工控机6通过激光控制系统4实时调节激光头1的功率，实现对激光熔覆温度的控制。所述工控机6通过送料控制系统3实时调节送粉量的大小。所述工控机6通过伺服控制系统7实时控制工作台8的运动，实现对激光熔覆路径和速度的控制。

激光熔覆加工质量实时监测系统包括CCD摄像头2、图像采集卡5、工控机6、照明灯9和照明控制系统10；

所述照明灯9设置于激光头1旁边，所述照明灯9通过照明控制系统10连接于工控机6，所述CCD摄像头2通过图像采集卡5连接于工控机6，在工控机的控制下，CCD摄像头2、图像采集卡5、工控机6、照明灯9和照明控制系统10工作，完成对工件的激光熔覆过程的动态监控。

所述CCD摄像头2用于采集加工过程中熔池的轮廓轨迹，并将采集结果通过图像采集卡5传输至工控机6进行进一步分析。

为了避开激光头，CCD摄像头2布置在激光头1周围，并以一定斜角采集熔池信息，为了确保能采集到熔池的完整信息，围绕激光头1以90度间隔均匀布置四个CCD摄像头2。

当图像对比度过大时，CCD摄像头2存在过度曝光或饱和可能，激光熔覆过程中熔池温度远远高于周边温度，如果不做任何处理，带有CCD摄像头2的CCD相机将出现饱和，无法获取熔池准确信息。为了避免这种情况，一方面在激光头1旁边安装照明控制系统10和照明灯9，通过提高熔池周围的亮度降低图像对比度范围；另一方面在CCD摄像头2的镜头前安装光学滤波器件，将整个画面范围内的亮度调节至适合CCD摄像头2的工作范围。

一种激光熔覆层表面形貌智能检测系统的检测方法，具体包括以下步骤：

S1、首先，以加工过程中采集到的激光熔覆图像数据集为基础，构建基于深度学习的激光熔覆层形貌检框架模型；

S2、其次，采用双向特征加权金字塔网络结构，对YOLOv5算法进行优化，并构建了YOLOv5-双向加权特征融合训练模型；

S3、然后，应用迁移学习的方法，完成激光熔覆层形貌智能检测迁移网络训练，在小数据集上获得检测精度；

S4、最后，将迁移学习训练后的模型固化，并通过多种方式进行优化剪枝处理，部署到嵌入式终端英伟达Jetson Nano中，实现嵌入式终端的在线智能检测。

所提出的方法可以实现基于小样本激光熔覆层形貌的高精度智能识别，最终实现了激光熔覆层的智能检测，为智能制造技术中工件的再制造智能检测技术提供了参考。

双向特征加权金字塔网络：

特征金字塔网络(Feature Pyramid Networks，FPN)是一种常见的特征提取方法，其中自顶向下的路径和横向的连接使得该网络能够有效提取不同尺度的特征上信息。在每一层都具有丰富特征，并且能对尺寸单一的输入图像迅速建立网络，可以用来取代传统图像金字塔而不降低特征的表示能力，同时网络模型简单。但是特征金字塔网络在融合不同分辨率的输入特征时，这些方法大多是简单的归纳，而且对于不同层的信息没有进行区分操作。因此，本发明采用双向特征金字塔网络(Bi-directional feature pyramidnetwork,BiFPN)，对深度学习中的YOLOv5模型进行优化，在确保检测速度的同时，有效提升特征的表示能力。该方法通过改进网络结构以融合更多有效信息，精简网络结构使模型更加高效，并且通过快速归一化融合方法对不同卷积层的多尺度特征进行加权融合，同时使用可分离卷积提升检测效率。

当融合不同分辨率的特征时，一种常见的方法是首先将它们调整到相同的分辨率，然后将它们连接。这种方法对所有输入特征一视同仁，但是可以观察到，不同的输入特征具有不同的分辨率，它们对输出特征的贡献通常是不相等的。为了解决这个问题，可以为每个输入增加一个额外的权值，并让网络了解每个输入特征的重要性。加权融合方法有无上界融合方法、基于Softmax的融合方法、快速归一化融合方法，本发明采用速归一化融合方法。其计算方法如公式(1)所示：

通过在每个w

以BIFPN为基准，以融合层结构N6为例，N6中用到的特征有F6、P6和N5。如下公式(2)和(3)描述了生成特征N6的过程，其他层级的特征均以类似的方式构造。

BIFPN通过集权特征融合和双向尺度连接方式，加强了多尺度特征融合，丰富了特征信息。本发明采用双向特征金字塔网络对YOLOv5算法进行优化，使检测算法更具有更加的稳定性。

基于双向特征金字塔网络的YOLOv5模型：

YOLO算法的网络结构层可以分为四个部分：输入部分、骨干网络、Neck部分和输出部分。本发明中对YOLO算法的优化主要在Neck部分，主要针对本部分的多尺度特征进行优化。优化的主要思想是在拼接的方式下融合BiFPN多尺度特征，这样可以在特征融合的问题上采用双向网络，充分利用低层级特征扩大神经网络的感知范围。

特征融合的方式用公式表示为：

feature＝[f1；f2；f3]

它表示在通道拼接的方法下，融合f1、f2、f3三个尺度，feature表示融合之后用于后续检测的特征。

基于双向特征金字塔网络的YOLOv5模型在原始的YOLOv5层级中增加了F2层和P2层。针对小目标检测，特征P3没有和前一层级的特征C2建立联系，而是采用C3特征和F3特征，F3、F4采用上传递采样获取。此时，

F

P

P

P

在获取P3和P4特征时采用了双向特征网络的方式，融合后的网络结构如图2所示。

基于双向特征金字塔-YOLOv5的网络迁移与训练：

本实验的运行环境为Windows 10(64位)操作系统；Genuine Intel(R)CPU@2.20GHz(双核)，内存为64G；NVIDIA GeForce GTX1080Ti GPU，显存8GB；Pytorch版本1.7.0，CUDA版本为10.2，Torchvision版本为0.8.0，Anaconda版本为4.12.0。

研究中采用迁移学习的方式训练模型，迁移模型如图3所示。

首先，利用Voc07+12数据集对优化后的YOLOv5网络进行预训练，获得包含模型参数、瓶颈描述因子、初始特征的预训练权重，利用激光熔覆加工过程图像数据集对整个全连接层参数进行再训练，使用Adam优化算法对网络进行优化，再将训练的模型和融合特性导入SSD网络，使SSD网络能够对图像中的物体进行识别。通过迁移学习的方式，在训练过程中，可以使网络模型能够更加轻松地获取采集图像的特征信息，同时降低训练所需时间和存储成本，提高了训练精度，最主要的是解决了模型训练所需的数据不足以至于模型泛化能力低的核心问题。

首先采用Voc07+12数据集对双向特征金字塔网络优化后的YOLOv5网络进行预训练，获得预训练权重与参数，再采用激光熔覆工件加工过程中的图像数据集重新训练完全连接层，迁移训练流程如图4-5所示。

设置500个epoch，前70个epoch冻结主干网，每次迭代输入样本的batchsize为16，最大学习率0.01，最小学习率0.0001，学习率下降方式为step，第71个epoch开始解冻训练，batchsize值调整为8，并采用Adam梯度优化函数进行优化，IOU阈值为0.5，直至训练结束，保留最小损失率和最后训练的权重，之后进行检测。

嵌入式终端智能检测：

英伟达公司研发的嵌入式开发板，在运算方面有着强大的能力，其最核心的模块是配备了高显存的GPU硬件，在对图像数据进行各种操作有着巨大优势，同时也方便于移植图像识别算法，在应用性能方面比较广泛。英伟达Jetson Nano可以运行各种各样的高级神经网络，包括现在流行的ML框架的完整原生版本，如TensorFlow，Pytorch，Caffe/Caffe2，Keras，MXNet等深度学习框架。其发布的JetPack 4.4SDK为基于Ubuntu 18.04的JetsonNano提供了可操作的Linux系统桌面，并且具有加速图形的功能，支持NVIDIA CUDAToolkit 10.2软件，以及CUDNN 8和TensorRT等库安装，还有计算机视觉和机器人开发的框架OpenCV和ROS等。其中TensorRT可以加速深度学习推理。

在嵌入式部署过程中对于设备内存资源来说是很有限的，直接将网络模型部署终端是对性能巨大的挑战，因此需要对网络结构剪枝处理，如图6所示。

给定一个预训练的卷积神经网络模型，通道剪枝就是修剪网络层数中的一些冗余通道，以节省模型大小并加快推理速度，为了选择通道，使用一个网络层l

其中

且卷积层数为L，第l层的参数定义为W，k

通常参数剪枝会破坏网络的精确度，因此需要训练恢复剪枝后的网络，为保证模型的精度采取多步剪枝策略，流程图如图7所示。

每次只剪一层或是几层，然后再训练微调，循环剪枝和微调，直到所有层剪枝完成，最后再进行整体微调，这种方式模型精度不会出现断崖式下降，既可以保护模型精度，又可以提高裁剪比例。剪枝之后，模型的精度降低，模型的参数也同样降低，使得对嵌入式设备的内存需求降低，运行速度也更加快速。在模型移植中，Jetson Nano还需要配备microSD(最低16GB)、USB键盘与鼠标、无线网卡以及电脑显示屏(HDMI)。之后将SD卡格式化，官方提供了Windows、MAC、Linux三种系统的格化方式，本研究采用Windows系统进行SD卡格式化。测试结果表明，所提出的算法可以实现激光熔覆工件表面形貌的检测，对于采集到的小的图片或实物，置信度相对较低，但当摄像头靠近时，依然可以有较高的置信度，或者从不同的角度都会有不同的置信度。

综上所述，与现有技术相比，本发明采用高速摄像机采集激光熔覆工件加工过程中的图像，开展基于深度学习算法实现被加工工件表面激光熔覆层形貌的智能检测。可以实现基于小样本激光熔覆层形貌的高精度智能识别，最终实现了激光熔覆层的智能检测，为智能制造技术中工件的再制造智能检测技术提供了参考。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。