激光清洗实时监测方法及系统

技术领域

本申请涉及激光清洗技术领域，具体涉及一种激光清洗实时监测方法及系统。

背景技术

激光清洗是一种非接触式先进加工技术，随着激光清洗技术工业化程度的不断加深，对其清洗质量和清洗效率的要求也越来越高，需要使用监测技术对清洗过程进行观察和调控。

传统的离线监测技术采用先加工后分析的方式对激光清洗状态、清洗质量和清洗效果进行监测，该方法通常时效性差且工作效率低准确性差，难以满足工业领域大规模的监测需求。在线监测技术主要包括采用激光有道击穿光谱(LIBS)、激光诱导荧光光谱(LIF)、表面成像(例如CCD相机)、声发射和测量表面参数(例如表面硬度、粗糙度、表面的电位)等技术来实现的监测方法，但是上述在线监测方法的使用设备通常复杂且操作麻烦，同时价格昂贵。因此急需一种激光清洗实时监测方法，以提高对激光清洗过程监测的时效性和准确性，进而提高激光清洗效率和清洗质量，同时降低使用设备的操作难度和成本。

发明内容

有鉴于此，本申请实施例提供了一种激光清洗实时监测方法及系统，以解决现有的激光清洗实时监测方法时效性和准确性低、使用设备不易操作以及成本高的技术问题。

第一方面，本申请实施例提供了一种激光清洗实时监测方法，包括：采集激光清洗过程中的声信号、光信号和视频流信号；将声信号和光信号输入判别模型进行多传感器特征融合，得到各类别的概率值；上述类别为清洗状态类别；基于视频流信号提取当前的帧图像，将帧图像输入目标检测模型，得到帧图像对应的第一类别的概率值；第一类别为各类别中的任一类别；基于投票法，根据各类别的概率值，确定每个类别的票数；根据每个类别的票数构建第一证据体，根据第一类别的概率值构建第二证据体；采用DS证据理论对第一证据体和第二证据体进行多模态决策融合，确定最终类别。

在第一方面的一种可能的实施方式中，上述类别包括正在清洗、清洗完成且基底无损伤和清洗完成且基底已损伤；基于投票法，根据各类别的概率值，确定每个类别的票数，包括：判断第二类别的概率值是否大于第三类别的概率值；第二类别为各类别中的任一类别，第三类别为各类别中除第二类别之外的任一类别；若是，则第二类别的票数加一；若否，则第三类别的票数加一；重复执行判断第二类别的概率值是否大于第三类别的概率值的步骤，直至各类别两两进行判断完成后，确定每个类别的票数。

在第一方面的一种可能的实施方式中，根据每个类别的票数构建第一证据体，包括：将各类别的票数分别与总票数做比值计算，得到各类别对应的比值作为各类别对应的基本概率；总票数为各类别的票数之和；将各类别对应的基本概率作为第一证据体。

在第一方面的一种可能的实施方式中，根据第一类别的概率值构建第二证据体，包括：将第一类别的概率值作为第一类别对应的基本概率；将1/2(1-第一类别的概率值)分别作为除第一类别之外的其他各类别对应的基本概率；将第一类别对应的基本概率和除第一类别之外的其他各类别对应的基本概率作为第二证据体。

在第一方面的一种可能的实施方式中，采用DS证据理论对第一证据体和第二证据体进行多模态决策融合，确定最终类别，包括：基于Dempster合成规则，根据第一证据体和第二证据体计算归一化系数；根据归一化系数、第一证据体和第二证据体计算各类别对应的融合信任度，确定融合信任度最高的类别为最终类别。

在第一方面的一种可能的实施方式中，声信号包括第一声信号和第二声信号，光信号包括第一光信号和第二光信号；第一声信号和第二声信号由不同位置的声电传感器采集，第一光信号和第二光信号由不同位置的光电传感器采集；将声信号和光信号输入判别模型进行多传感器特征融合，得到各类别的概率值，包括：将第一声信号、第二声信号、第一光信号和第二光信号输入判别模型进行多传感器特征融合，得到各类别的概率值。

在第一方面的一种可能的实施方式中，在将声信号和光信号输入判别模型进行多传感器特征融合，得到各类别的概率值之前，还包括：基于变分模态分解方法和小波阈值降噪方法，对声信号进行降噪处理；对光信号和降噪处理后的声信号分别进行归一化处理，得到归一化处理后的光信号和声信号。

第二方面，本申请实施例提供了一种激光清洗实时监测系统，包括：电子设备，以及与电子设备连接的声电传感器、光电传感器和摄像头；声电传感器用于采集激光清洗过程中的声信号，并将声信号发送至电子设备；光电传感器用于采集激光清洗过程中的光信号，并将光信号发送至电子设备；摄像头用于采集激光清洗过程中的视频流信号，并将视频流信号发送至电子设备；电子设备用于执行如第一方面所述的激光清洗实时监测方法的步骤。

在第二方面的一种可能的实施方式中，声电传感器包括：第一声电传感器和第二声电传感器；第一声电传感器设置于清洗平台的第一方向，第二声电传感器设置于清洗平台的第二方向；光电传感器包括：第一光电传感器和第二光电传感器；第一光电传感器设置于清洗平台的第一方向，第二光电传感器设置于清洗平台的第二方向。

在第二方面的一种可能的实施方式中，该系统还包括：辅助光源，以及与电子设备、声电传感器和光电传感器分别连接的数据采集卡；辅助光源用于为摄像头提供光源；数据采集卡用于接收声信号和光信号；还用于对声信号和光信号进行模数转换，并将模数转换后的声信号和光信号发送至电子设备。

可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例提供的激光清洗实时监测方法及系统，通过对激光清洗过程双重监测，根据判别模型的输出结果构建第一证据体以及根据目标检测模型的输出结果构建第二证据体，并根据DS证据理论进行多模态决策融合确定最终清洗状态类别，能够提高对激光清洗过程监测的时效性和准确性，进而使工作人员可以根据实时清洗状态对激光清洗进行调整，提高激光清洗效率和清洗质量，同时降低使用设备成本和操作难度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的激光清洗实时监测系统的结构示意图；

图2是本申请一实施例提供的声电传感器和光电传感器的位置示意图；

图3是本申请一实施例提供的激光清洗实时监测方法的流程示意图；

图4是本申请另一实施例提供的激光清洗实时监测方法的流程示意图；

图5是本申请一实施例提供的激光清洗实时监测方法的流程框图。

具体实施方式

下面结合具体实施例对本申请进行更清楚的说明。以下实施例将有助于本领域的技术人员进一步理解本申请的作用，但不以任何形式限制本申请。应当指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进。这些都属于本申请的保护范围。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

此外，本申请实施例中提到的“多个”应当被解释为两个或两个以上。

图1是本申请一实施例提供的激光清洗实时监测系统的结构示意图。如图1所示，本申请实施例中的系统，可以包括：电子设备10，以及与电子设备10连接的声电传感器20、光电传感器30和摄像头40。

声电传感器20用于采集激光清洗过程中的声信号，并将声信号发送至电子设备10。光电传感器30用于采集激光清洗过程中的光信号，并将光信号发送至电子设备10。摄像头40用于采集激光清洗过程中的视频流信号，并将视频流信号发送至电子设备10。电子设备10用于执行激光清洗实时监测方法的步骤。

上述激光清洗实时监测方法为本申请任意实施例提供的激光清洗实时监测方法。本申请实施例中激光清洗实时监测方法的具体实现过程和原理可以参照后述实施例，此处不再赘述。

可选的，上述声信号、光信号和视频流信号均为实时信号，分别由声电传感器20、光电传感器30和摄像头40实时采集得到。

示例性的，摄像头40设置于清洗平台的上方，用于采集清洗平台上激光清洗工件的清洗过程的视频流信号。摄像头40可以为高清摄像头，清晰度可以为1080P。声电传感器20可以为电容式驻极体麦克风，灵敏度为52DB，频响范围为50Hz～20kHz，用于采集激光器清除工件的锈层时产生的声信号。光电传感器30包括光电发射器和光电探测器，光电发射器用于发射光纤并垂直照射到工件上，光电探测器用于测量入射光强度和反射光强度，得到光信号。

可选的，声电传感器20包括：第一声电传感器21和第二声电传感器22。第一声电传感器21设置于清洗平台的第一方向，第二声电传感器22设置于清洗平台的第二方向。光电传感器30包括：第一光电传感器31和第二光电传感器32。第一光电传感器31设置于清洗平台的第一方向，第二光电传感器32设置于清洗平台的第二方向。

示例性的，参照图2，第一方向可以为清洗平台的X轴方向，第二方向可以为清洗平台的Y轴方向。

可选的，激光清洗实时监测系统还可以包括：辅助光源50，以及与电子设备10、声电传感器20和光电传感器30分别连接的数据采集卡60。

数据采集卡60用于接收声信号和光信号，还用于对声信号和光信号进行模数转换，并将模数转换后的声信号和光信号发送至电子设备10。

示例性的，辅助光源50设置于清洗平台的上方，用于为摄像头40提供光源以保证摄像头40采集到的视频流信号的清晰度和可观测度。辅助光源50可以为LED强发光光带，避免辅助电源光色与工件颜色一致。数据采集卡60可以为USB数据采集卡，例如HK_USB6202-SDV1.2型号的USB数据采集卡，最高同步采样速率可达200kHz，可以同步接收不同信号。

可选的，激光清洗实时监测系统还可以包括：连接于声电传感器20和数据采集卡60之间的第一信号放大模块(图未示)，以及连接于光电传感器30和数据采集卡60之间的第二信号放大模块(图未示)。第一信号放大模块用于对声信号进行放大处理，第二信号放大模块用于对光信号进行放大处理。

示例性的，第一信号放大模块和第二信号放大模块可以采用LM386芯片，自身功耗低，更新内链增益可调整，且总谐波失真小。

本申请实施例提供的激光清洗实时监测系统，包括电子设备，以及与电子设备连接的声电传感器、光电传感器和摄像头，能够实时准确地监测激光清洗过程，同时使用设备成本低、易操作。

图3是本申请一实施例提供的激光清洗实时监测方法的流程示意图。如图3所示，本申请实施例中的方法，可以包括：

步骤101、采集激光清洗过程中的声信号、光信号和视频流信号。

示例性的，上述声信号、光信号和视频流信号均为实时信号。视频流信号包括清洗平台上激光清洗工件的清洗过程，可以通过摄像头采集。

步骤102、将声信号和光信号输入判别模型进行多传感器特征融合，得到各类别的概率值。

其中，上述类别为清洗状态类别。包括正在清洗、清洗完成且基底无损伤和清洗完成且基底已损伤。正在清洗和清洗完成指示清洗状态，基底无损伤和基底已损伤指示清洗质量。

可选的，声信号包括第一声信号和第二声信号，光信号包括第一光信号和第二光信号。第一声信号和第二声信号由不同位置的声电传感器采集，第一光信号和第二光信号由不同位置的光电传感器采集。

在一种可能的实施方式中，步骤102中，具体可以包括：将第一声信号、第二声信号、第一光信号和第二光信号输入判别模型进行多传感器特征融合，得到各类别的概率值。

示例性的，判别模型可以为卷积神经网络(Convolutional Neural Networks，简称CNN)，且为一维CNN。判别模型的卷积-池化层包括四组卷积-最大池化层和一个平均池化层。利用多传感器特征融合原理，将不同传感器视为不同通道，将不同传感器采集到的不同信号视为不同通道信号，也就是将采集到的不同声信号和光信号视为不同通道信号，将上述不同通道信号输入判别模型进行多传感器特征融合。判别模型对输入的各通道信号进行卷积操作，将得到的特征映射经最大池化和平均池化后，经压平层将特征映射转化为单通道一维信号。也就是说，压平层将特征映射的多维向量展开为一维向量，并将各一维特征向量进行相连，最后置入分类层进行分类，得到各类别的概率值，完成特征级融合。表1为判别模型的模型参数。

表1

可选的，上述判别模型为训练后的判别模型，在对上述判别模型进行训练的过程中，样本集中每个类别有1200个样本，每个样本包括声信号和光信号，样本集按照4:1的比例划分为训练集和测试集。采用Relu函数作为激活函数，以减少过拟合现象。采用随机梯度下降优化算法(Stochastic Gradient Descent，简称SGD)更新模型参数，学习率设置为0.01，以控制判别模型的学习率。在全连接层引入Dropout正则化方法，避免过度拟合训练样本，速率设置为0.2。设置最大迭代次数为50，小批量大小(Batch size)为32，训练方式为GPU。

激光器机箱风扇的工作噪声是激光清洗过程中声信号的主要环境干扰源，会对声信号造成干扰，进而降低得到的清洗状态的准确性。因此本申请还对采集到的声信号进行降噪处理。具体来说，在一种可能的实施方式中，步骤102之前，还可以包括：

B1、基于变分模态分解方法和小波阈值降噪方法，对声信号进行降噪处理。

B2、对光信号和降噪处理后的声信号分别进行归一化处理，得到归一化处理后的光信号和声信号。

可选的，基于变分模态分解方法(Variational Mode Decomposition，简称VMD)对声信号进行分解，得到一组模态函数(Intrinsic Mode Function，简称IMF)分量，基于声信号的预设系数确认IMF分量中的噪声IMF分量和有效IMF分量。例如，声信号的预设系数设置为0.6，则IMF分量中大于0.6的分量确认为噪声IMF分量，IMF分量中小于或等于0.6的分量确认为有效IMF分量。采用小波阈值降噪方法对噪声IMF分量进行降噪处理，并将有效IMF分量与降噪处理后的噪声IMF分量进行重构得到降噪处理后的声信号。以及对光信号与降噪处理后的声信号分别进行归一化处理，将归一化处理后的光信号和声信号输入判别模型进行多传感器特征融合。

步骤103、基于视频流信号提取当前的帧图像，将帧图像输入目标检测模型，得到帧图像对应的第一类别的概率值。

其中，第一类别为各类别中的任一类别，即各清洗状态类别中的任一清洗状态类别。

可选的，目标检测模型可以为YOLOv5模型。将帧图像输入目标检测模型后，得到预瞄框的观测值和类别。预瞄框的类别作为第一类别，将预瞄框的观测值作为第一类别的概率值。

示例性的，目标检测模型由主干网络(Backbone)、颈部网络(Neck)和头部网络(Head)组成。主干网络可以为New CSP-DarkNet53网络，其中，CSP网络可以增强神经网络学习能力，在轻量化的同时保持准确性、降低计算瓶颈、降低内存成本。颈部网络可以为SPPF网络和New CSP-PAN网络，New CSP-PAN网络能够反复提取特征，提高检测小目标物体的精度。

可选的，上述目标检测模型为训练后的目标检测模型，在对上述目标检测模型进行训练的过程中，可以设置模型层数为0.33，特征图参数为0.5，超参数为从头开始训练，训练轮次为300，小批量大小为16，图像尺寸(img-size)为[640,640]。

步骤104、基于投票法，根据各类别的概率值，确定每个类别的票数。

在一种可能的实施方式中，步骤104中，具体可以包括：

步骤1041、判断第二类别的概率值是否大于第三类别的概率值。

步骤1042、若是，则第二类别的票数加一。

步骤1043、若否，则第三类别的票数加一。

步骤1044、重复执行判断第二类别的概率值是否大于第三类别的概率值的步骤，直至各类别两两进行判断完成后，确定每个类别的票数。

其中，第二类别为各类别中的任一类别，第三类别为各类别中除第二类别之外的任一类别。

可选的，将正在清洗、清洗完成且基底无损伤和清洗完成且基底已损伤三个类别中，两两不同的类别的概率值进行大小比较，也就是分别进行三次比较，每次比较中概率值大的类别的票数加一，比较完成后确定每个类别的票数。

步骤105、根据每个类别的票数构建第一证据体，根据第一类别的概率值构建第二证据体；采用DS证据理论对第一证据体和第二证据体进行多模态决策融合，确定最终类别。

由前述可知，类别(即清洗状态类别)包括正在清洗、清洗完成且基底无损伤和清洗完成且基底已损伤三个类别，为便于描述，以下分别由a表示正在清洗、b表示清洗完成且基底无损伤、c表示清洗完成且基底已损伤。

可选的，DS证据理论中的辨识框架是由一组相互排斥且构成完备集的命题所组成的集合，本申请实施例中，辨识框架Θ＝{a,b,c}，即a、b、c三个类别分别为三个命题。基本概率分配函数记为m(A)，表示命题信任度的大小，且m(A)满足：

其中，A为任一命题。

在一种可能的实施方式中，参照图4，步骤105中，具体可以包括：

步骤1051、将各类别的票数分别与总票数做比值计算，得到各类别对应的比值作为各类别对应的基本概率；总票数为各类别的票数之和。

步骤1052、将各类别对应的基本概率作为第一证据体。

步骤1053、将第一类别的概率值作为第一类别对应的基本概率。

步骤1054、将1/2(1-第一类别的概率值)分别作为除第一类别之外的其他各类别对应的基本概率。

步骤1055、将第一类别对应的基本概率和除第一类别之外的其他各类别对应的基本概率作为第二证据体。

需要注意的是，本申请实施例中，根据判别模型的输出结果构建第一证据体，将对应的基本概率分配函数记为m1。根据目标检测模型的输出结果构建第二证据体，将对应的基本概率分配函数分别记为m2。

可选的，在构建第一证据体时，将步骤104中确定的各类别的票数与总票数的比值作为各类别对应的基本概率，分别记为m1(a)、m1(b)和m1(c)，将m1(a)、m1(b)和m1(c)作为第一证据体。

示例性的，在构建第二证据体时，将步骤103中确定的第一类别的概率值作为第一类别对应的基本概率，将1/2(1-第一类别的概率值)分别作为除第一类别之外的两个类别对应的基本概率，分别记为m2(a)、m2(b)和m2(c)，将m2(a)、m2(b)和m2(c)作为第二证据体。其中第一类别为类别中的任一类别。

步骤1056、基于Dempster合成规则，根据第一证据体和第二证据体计算归一化系数。

步骤1057、根据归一化系数、第一证据体和第二证据体计算各类别对应的融合信任度，确定融合信任度最高的类别为最终类别。

其中，Dempster合成规则是将不同证据体进行融合，不同证据体可以是不同人的预测、不同传感器的数据、不同分类器的输出结果等。本申请实施例中，第一证据体和第二证据体由不同模型的输出结果分别构建。

示例性的，归一化系数的计算公式为：

式中，K为归一化系数，B为第一证据体中A的子集，即

基于上述归一化系数的计算公式，归一化系数可以表示为：

K＝m1(a)m2(a)+m1(b)m2(b)+m1(c)m2(c)。

示例性的，融合信任度公式为：

式中，

基于上述融合信任度公式，命题a的融合信任度、命题b的融合信任度和命题c的融合信任度可以分别表示为：

式中，

将

图5是本申请一实施例提供的激光清洗实时监测方法的流程框图。参照图5，将各传感器分别采集的声信号和光信号输入判别模型，进行特征提取和多传感器特征融合，并基于输出的各类别的概率值构建第一证据体。对摄像头采集的视频流信号提取当前的帧图像，将帧图像输入目标检测模型进行目标检测，并基于输出的第一类别的概率值构建第二证据体。最后采用DS证据理论对上述第一证据体和第二证据体进行多模态决策融合，确定最终清洗状态类别并输出该结果。

本申请实施例提供的激光清洗实时监测方法，通过对激光清洗过程进行双重监测，根据判别模型的输出结果构建第一证据体以及根据目标检测模型的输出结果构建第二证据体，并采用DS证据理论进行多模态决策融合，确定最终清洗状态类别，能够提高对激光清洗过程监测的时效性和准确性，进而使工作人员可以根据实时清洗状态对激光清洗进行调整，提高激光清洗效率和清洗质量，同时降低使用设备成本和操作难度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。