基于机器视觉的搅拌摩擦焊焊缝质量监控系统及方法

技术领域

本发明涉及搅拌摩擦焊接技术领域，尤其涉及一种基于机器视觉的搅拌摩擦焊焊缝质量监控系统及方法。

背景技术

搅拌摩擦焊接技术作为一种绿色、高效的固相连接技术，在航空航天、造船、汽车铁路等工业领域获得了广泛应用。然而，在搅拌摩擦焊接的过程中往往会伴随着诸多缺陷，如飞边、焊缝减薄、沟槽和孔洞等，不利于获得高质量接头。

近年来，随着搅拌摩擦焊接技术的发展，搅拌摩擦焊的焊缝质量检测技术也迅速发展。现有的检测技术多聚焦于焊接过程监测与焊后缺陷检测等手段。比如一种采用视觉传感器和位移传感器采集焊接过程的图像并进行实时显示的方法，通过位移传感器对轴肩下压量实现精准控制，获得焊接深度一致的工件，通过视觉传感器为用户提供可视化的图像显示，但该方法无法对焊接完成的焊缝质量进行检测。再比如，使用机器视觉的方法对焊缝表面缺陷进行检测，通过对采集的焊缝图像进行卷积处理，实现了焊缝表面缺陷的识别，但是针对识别的缺陷，该方法并未给出调整意见或缺陷处理方案。除上述方法之外，还提出了一种基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法，该方法不仅可以输出缺陷类型及缺陷对应的量化参数，而且采用正交实验法构建转速、焊速和下压量的无焊接缺陷三维曲面，通过差值拟合的方法对焊接参数进行了优化，但该方法也仅限于对焊缝表面缺陷的识别。目前，对于搅拌摩擦焊焊缝质量的检测研究或局限于表面缺陷的识别，或只是进行焊接完成后的内部缺陷检测，并未在焊接过程中通过表面特征的提取实现内部缺陷预测。

发明内容

针对上述现有技术的不足，本发明提出了一种基于机器视觉的搅拌摩擦焊焊缝质量监控系统及方法，在搅拌摩擦焊接过程中实时跟踪焊缝并快速得到已焊接部位的焊缝表面信息，通过三维重建技术构建可视三维模型；在焊接过程中实现对焊缝内部缺陷和焊接接头质量的预测、标记缺陷位置以及基于焊接接头质量的工艺参数决策反馈方案。

本发明第一方面提出了一种基于机器视觉的搅拌摩擦焊焊缝质量监控系统，安装于搅拌摩擦焊接设备中，所述搅拌摩擦焊接设备包括主轴、搅拌头、工件、工作台和搅拌摩擦焊数控系统，该系统包括依次电连接的视觉模块、三维重建模块、质量预测模块、决策模块和数据传输模块；所述数据传输模块与所述搅拌摩擦焊数控系统电连接；

所述视觉模块，用于采集投射在焊缝表面的激光条纹图案，并将采集到的激光条纹图案发送给所述三维重建模块；

所述三维重建模块，用于根据所述视觉模块采集的激光条纹图案绘制焊缝点云模型和焊缝三维模型；

所述质量预测模块，用于评估焊缝质量，将包含主轴转速、焊速和轴肩下压量的工艺参数和所述三维重建模块中得到的点云模型输入到预先训练好的卷积神经网络中，对已完成的焊接部分的焊接质量进行评估，输出焊接质量预测结果；卷积神经网络输出的焊接质量预测结果包括焊缝接头抗拉强度、缺陷类型和缺陷对应的评估指标；

所述决策模块，用于判断所述焊接质量预测结果是否满足焊接要求，若是，则保持当前的工艺参数继续施焊；若否，则生成实时调整方案对工艺参数进行调整；

所述数据传输模块，用于访问所述搅拌摩擦焊数控系统进行数据的读写，通过访问搅拌摩擦焊数控系统中各轴相关数据，获取工艺参数；通过调用搅拌摩擦焊数控系统中数控设备封装的动态链接库的库函数，对工艺参数进行读写操作和控制焊接过程；

所述视觉模块进一步包括：

摄像头模块，用于采集含有焊缝表面的激光条纹图案的图像；

进一步的，所述摄像头模块由第一面阵相机、一字线激光投射器和第二面阵相机按照双目视觉模型和三角测距原理固定于所述搅拌摩擦焊接设备的主轴上，其中一字线激光投射器的光平面与双目视觉模型中的基线共面；

所述三维重建模块进一步包括串行的三个模块，分别为：

图像预处理模块，用于分析第一面阵相机和第二面阵相机采集到的图像特点，过滤图像的噪声以及获取激光条纹图案的光条中心线三维几何信息；

点云处理模块，用于将获取的激光条纹图案的光条中心线三维几何信息统一到世界坐标系下；获取焊缝的点云数据，并且补全该点云数据以获得完整的焊缝点云模型；对焊缝点云模型进行分割，得到飞边区域点云模型和焊缝减薄区域点云模型；

测算模块，用于根据点云处理模块中得到的飞边区域点云模型和焊缝减薄区域点云模型，并利用积分的方法计算飞边区域点云模型的体积和和焊缝减薄区域点云模型的体积；

所述图像预处理模块进一步包括：

图像滤波去噪单元，用于对图像进行去噪，消除干扰信息；

图像增强单元，用于对图像进行增强，突出图像中的细节部分；

阈值分割单元，用于提取图像中的感兴趣区域ROI，将焊缝表面的激光条纹图案从背景中分离出来；

光条中心线提取单元，用于提取焊缝表面的激光条纹图案，获取激光条纹图案的两条亚像素精度的光条中心线；

双目立体匹配单元，用于计算图像中对应点间的位置偏差，获取激光条纹图案的光条中心线三维几何信息；

所述点云处理模块进一步包括：

点云拼接单元，用于将获取的光条中心线三维几何信息通过平移、旋转统一到世界坐标系下，构建焊缝点云模型；

点云补全单元，用于修补焊缝点云模型中缺失的点云，从缺失的点云出发估计完整的点云，获得完整的焊缝点云模型；

点云分割单元，用于从完整的焊缝点云模型中分割出飞边区域点云模型和焊缝减薄区域点云模型；

本发明第二方面提出了一种基于机器视觉的搅拌摩擦焊焊缝质量监控方法，该方法包括包括：

步骤1：用户根据焊接任务设置搅拌摩擦焊的工艺参数，并对搅拌摩擦焊接设备、待焊接工件以及第一面阵相机、一字线激光投射器和第二面阵相机进行搅拌针干涉检验，建立基准平面；

所述第一面阵相机、一字线激光投射器和第二面阵相机按照双目视觉模型和三角测距原理固定于所述搅拌摩擦焊接设备的主轴上，其中一字线激光投射器的光平面与双目视觉模型中的基线共面；

步骤2：搅拌摩擦焊接设备根据设置的工艺参数开始焊接，并采集含有焊缝表面的激光条纹图案的图像；

步骤3：对采集到的含有焊缝表面的激光条纹图案的图像进行图像预处理，并提取激光条纹图案中的两条亚像素精度的光条中心线，进而得到当前状态下焊缝的三维点云数据；

步骤4：根据当前状态下的焊缝三维点云数据构建焊缝点云模型，对焊缝点云模型进行分割，得到飞边区域点云模型和焊缝减薄区域点云模型，并根据基准平面计算飞边区域点云模型的体积U

步骤5：获取当前时刻的搅拌摩擦焊的真实工艺参数，并构建真实工艺参数矩阵L

步骤6：将真实工艺参数矩阵L

步骤7：利用预先训练好的卷积神经网络对融合工艺参数的焊缝三维模型进行特征提取，得到焊缝的接头抗拉强度U

步骤8：根据表征焊缝接头质量的参数矩阵U判断焊缝是否符合焊接要求，若符合焊接要求，则保持当前的真实工艺参数继续施焊；若不符合焊接要求，则将U和L

步骤9：根据优化后的搅拌摩擦焊的真实工艺参数控制搅拌摩擦焊接设备继续进行焊接，重复步骤2-8，直至焊接结束；

进一步的，步骤4中所述图像预处理，包括：图像滤波去噪、图像增强和阈值分割。

采用上述技术方案所产生的有益效果在于：

(1)本发明方法基于机器视觉对焊缝表面特征进行分析，实现焊接过程的焊缝表面状态的三维重建，并利用卷积神经网络实现对搅拌摩擦焊缝的表面缺陷、内部缺陷和焊接质量的在线无损检测与评估，并可将接头内部缺陷在三维模型中进行直观展示，本发明方法填补了搅拌摩擦焊接内部缺陷在线智能检测的技术空白。

(2)本发明系统通过质量预测模块对焊缝进行在线质量预测，利用决策模块对焊接过程中因待焊结构加工误差、结构散热变化等因素造成的压入偏差进行平滑补偿，降低了焊接过程中因轴肩压入量变化引起的质量波动，进而有效减少缺陷的产生，提高焊接质量。另外，本发明系统在进行焊接在线质量预测的同时，对存在焊缝缺陷的位置进行标记并提出补焊方案，进而指导后续接头补焊等操作，有效提升了工作效率和产品制造成品率，保证了焊缝的工艺稳定性，提高了接头质量。

附图说明

图1为本实施方式中搅拌摩擦焊接设备主体的结构图；

图2为本实施方式基于机器视觉的搅拌摩擦焊焊缝质量监控系统的结构图；

图3为本实施方式基于机器视觉的搅拌摩擦焊接质量监控系统的工作原理图；

图4为本实施方式基于机器视觉的搅拌摩擦焊焊缝质量监控方法的流程图；

图5为本实施方式中决策模型生成的实时调整方案的原理图；

图中：1-第一面阵相机，2-激光器，3-第二面阵相机，4-主轴，5-搅拌头，6-工件，7-工作台，8-搅拌摩擦焊数控系统。

具体实施方式

为了便于理解本申请，下面结合附图和实施方式，对本发明的具体实施方式作进一步详细描述。以下实施方式用于说明本发明，但不用来限制本发明的范围。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。

本实施方式的基于机器视觉的搅拌摩擦焊焊缝质量监控系统安装于搅拌摩擦焊接设备主体中。如图1所示，所述搅拌摩擦焊接设备主体包括主轴4、搅拌头5、工件6、工作台7和搅拌摩擦焊数控系统8。如图2所示，所述基于机器视觉的搅拌摩擦焊焊缝质量监控系统，包括依次连接的：视觉模块100、三维重建模块200、质量预测模块300、决策模块400、数据传输模块500，其中所述视觉模块100、所述三维重建模块200、所述质量预测模块300、所述决策模块400和所述数据传输模块500之间均为电连接，所述数据传输模块500与所述搅拌摩擦焊数控系统8电连接。

所述视觉模块100，用于采集投射在焊缝表面的激光条纹图案，并将采集到的激光条纹图案发送给所述三维重建模块200。

所述视觉模块100进一步包括：

摄像头模块110，用于采集含有焊缝表面的激光条纹图案的图像。

图像缓存模块120，用于存储摄像头模块110采集到的图像。

图像缓存控制模块130，用于判断摄像头模块110采集到的图像是否需要存入图像缓存模块120，当图像采集与图像预处理之间存在冲突时，将当前时刻摄像头模块110采集的图像放入图像缓存模块120中，等待图像预处理完成后再调用图像缓存模块120中存储的图像并发送给三维重建模块200；其中所述摄像头模块110的输出和所述图像缓存模块120的输出均接入所述图像缓存控制模块130中，所述图像缓存控制模块130的输出分两路，其中一路输入所述图像缓存模块120，另一路作为所述视觉模块100的输出。

所述摄像头模块110由第一面阵相机1、一字线激光投射器2和第二面阵相机3按照双目视觉模型和三角测距原理固定于所述搅拌摩擦焊接主体设备的主轴4上，其中一字线激光投射器2的光平面与双目视觉模型中的基线共面。

在本实施方式中，所述视觉模块100采集的焊缝表面激光条纹图案由图像缓存控制模块130决定是否需要存入图像缓存模块120中，解决图像采集与图像处理对数据存取时间不一致的冲突。

所述三维重建模块200，用于根据所述视觉模块100采集的激光条纹图案绘制焊缝点云模型。

所述三维重建模块200进一步包括串行的三个模块，分别为：

图像预处理模块210，用于分析第一面阵相机1和第二面阵相机3采集到的图像特点，解决图像的噪声干扰，提高图像质量和图像处理效率，以及获取激光条纹图案的光条中心线三维几何信息。

点云处理模块220，用于将获取的激光条纹图案的光条中心线三维几何信息统一到世界坐标系下，获取焊缝的点云数据，并且补全该点云数据以获得完整的焊缝点云模型，利用特征识别的方法对焊缝点云模型进行分割，得到飞边区域点云模型和焊缝减薄区域点云模型。

测算模块230，用于根据点云处理模块中得到的飞边区域点云模型和焊缝减薄区域点云模型，并利用积分的方法计算飞边区域点云模型的体积和和焊缝减薄区域点云模型的体积。

所述图像预处理模块210进一步包括：

图像滤波去噪单元211，用于对图像进行去噪，消除干扰信息。

图像增强单元212，用于对图像进行增强，突出图像中的细节部分，提高图像质量。

阈值分割单元213，用于提取图像中的感兴趣区域(Region of Interest，ROI)，将焊缝表面的激光条纹图案从背景中分离出来。在本实施方式中，由于采集的图像既包含焊缝表面的激光条纹图案又包含背景区域，为降低计算量提高处理效率，需对图像进行分割，以便将焊缝表面的激光条纹图案从背景中分离出来。

光条中心线提取单元214，用于提取焊缝表面的激光条纹图案，获取激光条纹图案的两条亚像素精度的光条中心线。

双目立体匹配单元215，用于计算图像中对应点间的位置偏差，获取激光条纹图案的光条中心线三维几何信息。

所述点云处理模块220进一步包括：

点云拼接单元221，用于将获取的光条中心线三维几何信息通过平移、旋转统一到世界坐标系下，构建焊缝点云模型。

点云补全单元222，用于修补焊缝点云模型中缺失的点云，从缺失的点云出发估计完整的点云，获得完整的焊缝点云模型。

点云分割单元223，用于从完整的焊缝点云模型中分割出飞边区域点云模型和焊缝减薄区域点云模型。

所述测算模块230进一步包括：

飞边体积测算单元231，用于根据点云处理模块中得到的飞边区域点云模型，并利用积分的方法计算飞边区域点云模型的体积。

焊缝减薄体积测算单元232，用于根据点云处理模块中得到的焊缝减薄区域点云模型，并利用积分的方法计算焊缝减薄区域点云模型的体积。

在本实施方式中，如图2所示，当视觉模块100中采集到的图像传入所述三维重建模块200后，对采集到的图像进行预处理，即依次使用图像滤波去噪单元211、图像增强单元212、阈值分割单元213和光条中心线提取单元214进行处理，获取两条亚像素精度的光条中心线，以及使用双目立体匹配单元215对两条亚像素精度的光条中心线进行立体匹配计算，计算图像对应点间的位置偏差，获取光条中心线的三维几何信息，从而通过点云处理模块220获取完整的焊缝点云模型，在该焊缝点云模型中分割出飞边区域点云模型与焊缝减薄区域点云模型，进而通过积分的方法计算当前状态下飞边区域点云模型的体积和焊缝减薄区域点云模型的体积。所述点云处理模块220中的点云拼接单元221和点云补全单元222是基于龙门架焊接设备所具有的运动特征，将所述图像预处理模块210中获取的当前状态下的光条中心线的三维几何信息对齐到世界坐标系下，得到焊缝点云模型，然后对测量死区、阴影区域缺失的点云数据进行补全以获得完整的焊缝点云模型，点云分割单元223则是在完整的焊缝点云模型中，根据焊缝的空间、几何和纹理等特征信息分割出飞边区域点云模型和焊缝减薄区域点云模型；所述测算模块230基于分割后的飞边区域飞边点云区域和焊缝减薄区域点云模型，通过积分方法分别测算飞边区域点云模型的体积与焊缝减薄区域点云模型的体积。

在本实施方式中，所述搅拌摩擦焊接设备及其运动特征不限于焊接龙门架和平移运动，可以是各种形式位移平台和运动方式。例如，当使用位移平台控制视觉模块进行平移运动时，每个运动状态的点云可以利用平移方向、平移速度和各个状态的采集时间间隔进行点云拼接以获得完整的焊缝点云模型；当位移平台进行旋转运动时，每个运动状态下的点云可以利用旋转平台的旋转轴、旋转方向、旋转速度及采集时间间隔进行点云把拼接以获得完整的焊缝点云模型；当位移平台按照预先编制的路径进行运动时，根据已知的运动路径，将各个状态下的点云拼接到世界坐标系下以获取完整的焊缝点云模型。

所述质量预测模块300，用于评估焊缝质量，将包含搅拌摩擦焊接设备主轴转速、焊速和轴肩下压量的工艺参数和所述三维重建模块200中得到的焊缝点云模型输入到预先训练好的卷积神经网络中，对已完成的焊接部分的焊接质量进行评估，预测焊缝的焊缝接头抗拉强度和该焊缝是否存在缺陷，卷积神经网络输出的焊接质量预测结果为焊缝接头抗拉强度、缺陷类型和缺陷对应的评估指标。

在本实施方式中，由卷积神经网络输出的焊缝的缺陷类型为沟槽、孔洞、飞边、焊缝减薄中的任意一种或多种。

所述决策模块400，用于判断所述焊接质量预测结果是否满足焊接要求，若焊接质量预测结果满足焊接要求，则保持当前的工艺参数继续施焊；若质量预测结果不满足焊接要求时，生成实时调整方案对工艺参数进行调整。

所述实时调整方案包括以下三种情况：

A1：接头抗拉强度不满足焊接要求，但焊缝不存在缺陷：所述决策模块400对工艺参数进行实时调整，直到满足焊接要求，并对不满足焊接要求的部分焊缝进行补充焊接。

A2：焊缝存在焊接缺陷：所述决策模块400通过实时调整工艺参数消除缺陷的存在，并对于缺陷存在部分的接头通过查询数据库的方式匹配缺陷的修复方案。

A3：对于不可修复的焊缝缺陷，停止此次焊接任务。

在本实施方式中，对于缺陷存在部分的接头通过查询数据库的方式匹配缺陷的修复方案，所述修复方案包括：

(1)沟槽缺陷修复方案：如果出现沟槽缺陷，根据检测到的沟槽大小、形状和位置在数据库匹配合适的工艺参数，包括：焊速、转速和下压量，以及施焊位置和结束焊接位置等，然后采用补焊的方式对沟槽缺陷进行修复，确保出现沟槽处接头质量。

(2)孔洞缺陷修复方案：如果焊缝出现孔洞类缺陷，可以通过填充焊来修复，修复方案根据预测的孔洞大小、形态及位置，在数据库中匹配填充材料、焊速、转速以及轴肩下压量进行填充焊，并且给出热处理方案，使填充材料与母材结合。

所述数据传输模块500，用于访问搅拌摩擦焊数控系统进行数据的读写，通过访问搅拌摩擦焊数控系统中各轴相关数据，获取工艺参数；通过调用搅拌摩擦焊数控系统中数控设备封装的动态链接库的库函数，对工艺参数进行读写操作和控制焊接过程。

在本实施方式中，通过访问搅拌摩擦焊数控系统中各轴的相关数据，获取工艺参数，包括转速、焊速和轴肩下压量。

本实施方式中的基于机器视觉的搅拌摩擦焊焊缝质量监控方法，如图3所示，在开始搅拌摩擦焊焊缝质量监控前，需要进行前期准备工作，包括：向搅拌摩擦焊接设备中通电，初始化搅拌摩擦焊焊缝质量监控系统，在完成搅拌摩擦焊焊缝质量监控系统的初始化后，需要检测视觉模块是否已经标定，若视觉模块未进行标定，需要按照双目结构光测量系统的标定方法进行标定；同时采用Modbus通讯协议尝试建立搅拌摩擦焊焊缝质量监控系统与搅拌摩擦焊数控系统之间的通讯，若搅拌摩擦焊数控系统与搅拌摩擦焊焊缝质量监控系统通讯失败，再次尝试进行通讯，直到成功建立通讯。

如图4所示，所述基于机器视觉的搅拌摩擦焊焊缝质量监控方法包括如下步骤：

步骤1：用户根据焊接任务设置搅拌摩擦焊的工艺参数，并对搅拌摩擦焊接设备、待焊接工件以及第一面阵相机1、一字线激光投射器2和第二面阵相机3进行搅拌针干涉检验，建立基准平面。

所述搅拌摩擦焊的工艺参数，包括：主轴转速ω，焊接速度υ，轴肩下压量d。

步骤2：搅拌摩擦焊接设备根据设置的工艺参数开始焊接，并采集含有焊缝表面的激光条纹图案的图像。

在本实施方式中，用户根据焊接任务设置搅拌摩擦焊的工艺参数，在完成参数设置之后，对搅拌摩擦焊接设备、焊接工件以及第一面阵相机1、一字线激光投射器2和第二面阵相机3进行搅拌针干涉检验，在进行搅拌针干涉检验过程中，使用视觉模块100获取待焊接工件表面的三维点云数据，建立基准平面Z＝0，搅拌摩擦焊接设备以设置的工艺参数开始焊接，同时摄像头模块110中的第一面阵相机1、一字线激光投射器2和第二面阵相机3开始工作，获取焊接主轴后方已经完成焊接部分的含有焊缝表面的激光条纹图案的图像。

步骤3：对采集到的含有焊缝表面的激光条纹图案的图像进行图像预处理，并提取激光条纹图案中的两条亚像素精度的光条中心线，进而得到当前状态下焊缝的三维点云数据。

所述图像预处理，包括：图像滤波去噪、图像增强和阈值分割。

在本实施方式中，对焊缝图像进行图像预处理的过程为：对采集到的含有焊缝表面的激光条纹图案的图像的依次进行图像滤波去噪、图像增强和阈值分割，消除干扰信息，提高图像质量和图像处理效率。

在本实施方式中，由于第一面阵相机1和第二面阵相机3采集到的是带有一定宽度的激光条纹图案的灰度图像，所以需要提取激光条纹图案中亚像素的光条中心线，使用的提取方法为：使用边缘检测和几何中心法对预处理后的激光条纹图案进行初步提取，将初步提取到的像素级的激光条纹中心线进行快速定位，然后使用主成分分析法对初步提取到的像素级的激光条纹中心线进行法线求取，在激光条纹的中心处划分角度八邻域，利用法线角度引导搜索有效点集，并利用法向质心法对有效点集进行亚像素提取以得到两条亚像素精度的光条中心线，再基于线结构光的双目立体匹配原理，获取投射在焊缝表面的两条亚像素精度的光条中心线的三维坐标，即当前状态下的焊缝三维点云数据。

在本实施方式中，可采用不同提取方法提取激光条纹图案的两条亚像素精度的光条中心线，例如，灰度重心法、Steger光条中心提取法和曲线拟合法等。其中，灰度重心法是一种普遍使用的结构光条中心提取方法，其原理是对激光条纹图案逐行进行计算，把每一行计算出的激光条纹的灰度重心的横坐标作为中心坐标；基于Hessian矩阵的Steger光条中心提取法，是通过Hessian矩阵来确定激光条纹图案的法线方向，然后在其法线方向上利用泰勒展开求出激光条纹图案中心位置，该方法的计算量大，提取速度较慢；曲线拟合法是用高斯曲线或者抛物线来拟合光条截线上的灰度值，取拟合后的极值点横坐标作为光条中心点。

步骤4：根据当前状态下的焊缝三维点云数据构建焊缝点云模型，对焊缝点云模型进行分割，得到飞边区域点云模型和焊缝减薄区域点云模型，并根据基准平面计算飞边区域点云模型的体积U

根据搅拌摩擦焊接设备具备的运动特征将获取的当前状态下的焊缝的三维点云数据对齐到世界坐标系下以得到焊缝点云模型，在本实施方式中，焊接主轴在XOY平面上的运动为匀速直线运动，根据搅拌头的焊接移动方向、焊速、第一面阵相机和第二面阵相机的快门时间，将当前时刻的激光条纹中心线的三维坐标统一到世界坐标系下，得到当前时刻的焊缝点云模型，由于得到的焊缝点云模型中存在测量死区、阴影区域，所以该焊缝点云模型中存在点云缺失的问题，利用PCL库函数对缺失的点云数据进行补全以获得完整的焊缝点云模型；然后根据焊缝的空间、几何和纹理等特征信息对焊缝点云模型进行分割，得到飞边区域点云模型和焊缝减薄区域点云模型，使用积分的方法计算飞边区域点云模型的体积和焊缝减薄区域点云模型的体积。

所述对焊缝点云模型进行分割，得到飞边区域点云模型和焊缝减薄区域点云模型的方法为：在焊缝点云模型中，基于基准平面Z＝0对焊缝点云模型进行分割，将低于基准平面的点，即Z＜0的点所构成的轮廓线以内的三维点云数据组成的点云模型记为焊缝减薄点云模型；将高于基准平面的点，即Z＞0的点所构成的轮廓线以外的三维点云数据组成的点云模型记为飞边点云模型。

所述根据基准平面计算飞边区域点云模型的体积U

步骤5：从搅拌摩擦焊数控系统中获取当前时刻的搅拌摩擦焊的真实工艺参数，并构建真实工艺参数矩阵L

在本实施方式中，如图4所示，通过Modbus通讯协议访问搅拌摩擦焊数控系统，向搅拌摩擦焊数控系统中发出读取电机脉冲信号，搅拌摩擦焊焊缝质量监控系统接收并解析搅拌摩擦焊数控系统发出的的返回信号，获取焊接主轴的相关数据，包括：主轴转速、焊接速度、轴肩下压量，将获取到的数据作为当前状态下搅拌摩擦焊的真实工艺参数，记为L

L

其中L

步骤6：将真实工艺参数矩阵L

在本实施方式中，将真实工艺参数L

步骤7：利用预先训练好的卷积神经网络对融合工艺参数的焊缝三维模型进行特征提取，得到焊缝的接头抗拉强度U

在本实施方式中，所述卷积神经网络采用VoteNet架构，使用PointNet++作为特征提取的网络，经过四层抽象集合(set abstraction，SA)层，以及两层帧协议(frameprotocol，FP)层对焊缝三维模型进行特征提取，并取最后一层的1024个点作为初始种子seed，每一个seed都带有坐标的三个维度特征以及C个其他特征；将卷积神经网络输出的结果与飞边区域点云模型的体积U

步骤8：根据表征焊缝接头质量的参数矩阵U判断焊缝是否符合焊接要求，若符合焊接要求，则保持当前的真实工艺参数继续施焊；若不符合焊接要求，则将U和L

在本实施方式中，如图5所示，建立实时调整方案的过程为：使用多个结构相同的BP神经网络代表搅拌摩擦焊操作，其中每一个BP神经网络均对应表征焊缝接头质量的参数矩阵U中的一个参数，分别将L

步骤9：根据优化后的搅拌摩擦焊的真实工艺参数控制搅拌摩擦焊接设备继续进行焊接，重复步骤2-8，直至焊接结束。

在本实施方式中，根据搅拌摩擦焊的真实工艺参数，通过Modbus通讯协议访问搅拌摩擦焊接设备主体中的搅拌摩擦焊数控系统，调用搅拌摩擦焊数控系统中数控设备封装的动态链接库的库函数对搅拌摩擦焊接设备中工艺参数进行读写操作和控制焊接过程，将优化后轴肩下压量写入搅拌摩擦焊数控系统，从而实现反馈控制和缺陷补焊功能。

在本实施方式中，步骤2-8的过程均通过三维可视化进行显示。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。