大型复合材料构件孔特征提取方法、装置及系统

技术领域

本发明涉及孔特征提取技术领域，尤其涉及一种大型复合材料构件孔特征提取方法、装置及系统。

背景技术

在飞机装配中，钻孔连接和铆接占总工作量的30％；且在当前航空制造领域，复合材料逐渐替代传统金属材料，被广泛应用于机身、机翼、尾翼等关键部位的制造，而复合材料由于其特殊结构，导致其孔特征与传统金属材料有较大区别。

我国目前飞机生产装配工作，特别是钻孔连接工作，依旧以传统人工方式为主，不仅装配效率较低，装配质量也难以保证，且人工钻孔连接的质量与操作工人的工作熟练度和技能水平关系极大，国内的飞机制造企业在熟练技工的培训上付出了大量的人力物力成本却收效甚微。

此外，随着航空材料研究与应用的不断深入，复合材料等新型航空材料在飞机制造中被大量投入使用。由于复合材料与传统金属材料在加工特性上的差别，即钻孔过程中产生大量粉末状碎屑，容易对复合材料钻孔在加工时造成影响，其主要原因便是大型复合材料构件的孔特征提取的精度和准确率低，因此导致复合材料在自动检测定位加工方式中，装配效率与加工质量严重受到影响。

发明内容

针对现有技术的不足，本发明提供了一种大型复合材料构件孔特征提取方法、装置及系统，解决了现有技术中大型复合材料构件的孔特征提取的精度和准确率低的技术问题，本发明在深度学习网络中提取了点云多尺度和多模态的特征，能够更好地提取大型复合材料构件的孔特征，从而提高大型复合材料构件的孔特征提取的精度和准确率。

为解决上述技术问题，本发明提供了如下技术方案：一种大型复合材料构件孔特征提取方法，包括以下过程：

S1、获取大型复合材料构件点云数据；

S2、通过球查询将大型复合材料构件点云数据进行分割得到包含孔特征的局部结构块，局部结构块包括局部邻域和全局邻域，选取比例为λ的局部结构块为训练集，剩余的局部结构块为验证集；

S3、根据训练集和损失函数对点云特征提取网络模型训练得到训练后的点云特征提取网络模型；

点云特征提取网络模型包括由球查询模块、特征提取模块、特征融合模块和分类预测模块构成；

S4、根据多尺度多模态的点云的融合特征获取大型复合材料构件孔特征的提取结果。

进一步地，选取比例λ的取值范围为0.6≤λ＜1。

进一步地，在步骤S2中，具体过程包括以下步骤：

S21、选取大型复合材料构件中最大的孔特征的半径作为半径超参数R

S22、通过设置球查询半径为半径超参数R

S23、从较小的局部结构块

S24、根据局部邻域P

S25、根据选取比例λ将数据集划分为训练集和验证集。

进一步地，

特征提取模块包括多层感知机MLP构成的3D CNN和2D CNN、以及最大池化层；

特征融合模块包括多检测头的Transformer模块、多层感知机MLP和平均池化层；

分类预测模块包括全连接层FC和激活函数softmax。

进一步地，在步骤S3中，根据训练集和损失函数对点云特征提取网络模型训练得到训练后的点云特征提取网络模型，具体过程包括以下步骤：

S31、设置训练点云特征提取网络模型的损失函数loss；

S32、采用特征提取模块对经过划分之后的局部邻域P

S33、将最终的编码特征输入特征融合模块得到融合后的多模态多尺度的编码特征；

S34、对训练集的数据进行标注，得出点云数据中检测目标的分类标签及边界框的坐标作为真实值；

S35、将多模态多尺度的编码特征输入至分类预测模块中，输出点云数据中检测目标的预测点云数据中检测目标的边界框坐标及置信度作为预测值；

S36、通过随机梯度下降算法根据损失函数loss、真实值和预测值优化多尺度多模态融合特征编码网络的参数，得到训练后的点云特征提取网络模型。

进一步地，将局部邻域P

进一步地，预测点云数据中检测目标的置信度在0和1之间。

进一步地，在步骤S4中，根据多尺度多模态的点云的融合特征获取大型复合材料构件孔特征的提取结果，具体过程包括以下步骤：

S41、将多尺度多模态的点云的融合特征输入分类预测模块，根据融合特征中局部和全局特征的映射关系，确定孔特征的圆边界点；

S42、根据孔特征的圆边界点进行多次拟合，得到孔特征的中心坐标及半径的多次拟合结果；

S43、将拟合结果和标注的检测目标的边界框的坐标计算IoU，并与设置的阈值进行比较，得到最大的IoU的拟合结果即为候选拟合结果；

S44、将候选拟合结果进行回归，得到修正偏移量和半径补偿量；

S45、根据候选拟合结果和回归得到的修正偏移量和半径补偿量进行计算，得到检测目标的预测边界框的预测位置坐标、半径及置信度；

S46、将检测目标的预测边界框的预测位置坐标、半径及置信度输入训练后的点云特征提取网络模型中，获得大型复合材料构件孔特征的提取结果。

该技术方案还提供了一种用于实现上述孔特征提取方法的装置，包括：

点云数据获取模块，所述点云数据获取模块用于获取大型复合材料构件点云数据；

划分模块，所述划分模块用于通过球查询将大型复合材料构件点云数据进行分割得到包含孔特征的局部结构块，局部结构块包括局部邻域和全局邻域，选取比例为λ的局部结构块为训练集，剩余的局部结构块为验证集；

模型训练模块，所述模型训练模块用于根据训练集和损失函数对点云特征提取网络模型训练得到训练后的点云特征提取网络模型；

点云特征提取网络模型包括由球查询模块、特征提取模块、特征融合模块和分类预测模块构成；

孔特征提取模块，所述孔特征提取模块用于根据多尺度多模态的点云的融合特征获取大型复合材料构件孔特征的提取结果。

该技术方案还提供了一种用于实现上述孔特征提取方法的系统，包括：

处理器；

存储器；

以及一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序用于计算机执行如权利要求1-8中任一项所述的孔特征提取方法。

借由上述技术方案，本发明提供了一种大型复合材料构件孔特征提取方法、装置及系统，至少具备以下有益效果：

本发明在深度学习网络中提取了点云多尺度和多模态的特征，能够更好地提取大型复合材料构件的孔特征，从而提高大型复合材料构件的孔特征提取的精度和准确率，解决了现有技术中大型复合材料构件的孔特征提取精度和准确率低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明孔特征提取方法的流程图；

图2为本发明局部和全局邻域以及对于二维投影特征的示意图；

图3为本发明点云特征提取网络模型的网络框架图；

图4为本发明大型复合材料构件孔特征的提取结果示意图；

图5为本发明孔特征提取装置的结构框图。

图中：10、点云数据获取模块；20、划分模块；30、模型训练模块；40、孔特征提取模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

背景概述

飞机装配是整个飞机制造环节中至关重要的组成部分。它是指将飞机上众多的零部件、成品等组件或标准件等按照图样或三维模型、匹配相关技术条件而在专用的设备上进行飞机机体相关结构的铆接装配、系统安装、调试及试飞的全过程。由于飞机装配过程中，相关零部件尺寸大、数量多、形状复杂，导致飞机装配劳动量占飞机制造劳动总量的比重较大。而飞机装配技术是一项综合性技术，技术难度相对较高，因而飞机最终的生产质量、生产成本及周期在很大程度上是由相关的装配技术所决定的。

随着“中国制造2025”规划的实施，国产大飞机项目成果不断涌现——运20大型运输机服役、C919客机成功取证、蛟龙600水上飞机首飞。在现代飞机制造领域，由于飞机结构具有尺寸大、装配关系复杂、连接件数量多等特点，飞机的装配工作占到全部飞机制造工作的一半左右。而在飞机装配中，钻孔连接和铆接占总工作量的30％；且在当前航空制造领域，复合材料逐渐替代传统金属材料，被广泛应用于机身、机翼、尾翼等关键部位的制造，而复合材料由于其特殊结构，导致其孔特征与传统金属材料有较大区别。我国目前飞机生产装配工作，特别是钻孔连接工作，依旧以传统人工方式为主，不仅装配效率较低，装配质量也难以保证，且人工钻孔连接的质量与操作工人的工作熟练度和技能水平关系极大，国内的飞机制造企业在熟练技工的培训上付出了大量的人力物力成本却收效甚微。

此外，随着航空材料研究与应用的不断深入，复合材料等新型航空材料在飞机制造中被大量投入使用，由于复合材料与传统金属材料在加工特性上的差别，即钻孔过程中产生大量粉末状碎屑，容易对复合材料钻孔在加工时造成影响，其主要原因便是大型复合材料构件的孔特征提取的精度和准确率低，因此导致复合材料在自动检测定位加工方式中，装配效率与加工质量严重受到影响。

此外，钻孔过程中产生大量粉末状碎屑，容易造成操作工人身体健康的损伤。因此，国内航空制造业需要一种适用于复合材料自动检测定位加工方式提高装配效率与加工质量，并保护操作人员的身体健康，这对我国航空事业的发展具有重要的现实意义。

请参照图1-图5，示出了本实施例的一种具体实施方式，本实施例通过在深度学习网络中提取了点云多尺度和多模态的特征，能够更好地提取大型复合材料构件的孔特征，从而提高大型复合材料构件的孔特征提取的精度和准确率。

请参照图1，本实施例提出了一种大型复合材料构件孔特征提取方法，包括以下过程：

S1、采用三维扫描仪获取大型复合材料构件点云数据；

S2、通过球查询将大型复合材料构件点云数据进行分割得到包含孔特征的局部结构块，局部结构块包括局部邻域和全局邻域，其中选取比例为λ的局部结构块为训练集，剩余的局部结构块为验证集；

请参照图2，在步骤S2中，具体过程包括以下步骤：

S21、选取大型复合材料构件中最大的孔特征的半径作为半径超参数R

S22、通过设置球查询半径为半径超参数R

S23、从较小的局部结构块

当

S24、根据局部邻域P

S25、根据选取比例λ将数据集划分为训练集和验证集，选取比例λ的取值范围为0.6≤λ＜1。

在本实施例中，选取较多的数据进行标注作为训练集，能够更好地获得点云特征提取网络模型，少量的数据作为验证集来验证训练好的模型的精度，对于点云特征提取网络模型的验证，只需要将验证集输入其中即可，此处为常规的技术手段，在此不再详细赘述。

S3、根据训练集和损失函数对点云特征提取网络模型训练得到训练后的点云特征提取网络模型；

点云特征提取网络模型包括由球查询模块、特征提取模块、特征融合模块和分类预测模块构成；

特征提取模块包括多层感知机MLP构成的3D CNN和2D CNN、以及最大池化层；

特征融合模块包括多检测头的Transformer模块、多层感知机MLP和平均池化层；

分类预测模块包括全连接层FC和激活函数softmax；

请参照图3，在步骤S3中，根据训练集和损失函数对点云特征提取网络模型训练得到训练后的点云特征提取网络模型，具体过程包括以下步骤：

S31、设置训练点云特征提取网络模型的损失函数loss；

具体的，设置训练点云特征提取网络模型的损失函数，损失函数loss所示：

loss＝(1-ε)*L

其中，L

根据预测值和真实值构建损失函数，真实值与预测值进行对比，从而对点云特征提取网络模型进行训练，L

Δθ＝θ

其中，x,y,z表示框的中心点坐标，l,w,h表示框的长、宽、高，θ表示在绕选取的坐标轴的旋转的角度，x

S32、采用特征提取模块对经过划分之后的局部邻域P

将局部邻域P

S33、将最终的编码特征输入特征融合模块得到融合后的多模态多尺度的编码特征；

具体的，将最终的编码特征输入多检测头的Transformer模块中，更好地捕捉局部和全局特征之间的相关性，而后通过多层感知机和平均池化层，输出融合后的多模态多尺度的编码特征，具体的请参照图3c。

S34、对训练集的数据进行标注，得出点云数据中检测目标的分类标签及边界框的坐标作为真实值；

S35、将多模态多尺度的编码特征输入至分类预测模块中，输出点云数据中检测目标的预测点云数据中检测目标的边界框坐标及置信度作为预测值，具体的请参照图3d；

预测点云数据中检测目标的置信度在0和1之间；

具体的，融合后的多模态多尺度的编码特征经过分类预测模块的全连接层和激活函数最后输出点云数据中检测目标的预测点云数据中检测目标的边界框坐标及置信度(0和1之间)作为预测值；

S36、通过随机梯度下降算法根据损失函数loss、真实值和预测值优化多尺度多模态融合特征编码网络的参数，得到训练后的点云特征提取网络模型。

本实施例以预测点云数据中检测目标的边界框坐标及置信度为预测值，以训练集标注得到点云数据中检测目标的分类标签及边界框坐标为真实值，根据预测值和真实值构建损失函数，通过随机梯度下降算法优化多尺度多模态融合特征编码网络的参数，从而降低损失函数的数值，经过不断迭代优化网络参数，直至损失函数停止下降，则多尺度多模态融合特征编码网络训练过程结束，得到训练后的点云特征提取网络模型。

S4、根据多尺度多模态的点云的融合特征获取大型复合材料构件孔特征的提取结果；

在步骤S4中，根据多尺度多模态的点云的融合特征获取大型复合材料构件孔特征的提取结果，具体过程包括以下步骤

S41、将多尺度多模态的点云的融合特征输入分类预测模块，根据融合特征中局部和全局特征的映射关系，确定孔特征的圆边界点；

S42、根据孔特征的圆边界点进行多次拟合，得到孔特征的中心坐标及半径的多次拟合结果；

拟合得到孔特征的中心坐标及半径的多次拟合结果，拟合方程如下所示：

其中，(x

为了方便在多尺度多模态融合特征编码网络进行参数传递，将上述方程转换为矩阵形式，矩阵形式如下：

minK

其中，K＝(A,B,C,D)，

当M是正定矩阵，H是满足K

上述矩阵形式可用拉格朗日因子γ表征为广义特征值问题来求解，整体变成一个无约束的最小化问题。

minK

分别对K和λ求微分，可得：

MK＝λHK

K

微分方程的每个解(K,γ)可通过计算矩阵(M,H)的广义特征向量得到，参数K是所有解中最小正值γ所对应的单位向量，带入拟合方程即可得到圆的参数。

S43、将拟合结果和标注的检测目标的边界框的坐标计算IoU，并与设置的阈值进行比较，在本实施例中，阈值设置为0.75，得到最大的IoU的拟合结果即为候选拟合结果；

在此处，标注的检测目标的边界框的坐标为步骤S34中对训练集进行标注得到的点云数据中检测目标的边界框的坐标。

S44、将候选拟合结果进行回归，得到修正偏移量和半径补偿量；

S45、根据候选拟合结果和回归得到的修正偏移量和半径补偿量进行计算，得到检测目标的预测边界框的预测位置坐标、半径及置信度；

S46、将检测目标的预测边界框的预测位置坐标、半径及置信度输入训练后的点云特征提取网络模型中，获得大型复合材料构件孔特征的提取结果。

请参照图4，图4a示例性的给出了大型复合材料构件点云数据，通过本实施例所提出的孔特征提取方法得到如图4b的结果，即为大型复合材料构件孔特征的提取结果，因此，本实例通过在深度学习网络中提取了点云多尺度和多模态的特征，能够更好地提取大型复合材料构件的孔特征，从而提高大型复合材料构件的孔特征提取的精度和准确率。

与上述实施例提供的孔特征提取方法相对应，本实施例还提供孔特征提取方法的装置，由于本实施例提供的孔特征提取装置与上述实施例提供的孔特征提取方法相对应，因此前述孔特征提取方法的实施方式也适用于本实施例提供的孔特征提取装置，在本实施例中不再详细描述。

请参阅图5，其所示为本实施例提供的孔特征提取装置的结构框图，该孔特征提取装置包括：

点云数据获取模块10，点云数据获取模块10用于获取大型复合材料构件点云数据；

划分模块20，划分模块20用于通过球查询将大型复合材料构件点云数据进行分割得到包含孔特征的局部结构块，局部结构块包括局部邻域和全局邻域，选取比例为λ的局部结构块为训练集，剩余的局部结构块为验证集；

模型训练模块30，模型训练模块30用于根据训练集和损失函数对点云特征提取网络模型训练得到训练后的点云特征提取网络模型；

点云特征提取网络模型包括由球查询模块、特征提取模块、特征融合模块和分类预测模块构成；

孔特征提取模块40，孔特征提取模块40用于根据多尺度多模态的点云的融合特征获取大型复合材料构件孔特征的提取结果。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

与上述实施例提供的孔特征提取方法相对应，本实施例还提供孔特征提取方法的系统，由于本实施例提供的孔特征提取系统与上述实施例提供的孔特征提取方法相对应，因此前述孔特征提取方法的实施方式也适用于本实施例提供的孔特征提取系统，在本实施例中不再详细描述。

一种用于实现上述孔特征提取方法的系统，包括：处理器；存储器；

以及一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序用于计算机执行上述的孔特征提取方法。

本实施例通过在深度学习网络中提取了点云多尺度和多模态的特征，能够更好地提取大型复合材料构件的孔特征，从而提高大型复合材料构件的孔特征提取的精度和准确率，解决了现有技术中大型复合材料构件的孔特征提取精度和准确率低的技术问题。

以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。