一种基于点云转图像的复材铺丝表面缺陷检测与识别方法

技术领域

本发明属于工业自动化检测技术领域，具体涉及一种基于点云转图像的复材铺丝表面缺陷检测与识别方法。

背景技术

复合材料在航空航天、汽车等高科技领域的广泛应用促进了复材产品制作工艺与精度的快速发展。复合材料的特殊性导致其制作工艺较为复杂，早期部分的复材成形是通过手糊成型，随着自动化技术的发展与应用，逐渐出现了三维编制成型、缠绕成型和自动铺放成型等方式，其中，复合材料自动铺放成型是树脂基复材成型代表技术之一，它既涉及材料制造工艺，又涉及CAD/CAM/CAE技术和机电自动化控制，是多学科交叉技术，现已成为国际上发达国家航空航天相关构件的主流成型技术。

复合材料在自动铺放过程中，会因为设备精度、铺丝轨迹等原因导致一些外部缺陷(如翘起、褶皱、扭转和搭接等)，为了满足复材产品应用精度需求，对复合材料铺丝的表面缺陷类型检测的同时，对缺陷本身的级别进行量化评估显得极为关键和迫切。然而，目前对于复合材料铺丝的表面缺陷检测大多依然通过人眼检测方式进行，效率低下，且人工长时间工作后的视觉疲劳必然带来检测精度下降。近年来随着计算机视觉技术的发展，提出了很多基于图像的复合材料铺丝表面缺陷检测方法，可对缺陷进行识别，但仅通过彩色图像进行的检测，其对光线敏感，无法对缺点进行缺陷级别的进一步评估，适用范围较为有限。

发明内容

本发明针对现有技术的不足，提出一种检测效率及精度高，适用性强的基于点云转图像的复材铺丝表面缺陷检测与识别方法。

为实现上述目的，本发明采用以下技术方案：

一种基于点云转图像的复材铺丝表面缺陷检测与识别方法，包括如下步骤：

步骤S1、获取复合材料铺丝产品的表面点云数据；

步骤S2、对表面点云数据进行平面拟合，得到拟合平面；

步骤S3、计算表面点云数据中所有点到拟合平面的距离；

步骤S4、将表面点云数据进行OBB外包围盒包络，并与步骤S3计算的距离数据结合，生成灰度图；

步骤S5、构建预训练的铺丝缺陷类型语义分割网络，将生成的灰度图作为输入，对灰度图进行缺陷区域分割与识别；

步骤S6、将铺丝缺陷类型语义分割网络输出的分割结果映射至点云，并进行缺陷评估与可视化。

进一步地，步骤S1包括：将待测复合材料铺丝产品放置于高精密直线电机模组移动平台，再于高精密直线电机模组移动平台的正上方架设3D高速摄像机；在铺丝完成后，高精密直线电机模组移动平台驱动待测复合材料铺丝产品移动通过3D高速摄像机拍摄区，完成复合材料铺丝产品表面的点云数据采集。

进一步地，步骤S2包括：

步骤S201、在表面点云数据中随机选取不共线的三个点，计算其平面方程；

步骤S202、设定阈值T，计算其他点到不共线的三个点确定的平面的距离a，当a

步骤S203、重复步骤S201和步骤S202l次，选取得到内点最多的平面，最后使用所有的内点重新拟合，拟合得到最终的平面方程Ax+By+Cz+D＝0。

进一步地，步骤S3包括：

计算每个点到拟合平面的欧氏距离，点(x

进一步地，步骤S4包括：

步骤S401、通过OBB法，确定包络整个表面点云数据的最小外包围盒；

步骤S402、对最小外包围盒进行平面方向子包围盒均匀切分，将其均匀切分为若干512*512的子包围盒；

步骤S403、计算每一个子包围盒中的每一个点与拟合平面的距离，并计算出每一个子包围盒与拟合平面的距离均值；

步骤S404、将每一个子包围盒与拟合平面的距离均值进行归一化，接着转化为图像灰度值0-255，由此将表面点云数据以每个子包围盒为一个图像像素，以子包围盒与拟合平面的距离均值为每一个图像像素的灰度值，生成一张512*512尺寸的平面距离误差图。

进一步地，步骤S5包括：

步骤S501、基于U-Net构建以平面距离误差图为输入的铺丝缺陷类型语义分割网络，铺丝缺陷类型语义分割网络包括下采样网络和上采样网络；首先下采样网络，其通过3*3的卷积层进行特征提取，每两层卷积层后接一层最大池化层进行下采样，这样的结构重复5次；接着将下采样网络的输出进行一层2*2的反卷积层的操作进行上采样，上采样后使用3*3的两层卷积层进行特征提取，这样的结构重复4次，将特征恢复成512*512的尺寸，通道数不变；接着将512*512的特征图进行使用1*1的卷积将通道维度扩展为瑕疵分类数，包括翘起、褶皱、扭转、搭接和正常五个分类，即512*512*5，并在通道维上使用softmax函数激活作为最终的输出；

下采样网络和上采样网络进行层间Skip-connection，即将下采样网络的每一个长宽尺寸的特征提取层输出后，将其与上采样网络对应相同尺寸层的输入进行concat；

步骤S502、将平面距离误差图输入到铺丝缺陷类型语义分割网络，得到缺陷分割信息，再计算缺陷分割信息与GroundTruth之间的损失函数，损失函数使用交叉熵，计算公式为：

公式(4)中，

步骤S503、用反向传播的Adam优化算法，对铺丝缺陷类型语义分割网络的参数进行不断更新优化，输出不断接近GroundTruth，当验证集的准确率稳定时，网络训练完成；

步骤S504、以平面距离误差图为输入，使用铺丝缺陷类型语义分割网络进行分割，得到512*512*5的输出，接着对每个位置点求argmax，最终得到512*512*1的输出，即平面距离误差图的铺丝表面的缺陷区域和缺陷类型。

进一步地，步骤S6包括：

步骤S601、将铺丝缺陷类型语义分割网络输出的分割的缺陷结果映射至表面点云数据的子包围盒对应的点云区域，接着进行点云区域不同色彩标记并可视化；

步骤S602、将每一个缺陷的点云区域计算与拟合平面平均误差距离和距离方差，并作为复合材料铺丝表面的评估指标。

本发明的有益效果是：

本发明可实现复材铺丝表面缺陷的高精度测量与缺陷类型识别，解决现有技术中复材铺丝表面缺陷检测与识别时检测效率和精度低、适用性差等问题。

附图说明

图1为本发明的基于点云转图像的复材铺丝表面缺陷检测与识别方法流程框图；

图2为复合材料铺丝表面点云数据采集示意图；

图3为平面距离误差图；

图4为铺丝缺陷类型语义分割网络结构图。

具体实施方式

下面结合附图和具体的实施例对本发明的基于点云转图像的复材铺丝表面缺陷检测与识别方法作进一步地详细说明。

如图1所示，一种基于点云转图像的复材铺丝表面缺陷检测与识别方法，包括如下步骤：

步骤S1、获取复合材料铺丝产品的表面点云数据。

将待测复合材料铺丝产品放置于高精密直线电机模组移动平台，再于高精密直线电机模组移动平台的正上方架设3D高速摄像机。在铺丝完成后，高精密直线电机模组移动平台驱动待测复合材料铺丝产品移动通过3D高速摄像机拍摄区，完成复合材料铺丝产品表面的点云数据采集，参见图2。

步骤S2、对表面点云数据进行平面拟合，得到拟合平面。包括：

步骤S201、在表面点云数据中随机选取不共线的三个点，计算其平面方程。

步骤S202、设定阈值T，计算其他点到不共线的三个点确定的平面的距离a，当a

步骤S203、重复步骤S201和步骤S202l次(人为设定)，选取得到内点最多的平面，最后使用所有的内点重新拟合，拟合得到最终的平面方程Ax+By+Cz+D＝0。

步骤S3、计算表面点云数据中所有点到拟合平面的距离。包括：

计算每个点到拟合平面的欧氏距离，点(x

步骤S4、将表面点云数据进行OBB外包围盒包络，并与步骤S3计算的距离数据结合，生成灰度图。包括：

步骤S401、通过OBB法，确定包络整个表面点云数据的最小外包围盒，它的立方体的边长始终与铺丝表面点云的主成分在一个方向，通过构建铺丝表面点云的协方差矩阵来计算其特征值和特征向量，从而确定包围盒。具体生成OBB包围盒的协方差矩阵A如下：

其中，conv操作，以conv(x,y)为例。

其中，

接着将特征向量正规化，从而确定OBB包围盒三个轴的方向，通过将铺丝表面点云的坐标投影到三个轴上，确定各轴最大最小值，即可确定出铺丝表面点云OBB包围盒。

步骤S402、对最小外包围盒进行平面方向子包围盒均匀切分，将其均匀切分为若干512*512的子包围盒。

步骤S403、计算每一个子包围盒中的每一个点与拟合平面的距离，并计算出每一个子包围盒与拟合平面的距离均值。

步骤S404、将每一个子包围盒与拟合平面的距离均值进行归一化，接着转化为图像灰度值0-255，由此将表面点云数据以每个子包围盒为一个图像像素，以子包围盒与拟合平面的距离均值为每一个图像像素的灰度值，生成一张512*512尺寸的平面距离误差图，如图3所示。

步骤S5、构建预训练的铺丝缺陷类型语义分割网络，将生成的灰度图作为输入，对灰度图进行缺陷区域分割与识别。包括：

步骤S501、基于U-Net构建以平面距离误差图为输入的铺丝缺陷类型语义分割网络，铺丝缺陷类型语义分割网络包括下采样网络和上采样网络。首先下采样网络，其通过3*3的卷积层进行特征提取，每两层卷积层后接一层最大池化层进行下采样，这样的结构重复5次。接着将下采样网络的输出进行一层2*2的反卷积层的操作进行上采样，上采样后使用3*3的两层卷积层进行特征提取，这样的结构重复4次，将特征恢复成512*512的尺寸，通道数不变。接着将512*512的特征图进行使用1*1的卷积将通道维度扩展为瑕疵分类数，包括翘起、褶皱、扭转、搭接和正常五个分类，即512*512*5，并在通道维上使用softmax函数激活作为最终的输出。特别地，下采样网络和上采样网络进行层间Skip-connection，即将下采样网络的每一个长宽尺寸的特征提取层输出后，将其与上采样网络对应相同尺寸层的输入进行concat，具体网络结构如图4所示。

步骤S502、将平面距离误差图输入到铺丝缺陷类型语义分割网络，得到缺陷分割信息，再计算缺陷分割信息与GroundTruth之间的损失函数，损失函数使用交叉熵，计算公式为：

公式(4)中，

步骤S503、用反向传播的Adam优化算法，对铺丝缺陷类型语义分割网络的参数进行不断更新优化，输出不断接近GroundTruth，当验证集的准确率稳定时，网络训练完成。

步骤S504、以平面距离误差图为输入，使用铺丝缺陷类型语义分割网络进行分割，得到512*512*5的输出，接着对每个位置点求argmax，最终得到512*512*1的输出，即平面距离误差图的铺丝表面的缺陷区域和缺陷类型。

步骤S6、将铺丝缺陷类型语义分割网络输出的分割结果映射至点云，并进行缺陷评估与可视化。包括：

步骤S601、将铺丝缺陷类型语义分割网络输出的分割的缺陷结果映射至表面点云数据的子包围盒对应的点云区域，接着进行点云区域不同色彩标记(不同缺陷类别，不同颜色)并可视化。

步骤S602、将每一个缺陷的点云区域计算与拟合平面平均误差距离和距离方差，并作为复合材料铺丝表面的评估指标。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。