基于深度学习的航空铆钉分类及异常检测方法

技术领域

本发明涉及一种基于深度学习的航空铆钉分类及异常检测方法。

背景技术

现代大型民航客机的主要材料是铝合金，通常会采用铆接技术以减轻飞机的重量；而铆钉作为最轻且连接强度最好的紧固件，自然受到了各大飞机制造厂商的青睐。据统计，每架飞机上约装有上百万颗铆钉，主要包含实心铆钉和专用铆钉两类。铆钉松动的主要原因是飞行震动，如果在起飞和降落过程中掉落在跑道上，就可能作为跑道异物(foreignobject debris,FOD)被后机吸入，从而造成轮胎被扎爆、发动机及机身损伤，甚至引发重大航空事故。因此，如何快速精准地定位铆钉的位置、识别铆钉分类、是否存在异常情况，对于提升飞行安全有着重大意义。

目前，国内外针对航空铆钉检测的研究仍处于起步阶段，现有成果大致可以分为三类：(1)基于磁光成像与脉冲涡流技术实现航空铆钉异常情况的检测。其中，ZHIWEI ZENG等提出了一种航空铆钉自动检测的有限元模型，YUNZE HE等提出了铆接结构缺陷的无损检测方法，高庆吉等、VALENTYN UCHANIN分别实现了铆钉表面裂纹缺陷的检测。(2)基于光学技术实现航空铆钉异常情况的检测。其中，GAIL OVERTON对飞机铆钉的三维坐标进行了快速检测，李红卫等提出了一种自适应的局部点云密度计算方法，实现了铆接质量的检测；毕超等研制了十字线结构光视觉检测系统，实现了对铆钉孔方位的检测。(3)基于机器视觉实现对航空铆钉的检测。主要应用场景有以下几类：①对铆钉损伤的检测。陈健飞等与杨飞等分别使用支持向量机和抗噪局部二值模式编码算法来实现铆钉结构缺陷和铆钉表面缺陷的检测。②对铆钉位置检测。邢雪亮等提出一种基于机器视觉的检测方法，实现了对铆钉位置及铆钉尺寸的检测；喻强等提出了一种基于单目视觉的检测方法，解决了铆钉识别与定位困难的问题。③对铆钉孔的检测。田清廉等提出了一种基于散乱点云的铆钉孔机器视觉识别算法。

综上所述，现有研究虽然在航空铆钉检测方面取得了一定的成效，但检测结果的精度和速度仍有很大提升空间。并且，针对航空铆钉分类及异常情况进行快速识别定位的研究成果未曾出现。因此，本发明提出了基于深度学习的航空铆钉分类及异常检测算法，实现了绕机检查过程中对铆钉分类及异常情况的目标检测，以期帮助机务工程师定位铆钉相关的各种故障，保障航空运行安全。

发明内容

为了克服现有技术的上述缺点，本发明提出了一种基于深度学习的航空铆钉分类及异常检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的航空铆钉分类及异常检测方法，包括如下步骤：

步骤一、采集航空铆钉图像数据，并对图像数据进行预处理；

步骤二、对航空铆钉图像数据进行目标框类别标注和数据增强处理；

步骤三、采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练；

步骤四、采用以DarkNet-53结构为基线的卷积神经网络为主干网络提取特征进行神经网络推理，以Focus层、跨阶段局部网络层、空间金字塔池化结构模块、上采样层、连接层作为颈部网络来进行特征融合，最后使用解耦检测头生成检测结果。

与现有技术相比，本发明的积极效果是：

航空铆钉对于减轻飞机重量、防止金属疲劳、提升飞行的可靠性和稳定性有重要意义，铆钉松动和脱落将严重威胁飞行安全。本发明针对航空铆钉小目标检测准确率较低的问题，提出了一种基于深度学习的航空铆钉分类及异常检测方法。首先，根据钉头外观对航空铆钉进行分类，制作了航空铆钉的数据集，并构建航空铆钉分类及异常检测模型。从置信度、精度、召回率、mAP等指标对检测结果进行评价，并将该算法与Yolox-s、Yolox-m、Yolov5-s、Yolov5-m、Yolov4的检测结果进行对比。结果表明：

(1)该算法可以实现对航空铆钉的分类及异常情况检测，检测结果的置信度均大于90％，平均精度、召回率和AP值分别在95％、85％和88％以上；

(2)因算法采用了更轻量级的网络架构，并且在检测端头、锚框机制以及标签分配方法进行了改进，因此较同版本的其他Yolox算法以及Yolov5、Yolov4算法相比，航空铆钉分类及异常目标检测精度和速度均有绝对的优势。

附图说明

本发明将参照附图的方式说明，其中：

图1为航空铆钉识别流程图；

图2为铆钉分类表。

具体实施方式

一种基于深度学习的航空铆钉分类及异常检测方法，如图1所示，包括航空铆钉图像数据采集及分类、数据集制作及数据增强、模型训练、航空铆钉分类标识及异常检测识别、检测结果评判五个步骤，其中：

步骤S1：机务工程师佩戴智能眼镜(或其它视频拍摄装置)执行绕机检查，采集机身特定位置铆钉的视频和图片，与此同时通过5G网络与手机或者电脑终端连接，实时传输并保存视频和图像。然后，将采集到的视频和图像数据进行清洗、整理，并对所得的铆钉样本进行划分。

步骤S2：对采集到的航空铆钉数据进行整理及类别目标框标注及数据集划分；标注完成后对目标数据集进行数据增强，方法为马赛克(Mosaic)数据增强及混合(Mix Up)数据增强；

步骤S3：采用迁移训练加冻结训练的方式来训练航空铆钉分类及异常检测模型；

步骤S4：采用以DarkNet-53结构为基线的卷积神经网络为主干网络提取特征进行神经网络计算，以Focus层、跨阶段局部网络层(CSP，Cross Stage Partial)、空间金字塔池化结构模块(SPP，Spatial Pyramid Pooling)、上采样层、连接层作为颈部网络来进行特征融合，最后使用解耦检测头生成检测数据；

步骤S5：为验证所提算法在目标检测方面的效果，使用召回率、精确率、AP(Average Precision)值、平均精度值(mAP)来对检测结果进行评判。

所述步骤S1，具体还包括：

步骤S1.1：采集航空铆钉的不同角度、不同距离、不同亮度的图片，并对采集的视频数据按帧提取合适的样本。

步骤S1.2：航空铆钉的分类是根据航空航天中常用的国家标准，可分为有半圆头、90°沉头、120°沉头、抽芯铆钉和平头铆钉，代号分别为GB867、GB869、GB954、B12615和GB109。由于本发明将采用基于深度学习的目标检测方法，因此根据其外观图像将铆钉进行重新分类，如图2所示：(1)沉头铆钉(Countersunk Head Rivets)，标注为‘CHr’，主要用于飞机表面需平滑受载不大的铆缝，可有效地降低风阻；(2)平头铆钉(Flat Head Rivets)，标注为‘FHr’，主要用作强固接缝；(3)半圆头铆钉(Round head Rivets)，标注为‘RHr’，主要用于承受较大横向载荷的铆缝，起到提高机身强度和维持结构稳定性的作用，广泛应用于机身；(4)抽芯铆钉(Blind Rivets)，标注为‘Br’，主要用于单面铆接，适用于机身不便于采用两面铆接的部位；(5)十字槽头铆钉(Phillips Screws)，标注为‘Ps’，主要应用于机身及其内部，起紧固的作用；(6)异常情况(Abnormal)，标注为‘Abn’。

为了更好的实现本发明，所述步骤S2，具体还包括以下步骤：

步骤S2.1：对样本数据进行排序整理后，使用labeling工具对各种类型数据进行标注，目标框类别为：CHr、FHr、Br、RHr、Ps、Abn六类。对标注好的图像数据按7：1：2的比例划分训练集、验证集、测试集。

步骤S2.2：对步骤S2.1中标注好的图像数据进行马赛克(Mosaic)数据增强以及混合(Mix Up)数据增强，马赛克数据增强具体来说就是从步骤S2.1制作好的数据集中每次随机读取4张图片，接下来分别对4张图片进行翻转(对原始图片进行左右的翻转)、缩放(对原始图片进行大小的缩放)、色域变化(对原始图片的明亮度、饱和度、色调进行改变)等操作，操作完成之后再将原始图片按照第1张图片摆放在左上，第2张图片摆放在左下，第3张图片摆放在右下，第4张图片摆放在右上四个方向位置摆好，然后利用矩阵的方式将四张图片固定的区域截取下来，并拼接成一张新的图片，新的图片上含有标注框等一系列的内容。这样操作之后就丰富了图片的背景信息，并且四张图片拼接在一起还变相地增加了数据集样本数量，在进行批量归一化(batch normalization)时相当于同时对四张图片进行计算，使其训练效率得到大幅度提升。

混合数据增强是一种运用在计算机视觉中的对图像进行混类增强的算法，它可以将不同类之间的图像进行混合，从而扩充训练数据集。公式如下：

λ＝Beat(α，β)

其中

为了进一步的实现本发明，所述步骤S3，具体包含以下步骤：

步骤S3.1：基于VOC数据集进行预训练，得到预训练权重，训练参数设置为score阈值为0.5，batcH_size为10，max_boxes值为20，model_image_size为(640×640)，初始学习率为0.001，当损失值多次不下降时自动结束训练，并进行步骤S3.2的解冻训练；

步骤S3.2：在进行步骤S3.1的同时采用冻结训练，冻结通用的部分预训练权重，如骨干网络，将更多的资源放在训练后面部分的网络参数计算，这样可使得训练时长有效地降低，资源利用率得到很大地提升。当损失值多次不下降时自动结束冻结训练，然后开启解冻训练，再将模型的所有层全部一起训练。冻结训练参数为score阈值为0.5，batch_size为8，max_boxes值为20，初始学习率为0.0001。

步骤S3.3：步骤S3.1中采用神经网络提取特征后，网络输出预测坐标信息(x，y，w，h)，以及目标预测结果的置信度值。其中，x，y表示预测数据左上角的坐标点；w，h表示预测数据的宽和高，预测结果的坐标值与真实目标的坐标值之间的差异可采用CIoU Loss作为损失函数，公式如下：

其中，b和b

采用CIoULoss将目标与预测框之间的距离，重叠率、尺度以及惩罚项都考虑进去，这样可使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题。CIoU除了考虑了真实框和预测框的中心点距离，还有两个框的最小包裹框的对角线距离，则预测框可更好地接近真实框的位置，使得预测结果更加准确。

为了进一步的实现本发明，所述步骤S4具体包含以下步骤：

步骤S4.1：基于步骤S3中训练后得到航空铆钉分类的权重，对航空铆钉数据进行分类及异常识别。卷积神经网络推理过程可以概括为三个阶段，提取特征阶段、收集处理特征信息阶段以及预测阶段。提取特征阶段：输入端输入的尺寸为416×416×3的图片，通过Focus层经过裁剪拼接和卷积处理得到208×208×24的特征图，经过卷积层、CSP层和SPP模块的层层推理，在主干网络的中层、中下层和底层分别得到52×52×96、26×26×192、13×13×384大小的特征图，随后参与网络颈部特征融合。

在推理过程中采用无锚框(Anchor-Free)机制，在主干网络后经过下采样把不同大小的信息输入到预测分支，每一个中心锚点只产生一个候选框，降低了运算复杂度。

步骤S4.2：在主干网络末端插入SE(Squeeze-and-Excitation)注意力机制，该模块通过自主学习的方式来自动获取每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。Squeeze模块顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野。具体操作如下：对原始特征图52×52×96、26×26×192、13×13×384进行全局平均池化，然后得到了三个1×1×96、1×1×192、1×1×384大小的特征图，这个特征图即可具有全局感受野。

Excitation模块输出的1×1×96、1×1×192、1×1×384特征图，再经过两个全连接神经网络，最后用一个类似于循环神经网络中门的机制。通过参数调整来为每个特征通道生成权重，其中参数被学习用来显式地建模特征通道间的相关性。

最后是特征重标定，其使用Excitation得到的结果作为权重，然后通过乘法逐通道加权到三个特征图对应的通道上，完成在通道维度上对原始特征的重标定，并作为下一级的输入数据。

步骤S4.3：收集处理特征信息阶段，网络颈部采用特征图金字塔网络(FPN，Feature Pyramid Networks)+路径聚合网络结构(Path Aggregation Network，PAN)，将三个浅层语义特征和更深层次的语义特征融合，使整体网络更好的提取目标特征信息。最后，在网络颈部的中层、中下层和底层分别得到52×52×96、26×26×192、13×13×384大小的特征图。

步骤S4.4：输入到解耦检测头进行推理预测，得到目标的预测前景、预测种类和预测位置。解耦检测头(Decoupled Head)，使用一个1×1的卷积进行通道降维，减少了推理耗时，后接两个3×3卷积进行回归或分类处理。Cls分支主要是区分目标框的类别并计算目标置信度；Obj分支主要用来判断目标框是否是所识别对象；Reg分支主要是推理得到目标框的坐标信息(x，y，w，h)。最后，把三个分支得到的特征信息经过拼接融合到一起，以便获得完整的目标识别信息。面对多通道的识别任务，由于Decoupled Head增加了预测分支和卷积数量，回归和分类各自推理，使预测头的表达能力得到提升。

步骤S4.5：在标签分配时使用先进正负样本分配策略(Sim-Optimal TransportAssignment for Object Detection，SimOTA)，首先使用中心先验法确定候选区域，计算候选区域中锚框与真实目标的Reg.和Cls.的loss值，然后构建cost成本函数，如下列公式所示。

根据cost成本函数的大小，挑选出k个成本最低的候选框，最后根据全局情况去除重复候选框后得到最后的预测框。

为了进一步的实现本发明，所述步骤S5具体包含以下步骤：

步骤S5.1：为验证所提算法在目标检测方面的效果，使用召回率、精确率、AP(Average Precision)值、平均精度值(mAP)来进行评价。

其中，召回率R是指在所有被检测出的目标中被检测正确的概率，精确率P是指在所有检测出的目标中实际为正确目标的概率。TP(true positive)为将待检测目标正确检测出的数量，FN(false positive)为待检测目标未被检测出的数量，FP(false negative)为将错误目标检测为待检测目标的数量。

AP值和mAP值均用来衡量模型的整体性能，AP值并不是指的单个种类所有检测出目标的平均精度值，而是以召回率为横坐标轴，精确率为纵坐标轴的P-R曲线所围成的图形面积值，实际计算的时候可采用积分方法来得到该值，见下列公式。而所有种类目标AP值的平均值，可用来衡量模型的总体检测性能，即mAP值。

步骤S5.2：根据S5.1中所提的目标检测相关评价指标，得到航空铆钉目标类别检测的召回率(R)、精确率(P)、AP值如下表所示。

不同种类铆钉的精确度、召回率和AP值

可见，模型能实现对各类铆钉正常及异常情况的检测。其中，目标的检测精度均高于95％，特别是平头铆钉和半圆头铆钉的识别精度更是高达99％以上，抽芯铆钉的精度相对较低，也高达了95.08％；目标的召回率均在85％以上，特别是半圆头铆钉和十字槽头铆钉的识别精度高达96％以上，抽芯铆钉和异常情况的召回率相对较低，约为86％；目标的AP值的识别精度均大于88％，除异常情况以外，其余类型的铆钉AP都在92％以上。

为验证本发明的算法性能，将其与传统的Yolov4、Yolov5算法以及Yolox算法的其他版本在相同的场景中进行对比实验，得到检测结果的性能对比如下表所示。

6种算法的性能对比

可见，所有算法均可实现对航空铆钉分类及异常目标的检测，总体性能从高到低排序依次为本文所提算法、Yolox-s、Yolox-m、Yolov5-s、Yolov4、Yolov5-m。其中，本文算法所得结果的精确率、召回率、平均精度值分别为97.80％、92.09％、95.07％，较同类算法的其它版本Yolox-m、Yolox-s算法分别高出4.81％、8.06％、6.49％和2.51％、6.06％、5.62％。较Yolov5-m、Yolov5-s、Yolov4算法所得结果更是有较大的提升。所提算法的GPU处理速度为84.56f/s，较同类算法的其它版本Yolox-m、Yolox-s算法分别高出50.97％、16.39％，较Yolov5-m、Yolov5-s、Yolov4算法也有不同程度的提升。与同版本算法相比，基于深度学习的航空铆钉分类及异常目标检测算法速度的提升，更多应归功于使用了轻量级的网络结构框架；与不同版本算法的航空铆钉分类及异常目标检测精确度的提升，应归功于对检测头、无锚框机制、注意力机制的改进。