一种基于卷积神经网络的航空发动机叶片缺陷检测方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种缺陷检测方法。

背景技术

飞机发动机叶片表面缺陷检测是航空质检与维护中的一项重要工作，常见缺陷有缺陷、压坑、弯曲和腐蚀等，及时有效地发现损伤信息可有效避免因机械器件损坏而导致的灾祸。目前，缺陷检查主要依靠于地勤人员的人眼观察，这是一项冗长且劳动密集型的工作，工作质量易受到主观因素的影响。因此，为了提高检测效率、降低检测成本，需要一种自动化缺陷检测的方法。传统缺陷检测方法大致可分为基于边缘检测的方法和基于形态学的方法。在理想的情况下，如果缺陷具有较高的对比度且图像背景噪声较小，传统方法可以对其进行高精度的检测。然而，这些方法在实际应用中会受到实际叶片表面刮痕和微小气孔等噪声的影响，使用阈值分割法可以将与缺陷像素与全局背景分离，但是这类方法容易受到干扰，且对实际检测场地的光照变化十分敏感。综上所述，传统缺陷检测算法易受到影响且提升空间有限，需要结合神经网络算法研发用于航空发动机叶片缺陷的检测方法。

发明内容

为了克服现有技术的不足，本发明提供了一种基于卷积神经网络的航空发动机叶片缺陷检测方法，将Yolov3模型上采样结构中的双线性插值方法改为双三次插值方法，增强底层特征与深层特征的融合效果，提高检测模型的细节感知能力；同时在Yolov3模型的主干网络中加入注意力机制，增强感兴趣区域的特征表现能力，降低背景噪声等无用信息对于检测结果的影响，提高检测模型的区域聚焦能力。通过上述两种方法，得到改进后的Yolov3模型，使用改进后的Yolov3模型能够对航空发动机叶片缺陷进行检测，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：获取待检测的航空发动机叶片缺陷图像，构成缺陷图像集；

步骤2：对缺陷图像集中的每幅缺陷图像赋予一个标签，标签表示不同类型的缺陷；获取缺陷图像中每个缺陷的最小外接矩形的长宽值以及位置坐标；

步骤3：对缺陷图像集中的缺陷图像进行数据增强工作，得到缺陷标签图像集；

步骤4：构建改进Yolov3模型；

步骤4-1：对Yolov3模型中第97层的特征图进行上采样，再与第36层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第一输出；在上采样时将双线性插值方法更改为双三次插值方法；

对Yolov3模型中第85层的特征图进行上采样，再与第61层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第二输出；在上采样时将双线性插值方法更改为双三次插值方法；

将Yolov3模型主干网络的输出记为第三输出；

步骤4-2：分别在第一输出、第二输出和第三输出后设置相同的注意力模块，经过注意力模块处理后分别得到新第一输出、新第二输出和新第三输出；

采用非极大值抑制方法分别计算新第一输出、新第二输出和新第三输出的概率，选取概率值最大的输出作为改进Yolov3模型最终输出；

步骤5：将步骤1得到的缺陷图像集作为改进Yolov3模型的输入，将步骤3得到的缺陷标签图像集作为标签，对改进Yolov3模型进行训练，得到训练完成的改进Yolov3模型；

步骤6：将航空发动机叶片缺陷图像输入训练完成的改进Yolov3模型得到航空发动机叶片缺陷检测结果。

进一步地，所述注意力模块包括通道注意力模块和空间注意力模块两个并行模块；

所述通道注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再分别经过具有两层全连接层的隐藏层，最后将两个通道的激活值相加，经过Sigmoid函数后的得到一维的通道注意力特征图；

所述空间注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再经过全连接层，两个通道的向量进行维度联合，得到高维向量图之后，连接卷积层进一步提取特征，最后通过Sigmoid函数得到最终的空间注意力特征图。

进一步地，所述航空发动机缺陷图像集中能加入道路缺陷图像和钢材缺陷图像，扩充样本空间，增强检测模型的普适性。

进一步地，所述数据增强工作包括旋转、平移和改变亮度。

由于采用了本发明的一种基于卷积神经网络的航空发动机叶片缺陷检测方法，带来了如下有益效果：

1、本发明方法设计的基于注意力模块的特征提取机制，充分利用通道注意力和空间注意力来指导缺陷特征信息的传递，加强对特征向量中高权重特征的提取，提高特征语义的表达能力，切实有效的提高检测模型对于缺陷区域的感知能力，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度；

2、本发明方法设计的基于双三次插值的图像上采样方法，能够更多的保留缺陷特征信息，减弱多尺度特征图拼接时的信息丢失结果，增强图像上下文信息的整合效果，增强特征的语义表达能力，提高了缺陷的分类精度；

3、本发明提出的改进Yolov3神经网络检测模型具有良好的泛化性和普适性，可广泛应用于航空发动机叶片缺陷图像的高精度自动化检测以及其它实际场景。

附图说明

图1为本发明的航空发动机叶片缺陷检测改进Yolov3神经网络结构示意图，图1(a)为检测器结构示意图，图1(b)为残差模块结构示意图，图1(c)为卷积模块示意图。

图2为本发明采用的双三次插值与双线性插值对比图，图2(a)为双线性插值示意图，图2(b)为双三次插值示意图。

图3为本发明的注意力模块示意图，图3(a)为通道注意力模块示意图，图3(b)为空间注意力模块示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种基于卷积神经网络的航空发动机叶片缺陷检测方法，包括以下步骤：

步骤1：获取待检测的航空发动机叶片缺陷图像，构成缺陷图像集；

步骤2：对缺陷图像集中的每幅缺陷图像赋予一个标签，标签表示不同类型的缺陷；获取缺陷图像中每个缺陷的最小外接矩形的长宽值以及位置坐标；

步骤3：对缺陷图像集中的缺陷图像进行数据增强工作，得到缺陷标签图像集；

步骤4：构建改进Yolov3模型；

步骤4-1：对Yolov3模型中第97层的特征图进行上采样，再与第36层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第一输出；在上采样时将双线性插值方法更改为双三次插值方法；

对Yolov3模型中第85层的特征图进行上采样，再与第61层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第二输出；在上采样时将双线性插值方法更改为双三次插值方法；

将Yolov3模型主干网络的输出记为第三输出；

步骤4-2：分别在第一输出、第二输出和第三输出后设置相同的注意力模块，经过注意力模块处理后分别得到新第一输出、新第二输出和新第三输出；

采用非极大值抑制方法分别计算新第一输出、新第二输出和新第三输出的概率，选取概率值最大的输出作为改进Yolov3模型最终输出；

步骤5：将步骤1得到的缺陷图像集作为改进Yolov3模型的输入，将步骤3得到的缺陷标签图像集作为标签，对改进Yolov3模型进行训练，得到训练完成的改进Yolov3模型；

步骤6：将航空发动机叶片缺陷图像输入训练完成的改进Yolov3模型得到航空发动机叶片缺陷检测结果。

进一步地，所述注意力模块包括通道注意力模块和空间注意力模块两个并行模块；

所述通道注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再分别经过具有两层全连接层的隐藏层，最后将两个通道的激活值相加，经过Sigmoid函数后的得到一维的通道注意力特征图；

所述空间注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再经过全连接层，两个通道的向量进行维度联合，得到高维向量图之后，连接卷积层进一步提取特征，最后通过Sigmoid函数得到最终的空间注意力特征图。

进一步地，所述航空发动机缺陷图像集中能加入道路缺陷图像和钢材缺陷图像，扩充样本空间，增强检测模型的普适性。

进一步地，所述数据增强工作包括旋转、平移和改变亮度。

具体实施例：

理论研究表明，卷积神经网络在自动提取特征的过程中更偏向于像素变化较大的区域，通常浅层的卷积核用来检测低阶特征，如边、角、曲线等，而深层卷积核可将浅层的低阶特征进行组合，如半圆、四边形等。然而网络的层层迭代运算使得模型学习到物体的轮廓信息而逐渐忽略了纹理细节。因此，检测模型对于纹理细节的感知能力对检测结果势必存在一定的影响。

此外，预先实验结果表明，检测模型的召回率通常较低，在可视化的检测结果即表现为无法有效确定缺陷区域，模型通常无法实现正常检测或是在一条缺陷上存在多个检测框，这是由于检测模型存在边框损失较高和梯度消失的现象。因此，检测模型对于缺陷区域的聚焦能力对检测结果也会存在一定的影响。

综上所述，围绕航空发动机叶片的缺陷检测问题，需要解决的主要问题为以下两点：(1)如何有效提高检测模型对缺陷细节纹理特征的提取能力；(2)如何有效的提高检测模型对与图像中缺陷区域的聚焦能力。采取的措施如下：(1)提出在Yolov3的上采样结构中使用双三次插值，增强底层特征与深层特征的融合效果，提高检测模型的细节感知能力；(2)提出在Yolov3的主干网络中加入注意力机制，增强感兴趣区域的特征表现能力，降低背景噪声等无用信息对于检测结果的影响，提高检测模型的区域聚焦能力。

在图3中，设计基于卷积的注意力模块。通常，人类的视觉注意力机制能够聚焦于图像中感兴趣的区域；而深度学习中的注意力机制则是去除冗杂的信息，选择对当前目标更重要的信息。注意力机制可以有效学习输入数据或特征图上不同部分的权重分布，减少背景信息带来的影响，提高模型的识别能力和鲁棒性。比如，残差注意力网络利用残差机制构造网络，在引入注意力机制的同时保证了网络的深度。卷积注意力模块同时利用特征图的通道信息及空间信息，设计了一种注意力模块，能使模型聚焦于更有用的信息上，进一步增强了模型对图像的分类能力。本发明参考卷积注意力模块的双通道注意力机制设计了注意力模块，包括图像通道注意力模块，特征图会分别经过最大池化层和平均池化层两个通路，再分别经过具有两层全连接层的隐藏层，该隐藏层共享特征，最后将两个通道的激活值相加，经过Sigmiod函数后的得到一维的通道注意力图；和图像空间注意力模块，同样特征图会分别经过最大池化层和平均池化层两个通路，再经过共享特征的全连接层，与通道注意力模型不同的是，两个通路的向量会在维度上进行联合，再得到更高维的向量图之后，连接卷积层进行进一步的特征提取，通过Sigmoid函数得到最终的空间注意力图。

通道注意力机制和空间注意力机制可以表示为：

M

式中，F为特征图，σ为Sigmoid函数，

Yolov3的骨干网络为darknet-53，针对前代模型的不足，Yolov3极大提高模型对于小目标的检测准确率，小目标的检测往往需要更精细的感受视野来更好的显示目标特征。对于神经网络模型而言，模型的深层部分可以提取出图像中的抽象语义信息，而模型的浅层部分可以以滤波器的方式提取出图像的纹理、边缘等特征信息，对模型深层特征和浅层特征进行结合，往往可以构成一个更加准确的探测系统。Yolov3中采用了特征融合的策略，使高层特征与底层特征进行拼接。具体而言：分别对第97层和第85层的特征图进行了上采样，并分别与第36层和第61层的特征图进行拼接，得到了感受视野较大的两条检测通路，再加上网络主干直接输出的感受视野较小的检测通路，三条检测通路共同来完成检测任务。以此来保证模型对于多尺度变化的感知能力。Yolov3的三条检测通路中共进行了两次上采样，均使用了双线性插值方法，该方法是对具有两个变量插值函数的线形插值扩展，其核心思想是在两个方向分别进行一次线性插值：

式中，m

一般在图像运算时，该方法仅考虑了插值点周围四个直接相邻点的像素值影响，而未考虑到邻域间像素值的影响，因此该方法具有低通滤波器的性质，在上采样时导致放大后的图像高频分量受到损失，图像的边缘特征在一定程度上变得较为模糊，这会降低缺陷检测的准确率。因此，本发明在上采样过程中采取双三次插值的方法，该方法不仅考虑到了四个相邻点的像素值，还考虑到了邻域像素值变化的影响，可以取得较好的插值效果。

其中，a＝-0.5，p(x,y)为所求的插值结果。双三次插值方法使用源像素点最近的16个像素点作为参数，通过加权叠加，求得插值后的像素值。双三次插值方法会获得更有意义的语义信息，并从浅层的特性图中获得更细粒度的信息。双三次插值和双线性插值对比如图2所示。

如图1是航空发动机叶片缺陷检测的结构图。首选获取待检测水下建筑物图像数据并将图像数据统一尺度为416*416；然后将获取到的图像数据作为预先训练的Yolov3缺陷检测神经网络模型的输入，Yolov3缺陷检测神经网络模型对图像数据的感兴趣区域进行缺陷区域与非缺陷区域的分类，输出缺陷区域区别于非缺陷区域的缺陷检测结果图像。前述中的预先训练的缺陷检测神经网络模型的训练样本为已分别标注缺陷区域与非缺陷区域的航空发动机叶片缺陷图像，该缺陷检测神经网络模型包括卷积层模块、多尺度特征融合模块、图像特征图上采样模块、注意力机制模块以及损失函数计算模块，卷积层模块对神经网络的输入图像进行缺陷特征图提取，多尺度特征融合模块基于缺陷特征图进行多尺度特征提取，图像特征图上采样模块基于已提取的多尺度特征进行上采样，并将浅层特征图和深层特征图在同一尺度下进行拼接，生成多个缺陷检测结果，注意力机制模块自适应的提高特征向量中一定量的特征值前向计算的比重，该类特征值属于对于缺陷特征分类和检测结果贡献较大的特征值，损失函数计算模块基于训练样本的标注和多个缺陷检测结果确定缺陷检测神经网络模型的参数，使得缺陷检测神经网络模型能够针对待检测航空发动机叶片缺陷图像数据，输出相应的缺陷检测结果图像。利用多尺度特征可使得缺陷检测神经网络模型能够针对航空发动机叶片缺陷的多尺度特征进行缺陷识别，利用堆叠式全卷积网络能够实现对于不同检测图像环境的缺陷图像的训练和识别，利用注意力机制特征提取模块，充分结合通道注意力和空间注意力来指导缺陷特征信息的传递，加强对特征向量中高权重特征的提取，提高特征语义的表达能力，切实有效的提高检测模型对于缺陷区域的感知能力，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度；利用基于双三次插值的图像上采样方法，能够更多的保留缺陷特征信息，减弱多尺度特征图拼接时的信息丢失结果，增强图像上下文信息的整合效果，增强特征的语义表达能力，提高了缺陷的分类精度；从而使得缺陷检测神经网络模型能够更准确的识别缺陷并输出误差较小的缺陷图像。