基于特征融合注意力网络的机场跑道异物检测识别方法

技术领域

本发明涉及计算视觉与图像处理技术，特别是机场跑道异物检测识别方法。

背景技术

随着军民航机场领域的快速发展，对机场跑道的安全管理与防范变得越来越重要，跑道作为飞机起降的重要设施，是影响飞行安全的关键。目前跑道异物入侵事故频发，飞机、车辆等运动设施的散落零件，外来物品给机场跑道异物探测带来诸多挑战，因此研究基于光电图像的机场跑道异物检测识别具有重要研究意义。

目前机场跑道异物检测识别方法主要有基于纹理特征检测方法、基于机器学习的检测识别方法、基于深度学习网络的检测识别方法，但是由于异物存在样本量小、特征不显著、复杂天气变化等技术瓶颈，导致对异物检测识别存在大量漏检、误检，因此亟需研究新的算法能有效实现对机场环境下的跑道异物检测识别，重点解决以下关键问题：1)小尺度不显著目标特征提取问题；2)网络模型的泛化应用能力；3)目标定位置信度与精度问题。

发明内容

发明目的：针对当前神经网络算法对机场跑道异物目标的检测准确率不高，存在误检、漏检的问题，本发明提供一种基于特征融合注意力网络的机场跑道异物检测识别方法，可提升对跑道异物目标的检出率，降低漏检率。

技术方案：

本发明设计了一种基于特征融合注意力网络的机场跑道异物检测识别方法。本发明技术方案的实施步骤包括：

步骤1，构建多尺度卷积神经网络模型，主要包括特征融合组件和注意力组件；

步骤2，构建多尺度卷积神经网络模型的特征融合组件；

步骤3，构建多尺度卷积神经网络模型的注意力组件；

步骤4，利用损失函数训练得到多尺度目标检测网络模型，并实现对机场跑道待测试图像集进行目标检测识别，提取得到机场跑道异物目标信息。

步骤1所述多尺度卷积神经网络模型，主干网络通过增加卷积层来获取不同分辨率的目标特征图，主要为核38×38(Conv4_3)卷积层、核19×19(Conv7)卷积层、核10×10(Conv8_2)卷积层、核5×5(Conv9_2)卷积层、核3×3(Conv10_2)卷积层、核1×1(Conv11_2)卷积层，最后通过一个附加的卷积层来匹配输出通道。为精准提取跑道异物目标的纹理特征、形状特征、语义特征等浅层特征图，多尺度卷积神经网络模型在Conv4_3、Conv7层分别构建了注意力组件，并且将构建后的Conv4_3、Conv7、Conv8_2与Conv7、Conv8_2、Conv9_2层分别进行特征融合。

步骤2所述多尺度卷积神经网络模型的特征融合组件由反卷积层、归一化层和激活函数组成。反卷积层采用核为3、步长为1、填充为1的反卷积；归一化层对每一层进行批量归一化；激活函数采用线性激活函数ReLU函数。

对含有上下文信息的目标特征图进行反卷积操作，并将上下文特征通道数设置为目标特征的一半，对每一层进行批量归一化和ReLU操作，最后通过对目标特征图和上下文特征图进行连接操作，实现了目标特征和上下文特征的融合。所述目标特征图为多尺度卷积神经网络模型中conv4_3层，上下文特征为多尺度卷积神经网络模型中conv7_2、conv8_2两层。步骤3所述多尺度卷积神经网络模型的注意力组件具有两个分支，第一路包含核为1的卷积层和一个残差模块；第二路利用残差连接执行下采样和上采样来输出注意力图，然后利用sigmod函数激活。将来自第一路分支的注意图与第二路分支的输出相乘，产生注意力特征图，将特征图经过残差模块、归一化和ReLU函数激活。

所述残差模块由批归一化层、ReLU激活函数、核为1的卷积层组成。分别在多尺度卷积神经网络模型中conv4_3层和conv7层之后放置了注意力组件。步骤4所述损失函数Loss(x,c,l,g)具体为：

其中：L

置信度损失是在多类别置信度上的softmax loss。其中i指代搜索框序号；j指代真实框序号；p指代类别序号；p＝0表示背景；

其中，l为先验框的所对应边界框的位置预测值；g为ground truth的位置参数；(cx,xy)为补偿(regress to offsets)后的默认框d的中心；(w,h)为默认框的宽和高；使用smooth

其中x

有益效果：本发明中提出了基于特征融合注意力多尺度卷积神经网络，在相关层构建了特征融合和注意力组件，通过特征融合获得不同层次上下文信息，通过注意力组件获取目标层的上下文信息，与传统的卷积神经网络相比，实现特征信息与上下文信息的有机融合，提升对小目标深层语义信息特征与非显著目标浅层特征表达，特别是对小目标的检测检测精度有了显著提高，增强了对复杂机场跑道异物目标检测识别能力。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1a是本发明多尺度卷积神经网络模型示意图。

图1b是本发明多尺度卷积神经网络特征融合组件模型示意图。

图1c是本发明多尺度卷积神经网络模型注意力组件示意图。

图2a是本发明识别机场跑道异物效果图。

图2b是图2a的局部放大图。

具体实施方式

本发明提供了一种基于卷积神经网络模型的目标检测识别方法，包括：

(1)如图1a所示，构建多尺度主干卷积网络，主干网络通过增加卷积层来获取不同分辨率的目标特征图，主要为核38×38(Conv4_3)卷积层、核19×19(Conv7)卷积层、核10×10(Conv8_2)卷积层、核5×5(Conv9_2)卷积层、核3×3(Conv10_2)卷积层、核1×1(Conv11_2)卷积层，最后通过一个附加的卷积层来匹配输出通道。多尺度卷积神经网络模型在Conv4_3、Conv7层分别构建了注意力组件，并且将构建后的Conv4_3、Conv7、Conv8_2与Conv7、Conv8_2、Conv9_2层分别进行特征融合。

(2)如图1b所示，多尺度卷积神经网络模型的特征融合组件由反卷积层、归一化层和激活函数组成。反卷积层采用核为3、步长为1、填充为1的反卷积；归一化层对每一层进行批量归一化；激活函数采用线性激活函数ReLU函数。对含有上下文信息的目标特征图进行反卷积操作，并将上下文特征通道数设置为目标特征的一半，对每一层进行批量归一化和ReLU操作，最后通过对目标特征图和上下文特征图进行连接操作，实现了目标特征和上下文特征的融合。所述目标特征图为多尺度卷积神经网络模型中conv4_3层，上下文特征为多尺度卷积神经网络模型中conv7_2、conv8_2两层。

(3)如图1c所示，多尺度卷积神经网络模型的注意力组件具有两个分支，第一路包含核为1的卷积层和一个残差模块；第二路利用残差连接执行下采样和上采样来输出注意力图，然后利用sigmod函数激活。将来自第一路分支的注意图与第二路分支的输出相乘，产生注意力特征图，将特征图经过残差模块、归一化和ReLU函数激活。所述残差模块由批归一化层、ReLU激活函数、核为1的卷积层组成。分别在多尺度卷积神经网络模型中conv4_3层和conv7层之后放置了注意力组件。

(4)利用损失函数训练得到多尺度目标检测网络模型，对机场跑道异物样本集16500张，采用80％作为训练集，20％用于测试，输入图像大小为416*416，权值衰减为0.0005作为优化，批尺度参数为128，学习率设置为0.00001，在初始学习率低于0.001条件下，先训练迭代3000次，生成初始模型；然后在学习率0.00001条件下，继续训练迭代3000次，生成最终模型。根据最终测模型实现对待测试图像集进行目标检测识别，提取得到机场跑道异物目标信息，采用本发明方法测试验证跑道异物检测识别正确率达到95.4％，大幅超过同类传统算法(YOLOV4识别正确率达到87.6％，SSD识别正确率达到86.2％)识别正确率。如图2a和图2b所示。

本发明提供了一种卷积神经网络模型的目标检测识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。