一种基于神经网络覆盖率的飞行器目标识别方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于神经网络覆盖率的飞行器目标识别方法。

背景技术

当前人工智能技术在航空领域应用非常广泛，例如帮助智能飞行器进行目标检测、智能决策和航空发动机故障预测和健康管理。其中，目标检测的目的主要是对采集到的图像数据进行定位和分类，检测的结果是飞行器进行智能决策的依据，检测结果的精度直接影响甚至决定航空飞行器的可靠性和稳定性。

围绕着如何提高目标检测的精度，研究者开展了广泛的研究。按照是否需要提前生成候选框，当前的研究主要分为两阶段的方法和一阶段的方法。两阶段的方法主要包括RCNN、Fast-RCNN、Faster-RCNN等；一阶段的方法包括YOLO系列方法。

两阶段目标检测方法：这类方法主要包括两个阶段，即候选框生成和预测结果生成。以RCNN为例，在候选框生成阶段，利用选择性搜索算法，根据图片中像素的颜色、纹理等方面的特征的相似性对它们进行聚类后生成像素块。基于像素块，经过多次迭代生成候选框。预测结果生成阶段主要为了生成分类结果和定位框结果，具体做法是基于卷积神经网络提取的特征，利用支持向量机和线性回归预测分类结果和定位框结果。

一阶段目标检测方法：这类方法不需要预先生成候选框，而是用神经网络直接生成分类结果和定位框。首先利用卷积核把图像分为特征图，然后直接基于锚框构建深度网络，生成预测定位框和分类结果。为了缓解机器学习的过拟合问题，在此基础上，YOLO系列模型中加入了一些改进措施，例如采用Dropout模型正则化技术。Dropout是指丢弃神经网络中隐藏或者可见的单元。具体做法是随机从网络中移除一些神经元，以及它的所有传入和传出连接。

现有的存在的技术检测目标的效率和准确率仍然有待提高。两阶段目标检测方法和一阶段的方法存在如下局限性。

两阶段目标检测方法：由于这类方法需要生成大量的候选框，时间成本较大，难以满足航空场景中实时目标检测任务的要求。事实上，对于RCNN，该方法不仅需要生成多个候选框，而且在分类过程中，需要把多分类问题转换成多个二分类问题，训练多个分类器，这些设置进一步增大这类方法的时间成本。对于Fast-RCNN和Faster-RCNN，虽然在分类过程中使用了神经网络直接进行多分类。但是仍然难以缓解生成大量候选框带来大量时间延迟的问题，使得这类方法难以实现轻量化部署。

一阶段目标检测方法：为了降低目标识别运行时间成本的同时提高目标检测模型的识别精度。一方面，YOLO系列方法采用固定锚框，降低了两阶段方法生成候选框所消耗的时间成本。另一方面，采用了正则化技术例如Dropout和DropBlock，该技术随机删除深度神经网络中的一些神经元和卷积模块，以减小目标检测模型的复杂程度，从而缓解航空领域数据稀疏引起的过拟合问题。

然而，随机剪枝容易删除一些激活程度较高的神经元，降低模型的性能表现，最终导致模型在应用过程中难以对目标的类别和位置进行精准的甄别。在PASCAL VOC数据集(包含飞机、鸟和汽车等20种类别的图片数据)上进行训练和测试，尽管YOLO的识别速度相比Fast R-CNN有所提升，但是其识别错误率将近是Fast R-CNN的三倍。因此，如何根据模型神经元的激活程度对航空目标检测模型进行剪枝以提高识别准确率是亟待解决的重要问题。

发明内容

为了更好地解决上述问题，发明了一种基于神经网络覆盖率的飞行器目标识别方法，该方法可以有效地均衡航空目标检测任务对效率和性能的需求。

本发明技术方案：一种基于神经网络覆盖率的航空领域目标识别方法，包括以下步骤：

步骤1，构建训练数据集。首先进行航空图像数据收集，然后进行数据清洗和数据标注，建立训练集；

步骤2，基于上一步构建的训练集对基于深度神经网络的目标识别模型进行训练:根据神经网络覆盖率设置隐藏概率p，然后利用反向传播Adam求解目标识别模型参数；

步骤3，基于上一步求解得到的目标识别模型参数，即深度神经网络中的权重，利用正向传播求解神经网络覆盖率，为第二步的目标识别模型训练提供优化方案，步骤2和步骤3经过选代达到限定的次数后，将步骤2训练的目标识别模型跳转到步骤4；

步骤4，利用训练好的基于深度神经网络的目标识别模型，对新的航空图像数据进行自动化的目标检测

所述步骤2目标识别模型训练是利用训练集对模型参数进行求解，分为多轮进行。

所述目标识别模型参数是深度神经网络神经元之间的链接的权重值。

所述步骤2具体为：

步骤1，在模型训练阶段的某个Epoch，随机以隐藏概率p对深度神经网络的神经元临时隐藏。

步骤2，把航空图像x

步骤3，对步骤1临时隐藏的神经元进行恢复，在进行步骤1和步骤2，得到目标识别模型参数。

所述步骤3神经网络覆盖率求解方法：在某个Epoch，根据所有输入的激活神经无数量与深度神经网络中神经元总数的比率计算神经网络覆盖率。

所述激活神经元数量的判定方法：如果神经元输出的绝对值大于某个阈值，则认为该神经元被激活。

所述神经网络覆盖率定义为所有输入的唯一激活神经元数量与深度神经网终中神经元总数的比率。

所述航空图像数据是通过机载可见光摄像头收集的图片。

本发明有益效果：

本发明不同于现有的目标检测方法仅包含机器学习到模型测试的单向通路，本发明提出一种“智能测试+机器学习”闭环。在智能测试方面，可以通过分析目标检测模型的测试结果，打开深度神经网络的黑盒子，为基于机器学习的目标检测模型优化提供可解释性方案；在机器学习方面，可以根据智能测试测结果对基于深度神经网络的检测模型的神经元和神经元之间的连接进行剪枝(Dropout)，自适应调整模型的结构，以优化目标检测的精度，同时加快“智能测试+机器学习”闭环收敛。

在智能测试阶段，不同于一阶段的目标检测方法，本发明涉及一种基于神经网络覆盖率的智能测试方法，该方法利用神经网络覆盖率量化了深度神经网络的激活程度，基于模型的激活程度对深度神经网络进行模型测试，为基于深度神经网络的目标识别模型的进一步改性能优化提供了具有可解释性的方案。

在机器学习阶段，不同于两阶段目标检测方法，本发明涉及一种高效的端对端(End to End)机器学习框架，可直接利用采集的航空图像数据对模型进行训练，无需基于图像数据生成候选框，这种做法降低了目标识别模型训练的时间成本，通过反向传播和参数微调可以高效地获取可应用于航空图像检测任务的智能模型，以满足航空领域对任务执行的高实时性和强机动性的需求。

附图说明

图1为本发明的“智能测试+机器学习”闭环整体结构图；

图2为本发明中神经网络的剪枝示意图；

图3为本发明的神经元前向传播求神经网络覆盖率的示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提出一种基于神经网络覆盖率的飞行器目标识别方法,如图1所示，包括四个步骤：

步骤1，构建训练数据集。该步骤包含航空图像数据收集、数据清洗和数据标注三个步骤。其中数据标注可以利用LabelImage等标注工具。步骤2，基于上一步构建的训练集训练目标识别模型，例如YOLO系列模型。根据经验设置超参数Dropout，然后利用反向传播Adam求解目标检测模型参数。步骤3，基于上一步求解得到的模型参数，即深度神经网络中的权重，利用正向传播求解神经网络覆盖率，为第二步的目标检测模型训练提供优化方案。步骤4，完成模型训练后，利用训练好的目标检测预测模型，对新的航空图像数据进行自动化的目标检测。

由此可知，该方法需要考虑输入、输出、目标检测模型的训练和测试。其中，该方法的输入是采集的航空图像数据，这些数据可以通过机载可见光摄像头来收集；该方法的输出是训练好的目标检测模型以及完成检测的航空图像数据；该方法的核心是目标检测模型的训练和测试，下面将着重介绍。

目标检测模型的训练模块主要负责利用训练集对模型参数进行求解，分为多轮进行。随着训练轮数的增加，模型的对于数据的拟合程度逐步增强。目标识别模型的训练主要分为以下几步。

首先定义一些符号，对于某个Epoch，令k∈{1，...，K}表示某一层网络的索引号，l∈{1，...，L}表示输入航空图像的索引号，v

(1)在模型训练阶段的某个Epoch，如图2所示首先对于任意层k的第i个神经元，随机以p的概率临时隐藏掉该神经元。

其中

(2)把航空图像x

其中，f表示激活函数，对于任何层k，

(3)然后，重复以下过程：

a)对临时隐藏的神经元进行恢复，这些被恢复的神经元的参数保持不变，未被隐藏的神经元参数已经得到了更新；

b)在下一个Epoch从第k个隐藏层，神经元中以p的概率隐藏掉神经网络中的神经元；

c)对一个批次的航空图像，先前向传播求损失函数，然后反向传播求梯度，并根据随机梯度下降法更新没有被删除的那一部分神经元对应的参数，被隐藏的神经元参数保持不变。

重复步骤(1)、(2)和(3)。

目标检测模型的测试模块主要负责测试某个Epoch训练目标检测模型，根据测试结果为模型的测试制定优化方案，本文基于神经网络模型的神经网络覆盖率对模型进行测试。

测试过程是分多个Epoch进行的。在某个Epoch，将深度神经网络的神经网络覆盖率定义为所有输入的唯一激活神经元数量与深度神经网络中神经元总数的比率。在前向传播的过程中，如果神经元的输出的绝对值大于某个阈值(例如，0.5)则认为该神经元被激活。

其中I(x，y)为指示函数x＞y，则I(x，y)＝1，反之为0。

测试阶段主要分为两步：

1.首先对于给定的航空图像数据集合

2.根据深度神经网络覆盖率计算网络剪枝的概率p。

3.根据概率p按照公式(1)可对神经网络的参数进行调整。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。