一种基于多尺度正负样本挑选的目标检测方法

技术领域

本发明涉及基于深度学习的目标检测技术，特别涉及对于目标检测任务的正负样本挑选技术。

背景技术

基于深度学习的目标检测任务作为计算机视觉的不可或缺的基础性任务，已经取得了很多阶段性的重要成果，并广泛应用于智能监控、航空航天、无人驾驶等多个领域。目标检测任务又可以细分为两个子任务：目标的分类和目标的定位。其目标是对于给定一张图像，系统需要输出图像中所有感兴趣目标的类别及其所属的位置。而如何为每个子任务划分合适的正负样本对目标检测的任务精度起着重要的作用。

通常来说，图像通过由RESNET+FPN组成的骨干网络之后，得到多种尺度下的预测特征谱及其对应的候选锚点框，然后在对锚点框进行正负样本的划分之后继续送入后续的子网络中，得到最终预测结果。对于正负样本划分的问题，在不同算法框架中有着不同的解决办法。目前最主流的方式是首先对所有候选锚点框计算IoU，然后选定超过了超参数阈值的锚点框为正样本，反之为负样本。

现有的目标检测方法对于正负样本的划分方法均缺乏了对于目标尺度的思考，将不同尺度特征谱上生成的候选锚点框都统一地看待。但是实际上，不同尺度特征谱上含有的信息侧重不同。比如，高尺度的特征谱分辨率较低，但感受野较大，含有更多的语义信息而缺少细节信息；低尺度的特征谱反之。对于一个检测对象而言，其尺寸大小固定，若在过高的特征谱上去选取候选框进行训练，其细节信息会过多丢失；而如果选择过低的特征谱上的候选框进行训练，也会因为语义信息的丢失而使得对象检测效果变差。

发明内容

本发明所要解决的技术问题是，针对不同尺度下特征谱含有的信息的特点，提供一种考虑先为检测的目标选择合适的尺度上进行正负样本挑选，并且为了避免特征谱信息丢失，进一步提出了基于注意力机制对多尺度的特征谱进行融合加强的策略的目标检测方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于多尺度正负样本挑选的目标检测方法，训练过程包括以下步骤1-步骤6实现：

步骤1：将待训练集的图像及其真实的标注框输入基于候选区域与卷积神经网络R-CNN的主干网络，主干网络输出不同尺度下的预测特征谱；

步骤2：将每一层的预测特征谱通过平均池化完成下采样，使其统一大小到与最高层特征谱相同大小，再将所有的层的预测特征谱相加得到中间特征；

步骤3：使用注意力机制对中间特征的每个通道进行打分，并使用该得分对原中间特征的各个通道维度进行加权，得到最终的中间特征谱；

步骤4：将最终的中间特征谱进行上采样后与各层的预测特征谱相加得到各层的融合加强特征谱；

步骤5：将各层的融合加强特征谱分别输入至目标检测头，目标检测头先预测的锚点框，再计算预测的锚点框和真实的标注框的交并比IoU，并选择IoU最大的k个锚点框，计算这k个锚点框的IoU均值作为该层的特征谱的尺度值；k为预设个数；对所有层的特征谱的尺度值的均值作为尺度选择阈值，将特征谱的尺度值大于等于尺度选择阈值的层的IoU最大的k个锚点框设置为正样本，其余预测的锚点框设置为负样本；

步骤6：将正样本和负样本一起输入至分类分支，将正样本输入至回归分支；分类分支用于输出目标的类别，回归分支用于输出目标所在矩形框的位置坐标；

训练完成后，将待检测的图像输入主干网络得到不同尺度下的预测特征谱，再通过步骤2-4的处理得到不同尺度下的融合加强特征谱，将融合加强特征谱输入目标检测头的分类分支和回归分支，分类分支和回归分支分别输出目标的类别以及位置坐标完成目标检测。

本发明的有益效果是，使用了一种自适应的策略，结合不同尺度下的特征谱特点，优化了现有的基于深度学习的目标检测任务的正负样本挑选策略，并且通过使用注意力机制对多尺度特征进行融合加强的操作，进一步提升了目标检测任务的准确度

附图说明

图1：为实施例总体流程图。

图2：为多尺度特征融合加强示意图。

具体实施方式

本发明在HM9.0实验平台上进行实现，如图1所示目标检测的训练步骤主要包括：

主干网络backbone输出多尺度特征谱步骤、生成加强后的中间特征谱步骤、生成多尺度融合加强特征谱步骤、在检测头Detection head中进行的多尺度正负样本挑选步骤和分类分支与回归分支训练步骤。主干网络backbone采用ResNet50-FPN结构。

其中，主干网络backbone输出多尺度特征谱步骤、生成加强后的中间特征谱步骤、生成多尺度融合加强特征谱步骤的具体实现如图2所示；

主干网络backbone输出多尺度特征谱步骤：将输入图像及其真实标注通过ResNet50-FPN网络，提取到不同尺度下的特征谱及其对应的预测锚点框；

生成加强后的中间特征谱步骤：对于所有尺度下的特征谱分别进行下采样，统一为与最小尺度特征谱同样的大小；将下采样之后的特征谱相加后得到粗略的中间特征谱f

生成多尺度融合加强特征谱步骤：将f

多尺度正负样本挑选步骤：目标检测头Detection head接收各层的融合加强特征谱，并输出各预测的锚点框，检测头中的多尺度正负样本挑选模块计算预测的锚点框和真实的标注框的交并比IoU，并选择IoU最大的k个锚点框，计算这k个锚点框的IoU均值作为该层的特征谱的尺度值；k为预设个数；对所有层的特征谱的尺度值的均值作为尺度选择阈值，将特征谱的尺度值大于等于尺度选择阈值的层的IoU最大的k个锚点框设置为正样本，其余预测的锚点框设置为负样本；

多尺度正负样本挑选步骤具体方如下：

1.建立一个临时正样本空集P；

2.对于第i层的特征谱，i的取值范围为[1,L]，L为多尺度数量，即层数：

首先计算每一个预测锚点框与真实标注框的IoU值，其具体计算方式为：

其中，bbox

再选择k个最大的IoU并计算他们的均值m

3.计算尺度选择阈值m

其中L为多尺度数量，FPN网络一般为5。

4.对于m

分类分支与回归分支训练步骤：检测头将正样本和负样本一起输入至分类分支进行训练，将正样本输入至回归分支进行训练；

分类分支用于输出目标的类别，回归分支用于输出目标所在矩形框的位置坐标，即输出最终的目标检测预测结果。

训练完成后，不再使用检测头中的多尺度正负样本挑选模块。将待检测的图像输入主干网络得到不同尺度下的预测特征谱，再通过步骤2-4的处理得到不同尺度下的融合加强特征谱，将融合加强特征谱直接输入目标检测头的分类分支和回归分支，分类分支和回归分支分别输出目标的类别以及位置坐标完成目标检测。

本发明在Pascal VOC数据集进行了消融实验，若单独使用多尺度特征融合步骤可以在基础网络上得到1.4％的精度提升；若单独使用步骤四中的正负样本挑选策略可以得到1.1％的精度提升；而同时应用两个模块可以得到1.9％的精度提升，如下表所示。实验证明，本发明有效改进了现有的目标检测任务，提升了网络的性能。

/>