一种基于候选框特征修正的遥感图像目标检测方法及系统

技术领域

本发明涉及遥感目标检测领域，特别是涉及一种基于候选框特征修正的遥感图像目标检测方法及系统。

背景技术

遥感图像中的船、飞机等目标通常可以传达出非常有价值的语义信息，因此，遥感图像的目标检测在计算机视觉领域引起了越来越多的关注。以前的工作中利用滑动窗口或具有手工特征设计的组件占据主导地位，这种方法将任务划分为一系列独特的步骤充分利用自底向上的策略对目标进行搜索，尽管这些方法已显示出较好的性能，但由于遥感场景实例的多样性和较差的图像质量，这些方法的使用会受到限制。随着深度学习技术在自然场景目标检测领域的快速发展，遥感图像的目标检测纳入了通用的目标检测框架。这些目标检测框架可以分为两大类：基于proposal驱动的two-stage方法，和基于proposal-free的one-stage方法。虽然two-stage的方法目前在各类公开数据集上有着更高的准确率，但是one-stage的方法在速度与精度上具有更好的平衡。

two-stage检测方法可以通过proposal和regionpooling操作对在任何位置出现的具有任何形状的目标进行分类。而one-stage检测方法则严重依赖高密度的候选框去覆盖目标所在的区域，尤其是在遥感场景中，通常采用的实现高覆盖率的方法是使用多种尺度和宽高比的候选框。例如，TextBoxes++基于SSD检测网络定义了7种特定的宽高比(包括1、2、3、5，1/2、1/3和1/5)的候选框。DMPNet添加了几个旋转框，合计12个(6个常规和6个倾斜)用以完全覆盖任意方向的目标。DeepTextSpotter跟着YOLOv2利用训练集上的k均值聚类(k＝14)框以自动找到合适的候选框，而不是手动设计候选框。

以上检测网络的候选框设计方法会带来三个问题：首先，必须针对不同的检测物体的外观预先定义候选框的形状和尺度，一旦设计错误会对检测性能造成极大的损害。第二，大量的候选框会消耗较高的计算成本，尤其是当检测网络的分类层和回归层有较多参数的时候该现象更为明显。第三，大量anchor的生成通常需要花费较多的时间。因此，在遥感图像的目标检测任务中，为了能更加准确的定位目标，现有的基于候选框特征提取的one-stage检测方法是在每个空间位置上，充分预设多个候选框从而覆盖住待检测目标，然而这会造成one-stage检测方法计算复杂度的大幅提升。

发明内容

本发明的目的是提供一种基于候选框特征修正的遥感图像目标检测方法及系统，以解决现有的遥感图像的目标检测方法计算复杂度大的问题。

为实现上述目的，本发明提供了如下方案：

一种基于候选框特征修正的遥感图像目标检测方法，包括：

获取one-stage检测网络中的遥感图像内所有候选框，并从所述候选框中筛选出覆盖有待检测目标的候选框；

对所述覆盖有待检测目标的候选框的尺寸进行修正，确定修正后的候选框，以使得所述修正后的候选框全面覆盖所述遥感图像中的待检测目标；

利用旋转框回归操作调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框；

利用focal loss确定所述调整后的候选框所覆盖的待检测目标的类型；所述待检测目标的类型包括舰船、飞机以及车辆。

可选的，所述获取one-stage检测网络中的遥感图像内所有候选框，并从所述候选框中筛选出覆盖有待检测目标的候选框，具体包括：

利用

可选的，修正所述覆盖有待检测目标的候选框的尺寸的修正损失函数为：

可选的，所述利用旋转框回归操作调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框，具体包括：

获取修正后的候选框的位置参数以及待检测目标真值位置参数；所述修正后的候选框的位置参数包括候选框横坐标、候选框纵坐标、候选框宽度、候选框高度以及候选框的旋转角度；所述待检测目标真值位置参数包括待检测目标真值横坐标、待检测目标真值纵坐标、待检测目标真值宽度、待检测目标真值高度以及待检测目标真值旋转角度；

根据所述修正后的候选框的位置参数以及所述待检测目标真值位置参数确定距离向量；所述距离向量包括横坐标调整值、纵坐标调整值、宽度调整值、高度调整值以及旋转角度调整值；

根据所述距离向量调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框。

可选的，所述根据所述修正后的候选框的位置参数以及所述待检测目标真值位置参数确定距离向量，具体包括：

利用公式δ

利用公式δ

利用公式δ

利用公式δ

利用公式δ

可选的，所述旋转框回归操作的损失函数为：

可选的，所述利用focal loss确定所述调整后的候选框所覆盖的待检测目标的类型中的分类损失函数为：

L

一种基于候选框特征修正的遥感图像目标检测系统，包括：

筛选模块，用于获取one-stage检测网络中的遥感图像内所有候选框，并从所述候选框中筛选出覆盖有待检测目标的候选框；

修正模块，用于对所述覆盖有待检测目标的候选框的尺寸进行修正，确定修正后的候选框，以使得所述修正后的候选框全面覆盖所述遥感图像中的待检测目标；

调整模块，用于利用旋转框回归操作调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框；

类型确定模块，用于利用focal loss确定所述调整后的候选框所覆盖的待检测目标的类型；所述待检测目标的类型包括舰船、飞机以及车辆。

可选的，所述筛选模块具体包括：

筛选单元，用于利用

可选的，修正所述覆盖有待检测目标的候选框的尺寸的修正损失函数为：

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于候选框特征修正的遥感图像目标检测方法及系统，遥感图像的每个位置仅预设一个候选框，先调整该候选框的尺寸，使得该候选框完全覆盖待检测目标，再通过旋转框回归操作进行特征修正，将修正后的候选框替换掉原始的框，最后由one-stage检测方法的分类层和回归层分别进行识别和定位，无需多个候选框同时覆盖待检测目标，降低了计算复杂度，提高了待检测目标的检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于候选框特征修正的遥感图像目标检测方法流程图；

图2为本发明所提供的候选框示意图；

图3为本发明所提供的现有技术中通用检测方法对比图；图3(a)为one-stage检测方法流程图；图3(b)为two-stage检测方法流程图；

图4为本发明所提供的基于候选框特征修正的遥感图像目标检测系统结构图；

图5为本发明所提供的dota数据集飞机检测结果示意图；

图6为本发明所提供的HRSC2016数据集检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于候选框特征修正的遥感图像目标检测方法及系统，能够降低计算复杂度，提高待检测目标的检测效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的基于候选框特征修正的遥感图像目标检测方法流程图，如图1所示，一种基于候选框特征修正的遥感图像目标检测方法，包括：

步骤101：获取one-stage检测网络中的遥感图像内所有候选框，并从所述候选框中筛选出覆盖有待检测目标的候选框。

所述步骤101具体包括：利用

通常情况下，one-stage检测网络需要从数千个候选框中搜索到正样本框，并调整位置和形状，使搜索出正样本框比较困难。在实际算法中，通常采用groundtruth和候选框IoU值快速配对的方式去解决该问题。在正框回归中，如下公式经常用于筛选正样本：

但是该式中的IoU计算方式并不适合旋转框回归任务。

同时由于原始的anchor往往是由人为预设固定的长宽比和尺度得到的，这些参数往往不是最优的。而在two-stage的检测网络中，候选区域都是通过网络学习得到的，它不仅减少了网络的搜索空间，还优化了候选区域的特征。受到该方法的启发，在回归层的前面添加一个候选区位置修正模块，通过学习对候选框进行修正后，再将修正后的anchor送入到分类和回归层。

anchor的一个重要设计原则就是anchor的中心与待检测目标的中心对齐，因此可以仅修正位置参数(δw，δh，δθ)。修正损失定义如下：

通过在各种公开数据集上的评估，发现与未修正前相比，目标的覆盖程度有了较大范围的提升。整个网络总的损失函数为：

L＝λ

在具体的实验操作过程中，λ

步骤102：对所述覆盖有待检测目标的候选框的尺寸进行修正，确定修正后的候选框，以使得所述修正后的候选框全面覆盖所述遥感图像中的待检测目标。

所述步骤102具体包括：获取修正后的候选框的位置参数以及待检测目标真值位置参数；所述修正后的候选框的位置参数包括候选框横坐标、候选框纵坐标、候选框宽度、候选框高度以及候选框的旋转角度；所述待检测目标真值位置参数包括待检测目标真值横坐标、待检测目标真值纵坐标、待检测目标真值宽度、待检测目标真值高度以及待检测目标真值旋转角度；根据所述修正后的候选框的位置参数以及所述待检测目标真值位置参数确定距离向量；所述距离向量包括横坐标调整值、纵坐标调整值、宽度调整值、高度调整值以及旋转角度调整值；根据所述距离向量调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框。

步骤103：利用旋转框回归操作调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框。

在遥感图像中，大量目标如舰船、飞机、车辆等往往多方向密集并排停靠。使用矩形框回归会产生大量的背景噪声以及会框选到多余目标导致网络的检测性能受到极大损失，如图2所示，候选框会框选到除船体之外的多余噪声。

因此，本发明采用旋转矩形框去覆盖遥感场景的各种目标。每一个旋转框由一个五维的向量进行描述。x，y代表中心点，w，h代表宽高，θ代表矩形的旋转角度。旋转框回归操作的目标将含有待检测目标的候选框的位置回归到与它最近的位置真值groundtruth。为了保证回归过程中的尺度不变性和平移不变性，距离向量Δ＝(δx，δy，δw，δh，δθ)定义如下：

δ

δ

δ

δ

δ

其中，b，g分别代表候选框和ground-truth，δ

同时回归层的损失函数定义如下：

L

步骤104：利用focal loss确定所述调整后的候选框所覆盖的待检测目标的类型；所述待检测目标的类型包括舰船、飞机以及车辆。

在one-stage目标检测方法中，OverFeat是第一个基于深度神经网络的one-stage目标检测器，近年来研究者提出的SSD和YOLOv2重新引起了人们对one-stage方法的兴趣，它们的关键思想是在特征图每个位置的正中央的预定义候选框，并根据这些预定义框出最终预测。

如图3(a)所示，它的基本结构是基于全图的特征抽取的骨干网络，和两个并行的子网络。其中一个子网络用来预测每个候选框的类别概率分布，另外一个用预测每个候选框离最近的groundtruth的位置偏移量。

与two-stage的R-CNN系列(图3(b))相比，one-stage方法会跳过候选区域提取步骤直接基于原始的候选框给出最终预测。然而，它的检测精度通常落后于two-stage的方法，主要原因之一是one-stage检测网络必须处理在整个图像进行采样的大量背景候选框，因此one-stage会遇到前景与背景类别不平衡的问题，并最终影响到模型的性能。所以在本文所提的方法中采用focal loss(FL)来解决类别不平衡问题。FL是从CE损失函数修改完成的。其中CE损失函数如下

在上述表达式中y＝1代表样本的标签类别真值ground-truth。p是在[0，1]区间的概率值，p

令CE(p，y)＝-log(p

L

其中，L

图4为本发明所提供的基于候选框特征修正的遥感图像目标检测系统结构图，如图4所示，一种基于候选框特征修正的遥感图像目标检测系统，包括：

筛选模块401，用于获取one-stage检测网络中的遥感图像内所有候选框，并从所述候选框中筛选出覆盖有待检测目标的候选框。

所述筛选模块401具体包括：筛选单元，用于利用

修正模块402，用于对所述覆盖有待检测目标的候选框的尺寸进行修正，确定修正后的候选框，以使得所述修正后的候选框全面覆盖所述遥感图像中的待检测目标。

修正所述覆盖有待检测目标的候选框的尺寸的修正损失函数为：

调整模块403，用于利用旋转框回归操作调整所述修改后的候选框的位置，使得所述修正后的候选框的位置回归至与所述修正后的候选框所覆盖的待检测目标对应的待检测目标真值位置处，确定调整后的候选框。

类型确定模块404，用于利用focal loss确定所述调整后的候选框所覆盖的待检测目标的类型；所述待检测目标的类型包括舰船、飞机以及车辆。

本发明所提供的方法及系统采用RetinaNet作为检测网络的基本结构，在DOTA数据集上飞机的检测率可达96.8％，虚警率6.7％，mAP值达0.87，并且具有完全的实时结果，超过了SSD、YOLOv3等所有基于候选框特征提取的的遥感图像检测方法。本发明巧妙的避开了候选框的宽高比和尺度的先验设计，因此，本发明很容易应用于其它类似的检测任务中，即插即用具有很强的任务适应性。

下面以具体实验阐述本发明的技术方案：

实验细节：

网络的主干结构是在imagenet数据集上充分预训练，网络是用Adam优化器训练。由于硬件资源的限制，batchsize设置为4，学习率初始值设置为1e-4。随机从SynthText中选取100000张图像做5epochs的预训练，然后在DOTA数据集上微调25个epochs。在微调15个epochs后将学习率设置为1e-5。训练过程中随机从480～800的范围内改变输入图像的尺寸，同时采用随机翻转对数据进行增强。

为了更多的获取含有目标的候选区域，在特征修正阶段，将IoU值设置为0.3。在前向测试阶段置信度值设置为0.3，做NMS时的阈值设置为0.3。整个目标检测算法由pytorch框架实现，硬件配置为Inteli7-6800k和单张NVIDIATITANXp。

消融实验：

为了验证方法的有效性，进行了多个消融实验，所有的模型都是在DOTA数据集和HRSC2016数据集上实验。

Anchor设计：首先研究不同anchor参数设置方式对模型速度和精度的影响。基线模型是直接改变回归方式的RetinaNet。Anchor的宽高比是从{0.25，0.5，1，2，4}中选取。尺度是从{2(k/3)，k＜3}中选取。表1为不同anchor设计参数对网络性能的影响对比表，其中，sc代表anchor尺度的数量，ar代表anchor宽高比的数量，正如表1所示结果，随着anchor数量的增加，mAP值在DOTA数据集上有了大幅度提升。这再次证明了one-stage检测网络的性能会受到anchor设计的大幅度影响。

表1

修正模块数量：和CascadeR-CNN类似，本发明增加了多级anchor修正模块去研究对网络检测性能的影响。在每个anchor修正模块逐渐增大IoU值，表2为修正模块数量对网络性能影响对比表，结果总结在表2。增加多个级联模块并不会带来精度的提升，甚至会有精度的下降。同时，多个级联模块会降低网络的运行速度，因此，将网络修正模块的个数设置为1，可得到最好的实验结果，是较好的选择。

表2

与其他网络的比较：在几个公开数据集评估了文中所提的方法，通过与多个state-of-the-art模型做出了比较，表3-表4展示了每个数据集的测试结果。

表3

表4

DOTA数据集：如图5所示，基准DOTA用于航空图像中的目标检测，它包含了来自不同传感器和平台的2806幅航空图像。图像大小从800×800到4000×4000像素不等，包含显示各种比例、方向和形状的对象。这些图像由专业人士使用15种常见的物体类别进行标注。完整标注的DOTA基准测试包含188282个实例，每个实例都由一个任意四边形标记。该标记有两种检测框：水平边界框(HBB)和旋转边界框(OBB)。在本实验中，选取旋转边界框。选取飞机目标随机选取一半的原始图像作为训练集，1/6作为验证集，1/3作为测试集。将图像分成600×600子图像，并将其缩放到800×800。从表3可以看出，文中提出的算法在DOTA数据集上具有最高的检测精度，mAP值能到0.87，而且检测速度能到26.5FPS。

HRSC2016：如图6所示，该数据集包含两种场景的图像，包括海上船舶和近岸船舶。所有的图片都是从六个著名的港口收集的，图像大小从300×300到1500×900。训练集、验证集和测试集分别包含436幅图像、181幅图像和444幅图像。实验用800×800图像比例尺进行训练和测试。从表4可以看出，在HRSC2016数据集上，本发明提出的方法的检测精度超过了SSD、YOLOv3、Textboxes++等方法，且具有最快的速度。

在简单的网络架构和高计算效率的吸引下，本发明研究了上面提到的one-stage检测方法中的候选框设计问题。受到two-stage检测方法中leanedproposal启发，本发明利用通过回归操作所获得的候选框来代替原来的框进入最终的分类层和回归层，并且将特征图的每个位置设置为仅与一个候选框关联。值得注意的是，与two-stage中能把候选框数量降低至一千到两千的RPN不同，所提方法仍然保持原始的数量不变，以及one-stage中的其余检测架构的不变。为了进一步降低网络计算复杂度，本发明采用了Mobilenetv2作为主干结构，并最终提出了一个高效快速的遥感图像目标检测器，名为快速旋转探测器(FastRotationDetector，FRDet)。所提方法在DOTA数据集上飞机的检测率可达96.8％，虚警率6.7％，mAP值达0.87，并且具有完全的实时结果，不仅如此，本发明所提方法超越了所有基于候选框特征提取的one-stage方法。

本发明提供的基于候选框特征修正的遥感图像目标检测方法及系统，具有每个特征图仅设置一个候选框的特点，在各种公开数据集上的实验结果表明，该方法检测精度优于SSD、YOLOv3等各种基于候选框特征提取的one-stage检测方法，不仅如此，该方法还具有实时性的效果。由于该方法可以较少考虑候选框的先验设计，因此可以广泛适用于其它检测任务，即插即用具有良好的适应性。在之后的工作中，可以将该方法迁移到其它检测任务中，进一步验证该方法的有效性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。