一种宽幅遥感影像中密集弱小目标检测识别方法

技术领域

本发明涉及遥感图像处理领域，具体涉及一种宽幅遥感影像中密集弱小目标检测识别方法，可用于遥感影像中弱小目标的检测和识别。

背景技术

遥感影像目标检测识别广泛应用于国防军事等各个领域。然而由于一些目标本身固有特征，如物理尺寸小、边缘信息模糊、分布密集等，其在遥感影像中呈现弱小特点，并极大增加了目标检测识别的难度。在实际场景中，普遍存在密集弱小目标检测识别应用，如遥感影像中车辆识别、帐篷检测等，因此遥感影像中弱小目标检测识别具有重要的研究意义。

目前已有的弱小目标检测识别方法，概括起来可以分为基于传统浅层网络的弱小目标检测识别方法和基于深度学习的弱小目标检测识别方法。基于传统浅层网络的弱小目标检测识别方法主要通过对目标的纹理、灰度等特征，通过人工特征设计和学习的方式来实现对目标的检测识别，其漏检率较低，但是对于复杂场景的检测效果较差。基于深度学习的弱小目标检测识别方法主要通过增强对小目标的感受野、多尺度的信息融合、优化训练和标注以减少标签噪声的输入等方法强化对小目标的检测能力，如数据增强、注意力增强、多尺度特征融合增强等，然而基于深度学习的弱小目标检测识别方法容易因为过度卷积导致弱小目标位置信息的丢失，产生漏检问题。

发明内容

鉴于此，本发明提供一种宽幅遥感影像中密集弱小目标检测识别方法，可以有效解决光学遥感影像中密集弱小目标检测识别问题。

为了实现上述目的，本发明采用的技术方案为：

一种宽幅遥感影像中密集弱小目标检测识别方法，包括如下步骤：

(1)数据准备：对遥感影像数据集中的图像数据进行数据增广，获取数量更多、尺度更多的样本数据；

(2)特征提取：从训练样本集中抽取训练样本，加入Transformer编码器，改进YOLOv5网络，用于提取训练样本的多尺度特征；

(3)多尺度预测：增加弱小目标检测头，用于弱小目标检测识别，并结合原有的检测头实现多尺度目标预测，然后使用NMS非极大值抑制对多个检测头的预测结果进行融合；

(4)多模型融合预测：基于训练集训练n个模型，并将n个模型的预测结果使用WBF加权边界框进行融合，得到最终的预测结果，并用预测结果对各个模型调参；返回步骤(2)，直至各个模型损失函数一致收敛，完成模型训练，构成集成模型；

(5)弱小目标检测识别：使用集成模型对宽幅遥感影像中的密集弱小目标进行检测识别。

进一步的，所述步骤(1)中对训练集和测试集中的图像数据进行数据增广，包括以下方式：

(101)Mosaic马赛克处理：从训练集D

(102)旋转处理：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本；每次旋转后都计算目标标注框位置，并重新写入标注文件；

(103)MixUp混合处理：从训练样本中随机选取2张训练样本，记作x

λ＝Beta(α,β)

x

y

其中，参数α和β为按需设置的参数，Beta()为贝塔函数，λ为混合权重；

(104)缩放处理：将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。

进一步的，所述步骤(2)中对YOLOv5的改进为：

将原始YOLOv5网络颈部中的CSP模块替换为Transformer编码器，用于提取全局和上下文特征，加强密集场景下弱小目标检测能力；其中，Transformer编码器由注意力模块和全连接模块组成，注意力模块包含LayerNorm、注意力层、Dropout层，全连接模块包含LayerNorm、全连接层、Dropout层；注意力模块和全连接模块之间使用残差连接。

进一步的，所述步骤(3)的具体方式为：

在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；

检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用NMS非极大值抑制进行融合，得到一个预测结果。

进一步的，所述步骤(4)的具体方式为：

(401)基于步骤(1)～(3)的方法随机训练n个模型，得到n个预测结果

(402)使用WBF加权边界框对n个预测结果融合，得到最终的预测结果：

其中，

(403)使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。

进一步的，步骤(5)的具体方式为：

(501)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度；设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-l

(502)将影像块分别送入集成模型进行密集弱小目标预测；

(503)将预测后的影像块拼接，并对重叠区域的预测框使用NMS非极大值抑制进行融合。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明使用Mosaic、旋转、MixUp等手段对训练样本进行样本扩充，有效提高了模型的鲁棒性。并且对图像样本进行缩放，获得多尺度的样本数据，提高模型对不同尺度目标的检测识别能力；

(2)本发明在YOLOv5网络中加入Transformer编码器，能够更好的提取全局信息和上下文信息，同时增加了一个检测头，使用对弱小目标更敏感的浅层特征进行结果预测，有利于密集场景下弱小目标的检测识别；

(3)本发明使用了多模型融合预测，可以提高模型目标检测识别能力，避免模型陷入局部最优。

附图说明

图1是本发明中改进后的YOLOv5网络示意图；

图2是Transformer编码器的结构示意图；

图3是本发明实施例的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

一种宽幅遥感影像中密集弱小目标检测识别方法，包括如下步骤：

(1)数据准备：对遥感影像数据集中的图像数据进行数据增广，通过缩放等手段获取数量更多、尺度更多的样本数据；

(2)特征提取：从训练样本集中抽取训练样本，加入Transformer编码器，改进YOLOv5网络，用于提取训练样本的多尺度特征；

(3)多尺度预测：增加弱小目标检测头，用于弱小目标检测识别，并结合原有的检测头实现多尺度目标预测，然后使用NMS对多个检测头的预测结果进行融合；

(4)多模型融合预测：基于训练集训练n个模型，并将n个模型的预测结果使用WBF进行融合，作为最终的预测结果分别对各个模型调参，返回步骤(2)直至各个模型损失函数一致收敛，完成模型训练，构成集成模型；

(5)密集弱小目标检测识别：使用集成模型对宽幅遥感影像中的密集弱小目标进行检测识别。

步骤(1)中对训练集和测试集中的图像数据进行数据增广，包括以下方式：

(101)Mosaic：从训练集D

(102)旋转：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本。每次旋转后都计算目标标注框位置，并重新写入标注文件；

(103)MixUp：从训练样本中随机选取2张训练样本，记作x

λ＝Beta(α,β)

x

y

其中，参数α和β可根据需要设置。

(104)缩放：本发明中将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。

原始YOLOv5网络的颈部由CSP、CBL、上采样、Concat模块级联构成，并采用了残差结构，用于进一步提升特征的多样性和鲁棒性。本方法将原始YOLOv5网络颈部中的CSP模块替换为Transformer编码器，用于提取全局和上下文特征，加强密集场景下弱小目标检测能力；其中，Transformer编码器由注意力模块和全连接模块组成，注意力模块包含LayerNorm、注意力层、Dropout层，全连接模块包含LayerNorm、全连接层、Dropout层。同时，在注意力模块和全连接模块之间使用残差连接。

原始YOLOv5网络包含3个检测头，利用不同尺度的特征图进行目标检测结果的预测和输出。本方法中，在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用非极大值抑制NMS进行融合，得到一个预测结果。

步骤(4)的多模型融合预测，包括以下过程：

(401)基于步骤(1)～(3)随机训练n个模型，得到n个预测结果

(402)使用WBF对n个预测结果融合，得到最终的预测结果：

其中，

(403)使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。

步骤(5)中对宽幅遥感影像中密集弱小目标检测识别，包括以下过程：

(501)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度。设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-l

(502)将若干个影像块分别送入集成模型进行密集弱小目标预测；

(503)将预测后的影像块拼接，并对重叠区域的预测框使用NMS进行融合。

如图1所示，本方法对YOLOv5网络的创新之处在于：

(1)将原始YOLOv5网络的颈部中的CSP层替换成了Transformer编码器，可以更好地提取全局和上下文特征，加强密集场景下弱小目标检测能力，Transformer编码器结构示意如图2所示；

(2)增加了一个对弱小目标敏感的检测头l，提高了模型对弱小目标的检测能力，同时也提高了模型对各尺度样本数据的鲁棒性；

(3)本方法利用多个模型进行目标预测，并对多个模型的预测结果使用WBF算法进行融合，作为最终的目标预测结果，有助于提高模型预测精度，避免模型陷入局部最优。

如图3所示，本方法的具体实施过程如下：

1、数据准备

将遥感图像数据集D划分为训练集D

(1)Mosaic：从训练集D

(2)旋转：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本。每次旋转后都计算目标标注框位置，并重新写入标注文件；

(3)MixUp：从训练样本中随机选取2张训练样本，记作x

λ＝Beta(α,β)

x

y

其中，本发明中取参数α＝β＝0.5。

(4)缩放：本发明中将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。

2、特征提取

将预处理后的图像送入基于Transformer的YOLOv5网络进行特征提取，分别得到训练样本不同尺度的特征图。

3、多尺度预测

在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；

检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用非极大值抑制NMS进行融合，得到一个预测结果。

4、多模型融合预测

随机训练n个模型，得到n个预测结果：

其中，

使用WBF对n个预测结果融合，得到最终的预测结果：

其中，

使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。

5、密集弱小目标检测识别

(1)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度。设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-l

(2)将若干个影像块分别送入集成模型进行密集弱小目标预测；

(3)将预测后的影像块拼接，并对重叠区域的预测框使用NMS进行融合。