基于多尺度检测的高分辨率遥感影像目标智能提取方法

技术领域

本发明涉及图像处理技术领域，具体为基于多尺度检测的高分辨率遥感影像目标智能提取方法。

背景技术

目标检测是计算机视觉领域中的一项基础任务，其目的是在图像或视频中自动识别出感兴趣的目标，并准确地定位它们。传统的目标检测方法通常采用手工设计的特征和分类器来识别图像中的目标，但这些方法需要大量人工参与和专业知识，并且难以适应不同场景下目标的尺度、形状和姿态变化等问题。近年来，深度学习技术在目标检测领域取得了显著进展，经检索，发现现有技术中的目标检测方法典型的如公开号CN110889399A一种基于深度学习的高分辨率遥感影像弱小目标检测方法及装置。该方法包括：获取待处理遥感影像；将待处理遥感影像输入预先训练得到的卷积神经网络中，通过卷积神经网络对待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到待处理遥感影像对应的不同大小的先验框，识别目标类别置信度大于预设阈值的目标先验框，并根据每个目标先验框的坐标信息，通过预设聚类算法确定待处理遥感影像中包括的目标的坐标信息；其中，卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个残差组件均包括两个卷积层和一个快捷链路。其主要特点是能够提高弱小目标检测精度。

综上所述，现有技术的缺点主要包括以下几个方面：遥感图像中目标的出现尺度往往存在很大差异，因此具有固定接收野的FRCN无法匹配不同目标的尺度变异性；其次大尺度遥感影像中目标尺寸较小且峰值密集，因此FRCN对小目标定位性能较差；再者由于人工标注一般成本较高，可供FRCN训练的数据集数量有限，针对上述问题，需要对现有设备进行改进。

发明内容

本发明的目的在于提供基于多尺度检测的高分辨率遥感影像目标智能提取方法，以解决上述背景技术中提出的遥感图像中目标的出现尺度往往存在很大差异，因此具有固定接收野的FRCN无法匹配不同目标的尺度变异性；其次大尺度遥感影像中目标尺寸较小且峰值密集，因此FRCN对小目标定位性能较差；再者由于人工标注一般成本较高，可供FRCN训练的数据集数量有限的问题。

为实现上述目的，本发明提供如下技术方案：基于多尺度检测的高分辨率遥感影像目标智能提取方法，包括以下具体步骤，

S1：候选区域生成网络阶段：

其主要作用是生成多个不同尺度和长宽比的候选区域，其具体实现过程包括S11特征提取、S12锚点框生成和S13候选区域筛选；

S2：全卷积网络阶段：

S21：候选区域池化：将所有筛选后的候选区域输入到全卷积网络中，为了适应不同尺度和长宽比的候选区域，使用Roi池化层对每个候选区域进行池化操作，将其转换为固定大小的特征图；

S22：特征提取：接下来，使用一个或多个卷积层来提取每个候选区域的特征。这些特征将被用于后续的目标分类和定位；

S23：目标分类：在本发明中，使用一个soft max分类器来对每个候选区域进行分类，并判断其是否包含目标；

S24：目标定位：除了目标分类之外，本发明还需要对每个候选区域进行精确的定位；

S3：迁移学习和数据增强阶段：

为了解决遥感图像中数据不足的问题，本发明采用了迁移学习和数据增强技术来提高模型的泛化能力；

S31：迁移权重：使用一个在大规模图像数据集上预训练好的卷积神经网络例如VGG16以及Res Net来初始化全卷积网络的权重；

S32：增强技术：为了增加训练数据的多样性，采用了数据增强技术来扩充训练集；

S4：多尺度目标检测阶段：

处理遥感图像中小尺寸、密集分布的目标，并且能够适应不同场景下目标的尺度、形状和姿态变化；

S41：多尺度特征提取：为了适应不同尺度和长宽比的目标，使用一个金字塔结构来提取多尺度特征；

S42：多尺度候选区域生成：为了适应不同尺度和长宽比的目标，在每个金字塔层上都生成一组不同尺度和长宽比的候选区域，并将其输入到全卷积网络中进行分类和定位；

S5：降采样：

基于迁移学习，通过降采样的方式得到低分辨率图像，并提取高分辨率图像和低分辨率图像的特征得到投影矩阵，以实现在重构时，形成重构后的高分辨率图像，通过增加迁移图像使得训练数据库更加丰富，为后面重构图像提供有利的条件；

S51：根据预设的放大系数，依次对所述高分辨率图像进行降采样、插值运算，得到所述低分辨率图像；

S52：使用预设数量的高通滤波器，对所述低分辨率图像进行滤波，得到滤波后的低分辨率图像，通过计算低分辨率邻域以及对应的高分辨率邻域，以得到投影矩阵，

S53：根据所述低分辨率图像的特征以及所述投影矩阵，得到高分辨率图像碎片；将所述高分辨率图像碎片进行合并，形成重构后的高分辨率图像。

优选的，所述S11特征提取，即使用一个预训练好的卷积神经网络例如VGG16以及Res Net来提取遥感图像中的特征。

优选的，所述S12锚点框生成，即在特征图上生成一组锚点框，每个锚点框对应一个不同尺度和长宽比的候选区域。

优选的，所述对于每个像素位置i,j和每个锚点框a，可以计算出该锚点框在原始图像中对应的坐标(x,y,w,h)，其中(x,y)表示锚点框中心位置在原始图像中的坐标，w和h分别表示锚点框的宽度和高度。

优选的，所述S13候选区域筛选，即由于一些锚点框可能包含背景或者与目标重叠较少，因此需要对生成的候选区域进行筛选。

优选的，所述S23目标分类中的分类方式为将每个候选区域的特征输入到softmax分类器中，并计算出该候选区域属于每个类别的概率分布，然后选择概率最大的类别作为该候选区域所包含目标的类别。

优选的，所述S24目标定位中采用Smooth L1 Loss作为回归器的损失函数，并将其与分类器一起训练。

优选的，所述S31迁移学习中使用VGG16以及Res Net来初始化全卷积网络的权重的目的是为了加快模型的收敛速度，并提高模型的泛化能力。

优选的，所述S32数据增强的目的是为了有效地减少过拟合现象，并提高模型的泛化能力。

优选的，所述S41多尺度特征提取的具体表现为在原始图像上生成一组不同大小和长宽比的图像金字塔，并将每个金字塔层上提取出来的特征输入到全卷积网络中进行分类和定位。

与现有技术相比，本发明的有益效果是：

本发明通过S1候选区域生成网络阶段、S2全卷积网络阶段、S3迁移学习和数据增强阶段和S4多尺度目标检测阶段的配合使用可有效解决上述问题：首先本发明利用S4多尺度目标检测阶段中的S41多尺度特征提取通过使用金字塔结构来提取多尺度特征，从而使得图像适应不同尺度和长宽比的目标即匹配不同目标的尺度变异性；其次本发明中的S4多尺度目标检测阶段中的S42多尺度候选区域生成通过在每个金字塔层上都生成一组不同尺度和长宽比的候选区域，并将其输入到S2全卷积网络阶段中的全卷积网络中进行分类和定位即提高其行为性能，再者S3迁移学习和数据增强阶段采用了数据增强技术来扩充训练集，减少过拟合现象，并以此提高模型的泛化能力，最后S1候选区域生成网络阶段通过统一且有效的深度CNN框架检测遥感图像中的多类目标，并具有更好的定位精度和更高的召回率即丰富FRCN训练的数据集数量，另一方面通过降采样的方式使得训练数据库更加丰富，为重构图像提供有利的条件。

附图说明

图1为本发明S1与S4之间的控制关系工作流程示意图；

图2为本发明S1阶段的控制关系工作流程示意图；

图3为本发明S2阶段的控制关系工作流程示意图；

图4为本发明S3阶段的控制关系工作流程示意图；

图5为本发明S4阶段的控制关系工作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，本发明提供技术方案：基于多尺度检测的高分辨率遥感影像目标智能提取方法，包括以下具体步骤，

实施例一

S1：候选区域生成网络阶段：

其主要作用是生成多个不同尺度和长宽比的候选区域，其具体实现过程包括S11特征提取、S12锚点框生成和S13候选区域筛选；

S11特征提取，即使用一个预训练好的卷积神经网络例如VGG16以及Res Net来提取遥感图像中的特征。

S12锚点框生成，即在特征图上生成一组锚点框，每个锚点框对应一个不同尺度和长宽比的候选区域；

具体地，在每个像素位置上生成k个锚点框，其中k是预先定义好的数量。

对于每个像素位置i,j和每个锚点框a，可以计算出该锚点框在原始图像中对应的坐标(x,y,w,h)，其中(x,y)表示锚点框中心位置在原始图像中的坐标，w和h分别表示锚点框的宽度和高度。

S13候选区域筛选，即由于一些锚点框可能包含背景或者与目标重叠较少，因此需要对生成的候选区域进行筛选。

S2：全卷积网络阶段：

S21：候选区域池化：将所有筛选后的候选区域输入到全卷积网络中，为了适应不同尺度和长宽比的候选区域，使用Roi池化层对每个候选区域进行池化操作，将其转换为固定大小的特征图；

S22：特征提取：接下来，使用一个或多个卷积层来提取每个候选区域的特征。这些特征将被用于后续的目标分类和定位；

S23：目标分类：在本发明中，使用一个soft max分类器来对每个候选区域进行分类，并判断其是否包含目标；

S23目标分类中的分类方式为将每个候选区域的特征输入到soft max分类器中，并计算出该候选区域属于每个类别的概率分布。然后选择概率最大的类别作为该候选区域所包含目标的类别。

S24：目标定位：除了目标分类之外，本发明还需要对每个候选区域进行精确的定位；

S24目标定位中采用Smooth L1 Loss作为回归器的损失函数，并将其与分类器一起训练。

具体的，使用一个回归器来预测该候选区域所包含目标的精确位置和大小。

S3：迁移学习和数据增强阶段：

为了解决遥感图像中数据不足的问题，本发明采用了迁移学习和数据增强技术来提高模型的泛化能力；

S31：迁移权重：使用一个在大规模图像数据集上预训练好的卷积神经网络例如VGG16以及Res Net来初始化全卷积网络的权重；

S31迁移学习中使用VGG16以及Res Net来初始化全卷积网络的权重的目的是为了加快模型的收敛速度，并提高模型的泛化能力。

S32：增强技术：为了增加训练数据的多样性，采用了数据增强技术来扩充训练集。

具体地，对原始图像进行随机旋转、缩放、平移和翻转等操作，生成多个不同变换后的图像，并将其作为训练集的一部分。

S32数据增强的目的是为了有效地减少过拟合现象，并提高模型的泛化能力。

S4：多尺度目标检测阶段：

处理遥感图像中小尺寸、密集分布的目标，并且能够适应不同场景下目标的尺度、形状和姿态变化；

S41：多尺度特征提取：为了适应不同尺度和长宽比的目标，使用一个金字塔结构来提取多尺度特征；

S41多尺度特征提取的具体表现为在原始图像上生成一组不同大小和长宽比的图像金字塔，并将每个金字塔层上提取出来的特征输入到全卷积网络中进行分类和定位。

S42：多尺度候选区域生成：为了适应不同尺度和长宽比的目标，在每个金字塔层上都生成一组不同尺度和长宽比的候选区域，并将其输入到全卷积网络中进行分类和定位；

S5：降采样：

基于迁移学习，通过降采样的方式得到低分辨率图像，并提取高分辨率图像和低分辨率图像的特征得到投影矩阵，以实现在重构时，形成重构后的高分辨率图像，通过增加迁移图像使得训练数据库更加丰富，为后面重构图像提供有利的条件；

S51：根据预设的放大系数，依次对所述高分辨率图像进行降采样、插值运算，得到所述低分辨率图像；

S52：使用预设数量的高通滤波器，对所述低分辨率图像进行滤波，得到滤波后的低分辨率图像，通过计算低分辨率邻域以及对应的高分辨率邻域，以得到投影矩阵，

S53：根据所述低分辨率图像的特征以及所述投影矩阵，得到高分辨率图像碎片；将所述高分辨率图像碎片进行合并，形成重构后的高分辨率图像。

实施例二

本实施例为上述实施例的进一步描述应当理解本实施例包括前述全部技术特征并作进一步具体描述。

最接近现有技术的方法例如一种基于区域的卷积神经网络(FRCN)方法，该方法首先使用一个候选区域生成网络(RPN)来生成多个不同尺度和长宽比的候选区域，并将这些候选区域输入到一个全卷积网络中进行分类和定位，与其他基于CNN的目标检测方法相比，FRCN具有更好的定位精度和更高的召回率，并且能够处理遥感图像中小尺寸、密集分布的目标；

例如一种基于迁移学习和数据增强的方法来解决遥感图像中数据不足的问题，从而提高了模型的泛化能力。Faster R-CNN也是一种基于区域的卷积神经网络方法，用于解决目标检测问题。Faster R-CNN通过引入候选区域生成网络(RPN)来生成多个不同尺度和长宽比的候选区域，并将这些候选区域输入到一个分类器中进行分类和定位。与FRCN相比，Faster R-CNN在小目标检测和定位精度方面稍逊一筹，以及例如一种基于SSD的方法来解决遥感图像中多尺度目标检测问题，该方法通过在不同深度的特征图上预测不同尺度的目标来实现多尺度检测。

综上现有技术的缺点主要包括以下几个方面：首先对于遥感图像中小尺寸、密集分布的目标，传统的目标检测方法往往难以有效地解决这些问题；其次传统的目标检测方法需要大量人工参与和专业知识，并且难以适应不同场景下目标的尺度、形状和姿态变化等问题，再者一些基于CNN的目标检测方法在小目标检测和定位精度方面表现不佳的问题。

针对这些缺点，本发明通过引入候选区域生成网络(RPN)来生成多个不同尺度和长宽比的候选区域，并将这些候选区域输入到一个全卷积网络中进行分类和定位，相比于其他基于CNN的目标检测方法，FRCN具有更好的定位精度和更高的召回率，并且能够处理遥感图像中小尺寸、密集分布的目标，此外，本发明还提出了一种基于迁移学习和数据增强的方法来解决遥感图像中数据不足的问题，并以此提高模型的泛化能力，同时提高遥感图像中多尺度目标检测的准确性和效率，还降低了人工参与和专业知识的要求。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。