基于元学习和度量学习的小样本SAR目标检测识别方法

技术领域

本发明属于雷达遥感技术领域，更进一步涉及一种小样本SAR目标检测方法，可用于环境侦察和态势感知。

背景技术

合成孔径雷达SAR是一种微波成像雷达，其可在不受光照和气候条件限制下，实现对地面、海面等目标的全天时、全天候、远距离、高分辨率成像，因此在军事和民用领域发挥着重要作用。其中，SAR图像中的关键目标检测与识别则是雷达自动目标识别ATR领域的难点和关键性问题。

随着基于深度学习的目标检测识别方法应用于SAR图像解译，SAR目标检测识别取得了较大进展。目前，主流的SAR目标检测识别方法大多基于通用目标检测算法，例如单阶段算法SSD、YOLO和双阶段算法Faster RCNN、Casacade RCNN。这些基于大规模深度网络的算法在训练样本充足时具有较好的检测识别性能，然而，受目标非合作性及观测条件限制，特定类别样本采集和标注困难。此时，基于大数据驱动的深度网络模型会由于训练样本严重不足而出现过拟合，造成模型的检测识别性能大幅度下降甚至完全失效。目前，计算机视觉领域已提出包括数据增强、半监督学习、迁移学习的小样本学习方法。

小样本目标检测识别旨在设计有效的网络结构和训练策略，并通过大量基类训练集和少量新类训练集优化网络模型，使其能够较好地检测并识别新类目标。

申请号为CN202211273499.4的专利文献公开了“一种基于元学习的SAR图像小样本目标检测方法及系统”。其分为三部分完成，即首先使用权值共享的主干网络提取支撑和查询特征；再通过区域建议网络生成查询图像的候选区域并提取对应的RoI特征；然后利用互相关操作聚合查询RoI特征和支撑特征，并输入目标检测器后端完成类别推断和边界框回归。该方法虽说有效提升了小样本条件下深度网络模型的检测识别性能。但却存在以下问题：1)由于其仅依靠普通区域建议网络产生新类目标候选区域，质量较低，因而导致对新类目标的检测性能不足并影响后续识别任务。2)由于其仅依靠单一的全局特征相似性进行类别推断，故导致在细粒度任务中识别准确率低，且鲁棒性较差。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于元学习和度量学习的小样本SAR目标检测识别方法，以提高新类目标的检测识别性能，提升细粒度任务中识别的准确率和鲁棒性。

本发明的技术思路是，通过设计基于元学习和度量学习的小样本SAR目标检测识别网络，提高新类目标的检测性能以及提升细粒度任务中识别的准确率和鲁棒性，其实现步骤如下：

(1)构建支撑集和查询集：

(1a)收集大量包含基类目标的SAR图像和少量包含新类目标的SAR图像，并对每幅SAR图像中的目标位置和类别加以标注；

(1b)将收集的基类目标的SAR图像作为基类的查询集，并从收集的基类目标SAR图像中随机采样部分SAR图像都成基类的支撑集；将收集的新类目标的全部SAR图像分别作为新类的查询集和支撑集；

(2)构建基于元学习和度量学习的小样本SAR目标检测识别网络：

(2a)建立由依次进行多尺度变换、随机翻转、数据归一化的查询图像预处理流程和依次进行目标裁剪、随机翻转、数据归一化的支撑图像预处理流程组成的数据预处理模块；

(2b)建立由权值共享的孪生网络组成的特征提取模块A；

(2c)建立由包括特征聚合子模块、锚框生成子模块、正负样本分配子模块、分类回归子模块、后处理子模块级联组成的区域建议模块G，并分别使用交叉熵损失函数和SmoothL1损失函数作为分类损失

(2d)建立包括感兴趣区域提取子模块、局部关系子模块、全局关系子模块、交叉关系子模块组成的细粒度检测识别模块D，其输出被检查目标的边界框坐标(x，y，w，h)与该目标的各个类别相似度s，并将这两个参数分别代入交叉熵损失函数和Smooth L1损失函数，计算分类损失值

(2e)将(2a)、(2b)、(2c)、(2d)建立的模块依次级联，组成小样本SAR目标检测识别网络，并定义该网络的损失函数为：

(3)对小样本SAR目标检测网络进行基类训练：

(3a)将基类的支撑集和查询集输入到小样本SAR目标检测识别网络中，计算每次迭代的损失值

(3b)重复(3a)过程，直至网络收敛，得到初步训练好的小样本SAR目标检测识别网络；

(4)对小样本SAR目标检测网络进行小样本微调：

(4a)将基类支撑集的部分支撑图像、查询集图像和所有新类支撑集、查询集图像输入到初步训练好的小样本SAR目标检测网络，计算每次迭代的损失值

(4b)重复(4a)过程，直至网络收敛，得到最终训练完成后的小样本SAR目标检测识别网络。

(5)将待检测识别的SAR图像输入到步骤(4)得到最终训练完成后的小样本SAR目标检测识别网络，得到检测识别结果。

本发明与现有技术相比，具有以下优点：

第一、本发明在构建基于元学习和度量学习的小样本SAR目标检测识别网络中由于设计了基于类注意力调制的区域建议模块，可通过深度可分离卷积聚合支撑特征和查询特征，提升该模块生成的新类候选区域的质量，进而提高新类的检测识别性能。

第二、本发明在构建基于元学习和度量学习的小样本SAR目标检测识别网络中由于设计了基于多关系度量的细粒度检测识别模块，可通过度量支撑特征和查询特征的全局相似度、局部相似度和交叉相似度，有效提升细粒度特征的识别的准确率和鲁棒性。

附图说明

图1为本发明实现流程图；

图2为本发明中构建的小样本SAR目标检测识别网络的模型图；

图3为本发明的仿真结果图。

具体实施方式

下面结合附图对本发明的实例和效果作进一步详细说明。

参考图1，本实例中基于元学习和度量学习的小样本SAR目标检测识别方法依次包括数据收集与制作、构建小样本SAR目标检测识别网络、训练小样本SAR目标检测识别网络、获取SAR目标检测识别结果，具体实现步骤如下：

步骤一，数据收集与制作。

1.1)收集大量包含基类目标的SAR图像和少量包含新类目标的SAR图像，对每幅SAR图像中的目标位置和类别加以标注；

1.2)将收集的基类目标图像组成基类目标的查询集，随机采样部分基类目标图像组成基类目标的支撑集；

1.3)将收集的全部新类目标图像构成新类目标的查询集和支撑集。

本实例中，SAR图像来自高分3号卫星上的星载雷达；SAR图像的尺寸包含600×600、1024×1024、2048×2048三种，共有七类飞机目标，分别是：A220、A320-321、A330、ARJ21、Boeing737-800、Boeing787和other，并将ARJ21和Boeing787作为新类目标，其余作为基类目标。

步骤二，构建小样本SAR目标检测识别网络。

参考图2，本步骤的实现如下：

2.1)建立由依次进行多尺度变换、随机翻转、数据归一化的查询图像预处理流程和依次进行目标裁剪、随机翻转、数据归一化的支撑图像预处理流程组成的数据预处理模块。在本发明的实施实例中，多尺度变换的尺度包括440×440、472×472、504×504、536×536、568×568和600×600；随机翻转的翻转概率为0.5；目标裁剪将支撑图像的目标进行裁剪，并缩放至320×320的尺寸；

2.2)建立由权值共享的孪生网络组成的特征提取模块A，该模块由4个级联的卷积模块a

所述第二个卷积模块a

所述第三个卷积模块a

所述第四个卷积模块a

整个特征提取模块输出的查询特征图，表示为

整个特征提取模块输出的支撑特征图，表示为

本实例中，四个级联的卷积模块中的每个残差块，其包括3个卷积模块c

第一个卷积模块c

第二个卷积模块c

第三个卷积模块c

残差块每个卷积模块的输出特征图，表示为

残差块的输出特征图，表示为z＝relu(y

2.3)建立由特征聚合子模块、锚框生成子模块、正负样本分配子模块、分类回归子模块和后处理子模块级联组成的区域建议模块G，其中：

特征聚合子模块，使用深度可分离卷积完成支撑特征图和查询特征图的聚合，其输出为：

其中，

锚框生成子模块，用于在聚合得到特征图P的每个点上生成尺度分别为2

正负样本分配子模块，用于对锚框分配正负样本，即将与和支撑特征类别相同的标注边界框的交并比大于0.7的锚框分配为正样本，将与和支撑特征类别相同的标注边界框的交并比都小于0.3的锚框分配为负样本，将其余锚框分配为无关样本；

分类回归子模块，用于得到可能包含目标的候选区域，其由3×3的卷积层g

后处理子模块，用于过滤冗余的候选区域并输出置信度最高的N个候选区域{(p

2.4)建立包括感兴趣区域提取子模块、局部关系子模块、全局关系子模块和交叉关系子模块，细粒度检测识别模块D，其中：

感兴趣区域提取子模块，由自适应平均池化层组成，其用于根据区域建议模块G提供的候选区域将特征提取模块A提取的查询特征图Y

局部关系子模块，用于度量查询RoI特征和支撑RoI特征的局部特征相似度s

全局关系子模块，用于度量查询RoI特征和支撑RoI特征的全局相似度s

交叉关系子模块，用于度量查询RoI特征和支撑RoI特征的交叉关系相似度以及获取预测的边界框坐标，该模块由特征拼接层、1×1标准卷积层、3×3标准卷积层、1×1标准卷积层、全局平均池化层和并联的输出特征数为1的全连接层d

将上述局部关系子模块、全局关系子模块和交叉关系子模块并联，并将上述感兴趣区域提取子模块与该并联模块级联，构成细粒度检测识别模块D。

本实例中，细粒度识别模块D输出被检测目标的各个类别相似度s，公式如下：

其中，

其中，

步骤三、训练小样本SAR目标检测识别网络。

3.1)对小样本SAR目标检测识别网络基类训练

3.1.1)将基类的支撑集和查询集输入到小样本SAR目标检测识别网络中，计算每次迭代的损失值，根据该损失值通过随机梯度下降算法更新网络参数；

3.1.2)计算小样本SAR目标检测识别网络的损失

其中：

3.1.3)求解3.1.2)中损失

其中

3.1.4)根据3.1.3)中求解的梯度

其中θ

3.2)重复步骤3.1)直至网络收敛得到最终迭代后的网络参数θ

3.3)对完成基类训练的小样本SAR目标检测识别网络进行小样本微调：

3.3.1)将基类支撑集的部分支撑图像、查询集图像和所有新类支撑集、查询集图像输入到完成基类训练的小样本SAR目标检测识别网络，计算每次迭代的损失值，并利用该损失值通过随机梯度下降算法更新网络参数；

3.3.2)计算小样本SAR目标检测识别网络的损失：

3.3.3)求解3.3.2)中损失

其中

3.3.4)根据3.3.3)中求解的梯度

其中，θ

3.4)重复步骤3.3)直至网络收敛得到最终迭代后的网络参数θ

步骤四、获取SAR目标检测识别结果。

将待检测识别的SAR图像输入到微调后的小样本SAR目标检测识别网络，得到检测识别结果。

本发明的效果可以通过以下仿真实验进一步说明：

一、仿真实验条件

本发明仿真实验的软件平台为Windows11操作系统和Pytorch 1.10.1，硬件配置为：Core i7-11800H CPU和NVIDIA GeForce RTX 3080 Laptop GPU。

本发明的仿真实验使用高分3号SAR实测数据，场景类型为机场，图像分辨率为1m×1m，共有七类飞机目标，分别是：A220、A320-321、A330、ARJ21、Boeing737-800、Boeing787和other，并将ARJ21和Boeing787作为新类目标，其余作为基类目标。

SAR图像数量为2000张，图像大小有600×600、1024×1024、2048×2048三种，目标总数为6556，训练集图像数量为1400张，测试集图像数量为600张。

二、仿真内容与结果分析

在上述仿真条件下，用本发明和现有的“一种基于元学习的SAR图像小样本目标检测方法及系统”对测试集图像中的两张SAR图像进行检测识别，并将检测识别结果可视化到测试集图像上，结果如图3所示。其中：

图3(a)为现有技术对上述两张SAR图像的检测识别结果，

图3(b)为本发明对上述两张SAR图像的检测识别结果。

图3中的实线矩形框表示检测识别正确的目标，虚线矩形框表示检测识别错误的目标，圆圈表示漏检的目标。

对比图3(a)和3(b)可以看出，现有技术得到的检测识别结果中虚警和漏检较多，本发明所得检测识别结果虚警和漏检较少。

分别计算本发明和现有技术在5个新类目标5shot、10个新类目标10shot、20个新类目标20shot和30个新类目标30shot条件下测试结果的基类平均精度bAP和新类平均精度nAP，如表1所示：

表1本发明和现有技术的基类平均精度bAP和新类平均精度nAP对比

从表1可以看出，在5-shot、10-shot、20-shot和30-shot实验设置下，本发明的基类平均精度和新类平均精度都高于现有技术。