一种多层域适应火星小尺寸撞击坑提取模型

技术领域

本发明涉及行星遥感智能处理与分析技术领域，具体涉及一种多层域适应火星小尺寸撞击坑提取模型。

背景技术

火星小尺寸撞击坑探索火星地质环境演化、定年、着陆区选址等行星科学研究必不可少的地貌特征，尤其大量大范围和高分辨率影像更容易获取后，促使研究者的关注从火星大尺度撞击坑转向小尺度撞击坑，因此对小尺寸撞击坑产生了更大需求，譬如，部分文献研究了机遇号行进路线附近10米级撞击坑退化速率，推测区域曾经有水存在；有些文献利用十米级撞击坑对TARS定年，发现该区域内TARS在1.4至0.3Myr之前就已经停止活动，还有一些文献等分析了祝融着陆区内直径10～1000m小尺寸撞击坑的分布及密度，为着陆区选址提供了有力支撑，因此，行星科学领域迫切需要自动、准确的小尺寸撞击坑提取方法。

近年来，撞击坑自动提取算法随着计算视觉的发展在不断进步，但复杂的地形地貌，以及苛刻的成像条件导致撞击坑提取仍然是一项具有挑战的任务，早期撞击坑提取主要通过人机交互识别，这种方法直接、可靠，形成了一系列被广泛认可的火星撞击坑目录数据集，譬如(1)Barlow etal.,1986；(2)Rodionov；(3)Boyce；(4)Kuzmin；(5)GoranSalamunic′car,以及(6)robbins等数据集。但是人工提取撞击坑的精度易受主观因素影响，费时费力，促使研究者利用计算机开发自动、客观的撞击坑提取算法，传统撞击坑提取方法采用模式识别或者机器学习的方法分类和定位撞击坑目标，常用方法包括，坡度测量、模板匹配、霍夫变换等，基于机器学习的方法包括决策树、支持向量机等，传统撞击坑提取方法往往需要人工设计特征，但人工设计特征很难覆盖所有撞击坑类型，因此这类方法鲁棒性和泛化性较差。

深度学习的进步极大地推动了计算机视觉目标检测任务和语义分割任务的发展，以Faster RCNN和Unet为代表的深度学习网络在月球和火星撞击坑提取任务中取得了成功应用，然而，训练满足精度需求的深度网络往往需要制作大量训练样本，而小尺寸撞击坑样本标注周期长、代价大、费时费力，其次，火星小尺寸撞击坑形状复杂、数量多、部分撞击坑存在严重退化现象导致标本注困难，一些研究尝试使用迁移学习的方式，在月球或火星撞击坑公开目录训练深度网络，然后直接在新的场景下检测撞击坑，但这种方法在缺少标注数据的情况下会出现域偏移现象，导致训练好的模型在新的场景下性能往往出现显著下降。

最近，无监督领域适应技术被广泛研究，其目的是从具有丰富标注的数据集提取域不变特征，以缩减与无标注的目标域间的距离，实现领域知识从源域转移到目标域，无监督领域适应技术在深度学习技术的支持下性能得到了很大提升，已经在SAR影像船舶检测、车辆识别和无人驾驶等领域得到了广泛应用，该方法主要包含两种域适应策略，一种策略在像素层对齐源域与目标域，一些文献利用风格迁移网络将源域特征合成与目标域相似的中间域特征，然后以监督的方式训练目标检测器，但这种方法很难控制中间域样本的生成质量，当源域和目标域特征差异较大时会损害域适应结果，另一种策略在特征层上对齐源域与目标域，这种策略操作简便，实用性强，成为域适应领域中的主流方法。

针对现有技术存在以下问题：

以上研究表明，基于无监督域适应提取撞击坑目标是可行的，是对深化撞击坑提取方法有益的探索，但是，目前方法在通用目标检测方面取得一定性能提升，但在撞击坑提取领域存在一定局限性，首先大部分域适应方法在图像层域适应使用全局对齐的方式，行星表面地形复杂，背景噪声很多，全局对齐不可避免的会对图像层域适应结果产生影响；其次，基于Faster RCNN的域适应目标检测网络框架，具有冗余的固定锚框设计，这可能导致多尺度撞击坑目标的半径预测偏大，其次，传统的候选模块为了最大化召回率，产生了大量背景噪声，将在某种程度上抑制域适应性能，总体而言，利用无监督域适应技术提取撞击坑仍处于一个探索阶段，但是该技术展现了出极大的潜力，譬如在我国火星探测遥感影像上，在无标注撞击坑数据情况下，直接开展撞击坑提取，节省大量人力和时间。

发明内容

本发明提供一种多层域适应火星小尺寸撞击坑提取模型，以解决上述背景技术中提出的问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种多层域适应火星小尺寸撞击坑提取模型，该多层域适应火星小尺寸撞击坑提取模型包括以下步骤：

步骤一：源域遥感影像和目标域遥感影像输入网络，目标检测器的主干特征网络提取行星遥感影像关键特征；

步骤二：图像层域适应模块将源域与目标域的特征对齐及无锚框兴趣区域提取模块提取候选撞击坑目标；

步骤三：优化模块优化候选撞击坑的目标框参数，同时提取候选框对应的遥感影像局部关键特征进行实例层域适应。

本发明技术方案的进一步改进在于：所述步骤一还包括以下步骤：

源域数据集为月球遥感影像和撞击坑标注数据，标注参数为(cx,cy,r),其中cx为中心点横坐标，cy为中心点纵坐标，r为撞击坑半径，本发明采用4层卷积组合作为特征提取器，记为G，G每一层卷积由一个2维卷积操作，h-swish和批归一化层组成，G自上而下每层对图像进行1次下采样，共下采样4次，每次下采样图像变为原来的1/2，通道变为原来的2倍，则G

本发明技术方案的进一步改进在于：所述步骤二还包括以下步骤：

A1：图像层域适应模块将源域与目标域的特征对齐；

A2：无锚框兴趣区域提取模块提取候选撞击坑目标。

本发明技术方案的进一步改进在于：所述A1还包括以下步骤：

a1：首先，输入数据为G提取的源域数据和目标域数据特征，然后源域特征由内嵌函数q,k,v，映射到向量特征空间，映射后的特征为q

a2：在此基础上，由单向交叉注意力机制过滤特征，由双向交叉注意力机制过滤特征增强特征，输出源域数据的注意力权重矩阵和目标域数据的注意力权重矩阵，输入源域数据和输出源域数据的注意力权重矩阵相加得到有注意力关注的源域特征图，目标域输入数据和输出目标域数据的注意力权重矩阵相加得到有注意力关注的目标特征图；

a3：源域特征和目标域特征进行对抗域适应。

本发明技术方案的进一步改进在于：所述a2还包括以下步骤：

b1：第l层的单向交叉注意力机制计算过程可公式化为：

其中，

其中，LN表示层级归一化，

b2：第l层的双向交叉注意力机制计算过程可公式化为：

本发明技术方案的进一步改进在于：所述A2还包括以下步骤：

首先由遥感影像的关键特征图作为输入，然后由3层卷积网络将关键特征图建模为中心点热力图，然后从中心点热力图中搜索中心点所在的位置，并从搜索到的中心点位置预撞击坑中心点坐标、撞击坑直径和撞击坑置信度。

本发明技术方案的进一步改进在于：所述步骤三还包括以下步骤：

B1：优化模块优化候选撞击坑的目标框参数；

B2：提取候选框对应的遥感影像局部关键特征进行实例层域适应。

本发明技术方案的进一步改进在于：所述B1还包括以下步骤：

优化模块以关键特征提取模块G提取到的特征和无锚框候选框提取模块生成的候选目标框作为输入，输出优化后的目标框及目标框对应的类别，在此阶段，首先计算建议框与真值目标框的交并比，若交并比大于0.5，则归类为正样本，小于0.5则归类为负样本，重采样获取的建议框使得正负样本均衡，重采样后的建议框具有不同尺寸，为了获得实例特征，采用兴趣区域对齐函数(ROI Align)将建议框池化为相同尺寸的特征G

本发明技术方案的进一步改进在于：所述B2还包括以下步骤：

首先输入，然后利用下面公式将源域和目标域进行对齐，对齐公式为：

A

由于采用了上述技术方案，本发明相对现有技术来说，取得的技术进步是：

1、本发明提供一种多层域适应火星小尺寸撞击坑提取模型，目标检测器的主干特征网络提取行星遥感影像关键特征，该行星遥感影像关键特征提取方法不仅可以用于产生具有泛化性能的特征用于撞击坑预测，也可以产生源域与目标域关键特征用于特征对齐。

2、本发明提供一种多层域适应火星小尺寸撞击坑提取模型，图像层域适应模块能够将源域与目标域的特征对齐，以促使关键特征提取模块能够捕获混淆源域与目标域的泛化特征，实例层域适应能够进一步促进源域与目标域特征对齐，使模型提取可靠的泛化特征。

3、本发明提供一种多层域适应火星小尺寸撞击坑提取模型，通过目标检测器模块、图像层域适应模块、实例层域适应模块之间的相互配合，能够在火星表面以无监督的方式提取撞击坑，减少了人工花费，提高了撞击坑提取效率。

附图说明

图1为本发明一种交叉注意力引导的撞击坑目标提取方法数据处理流程示意图；

图2为本发明一种交叉注意力引导的撞击坑目标提取方法，图像层域适应特征提取示意图。

具体实施方式

实施例1

如图1-2所示，本发明提供了一种多层域适应火星小尺寸撞击坑提取模型，该多层域适应火星小尺寸撞击坑提取模型包括以下步骤：

步骤一：源域遥感影像和目标域遥感影像输入网络，目标检测器的主干特征网络提取行星遥感影像关键特征；

步骤二：图像层域适应模块将源域与目标域的特征对齐及无锚框兴趣区域提取模块提取候选撞击坑目标；

步骤三：优化模块优化候选撞击坑的目标框参数，同时提取候选框对应的遥感影像局部关键特征进行实例层域适应。

在本实施例中，一种交叉注意力引导的多层域适应火星小尺寸撞击坑提取模型包含两个输入，分别为有标注的源域数据和无标注的目标域数据，源域数据集记为

关键特征提取：关键特征是用于后续撞击坑目标定位、分类的关键信息，VGG,ResNet是常用的主干特征提取网络，通过采用4层卷积组合作为特征提取器，记为G，G每一层卷积由一个2维卷积操作，h-swish和批归一化层组成，G自上而下每层对图像进行1次下采样，共下采样4次，每次下采样图像变为原来的1/2，通道变为原来的2倍，则G

提取候选撞击坑目标：为提供有效的建议框，传统候选框生成网络(RegionProposal Network，RPN)采用最大召回率策略尽可能多的提取候选框，导致候选框存在大量非撞击坑目标，这在一定程度上影响了实例层源域与目标域特征对齐的有效性，通过采用一种无锚框的候选撞击坑生成方法，该方法首先输入特征建模为中心点热力图，然后从中心点热力图中查找目标中心位置，并从中心点位置回归目标框参数，其中，中心点热力图真值可以表达为二维高斯函数

训练阶段，该阶段的损失函数可以表达为：

L

其中，

其中，

其中，

其中，

源域与目标域的图像层域适应：源域与目标域的图像层域适应是将混淆源域与目标域特征，使二者具有一致性，继而在无标注的目标域也能检测撞击坑，首先，输入数据为源域数据和目标域数据，然后源域数据由内嵌函数q,k,v，映射到向量特征空间，映射后的特征为q

单向交叉注意力机制包含两个注意力方程，残差连接以及层级归一化函数(LN)，其中，注意力方程分别为自注意力方程和交叉注意力方程，第l层的单向交叉注意力机制计算过程可公式化为：

其中，

q,k,v为内嵌函数，本文采用三个1×1×C的卷积，q(Z),k(Z),v(Z)∈R

双向交叉注意力机制以单向交叉注意力机制输出特征作为输入，计算流程与单向交叉注意力机制相似，但f

最终，图像层域适应输出的注意力特征为：

候选目标框优化：候选目标框优化以关键特征提取模块G提取到的特征和RPN生成的候选目标框作为输入，输出优化后的目标框及目标框对应的类别，在此阶段，通过采用Faster RCNN的优化回归分支的优化策略，首先计算建议框与真值目标框的交并比，若IOU大于0.5，则归类为正样本，小于0.5则归类为负样本，重采样获取的建议框使得正负样本均衡，重采样后的建议框具有不同尺寸，为了获得实例特征，通过采用ROI Align将建议框池化为相同尺寸的特征，然后将池化后的特征采用两层全连接层对建议框的分类和尺寸进行调整，该阶段，Smooth L1 loss作为分类损失函数，CIoU作为目标框预测损失函数；

其中x为预测值，

其中，ρ

图1最后一列展示了候选目标框优化流程，对于有标注的源域，训练过程与上述描述一致，但目标域由于缺少真值标注数据，无法对候选框重采，源域和目标域获取到的兴趣特征将在实例层进一步进行对抗域适应，以对齐源域和目标域特征；

综上，目标检测阶段的总体Loss为：

L

实例层域适应：图像层域适应阶段，使用注意力机制增强对撞击坑特征的关注度，但复杂的背景噪声和撞击坑形态仍然会影响源域与目标域特征对齐结果，因此，在实力层将实例特征对齐，进一步减弱域间差异，但是，ROI Align获得的实例特征既包含撞击坑也包含大量非撞击坑，为此，本节基于前景和背景感知的方法排除背景目标，然后再对齐前景实例特征，通过将实例特征记为A＝R(G(x

上文一般性的对本发明做了详尽的描述，但在本发明基础上，可以对之做一些修改或改进，这对于技术领域的一般技术人员是显而易见的。因此，在不脱离本发明思想精神的修改或改进，均在本发明的保护范围之内。