基于双向生成的跨异质域小样本学习高光谱变化检测方法

技术领域

本发明属于数字图像处理方法，尤其涉及一种基于双向生成的跨异质域小样本学习高光谱变化检测方法。

背景技术

遥感影像变化检测是一种通过比较同一场景在不同时间获得的一组影像来识别地表差异的重要技术，在土地资源普查，城区发展规划，植被生态监测，环境检测等多个领域发挥着重要作用，有着极其广泛的应用前景。

高光谱影像中包含许多连续的波段，并且其中蕴含丰富的光谱和空间信息，极大提高了对于地表覆盖的探测和识别的能力，为更精细的地物变化检测提供可能，故越来越多的变化检测任务尝试使用高光谱影像来实现。然而，高光谱影像变化检测任务存在着标记样本有限的问题。高光谱影像的手动注释通常需要土地覆盖专家进行实地的勘察，大大增加了样本标注的成本和时间。在实际应用中，收集大量的标记训练样本往往是不切实际的，通常只有少量标记样本可用，阻碍了模型的有效训练。

目前，基于无监督的变化检测方法因不需要任何手动标记信息而受到关注。在网络的无监督训练过程中，生成伪标签样本用以训练的方法是一个重要的研究方向。虽然较传统变化检测网络在检测精度上有了一定的提升，但生成的伪标签通常会与真实的标记数据集存在差异，这种差异会干扰模型的训练，使模型难以捕捉复杂的变化，这在很大程度上影响了最终检测结果的精度。近年来，小样本学习因其致力于从极少的标记数据中学习整个场景的特征，训练过程对于样本量的依赖性较小而被高光谱影像处理领域所重视。但若没有经验知识的积累和大量相关数据知识的转化，仅依靠有限个样本无法完全学习整个数据集的特征，在预测一些未见数据时会导致其与真实情况具有较大偏差，很难训练出高性能的模型，并且少样本极易导致模型过拟合。因此，迄今为止，并未有小样本学习应用于高光谱影像变化检测的相关报道。

发明内容

本发明是为了解决现有技术所存在的上述问题，提供一种基于双向生成的跨异质域小样本学习高光谱变化检测方法。

本发明的技术解决方案是：一种基于双向生成的跨异质域小样本学习高光谱变化检测方法，依次按照如下步骤进行：

步骤1.对源域多光谱双时相影像

步骤1.1将T1时相的多光谱影像

步骤1.2将待检测的T1时相的高光谱影像

步骤1.3从高光谱差值影像数据块X

步骤1.4多光谱差值影像数据块X

步骤2.设置网络迭代总次数为T；

步骤3.将源域多光谱影像训练集样本及目标域高光谱影像训练集样本分别以

步骤3.1利用映射层统一源域多光谱影像训练集D

步骤3.2利用网络对x′

步骤3.2.1利用多任务生成编码器中的残差网络，分别对源域训练集样本x′

步骤3.2.2利用多任务生成编码器中的编码器网络，对提取到的特征F

步骤3.3利用源域与目标域提取到的空谱联合特征F

步骤3.3.1当epoch％2≠0时，对源域进行小样本学习：

步骤3.3.1.1从源域提取到的特征F

步骤3.3.1.2利用公式(1)得到源域查询集的类分布p

式中c

步骤3.3.1.3将查询集的类分布p

步骤3.3.1.4计算所有查询集样本的分类结果概率与Y

步骤3.3.2当epoch％2＝＝0时，对目标域进行小样本学习：

步骤3.3.2.1从目标域提取到的特征F

步骤3.3.2.2利用公式(1)得到目标域查询集的类分布p

步骤3.3.2.3将目标域查询集的类分布p

步骤3.3.2.4计算所有查询集样本的分类结果概率与Y

步骤3.4利用源域与目标域重构的特征分布p

步骤3.4.1当epoch％2≠0时，以源域特征分布为基准进行域适应：

步骤3.4.1.1通过鉴别器对重构的特征分布p

和

其中D

步骤3.4.2当epoch％2＝＝0时，以目标域特征分布为基准进行域适应：

步骤3.4.2.1通过鉴别器对重构的特征分布p

和

其中D

步骤3.5若epoch>T，则得到训练完毕的多任务生成编码器，进行步骤4，否则，基于CELoss联合基于Wasserstein距离的GANLoss值利用Adam反向误差传播算法和预测损失函数更新网络参数，转入步骤3.1；

步骤4.提取高光谱影像测试集D

本发明首先定义一个映射层，将源域与目标域不同维度的影像块统一至同一维度；其次，依据所提出的多任务生成编码器，对两个域的影像块进行空谱联合特征的提取，并将提取到的特征映射到一个度量空间，在度量空间中通过距离度量进行跨异质域小样本学习，从而实现高光谱影响变化检测。本发明通过双向生成域适应与跨异质域小样本学习，在源域多光谱影像数据的协助下实现小样本条件下高光谱影像变化检测，可降低模型训练对于标记样本数量的依赖，同时缓解了因捕获数据的传感器不同以及跨域的场景差异所带来异质域数据固有的域偏移问题，实现源域可共享信息的有效迁移以协助高光谱影像在小样本条件下实现高质量的变化检测，提高检测精度及可视效果。

附图说明

图1是本发明实施例的步骤图。

图2为本发明方法与现有技术的可视化检测结果与OA、KAPPA两项客观评价指标结果对比图。

具体实施方式

本发明的一种基于双向生成的跨异质域小样本学习高光谱变化检测方法如图1所示，分别有训练步骤和测试步骤，依次按照如下步骤进行：

步骤1.对源域多光谱双时相影像

步骤1.1将T1时相的多光谱影像

步骤1.2将待检测的T1时相的高光谱影像

步骤1.3从高光谱差值影像数据块X

步骤1.4多光谱差值影像数据块X

步骤2.设置网络迭代总次数为T；

步骤3.将源域多光谱影像训练集样本及目标域高光谱影像训练集样本分别以

步骤3.1利用映射层统一源域多光谱影像训练集D

步骤3.2利用网络对x′

步骤3.2.1利用多任务生成编码器中的残差网络，分别对源域训练集样本x′

步骤3.2.2利用多任务生成编码器中的编码器网络，对提取到的特征F

步骤3.3利用源域与目标域提取到的空谱联合特征F

步骤3.3.1当epoch％2≠0时，对源域进行小样本学习：

步骤3.3.1.1从源域提取到的特征F

步骤3.3.1.2利用公式(1)得到源域查询集的类分布p

式中c

步骤3.3.1.3将查询集的类分布p

步骤3.3.1.4计算所有查询集样本的分类结果概率与Y

步骤3.3.2当epoch％2＝＝0时，对目标域进行小样本学习：

步骤3.3.2.1从目标域提取到的特征F

步骤3.3.2.2利用公式(1)得到目标域查询集的类分布p

步骤3.3.2.3将目标域查询集的类分布p

步骤3.3.2.4计算所有查询集样本的分类结果概率与Y

步骤3.4利用源域与目标域重构的特征分布p

步骤3.4.1当epoch％2≠0时，以源域特征分布为基准进行域适应：

步骤3.4.1.1通过鉴别器对重构的特征分布p

和

其中D

步骤3.4.2当epoch％2＝＝0时，以目标域特征分布为基准进行域适应：

步骤3.4.2.1通过鉴别器对重构的特征分布p

和

其中D

步骤3.5若epoch>T，则得到训练完毕的多任务生成编码器，进行步骤4，否则，基于CELoss联合基于Wasserstein距离的GANLoss值利用Adam反向误差传播算法和预测损失函数更新网络参数，转入步骤3.1；

步骤4.提取高光谱影像测试集D

将本发明实施例、现有的DCFSL方法及S3Net方法以LEVIR_CD数据集中一张影像作为源域，对Bay Area数据集和Farmland数据集的部分处理结果(包括可视化检测结果图与OA和KAPPA两项客观评价指标结果)对比，结果如图2所示。

对比结果表明：

本发明较DCFSL方法、S3Net方法在绝大多数情况下能够获得更加准确的检测结果，具体如下：

1.对检测目标的整体性把握上，本发明的检测结果整体上看噪点较少，结果较为干净，即对变化和不变的区域的误检率均较低。在Bay Area数据集上，与同样是跨域的DCFSL方法相比结果更优，性能差距的原因分析为DCFSL针对域偏移问题使用条件对抗域适应的方法对域方差进行建模，仅以一个域的分布为基准为模型引入源域与目标域分布的关联信息，使得模型进行域适应的过程极易过拟合，导致域分布对齐产生较大偏差，而本发明则以两个域的分布同时作为基准进行域适应，在双向生成的过程中更准确完成域分布对齐，有利于源域数据知识的迁移，可以更好地利用源域的信息协助模型学习目标域的变化区域与不变区域的特征，获得更准确的变化检测结果。而对于S3Net方法，它受PCA波段选择的数量和Patch大小这些设置的影响，在不同的数据集上取得的结果相差较大，并且没有经验知识的积累和大量相关数据知识的转化，仅依靠目标域有限个样本难以捕捉整个数据集的特征，这在很大程度上影响了最终检测结果的精度，而本发明利用基于元学习策略的跨异质域小样本学习，可以从源域数据中发现可迁移的知识，这有助于目标域数据进行预测。

2.对检测目标边缘处的错分与误分，本发明在检测目标的边缘处的表现均优于其他两种检测方法，尤其在Farmland数据集上表现得尤为明显，其他两种检测方法在检测边缘处错分率高，不够连续，边缘保持性较差，对于变化与不变区域的交界位置处的误检率较高，难以捕捉细微的变化，而本发明的结果中变化区域的边缘相对平整更加连续，噪点更少，能更为完整地保留被检测目标的形状，得到与GT真值图在主观视觉上更匹配的结果，不仅在主观结果检测图上显著优于其余两种方法，在客观评价指标OA值亦较其余两种方法高出许多，分别为7.11％、28.14％，和1.27％、7.2％。