一种城市建筑物类型变化遥感检测方法

技术领域

本发明涉及建筑物类型变化遥感检测方法技术领域，特别是一种城市建筑物类型变化遥感检测方法。

背景技术

城市区域，建筑物变化是城市化进程的重要体现，在改变地表覆盖的同时直接影响着人们利用土地的方式。获取精准的城市建筑物变化信息，包括区域变化和类型变化，是掌握城市土地利用现状的基本信息，也是城市可持续发展规划的基础数据支撑。此外，在建筑物个体尺度上，自动地识别建筑物变化信息，有助于地理国情监测工程中建筑物变化统计工作的开展。而传统的建筑物类型变化信息只能依靠人工测绘或者人工目视解译获得，耗时耗力。

随着遥感技术的不断发展，遥感影像的空间分辨率不断提高，高空间分辨率的遥感影像为精细化的建筑物变化识别带来机会。目前的建筑物变化检测方法主要通过直接提取影像特征，然后通过复杂的特征学习方式以识别变化信息等，不可避免的受到拍摄视角、影像偏移等影响所带来的伪变化干扰，将伪变化信息错误的识别为真实的建筑物变化。此外，现有的遥感影像的建筑物变化自动检测方法仅关注建筑物区域变化信息，难以有效地识别建筑物的类型变化信息。因此如何同时识别建筑物区域变化和类型变化，并有效地减缓伪变化等噪声所带来的影响，是当前亟待解决的问题。本方法通过深度学习技术实现建筑物类型变化自动、精准检测。

发明内容

有鉴于此，本发明的目的在于提供一种城市建筑物类型变化遥感检测方法，克服了传统方法无法识别建筑物类别变化信息，且识别结果存在明显伪变化的问题。

为实现上述目的，本发明采用如下技术方案：一种城市建筑物类型变化遥感检测方法，包括以下步骤：

步骤S1：获取研究区的双时相高分辨率遥感影像，并对影像进行预处理操作，包括辐射校正、正射校正、影像融合、影像重采样等操作；

步骤S2：构建基于Swim Transformer的语义分割任务模块，提取多尺度双时相影像特征，学习建筑物特征信息；具体的，利用多尺度学习，以缓解单一尺度学习中小尺度几何特征表征能力弱，大尺度语义特征表征能力弱的问题，提升语义分割任务的精度；并对双时相影像同一尺度特征进行对比损失计算，通过对比损失优化，减小真实变化特征之间的相似性，扩大伪变化特征之间的相似性；结合多尺度缓解单尺度中无法同时顾及语义特征与几何特征表征能力的问题，突出真实变化信息；

步骤S3：构建基于Swim Transformer的变化检测任务模块，提取影像变化特征，学习影像之间的变化信息；基于多任务思想，分别构建双时相多类别建筑物类型变化图与二值变化变化图解码器；

步骤S4：设计针对双时相影像建筑物变化的语义边界损失和二值变化损失；具体地，多分类语义分割任务中采用加权损失减缓训练过程中建筑物类型数量不均衡的问题；

步骤S5：制作多类别建筑物变化样本集，将建筑物划分为未变化建筑物、离散建筑物，简易单用途建筑物，复杂多用途建筑物以及居民楼；对双时相影像进行滑动裁剪和样本增强操作，构建训练和验证样本集；

步骤S6：模型训练与预测，最终获得双时相影像的建筑物类型变化图与变化区域二值图。

在一较佳的实施例中，步骤S1中具体包括以下步骤：

步骤S11：选择待研究区两个不同时相的高分辨率遥感影像，分别对双时相影像进行预处理，包括大气、辐射校正、全色-多光谱融合等操作；

步骤S12：基于S11获取的双时相影像进行地理配准、风格迁移等操作，并对不同分辨率的影像进行重采样至相同的分辨率，提高图像处理效率。

在一较佳的实施例中，步骤S2中具体包括以下步骤：

步骤S21：选择Swim Transformer为基础网络，主要包含图像融合、下采样模块、掩码模块和多头移动窗口注意力计算模块；

步骤S22：基于孪生多任务网络学习框架，构建语义分割和变化检测两大模块，使用两个权值共享的多层注意力网络对双时相影像特征进行编码，同时学习影像中建筑物边界及其类型信息；

步骤S23：基于步骤S22提取到的多尺度特征，构建多尺度对比损失；具体的，相比于单尺度，多尺度可以同时顾及影像建筑几何特征与纹理特征的表征能力；通过对比损失计算减小真实变化特征之间的相似性，扩大伪变化特征之间的相似性，以缓解影像中的伪变化影响，主要做法如下：

采用余弦相似度计算基于通道方向上的多尺度相似性，计算公式如下：

式中，A，B分别为T

构建特征距离D差阈值生成伪标签，经试验，采用同一个网络提取同一类建筑物时特征D差在0.1～0.4，提取不同类建筑物时特征D差在0.6～0.9；最后D差阈值采用基础阈值与可学习阈值组成，基础阈值为0.5，可学习阈值由二值变化图的标签学习；伪标签反应通道方向上的特征变化；

基于上述步骤可以得到特征对应的建筑物信息是否变化的伪标签；基于伪标签构建多尺度特征损失计算函数；利用多尺度特征差将提取到的变化特征进行扩距，伪变化或未变化特征进行缩距，进而突出变化信息与未变化信息；损失计算工具如下：

l

式中D为S32中的计算结果，l

在一较佳的实施例中，步骤S3中具体包括以下步骤：

步骤S31：基于步骤S2中提取的双时相影像多尺度特征，构建基于SwimTransformer的变化特征编码器，获得到时相影像的变化特征；

步骤S32：基于孪生多任务学习思想，构建基于多尺度建筑物特征的双时相建筑物多分类解码器，构建基于影像变化特征的二值掩膜解变化图解码器；主要包含多尺度特征融合模块，在解码过程中融合多尺度信息，避免信息丢失。

在一较佳的实施例中，步骤S4中具体包括以下步骤：

步骤S41：基于步骤S2、S3构建的孪生多任务网络模型，设计多任务损失函数，优化网络权值，以减少预测误差；具体地，采用多分类交叉熵损失计算双时相建筑物多分类语义分割的损失，计算公式如下：

式中l

步骤S42：采用加权对比损失计算二值变化掩膜损失；计算公式如下：

l

l

式中：l

步骤S43：采用加权余弦相似度损失进一步突出变化信息；计算公式如下：

式中：l

步骤S44：基于步骤S41、S42、S43构建的多个损失函数，采用加权相加的方式得到网络的总损失：

l

式中：l

在一较佳的实施例中，步骤S5中具体包括以下步骤：

步骤S51：基于步骤S1预处理后的影像数据，选择常用的标签制作方法，如ArcGIS软件内置的面矢量构建方法，人工目视解译双时相变化建筑物的语义边界，并对单个建筑物并添加字段信息，以不同的像素值表示不同类型建筑物，包括未变化建筑物、离散建筑物，简易单用途建筑物，复杂多用途建筑物以及居民楼；

步骤S52：基于步骤S51，将矢量标签数据导出为单通道的栅格数据，并带有投影与仿射信息，以便将预测结果矢量化；

步骤S53：基于S51、S52构建的样本数据集，采用滑动窗口的方式将数据裁剪为S×S像素大小，筛选变化建筑物占比在20％～80％的裁剪图；按一定比例划分训练集、验证集、测试集；为了增强模型的泛化能力，对双时相图像同步采用水平、垂直翻转、仿射变化等方式扩大训练样本数据集；

步骤S54：采用SGD优化器并设置初始学习率lr作为变化建筑分割与二值变化掩膜预测的优化器；

步骤S55：使用在大数据集ImageNet上预训练的注意力模型中的模块来初始化网络模型权重，以加快模型收敛速度，提高模型训练效率，得到较优的模型权重文件。

在一较佳的实施例中，步骤S6具体包括以下步骤：

步骤S61：基于步骤S5获取的样本集，设置合理的迭代次数、学习率、优化器参数等超参数训练模型，储存在验证集中效果最佳的权值文件；

步骤S62：基于步骤S61获取的权值文件，对测试集中的影像进行预测，利用二值掩膜图裁剪双时相变化建筑物预测结果；并采用颜色索引与将其转换为rgb影像，添加仿射信息与投影信息得到最后的预测结果。

与现有技术相比，本发明具有以下有益效果：不仅能检测建筑物区域的变化，还能检测建筑物类型的变化。构建基于孪生神经网络的Swim Transformer学习图像建筑物特征与变化特征，相比卷积神经网络，提升特征提取过程中的全局感知能力；采用多尺度特征相融合的解码方式能有效的缓解在多层级网络在传递过程中的特征损失；此外，为了使得孪生网络中提取到的双时相影像中真实变化特征信息间距大，未变化或伪变化特征信息间距小，采用多尺度对比损失进行优化，使得网络更加能区分真实变化信息与伪变化或未变化信息；此外，添加加权对比损失进一步优化网络对变化信息的提取，采用联合损失函数综合优化网络，最后形成端到端的网络提升了变化检测效率，为城市快速发展进程中城市建筑物遥感变化检测提供技术支撑。

附图说明

图1为本发明优选实施例的方法流程示意图；

图2为本发明优选实施例的研究区变化参考图(一)；

图3为本发明优选实施例的研究区变化参考图(二)。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种基于孪生多任务网络和多尺度特征对比学习的城市建筑物类型变化遥感检测方法，参考图1-3，包括以下步骤：

步骤S1：获取研究区的双时相高分辨率遥感影像，并对影像进行预处理操作，包括辐射校正、正射校正、影像融合、影像重采样等操作；

步骤S2：构建基于Swim Transformer的语义分割任务模块，提取多尺度双时相影像特征，学习建筑物特征信息。具体的，利用多尺度学习，以缓解单一尺度学习中小尺度几何特征表征能力弱，大尺度语义特征表征能力弱的问题，提升语义分割任务的精度。并对双时相影像同一尺度特征进行对比损失计算，通过对比损失优化，减小真实变化特征之间的相似性，扩大伪变化特征之间的相似性，结合多尺度缓解单尺度中无法同时顾及语义特征与几何特征表征能力的问题。突出真实变化信息。

步骤S3：构建基于Swim Transformer的变化检测任务模块。提取影像变化特征，学习影像之间的变化信息。基于多任务思想，分别构建双时相多类别建筑物类型变化图与二值变化变化图解码器。

步骤S4：设计针对双时相影像建筑物变化的语义边界损失和二值变化损失。具体地，多分类语义分割任务中采用加权损失减缓训练过程中建筑物类型数量不均衡的问题。

步骤S5：制作多类别建筑物变化样本集，将建筑物划分为未变化建筑物、离散建筑物，简易单用途建筑物，复杂多用途建筑物以及居民楼。对双时相影像进行滑动裁剪和样本增强操作，构建训练和验证样本集；

步骤S6：模型训练与预测，最终获得双时相影像的建筑物类型变化图与变化区域二值图。

在本实施例中，步骤S1具体包括以下步骤：

步骤S11：选择待研究区两个不同时相的高分辨率遥感影像，分别对双时相影像进行预处理，包括大气、辐射校正、全色-多光谱融合等操作；

步骤S12：基于S11获取的双时相影像进行地理配准、风格迁移等操作，并对不同分辨率的影像进行重采样至相同的分辨率，提高图像处理效率。

在本实施例中，步骤S2中具体还包括以下步骤：

步骤S21：选择Swim Transformer为基础网络，主要包含图像融合、下采样模块、掩码模块和多头移动窗口注意力计算模块。

步骤S22：基于孪生多任务网络学习框架，构建语义分割和变化检测两大模块，使用两个权值共享的多层注意力网络对双时相影像特征进行编码，同时学习影像中建筑物边界及其类型信息。

步骤S23：基于步骤S22提取到的多尺度特征，构建多尺度对比损失。具体的，相比于单尺度，多尺度可以同时顾及影像建筑几何特征与纹理特征的表征能力。通过对比损失计算减小真实变化特征之间的相似性，扩大伪变化特征之间的相似性，以缓解影像中的伪变化影响，主要做法如下：

采用余弦相似度计算基于通道方向上的多尺度相似性，计算公式如下：

式中，A，B分别为T

构建特征距离D差阈值生成伪标签，经试验，采用同一个网络提取同一类建筑物时特征D差在0.1～0.4，提取不同类建筑物时特征D差在0.6～0.9。最后D差阈值采用基础阈值与可学习阈值组成，基础阈值为0.5，可学习阈值由二值变化图的标签学习。伪标签反应通道方向上的特征变化。

基于上述步骤可以得到特征对应的建筑物信息是否变化的伪标签。基于伪标签构建多尺度特征损失计算函数。利用多尺度特征差将提取到的变化特征进行扩距，伪变化或未变化特征进行缩距，进而突出变化信息与未变化信息。损失计算工具如下：

l

式中D为S32中的计算结果，l

在本实施例中，步骤S3中具体还包括以下步骤：

步骤S31：基于步骤S2中提取的双时相影像多尺度特征，构建基于SwimTransformer的变化特征编码器，获得到时相影像的变化特征。

步骤S32：基于孪生多任务学习思想，构建基于多尺度建筑物特征的双时相建筑物多分类解码器，构建基于影像变化特征的二值掩膜解变化图解码器。主要包含多尺度特征融合模块，在解码过程中融合多尺度信息，避免信息丢失。

在本实施例中，步骤S4具体包括以下步骤：

步骤S41：基于步骤S2、S3构建的孪生多任务网络模型，设计多任务损失函数，优化网络权值，以减少预测误差。具体地，采用多分类交叉熵损失计算双时相建筑物多分类语义分割的损失，计算公式如下：

式中l

步骤S42：采用加权对比损失计算二值变化掩膜损失。计算公式如下：

l

l

式中：l

步骤S43：采用加权余弦相似度损失进一步突出变化信息。计算公式如下：

式中：l

步骤S44：基于步骤S41、S42、S43构建的多个损失函数，采用加权相加的方式得到网络的总损失：

l

式中：l

在本实施例中，步骤S5具体包括以下步骤：

步骤S51：基于步骤S1预处理后的影像数据，选择常用的标签制作方法，如ArcGIS软件内置的面矢量构建方法，人工目视解译双时相变化建筑物的语义边界，并对单个建筑物并添加字段信息，以不同的像素值表示不同类型建筑物，包括未变化建筑物、离散建筑物，简易单用途建筑物，复杂多用途建筑物以及居民楼。

步骤S52：基于步骤S51，将矢量标签数据导出为单通道的栅格数据，并带有投影与仿射信息，以便将预测结果矢量化；

步骤S53：基于S51、S52构建的样本数据集，采用滑动窗口的方式将数据裁剪为S×S像素大小，筛选变化建筑物占比在20％～80％的裁剪图。按一定比例划分训练集、验证集、测试集。为了增强模型的泛化能力，对双时相图像同步采用水平、垂直翻转、仿射变化等方式扩大训练样本数据集；

步骤S54：采用SGD优化器并设置初始学习率lr作为变化建筑分割与二值变化掩膜预测的优化器；

步骤S55：使用在大数据集ImageNet上预训练的注意力模型中的模块来初始化网络模型权重，以加快模型收敛速度，提高模型训练效率，得到较优的模型权重文件。

在本实施例中，步骤S6具体包括以下步骤：

步骤S61：基于步骤S5获取的样本集，设置epoch数量为50，设置合理的学习率、优化器参数等超参数训练模型，储存在验证集上效果最佳的权值文件。

步骤S62：基于步骤S61获取的权值文件，对测试集中的影像进行预测，利用二值掩膜图裁剪双时相变化建筑物预测结果。并采用颜色索引与将其转换为rgb影像，并添加仿射信息与投影信息得到最后的预测结果。

在本实实例中，使用福建省泉州市主城区为研究对象，利用2017年和2020年研究区GF-2共两个时期的高分辨率遥感影像数据对研究区内重点扰动区域进行建筑物变化检测，使用红、绿、蓝三波段。本实例使用了2380张像素大小为256×256的影像和对应的标注数据用于模型训练，共分为5类建筑物，包括未变化建筑物、离散建筑物，简易单用途建筑物，复杂多用途建筑物以及住宅公寓。图2为详细的对比结果，图2中包含T1和T2的高分影像，以及对应的实际标签和模型预测结果，结合模型预测图与标签可知本模型不仅可以检测边界变化还可以获取变化类型。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。