建筑物变化检测方法、装置、电子设备及存储介质

技术领域

本发明涉及遥感技术领域，尤其涉及一种建筑物变化检测方法、装置、电子设备及存储介质。

背景技术

建筑物属于人类居住活动的主要场所和典型人工地理目标，建筑物的动态监测，对于数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等方面发挥了关键作用，具有重要的科学意义与实用价值。

现有技术中，可以基于深度学习技术进行自动化的建筑物变化检测。但是，现有技术中的建筑物变化检测方法通常仅能对建筑物是否发生变化进行检测，难以确定发生变化的建筑物的变化类型。

发明内容

本发明提供一种建筑物变化检测方法、装置、电子设备及存储介质，用以解决现有技术中难以确定发生变化的建筑物的变化类型的缺陷，实现在检测到建筑物发生了变化的基础上，进一步确定发生变化的建筑物的变化类型。

本发明提供一种建筑物变化检测方法，包括：

获取待检测影像，所述待检测影像包括目标区域的前时相遥感影像和所述目标区域的后时相遥感影像；

将所述待检测影像输入建筑物变化检测模型，获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果；

其中，所述待检测影像的建筑物变化检测结果包括目标建筑物的信息以及所述目标建筑物的变化类型，所述目标建筑物为所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像中发生变化的建筑物，所述变化类型包括新增建筑物、拆除建筑物和改建建筑物；

所述建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，所述样本影像基于样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像获得，所述样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及所述样本建筑物的变化类型，所述样本建筑物包括样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像中发生变化的建筑物。

根据本发明提供的一种建筑物变化检测方法，所述建筑物变化检测模型，包括：孪生编码器、特征金字塔模块、特征差异增强模块和解码器；

所述将所述待检测影像输入建筑物变化检测模型，获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果，包括：

将所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像输入孪生编码器，由所述孪生编码器分别对目标区域的前时相遥感影像和所述目标区域的后时相遥感影像进行特征提取，进而获取所述孪生编码器输出的每一目标空间尺度的第一特征图和每一所述目标空间尺度的第二特征图，各所述第一特征图与所述目标区域的前时相遥感影像对应，各所述第二特征图与所述目标区域的后时相遥感影像对应；

将每一所述第一特征图和每一所述第二特征图输入特征金字塔模块，由所述特征金字塔模块分别对每一所述第一特征图和每一所述第二特征图进行空间细节恢复，进而获取所述特征金字塔模块输出的每一所述目标空间尺度的第三特征图和每一所述目标空间尺度的第四特征图；

将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块，由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征，并对提取到的差异特征进行特征增强，进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图；

将每一所述特征差异增强图输入所述解码器，由所述解码器对各所述特征差异增强图进行解密和分类，进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果。

根据本发明提供的一种建筑物变化检测方法，所述特征差异增强模块，包括：差异分支单元、连接分支单元和第一特征融合单元；

所述将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块，由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征，并对提取到的差异特征进行特征增强，进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图，包括：

将各所述第三特征图和各所述第四特征图输入所述差异分支单元，由所述差异分支单元对每一所述目标空间尺度的第三特征图和第四特征图进行归一化相减，获得每一所述目标空间尺度的特征差异图之后，对每一所述目标空间尺度的特征差异图进行通道维压缩空间维激励以及激活函数激活，获得每一所述目标空间尺度的特征差异注意图，进而获取所述差异分支单元输出的每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意力图，

将每一所述第三特征图和每一所述第四特征图输入所述连接分支单元，由所述连接分支单元按照通道维度对各所述第三特征图和各所述第四特征图进行叠加，获得叠加特征图之后，对所述叠加特征图进行池化计算，获得原始特征向量，通过卷积计算对所述原始特征向量进行压缩，获得压缩后的原始特征向量，通过空间维压缩通道维激励对所述压缩后的原始特征向量进行激励，获得目标特征向量，进而获取所述连接分支单元输出的目标特征向量；

将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元，由所述第一特征融合单元基于所述目标特征向量，对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元，获得每一所述目标空间尺度的特征差异增强图。

根据本发明提供的一种建筑物变化检测方法，所述将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元，由所述第一特征融合单元基于所述目标特征向量，对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元，获得每一所述目标空间尺度的特征差异增强图，包括：

将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元，由所述第一特征融合单元对所述目标特征向量进行归一化之后，分别对归一化后的目标特征向量和每一所述目标空间尺度的特征差异注意图进行特征融合，获得每一所述目标空间尺度的特征融合图之后，分别对每一所述目标空间尺度的特征融合图与特征差异图进行特征融合，获得每一所述目标空间尺度的特征差异增强图。

根据本发明提供的一种建筑物变化检测方法，所述孪生编码器是EfficientNet-B0网络构建的。

根据本发明提供的一种建筑物变化检测方法，所述解码器，包括：解码单元、上采样单元和第二特征融合单元，所述上采样单元包括目标数量个级联的上采样块；

所述将每一所述特征差异增强图输入所述解码器，由所述解码器对各所述特征差异增强图进行解密和分类，进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果，包括：将每一所述特征差异增强图输入所述解码单元，由所述解码单元将每一所述特征差异增强图恢复至原始尺寸，进而获得所述解码单元输出的每一修正特征差异增强图，所述原始尺寸为所述目标区域的前时相遥感影像或所述目标区域的后时相遥感影像的尺寸；

将每一所述修正特征差异增强图输入所述上采样单元，获取所述上采样单元输出的每一所述目标空间尺度对应的原始建筑物变化检测结果；

将每一所述目标空间尺度对应的原始建筑物变化检测结果输入所述第二特征融合单元，获取所述第二特征融合单元输出的所述待检测影像的建筑物变化检测结果。

根据本发明提供的一种建筑物变化检测方法，所述建筑物变化检测模型是基于如下步骤训练的得到的：

对所述样本区域的前时相遥感影像和所述样本区域的后时相遥感影像进行图像预处理，获得所述样本区域的前时相校正遥感影像和所述样本区域的后时相校正遥感影像，所述图像预处理包括几何校正、图像融合、图像配准、图像裁剪以及图像镶嵌中的至少一种；

为所述样本区域的前时相校正遥感影像或所述样本区域的后时相校正遥感影像中不同变化类型的样本建筑物标注不同的像素值，获取标注影像；

将所述样本区域的前时相校正遥感影像、所述样本区域的后时相校正遥感影像、所述标注影像均裁剪为预设尺寸之后，对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗，将数据清洗后保留的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影确定为样本影像，将数据清洗后保留的预设尺寸的标注影像确定为所述样本影像的建筑物变化检测结果；

对所述样本影像和所述样本影像的建筑物变化检测结果进行数据处理之后，将数据处理后的样本影像亦确定为样本影像，将数据处理后的样本影像的建筑物变化检测结果亦确定为所述样本影像的建筑物变化检测结果，所述数据处理包括水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊中的至少一种；

将所述样本影像作为训练样本，将所述样本影像的建筑物变化检测结果作为样本标签，对初始模型进行训练，获得所述建筑物变化检测模型。

本发明还提供一种建筑物变化检测装置，包括：

影像获取模块，用于获取待检测影像，所述待检测影像包括目标区域的前时相遥感影像和所述目标区域的后时相遥感影像；

变化检测模块，用于将所述待检测影像输入建筑物变化检测模型，获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果；

其中，所述待检测影像的建筑物变化检测结果包括目标建筑物的信息以及所述目标建筑物的变化类型，所述目标建筑物为所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像中发生变化的建筑物，所述变化类型包括新增建筑物、拆除建筑物和改建建筑物；

所述建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，所述样本影像基于样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像获得，所述样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及所述样本建筑物的变化类型，所述样本建筑物包括样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像中发生变化的建筑物。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述建筑物变化检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述建筑物变化检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述建筑物变化检测方法。

本发明提供的建筑物变化检测方法、装置、电子设备及存储介质，通过将包括目标区域的前时相遥感影像和目标区域的后时相遥感影像的待检测影像输入建筑物变化检测模型之后，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果，待检测影像的建筑物变化检测结果包括目标区域的前时相遥感影像与目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型，能在对建筑物是否发生变化进行检测的基础上，进一步确定发生变化的建筑物的变化类型，从而能为数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等工作提供更准确、更具体的数据基础，进行建筑物变化检测的过程更简单、高效，能减少建筑物变化检测的人力和物力投入。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见的，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的建筑物变化检测方法的流程示意图；

图2是本发明提供的建筑物变化检测模型的结构示意图；

图3为本发明提供的建筑物变化检测方法中特征差异增强模块的结构示意图；

图4为本发明提供建筑物特征检测方法中解码器的结构示意图；

图5是本发明提供的建筑物变化检测装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，相关技术中早期的建筑物变化检测方法，主要是基于建筑物在遥感影像中独特的表现形式进行特征挖掘与比较，从而实现建筑物的变化检测。其中，建筑物特征主要包括：光谱特征、边缘特征、纹理特征、形状特征和形态学建筑物指数（MBI）等。

对不同时相的遥感影像之间进行特征度量方法主要包括：直接作差法、变化向量分析法（CVA）、聚类法、知识融合法等。例如，相关技术中，可以基于改进的MBI特征提取建筑物的特征后，基于CVA获取建筑物变化检测结果，提高了建筑物变化检测的精度；又例如，相关技术中还可以在遥感影像分割并获取遥感影像中的形状特征后，基于CVA计算不同时相的遥感影像的光谱、纹理和MBI特征差异，引入证据理论融合多特征信息，获取建筑物变化检测结果；又例如，相关技术中还可以根据建筑物发生变化和建筑物未变化的样本遥感影像，获取对应的光谱数据、纹理特征和灰度比值，采用SOM（Self-Organizing Map，自组织映射神经网络）无监督聚类方法完成高分辨率遥感影像的变化检测分析。

可以理解的是，光谱特征、边缘特征、纹理特征、形状特征和形态学建筑物指数（MBI）等特征均为人工设计的建筑物特征。但是，由于人工设计的建筑物特征难以涵盖变化建筑物的全部特征信息，导致上述早期的建筑物变化检测的精度和效率低下，难以用于高分辨率遥感影像的大面积快速建筑物变化检测中。

与人工设计的建筑物特征不同，深度卷积神经网络能够从海量的样本中学习遥感影像中各种地物目标包含有上下文关系的光谱信息和几何信息，归纳深度抽象特征，并引入非线性变换，从而完成自动化的建筑物变化检测。例如，相关技术中可以基于FC-EF、FC-Siam-Conc和FC-Siam-Diff三种基于卷积神经网络构建的建筑物变化检测模型，进而可以基于上述建筑物变化检测模型在高分辨率遥感影像数据集的基础上实现建筑物的变化检测；又例如，相关技术中还可以基于FC-Siam-Diff网络构建FC-Siam-Diff-PA网络，并嵌入金字塔注意算法来深入挖掘多尺度多层次的特征，相较于FC-Siam-Diff网络的检测精度更高；又例如，相关技术中针对FC系列中简单的特征相似性度量抵抗伪变化的能力有限的问题，利用了余弦距离的局部相似性注意模块，嵌入该模块的LSSNet在三种建筑物变化检测数据集上取得了较优的实验结果。

但是，上述基于深度卷积神经网络的传统的建筑物变化检测方法，通常仅能检测出不同时相的遥感影像中建筑物是否发生了变化，难以准确地确定不同时相的遥感影像中建筑物变化的类型信息。

并且，上述基于深度卷积神经网络构建的传统的建筑物变化检测模型，难以克服建筑物伪变化导致的模型性能下降的问题，导致上述传统的建筑物变化检测模型的检测精度下降。

另外，相关技术中对基于深度学习的端到端的建筑物变化检测方法的研究重点通常为如何提升模型的计算精度，忽略了对模型参数和计算效率优化的研究，因此，上述传统的建筑物变化检测方法难以在保证模型计算精度的基础上，提高模型的计算效率。

图1是本发明提供的建筑物变化检测方法的流程示意图。下面结合图1描述本发明的建筑物变化检测方法。如图1所示，该方法包括：步骤101、获取待检测影像，待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像。

需要说明的是，本发明实施例的执行主体为建筑物变化检测装置。

具体地，目标区域的前时相遥感影像和目标区域的后时相遥感影像，为本发明提供的建筑物变化检测方法的检测对象。基于本发明提供的建筑物变化检测方法，可以确定目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生了变化的目标建筑物以及上述目标建筑物的变化类型。

可以理解的是，目标区域的前时相遥感影像和目标区域的后时相遥感影像是利用遥感卫星采集得到的。目标区域的前时相遥感影像的采集时间，早于目标区域的后时相遥感影像的采集时间。

需要说明的是，目标区域的前时相遥感影像和目标区域的后时相遥感影像已完成配准，目标区域的前时相遥感影像和目标区域的后时相遥感影像的通道为蓝、绿、红和近红外四个波段。

目标区域的前时相遥感影像和目标区域的后时相遥感影像的均为预设尺寸，目标区域的前时相遥感影像和目标区域的后时相遥感影像中像素的行数和列数均相同。其中，上述预设尺寸可以是基于先验知识和/或实际情况确定的，例如上述预设尺寸可以为512像素×512像素。

本发明实施例中可以以目标区域的前时相遥感影像的左上角为坐标原点，沿目标区域的前时相遥感影像的上边界向左为X轴，沿目标区域的前时相遥感影像的左边界向下为Y轴，建立第一影像坐标系；以目标区域的后时相遥感影像的左上角为坐标原点，沿目标区域的后时相遥感影像的上边界向左为X轴，沿目标区域的后时相遥感影像的左边界向下为Y轴，建立第二影像坐标系。在上述第一影像坐标系和上述第二影像坐标系中坐标值相同的两个像素点，对应目标区域内相同的地理位置。

需要说明的是，本发明实施例中的目标区域、目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间，可以是基于实际需求确定的。本发明实施例中对目标区域、目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间不作具体限定。

本发明实施例中可以通过多种方式获取目标区域的前时相遥感影像和目标区域的后时相遥感影像，例如：可以通过数据查询的方式，获取目标区域的前时相遥感影像和目标区域的后时相遥感影像；或者，可以接收其他电子设备发送的目标区域的前时相遥感影像和目标区域的后时相遥感影像。

步骤102、将待检测影像输入建筑物变化检测模型，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果；

其中，待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型，目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物，变化类型包括新增建筑物、拆除建筑物和改建建筑物；

建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得，样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型，样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。

具体地，获取目标区域的前时相遥感影像和目标区域的后时相遥感影像之后，可以将目标区域的前时相遥感影像和目标区域的后时相遥感影像输入建筑物变化检测模型。

将目标区域的前时相遥感影像和目标区域的后时相遥感影像输入建筑物变化检测模型之后，建筑物变化检测模型可以对目标区域的前时相遥感影像和目标区域的后时相遥感影像进行建筑物变化检测，获取目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型，作为建筑物变化检测结果进行输出。

需要说明的是，目标建筑物的信息，可以包括目标区域的前时相遥感影像（或目标区域的后时相遥感影像）中上述目标建筑物所在区域的区域信息；其中，上述区域信息可以包括上述目标建筑物所在区域的边界上每一像素点在上述第一影像坐标系（或上述第二影像坐标系）中的坐标值，上述区域信息还可以包括上述目标建筑物所在区域内每一像素点在上述第一影像坐标系（或上述第二影像坐标系）中的坐标值。

可以理解的是，目标建筑物的信息和变化类型可以表示为像素坐标值与像素值的组合。其中，新增建筑物对应的像素值可以为“1”，拆除建筑物对应的像素值可以为“2”，改建建筑物对应的像素值可以为“3”。

可选地，目标建筑物的信息，还可以包括目标建筑物的标识信息、目标建筑物的矢量数据和目标建筑物的地理位置信息中的至少一个。其中，目标建筑物的矢量数据和目标建筑物的地理位置信息，可以是基于目标区域的前时相遥感影像（或目标区域的后时相遥感影像）中上述目标建筑物所在区域的区域信息确定的。

可选地，建筑物变化检测模型获取目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型之后，还可以通过标识框或不同颜色，在目标区域的前时相遥感影像和/或目标区域的后时相遥感影像中标注上述目标建筑物和上述目标建筑物的变化类型，进而可以将标注后的目标区域的前时相遥感影像和/或目标区域的后时相遥感影像作为建筑物变化检测结果进行输出。

需要说明的是，本发明实施例中可以基于样本区域的前时相遥感影像和样本区域的后时相遥感影像获得样本影像，并将上述样本影像作为样本，将上述样本影像的建筑物变化检测结果作为样本标签，对初始模型进行训练，获得训练好的建筑物变化检测模型。

作为一个可选地实施例，建筑物变化检测模型是基于如下步骤训练的得到的：对样本区域的前时相遥感影像和样本区域的后时相遥感影像进行图像预处理，获得样本区域的前时相校正遥感影像和样本区域的后时相校正遥感影像，图像预处理包括几何校正、图像融合、图像配准、图像裁剪以及图像镶嵌中的至少一种。

具体地，本发明实施例中可以通过多种方式获取样本区域的前时相遥感影像和样本区域的后时相遥感影像，例如：可以通过数据查询的方式，获取样本区域的前时相遥感影像和样本区域的后时相遥感影像；或者，可以接收其他电子设备发送的样本区域的前时相遥感影像和样本区域的后时相遥感影像。

可以理解的是，样本区域的前时相遥感影像和样本区域的后时相遥感影像是利用遥感卫星采集得到的。样本区域的前时相遥感影像的采集时间，早于样本区域的后时相遥感影像的采集时间。

需要说明的是，样本区域、样本区域的前时相遥感影像的采集时间以及样本区域的后时相遥感影像的采集时间，可以是基于先验知识和/或实际情况确定的。本发明实施例中对样本区域、样本区域的前时相遥感影像的采集时间以及样本区域的后时相遥感影像的采集时间不作具体限定。

需要说明的是，本发明实施例中将一张样本区域的前时相遥感影像和一张样本区域的后时相遥感影像确定为一组遥感影像，样本区域的前时相遥感影像和样本区域的后时相遥感影像可以包括多组。

需要说明的是，本发明实施例中的样本区域，可以与目标区域相同或不同。但是，样本区域的前时相遥感影像的采集时间，与目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间不同；样本区域的后时相遥感影像的采集时间，亦与目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间不同。

获取样本区域的前时相遥感影像和样本区域的后时相遥感影像之后，可以分别对样本区域的前时相遥感影像和样本区域的后时相遥感影像进行几何校正、图像融合、图像配准、图像采集以及图像镶嵌等图像预处理，获得样本区域的前时相校正遥感影像和样本区域的后时相校正遥感影像。

需要说明的是，样本区域的前时相遥感影像和样本区域的后时相遥感影像的尺寸相同，样本区域的前时相遥感影像和样本区域的后时相遥感影像中像素的行数和列数均相同。

为样本区域的前时相校正遥感影像或样本区域的后时相校正遥感影像中不同变化类型的样本建筑物标注不同的像素值，获取标注影像。

具体地，本发明实施例中可以通过目视解译的方式，在样本区域的前时相校正遥感影像中（或样本区域的后时相校正遥感影像）中确定样本建筑物所在的区域，进而可以通过目视解译的方式，确定样本建筑物的变化类型，并基于样本建筑物的变化类型，为前时相校正遥感影像中（或样本区域的后时相校正遥感影像）中样本建筑物所在的区域内的每一像素点标注不同的像素值。

需要说明的是，对于样本区域的前时相校正遥感影像和样本区域的后时相校正遥感影像中非样本建筑物所在的区域内的每一像素点，可以将上述每一像素点的像素值标注为“0”。

相应地，若任何一个样本建筑物的变化类型为新增建筑物，则可以将样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中上述样本建筑物所在区域内每一像素点的像素值标注为“1”；若任何一个样本建筑物的变化类型为拆除建筑物，则可以将样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中上述样本建筑物所在区域内每一像素点的像素值标注为“2”；若任何一个样本建筑物的变化类型为改建建筑物，则可以将样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中上述样本建筑物所在区域内每一像素点的像素值标注为“3”。并且，可以将样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中非样本建筑物所在区域内每一像素点的像素值标注为“0”，进而可以获得标注影像。

将样本区域的前时相校正遥感影像、样本区域的后时相校正遥感影像、标注影像均裁剪为预设尺寸之后，对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗，将数据清洗后保留的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影确定为样本影像，将数据清洗后保留的预设尺寸的标注影像确定为样本影像的建筑物变化检测结果。

需要说明的是，本发明实施例通过对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗，可以剔除预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像中质量较差的影像，保留质量较好的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影像作为样本影像，保留质量较好的预设尺寸的标注影像，作为上述样本影像的建筑物变化检测结果。

对样本影像和样本影像的建筑物变化检测结果进行数据处理之后，将数据处理后的样本影像亦确定为样本影像，将数据处理后的样本影像的建筑物变化检测结果亦确定为样本影像的建筑物变化检测结果，数据处理包括水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊中的至少一种。

具体地，获取样本影像和样本影像的建筑物识别结果之后，可以对样本影像和样本影像的建筑物识别结果进行水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊等数据处理，获取数据处理后的样本影像和数据处理后的样本影像的建筑物识别结果。

获取数据处理后的样本影像和数据处理后的样本影像的建筑物识别结果之后，可以将数据处理后的样本影像亦确定为样本影像，将数据处理后的样本影像的建筑物识别结果亦确定为上述样本影像的样本标签。

需要说明的是，样本影像和样本影像的建筑物检测结果构成样本库3RSSI-BCDD，用于训练建筑物变化检测模块。

需要说明的是，样本影像的建筑物检测结果包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的样本建筑物的信息和上述样本建筑物的变化类型。

需要说明的是，本发明实施例中可以以样本区域的前时相校正遥感影像的左上角为坐标原点，沿样本区域的前时相校正遥感影像的上边界向左为X轴，沿样本区域的前时相校正遥感影像的左边界向下为Y轴，建立第三影像坐标系；以样本区域的后时相校正遥感影像的左上角为坐标原点，沿样本区域的后时相校正遥感影像的上边界向左为X轴，沿样本区域的后时相校正遥感影像的左边界向下为Y轴，建立第四影像坐标系。在上述第三影像坐标系和上述第四影像坐标系中坐标值相同的两个像素点，对应样本区域内相同的地理位置。

样本区域的信息，可以包括样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中上述样本建筑物所在区域的区域信息；其中，上述区域信息可以包括样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中，上述样本建筑物所在区域的边界上每一像素点在上述第三影像坐标系（或上述第四影像坐标系）中的坐标值，上述区域信息还可以包括样本区域的前时相校正遥感影像（或样本区域的后时相校正遥感影像）中，上述样本建筑物所在区域内每一像素点在上述第三影像坐标系（或上述第四影像坐标系）中的坐标值。

可以理解的是，样本建筑物的信息和变化类型可以表示为像素坐标值与像素值的组合。

将样本影像作为训练样本，将样本影像的建筑物变化检测结果作为样本标签，对初始模型进行训练，获得建筑物变化检测模型。

需要说明的是，本发明实施例中建筑物变化检测模型的损失函数包括Dice损失函数。

具体地，将基于样本区域的前时相遥感影像和样本区域的后时相遥感影像生成的两张样本影像输入初始模型之后，可以获得上述初始模型输出的上述样本影像的预测建筑物变化检测结果。

基于上述样本影像的建筑物变化检测结果和上述样本影像的预测建筑物变化检测结果，可以计算得到Dice损失函数。Dice损失函数可以通过如下公式表示：

其中，

本发明实施例中可以基于计算得到的Dice损失函数值和梯度反向传播，完成初始模型的训练，获得训练好的建筑物变化检测模型。

需要说明的是，获得训练好的建筑物变化检测模型之后，可以基于精确率（Precision）、召回率（Recall）以及F1分数（F1 Score），对训练好的建筑物变化检测模型的检测精度进行评估。

精确率

；/>

其中，

召回率

；

其中，

F1分数

。

本发明实施例通过将包括目标区域的前时相遥感影像和目标区域的后时相遥感影像的待检测影像输入建筑物变化检测模型之后，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果，待检测影像的建筑物变化检测结果包括目标区域的前时相遥感影像与目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型，能在对建筑物是否发生变化进行检测的基础上，进一步确定发生变化的建筑物的变化类型，从而能为数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等工作提供更准确、更具体的数据基础，进行建筑物变化检测的过程更简单、高效，能减少建筑物变化检测的人力和物力投入。

图2是本发明提供的建筑物变化检测模型的结构示意图。如图2所示，基于上述各实施例的内容，建筑物变化检测模型，包括：孪生编码器201、特征金字塔模块202、特征差异增强模块203和解码器204；

将待检测影像输入建筑物变化检测模型，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果，包括：将目标区域的前时相遥感影像和目标区域的后时相遥感影像输入孪生编码器201，由孪生编码器201分别对目标区域的前时相遥感影像和目标区域的后时相遥感影像进行特征提取，进而获取孪生编码器201输出的每一目标空间尺度的第一特征图和每一目标空间尺度的第二特征图，各第一特征图与目标区域的前时相遥感影像对应，各第二特征图与目标区域的后时相遥感影像对应。

作为一个可选地实施例，孪生编码器201是基于EfficientNet-B0网络构建的。

需要说明的是，相关技术中传统的建筑物变化检测模型通常采用ResNet等非轻量级的卷积神经网络作为编码器，模型参数量大，计算效率低。因此，为了减少建筑物变化检测模型的模型参数量，提高建筑物变化检测模型的计算效率，本发明实施例中的建筑物变化检测模型中的孪生编码器201基于EfficientNet-B0网络构建。

进一步地，本发明实施例中的孪生编码器201包括16层级联的移动翻转瓶颈卷积块，并引入了压缩与激励网络SENet中的注意力思想。

具体地，本发明实施例中可以用

需要说明的是，本发明实施例中对

将目标区域的前时相遥感影像

孪生编码器201通过对目标区域的前时相遥感影像

可以理解的是，第一特征图

第一特征图

第一特征图

第一特征图

将各第一特征图和各第二特征图输入特征金字塔模块202，由特征金字塔模块202分别对各第一特征图和各第二特征图进行空间细节恢复，进而获取特征金字塔模块202输出的每一目标空间尺度的第三特征图和每一目标空间尺度的第四特征图，第一特征图与第三特征图一一对应，第二特征图与第四特征图一一对应。

具体地，获取孪生编码器201输出的各第一特征图

特征金字塔可以自上而下融合上下文信息并使用跳线连接，分别恢复各第一特征图

其中，

需要说明的是，任何一个第三特征图

将每一第三特征图和每一第四特征图输入特征差异增强模块203，由特征差异增强模块203提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征，并对提取到的差异特征进行特征增强，进而获取特征差异增强模块203输出的每一目标空间尺度的特征差异增强图。

具体地，获取特征金字塔模块202输出的各第三特征图

特征差异增强模块203可以分别提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征，并对提取到差异特征进行特征增强，从而获取并输出四个目标空间尺度的特征差异增强图

图3为本发明提供的建筑物变化检测方法中特征差异增强模块的结构示意图。如图3所示，作为一个可选地实施例，特征差异增强模块203，包括：差异分支单元301、连接分支单元302和第一特征融合单元303。

将各第三特征图和各第四特征图输入特征差异增强模块203，由特征差异增强模块203提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征，并对提取到的差异特征进行特征增强，进而获取特征差异增强模块203输出的每一目标空间尺度的特征差异增强图，包括：将各第三特征图和各第四特征图输入差异分支单元301，由差异分支单元301对每一目标空间尺度的第三特征图和第四特征图进行归一化相减，获得每一目标空间尺度的特征差异图之后，对每一目标空间尺度的特征差异图进行通道维压缩空间维激励以及激活函数激活，获得每一目标空间尺度的特征差异注意图，进而获取差异分支单元301输出的每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意力图，将每一第三特征图和每一第四特征图输入连接分支单元302，由连接分支单元302按照通道维度对各第三特征图和各第四特征图进行叠加，获得叠加特征图之后，对叠加特征图进行池化计算，获得原始特征向量，通过卷积计算对原始特征向量进行压缩，获得压缩后的原始特征向量，通过空间维压缩通道维激励对压缩后的原始特征向量进行激励，获得目标特征向量，进而获取连接分支单元302输出的目标特征向量。

具体地，获取特征金字塔模块202输出的各第三特征图

将各第三特征图

其中，

差异分支单元301获得每一目标空间尺度的特征差异图

其中，

将各第三特征图

其中，

可以理解的是，叠加特征图

连接分支单元302获得叠加特征图

连接分支单元302获得原始特征向量

连接分支单元302获得压缩后的原始特征向量

其中，

连接分支单元302获得目标特征向量

将目标特征向量、每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303，由第一特征融合单元303基于目标特征向量，对每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303，获得每一目标空间尺度的特征差异增强图。

具体地，获取差异分支单元301输出的每一目标空间尺度的特征差异图

第一特征融合单元303基于目标特征向量

作为一个可选地实施例，将目标特征向量、每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303，由第一特征融合单元303基于目标特征向量，对每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303，获得每一目标空间尺度的特征差异增强图，包括：将目标特征向量、每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303，由第一特征融合单元303对目标特征向量进行归一化之后，分别对归一化后的目标特征向量和每一目标空间尺度的特征差异注意图进行特征融合，获得每一目标空间尺度的特征融合图之后，分别对每一目标空间尺度的特征融合图与特征差异图进行特征融合，获得每一目标空间尺度的特征差异增强图。

具体地，将每一目标空间尺度的特征差异图

第一特征融合单元303获得归一化后的目标特征向量之后，可以利用点乘匀速和广播机制，分别对归一化后的目标特征向量和每一目标空间尺度的特征差异注意力图

其中，

第一特征融合单元303获得每一目标空间尺度的特征融合图

本发明实施例中的特征差异增强模块203，通过综合作差和连接两种常用的特征度量方式，嵌入空间注意力和通道注意力机制，构建特征差异增强模块203，使得建筑物识别模型以学习迭代的方式更加关注前景中的差异，忽略背景中的差异，能够克服建筑物伪变化导致的模型性能下降的问题，能减少建筑物识别模型误检率与漏检率，能进一步提高建筑物变化检测的精度。

将每一特征差异增强图输入解码器204，由解码器204对各特征差异增强图进行解密和分类，进而获取解码器204输出的待检测影像的建筑物变化检测结果。

需要说明的是，本发明实施例中的解码器204为轻量级解码器。

需要说明的是，上述待检测影像的建筑物变化检测结果可以为与目标区域的前时相校正遥感影像（或目标区域的后时相校正遥感影像）相同尺寸的影像，上述影像中标注有目标建筑物所在的区域以及目标建筑物的变化类型。

图4为本发明提供建筑物特征检测方法中解码器的结构示意图。如图4所示，作为一个可选地实施例，解码器204，包括：解码单元401、上采样单元402和第二特征融合单元403，上采样单元402包括目标数量个级联的上采样块404；

将每一特征差异增强图输入解码器204，由解码器204对各特征差异增强图进行解密和分类，进而获取解码器204输出的待检测影像的建筑物变化检测结果，包括：将每一特征差异增强图输入解码单元401，由解码单元401将每一特征差异增强图恢复至原始尺寸，进而获得解码单元401输出的每一修正特征差异增强图，原始尺寸为目标区域的前时相遥感影像或目标区域的后时相遥感影像的尺寸。

具体地，获取特征差异增强模块203输出的每一目标空间尺度的特征差异增强图

解码单元401可以将每一目标空间尺度的特征差异增强图

将每一修正特征差异增强图输入上采样单元402，获取上采样单元402输出的每一目标空间尺度对应的原始建筑物变化检测结果。

需要说明的是，本发明实施例中的目标数量

具体地，上采样块可以对输入的特征图依次进行卷积核为1×1的卷积计算、批归一化（Batch Normalization，BN）计算、ReLU激活函数计算以及四倍的上采样计算。

获得解码单元401输出的每一修正特征差异增强图

上采样单元402中级联的上采样块可以采用卷积核为1×1的卷积计算作为分类器，将每一修正特征差异增强图

需要说明的是，任何一个目标空间尺度对应的原始建筑物变化检测结果

将每一目标空间尺度对应的原始建筑物变化检测结果输入第二特征融合单元403，获取第二特征融合单元403输出的待检测影像的建筑物变化检测结果。

具体地，获取上采样单元402输出的每一目标空间尺度对应的原始建筑物变化检测结果

第二特征融合单元403可以对每一目标空间尺度对应的原始建筑物变化检测结果

本发明实施例中的建筑物变化检测模型，采用轻量级的编解码器完成高级予以信息的获取与空间信息的恢复，能解决相关技术中模型轻量程度不足的问题，能完成端到端的建筑物变化检测。

图5是本发明提供的建筑物变化检测装置的结构示意图。下面结合图5对本发明提供的建筑物变化检测装置进行描述，下文描述的建筑物变化检测装置与上文描述的本发明提供的建筑物变化检测方法可相互对应参照。如图5所示，该装置包括：影像获取模块501和变化检测模块502。

影像获取模块501，用于获取待检测影像，待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像；

变化检测模块502，用于将待检测影像输入建筑物变化检测模型，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果；

其中，待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型，目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物，变化类型包括新增建筑物、拆除建筑物和改建建筑物；

建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得，样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型，样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。

具体地，影像获取模块501和变化检测模块502电连接。

本发明实施例中的建筑物变化检测装置，通过将包括目标区域的前时相遥感影像和目标区域的后时相遥感影像的待检测影像输入建筑物变化检测模型之后，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果，待检测影像的建筑物变化检测结果包括目标区域的前时相遥感影像与目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型，能在对建筑物是否发生变化进行检测的基础上，进一步确定发生变化的建筑物的变化类型，从而能为数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等工作提供更准确、更具体的数据基础，进行建筑物变化检测的过程更简单、高效，能减少建筑物变化检测的人力和物力投入。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行建筑物变化检测方法，该方法包括：获取待检测影像，待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像；将待检测影像输入建筑物变化检测模型，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果；其中，待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型，目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物，变化类型包括新增建筑物、拆除建筑物和改建建筑物；建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得，样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型，样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的建筑物变化检测方法，该方法包括：获取待检测影像，待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像；将待检测影像输入建筑物变化检测模型，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果；其中，待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型，目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物，变化类型包括新增建筑物、拆除建筑物和改建建筑物；建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得，样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型，样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的建筑物变化检测方法，该方法包括：获取待检测影像，待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像；将待检测影像输入建筑物变化检测模型，获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果；其中，待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型，目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物，变化类型包括新增建筑物、拆除建筑物和改建建筑物；建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到，样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得，样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型，样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。