一种基于AFFPN的新型超高清遥感图像变化检测方法

技术领域

本发明涉及一种超高清遥感图像变化检测方法，尤其涉及一种基于AFFPN 的新型超高清遥感图像变化检测方法。

背景技术

超高清遥感图像变化检测任务在监测和分析地球变化方面起着至关重要的 作用。它的目的就是通过多张不同时间拍摄的同一地点的超高清遥感图像，检 测出该地点发生了哪些重大的变化，由此得到一张变化图。作为遥感领域重要 而关键的任务，它被广泛的应用于自然灾害评估、城乡规划、土地覆盖图绘制 等方面。

目前传统的变化检测方法可以分为两类：基于代数的方法和基于变换的方 法。基于代数的方法对图像的每个像素点进行算术运算，得到多时态遥感图像 的差值图，然后通过设置一系列的阈值得到最终的变化图。常用的基于代数的 方法有图像差分法、图像比值法、变化向量分析法等；基于变换的方法将多光 谱遥感图像转换到某个特征空间上，以此来减少图像中不同频带之间的冗余信 息，获得变化图。常用的基于变换的方法有主成分分析法、穗帽变换、卡方变 换等。传统的变化检测方法虽然易于实现，但是它们在面对超高清遥感图像时 效果不佳，产生的变化图缺乏完整的变化信息。

超高清遥感图像的出现，为监测更精细的地球变化情况提供了可能性。然 而，超高清遥感图像中包含的精确细节和复杂的纹理特征为变化检测方法带来 了新的挑战，这导致了基于深度学习的变化检测方法的崛起。

虽然最先进的(State-of-the-art，SOTA)基于深度学习的方法在超高清遥感 图像的变化检测任务上取得了比传统方法更好的效果，但它们仍然具有以下三 个局限性：

1、目前基于深度学习的变化检测方法在像素空间计算损失(例如交叉熵损 失、DICE损失)，来衡量变化图和真实图像之间每个像素点的差异。理论上， 经过这些像素损失优化的深度学习网络能产生达到像素级别精准程度的变化图。 但是像素损失有着严苛的优化目标，并且只考虑像素级的局部信息，这使得其 在面对超高清遥感图像变化检测任务时效果不佳。因为拍摄于不同时间的超高 清遥感图像是光学卫星图像，它们不可避免的会受到光照变化、配准不齐、人 工误差等因素的影响，使得两幅图像之间像素级别的映射并不准确，局部信息 无法准确表示变化区域的特点。

2、缺乏有效融合旧时态图像特征F

3、孱弱的特征提取能力：目前最先进的深度学习变化检测方法普遍采用预 训练的卷积网络(比如VGG16或Resnet18)来提取各个时态遥感图像的特征。 但是在现实的遥感任务中，遥感图像会受到不同的天气、气候、分辨率等因素 的影响，从而包含了大量的噪声。这些方法采用的预训练卷积网络比较简单， 可学习的参数较少，使得它们难以从这些含有大量噪声和变化差异的图像中提 取变化检测任务所需要的高代表性高质量特征。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于AFFPN的新型超高清 遥感图像变化检测方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于AFFPN的新型超高清遥感图像变化检测方法，包括以下步骤：

S1、构建自适应多尺度多层次特征融合的感知网络AFFPN；

S2、将旧时态图像T1和新时态图像T2输入AFFPN，分别进行并行的特征 提取，得到多尺度多层次的特征

S3、将步骤S2得到的两个同一层次的

S4、将步骤S3得到的融合特征F

S5、基于步骤S4得到的差异图D，联合使用像素损失函数和感知损失函数 对AFFPN进行训练；

S6、对步骤S4得到的差异图D进行Argmax操作，获得每个像素点属于的 类别，生成变化图M。

本发明具有以下有益效果：本发明解决了现有技术中只能捕获像素级局部 信息、缺乏有效的特征融合策略、提取的特征信息不准确质量不高的问题，在 面对包含大量噪声的复杂超高清遥感图像变化检测任务时尤其有效，复杂变化 检测任务意味着旧时态图像和新时态图像受到天气、季节、分辨率、光照、阴 影、人工误操作等各种客观和主观因素的影响，这些因素会造成新、旧时态图 像之间的噪声差异非常大，这很可能导致网络错误的把这些差异判别成变化区 域，而本发明能很好地过滤这些噪声差异，找到正确的变化区域并提供精细化、 高质量的变化图。

优选地，步骤S1中构建的自适应多尺度多层次特征融合的感知网络AFFPN 具体包括两个特征提取模块FEM、特征融合模块FFM、两个3×3卷积、sub-pixel 卷积层和损失函数模块LFM；

特征提取模块FEM包括主干网络Backbone和压缩组件SC；

特征融合模块FFM包括多个通道-空间注意力组件CSAC和多个卷积层；

损失函数模块LFM包括感知辅助组件PAC。

该优选方案具有以下有益效果：提出了一种能高效的完成超高清遥感图像 变化检测任务的网络结构。

优选地，步骤S2具体包括：

将旧时态图像T1和新时态图像T2分别馈送到两个并行的特征提取模块 FEM中的构成主干网络Backbone的SE-ResNet50中，得到SE-ResNet50第一个 Maxpool层的输出、Conv2_3的输出，Conv3_4的输出，Conv4_6的输出和Conv5_3 的输出，并传输到压缩组件SC中进行压缩，得到多尺度多层次的特征

该优选方案具有以下有益效果：本发明设计的特征提取模块FEM通过迁移 学习技术和压缩组件SC，在提取高质量特征的同时极大的减少冗余特征，使得 AFFPN网络具有更强的特征提取能力的同时不增加太多的计算复杂度，可以获 取具有高代表性的多尺度多层次特征。

优选地，S3包括以下分步骤：

S31、将步骤S2得到的两个同一层次的

S32、将5对

S33、将F

S34、按步骤S33的方法依次向上融合5个层次的特征，得到融合特征F

该优选方案具有以下有益效果：通过特征融合模块FFM和通道-空间注意力 组件CSAC为AFFPN网络提供自适应的特征融合策略，强调了变化信息的重要 特征和区域，获取重要的特征，忽略不相关的特征，并克服了异构特征融合不 佳的问题，对其进行了有效融合，特征融合模块FFM是一个紧凑、通用的结构， 由于其全卷积的特性，可以直接嵌入到输入大小任意的网络中。

优选地，通道-空间注意力组件CSAC处理流程包括以下分步骤：

S301、将输入特征对[F

S302、沿着空间维度对F进行平均池化操作，得到空间上下文描述符

S303、将

其中σ为Sigmoid函数，δ为ReLU激活函数，f

S304、将输入特征F和通道注意力图

S305、沿着通道维度对通道精炼特征F

S306、将F

其中

S307、将通道精炼特征F

其中

该优选方案具有以下有益效果：通过CSAC，FFM可以为来自双时态图像 对的多尺度多层次特征

优选地，步骤S4具体包括将步骤S3得到的融合特征F

该优选方案具有以下有益效果：两层3×3卷积层进一步对融合特征F

优选地，步骤S5包括以下分步骤：

S51、将差异图D输入损失函数模块LFM中，对步骤S4得到的差异图D 上的每个像素进行SoftMax操作，计算SoftMax损失L

其中，N为差异图D上所有像素点的总数，p

S52、计算DICE损失L

S53、将差异图D输入到感知辅助组件PAC中，沿着通道维度进行逐元素 的相减，相减的结果经过Sigmoid函数将其像素值归一化到[0,1]区间，得到差值 图D

S54、将差值图D

S55、将扩充差值图D′

S56、将扩充真实标签变化图GT′输入到VGG-19网络中，获取VGG-19第 四、第九、第十八、第二十七和第三十六网络层的输出特征

S57、计算感知损失，其值为五对输出特征的欧氏距离的平方和，计算公式 为：

其中L

S58、计算总体损失L，计算公式为：

L＝λ(L

其中λ为预设参数；

S59、通过总体损失L对AFFPN网络进行反向传播，更新除了VGG-19网 络以外的所有参数，训练AFFPN网络，直到其收敛。

该优选方案具有以下有益效果：通过感知辅助组件引入了感知损失，通过 损失函数模块将SoftMax损失、DICE损失和感知损失结合，使得AFFPN网络 能够同时在像素空间和特征空间进行优化，使得AFFPN网络不仅注重局部像素 之间的关系也能捕获全局的感知差异和空间信息，结合了像素损失和感知损失 的优点，降低了AFFPN网络训练难度，进而提升了AFFPN网络最终的性能。

附图说明

图1是本发明一种基于AFFPN的新型超高清遥感图像变化检测方法的流程 图；

图2是本发明实施例中AFFPN结构示意图；

图3是本发明实施例中特征提取模块FEM结构示意图；

图4是本发明实施例中通道-空间注意力组件CSAC结构示意图；

图5是本发明实施例中感知辅助模块PAC结构示意图；

图6是本发明实施例和F1次优网络STANet在Season-varying数据集上的 变化检测结果示意图，其中图6(a)为旧时态图像T1示意图，图6(b)为新 时态图像T2示意图，图6(c)为真实标签图像GT示意图，图6(d)为采用本 发明实施例得到的变化图示意图，图6(e)为采用对比方法STANet得到的变 化图示意图。

图7是本发明实施例和F1次优网络IFN在LEVIR-CD数据集上的变化检测 结果示意图，其中图7(a)为旧时态图像T1示意图，图7(b)为新时态图像 T2示意图，图7(c)为真实标签图像GT示意图，图7(d)为采用本发明实施 例得到的变化图示意图，图7(e)为采用对比方法IFN得到的变化图示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本发明，并不用于限定本发明。

请参照图1，本发明提供了一种基于AFFPN的新型超高清遥感图像变化检 测方法，包括以下步骤：

S1、构建自适应多尺度多层次特征融合的感知网络AFFPN；

请参照图2，本发明实施例中，步骤S1中构建的自适应多尺度多层次特征 融合的感知网络AFFPN具体包括两个特征提取模块FEM、特征融合模块FFM、 两个3×3卷积、sub-pixel卷积层和损失函数模块LFM。

特征提取模块FEM包括主干网络Backbone和压缩组件SC；

特征融合模块FFM包括多个通道-空间注意力组件CSAC和多个卷积层；

损失函数模块LFM包括感知辅助组件PAC。

S2、将旧时态图像T1和新时态图像T2输入AFFPN，分别进行并行的特征 提取，得到多尺度多层次的特征

请参照图3，本发明实施例中，步骤S2具体包括：

将旧时态图像T1和新时态图像T2分别馈送到两个并行的特征提取模块 FEM中的构成主干网络Backbone的SE-ResNet50中，得到SE-ResNet50第一个 Maxpool层的输出、Conv2_3的输出，Conv3_4的输出，Conv4_6的输出和Conv5_3 的输出，并传输到压缩组件SC中进行压缩，得到多尺度多层次的特征

特征提取模块FEM由主干网络Backbone和压缩组件SC组成。为了加快网 络的训练速度和增强每个时态图像特征的代表性及质量，采用迁移学习技术， 把预训练的网络作为FEM的主干网络进行模型迁移。采用的预训练网络是在 ImageNet数据集上预训练的SE-ResNet50，具体而言，删除了SE-ResNet50中的 GAP层(Global Average Pooling Layer，全局平均池化层)以及在GAP层之后 的所有层，使其可以用于特征提取。本发明还对CP输出的特征(即第一个 Maxpool层的输出)进行了2倍的双线性上采样，由此获得(Ho/2,Wo/2)尺度的 第一层次特征F

S3、将所述步骤S2得到的两个同一层次的

本发明实施例中，步骤S3包括以下分步骤：

S3包括以下分步骤：

S31、将步骤S2得到的两个同一层次的

S32、将5对

S33、将

S34、按步骤S33的方法依次向上融合5个层次的特征，得到融合特征F

特征融合模块FFM的结构参照图1所示，它由通道-空间注意力组块CSAC、 卷积层和双线性上采样算法构成，负责对特征进行自适应地融合。本发明所提 出的AFFPN总共有两个地方需要进行特征融合：

1、融合从T1和T2分别提取的同尺度同层次特征(比如F

2、将双时态图像对的高分支特征与低分支特征进行融合(比如

但是这两个地方的融合存在以下两个问题：一是遥感图像中存在的噪声使 得并非所有特征都是有利于变化检测任务的，一些不相关的特征会增加网络的 训练难度；二是不同分支的特征对全局信息和局部信息的偏重不同，正如前面 分析的，高分支特征有更多的全局信息，低分支特征有更多的局部信息，这使 得不同分支的特征之间具有一定的异构性。直接沿着通道维度进行堆叠的特征 融合策略虽然简单，但难以解决这两个问题。因此，我们在FFM中嵌入了简单 而有效的通道-空间注意力组件CSAC，用来突出有益特征并进行不同分支的异 构特征融合。

请参照图4，本发明实施例中，通道-空间注意力组件CSAC处理流程包括 以下分步骤：

S301、将输入特征对[F

S302、沿着空间维度(高H和宽W)对F进行平均池化操作，将空间信息 聚合起来，得到空间上下文描述符

S303、将

其中σ为Sigmoid函数，δ为ReLU激活函数，f

S304、将输入特征F和通道注意力图

S305、沿着通道维度对通道精炼特征F

S306、将F

其中

S307、将通道精炼特征F

其中

通道注意力图

通过CSAC，FFM可以为来自双时态图像对的多尺度多层次特征

S4、将所述步骤S3得到的融合特征F

本发明实施例中，步骤S4具体包括将步骤S3得到的融合特征F

S5、基于所述步骤S4得到的差异图D，联合使用像素损失函数和感知损失 函数对AFFPN进行训练；

本发明实施例中，步骤S5包括以下分步骤：

S51、将差异图D输入损失函数模块LFM中，损失函数模块LFM的结构参 照图1所示，通过LFM，本发明所提出的AFFPN联合使用两种不同类型的损 失函数进行训练：一种是像素损失，包含了SoftMax损失L

其中，N为差异图D上所有像素点的总数，p

S52、计算DICE损失L

S53、请参照图5，将差异图D输入到感知辅助组件PAC中，差异图

只使用像素损失来训练变化检测网络是次优的。所以本发明提出了一个新 颖的感知辅助组件PAC，通过该模块为变化检测任务引入一种基于高阶图像特 征表示的感知损失。空间相似的样本总是在特征空间也保持它们之间的相似性， 于是本发明所提出的PAC旨在通过感知损失建立差值图D

S54、将差值图D

S55、将扩充差值图D′

S56、将扩充真实标签变化图GT′输入到VGG-19网络中，获取VGG-19第 四、第九、第十八、第二十七和第三十六网络层的输出特征

S57、基于这批高代表性高信息量的特征建立感知损失，计算感知损失，其 值为这五对输出特征的欧氏距离的平方和，计算公式为：

其中L

S58、计算总体损失L，计算公式为：

L＝λ(L

其中λ为预设参数，用于平衡感知损失与像素损失，一般设置为50；

S59、通过总体损失L对AFFPN网络进行反向传播，更新除了VGG-19网 络以外的所有参数，训练AFFPN网络，直到其收敛。

S6、对所述步骤S4得到的差异图D进行Argmax操作，获得每个像素点最 可能属于的类别，生成变化图M。

接下来对本发明和现有技术进行对比实验来测试本发明的性能，本次实验 使用了两个公开的基准数据集：Season-varying数据集和LEVIR-CD数据集。

Season-varying数据集包含11对超高清遥感图像，其中7对具有4725像素 ×2200像素尺寸，4对具有1900像素×1000像素尺寸。这些图像的分辨率在 3-100cm/px之间变化，并且旧时态图像和新时态图像之间的天气和季节差异非 常大，这使得网络需要考虑不同大小的变化物的影响(如汽车的变化到大型建 筑物的变化)和天气、季节等自然界变化带来的影响(如雨天和晴天的阴影和 亮度不同、夏天和秋天的树林茂盛程度不同、春天和冬天道路的积雪情况不同， 这些变化情况不是需要关注的，是需要忽略的噪声)。为了进行公平的对比，遵 循该数据集原有的数据预处理方法：将超高清遥感图像对裁剪成256×256个不 重叠的图像块，进而生成16000个子图像对，然后其中的10000对子图像用于 网络模型的训练，3000对子图像对用于网络模型的验证，3000对子图像用于网 络模型的测试。

LEVIR-CD数据集由637对1024像素×1024像素的超高清遥感图像组成。 这些双时态图像对的时间跨度为5～14年，涵盖了别墅、高层公寓、小型车库、 大型仓库等各种建筑的变化。同理，为了公平的对比，按照该数据集原论文中 的处理方法，将每幅遥感图像裁剪成16个不重叠的256像素×256像素图像块， 并将该数据集分为三个部分：7120对图像块用于训练，1024对图像块用于验证， 2048对图像块用于测试。

本发明所提出的AFFPN是通过PyTorch实现的，所有的实验都在GeForce GTX1080Ti GPU上进行，并由NVIDIA CUDA进行加速。AFFPN在进行训练 时，采用Adam优化器，初始学习率设置为0.0001。当训练损失在5个周期(epoch) 内都没有下降时，将学习率下调10％。当验证数据集上的F1分数在30个周期 内都没有上升时，训练过程将被停止。将从定量和定性的角度对本发明进行综 合评价，并通过消融实验进一步分析本发明提出的各个关键组件的合理性。

对比实验过程具体如下：

首先在两个开源的基准数据集Season-varying和LEVIR-CD上将本发明所提 出的AFFPN方法与其他六种SOTA深度学习变化检测方法进行了比较。以P (Precision，查准率)、R(Recall，查全率)、F1(F1-score，F1分数)和OA(Overall Accuracy，总体准确率)这四个指标作为定量比较的评价指标。它们的定义如下：

其中TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性的数量。 P越高表示网络的精确度越高，R越高表示网络的漏检越少。F1和OA用来衡 量网络的整体性能，它们越高代表网络的整体性能越好。值得注意的是，由于P 和R是一对互相矛盾的评价指标，即P的上升往往带来R的下降，所以当P和 R这两个指标产生矛盾，难以衡量网络性能时，综合考虑P和R的F1就成为了 最重要的评价指标。

表1

表1显示了本发明AFFPN和其他六种SOTA方法的定量比较结果。对于 Season-varying数据集，本发明所提的AFFPN的性能最好，在P、R、F1和OA 这4个评价指标上都取得了最高的分数，分别为97.57％、96.42％、96.99％、99.29％。 与其他六种方法相比，本发明的查准率P提升了2.61％-13.16％，查全率R提高 了2.86％-15.97％，F1分数提升了5.68％-14.55％，总体准确率OA提升了 1.41％-3.57％。可见本发明对于包含大量噪声的复杂超高清遥感图像变化检测任 务特别有效，能带来非常明显的性能提升。在LEVIR-CD数据集上，本发明依 旧取得了最高的F1和OA。比其他方法相比，本发明的F1提升了0.9％-9.58％， OA提升了0.09％-0.77％。当然，虽然本发明有着很好的性能表现，但可以观察 到它在LEVIR-CD数据集上的增益并不是很显著，这是因为LEVIR-CD数据集 只标记了建筑物的变化情况，并且它所受到的噪声干扰很小(即新、旧时态图 像对之间的噪声差异较小)，所以现有的SOTA方法已经可以很出色的在 LEVIR-CD数据集上完成变化检测任务。

在Season-varying数据集和LEVIR-CD数据集上，F1分数第二高的网络分 别是STANet和IFN，这意味着这两种方法的整体性能也很优秀。于是，再从定 性的角度看看本发明的优势。请参照图6，展示了本发明所提出的AFFPN和F1 次优网络STANet在Season-varying数据集上的变化检测结果,前两行图像包含纤 细和微小的区域变化情况，后两行包含复杂和大面积的区域变化情况。对比图6 (a)和图6(b)这两列，可以发现该数据集的双时态图像对受到了非常大的噪 声干扰(比如旧时态图像没有积雪，新时态图像白雪皑皑；新、旧时态图像之 间天气、光照角度、分辨率的不同等等)，但AFFPN成功地滤除了这些无关的 因素，并准确识别出了已变化的区域。对于纤细和微小的变化区域(图6的第 一行和第二行图像)，AFFPN能正确分辨出更多的细微变化，并且产生的变化图 具有更好的连续性。对于变化区域复杂和变化区域大的情况(图6的第三行和 第四行图像)，AFFPN的变化图包含了更精细的细节，并且其变化区域更加完整， 边界更加准确和清晰。请参照图7，展示了AFFPN和F1次优网络IFN在 LEVIR-CD数据集上的变化检测结果。第一行图像涉及小而零散的建筑物变化， 第二行图像涉及密集的建筑物变化。图7的第一行图像显示了AFFPN能准确地 学习到建筑物的特点，从而正确地找到出现建筑物变化的空间位置，而IFN错 误地将汽车的变化判定为建筑物的变化。图7的第二行图像显示了密集别墅群 的变化情况，AFFPN在这种情况下依旧能出色的完成变化检测任务，准确地找 到每个产生变化的建筑物的位置，其变化图具有更符合建筑物几何结构特点的 边界。通过对AFFPN的定性分析，可以看到本发明在重建精细的变化细节方面 有着优异的性能，产生的变化图与真实的变化情况非常相似。

虽然本发明所提出的AFFPN是一个整体，但是在这个整体中依旧有几个关 键的组件，这些组件对于网络性能的提升有着较大的帮助，于是我们希望通过 消融实验来分析这些关键组件。具体来说，我们建立了三个消融网络，分别命 名为AFFPN-A，AFFPN-B，AFFPN-C。AFFPN-A是将AFFPN的通道-空间注 意力组件CSAC和感知辅助组件PAC都去掉后的网络，AFFPN-B去掉了AFFPN 的感知辅助组件PAC，AFFPN-C则去掉了通道-空间注意力组件CSAC。本发明 所提的AFFPN和这三个消融网络在Season-varying数据集上的实验结果如表2 所示。

表2

从表2中可以看出，虽然去掉了所有的关键组件，但AFFPN-A的性能仍然 比表1中的六种SOTA方法更好(在P、F1和OA上分别有1.79％、3.47％和0.9％ 的提升)，这表明了本发明所搭建的基础框架对变化检测任务的适应性和优越性。 其次，AFFPN-B和AFFPN-C的性能都比AFFPN-A的性能高，这意味着本发明 提出的CSAC和PAC这两个关键组件对于变化检测网络性能的提升是有帮助的。 尤其是本发明提出的感知辅助组件PAC带来了最显著的性能提升，与AFFPN-A 相比，加入了PAC的AFFPN-C的查准率P提升了0.13％、查全率R提升了2.86％、 F1分数提升了1.53％、总体准确率OA提升了0.35％。PAC以一种新颖的方式 在特征空间上为变化检测任务建立了感知损失，PAC所带来的明显的性能改善 也在一定程度上表明：在变化检测任务中，使用像素损失的同时辅以感知损失 是一个很有优势的方案。第三，融合了CSAC和PAC的AFFPN取得了最高的 性能，这表明CSAC和PAC可以相辅相成，它们的结合促成了AFFPN的高性 能表现。

综上，本发明提出了一种新颖的结合感知损失和自适应多尺度多层次特征 融合策略的超高清遥感图像变化检测方法AFFPN，来破除现有技术中存在的局 限性。AFFPN由FEM，FFM和LFM组成，所搭建的FEM展示了强大的特征 提取能力，而FFM则学会了在通道和空间维度上强调重要特征以及抑制不相关 特征并提供自适应的特征融合策略，因此通过这两个模块可以获得全面而高质 量的特征表示。LFM通过PAC引入感知损失，弥补了像素损失的缺点，因此可 以获得更好的变化图。进行的对比实验结果表明，本发明具有最先进的性能。 此外，进行的消融研究展现了各个关键组件的合理性和感知损失在变化检测中 的巨大潜力。

本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者 理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述 和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各 种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发 明的保护范围内。