一种全地物变化检测方法及计算机可读介质

技术领域

本发明属于全地物变化检测方法，尤其涉及一种全地物变化检测方法及计算机可读介质。

背景技术

全地物变化检测是指通过遥感技术和图像处理方法来比较不同时间点的地球表面影像，以识别出地物(建筑物、植被、水体等)在时间上的变化情况。该技术在城市规划、农业监测、环境保护等领域具有广泛的应用。近年来，随着计算机视觉技术的快速发展以及高分辨率在轨光学卫星数量的不断增加，地物变化检测正日益成为一个重要而富有挑战性的研究课题。

一般来说，变化检测方法可以分为传统方法和基于深度学习的方法。传统的变化检测方法可归纳为以下三类：基于代数的方法、基于变换的方法和基于分类的方法。基于代数的方法利用算数运算，如图像比率和图像差值，通过生成包含变化幅度的差异特征来导出变化图。基于变换的方法将图像转换为特征向量，包括主成分分析和变化向量分析。以传统机器学习方法为代表的基于分类的方法，通过差异特征或时空特征来区分变化像素。总的来说，传统方法提取的特征表达能力弱，变化检测精度不高，且易受季节变化、光照条件、卫星传感器、太阳高度角等因素的影响。随着遥感数据源日益多样化，图像空间分辨率逐步提高，图像细节日趋丰富，传统方法的局限性也越来越明显，无法满足智能化的遥感图像变化检测需求。后期学者利用深度学习的方法进行变化检测，取得了较好的效果。基于卷积神经网络的深度学习方法提升了效率和精度，但由于卷积的感受野相对较小，无法很好地捕捉全局信息。基于变换器的深度学习方法通过建模长程依赖关系来实现全局信息交互，可以更好地掌握全局信息，并且可以更加关注重要区域的特征，但部分方法仍存在局部特征提取能力较弱、边缘描述能力不足的问题，如何更好地处理小区域变化仍然是一个挑战。基于此，本发明提出了一种双模态特征交错孪生注意力的全地物变化检测方法，实现不同语义尺度特征的交互及局部特征准确表示。

发明内容

为了解决局部特征提取能力较弱、边缘描述能力不足的问题，本发明提出一种全地物变化检测方法及计算机可读介质。

本发明方法的技术方案为一种全地物变化检测方法，其特征在于：

构建全地物变化检测模型，将每组前后时序地物图像对输入全地物变化检测模型进行图像检测，得到每组前后时序地物图像对的检测地物变化图像，结合每组前后时序地物图像对的真实地物变化图像构建损失函数模型，通过优化训练得到训练后全地物变化检测模型；

所述全地物变化检测模型包括：前时序双模态特征交错模块、后时序双模态特征交错模块、孪生聚合模块；

所述的前双模态特征交错模块、后时序双模态特征交错模块结构相同，均包括：大尺寸分割模块、大尺寸卷积模块、大尺寸特征提取模块、小尺寸分割模块、小尺寸卷积模块、小尺寸特征提取模块、交叉注意力模块、特征拼接模块；

所述的前时序、后时序交叉注意力模块，通过交叉注意力处理得到K张前时序、后时序每组地物图像的经过交叉注意力处理的大尺寸特征图、小尺寸特征图，并输出至前时序、后时序所述特征拼接模块；所述前时序、后时序特征拼接模块，通过上采样处理、拼接处理与卷积处理得到每组地物图像的特征图，并输出至所述孪生聚合模块；

利用训练后的全地物变化检测模型对实时采集的地物图像与先前采集的相同区域地物图像进行变化检测，得到当前区域的检测地物变化图像。

本发明方法的具体步骤如下：

步骤1：获取每组前后时序地物图像对、每组前后时序地物图像对的真实地物变化图像；

步骤2：构建全地物变化检测模型，将每组前后时序地物图像对输入全地物变化检测模型进行图像检测，得到每组前后时序地物图像对的检测地物变化图像，结合每组前后时序地物图像对的真实地物变化图像构建损失函数模型，通过优化训练得到训练后全地物变化检测模型；

步骤3：利用训练后的全地物变化检测模型对实时采集的地物图像与先前采集的相同区域地物图像进行变化检测，得到当前区域的检测地物变化图像。

作为优选，步骤1所述每组前后时序地物图像对包括：

每组前时序地物图像、每组后时序地物图像；

作为优选，步骤2所述全地物变化检测模型包括：前时序双模态特征交错模块、后时序双模态特征交错模块、孪生聚合模块；

所述前时序双模态特征交错模块与所述孪生聚合模块连接；

所述后时序双模态特征交错模块与所述孪生聚合模块连接；

所述前时序双模态特征交错模块，将每组前时序地物图像进行图像特征提取得到每组前时序地物图像的特征图，并输出至所述孪生聚合模块；

所述后时序双模态特征交错模块，将每组后时序地物图像进行图像特征提取得到每组后时序地物图像的特征图，并输出至所述孪生聚合模块；

所述孪生聚合模块，将每组前时序地物图像的特征图、每组后时序地物图像的特征图进行孪生聚合处理，得到每组前后时序地物图像对的检测地物变化图像；

所述前时序双模态特征交错模块包括前时序大尺寸分割模块、前时序大尺寸卷积模块、前时序大尺寸特征提取模块、前时序小尺寸分割模块、前时序小尺寸卷积模块、前时序小尺寸特征提取模块、前时序交叉注意力模块、前时序特征拼接模块；

所述的前时序大尺寸分割模块、前时序大尺寸卷积模块、前时序大尺寸特征提取模块依次连接；所述前时序大尺寸特征提取模块与所述前时序交叉注意力模块连接；所述前时序交叉注意力模块与所述前时序特征拼接模块连接；

所述的前时序小尺寸分割模块、前时序小尺寸卷积模块、前时序小尺寸特征提取模块依次连接；所述前时序小尺寸特征提取模块与所述前时序交叉注意力模块连接；所述前时序交叉注意力模块与所述前时序特征拼接模块连接；

所述前时序大尺寸分割模块，将每组前时序地物图像进行大尺寸图像分割得到每组前时序大尺寸分割后地物图像，并输出至所述前时序大尺寸卷积模块；

所述前时序大尺寸卷积模块，将每组前时序大尺寸分割后地物图像进行卷积处理得到每组前时序地物图像的大尺寸嵌入特征，并输出至所述前时序大尺寸特征提取模块；

所述前时序大尺寸特征提取模块，将每组前时序地物图像的大尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图，并输出至所述前时序交叉注意力模块；

所述前时序小尺寸分割模块，将每组前时序地物图像进行小尺寸图像分割得到每组前时序小尺寸分割后地物图像，并输出至所述前时序小尺寸卷积模块；

所述前时序小尺寸卷积模块，将每组前时序小尺寸分割后地物图像进行卷积处理得到每组前时序地物图像的小尺寸嵌入特征，并输出至所述前时序小尺寸特征提取模块；

所述前时序小尺寸特征提取模块，将每组前时序地物图像的小尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图，并输出至所述前时序交叉注意力模块；

所述前时序交叉注意力模块，将K张每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图与K张每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图进行交叉注意力处理得到K张每组前时序地物图像的经过交叉注意力处理的大尺寸特征图与K张每组前时序地物图像的经过交叉注意力处理的小尺寸特征图，并输出至所述前时序特征拼接模块；

所述前时序特征拼接模块，将K张每组前时序地物图像的经过交叉注意力处理的小尺寸特征图进行上采样处理，将K张每组前时序地物图像的经过交叉注意力处理的小尺寸特征图扩大至与每组前时序地物图像的经过交叉注意力处理的大尺寸特征图大小相同，再将K张每组前时序地物图像的扩大后的小尺寸特征图与K张每组前时序地物图像的经过交叉注意力处理的大尺寸特征图进行拼接与卷积处理得到每组前时序地物图像的特征图，并输出至所述孪生聚合模块；

所述前时序大尺寸特征提取模块包括：第1前时序大尺寸滑动窗口特征提取模块、第2前时序大尺寸滑动窗口特征提取模块、...第K前时序大尺寸滑动窗口特征提取模块；

所述的第1前时序大尺寸滑动窗口特征提取模块、第2前时序大尺寸滑动窗口特征提取模块、...第K前时序大尺寸滑动窗口特征提取模块依次连接；

所述前时序大尺寸卷积模块与所述第1前时序大尺寸滑动窗口特征提取模块连接；

所述第k前时序大尺寸滑动窗口特征提取模块，对第k-1个前时序大尺寸滑动窗口特征提取模块输入的每组前时序地物图像的第k-1前时序大尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图，并将每组前时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组前时序地物图像的下采样后的特征图，将每组前时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组前时序地物图像的经过预处理后的特征图；若k＝1，则对每组前时序地物图像的大尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图；随后将每组前时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组前时序地物图像的经过注意力计算的特征窗口；将每组前时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组前时序地物图像的合并整合后的特征图；将每组前时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k前时序交叉注意力模块与第k+1前时序大尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k前时序交叉注意力模块；

所述前时序小尺寸特征提取模块包括：第1前时序小尺寸滑动窗口特征提取模块、第2前时序小尺寸滑动窗口特征提取模块、...第K前时序小尺寸滑动窗口特征提取模块；

所述的第1前时序小尺寸滑动窗口特征提取模块、第2前时序小尺寸滑动窗口特征提取模块、...第K前时序小尺寸滑动窗口特征提取模块依次连接；

所述前时序小尺寸卷积模块与所述第1前时序小尺寸滑动窗口特征提取模块连接；

所述第k前时序小尺寸滑动窗口特征提取模块，对第k-1个前时序小尺寸滑动窗口特征提取模块输入的每组前时序地物图像的第k-1前时序小尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图，并将每组前时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组前时序地物图像的下采样后的特征图，将每组前时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组前时序地物图像的经过预处理后的特征图；若k＝1，则对每组前时序地物图像的小尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图；随后将每组前时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组前时序地物图像的经过注意力计算的特征窗口；将每组前时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组前时序地物图像的合并整合后的特征图；将每组前时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k前时序交叉注意力模块与第k+1前时序小尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k前时序交叉注意力模块；

所述前时序交叉注意力模块包括：第1前时序交叉注意力模块、第2前时序交叉注意力模块、...第K前时序交叉注意力模块；

所述第k前时序大尺寸滑动窗口特征提取模块与所述第k前时序交叉注意力模块连接，k∈[1,K]；

所述第k前时序小尺寸滑动窗口特征提取模块与所述第k前时序交叉注意力模块连接，k∈[1,K]；

所述第1前时序交叉注意力模块、第2前时序交叉注意力模块、...第K前时序交叉注意力依次与所述前时序特征拼接模块连接；

所述第k前时序交叉注意力模块包含第k前时序第一分支模块、第k前时序第二分支模块，每个分支模块由两个重塑转置层、一个自适应平均池化层、一个线性变化层、一个拉伸层、一个特征拼接层以及一个特征转化层依次级联构成。

在第k前时序第一分支模块中，第一个重塑转置层将输入每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组前时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组前时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组前时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组前时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组前时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

在第k前时序第二分支模块中，第一个重塑转置层将输入每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组前时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组前时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组前时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组前时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组前时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

所述后时序双模态特征交错模块包括后时序大尺寸分割模块、后时序大尺寸卷积模块、后时序大尺寸特征提取模块、后时序小尺寸分割模块、后时序小尺寸卷积模块、后时序小尺寸特征提取模块、后时序交叉注意力模块、后时序特征拼接模块；

所述的后时序大尺寸分割模块、后时序大尺寸卷积模块、后时序大尺寸特征提取模块依次连接；所述后时序大尺寸特征提取模块与所述后时序交叉注意力模块连接；所述后时序交叉注意力模块与所述后时序特征拼接模块连接；

所述的后时序小尺寸分割模块、后时序小尺寸卷积模块、后时序小尺寸特征提取模块依次连接；所述后时序小尺寸特征提取模块与所述后时序交叉注意力模块连接；所述后时序交叉注意力模块与所述后时序特征拼接模块连接；

所述后时序大尺寸分割模块，将每组后时序地物图像进行大尺寸图像分割得到每组后时序大尺寸分割后地物图像，并输出至所述后时序大尺寸卷积模块；

所述后时序大尺寸卷积模块，将每组后时序大尺寸分割后地物图像进行卷积处理得到每组后时序地物图像的大尺寸嵌入特征，并输出至所述后时序大尺寸特征提取模块；

所述后时序大尺寸特征提取模块，将每组后时序地物图像的大尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组后时序地物图像的第k后时序大尺寸滑动窗口特征提取模块的输出特征图，并输出至所述后时序交叉注意力模块；

所述后时序小尺寸分割模块，将每组后时序地物图像进行小尺寸图像分割得到每组后时序小尺寸分割后地物图像，并输出至所述后时序小尺寸卷积模块；

所述后时序小尺寸卷积模块，将每组后时序小尺寸分割后地物图像进行卷积处理得到每组后时序地物图像的小尺寸嵌入特征，并输出至所述后时序小尺寸特征提取模块；

所述后时序小尺寸特征提取模块，将每组后时序地物图像的小尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组后时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图，并输出至所述后时序交叉注意力模块；

所述后时序交叉注意力模块，将K张每组后时序地物图像的第k后时序大尺寸滑动窗口特征提取模块的输出特征图与K张每组后时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图进行交叉注意力处理得到K张每组后时序地物图像的经过交叉注意力处理的大尺寸特征图与K张每组后时序地物图像的经过交叉注意力处理的小尺寸特征图，并输出至所述后时序特征拼接模块；

所述后时序特征拼接模块，将K张每组后时序地物图像的经过交叉注意力处理的小尺寸特征图进行上采样处理，将K张每组后时序地物图像的经过交叉注意力处理的小尺寸特征图扩大至与每组后时序地物图像的经过交叉注意力处理的大尺寸特征图大小相同，再将K张每组后时序地物图像的扩大后的小尺寸特征图与K张每组后时序地物图像的经过交叉注意力处理的大尺寸特征图进行拼接与卷积处理得到每组后时序地物图像的特征图，并输出至所述孪生聚合模块；

所述后时序大尺寸特征提取模块包括：第1后时序大尺寸滑动窗口特征提取模块、第2后时序大尺寸滑动窗口特征提取模块、...第K后时序大尺寸滑动窗口特征提取模块；

所述的第1后时序大尺寸滑动窗口特征提取模块、第2后时序大尺寸滑动窗口特征提取模块、...第K后时序大尺寸滑动窗口特征提取模块依次连接；

所述后时序大尺寸卷积模块与所述第1后时序大尺寸滑动窗口特征提取模块连接；

所述第k后时序大尺寸滑动窗口特征提取模块，对第k-1个后时序大尺寸滑动窗口特征提取模块输入的每组后时序地物图像的第k-1后时序大尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图，并将每组后时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组后时序地物图像的下采样后的特征图，将每组后时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组后时序地物图像的经过预处理后的特征图；若k＝1，则对每组后时序地物图像的大尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图；随后将每组后时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组后时序地物图像的经过注意力计算的特征窗口；将每组后时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组后时序地物图像的合并整合后的特征图；将每组后时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组后时序地物图像的第k后时序大尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k后时序交叉注意力模块与第k+1后时序大尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k后时序交叉注意力模块；

所述后时序小尺寸特征提取模块包括：第1后时序小尺寸滑动窗口特征提取模块、第2后时序小尺寸滑动窗口特征提取模块、...第K后时序小尺寸滑动窗口特征提取模块；

所述的第1后时序小尺寸滑动窗口特征提取模块、第2后时序小尺寸滑动窗口特征提取模块、...第K后时序小尺寸滑动窗口特征提取模块依次连接；

所述后时序小尺寸卷积模块与所述第1后时序小尺寸滑动窗口特征提取模块连接；

所述第k后时序小尺寸滑动窗口特征提取模块，对第k-1个后时序小尺寸滑动窗口特征提取模块输入的每组后时序地物图像的第k-1后时序小尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图，并将每组后时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组后时序地物图像的下采样后的特征图，将每组后时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组后时序地物图像的经过预处理后的特征图；若k＝1，则对每组后时序地物图像的小尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图；随后将每组后时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组后时序地物图像的经过注意力计算的特征窗口；将每组后时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组后时序地物图像的合并整合后的特征图；将每组后时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组后时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k后时序交叉注意力模块与第k+1后时序小尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k后时序交叉注意力模块；

所述后时序交叉注意力模块包括：第1后时序交叉注意力模块、第2后时序交叉注意力模块、...第K后时序交叉注意力模块；

所述第k后时序大尺寸滑动窗口特征提取模块与所述第k后时序交叉注意力模块连接，k∈[1,K]；

所述第k后时序小尺寸滑动窗口特征提取模块与所述第k后时序交叉注意力模块连接，k∈[1,K]；

所述第1后时序交叉注意力模块、第2后时序交叉注意力模块、...第K后时序交叉注意力依次与所述后时序特征拼接模块连接；

所述第k后时序交叉注意力模块包含第k后时序第一分支模块、第k后时序第二分支模块，每个分支模块由两个重塑转置层、一个自适应平均池化层、一个线性变化层、一个拉伸层、一个特征拼接层以及一个特征转化层依次级联构成。

在第k后时序第一分支模块中，第一个重塑转置层将输入每组后时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组后时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组后时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组后时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组后时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组后时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

在第k后时序第二分支模块中，第一个重塑转置层将输入每组前时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组后时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组后时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组后时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组后时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组后时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

所述孪生聚合模块包括：第一孪生特征拼接模块、第一孪生卷积线性激活层、特征聚合模块、特征扩张模块、第二孪生特征拼接模块、第二孪生卷积线性激活层；

所述的第一孪生特征拼接模块、第一孪生卷积线性激活层、特征聚合模块、特征扩张模块、第二孪生特征拼接模块、第二孪生卷积线性激活层依次连接；

所述前时序特征拼接模块与所述第一孪生特征拼接模块连接；

所述后时序特征拼接模块与所述第一孪生特征拼接模块连接；

所述第一孪生特征拼接模块将得到的每组前时序图像的K张特征图与每组后时序图像的K张特征图中对应的特征图依次进行拼接处理，得到每组前后时序地物图像的K张拼接特征图，输出到第一孪生卷积线性激活层；

第一孪生卷积线性激活层将每组前后时序地物图像的K张拼接特征图依次进行卷积处理、线性整流函数激活操作，得到每组前后时序地物图像的K张卷积激活处理后拼接特征图，并输出到特征聚合模块中；

所述特征聚合模块将每组前后时序地物图像的K张卷积激活处理后拼接特征图通过渐进式聚合策略进行逐步聚合处理，得到每组前后时序地物图像的K张不同高度与宽度大小的初步聚合特征图；将前述每组前后时序地物图像的K张不同高度与宽度的初步聚合特征图中高度与宽度最大的初步聚合特征图输出到第二孪生特征拼接模块，将剩余每组前后时序地物图像的K-1个初步聚合特征图输入到特征扩张模块；

特征扩张模块将每组前后时序地物图像的K-1个初步聚合特征图，结合每组前后时序地物图像中高度与宽度最大的初步聚合特征图进行特征扩张处理使每组前后时序地物图像的K-1个初步聚合特征图扩张到与最大初步聚合特征图的高度与宽度相同，得到每组前后时序地物图像的K-1个扩张处理后的特征图，输出到第二孪生特征拼接模块；

第二孪生特征拼接模块在通道维度上将每组前后时序地物图像的K-1个扩张处理后的特征图与每组前后时序地物图像的K张不同高度与宽度的初步聚合特征图中高度与宽度最大的初步聚合特征图进行拼接处理，得到每组前后时序地物图像的特征聚合后特征图，输出到第二孪生卷积线性激活层；第二孪生卷积线性激活层对每组前后时序地物图像的特征聚合后特征图进行卷积处理、线性整流函数激活处理，得到每组前后时序地物图像对的检测地物变化图像；

步骤2所述损失函数模型，具体定义如下：

L

其中，N是每组前后时序地物图像对中像素的总数量，p

本发明还提供了一种计算机可读介质，所述计算机可读介质存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，执行所述全地物变化检测方法的步骤。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提出了一种双模态特征交错孪生注意力的全地物变化检测方法。通过双模态特征交错模块，可以更有效的模拟下采样和上采样过程中的远程依赖关系和多尺度上下文连接，并可以有效地捕获不同语义尺度的粗微调特征，提高特征学习质量。同时，本发明使用的孪生聚合模块，可以充分地利用不同尺度的特征信息，从而使提取到的特征可以进行高质量的聚合，以实现准确的局部特征表示。此外，使用二分类交叉熵损失函数能够平衡变化和未发生变化的样本之间的权重，使模型更加关注变化区域，从而提高变化检测的准确性。实验结果表明，所提方法在全地物变化检测任务中表现出优越的性能，具有实际应用价值。

附图说明

图1：本发明实施例的方法流程图；

图2：本发明实施例的总体网络结构图；

图3：本发明实施例的获取的前后时序地物图像对及前后时序地物图像对的真实地物变化图；

图4：本发明实施例的与其他变化检测方法的变化检测结果对比图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

下面结合图1至图4介绍本发明方法的具体实施例，一种全地物变化检测方法，具体如下：

如图1所示，为本发明的方法流程图。

步骤1：获取每组前后时序地物图像对、每组前后时序地物图像对的真实地物变化图像；

步骤1所述每组前后时序地物图像对包括：

每组前时序地物图像、每组后时序地物图像；

步骤2：构建双模态特征交错全地物变化检测模型，将每组前后时序地物图像对输入全地物变化检测模型进行图像检测，得到每组前后时序地物图像对的检测地物变化图像，结合每组前后时序地物图像对的真实地物变化图像构建损失函数模型，通过优化训练得到训练后的双模态特征交错全地物变化检测模型；

所述全地物变化检测模型包括：前时序双模态特征交错模块、后时序双模态特征交错模块、孪生聚合模块；

所述前时序双模态特征交错模块与所述孪生聚合模块连接；

所述后时序双模态特征交错模块与所述孪生聚合模块连接；

所述前时序双模态特征交错模块，将每组前时序地物图像进行图像特征提取得到每组前时序地物图像的特征图，并输出至所述孪生聚合模块；

所述后时序双模态特征交错模块，将每组后时序地物图像进行图像特征提取得到每组后时序地物图像的特征图，并输出至所述孪生聚合模块；

所述孪生聚合模块，将每组前时序地物图像的特征图、每组后时序地物图像的特征图进行孪生聚合处理，得到每组前后时序地物图像对的检测地物变化图像；

所述前时序双模态特征交错模块包括前时序大尺寸分割模块、前时序大尺寸卷积模块、前时序大尺寸特征提取模块、前时序小尺寸分割模块、前时序小尺寸卷积模块、前时序小尺寸特征提取模块、前时序交叉注意力模块、前时序特征拼接模块；

所述的前时序大尺寸分割模块、前时序大尺寸卷积模块、前时序大尺寸特征提取模块依次连接；所述前时序大尺寸特征提取模块与所述前时序交叉注意力模块连接；所述前时序交叉注意力模块与所述前时序特征拼接模块连接；

所述的前时序小尺寸分割模块、前时序小尺寸卷积模块、前时序小尺寸特征提取模块依次连接；所述前时序小尺寸特征提取模块与所述前时序交叉注意力模块连接；所述前时序交叉注意力模块与所述前时序特征拼接模块连接；

所述前时序大尺寸分割模块，将每组前时序地物图像进行大尺寸图像分割得到每组前时序大尺寸分割后地物图像，并输出至所述前时序大尺寸卷积模块；

所述前时序大尺寸卷积模块，将每组前时序大尺寸分割后地物图像进行卷积处理得到每组前时序地物图像的大尺寸嵌入特征，并输出至所述前时序大尺寸特征提取模块；

所述前时序大尺寸特征提取模块，将每组前时序地物图像的大尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图，并输出至所述前时序交叉注意力模块；

所述前时序小尺寸分割模块，将每组前时序地物图像进行小尺寸图像分割得到每组前时序小尺寸分割后地物图像，并输出至所述前时序小尺寸卷积模块；

所述前时序小尺寸卷积模块，将每组前时序小尺寸分割后地物图像进行卷积处理得到每组前时序地物图像的小尺寸嵌入特征，并输出至所述前时序小尺寸特征提取模块；

所述前时序小尺寸特征提取模块，将每组前时序地物图像的小尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图，并输出至所述前时序交叉注意力模块；

所述前时序交叉注意力模块，将K张每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图与K张每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图进行交叉注意力处理得到K张每组前时序地物图像的经过交叉注意力处理的大尺寸特征图与K张每组前时序地物图像的经过交叉注意力处理的小尺寸特征图，并输出至所述前时序特征拼接模块；

所述前时序特征拼接模块，将K张每组前时序地物图像的经过交叉注意力处理的小尺寸特征图进行上采样处理，将K张每组前时序地物图像的经过交叉注意力处理的小尺寸特征图扩大至与每组前时序地物图像的经过交叉注意力处理的大尺寸特征图大小相同，再将K张每组前时序地物图像的扩大后的小尺寸特征图与K张每组前时序地物图像的经过交叉注意力处理的大尺寸特征图进行拼接与卷积处理得到每组前时序地物图像的特征图，并输出至所述孪生聚合模块；

所述前时序大尺寸特征提取模块包括：第1前时序大尺寸滑动窗口特征提取模块、第2前时序大尺寸滑动窗口特征提取模块、...第K前时序大尺寸滑动窗口特征提取模块；

所述的第1前时序大尺寸滑动窗口特征提取模块、第2前时序大尺寸滑动窗口特征提取模块、...第K前时序大尺寸滑动窗口特征提取模块依次连接；

所述前时序大尺寸卷积模块与所述第1前时序大尺寸滑动窗口特征提取模块连接；

所述第k前时序大尺寸滑动窗口特征提取模块，对第k-1个前时序大尺寸滑动窗口特征提取模块输入的每组前时序地物图像的第k-1前时序大尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图，并将每组前时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组前时序地物图像的下采样后的特征图，将每组前时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组前时序地物图像的经过预处理后的特征图；若k＝1，则对每组前时序地物图像的大尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图；随后将每组前时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组前时序地物图像的经过注意力计算的特征窗口；将每组前时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组前时序地物图像的合并整合后的特征图；将每组前时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k前时序交叉注意力模块与第k+1前时序大尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k前时序交叉注意力模块；

所述前时序小尺寸特征提取模块包括：第1前时序小尺寸滑动窗口特征提取模块、第2前时序小尺寸滑动窗口特征提取模块、...第K前时序小尺寸滑动窗口特征提取模块；

所述的第1前时序小尺寸滑动窗口特征提取模块、第2前时序小尺寸滑动窗口特征提取模块、...第K前时序小尺寸滑动窗口特征提取模块依次连接；

所述前时序小尺寸卷积模块与所述第1前时序小尺寸滑动窗口特征提取模块连接；

所述第k前时序小尺寸滑动窗口特征提取模块，对第k-1个前时序小尺寸滑动窗口特征提取模块输入的每组前时序地物图像的第k-1前时序小尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图，并将每组前时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组前时序地物图像的下采样后的特征图，将每组前时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组前时序地物图像的经过预处理后的特征图；若k＝1，则对每组前时序地物图像的小尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组前时序地物图像的放大后的特征图；随后将每组前时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组前时序地物图像的经过注意力计算的特征窗口；将每组前时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组前时序地物图像的合并整合后的特征图；将每组前时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k前时序交叉注意力模块与第k+1前时序小尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k前时序交叉注意力模块；

所述前时序交叉注意力模块包括：第1前时序交叉注意力模块、第2前时序交叉注意力模块、...第K前时序交叉注意力模块；

所述第k前时序大尺寸滑动窗口特征提取模块与所述第k前时序交叉注意力模块连接，k∈[1,K]；

所述第k前时序小尺寸滑动窗口特征提取模块与所述第k前时序交叉注意力模块连接，k∈[1,K]；

所述第1前时序交叉注意力模块、第2前时序交叉注意力模块、...第K前时序交叉注意力依次与所述前时序特征拼接模块连接；

所述第k前时序交叉注意力模块包含第k前时序第一分支模块、第k前时序第二分支模块，每个分支模块由两个重塑转置层、一个自适应平均池化层、一个线性变化层、一个拉伸层、一个特征拼接层以及一个特征转化层依次级联构成。

在第k前时序第一分支模块中，第一个重塑转置层将输入每组前时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组前时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组前时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组前时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组前时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组前时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

在第k前时序第二分支模块中，第一个重塑转置层将输入每组前时序地物图像的第k前时序小尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组前时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组前时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组前时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组前时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组前时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

所述后时序双模态特征交错模块包括后时序大尺寸分割模块、后时序大尺寸卷积模块、后时序大尺寸特征提取模块、后时序小尺寸分割模块、后时序小尺寸卷积模块、后时序小尺寸特征提取模块、后时序交叉注意力模块、后时序特征拼接模块；

所述的后时序大尺寸分割模块、后时序大尺寸卷积模块、后时序大尺寸特征提取模块依次连接；所述后时序大尺寸特征提取模块与所述后时序交叉注意力模块连接；所述后时序交叉注意力模块与所述后时序特征拼接模块连接；

所述的后时序小尺寸分割模块、后时序小尺寸卷积模块、后时序小尺寸特征提取模块依次连接；所述后时序小尺寸特征提取模块与所述后时序交叉注意力模块连接；所述后时序交叉注意力模块与所述后时序特征拼接模块连接；

所述后时序大尺寸分割模块，将每组后时序地物图像进行大尺寸图像分割得到每组后时序大尺寸分割后地物图像，并输出至所述后时序大尺寸卷积模块；

所述后时序大尺寸卷积模块，将每组后时序大尺寸分割后地物图像进行卷积处理得到每组后时序地物图像的大尺寸嵌入特征，并输出至所述后时序大尺寸特征提取模块；

所述后时序大尺寸特征提取模块，将每组后时序地物图像的大尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组后时序地物图像的第k后时序大尺寸滑动窗口特征提取模块的输出特征图，并输出至所述后时序交叉注意力模块；

所述后时序小尺寸分割模块，将每组后时序地物图像进行小尺寸图像分割得到每组后时序小尺寸分割后地物图像，并输出至所述后时序小尺寸卷积模块；

所述后时序小尺寸卷积模块，将每组后时序小尺寸分割后地物图像进行卷积处理得到每组后时序地物图像的小尺寸嵌入特征，并输出至所述后时序小尺寸特征提取模块；

所述后时序小尺寸特征提取模块，将每组后时序地物图像的小尺寸嵌入特征进行滑动窗口特征提取处理得到K张每组后时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图，并输出至所述后时序交叉注意力模块；

所述后时序交叉注意力模块，将K张每组后时序地物图像的第k后时序大尺寸滑动窗口特征提取模块的输出特征图与K张每组后时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图进行交叉注意力处理得到K张每组后时序地物图像的经过交叉注意力处理的大尺寸特征图与K张每组后时序地物图像的经过交叉注意力处理的小尺寸特征图，并输出至所述后时序特征拼接模块；

所述后时序特征拼接模块，将K张每组后时序地物图像的经过交叉注意力处理的小尺寸特征图进行上采样处理，将K张每组后时序地物图像的经过交叉注意力处理的小尺寸特征图扩大至与每组后时序地物图像的经过交叉注意力处理的大尺寸特征图大小相同，再将K张每组后时序地物图像的扩大后的小尺寸特征图与K张每组后时序地物图像的经过交叉注意力处理的大尺寸特征图进行拼接与卷积处理得到每组后时序地物图像的特征图，并输出至所述孪生聚合模块；

所述后时序大尺寸特征提取模块包括：第1后时序大尺寸滑动窗口特征提取模块、第2后时序大尺寸滑动窗口特征提取模块、...第K后时序大尺寸滑动窗口特征提取模块；

所述的第1后时序大尺寸滑动窗口特征提取模块、第2后时序大尺寸滑动窗口特征提取模块、...第K后时序大尺寸滑动窗口特征提取模块依次连接；

所述后时序大尺寸卷积模块与所述第1后时序大尺寸滑动窗口特征提取模块连接；

所述第k后时序大尺寸滑动窗口特征提取模块，对第k-1个后时序大尺寸滑动窗口特征提取模块输入的每组后时序地物图像的第k-1后时序大尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图，并将每组后时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组后时序地物图像的下采样后的特征图，将每组后时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组后时序地物图像的经过预处理后的特征图；若k＝1，则对每组后时序地物图像的大尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图；随后将每组后时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组后时序地物图像的经过注意力计算的特征窗口；将每组后时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组后时序地物图像的合并整合后的特征图；将每组后时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组后时序地物图像的第k后时序大尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k后时序交叉注意力模块与第k+1后时序大尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k后时序交叉注意力模块；

所述后时序小尺寸特征提取模块包括：第1后时序小尺寸滑动窗口特征提取模块、第2后时序小尺寸滑动窗口特征提取模块、...第K后时序小尺寸滑动窗口特征提取模块；

所述的第1后时序小尺寸滑动窗口特征提取模块、第2后时序小尺寸滑动窗口特征提取模块、...第K后时序小尺寸滑动窗口特征提取模块依次连接；

所述后时序小尺寸卷积模块与所述第1后时序小尺寸滑动窗口特征提取模块连接；

所述第k后时序小尺寸滑动窗口特征提取模块，对第k-1个后时序小尺寸滑动窗口特征提取模块输入的每组后时序地物图像的第k-1后时序小尺寸滑动窗口特征提取模块的输出特征图进行预处理操作，预处理操作包括将该特征图尺寸大小除以窗口大小并向上取整，放大至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图，并将每组后时序地物图像的放大后的特征图进行下采样处理，将特征图的高度与宽度降为输入的合并特征图高度与宽度的一半，得到每组后时序地物图像的下采样后的特征图，将每组后时序地物图像的下采样后的特征图进行一次卷积处理，将其通道数增加至两倍，最终得到每组后时序地物图像的经过预处理后的特征图；若k＝1，则对每组后时序地物图像的小尺寸嵌入特征进行预处理并将其填充至窗口大小的倍数，得到每组后时序地物图像的放大后的特征图；随后将每组后时序地物图像的经过预处理后的特征图划分为多个不重叠小块，对每个不重叠小块进行窗口自注意力机制处理，得到每个不重叠小块内的特征关系；利用滑动窗口特征提取模块的移动窗口自注意力机制建立特征图内的长程依赖关系，得到每组后时序地物图像的经过注意力计算的特征窗口；将每组后时序地物图像的经过注意力计算的特征窗口进行合并处理，得到每组后时序地物图像的合并整合后的特征图；将每组后时序地物图像的合并整合后的特征图经过残差连接处理、层归一化处理，得到每组后时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图，并输出到所述第k后时序交叉注意力模块与第k+1后时序小尺寸滑动窗口特征提取模块，若k＝K，则只输出到第k后时序交叉注意力模块；

所述后时序交叉注意力模块包括：第1后时序交叉注意力模块、第2后时序交叉注意力模块、...第K后时序交叉注意力模块；

所述第k后时序大尺寸滑动窗口特征提取模块与所述第k后时序交叉注意力模块连接，k∈[1,K]；

所述第k后时序小尺寸滑动窗口特征提取模块与所述第k后时序交叉注意力模块连接，k∈[1,K]；

所述第1后时序交叉注意力模块、第2后时序交叉注意力模块、...第K后时序交叉注意力依次与所述后时序特征拼接模块连接；

所述第k后时序交叉注意力模块包含第k后时序第一分支模块、第k后时序第二分支模块，每个分支模块由两个重塑转置层、一个自适应平均池化层、一个线性变化层、一个拉伸层、一个特征拼接层以及一个特征转化层依次级联构成。

在第k后时序第一分支模块中，第一个重塑转置层将输入每组后时序地物图像的第k前时序大尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组后时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组后时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组后时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组后时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组后时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

在第k后时序第二分支模块中，第一个重塑转置层将输入每组前时序地物图像的第k后时序小尺寸滑动窗口特征提取模块的输出特征图的形状信息进行重新排列和扁平化处理后输出到自适应平均池化层与第二模块的特征拼接层；自适应平均池化层将得到的每组后时序地物图像的特征图维度设置为1后输出到线性变化层；线性变化层将得到的每组后时序地物图像的特征图进行线性变换，映射到不同的特征空间后输入到拉伸层；拉伸层将特征的维度增加后输入到特征拼接层；特征拼接层将每组后时序地物图像的增加维度后的特征图与第二分支模块的第一个重塑转置层输入的经过重新排列和扁平化处理的特征图进行拼接，输出到特征转化层；特征转化层将输入的每组后时序地物图像的特征图进行特征变换与交互处理后输入到第二个重塑转置层；重塑转置层对特征图进行维度调整和变换操作，将特征图的形状恢复为原始形状，最终得到每组后时序地物图像的经过交叉注意力处理的大尺寸特征图，并输出到特征拼接模块；

所述孪生聚合模块包括：第一孪生特征拼接模块、第一孪生卷积线性激活层、特征聚合模块、特征扩张模块、第二孪生特征拼接模块、第二孪生卷积线性激活层；

所述的第一孪生特征拼接模块、第一孪生卷积线性激活层、特征聚合模块、特征扩张模块、第二孪生特征拼接模块、第二孪生卷积线性激活层依次连接；

所述前时序特征拼接模块与所述第一孪生特征拼接模块连接；

所述后时序特征拼接模块与所述第一孪生特征拼接模块连接；

所述第一孪生特征拼接模块将得到的每组前时序图像的K张特征图与每组后时序图像的K张特征图中对应的特征图依次进行拼接处理，得到每组前后时序地物图像的K张拼接特征图，输出到第一孪生卷积线性激活层；

第一孪生卷积线性激活层将每组前后时序地物图像的K张拼接特征图依次进行卷积处理、线性整流函数激活操作，得到每组前后时序地物图像的K张卷积激活处理后拼接特征图，并输出到特征聚合模块中；

所述特征聚合模块将每组前后时序地物图像的K张卷积激活处理后拼接特征图通过渐进式聚合策略进行逐步聚合处理，得到每组前后时序地物图像的K张不同高度与宽度大小的初步聚合特征图；将前述每组前后时序地物图像的K张不同高度与宽度的初步聚合特征图中高度与宽度最大的初步聚合特征图输出到第二孪生特征拼接模块，将剩余每组前后时序地物图像的K-1个初步聚合特征图输入到特征扩张模块；

特征扩张模块将每组前后时序地物图像的K-1个初步聚合特征图，结合每组前后时序地物图像中高度与宽度最大的初步聚合特征图进行特征扩张处理使每组前后时序地物图像的K-1个初步聚合特征图扩张到与最大初步聚合特征图的高度与宽度相同，得到每组前后时序地物图像的K-1个扩张处理后的特征图，输出到第二孪生特征拼接模块；

第二孪生特征拼接模块在通道维度上将每组前后时序地物图像的K-1个扩张处理后的特征图与每组前后时序地物图像的K张不同高度与宽度的初步聚合特征图中高度与宽度最大的初步聚合特征图进行拼接处理，得到每组前后时序地物图像的特征聚合后特征图，输出到第二孪生卷积线性激活层；第二孪生卷积线性激活层对每组前后时序地物图像的特征聚合后特征图进行卷积处理、线性整流函数激活处理，得到每组前后时序地物图像对的检测地物变化图像；

步骤2所述损失函数模型，具体定义如下：

L

其中，N是每组前后时序地物图像对中像素的总数量，p

步骤3：利用训练后的双模态特征交错全地物变化检测模型对实时采集的地物图像与先前采集的相同区域地物图像进行变化检测，得到当前区域的检测地物变化图像。

本发明使用的获取的前后时序地物图像对及前后时序地物图像对的真实地物变化图见图3，与各方法比较，从结果对比图、定量分析两方面评价本发明的双模态特征交错孪生注意力的全地物变化检测方法的效果。

与其他变化检测方法的变化检测结果对比图见图4，说明本发明能检测出识别难度系数大的地物变化区域，关注不同尺度的变化。

本发明对从Precision、Recall、F1-score、IOU_0、IOU_1、mIOU、OA和Kappa进行定量分析，比较结果见表1。

表1 SYSU-变化检测数据集实验指标

由表1可知，本发明在Precision、IOU_0、OA三个指标中优于当前的最优方法。此外，本发明在保持较高Kappa的同时，也获得了较高的F1-score。同时，在OA和Kappa两个指标上较现有方法取得了较好的提升。实验结果表明，本发明通过多尺度特征之间的交互，在SYSU-变化检测数据集存在植物参杂交替情况的部分影像中，有效的避免了植物对全地物变化检测的干扰，实现了准确的全地物变化检测。

所述计算机可读介质为服务器工作站；

所述服务器工作站存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行本发明实施例的所述双模态特征交错孪生注意力的全地物变化检测方法的步骤。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。