一种图像处理方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术，具体涉及一种图像处理方法、装置、电子设备和存储介质。

背景技术

目前，针对同一目标进行变化检测有着重要的意义。其中，目标变化检测可以是根据同一位置目标在不同时期是否发生变化。

例如，在建筑物变化检测中，需要利用不同时刻针对同一位置拍摄的遥感图像，确定遥感图像中包含的建筑物是否发生诸如建筑物消失、建筑物扩建，新建建筑物等变化，从而监控一些违规的建设乱象。

可见，需要高性能的目标检测方法。

发明内容

有鉴于此，本申请至少公开一种图像处理方法，上述方法可以包括：

对输入目标变化检测网络的两期图像进行特征提取，得到第一图像特征与第二图像特征；

基于上述第一图像特征和上述第二图像特征，得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果。

在示出的一些实施例中，上述对输入上述变化检测网络的两期图像进行特征提取，得到第一图像特征与第二图像特征，包括：

分别对上述两期图像进行特征提取，得到与上述两期图像中的第一图像对应的第一图像特征以及与上述两期图像中的第二图像对应的第二图像特征；

上述基于上述第一图像特征和上述第二图像特征，得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像的目标变化检测结果，包括：

对上述第一图像特征和/或上述第二图像特征进行图像处理，得到上述图像处理结果；

对上述第一图像特征与第二图像特征进行特征融合，得到融合特征，并基于上述融合特征，对上述两期图像中包含的目标进行变化检测，得到上述目标变化检测结果。

在示出的一些实施例中，上述对上述第一图像特征与第二图像特征进行特征融合，得到融合特征，包括：

对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征。

在示出的一些实施例中，上述对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征，包括：

利用上述第一图像特征与上述第二图像特征预测上述第二图像特征中的每个特征点对应的第一偏移量以及上述第一图像特征中的每个特征点对应的第二偏移量；其中，上述第一偏移量用于调整上述第二图像特征中的各特征点的感受野；上述第二偏移量用于调整上述第一图像特征中的各特征点的感受野；

基于上述第一偏移量，对上述第二图像特征进行调整，得到调整后的第二图像特征；

基于上述第二偏移量，对上述第一图像特征进行调整，得到调整后的第一图像特征；

对调整后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

在示出的一些实施例中，上述利用上述第一图像特征与上述第二图像特征预测上述第二图像特征中的每个特征点对应的第一偏移量以及上述第一图像特征中的每个特征点对应的第二偏移量，包括：

将上述第一图像特征与上述第二图像特征进行叠加，得到第一叠加特征；上述对上述第一叠加特征进行偏移量预测，得到上述第一偏移量；以及，

将上述第一图像特征与上述第二图像特征进行叠加，得到第二叠加特征；上述对上述第二叠加特征进行卷积，得到上述第二偏移量。

在示出的一些实施例中，上述对调整后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征，包括：

对调整后的第一图像特征与调整后的第二图像特征进行光流预测，确定对应的光流场；其中，上述光流场表征上述两期图像内相同像素点的位置误差；

利用上述光流场对上述第一图像特征进行扭曲，得到扭曲后的第一图像特征；

对扭曲后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

在示出的一些实施例中，上述对调整后的第一图像特征与调整后的第二图像特征进行光流预测，确定对应的光流场，包括：

利用光流估计网络包括的多层编码层，对调整后的第一图像特征与调整后的第二图像特征进行编码，得到编码结果；

利用光流估计网络包括的多层解码层，对上述编码结果进行解码，得到上述光流场；其中，在进行解码过程中，从第二层解码层开始，每一解码层的输入包括：上一层解码层输出的输出特征，基于上述输出特征预测的光流以及与该解码层对应的编码层所输出的特征。

在示出的一些实施例中，上述对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征，包括：

对上述第一图像特征与上述第二图像特征进行特征融合，得到初始融合特征；

对上述第一图像特征与上述第二图像特征进行视差特征提取，得到视差特征；其中，上述视差特征表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的匹配程度；

基于上述视差特征确定权重信息，并利用上述权重信息对上述初始融合特征进行特征选择，得到上述融合特征。

在示出的一些实施例中，上述基于上述视差特征确定权重信息，包括：

将上述视差特征与上述初始融合特征进行叠加，得到叠加特征，并基于上述叠加特征确定权重信息。

在示出的一些实施例中，上述方法还包括：

将上述融合特征与上述视差特征之和，确定为最终融合特征。

在示出的一些实施例中，通过代价值表征上述匹配程度；

上述对上述第一图像特征与上述第二图像特征进行视差特征提取，得到视差特征，包括：

基于上述第一图像特征与上述第二图像特征，确定代价空间；其中，上述代价空间用于表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的代价值；

对上述代价空间进行代价聚合，得到上述视差特征。

在示出的一些实施例中，上述对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征，包括：

依次将上述第一图像特征中的各特征点确定为当前特征点，并执行：确定上述第二图像特征包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第一权重信息；其中，上述第一权重信息中表征上述第二图像特征中的各特征点与上述当前特征点之间的相似度；

利用上述第一权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征；

依次将上述第二图像特征中的各特征点确定为当前特征点，并执行：确定上述第一图像特征包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第二权重信息；其中，上述第二权重信息表征上述第一图像特征中的各特征点与上述当前特征点之间的相似度；

利用上述第二权重信息对上述第一图像特征进行特征聚合，得到聚合后的第一图像特征；

对聚合后的第一图像特征与第二图像特征进行叠加，得到上述融合特征。

在示出的一些实施例中，上述确定上述第二图像特征包括的各特征点，分别与上述当前特征点之间的相似度，包括：

确定上述第二图像特征包括的各特征点对应的第二邻域，与上述当前特征点对应的第一邻域之间的相似度；其中，上述第一邻域包括以上述当前特征点为中心，与其周围其他特征点组成的第一预设大小的邻域；上述第二邻域包括以上述第二图像特征点为中心，与其周围其他特征点组成的第二预设大小的邻域。

在示出的一些实施例中，上述对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征，包括：

依次将上述第一图像特征中的各特征点确定为当前特征点，并执行：确定上述第二图像特征中与上述当前特征点位置相同的特征点对应的第三邻域中包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第三权重信息；其中，上述第三权重信息中表征上述第三邻域中的各特征点与上述当前特征点之间的相似度；上述第三邻域包括以上述第二图像特征中与上述当前特征点位置相同的特征点为中心，与其周围其他特征点组成的第三预设大小的邻域；

利用上述第三权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征；

依次将上述第二图像特征中的各特征点确定为当前特征点，并执行：确定上述第一图像特征中与上述当前特征点位置相同的特征点对应的第四邻域中包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第四权重信息；其中，上述第四权重信息中表征上述第四邻域中的各特征点与上述当前特征点之间的相似度；上述第四邻域包括以上述第一图像特征中与上述当前特征点位置相同的特征点为中心，与其周围其他特征点组成的第四预设大小的邻域；

利用上述第四权重信息对上述第一图像特征进行特征聚合，得到聚合后的第一图像特征；

对聚合后的第一图像特征与第二图像特征进行叠加，得到上述融合特征。

在示出的一些实施例中，上述图像处理包括以下中的至少一项：

图像分类；语义分割；实例分割；全景分割；目标检测。

在示出的一些实施例中，上述方法还包括：

通过以下至少一项方式对上述两期图像中至少一期图像进行数据增强：

对图像进行裁切；对图像进行旋转；对图像进行翻转；调整图像的明亮度；调整图像的对比度；对图像添加高斯噪声；对两期图像添加配准误差。

在示出的一些实施例中，上述目标变化检测网络包括第一输入和第二输入；

上述基于上述第一图像特征和上述第二图像特征，得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果，包括：

将上述第一图像特征作为第一输入，将上述第二图像特征作为第二输入得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的第一图像处理结果和针对上述两期图像中目标的第一变化检测结果；

将上述第一图像特征作为第二输入，将上述第二图像特征作为第一输入得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的第二图像处理结果和针对上述两期图像中目标的第二变化检测结果；

将上述第一图像处理结果与上述第二图像处理结果进行加权平均，得到针对上述两期图像中至少一期图像的最终图像处理结果，以及将上述第一变化检测结果与上述第二变化检测结果进行加权平均，得到针对上述两期图像中目标的最终变化检测结果。

在示出的一些实施例中，在上述目标变化检测网络为待训练的网络的情况下，上述方法还包括：

根据上述至少一期图像的上述图像处理结果和对应的图像处理标签值得到图像处理损失，并根据上述两期图像中的目标的变化检测结果和对应的变化检测标签值得到变化检测损失；

基于上述图像处理损失和上述变化检测损失，调整上述目标变化检测网络的网络参数。

在示出的一些实施例中，上述基于上述图像处理损失和上述变化检测损失，调整上述目标变化检测网络的网络参数，包括：

根据上述图像处理损失与上述变化检测损失，得到总损失；

基于上述总损失，调整上述目标变化检测网络的网络参数。

本申请还提出一种图像处理装置，上述装置可以包括：

特征提取模块，用于对输入目标变化检测网络的两期图像进行特征提取，得到第一图像特征与第二图像特征；

图像处理模块，用于基于上述第一图像特征和上述第二图像特征，得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果。

本申请还提出一种电子设备，上述设备包括：处理器；用于存储上述处理器可执行指令的存储器；其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现如前述任一实施例示出的图像处理方法。

本申请还提出一种计算机可读存储介质，上述存储介质存储有计算机程序，上述计算机程序用于执行如前述任一实施例示出的图像处理方法。

在上述方案中，使目标变化检测网络对输入的两期图像进行图像处理，得到针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果，从而一方面，可以同时输出图像处理结果与目标变化检测结果，提升网络利用率；

另一方面，在对目标变化检测网络进行训练时，可以基于上述图像处理结果和对应的图像处理标签值得到图像处理损失以及上述变化检测结果和对应的变化检测标签值得到变化检测损失，调整上述建筑物变化检测网络的网络参数，以利用图像处理结果辅助目标变化检测结果的训练，实现图像处理任务以及建筑物变化检测任务的联合训练，使得无需构建大量具有变化检测标签值的训练样本进行训练，有助于克服正负样本不均衡问题，提升整体训练效率，提升网络的目标变化检测性能。

应当理解的是，以上所述的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种建筑物变化检测流程示意图；

图2为本申请示出的一种图像处理方法的方法流程图；

图3为本申请示出的一种建筑物变化网络结构示意图；

图4为本申请示出的一种图像处理方法的方法流程图；

图5a为本申请示出的一种自适应特征融合方法；

图5b为本申请示出的一种自适应特征融合方法；

图6为本申请示出的一种扭曲流程示意图；

图7为本申请示出的一种自适应特征融合方法流程示意图；

图8为本申请示出的一种特征聚合流程示意图；

图9为本申请示出的一种建筑物变化检测方法的方法流程图；

图10为本申请示出的一种图像处理装置的结构示意图；

图11为本申请示出的一种电子设备的硬件结构图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。

在相关技术中通常利用神经网络技术进行建筑物变化检测。

请参见图1，图1为本申请示出的一种建筑物变化检测流程示意图。

如图1所示，用于进行建筑物变化检测的建筑物变化检测网络可以包括特征提取子网络以及建筑物变化检测子网络(以下简称检测子网络)。其中，上述特征提取子网络的输出为上述检测子网络的输入。

上述特征提取子网络用于对第一图像和第二图像进行特征提取，得到第一图像特征与第二图像特征。在这里可以至少包括以下两种方式。其一，通过同一特征提取子网络分别对第一图像和第二图像进行特征提取；其二，可以通过共享权重的两个特征提取子网络分别对第一图像和第二进行特征提取。

上述第一图像与上述第二图像可以是针对同一地点在不同时刻拍摄的包含建筑物的遥感图像。

上述特征提取子网络可以是基于卷积神经网络确定的网络。例如，上述特征提取子网络可以是基于VGGNet(Visual Geometry Group Networks，视觉几何组网络)系列、ResNet(Residual Networks，残差网络)系列、Inception(加宽网络)系列、DenseNet(DenseNetworks，密集连接网络)系列等网络构建的网络。在本申请中不对特征提取子网络的结构进行特别限定。

上述第一图像特征与上述第二图像特征分别是与第一图像和第二图像对应的图像特征。在一些例子中，可以上述第一图像特征与上述第二图像特征可以包括多通道的feature map(特征图)。

上述检测子网络用于基于上述第一图像特征与上述第二图像特征，得到建筑物变化检测结果。其中，在一些例子中，上述建筑物变化检测可以是像素级别的检测，即上述变化检测结果可以指示上述第一图像与上述第二图像中的每一像素是否发生变化，以及发生变化的置信度。

在一些例子中，上述检测子网络可以包括FCN(Fully Convolution Networks，全卷积网络)、SegNet(Segmentation Networks，分割网络)等语义分割网络。其中，上述语义分割网络可以对图像特征进行卷积，下采样，上采样等操作，然后将输入图像的图像特征映射至相同大小的特征图上，从而可以对特征图中的每个像素都产生了一个预测，并且同时保留了输入图像的空间信息。最后在上述特征图上进行逐像素分类，从而获得像素级别的变化检测置信度值。在本申请中不对检测子网络的具体结构进行特别限定。

在基于第一图像与第二图像进行建筑物变化检测时，可以将上述第一图像与上述第二图像输入特征提取子网络，得到第一图像特征与第二图像特征。

然后，将上述第一图像特征与上述第二图像特征输入检测子网络，得到检测结果。

目前，在针对上述建筑物变化检测网络进行训练时通常采用有监督的方式进行训练。即，需要构建具有变化检测标签值的训练样本。然后利用有监督的方式进行网络训练。

但是，在实际情形中通常发生变化的建筑物区域较少(发生变化的样本可以看作正样本)，更多的是未发生变化的建筑物区域(未发生变化的样本可以看作负样本)，因此基于遥感图像进行训练样本构建时，负样本数量远远多于正样本，导致样本数量严重不均衡，影响网络训练与收敛，从而影响上述网络的变化检测性能。

有鉴于此，本申请旨在提出一种图像处理方法。该方法可以使目标变化检测网络对输入的两期图像进行图像处理，得到针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果，从而一方面，可以同时输出图像处理结果与目标变化检测结果，提升网络利用率；

另一方面，在对目标变化检测网络进行训练时，可以基于上述图像处理结果和对应的图像处理标签值得到图像处理损失以及上述变化检测结果和对应的变化检测标签值得到变化检测损失，调整上述建筑物变化检测网络的网络参数，以利用图像处理结果辅助目标变化检测结果的训练，实现图像处理任务以及建筑物变化检测任务的联合训练，使得无需构建大量具有变化检测标签值的训练样本进行训练，有助于克服正负样本不均衡问题，提升整体训练效率，提升网络的目标变化检测性能。

上述图像处理方法既可以应用在对目标变化检测网络的训练任务中，也可以应用在目标变化检测网络的测试或应用任务中。

请参见图2，图2为本申请示出的一种图像处理方法的方法流程图。其中，图2所提到的图像处理过程以及目标检测过程既可以指训练任务中涉及到的目标的图像处理任务以及目标的变化检测任务，也可以指在目标变化检测网络的测试或应用任务中涉及到的目标的图像处理任务以及目标的变化检测任务。

上述方法可以包括：

S202，对输入目标变化检测网络的两期图像进行特征提取，得到第一图像特征与第二图像特征；

S204，基于上述第一图像特征和上述第二图像特征，得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果。

上述目标变化检测网络可以应用在网络训练任务，图像处理任务以及目标变化检测任务中。其中，目标可以是根据业务需求预先设定的任意对象。例如，上述目标可以是建筑物，植被，车辆、人物等。上述目标变化检测任务可以是针对建筑物，车辆，人物，植被等进行变化检测。

在本申请中，以目标变化检测任务为建筑物变化检测任务为例进行说明。可以理解的是，针对任意目标的变化检测任务可以参照建筑物变化检测任务，在本申请中不作详述。

请参见图3，图3为本申请示出的一种建筑物变化网络结构示意图。

如图3所示，上述建筑物变化检测网络可以包括孪生特征提取子网络、图像处理子网络和建筑物变化检测子网络；其中，上述孪生特征提取子网络共享参数权重；并行的上述图像处理子网络与上述建筑物变化检测子网络分别与上述孪生特征提取子网络连接。

其中，上述图像处理子网络可以对上述第一图像特征和/或上述第二图像特征进行图像处理，得到上述图像分割结果。

可以理解的是不同的图像处理操作可以对应不同结构的图像处理子网络。

例如，当图像处理为语义分割时，上述图像处理子网络可以是用于检测语义分割结果的语义分割子网络，比如FCN(Fully Convolution Networks，全卷积网络)、SegNet(Segmentation Networks，分割网络)等语义分割子网络。

再例如，当图像处理为图像分类时，上述图像处理子网络可以是用于检测图像分类结果的分类子网络，比如基于深度卷积神经网络构建的是二分类器或多分类器。

再例如，当图像处理为实例分割或全景分割时，上述图像处理子网络可以是用于检测图像分割结果的分割子网络，比如MASK-RCNN(Mask Region Convolutional NeuralNetworks，掩膜区域卷积神经网络)。

再例如，当图像处理为目标检测时，上述图像处理子网络可以是用于检测目标所在区域的目标检测子网络，比如基于RCNN(Region Convolutional Neural Networks，区域卷积神经网络)，FAST-RCNN(Fast Region Convolutional Neural Networks，快速区域卷积神经网络)或FASTER-RCNN(Faster Region Convolutional Neural Networks，更快速的区域卷积神经网络)构建的目标检测子网络。

在一些例子中，上述图像处理包括但不限于以下任意一项：图像分类；语义分割；实例分割；全景分割；目标检测。

由于上述任一图像处理均可以利用特征提取子网络提取出的图像特征进行图像处理，因此，均可以达到对特征提取子网络进行训练从而辅助建筑物变化检测任务训练的效果。

在一些例子中，为了方便对训练样本的标注，上述图像处理可以是语义分割。由于在构建用于训练建筑物变化检测任务的样本通常需要进行像素级别的标注，因此当上述图像处理为语义分割时，在构建用于训练建筑物变化检测任务的样本时可以对各像素进行语义分割标签值的标注，以同时构建用于训练语义分割任务的样本，从而简化训练样本的构建难度。

在建筑物变化检测任务中，上述图像处理方法既可以应用在对建筑物变化检测网络的训练任务中，也可以应用在建筑物变化检测网络的测试或应用任务中，两类任务中均可采用相同或相似的方法实现对遥感图像中建筑物的图像处理任务以及对建筑物的变化检测任务。为便于理解，本申请中先以建筑物变化检测网络的训练任务为例进行说明，当然，其中涉及的图像处理以及变化检测过程也可适用在建筑物变化检测网络的测试或应用任务中。

上述训练任务是针对建筑物变化检测网络端到端的训练方法，即针对建筑物变化检测网络进行训练即完成对该网络包括的各子网络的训练。当然，在一些例子中，也可以针对各子网络先进行预先训练，在本申请不进行特别限定。

上述训练方法可以应用于电子设备中。其中，上述电子设备可以通过搭载与训练方法对应的软件系统执行上述训练方法。需要说明的是，上述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，PAD终端等，在本申请中不作特别限定。上述电子设备也可以是客户端设备或服务端设备，在此不作特别限定。

请参见图4，图4为本申请示出的一种图像处理方法的方法流程图。

如图4所示，上述方法可以包括，

S402，对输入建筑物变化检测网络的两期图像样本进行特征提取，得到第一图像特征与第二图像特征。

可以理解的是，若建筑物变化检测网络为待训练的网络，则在进行网络训练前，可以进行准备操作。上述准备操作包括但不限于构建训练样本集，确定网络结构，初始化网络参数，确定训练次数等超参数。在此不对上述准备操作进行详述。

上述两期图像可以是针对同一地点在不同时刻拍摄的包含建筑物的两期遥感图像。示例性的，可以采用包含建筑物的遥感图像以及不包含建筑物的遥感图像构建训练样本。

在一些例子中，可以利用同一特征提取子网络先后对第一图像和第二图像进行特征提取，得到上述第一图像特征与上述第二图像特征。

在一些例子中，为了提升网络性能，可以利用如图3示出的孪生特征提取子网络，分别对上述两期图像进行特征提取，得到与上述两期图像中的第一图像对应的第一图像特征以及与上述两期图像中的第二图像对应的第二图像特征。

例如，上述孪生特征提取子网络可以基于VGGNet架构构建的卷积网络。可以利用上述卷积网络分别对上述两期图像进行诸如卷积，池化等操作，得到与上述第一图像特征以及与上述第二图像特征。在本申请中不对上述孪生特征提取子网络的结构进行特别限定。可以理解的是，在一些例子中为了提升特征提取效果，还可以在上述子网络中加入诸如注意力机制，金字塔池化等模块。

通过孪生特征提取子网络对两期图像进行特征提取，可以提升特征提取效率，简化建筑物变化检测网络结构，从而减少网络运算量，进而提升网络性能。

在得到上述第一图像特征与上述第二图像特征后，可以执行：

S404，基于上述第一图像特征和上述第二图像特征，得到上述建筑物变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像的建筑物变化检测结果。

在一些例子中，可以利用图3示出的图像处理子网络对上述第一图像特征和/或上述第二图像特征进行图像处理，得到上述图像处理结果。

可以理解的是，上述步骤中包含了三种方案。以下以第一图像特征图像处理子网络对上述第一图像特征进行图像处理得到图像分割结果为例进行说明。

例如，图像处理为语义分割时，可以利用语义分割子网络(例如FCN)对上述第一图像特征进行若干次卷积，下采样等操作后，可以利用反卷积层进行上采样将中间特征恢复到与上述第一图像同样大小的特征图，从而可以对特征图中的每个像素都产生了一个预测,并且同时保留了第一图像中的空间信息,。最后在上采样后得到的特征图上进行逐像素是否为前景的分类，从而获得针对第一图像对应的语义分割结果。

在上述方案中，若建筑物变化检测网络为待训练的网络，则可以利用语义分割子网络得到第一图像的语义分割结果，然后可以利用预先标注的上述第一图像对应的语义分割标签值，得到语义分割损失，从而实现对图像处理任务的训练，进而实现上述联合训练。

在一些例子中，可以将上述第一图像特征与上述第二图像特征进行同时作为输入建筑物变化检测子网络进行变化检测，得到建筑物变化检测结果。

在一些例子中，可以利用图3示出的建筑物变化检测子网络，对上述第一图像特征与第二图像特征进行特征融合，得到融合特征，然后基于上述融合特征，对上述两期图像中包含的建筑物进行变化检测，得到上述建筑物变化检测结果。

例如，上述检测子网络为基于FCN构建的语义分割网络。在进行变化检测时，可以对上述融合特征进行若干次卷积，下采样等操作后，可以利用反卷积层进行上采样将中间特征恢复到与上述两期图像同样大小的特征图，从而可以对特征图中的每个像素都产生了一个预测，并且同时保留了第一图像中的空间信息。最后在上采样后得到的特征图上进行逐像素是否发生变化的分类，从而获得针对上述两期图像的建筑物变化检测结果。

在本例中由于先进行了特征融合，因此可以除了利用第一图像特征与第二图像特征各自携带的信息外，还结合了将两个图像特征融合带来的信息，进而提升网络进行建筑物变化检测的性能。

该实施例中，若建筑物变化检测网络为已训练完成的网络，那么输出的图像处理结果和建筑物变化检测结果可以直接作为最终结果使用。若建筑物变化检测网络为待训练的网络，故在得到图像处理结果与建筑物变化检测结果后，还可以执行：

S406，根据上述图像处理结果和对应的图像处理标签值得到图像处理损失，并根据上述变化检测结果和对应的变化检测标签值得到变化检测损失。

上述图像处理标签值，具体为构建图像处理任务训练样本时标注的真值。可以理解的是不同的图像处理操作对应不同的图像处理标签值。

例如，当图像处理为语义分割时，上述图像处理标签值可以是指示输入样本的各像素点是否为前景的语义分割标签值。比如，通过标签值为1表示像素点为前景，0表示像素点为背景。

再例如，当图像处理为图像分类时，上述图像处理标签值可以是指示输入样本是否为建筑物图像的图像分类标签值。比如，可以通过标签值为1表示图像是建筑物图像，0表示图像不是建筑物图像。

再例如，当图像处理为实例分割或全景分割时，上述图像处理标签值可以是指示输入样本中包含的建筑物边界框以及上述边界框的编号的实例分割或全景分割标签值。比如，上述实例分割标签值可以包括指示边界框内对象类型的标签值以及上述边界框的位置信息。再例如，当图像处理为目标检测时，上述图像处理标签值可以是指示输入样本中包含的建筑物边界框的目标检测标签值。比如，上述目标检测标签值可以包括图像中包括的建筑物边界框坐标信息以及指示该边界框内对象是否为建筑物的标签值。

上述变化检测标签值，具体为构建建筑物变化检测任务训练样本是标注的真值。例如，上述变化检测标签值可以是指示输入样本的各像素点是否发送变化的标签值。

在一些例子中，可以基于预设的第一损失函数，确定上述图像处理结果和对应的图像处理标签值之间的图像处理损失误差。然后可以基于预设的第二损失函数，确定上述变化检测结果和对应的变化检测标签值之间的变化检测损失误差。

其中，上述第一损失函数与上述第二损失函数可以是交叉熵损失函数，指数损失函数，均方差损失函数等。在本申请中不限定上述第一损失函数与上述第二损失函数的具体类型。

在得到上述图像处理损失，与上述变化检测损失后，可以执行S408，基于上述图像处理损失和上述变化检测损失，调整上述建筑物变化检测网络的网络参数。

在一些例子中，可以根据上述分割损失与变化检测损失之和，得到总损失。然后基于上述总损失，调整上述建筑物变化检测网络的网络参数。在一些例子中，也可以通常将两个损失进行相减，相乘等操作得到总损失，在此不作详述。

在一些例子中，在得到上述总损失后，可以利用诸如随机梯度下降法确定本次梯度下降的幅度。然后再根据上述幅度，利用反向传播调整上述建筑物变化检测网络的网络参数。可以理解的是，在实际应用中也可以采用其他方式调整网络参数，在此不作详述。

然后可以利用构建的训练样本集，重复S402-S408的操作，直至上述建筑物变化检测网络收敛，完成上述联合训练。需要说明的是，上述收敛的条件可以是诸如达到预设训练次数，或连续M(M为大于1的正整数)次前向传播后得到联合学习损失函数的变化量小于一定阈值等。本申请不对模型收敛的条件进行特别限定。

在上述方案中，该方法可以使上述建筑物变化检测网络执行三方面任务。其中，第一方面为特征提取任务，即针对输入的两期图像进行特征提取，得到提取特征；第二方面为图像处理任务，即利用上述特征提取任务输出的提取特征得到针对上述两期图像中至少一期图像的图像处理结果；第三方面为建筑物变化检测任务，即利用上述特征提取任务输出的提取特征得到针对上述两期图像的建筑物的变化检测结果。

从而在训练时，可以基于上述图像处理结果和对应的图像处理标签值得到图像处理损失以及上述变化检测结果和对应的变化检测标签值得到变化检测损失，调整上述建筑物变化检测网络的网络参数，以实现通过对图像处理任务的训练可以辅助特征提取任务的训练，进而实现图像处理任务以及建筑物变化检测任务的联合训练，使得无需大量具有变化检测标签值的训练样本，有助于克服正负样本不均衡问题，提升整体训练效率，提升网络的建筑物变化检测性能。

在一些例子中，在构建训练样本集时，可以采用以下至少一种数据增强方式：对样本图像进行裁切；对样本图像进行旋转；对样本图像进行翻转；调整样本图像的明亮度；调整样本图像的对比度；对样本图像添加高斯噪声；对两期图像样本添加配准误差。

通过数据增加可以得到相对丰富的训练样本，在一定程度上解决了深度学习模型的训练过程中通常会遇到的过拟合问题，增强了模型的鲁棒性。

在一些例子中，为了进一步提升网络鲁棒性。在进行目标变化检测，得到图像处理结果(以下称为第一图像处理结果)与变化检测结果(以下称为第一变化检测结果)后，可以将第一图像特征与第二图像特征的输入位置进行调换，并再次做出图像处理与变化检测，得到第二图像处理结果与第二变化检测结果。然后将上述第一图像处理结果与上述第二图像处理结果进行加权平均，得到最终图像处理结果，以及将上述第一变化检测结果与上述第二变化检测结果进行加权平均，得到最终的变化检测结果。其中，本申请不对权重进行特别限定。例如，权重可以是0.5。

在上述例子中，由于可以将第一图像特征与第二图像特征的输入位置进行调换后再次做出变化检测，并且最终图像处理结果为上述第一图像处理结果与上述第二图像处理结果的加权平均结果，最终变化检测结果为上述第一变化检测结果与上述第二变化检测结果的加权平均结果，因此可以避免由于第一图像与第二图像的输入顺序导致的误差，进而提升网络的建筑物变化检测准确性与鲁棒性。

请继续参见图3，建筑物变化检测子网络中可以包括融合单元与检测单元。

其中，融合单元用于对第一图像特征与第二图像特征进行融合，得到融合特征。上述检测单元可以是语义分割网络，可以基于上述融合特征进行像素级别的语义分割，确定输入的两期图像中的建筑物是否发生变化。

在一些例子中，可以采用诸如叠加，相加，相乘等操作在上述融合单元中执行上述融合。

在实际应用中，虽然输入的两期遥感图像是针对同一地点拍摄的，但是一方面由于遥感图像的拍摄角度的影响，遥感影像中出现的建筑物的屋顶与底座往往会发生偏移(以下简称偏移)，造成建筑物发生“形变”；另一方面由于针对上述两期遥感图像进行图像配准往往存在配准偏差，即导致同一建筑物可能出现在两期图像中的不同位置。而上述两方面的原因从将可能影响建筑物变化检测的结果，造成虚警。

在一些例子中，为了降低虚警率，提升建筑物变化检测准确性，可以对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征。

由于采用自适应特征融合可以根据输入的两期图像各自的图像特征进行自适应的特征融合，与诸如叠加，相加，相乘等融合方式相比能够在融合过程中修正上述偏移与上述配准偏差带来的误差，从而提升建筑物变化检测准确性，降低虚警率。

在一些例子中可以基于可变形卷积扩大第一图像特征与第二图像特征中各特征点的感受野，然后基于扩大的感受野，对第一图像特征与第二图像特征进行调整，从而得到消除上述偏移带来的误差的第一图像特征与第二图像特征。

上述感受野，可以是指卷积神经网络每一层输出的特征图上的像素点在输入图像上映射的区域大小。例如，以卷积核为3*3为例，在常规卷积中，特征图上的某一像素点在输入图像上的感受野只有上下左右相邻的9个像素点，感受野较小。而本申请中通过可变性卷积则可以扩大该像素点在输入图像上的感受野。

具体地，可以先执行S502，利用上述第一图像特征与上述第二图像特征预测上述第二图像特征中的每个特征点对应的第一偏移量以及上述第一图像特征中的每个特征点对应的第二偏移量；其中，上述第一偏移量用于调整上述第二图像特征中的各特征点的感受野；上述第二偏移量用于调整上述第一图像特征中的各特征点的感受野。

然后可以基于上述第一偏移量，对上述第二图像特征进行调整，得到调整后的第二图像特征；并且，基于上述第二偏移量，通过可变形卷积，对上述第一图像特征进行调整，得到调整后的第一图像特征。

最后可以对调整后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

上述第一偏移量与上述第二偏移量具体为与图像特征中的特征点对应的位置偏移量。例如，上述偏移量可以是表征特征点在X轴和Y轴方向上的位移量。上述偏移量用于调整上述第二图像特征中的各特征点的感受野。例如，在卷积核为3*3的常规卷积操作中，通常为将卷积核与特征点周围3*3的特征点形成的区域进行卷积，这样使得对该特征点的感受野仅局限于上述区域中。而通过上述偏移量，在进行可变形卷积时，可以将卷积核与按照上述偏移量进行偏移后确定的特征点所形成的区域进行卷积，从而可以调整该特征点的感受野，使得确定的感受野比常规卷积更大，从而消除由于屋顶与底座偏移带来的误差。

例如，包含建筑物的遥感图像中，建筑物的屋顶与底座通常会发生偏移(即，在遥感图像中底座与屋顶处于不同的位置)。通过确定上述偏移量，并基于上述偏移量进行可变形卷积，可以扩大图像中的像素点的感受野，从而可以将统一建筑物的底座与屋顶特征同时包括在该像素点的感受野内，因此可以消除由于上述偏移而无法在同一感受野感受屋顶与底座特征所带来的变化检测误差。

请参见图5a与5b，图5a与图5b为本申请示出的一种自适应特征融合方法。示意性的，图5a与图5b中使用XA表示第一图像特征，使用XB表示第二图像特征，使用XA_d表示利用可变形卷积操作调整后的第一图像特征，使用XB_d利用可变形卷积操作调整后的第二图像特征。

在一些例子中，为了提升特征融合效果，在确定第一偏移量与第二偏移量时，可以将第一图像特征与第二图像特征的位置进行交换，以消除由于输入图像的输入位置带来的影响。

如图5a所示，可以将上述第一图像特征与上述第二图像特征进行叠加，得到第一叠加特征。在一些例子中，上述第一图像特征位于上述第二图像特征之前。上述第一图像特征位于上述第二图像特征之前可以是指，上述第一图像特征包括的特征图层处于上述第二图像特征包括的特征图层之前。然后对上述第一叠加特征进行偏移量预测，得到上述第一偏移量。

如图5b所示，可以将上述第一图像特征与上述第二图像特征进行叠加，得到第二叠加特征。在一些例子中，上述第二图像特征位于上述第一图像特征之前。上述第二图像特征位于上述第一图像特征之前可以是指，上述第二图像特征包括的特征图层处于上述第一图像特征包括的特征图层之前。然后对上述第二叠加特征进行卷积，得到上述第二偏移量。

之后可以利用上述第一偏移量对上述第二图像特征，以及利用上述第二偏移量对上述第一图像特征进行可变性卷积，得到调整后的第一图像特征与第二图像特征。最后对调整后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

在本例中，由于在确定第一偏移量与第二偏移量时，可以将第一图像特征与第二图像特征的位置进行交换，从而消除由于输入图像的输入位置带来的影响，提升建筑物变化检测准确性与鲁棒性。

在一些例子中，为了进一步提升建筑物变化检测准确性，降低虚警率。可以利用输入的两期图像之间的光流场对任一图像对应的图像特征进行扭曲(扭曲包括平移和旋转)，从而使同一建筑物处于两期图像的相同位置，从而消除由于配置偏差带来的误差。

可以理解的是在上述扭曲过程中，可以包括三种扭曲方案，即针对第一图像特征和/或第二图像特征进行扭曲。以下以针对第一图像特征进行扭曲为例进行说明。

请参见图6，图6为本申请示出的一种扭曲流程示意图。示意性的，图6中使用XA_d表示利用可变形卷积操作调整后的第一图像特征，使用XB_d利用可变形卷积操作调整后的第二图像特征，使用XAB标识融合特征。

如图6所示，可以先执行S602，利用光流估计网络(图6中的光流估计单元)，对调整后的第一图像特征与调整后的第二图像特征进行光流预测，确定对应的光流场；其中，上述光流场表征上述两期图像内相同像素点的位置误差。

上述光流估计网络可以是基于Flownetsimple(简单光流网络)、FlowNetCorr(Flow Networks Correction校正光流网络)等结构构建的神经网络。

在一些例子中，可以采用FlowNetCorr结构。上述光流估计网络可以采用常用的光流估计损失函数。例如，上述损失函数可以光流网络自监督损失函数

如图6所示，上述光流估计单元可以包括编码单元与解码单元。

其中，上述编码单元可以包括多层由卷积层和池化层构建的编码层。在上述编码单元中，可以对调整后的第一图像特征与调整后的第二图像特征进行编码，得到编码结果。

上述解码单元可以包括与编码层一一对应的多层解码层。在上述解码单元中，可以对上述编码结果进行解码，得到上述光流场；其中，在进行解码过程中，从第二层解码层开始，每一解码层的输入包括：上一层解码层输出的输出特征，基于上述输出特征预测的光流以及与该解码层对应的编码层所输出的特征。

通过这种方式进行光流场预测，可以既保留了粗略特征图传递的高阶信息，也保留了低层特征图提供的精细局部信息，从而使预测的光流场更准确，进而提升特征融合效果，提升变化检测准确性。

例如，在预测第一图像特征与第二图像特征之间的光流场时，采用FlowNetCorr结构的光流估计网络进行光流场估计，可以既保留第一图像特征与第二图像特征的整体高阶信息，也可以保留对图像特征进行下采样后得到的精细局部信息，从而使的预测的光流场更准确，进而提升变化检测准确性。

在得到上述光流场后，可以执行S604，在扭曲单元中，利用上述光流场对上述第一图像特征进行扭曲，得到扭曲后的第一图像特征。

上述扭曲操作可以包括平移与选择。

经过扭曲操作，可以实现第一图像特征与第二图像特征的特征对齐，从而消除第一图像与第二图像由于配准偏差带来的变化检测误差。

最后可以执行S606，在叠加单元中，对扭曲后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

由此得到的融合特征，可以消除第一图像与第二图像由于配准偏差带来的变化检测误差，进而提升网络的变化检测准确性，降低虚警率。

在一些例子中，可以基于视差估计网络实现自适应特征融合。

请参见图7，图7为本申请示出的一种自适应特征融合方法流程示意图。示意性的，图7中使用XA表示第一图像特征，使用XB表示第二图像特征，使用Xd表示利用预测出的视差特征，使用XAB_C表示对XA与XB进行初步融合后得到的初始融合特征，使用XAB标识最终融合特征。

需要说明的是，图7中用一条竖置的虚线可以将自适应特征融合过程范围提取视差特征，与利用视差特征进行特征融合两个子过程。

在一些例子中，请参照图7虚线左半部分，可以先对上述第一图像特征XA与上述第二图像特征XB进行特征融合，得到初始融合特征XAB_C。

上述特征融合可以是诸如叠加，相加，相乘等操作。以下以叠加为例。此时，XAB_C为叠加特征。

然后可以对上述第一图像特征与上述第二图像特征进行视差特征提取，得到视差特征Xd；其中，上述视差特征Xd表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的匹配程度。

上述匹配程度可以以不同的维度进行表征。例如，在一些例子中可以通过代价值表征上述匹配程度。再例如，可以通过相似度表征上述匹配程度。

当通过代价值表征上述匹配程度时，可以基于上述第一图像特征与上述第二图像特征，确定代价空间(Cost Volume)；其中，上述代价空间用于表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的代价值。然后可以对上述代价空间进行代价聚合，得到上述视差特征。

在一些例子中，在确定代价空间时，可以先对第一图像特征与第二图像特征进行水平对齐。然后基于预设的视差范围，从最小视差开始，确定第一图像特征与第二图像特征对应的两个特征点。之后可以基于诸如汉明距离法、范式距离法、灰度计算法等计算两个特征点之间的代价。之后可以基于第一图像特征与第二图像特征中所有对应的特征点对之间的代价值确定当前最小视差下的代价值集合。

之间逐渐增加视差，并重复上述步骤，直至得到上述视差范围内所有视差下的代价值集合。之后可以基于上述代价值集合组成上述代价空间。

在一些例子中，在对上述代价空间进行代价聚合时，可以利用3D卷积核(例如，3*3*3的卷积核)，对上述代价空间进行3D卷积，得到上述视差特征。

不难理解，上述视差特征可以表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的匹配程度。

在一些例子中，在得到视差特征后，可以基于上述视差特征确定权重信息，并利用上述权重信息对上述初始融合特征进行特征选择，得到上述融合特征。

在一些例子中，在进行特征选择时，可以将权重信息与初始融合特征进行点乘，得到上述融合特征。

由于上述视差特征可以表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的匹配程度，因此基于上述视差特征确定权重信息，并利用上述权重信息对上述初始融合特征进行特征选择的操作可以强化上述初始融合特征中匹配程度比较高的强关联特征，弱化匹配程度比较低的弱关联特征，由此得到的融合特征中可以强化对输入的两期图像中匹配程度高的强关联特征，弱化匹配程度低的弱关联特征，即在基于最终融合特征进行建筑物变化检测时，可以强化两期图像中匹配的像素点提供的信息，弱化不匹配的像素点提供的信息，从而消除由于上述偏移和配置偏差带来的变化检测误差，进而提升针对两期图像的建筑物变化检测准确性，降低误警率。

在一些例子中，为了进一步提升检测准确性，在确定权重信息时可以将上述视差特征与上述初始融合特征进行叠加，得到叠加特征，并基于上述叠加特征确定权重信息。

请参见图7中虚线的右半部分，可以将初始融合特征XAB_C与视差特征Xd进行叠加，然后再对叠加特征进行卷积操作，将叠加特征的大小调整待与XAB_C大小一致，即得到权重信息。

在一些例子中，为了便于计算可以对上述权重信息进行归一化处理，得到0-1范围内的值。

在上述例子中，在确定权重信息时引入了初始融合特征自身携带的信息，因此可以确定更准确的权重信息，进而进一步提升检测准确性。

在一些例子中，为了进一步提升检测准确性，在得到融合特征后还可以将上述融合特征与上述视差特征之和，确定为最终融合特征。

请参见图7中虚线的后半部分，可以先对上述权重信息进行卷积得到视差特征Xd，然后再将Xd与融合特征相加，得到最终融合特征XAB。

在将Xd与融合特征相加时，可以将Xd与融合特征处于相同位置的像素值进行相加，得到XAB。

在上述例子中，由于在最终融合特征中可以加入视差特征，因此在做建筑物变化检测时，可以引入视差特征携带的特征点匹配程度信息，进一步提升检测准确性。

在一些例子中，可以基于Non-local(非局部)结构进行自适应特征融合。

在一些例子中，可以依次将上述第一图像特征中的各特征点确定为当前特征点，并执行：确定上述第二图像特征包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第一权重信息；其中，上述第一权重信息中表征上述第二图像特征中的各特征点与上述当前特征点之间的相似度。然后，可以利用上述第一权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征。

请参见图8，图8为本申请示出的一种特征聚合流程示意图。示意性的，图8中使用XA表示第一图像特征，使用XB表示第二图像特征，XBF表示进行对XB进行特征聚合后得到的聚合图像特征。

如图8所示，可以依次将XA中的各特征点确定为当前特征点(图8中的第一特征点)，然后从第二图像特征左上角特征点开始遍历各特征点(图8中的第二特征点)，并确定各特征点与当前特征点之间的相似度。其中，在计算相似度时可以采用诸如余弦距离，马氏距离等方式。在本申请中不对相似度计算方法进行特别限定。

之后可以基于当前特征点与各第二特征点之间的相似度，构成与当前特征点对应的第一权重信息。在一些例子中上述权重信息可以是权重矩阵或权重向量。

然后可以利用上述第一权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征。在一些例子中，可以依次将第二图像特征的各特征点确定为当前特征点，并执行：

确定第一图像特征中与当前特征点位置相同的特征点所对应的权重信息，利用上述权重信息与第二图像特征中的各特征点进行加权求和，并将上述计算结果与当前特征点的像素值进行融合，得到融合后的像素值。需要说明的是，上述融合的操作可以包括相加，相乘，替换等操作。本申请不对融合的操作进行特别限定。以此类推，可以完成针对上述第二图像特征的特征聚合XBF。

在上述例子中，由于上述第一权重信息中表征上述第二图像特征中的各特征点与上述当前特征点之间的相似度，因此利用上述第一权重信息对上述第二图像特征进行特征聚合，可以突出上述第二图像特征中与第一图像特征相似度较高的强关联特征，从而使得聚合后得到的第二图像特征与第一图像特征之间强化了二者强关联的特征，弱化弱关联特征，以消除由于上述偏移和配置偏差带来的变化检测误差，进而提升针对两期图像的建筑物变化检测准确性，降低误警率。

同理，也可以参照上述方式对XA进行特征聚合得到XAF。

然后可以对聚合后的第一图像特征XAF与第二图像特征XBF进行叠加，得到上述融合特征。

由于聚合后的第一图像特征与第二图像特征强化了二者强关联的特征，弱化弱关联特征，因此利用二者叠加的特征进行变化检测时，可以强化两期图像中匹配的像素点提供的信息，弱化不匹配的像素点提供的信息，从而消除由于上述偏移和配置偏差带来的变化检测误差，进而提升针对两期图像的建筑物变化检测准确性，降低误警率。

在一些例子中，为了提升变化检测准确性与鲁棒性，在计算上述相似度时，可以确定上述第二图像特征包括的各特征点对应的第二邻域，与上述当前特征点对应的第一邻域之间的相似度；其中，上述第一邻域为以上述当前特征点为中心，与其周围其他特征点组成的第一预设大小的邻域；上述第二邻域为以上述第二图像特征点为中心，与其周围其他特征点组成的第二预设大小的邻域。

其中，上述第一预设大小与上述第二预设大小可以是根据经验设定的值。上述第一预设大小与上述第二预设大小可以相同也可以不相同。在一些例子中，上述第一预设大小可以为1，上述第二预设大小与为3*3。

由于邻域可以包括更大的感受野，因此基于邻域计算的相似度可以更加精准，从而确定更准确的权重信息，进而提升变化检测准确性与鲁棒性。

在一些例子中，为了减少模型运算量，提升变化检测效率。在对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征时，可以依次将上述第一图像特征中的各特征点确定为当前特征点，并执行：确定上述第二图像特征中与上述当前特征点位置相同的特征点对应的第三邻域中包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第三权重信息；其中，上述第三权重信息中表征上述第三邻域中的各特征点与上述当前特征点之间的相似度；上述第三邻域包括以上述第二图像特征中与上述当前特征点位置相同的特征点为中心，与其周围其他特征点组成的第三预设大小的邻域。

然后，可以利用上述第三权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征。

在一些例子中，可以依次将第二图像特征的各特征点确定为当前特征点，并执行：

确定第一图像特征中与当前特征点位置相同的特征点所对应的权重信息，利用上述权重信息和以上述当前特征点为中心，与其周围其他特征点组成的第三预设大小的邻域内的各特征点进行加权求和，并上述计算结果与当前特征点的像素值进行融合，得到融合后的像素值。需要说明的是，上述融合的操作可以包括相加，相乘，替换等操作。本申请不对融合的操作进行特别限定。以此类推，可以完成针对上述第二图像特征的特征聚合XBF。

同理，也可以参照上述方式对XA进行特征聚合得到XAF。

然后可以对聚合后的第一图像特征XAF与第二图像特征XBF进行叠加，得到上述融合特征。

在上述例子中，可以对前述non-local结构的例子进行改进，在进行自适应融合过程中，将感受野缩小到当前像素点周围邻域内的点，从而减少自适应融合过程的计算量，提升变化检测效率。

在本申请中还提出一种建筑物变化检测方法。该方法可以应用于任意电子设备。其中，上述电子设备的类型可以是笔记本电脑，计算机，服务器，手机，PAD终端等，在本申请中不作特别限定。

可以理解的是，上述变化检测方法既可以仅通过客户端设备或服务端设备单独执行，也可以通过客户端设备与服务端设备配合执行。

例如，上述变化检测方法可以集成于客户端设备。上述客户端设备可以通过自身硬件环境提供算力执行上述图像处理方法。

又例如，上述变化检测方法可以集成于系统平台。搭载该系统平台的服务端设备可以通过自身硬件环境提供算力执行上述图像处理方法。

还例如，上述变化检测方法可以分为获取图像与变化检测两个任务。其中，获取任务可以集成于客户端设备。变化检测任务可以集成于服务端设备。上述客户端设备可以在获取到两期图像后向上述服务端设备发起变化检测请求。上述服务端设备在接收到上述变化检测求后，可以响应于上述请求对上述目标两期图像进行建筑物变化检测。

请参见图9，图9为本申请示出的一种建筑物变化检测方法的方法流程图。

如图9所示，该方法可以包括：

S902，获取包含建筑物的两期图像。

S904，通过建筑物变化检测网络分别对获取的两期图像进行特征提取，得到第一图像特征与第二图像特征。

S906，基于上述第一图像特征与第二图像特征，对上述两期图像中包含的建筑物进行变化检测，得到上述建筑物的变化检测结果。

示例性的，当建筑物变化检测任务中还包括对建筑物的图像处理任务时，还可以通过建筑物变化检测网络对获取的两期图像中的至少一期图像进行图像处理，得到对应的图像处理结果。

其中，上述进行图像处理任务和/或建筑物变化检测任务时，具体的执行方法可参照上述图1-图8中所涉及的方法。

其中，上述建筑物变化检测网络采用如上述任一例子示出的训练方法训练得到。

在一些例子中，在执行S906时，可以基于对上述第一图像特征与第二图像特征进行特征融合，得到融合特征。然后可以基于上述融合特征，对上述两期图像中包含的建筑物进行变化检测，得到上述建筑物的变化检测结果。

以下结合建筑物变化检测场景进行例子说明。

在该场景中，检测设备可以定期获取由卫星针对同一地点拍摄的遥感图像。然后检测设备可以针对获取的遥感图像进行建筑物变化检测，并输出检测结果。

在上述检测设备中预先搭载了如上述任一例子示出的训练方法训练得到的建筑物上述建筑物变化检测网络(以下简称检测网络)。在此不对该网络训练过程进行详述。

上述检测网络结构可以参照图3。该网络可以包括参数共享的孪生特征提取子网络以及与孪生特征提取子网络连接的检测子网络。其中，上述检测子网络可以包括融合单元，与检测单元。

上述融合单元可以采用如前任一例子示出的自适应特征融合方法。上述检测单元可以是像素级别的语义分割网络，可以在像素级别确定建筑物是否发生变化。

假设检测设备获取到遥感图像A与遥感图像B。

此时检测设备可以将两期图像输入检测网络，利用训练好的孪生特征提取子网络分别针对A与B进行特征提取，得到第一图像特征XA与第二图像特征XB。

由于在训练过程中，上述孪生特征提取子网络是基于联合训练得到，因此可以提取到对变化检测更有益的特征，提升变化检测准确性。

然后可以在融合单元中，对XA与XB进行自适应特征融合。例如，可以先利用训练好的可变形卷积网络，对XA与XB进行可变形卷积，得到调整后的第一特征XA_d与第二图像特征XB_d，以修正由于建筑物屋顶与底座之间的偏移。然后可以利用训练好的FlowNetCorr，预测XA_d与XB_d之间的光流场，然后利用光流场对XA_d进行扭曲，以实现特征对齐，以消除A与B进行图像配准带来的配准偏差。最后可以将扭曲之后的第一图像特征与XB_D进行叠加，得到融合特征XAB以完成自适应特征融合。

由于上述自适应特征融合可以消除上述偏移和图像配准偏差，因此可以提升变化检测准确性，降低误警率。

可以理解的上述融合单元中也可以采用视差估计、non-local方式以及non-local改进方式进行自适应融合以消除上述偏移和图像配准偏差，在此不作详述。

最后，可以将XAB输入检测单元，完成像素级别的语义分割，得到检测结果。

在一些例子中，上述检测设备可以将检测结果展示于显示页面。在展示检测结果时，可以将展示发生变化的建筑物对应的边界框。

在一些例子中，如果检测到任一建筑物发生变化，上述检测设备还可以构建预警信息，并将上述预警信息发送至监管方。

本申请还提出一种图像处理装置。

请参见图10，图10为本申请示出的一种图像处理装置的结构示意图。

一种图像处理装置100，上述装置100包括：

特征提取模块101，用于对输入目标变化检测网络的两期图像进行特征提取，得到第一图像特征与第二图像特征；

图像处理模块102，用于基于上述第一图像特征和上述第二图像特征，得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的图像处理结果和针对上述两期图像中目标的变化检测结果。

在示出的一些实施例中，上述特征提取模块101具体用于：

分别对上述两期图像进行特征提取，得到与上述两期图像中的第一图像对应的第一图像特征以及与上述两期图像中的第二图像对应的第二图像特征；

上述图像处理模块102包括：

第一图像处理子模块，用于对上述第一图像特征和/或上述第二图像特征进行图像处理，得到上述图像处理结果；

第二图像处理子模块，用于对上述第一图像特征与第二图像特征进行特征融合，得到融合特征，并基于上述融合特征，对上述两期图像中包含的目标进行变化检测，得到上述目标变化检测结果。

在示出的一些实施例中，上述第二图像处理子模块包括：

融合模块，用于对上述第一图像特征与上述第二图像特征进行自适应特征融合，得到融合特征。

在示出的一些实施例中，上述融合模块具体用于：

利用上述第一图像特征与上述第二图像特征预测上述第二图像特征中的每个特征点对应的第一偏移量以及上述第一图像特征中的每个特征点对应的第二偏移量；其中，上述第一偏移量用于调整上述第二图像特征中的各特征点的感受野；上述第二偏移量用于调整上述第一图像特征中的各特征点的感受野；

基于上述第一偏移量，对上述第二图像特征进行调整，得到调整后的第二图像特征；

基于上述第二偏移量，对上述第一图像特征进行调整，得到调整后的第一图像特征；

对调整后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

在示出的一些实施例中，上述融合模块具体用于：

将上述第一图像特征与上述第二图像特征进行叠加，得到第一叠加特征；上述对上述第一叠加特征进行偏移量预测，得到上述第一偏移量；以及，

将上述第一图像特征与上述第二图像特征进行叠加，得到第二叠加特征；上述对上述第二叠加特征进行卷积，得到上述第二偏移量。

在示出的一些实施例中，上述融合模块具体用于：

对调整后的第一图像特征与调整后的第二图像特征进行光流预测，确定对应的光流场；其中，上述光流场表征上述两期图像内相同像素点的位置误差；

利用上述光流场对上述第一图像特征进行扭曲，得到扭曲后的第一图像特征；

对扭曲后的第一图像特征与调整后的第二图像特征进行特征融合，得到上述融合特征。

在示出的一些实施例中，上述融合模块具体用于：

利用光流估计网络包括的多层编码层，对调整后的第一图像特征与调整后的第二图像特征进行编码，得到编码结果；

利用光流估计网络包括的多层解码层，对上述编码结果进行解码，得到上述光流场；其中，在进行解码过程中，从第二层解码层开始，每一解码层的输入包括：上一层解码层输出的输出特征，基于上述输出特征预测的光流以及与该解码层对应的编码层所输出的特征。

在示出的一些实施例中，上述融合模块具体用于：

对上述第一图像特征与上述第二图像特征进行特征融合，得到初始融合特征；

对上述第一图像特征与上述第二图像特征进行视差特征提取，得到视差特征；其中，上述视差特征表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的匹配程度；

基于上述视差特征确定权重信息，并利用上述权重信息对上述初始融合特征进行特征选择，得到上述融合特征。

在示出的一些实施例中，上述融合模块具体用于：

将上述视差特征与上述初始融合特征进行叠加，得到叠加特征，并基于上述叠加特征确定权重信息。

在示出的一些实施例中，上述融合模块具体用于：

将上述融合特征与上述视差特征之和，确定为最终融合特征。

在示出的一些实施例中，通过代价值表征上述匹配程度；上述融合模块具体用于：

基于上述第一图像特征与上述第二图像特征，确定代价空间；其中，上述代价空间用于表征上述第一图像特征的特征点与上述第二图像特征中的特征点之间的代价值；

对上述代价空间进行代价聚合，得到上述视差特征。

在示出的一些实施例中，上述融合模块具体用于：

依次将上述第一图像特征中的各特征点确定为当前特征点，并执行：确定上述第二图像特征包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第一权重信息；其中，上述第一权重信息中表征上述第二图像特征中的各特征点与上述当前特征点之间的相似度；

利用上述第一权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征；

依次将上述第二图像特征中的各特征点确定为当前特征点，并执行：确定上述第一图像特征包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第二权重信息；其中，上述第二权重信息表征上述第一图像特征中的各特征点与上述当前特征点之间的相似度；

利用上述第二权重信息对上述第一图像特征进行特征聚合，得到聚合后的第一图像特征；

对聚合后的第一图像特征与第二图像特征进行叠加，得到上述融合特征。

在示出的一些实施例中，上述融合模块具体用于：

确定上述第二图像特征包括的各特征点对应的第二邻域，与上述当前特征点对应的第一邻域之间的相似度；其中，上述第一邻域包括以上述当前特征点为中心，与其周围其他特征点组成的第一预设大小的邻域；上述第二邻域包括以上述第二图像特征点为中心，与其周围其他特征点组成的第二预设大小的邻域。

在示出的一些实施例中，上述融合模块具体用于：

依次将上述第一图像特征中的各特征点确定为当前特征点，并执行：确定上述第二图像特征中与上述当前特征点位置相同的特征点对应的第三邻域中包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第三权重信息；其中，上述第三权重信息中表征上述第三邻域中的各特征点与上述当前特征点之间的相似度；上述第三邻域包括以上述第二图像特征中与上述当前特征点位置相同的特征点为中心，与其周围其他特征点组成的第三预设大小的邻域；

利用上述第三权重信息对上述第二图像特征进行特征聚合，得到聚合后的第二图像特征；

依次将上述第二图像特征中的各特征点确定为当前特征点，并执行：确定上述第一图像特征中与上述当前特征点位置相同的特征点对应的第四邻域中包括的各特征点，分别与上述当前特征点之间的相似度，并形成与上述当前特征点对应的第四权重信息；其中，上述第四权重信息中表征上述第四邻域中的各特征点与上述当前特征点之间的相似度；上述第四邻域包括以上述第一图像特征中与上述当前特征点位置相同的特征点为中心，与其周围其他特征点组成的第四预设大小的邻域；

利用上述第四权重信息对上述第一图像特征进行特征聚合，得到聚合后的第一图像特征；

对聚合后的第一图像特征与第二图像特征进行叠加，得到上述融合特征。

在示出的一些实施例中，上述图像处理包括以下中的至少一项：

图像分类；语义分割；实例分割；全景分割；目标检测。

在示出的一些实施例中，上述装置100还包括：

数据增强模块，用于通过以下至少一项方式对上述两期图像中至少一期图像进行数据增强：

对图像进行裁切；对图像进行旋转；对图像进行翻转；调整图像的明亮度；调整图像的对比度；对图像添加高斯噪声；对两期图像添加配准误差。

在示出的一些实施例中，上述目标变化检测网络包括第一输入和第二输入；上述图像处理模块102具体用于：

将上述第一图像特征作为第一输入，将上述第二图像特征作为第二输入得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的第一图像处理结果和针对上述两期图像中目标的第一变化检测结果；

将上述第一图像特征作为第二输入，将上述第二图像特征作为第一输入得到上述目标变化检测网络输出的针对上述两期图像中至少一期图像的第二图像处理结果和针对上述两期图像中目标的第二变化检测结果；

将上述第一图像处理结果与上述第二图像处理结果进行加权平均，得到针对上述两期图像中至少一期图像的最终图像处理结果，以及将上述第一变化检测结果与上述第二变化检测结果进行加权平均，得到针对上述两期图像中目标的最终变化检测结果。

在示出的一些实施例中，在上述目标变化检测网络为待训练的网络的情况下，上述装置100还包括：

损失确定模块，用于根据上述至少一期图像的上述图像处理结果和对应的图像处理标签值得到图像处理损失，并根据上述两期图像中的目标的变化检测结果和对应的变化检测标签值得到变化检测损失；

调整模块，用于基于上述图像处理损失和上述变化检测损失，调整上述目标变化检测网络的网络参数。

在示出的一些实施例中，上述调整模块具体用于：

根据上述图像处理损失与上述变化检测损失，得到总损失；

基于上述总损失，调整上述目标变化检测网络的网络参数。

本申请示出的图像处理装置的实施例可以应用于电子设备上。相应地，本申请公开了一种电子设备，该设备可以包括：处理器。

用于存储处理器可执行指令的存储器。

其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现如上述任一实施例示出的图像处理方法。

请参见图11，图11为本申请示出的一种电子设备的硬件结构图。

如图11所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储图像处理装置对应指令的非易失性存储器。

其中，图像处理装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图11所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

可以理解的是，为了提升处理速度，图像处理装置对应指令也可以直接存储于内存中，在此不作限定。

本申请提出一种计算机可读存储介质，上述存储介质存储有计算机程序，上述计算机程序用于执行如上述任一实施例示出的图像处理方法。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请中的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”可以包括三种方案：A、B、以及“A和B”。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、可以包括本申请中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本申请中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本申请中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。上述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机可以包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件可以包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将可以包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质可以包括所有形式的非易失性存储器、媒介和存储器设备，例如可以包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。