一种基于跨域共享的多模态遥感数据融合方法

技术领域

本发明涉及遥感数据处理领域，特别是涉及一种基于跨域共享的多模态遥感数据融合方法。

背景技术

随着航空航天技术的发展，多模态遥感已经成为一种有效的资源勘测监视手段，尤其是多模态遥感数据解译可有效辅助分析地面目标态势信息，进一步提高对地观测效率，研究面向多模态遥感数据的解译方法成为了亟待解决的关键问题。

现有的多模态遥感数据解译方法仅适用于固定组合的遥感模态数据，无法做到任意模态组合的自适应扩展解译。且使用现有的多模态遥感数据解译方法需要进行多次调用才能实现不同模态组合数据解译，系统处理效率低下，难以满足现代遥感系统时效性需求。

发明内容

针对上述技术问题，本发明采用的技术方法为：

根据本发明的一个方面，提供了一种基于跨域共享的多模态遥感数据融合方法，该方法包括如下步骤：

获取目标区域的多个中间遥感数据，每一中间遥感数据的模态类型互不相同。且每一中间遥感数据具有相同的空间维度及通道维度。

将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

共享特征融合网络用于实现如下步骤：

根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的多个增强特征参数。

生成每一增强特征参数对应的置信度。置信度根据中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度确定。

根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的增强特征参数。

在本发明中，进一步的，共享特征融合网络配置为多个，多个共享特征融合网络之间串行连接设置。

将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据，包括：

将每一中间遥感数据作为初始值输入位于初始位置的共享特征融合网络中。

将位于末端位置的共享特征融合网络的每一输出值，作为每一中间遥感数据对应的子融合遥感数据。

在本发明中，进一步的，根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据，包括：

根据多个待替换特征参数对应的置信度确定目标替换特征参数。待替换特征参数为与目标特征参数表征同一地物信息的其它模态对应的增强特征参数。

将目标特征参数替换为对应的目标替换特征参数，以生成每一中间遥感数据对应的子融合遥感数据。

在本发明中，进一步的，共享特征融合网络包括多个置信度生成网络，每一模态类型对应一个置信度生成网络。

生成每一增强特征参数对应的置信度，包括：

根据每一增强特征参数对应的模态类型，确定对应的置信度生成网络。

根据对应的置信度生成网络，生成每一增强特征参数对应的置信度。

在本发明中，进一步的，所述中间遥感数据包括的每一特征参数分别对应一个位置编码。

在根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据之后，共享特征融合网络还用于实现如下步骤：

使用每一位置编码对子融合遥感数据中对应的目标编码参数进行强化处理，生成编码强化特征参数。目标编码参数为子融合遥感数据中与每一位置编码对应的特征参数。强化处理用于对目标编码参数中位置编码对应的参数进行增强。

在本发明中，进一步的，获取目标区域的多个中间遥感数据，包括：

获取目标区域的多个初始中间遥感数据。每一初始中间遥感数据的模态互不相同。且每一初始中间遥感数据具有相同的空间维度及通道维度。

将每一初始中间遥感数据均划分为相同的多个像元区域。

根据每一像元区域在初始中间遥感数据中对应的参数，生成每一像元区域对应的特征参数。

获取每一像元区域对应的特征参数的位置编码。不同初始中间遥感数据的相同像元区域对应的位置编码相同。

根据每一初始中间遥感数据对应的特征参数及位置编码，生成对应的中间遥感数据。

在本发明中，进一步的，在生成目标区域的融合遥感数据之后，方法还包括：

对融合遥感数据进行遥感解译处理，生成对应的解译结果。

根据本发明的第二个方面，提供了一种基于跨域共享的多模态遥感数据融合装置，该装置包括：

中间数据获取模块，用于获取目标区域的多个中间遥感数据，每一中间遥感数据的模态类型互不相同。且每一中间遥感数据具有相同的空间维度及通道维度。

特征融合模块，用于将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

数据融合模块，用于根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

特征融合模块包括：

特征增强模块，用于根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的多个增强特征参数。

置信度生成子模块，用于生成每一所述增强特征参数对应的置信度。置信度根据中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度确定。

参数替换模块，用于根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的增强特征参数。

在本发明中，进一步的，共享特征融合网络配置为多个，多个共享特征融合网络之间串行连接设置。

特征融合模块包括：

输入模块，用于将每一中间遥感数据作为初始值输入位于初始位置的共享特征融合网络中。

输出模块，用于将位于末端位置的共享特征融合网络的每一输出值，作为每一中间遥感数据对应的子融合遥感数据。

在本发明中，进一步的，参数替换模块包括：

目标确定模块，用于根据多个待替换特征参数对应的置信度确定目标替换特征参数。待替换特征参数为与目标特征参数表征同一地物信息的其它模态对应的增强特征参数。

目标替换模块，用于将目标特征参数替换为对应的目标替换特征参数，以生成每一中间遥感数据对应的子融合遥感数据。

在本发明中，进一步的，共享特征融合网络包括多个置信度生成网络，每一模态类型对应一个置信度生成网络。

置信度生成子模块包括：

网络确定模块，用于根据每一增强特征参数对应的模态类型，确定对应的置信度生成网络。

置信度生成单元，用于根据对应的置信度生成网络，生成每一增强特征参数对应的置信度。

在本发明中，进一步的，中间遥感数据包括的每一特征参数分别对应一个位置编码。

在根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据之后，特征融合模块还包括：

编码强化模块，用于使用每一位置编码对子融合遥感数据中对应的目标编码参数进行强化处理，生成编码强化特征参数。目标编码参数为子融合遥感数据中与每一位置编码对应的特征参数。强化处理用于对目标编码参数中位置编码对应的参数进行增强。

在本发明中，进一步的，中间数据获取模块包括：

初始数据获取模块，用于获取目标区域的多个初始中间遥感数据。每一初始中间遥感数据的模态互不相同。且每一初始中间遥感数据具有相同的空间维度及通道维度。

像元划分模块，用于将每一初始中间遥感数据均划分为相同的多个像元区域。

特征生成模块，用于根据每一像元区域在初始中间遥感数据中对应的参数，生成每一像元区域对应的特征参数。

编码获取模块，用于获取每一像元区域对应的特征参数的位置编码。不同初始中间遥感数据的相同像元区域对应的位置编码相同。

中间数据生成模块，用于根据每一初始中间遥感数据对应的特征参数及位置编码，生成对应的中间遥感数据。

在本发明中，进一步的，在生成目标区域的融合遥感数据之后，装置还包括：

解译模块，用于对融合遥感数据进行遥感解译处理，生成对应的解译结果。

根据本发明的第三个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任一项的一种基于跨域共享的多模态遥感数据融合方法。

根据本发明的第四个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项的一种基于跨域共享的多模态遥感数据融合方法。

本发明至少具有以下有益效果：

在获得每一中间遥感数据的基础上，再根据每一中间遥感数据对应生成的每一增强特征参数对应的置信度，对每一中间遥感数据中目标特征参数进行替换处理。因此，可以将每一模态中的不符合使用要求的目标特征参数均进行优化替换，对应的促进了各个模态之间的数据的交互融合，以提高每一模态的子融合遥感数据，对目标区域中每一地物信息的表示强度及准确度。最后再根据模态权重对多个模态的子融合遥感数据进行最终的融合，由此，可以进一步提高最终得到的融合遥感数据对目标区域中每一地物信息的表示的丰富度。

综上，通过本申请中通过对多模态遥感数据的融合处理，可以使用任意模态组合的遥感数据，生成对地物信息的表示的丰富度及准确度更高的融合遥感数据。融合遥感数据由于融合了多种模态的特征信息，所以其语义特征泛化性较高。进而无需进行多次调用即可实现对不同模态组合数据进行解译的功能，以便于融合遥感数据适配于更多的遥感解译任务，也对应提高了对地观测的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方法，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程图。

图2为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程图。

图3为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程图。

图4为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程图。

图5为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程图。

图6为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程图。

图7为本发明一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图8为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图9为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图10为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图11为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图12为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图13为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图14为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合方法的流程图。

图15为本发明一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图16为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图17为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图18为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图19为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图20为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图21为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合装置的结构框图。

图22为本发明一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图23为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图24为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图25为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图26为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图27为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图28为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图29为本发明另一实施例提供的一种基于跨域共享的多模态遥感数据融合装置的结构框图。

图30为本发明另一实施例提供的一种基于专用及共享架构的多模态数据的融合方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

作为本发明一种可能的实施例，如图1所示，提供了一种基于专用及共享架构的多模态数据的融合方法，该方法包括如下步骤：

S100：获取目标区域的多个初始遥感数据，每一初始遥感数据的模态类型互不相同。

具体的，可以通过现有的遥感卫星上搭载的各种成像器材来获得目标区域的多个初始遥感数据。初始遥感数据即为遥感图像，其对应的模态类型包括SAR(SyntheticAperture Radar，合成孔径雷达)、高光谱、光学、红外等。优选的，多个初始遥感数据为在同一时刻对同一目标区域进行采集获得的图像数据。由此，可以进一步保证多个初始遥感数据均为对同一地物信息的不同形式的数据表示。

S200：根据每一初始遥感数据对应的模态类型，对每一初始遥感数据使用专用网络进行数据校正处理，生成对应的中间遥感数据。每一中间遥感数据具有相同的空间维度及通道维度。

如图30所示，对各个模态的数据进行校正处理的主要目的是为了将具有不同维度形式的多模态数据映射至同一高维数据空间内，以实现对多种模态的遥感数据之间的数据对齐目的。以便于后续步骤中实现对每一中间遥感数据中的目标特征参数进行更加精准的替换处理。

具体的，可以使用现有的数据维度转化方法，将具有不同维度形式的多模态数据映射至同一高维数据空间内。如可以使用现有的卷积神经网络来实现数据维度转化。

考虑到多模态遥感中由于不同传感器成像机制局限性，会造成采集到的遥感数据中，会存在不同形式的噪声参数。比如：SAR数据中存在散射模糊对应的噪声参数，高光谱数据中存在光谱混淆对应的噪声参数，光学数据中存在频偏杂散对应的噪声参数，红外数据中存在辐射扰动对应的噪声参数。所以在设计卷积神经网络时会对应的设计每一模态的遥感数据对应的专用网络用来去噪及实现数据维度的转化。

对于SAR数据中存在散射模糊对应的噪声参数以及高光谱数据中存在光谱混淆对应的噪声参数而言，这些成像噪声通常表现为大幅值数据，同时由于在对应模态的遥感数据中，目标区域的特征参数同样也为较大幅值的数据，即表现为强特征区域。而在神经网络提取特征过程中，通常更关注大幅值区域，因此上述成像噪声将严重影响解译关注的地物特征提取。

卷积神经网络在对数据维度进行转化的过程中，同时还可以实现对某一特征的提取功能，所以卷积网络还可以提取遥感数据中特定的目标信息，也即具有滤波的作用，可以滤除噪声。由此，通过对遥感数据进行数据校正处理，可以实现对噪声数据的去除，进而提高每一模态的遥感数据的精度。同时，由于每一模态对应的遥感数据中的成像噪声(噪声参数)的表现形态存在差异，所以需要根据每一模态类型对应的初始遥感数据，对应使用专用的卷积神经网络进行上述数据校正处理。

S300：使用共享的特征关联网络获取每一中间遥感数据对应的置信度。每一中间遥感数据具有多个特征参数。每一特征参数对应一个置信度。置信度根据中间遥感数据中每一特征参数对目标区域中对应地物信息的表征强度确定。置信度用于表示中间遥感数据中每一特征参数对目标区域中对应地物信息的表征强度。目标特征参数为对应置信度小于置信度阈值的特征参数。本实施例中的特征参数可以为遥感图像中每个像素对应的数值，也可以为遥感图像中每个区域对应的特征值。该特征值可通过现有方法得出，如卷积。

在本发明中进一步的，共享的特征关联网络包括共享特征融合网络。

S300：使用共享的特征关联网络获取每一中间遥感数据对应的置信度，包括：

S301：共享特征融合网络根据每一中间遥感数据包括的特征参数之间的上下文语义关系，生成每一中间遥感数据对应的增强特征参数。

具体的，使用同一共享特征融合网络，提取不同模态的中间遥感数据的增强特征参数。使用同一共享特征融合网络，可以通过共享网络参数来实现。增强特征参数为增加全局注意力之后的特征参数。

S302：根据每一增强特征参数，生成对应的置信度。

S400：根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一初始遥感数据对应的子融合遥感数据。目标特征参数为置信度小于置信度阈值的特征参数。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。优选的，特征参数为增强特征参数。

优选的，可以根据每一中间遥感数据中包括的增强特征参数来计算该增强特征参数的置信度。当任一中间遥感数据中的任一增强特征参数的置信度不符合使用条件时，可以使用其他模态的中间遥感数据中的同一位置的增强特征参数，将该目标特征参数替换掉，当然在替换的过程中，由于不同模态之间的数据存在差异，所以在替换时需要对替换数据进行数据转化，以将替换数据转化为目标特征参数对应的模态的数据形式。具体的可以通过设置一个浅层MLP(Multilayer Perceptron，多层感知机)来实现不同模态之间的数据转化，由此可以使替换后的每一模态的子融合遥感数据更加的精准。

S500：根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。模态权重用于表示每一模态的子融合遥感数据融合比例。

该模态权重可以是根据使用场景进行人为设置的，通常模态权重设置的大小是根据每一模态的子融合遥感数据的成像机制决定的。通常光学模态数据具有更多地物细节信息，SAR模态数据具有更清晰的目标结构等。基于上述原因，对于现有的SAR、高光谱、光学、红外四种模态的数据来说，其分别对应的模态权重大小符合下述条件：A1>A2>A3>A4。其中，A1为光学模态对应的模态权重。A2为SAR模态对应的模态权重。A3为高光谱模态对应的模态权重。A4为红外模态对应的模态权重。

也可以通过在初始的整个神经网络中设置对应的可学习的初始模态权重参数项，再通过训练来得到每一模态的子融合遥感数据对应的模态权重。在设置初始模态权重时，会根据训练数据中包括的所有模态设置对应的数量的初始模态权重。由此在训练完成时，就会得到当前包括的所有的模态对应的模态权重。如训练数据中包括了SAR、高光谱、光学及红外四种模态，则会对应输出四个对应的模态权重。

综上，本申请所使用的基于专用及共享架构的多模态数据的融合方法，可以对任意模态组合的遥感数据进行融合，以得到具有对地物信息更好表示能力的融合遥感数据，由于融合遥感数据中融合了更多的模态信息，同时也提高了每一模态信息的表示精度，由此该融合遥感数据可以适用于更多的遥感解译任务，同时也可以获得更高的解译结果。

另外，本实施例还便于后期进行自适应的模态类型的扩展，由此可以随着不同模态类型的遥感数据的出现，以便及时的将新的模态的遥感数据自适应加入本实施例所限定的方案中。

具体的，当新的模态的遥感数据要加入至本方案中时，需要根据新的模态的遥感数据中的噪声参数的表现形式，来设置对应的专用的神经卷积网络来进行数据校正处理。再对原有的网络进行简单的适应性的调整，然后再以新的模态的遥感数据以及原有的模态的遥感数据组成新的训练数据来对当前的网络进行增量式训练，即可自适应的将原有的模态类型进行自适应的扩展。

本发明中通过对每一模态的初始遥感数据进行单独的数据校正处理，由此，不仅可以将不同模态的遥感数据映射至同一高维特征空间。同时，由于每一中间遥感数据具有相同的空间维度及通道维度，所以校正处理还对每一模态的遥感数据进行了对齐处理，以便于后续对每一中间遥感数据中目标特征参数进行更加精准的替换处理。另外，在校正处理过程中还去除了每一模态的遥感数据中的噪声参数，由此，也有利于提高最终获得的融合遥感数据的精度。

在得到每一中间遥感数据的基础上，使用共享的特征关联网络可以获取每一中间遥感数据对应的置信度。再根据每一中间遥感数据对应的置信度，对每一中间遥感数据中的目标特征参数进行替换处理。因此，可以将每一模态中的不符合使用要求的目标特征参数均进行优化替换。对应的促进了各个模态之间的数据的交互融合，以提高每一模态的子融合遥感数据，对目标区域中每一地物信息的表示强度及准确度。最后再根据模态权重对多个模态的子融合遥感数据进行最终的融合，由此，可以进一步提高最终得到的融合遥感数据对目标区域中每一地物信息的表示的丰富度及准确度。

综上，通过本申请中对每一模态遥感数据的单独校正处理以及配合对多模态遥感数据的融合处理，可以使用任意模态组合的遥感数据，生成对地物信息具有更高丰富度及准确度表示的融合遥感数据。进而提高了融合遥感数据的可用性，以便于融合遥感数据适配于更多的遥感解译任务，也对应提高了对地观测的效率。

现有技术中由于不同遥感载荷所观测场景/目标“时-空-谱”特征描述差异导致多模态遥感数据语义特征泛化性差。所以需要进行多次调用才能实现对不同模态组合数据进行解译的功能，系统处理效率低下，难以满足现代遥感系统时效性需求。而本申请中生成的融合遥感数据由于融合了多种模态的特征信息，所以其语义特征泛化性较高。进而无需进行多次调用即可实现对不同模态组合数据进行解译的功能，进而可以提高对地观测的效率。

同时，本实施例可以使用国内现有的开源自研AI框架mindspore进行实现，由此可以实现多模态遥感数据解译系统国产化适配并提高下游解译任务的性能。

作为本发明可能的一种实施例，如图2所示，数据校正处理包括：

S201：对初始遥感数据进行数据归一化处理，生成第一初始数据。第一初始数据中的每一参数处于预设数值范围。

具体的，本实施例中使用实例归一化来粗对齐初始遥感数据中的特征参数。实例归一化满足如下条件：

其中，x

S202：对第一初始数据进行数据去噪处理，生成对应的第二初始数据。数据去噪处理用于根据参数的大小对该参数进行削减。参数的大小与削减幅度正相关。数据归一化处理及数据去噪处理均根据当前的初始遥感数据对应的模态类型确定。

数据去噪处理可以为根据对应的模态类型设置专用的卷积神经网络来进行去噪。在卷积过程中可以滤除第一初始数据中的噪声数据，以提高第一初始数据的精度。

本实施例中，通过使用归一化及去噪处理可以将每一模态的初始遥感数据中的噪声进行抑制甚至去除，以提高对应的中间遥感数据的数据精度，进而可以进一步提高解译时的精度。

作为本发明可能的一种实施例，如图3所示，数据校正处理还包括：

S213：使用初始遥感数据对第二初始数据进行数据补偿处理，生成中间遥感数据。数据补偿处理用于将初始遥感数据中的地物信息补偿至第二初始数据中。

数据补偿处理包括：

S223：使用初始遥感数据对第二初始数据进行空间维度的补偿处理，生成第一补偿数据。

S233：对第一补偿数据进行通道维度的补偿处理，生成中间遥感数据。

通常由于初始遥感数据中的成像噪声以及鉴别信息同样均为较大幅值的数据，所以在经过S201-S202的处理之后，会不可避免地移除了遥感数据中的并不是噪声参数的鉴别信息。所以需要设置数据补偿处理来对被移除的鉴别信息进行补偿恢复，以进一步提高对应的中间遥感数据的数据精度。

作为本发明可能的一种实施例，如图4所示，S223：使用初始遥感数据对第二初始数据进行空间维度的补偿处理，生成第一补偿数据。包括：

S2231：对初始遥感数据进行第一特征提取处理，生成第三初始数据。第一特征提取处理用于提取初始遥感数据中包括的目标区域中的地物信息。

具体的，第一特征提取处理为通过卷积神经网络对初始遥感数据进行卷积运算，以将初始遥感数据中的非噪声的鉴别信息提取出来，也即将初始遥感数据中的目标地物信息提取出来。

S2232：将第二初始数据及第三初始数据进行拼接，生成第一拼接遥感数据。

具体为，将第二初始数据及第三初始数据在通道维度进行拼接。

S2233：对第一拼接遥感数据进行补偿去噪处理，生成第一空间融合特征。

S2234：对第一拼接遥感数据进行第二特征提取处理，生成第二空间融合特征。第二特征提取处理用于提取第一拼接遥感数据中包括的目标区域中的地物信息。

S2235：根据第一空间融合特征对第二初始数据进行空间维度的数据补偿，生成第四初始数据。

具体的，在本实施例中第一空间融合特征与第二初始数据之间在空间维度及通道维度均相同。由此可以通过将第一空间融合特征与第二初始数据对应位置处的参数进行乘积运算后，生成第四初始数据。

S2236：根据第二空间融合特征对第三初始数据进行空间维度的数据补偿，生成第五初始数据。

同理，第二空间融合特征与第三初始数据在空间维度及通道维度均相同。其进行空间维度的数据补偿时采用的操作与第一空间融合特征与第二初始数据进行空间维度的数据补偿时采用的操作相同。

S2237：根据第四初始数据及第五初始数据，生成第一补偿数据。

具体的，可以通过下述方法来获得第一注意力图A(也即第一空间融合特征)和A

其中，*表示卷积运算，W

根据A对第二初始数据进行空间维度的数据补偿以生成第四初始数据，符合如下条件：

其中，x′

同理，A

本实施例中，第一拼接遥感数据由初始遥感数据中去噪后的数据特征以及初次特征提取后的鉴别信息特征进行拼接而来。由此可以将初始遥感数据中的特征部分的信息与去噪后的信息融合在第一拼接遥感数据中。并通过对拼接后的第一拼接遥感数据进行第二去噪处理(补偿去噪处理)，可以进一步的将第一拼接遥感数据中去噪后的全部特征融合至第一空间融合特征中。通过对拼接后的第一拼接遥感数据进行第二特征提取处理，可以进一步的将第一拼接遥感数据中提取特征后的全部特征融合至第二空间融合特征中。

本实施例中的第二去噪处理与上述实施例中的数据去噪处理均为实现去噪目的。所以对应的去噪操作也基本相同，也即在使用的卷积算子的操作是相同的，只是其中具体的卷积核中的参数由训练得到，存在差异。同理，第一特征提取处理与第二特征提取处理也均为实现特征提取目的。所以对应的特征操作也基本相同。也即在使用的卷积算子的操作是相同的，只是其中具体的卷积核中的参数由训练得到，存在差异。

第一空间融合特征与第二初始数据的空间维度相同，第二空间融合特征与第三初始数据的空间维度相同。然后再通过空间维度的数据补偿来恢复在空间维度中被误移除的有效信息，由此可以实现对正则化之后的数据在空间维度的补偿。

作为本发明可能的一种实施例，如图5所示，S233：对第一补偿数据进行通道维度的补偿处理，生成中间遥感数据，包括：

S2331：将第四初始数据及第五初始数据进行拼接，得到第二拼接遥感数据。

具体的，通过对第四初始数据及第五初始数据进行通道维度的拼接后，可以将进行过空间维度补偿之后的数据进行融合。

S2332：对第二拼接遥感数据进行全卷积操作，生成第六初始数据。

经过全卷积操作用于调整第二拼接遥感数的数据维度，主要为调整数据的通道维度。调整后的第六初始数据的空间维度及通道维度，即为预设的中间遥感数据的空间维度及通道维度，如W

具体的，第六初始数据A

其中，relu()的全称为Rectified Linear Unit，是一种人工神经网络中常用的激活函数。

S2333：根据第二拼接遥感数据对第六初始数据进行通道维度的数据补偿，生成中间遥感数据。

该步骤中，主要为先将第二拼接遥感数据在通道维度进行相加，将多个通道变为一个维度，此时生成的中间拼接数据的形式如下W

具体的，中间遥感数据的生成满足如下条件：

表示中间遥感数据。

本实施例中，进一步的在通道维度对数据进行补偿，由此通过在空间维度以及通道维度的补偿融合之后，得到的中间遥感数据中的强和弱特征区域的特征表示之间差距缩小了，由此改善了成像噪声，提高了遥感数据的精度，这也进一步辅助了后续的多模态遥感数据协同解译。

作为本发明可能的一种实施例，如图6所示，S2237：根据第四初始数据及第五初始数据，生成第一补偿数据，包括：

S2238：使用第三初始数据对第四初始数据进行梯度增强处理，生成第一梯度遥感数据。

S2239：使用第二初始数据对第五初始数据进行梯度增强处理，生成第二梯度遥感数据。

S2240：根据第一梯度遥感数据及第二梯度遥感数据，生成第一补偿数据。

本实施例中的梯度增强处理可以为将进行梯度增强处理的两个对应的数据进行加和运算或是乘积运算。

优选的，将两个对应的数据进行加和运算。

具体原因如下：在进行加和运算之后，无论后续特征是否存在，其相加的初始特征均不会消失。而在进行乘积运算之后，当后续特征不存在时，其相乘结果也将不复存在。因此，加和运算对于反向传播过程中梯度消失问题更加友好。

具体为，若梯度增强处理为乘积运算，则在神经网络中对损失函数进行求导时，当有几个偏导很小的时候，梯度会迅速趋近于0，导致梯度更加容易消失。而由于神经网络的权重更新是沿着梯度的负方向，当没有梯度的时候，更新就会停滞，不便于对神经网络的训练。

而若梯度增强处理为加和运算，则在神经网络中对损失函数进行求导时，梯度要趋近于0，条件比较苛刻。总的来说，加和运算的残差结构并不是解决了梯度消失问题，而是在一定程度上规避了问题，让其很难出现梯度消失。

根据本发明的第三个方面，如图7所示，在获S200之后，还提供了一种基于跨域共享的多模态遥感数据融合方法来实现S300及S400，该方法包括：

A100：获取目标区域的多个中间遥感数据，每一中间遥感数据的模态类型互不相同。且每一中间遥感数据具有相同的空间维度及通道维度。

该步骤可以为直接获取S200生成的多个中间遥感数据。

A200：将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

A300：根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

A300与上述S400相同在此不再赘述。

如图8所示，共享特征融合网络用于实现如下步骤：

A201：根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的多个增强特征参数。具体的，中间遥感数据包括的特征参数为中间特征参数。

本步骤通过现有的自注意前馈网络实现，该自注意前馈网络可以为Transformer模型中的编码部分的网络。具体的，自注意前馈网络包括MSA(Multi-headed Self-attention，多头自注意力)算子与FNN(feedforward neural network，前馈神经网络)。由此，可以通过结合每一中间遥感数据中全部初始特征参数之间的语义关系，生成每一初始特征参数的对应的全局注意力。并将每一初始特征参数与对应的全局注意力结合后，生成对应的特征参数，进而可以根据对应的全局注意力，更加有针对性的增强或减弱每一初始特征参数。进而使得得到的特征参数可以更加准确表示中间遥感数据的语义特征。

A202：生成每一增强特征参数对应的置信度。置信度根据中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度确定。置信度用于表示中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度。

分别为每一个模态设置一个对应的专用的置信度获取神经网络，该神经网络可以为现有的MLP(Multilayer Perceptron，多层感知机)。由此，可以将每一增强特征参数作为输入，然后来生成其对应的置信度。

A203：根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的增强特征参数。

具体的，在实际使用中可以根据使用场景来设置对应的置信度阈值。优选的，置信度阈值θ＝10

在本市实施例中，可以根据每一中间遥感数据中包括的增强特征参数来计算该增强特征参数的置信度。当任一中间遥感数据中的任一增强特征参数的置信度不符合使用条件时，也即，置信度小于10

作为本发明一种可能的实施例，如图9所示，共享特征融合网络配置为多个，多个共享特征融合网络之间串行连接设置。

A200：将每一中间遥感数据输入共享特征融合网络，得到每一中间遥感数据对应的置信度，包括：

A210：将每一中间遥感数据作为初始值输入位于初始位置的共享特征融合网络中。

A220：将位于末端位置的共享特征融合网络的每一输出值，作为每一中间遥感数据对应的子融合遥感数据。

在本实施例中，由于多个共享特征融合网络之间串行连接设置，所以上一共享特征融合网络的输出会作为下一共享特征融合网络的输入。且每一共享特征融合网络均会对输入的多模态遥感数据进行融合及替换优化。所以经过上一共享特征融合网络替换后的多模态数据将作为输入值，输入至下一共享特征融合网络中。由于，进行替换之后每一模态的遥感数据中还包括由其他模态数据投影过来的增强特征参数，由此，生成的增强特征参数不仅包含同一模态数据中上下文信息，同时也融合了其他模态的遥感数据的信息。

对应的在下一共享特征融合网络中，先根据替换后的增强特征参数之间的上下文语义关系，融合生成对应的增强特征参数，再根据置信度进行替换优化。

在本实施例中，每一个共享特征融合网络都可以在多模态的增强特征参数融合后促进跨模态数据之间的交互，同时设置多个共享特征融合网络可以多次对多模态的增强特征参数进行替换交互，以进一步挖掘模态间的语义依赖进而增强特征表示。

以共享特征融合网络共有L个为例进行说明。给定第m个模态在第l个共享特征融合网络的输入增强特征参数为

其中，

作为本发明一种可能的实施例，如图10所示，A203：根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据，包括：

A2031：根据多个待替换特征参数对应的置信度确定目标替换特征参数。待替换特征参数为与目标特征参数表征同一地物信息的其它模态对应的增强特征参数。

A2032：将目标特征参数替换为对应的目标替换特征参数，以生成每一中间遥感数据对应的子融合遥感数据。

具体的，以两个模态的增强特征参数进行替换为例，可以如下方式进行实现。

其中，Ⅱ是断言下标条件指示符，其取值与

本实施例中，目标替换特征参数为最大置信度对应的增强特征参数。由此可以保证每次替换之后增强特征参数均会向更加优化准确的方向收敛，以提高数据的精度。

作为本发明一种可能的实施例，如图11所示，共享特征融合网络包括多个置信度生成网络，每一模态类型对应一个置信度生成网络。

A202：生成每一增强特征参数对应的置信度，包括：

A2021：根据每一增强特征参数对应的模态类型，确定对应的置信度生成网络。

A2022：根据对应的置信度生成网络，生成每一增强特征参数对应的置信度。

本实施例中为了能够使置信度生成网络参与到共享特征融合网络中的反向传播中，所以将置信度生成网络也设置为一由MLP构成的网络，并添加至共享特征融合网络中，由此可以通过反向传播来训练置信度生成网络，以使通过置信度生成网络生成的置信度更加准确。

优选的，可以通过下述方式将置信度生成网络添加至共享特征融合网络中。具体为：将

替换为/>

其中，s

本申请中多次出现的MLP仅为用于表明对应的神经网络可以选用MLP，其中每一个MLP的具体参数可能并不相同，分别为符合不同使用要求的不同现有的神经网络。

作为本发明一种可能的实施例，如图12所示，中间遥感数据包括的每一特征参数分别对应一个位置编码。

在A203：根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据之后，共享特征融合网络还用于实现如下步骤：

A204：使用每一位置编码对子融合遥感数据中对应的目标编码参数进行强化处理，生成编码强化特征参数。目标编码参数为子融合遥感数据中与每一位置编码对应的特征参数。强化处理用于对目标编码参数中位置编码部分参数进行增强。

具体的，通过将置编码与对应的特征参数中位置编码部分的参数进行加和来实现强化处理。由于，在每一共享特征融合网络的计算过程中可能会改变原有的位置编码部分的参数值。由此若不进行强化处理，会使得根据位置编码来实现各模态数据之间的对齐工作难以实现，由此在每一次经过共享特征融合网络计算之后，都会对增强特征参数中位置编码部分的参数进行强化处理，以保证后续处理中各个增强特征参数，可以很好的通过位置编码进行空间对齐。

作为本发明一种可能的实施例，如图13所示，A100：获取目标区域的多个中间遥感数据，包括：

A101：获取目标区域的多个初始中间遥感数据。每一初始中间遥感数据的模态互不相同。且每一初始中间遥感数据具有相同的空间维度及通道维度。

A102：将每一初始中间遥感数据均划分为相同的多个像元区域。

像元区域也即整个遥感图像中的一部分的图像区域。

具体的，可以使用相同的划分策略进行划分。

A103：根据每一像元区域在初始中间遥感数据中对应的参数，生成每一像元区域对应的特征参数。

初始中间遥感数据中对应的参数为初始特征参数，可以为每一个像素对应的参数值；

生成每一像元区域对应的特征参数为中间特征参数，可以为每一像元区域对应的一个一维子向量。

具体的，为了减少数据处理量，将每一特征参数转化为一个一维子向量。由此，每一初始中间遥感数据会变成为一个由相同个数的一维子向量组成的一个一维向量。且每一一维子向量具有对应的位置编码，同时，相同位置处的一维子向量具有的位置编码存在对应关系。如相同位置处的一维子向量对应的位置编码相同。

A104：获取每一像元区域对应的特征参数的位置编码。不同初始中间遥感数据的相同像元区域对应的位置编码相同。

A105：根据每一初始中间遥感数据对应的特征参数及位置编码，生成对应的中间遥感数据。

本实施例中，通过将每一初始中间遥感数据转化为一个一维向量，可以降低后续的计算量以提高本实施例的计算效率。

作为本发明一种可能的实施例，如图14所示，在A300：生成目标区域的融合遥感数据之后，该方法还包括：

A400：对融合遥感数据进行遥感解译处理，生成对应的解译结果。

本实施例中，使用不同的遥感解译任务头来处理发明中的融合遥感数据，可以更好的生成对应的解译结果。由于融合遥感数据中融合了更多的模态信息，同时也提高了每一模态信息的表示精度，由此该融合遥感数据可以适用于更多的遥感解译任务，同时也可以获得更高的解译结果。

根据本发明的第三个方面，如图15所示，提供了一种基于专用及共享架构的多模态遥感数据的融合装置，装置包括：

数据获取模块，用于获取目标区域的多个初始遥感数据，每一初始遥感数据的模态类型互不相同。

数据校正模块，用于根据每一初始遥感数据对应的模态类型，对每一初始遥感数据使用专用网络进行数据校正处理，生成对应的中间遥感数据。每一中间遥感数据具有相同的空间维度及通道维度。

置信度获取模块，用于使用共享的特征关联网络获取每一中间遥感数据对应的置信度。每一中间遥感数据具有多个特征参数。每一特征参数对应一个置信度。置信度根据中间遥感数据中每一特征参数对目标区域中对应地物信息的表征强度确定。

数据替换模块，用于根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一初始遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的特征参数。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

数据融合模块，用于根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

作为本发明一种可能的实施例，如图16所示，数据校正模块包括：

归一模块，用于对初始遥感数据进行数据归一化处理，生成第一初始数据。第一初始数据中的每一参数处于预设数值范围。

第一去噪模块，用于对第一初始数据进行数据去噪处理，生成对应的第二初始数据。数据去噪处理用于根据参数的大小对该参数进行削减。参数的大小与削减幅度正相关。数据归一化处理及数据去噪处理均根据当前的初始遥感数据对应的模态类型确定。

作为本发明一种可能的实施例，如图17所示，数据校正模块还包括：

数据补偿模块，用于使用初始遥感数据对第二初始数据进行数据补偿处理，生成中间遥感数据。数据补偿处理用于将初始遥感数据中的地物信息补偿至第二初始数据中。

数据补偿模块包括：

空间补偿模块，用于使用初始遥感数据对第二初始数据进行空间维度的补偿处理，生成第一补偿数据。

通道补偿模块，用于对第一补偿数据进行通道维度的补偿处理，生成中间遥感数据。

作为本发明一种可能的实施例，如图18所示，空间补偿模块，包括：

第一特征提取模块，用于对初始遥感数据进行第一特征提取处理，生成第三初始数据。第一特征提取处理用于提取初始遥感数据中包括的目标区域中的地物信息。

第一拼接模块，用于将第二初始数据及第三初始数据进行拼接，生成第一拼接遥感数据。

第二去噪模块，用于对第一拼接遥感数据进行补偿去噪处理，生成第一空间融合特征。

第二特征提取模块，用于对第一拼接遥感数据进行第二特征提取处理，生成第二空间融合特征。第二特征提取处理用于提取第一拼接遥感数据中包括的目标区域中的地物信息。

第一补偿模块，用于根据第一空间融合特征对第二初始数据进行空间维度的数据补偿，生成第四初始数据。

第二补偿模块，用于根据第二空间融合特征对第三初始数据进行空间维度的数据补偿，生成第五初始数据。

第一生成模块，用于根据第四初始数据及第五初始数据，生成第一补偿数据。

作为本发明一种可能的实施例，如图19所示，通道补偿模块，包括：

第二拼接模块，用于将第四初始数据及第五初始数据进行拼接，得到第二拼接遥感数据。

全卷积模块，用于对第二拼接遥感数据进行全卷积操作，生成第六初始数据。

第三补偿模块，用于根据第二拼接遥感数据对第六初始数据进行通道维度的数据补偿，生成中间遥感数据。

作为本发明一种可能的实施例，如图20所示，第一生成模块，包括：

第一梯度增强模块，用于使用第三初始数据对第四初始数据进行梯度增强处理，生成第一梯度遥感数据。

第二梯度增强模块，用于使用第二初始数据对第五初始数据进行梯度增强处理，生成第二梯度遥感数据。

第一生成子模块，用于根据第一梯度遥感数据及第二梯度遥感数据，生成第一补偿数据。

作为本发明一种可能的实施例，如图21所示，共享的特征关联网络包括共享特征融合网络。

置信度获取模块，包括：

特征增强模块，用于共享特征融合网络根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的增强特征参数。

置信度生成子模块，用于根据每一增强特征参数，生成对应的置信度。

根据本发明的第四个方面，如图22所示，提供了一种基于跨域共享的多模态遥感数据融合装置，该装置包括：

中间数据获取模块，用于获取目标区域的多个中间遥感数据，每一中间遥感数据的模态类型互不相同。且每一中间遥感数据具有相同的空间维度及通道维度。

特征融合模块，用于将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

数据融合模块，用于根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

如图23所示，特征融合模块包括：

特征增强模块，用于根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的多个增强特征参数。

置信度生成子模块，用于生成每一所述增强特征参数对应的置信度。置信度根据中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度确定。

参数替换模块，用于根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的增强特征参数。

作为本发明一种可能的实施例，如图24所示，共享特征融合网络配置为多个，多个共享特征融合网络之间串行连接设置。

特征融合模块包括：

输入模块，用于将每一中间遥感数据作为初始值输入位于初始位置的共享特征融合网络中。

输出模块，用于将位于末端位置的共享特征融合网络的每一输出值，作为每一中间遥感数据对应的子融合遥感数据。

作为本发明一种可能的实施例，如图25所示，参数替换模块包括：

目标确定模块，用于根据多个待替换特征参数对应的置信度确定目标替换特征参数。待替换特征参数为与目标特征参数表征同一地物信息的其它模态对应的增强特征参数。

目标替换模块，用于将目标特征参数替换为对应的目标替换特征参数，以生成每一中间遥感数据对应的子融合遥感数据。

作为本发明一种可能的实施例，如图26所示，共享特征融合网络包括多个置信度生成网络，每一模态类型对应一个置信度生成网络。

置信度生成子模块包括：

网络确定模块，用于根据每一增强特征参数对应的模态类型，确定对应的置信度生成网络。

置信度生成单元，用于根据对应的置信度生成网络，生成每一增强特征参数对应的置信度。

作为本发明一种可能的实施例，如图27所示，中间遥感数据包括的每一特征参数分别对应一个位置编码。

在根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据之后，特征融合模块还包括：

编码强化模块，用于使用每一位置编码对子融合遥感数据中对应的目标编码参数进行强化处理，生成编码强化特征参数。目标编码参数为子融合遥感数据中与每一位置编码对应的特征参数。强化处理用于对目标编码参数中位置编码对应的参数进行增强。

作为本发明一种可能的实施例，如图28所示，中间数据获取模块包括：

初始数据获取模块，用于获取目标区域的多个初始中间遥感数据。每一初始中间遥感数据的模态互不相同。且每一初始中间遥感数据具有相同的空间维度及通道维度。

像元划分模块，用于将每一初始中间遥感数据均划分为相同的多个像元区域。

特征生成模块，用于根据每一像元区域在初始中间遥感数据中对应的参数，生成每一像元区域对应的特征参数。

编码获取模块，用于获取每一像元区域对应的特征参数的位置编码。不同初始中间遥感数据的相同像元区域对应的位置编码相同。

中间数据生成模块，用于根据每一初始中间遥感数据对应的特征参数及位置编码，生成对应的中间遥感数据。

作为本发明一种可能的实施例，如图29所示，在生成目标区域的融合遥感数据之后，装置还包括：

解译模块，用于对融合遥感数据进行遥感解译处理，生成对应的解译结果。

本发明还提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述方法。

本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述方法。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现装置实施例中一种装置相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的装置。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的装置中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。