无人机垃圾散布区域检测的遥感图像视差变化处理方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种无人机垃圾散布区域检测的遥感图像视差变化处理方法。

背景技术

小型无人机在地球遥感观测中发挥着重要作用，具有协同技术性、易于操作、高分辨率图像采集和灵活性等优点。当小型无人机在同一位置但在不同的时间捕捉图像时，由于GPS(Global Positioning System，全球定位系统)信号不准确、飞行姿态变化、风速和方向、地理环境复杂等因素，导致采集的图像会不可避免地存在视角差。

对于解决存在视角差图像的变化检测问题，相关技术方案中，采用弱监督语义场景变化检测模型来检测存在视角差的图像的变化。其主要方式为，将图像划分为网格单元，利用卷积神经网络(CNN)提取这些网格单元的特征，然后计算网格单元特征之间的欧氏距离，根据欧氏距离来判断网格区域内图像是否发生了变化。

然而，发明人在构思及实现本申请的过程中发现：当无人机应用在垃圾散布区域检测中，采用传统的视差变化检测模型进行变化检测时，只有在对应像素被划分到同一位置的网格单元时才能准确地检测具有视角差异的图像变化。此外，由于其处理存在视角差异的图像的能力取决于网格单元的大小，当为了处理视角差异较大的图像而增加网格单元的大小，又会出现变化检测区域引入错误的情况，因此，该方法难以适用于视角差异较大的图像变化处理，存在适用性不足的缺陷。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种无人机垃圾散布区域检测的遥感图像视差变化处理方法，旨在解决如何对存在视角差异的无人机遥感图像作视差变化处理的问题。

为实现上述目的，本发明提供的一种无人机垃圾散布区域检测的遥感图像视差变化处理方法，所述方法包括：

基于特征金字塔模块，对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集；

基于光流对齐模块，对相匹配的两张所述无人机遥感图像对应的多层次特征图集作特征对齐映射，得到一对特征对齐后的无人机遥感图像组合，其中，所述光流对齐模块包括用于光流估计的光流估计器，以及用于对所述相匹配的两张所述无人机遥感图像对应的多层次特征图集之间作特征对齐的翘曲层；

基于渐进式差异特征融合和检测模块，对所述无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图。

可选地，所述特征金字塔模块基于VGG16网络模块搭建，所述基于特征金字塔模块，对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集的步骤包括：

对无人机遥感图像作特征提取，得到多个不同层次的特征图，构成所述无人机遥感图像对应的所述多层次特征图集；

其中，位于下一层的特征图的通道数，为位于相邻上一层的特征图的通道数的两倍。

可选地，所述相匹配的两张所述无人机遥感图像包括第一无人机遥感图像和第二无人机遥感图像，所述多层次特征图集包括所述第一无人机遥感图像对应的第一多层次特征图集，以及所述第二无人机遥感图像对应的第二多层次特征图集，所述基于光流对齐模块，对相匹配的两张所述无人机遥感图像对应的多层次特征图集作特征对齐映射，得到一对特征对齐后的无人机遥感图像组合的步骤包括：

计算所述第一多层次特征图集和所述第二多层次特征图集之间的局部相关映射和全局相关映射；

调用光流估计器；

基于所述全局相关映射和所述光流估计器，确定所述多层次特征图集中的最低分辨率特征图的全局光流估计结果，以及基于所述局部相关映射和所述光流估计器，确定所述多层次特征图集中的除所述最低分辨率特征图之外的其他特征图的局部光流估计结果，所述多层次特征图集包括所述第一多层次特征图集和所述第二多层次特征图集；

根据所述全局光流估计结果和所述局部光流估计结果，通过所述翘曲层移动所述第一多层次特征图集和所述第二多层次特征图集中的像素点，得到粗对齐第一无人机遥感图像，以及粗对齐第二无人机遥感图像；

将所述粗对齐第一无人机遥感图像，和所述粗对齐第二无人机遥感图像，确定为所述无人机遥感图像组合。

可选地，所述翘曲层包括第一类翘曲层和第二类翘曲层，所述根据所述全局光流估计结果和所述局部光流估计结果，通过所述翘曲层移动所述第一多层次特征图集和所述第二多层次特征图集中的像素点，得到粗对齐第一多层次特征图集，以及粗对齐第二多层次特征图集的步骤包括：

通过所述第一类翘曲层，扭曲所述第二多层次特征图集的特征图，以使所述第二多层次特征图集的特征图与所述第一多层次特征图集对齐，得到所述粗对齐第一多层次特征图集和所述粗对齐第二多层次特征图集；和/或，

通过所述第二类翘曲层，将前一层的光流估计结果用于扭曲当前层的特征图，以使所述第二多层次特征图集各层的特征图与所述第一多层次特征图集中对应层级的特征图对齐，得到所述粗对齐第一多层次特征图集和所述粗对齐第二多层次特征图集，其中，所述光流估计结果包括所述全局光流估计结果和所述局部光流估计结果；

其中，所述第二类翘曲层应用于多层次特征图集中，除最底层特征图之外的其他层特征图。

可选地，所述无人机遥感图像组合包括粗对齐第一无人机遥感图像和粗对齐第二无人机遥感图像，所述基于渐进式差异特征融合和检测模块，对所述无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图的步骤包括：

确定所述粗对齐第二无人机遥感图像中的特征图，与所述粗对齐第一无人机遥感图像中的特征图之间的特征差图，并计算所述特征差图的差图绝对值；

对上一层级生成的特征差图作上采样处理，得到上采样特征差图；

通过注意机制和多层卷积处理对所述差图绝对值和所述上采样特征差图进行融合，得到所述多层次特征差异图。

可选地，所述基于特征金字塔模块，对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集的步骤之前，还包括：

基于端点误差损失函数，约束所述特征对齐后的无人机遥感图像组合相较于初始采集的无人机遥感图像之间的光流误差损失；

基于二元交叉熵损失函数，约束所述多层次特征差异图的深层特征与输入的所述无人机遥感图像之间的特征误差。

可选地，所述基于特征金字塔模块，对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集的步骤之前，还包括：

获取遥感图像训练数据集，并通过随机翻转增强所述遥感图像训练数据集，得到预处理遥感图像训练数据集；

确定所述预处理遥感图像训练数据集中的垃圾散布区域，并对所述垃圾散布区域中的图像对作随机仿射变换处理，以增强所述预处理遥感图像训练数据集中的视点差异；

基于增强视点差异后的所述预处理遥感图像训练数据集，对无人机中的预设神经网络进行训练；

其中，所述遥感图像训练数据集包括存在视点差异的垃圾分布图像与无人机采集的遥感图像合成得到的变化图，以及所述垃圾分布图像、所述遥感图像和所述变化图对应的光流信息。

此外，为实现上述目的，本发明还提供一种端到端变化检测网络模型，所述端到端变化检测网络模型包括：

特征金字塔模块，用于对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集；

光流对齐模块，用于对相匹配的两张所述无人机遥感图像对应的多层次特征图集作特征对齐映射，得到一对特征对齐后的无人机遥感图像组合，其中，所述光流对齐模块包括用于光流估计的光流估计器，以及用于对所述相匹配的两张所述无人机遥感图像对应的多层次特征图集之间作特征对齐的翘曲层；

渐进式差异特征融合和检测模块，用于对所述无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图。

此外，为实现上述目的，本发明还提供一种无人机视差变化处理系统，所述无人机视差变化处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人机垃圾散布区域检测的遥感图像视差变化处理程序，所述无人机垃圾散布区域检测的遥感图像视差变化处理程序被所述处理器执行时实现如上所述的无人机垃圾散布区域检测的遥感图像视差变化处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有无人机垃圾散布区域检测的遥感图像视差变化处理程序，所述无人机垃圾散布区域检测的遥感图像视差变化处理程序被处理器执行时实现如上所述的无人机垃圾散布区域检测的遥感图像视差变化处理方法的步骤。

本发明实施例提供一种无人机垃圾散布区域检测的遥感图像视差变化处理方法、装置及存储介质，通过提出了一个端到端变化检测网络模型，采用光流估计方式对齐特征图，并同时执行变化检测，使网络能够直接处理有视点差异的图像，有效地提高了无人机系统对遥感图像的累积误差或大视差变化的场景的性能，并通过消除重复的特征提取来提高吞吐量。

附图说明

图1为本发明实施例涉及的无人机视差变化处理系统的硬件运行环境的架构示意图；

图2为本发明无人机垃圾散布区域检测的遥感图像视差变化处理方法的第一实施例的流程示意图；

图3为本发明无人机垃圾散布区域检测的遥感图像视差变化处理方法的第二实施例中涉及的流程示意图；

图4为本发明无人机垃圾散布区域检测的遥感图像视差变化处理方法的第二实施例中涉及的另一流程示意图；

图5为本发明无人机垃圾散布区域检测的遥感图像视差变化处理方法的第三实施例中涉及的流程示意图；

图6为本发明无人机垃圾散布区域检测的遥感图像视差变化处理方法涉及的端到端变化检测网络模型的架构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。

具体实施方式

本申请通过提出了一个搭载于无人机视差变化处理系统的端到端变化检测网络模型，端到端变化检测网络模型中通过特征金字塔模块对存在视角差异的至少两张无人机遥感图像作预处理，提升网络模型后续对无人机遥感图像的视角差异处理能力；然后采用光流估计方式对齐特征图，即便多张无人机遥感图像之间的对应像素未被划分到同一位置也能够准确检测出多张无人机遥感图像之间是否存在视角差异，并在检测到出现视角差异时，通过渐进式差异特征融合和检测模块处理有视点差异的图像，提高了无人机系统对遥感图像的累积误差或大视差变化的场景的性能，并通过消除重复的特征提取来提高吞吐量，避免了变化检测区域引入错误的同时，摆脱传统视觉差异变化检测模型中对于模型的网格单元的大小的依赖，从而实现对视角差异较大的图像变化处理。

为了更好地理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。

作为一种实现方案，图1为本发明实施例方案涉及的无人机视差变化处理系统的硬件运行环境的架构示意图。

如图1所示，该无人机视差变化处理系统可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的无人机视差变化处理系统架构并不构成对无人机视差变化处理系统限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及无人机垃圾散布区域检测的遥感图像视差变化处理程序。其中，操作系统是管理和控制无人机视差变化处理系统的硬件和软件资源的程序，无人机垃圾散布区域检测的遥感图像视差变化处理程序以及其他软件或程序的运行。

在图1所示的无人机视差变化处理系统中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序。

在本实施例中，无人机视差变化处理系统包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的无人机垃圾散布区域检测的遥感图像视差变化处理程序，其中：

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

基于特征金字塔模块，对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集；

基于光流对齐模块，对相匹配的两张所述无人机遥感图像对应的多层次特征图集作特征对齐映射，得到一对特征对齐后的无人机遥感图像组合，其中，所述光流对齐模块包括用于光流估计的光流估计器，以及用于对所述相匹配的两张所述无人机遥感图像对应的多层次特征图集之间作特征对齐的翘曲层；

基于渐进式差异特征融合和检测模块，对所述无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图。

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

对无人机遥感图像作特征提取，得到多个不同层次的特征图，构成所述无人机遥感图像对应的所述多层次特征图集；

其中，位于下一层的特征图的通道数，为位于相邻上一层的特征图的通道数的两倍。

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

计算所述第一多层次特征图集和所述第二多层次特征图集之间的局部相关映射和全局相关映射；

调用光流估计器；

基于所述全局相关映射和所述光流估计器，确定所述多层次特征图集中的最低分辨率特征图的全局光流估计结果，以及基于所述局部相关映射和所述光流估计器，确定所述多层次特征图集中的除所述最低分辨率特征图之外的其他特征图的局部光流估计结果，所述多层次特征图集包括所述第一多层次特征图集和所述第二多层次特征图集；

根据所述全局光流估计结果和所述局部光流估计结果，通过所述翘曲层移动所述第一多层次特征图集和所述第二多层次特征图集中的像素点，得到粗对齐第一无人机遥感图像，以及粗对齐第二无人机遥感图像；

将所述粗对齐第一无人机遥感图像，和所述粗对齐第二无人机遥感图像，确定为所述无人机遥感图像组合。

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

通过所述第一类翘曲层，扭曲所述第二多层次特征图集的特征图，以使所述第二多层次特征图集的特征图与所述第一多层次特征图集对齐，得到所述粗对齐第一多层次特征图集和所述粗对齐第二多层次特征图集；和/或，

通过所述第二类翘曲层，将前一层的光流估计结果用于扭曲当前层的特征图，以使所述第二多层次特征图集各层的特征图与所述第一多层次特征图集中对应层级的特征图对齐，得到所述粗对齐第一多层次特征图集和所述粗对齐第二多层次特征图集，其中，所述光流估计结果包括所述全局光流估计结果和所述局部光流估计结果；

其中，所述第二类翘曲层应用于多层次特征图集中，除最底层特征图之外的其他层特征图。

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

确定所述粗对齐第二无人机遥感图像中的特征图，与所述粗对齐第一无人机遥感图像中的特征图之间的特征差图，并计算所述特征差图的差图绝对值；

对上一层级生成的特征差图作上采样处理，得到上采样特征差图；

通过注意机制和多层卷积处理对所述差图绝对值和所述上采样特征差图进行融合，得到所述多层次特征差异图。

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

基于端点误差损失函数，约束所述特征对齐后的无人机遥感图像组合相较于初始采集的无人机遥感图像之间的光流误差损失；

基于二元交叉熵损失函数，约束所述多层次特征差异图的深层特征与输入的所述无人机遥感图像之间的特征误差。

处理器1001调用存储器1005中存储的无人机垃圾散布区域检测的遥感图像视差变化处理程序时，执行以下操作：

获取遥感图像训练数据集，并通过随机翻转增强所述遥感图像训练数据集，得到预处理遥感图像训练数据集；

确定所述预处理遥感图像训练数据集中的垃圾散布区域，并对所述垃圾散布区域中的图像对作随机仿射变换处理，以增强所述预处理遥感图像训练数据集中的视点差异；

基于增强视点差异后的所述预处理遥感图像训练数据集，对无人机中的预设神经网络进行训练；

其中，所述遥感图像训练数据集包括存在视点差异的垃圾分布图像与无人机采集的遥感图像合成得到的变化图，以及所述垃圾分布图像、所述遥感图像和所述变化图对应的光流信息。

基于上述基于计算机视觉技术的无人机视差变化处理系统的硬件架构，提出本发明无人机垃圾散布区域检测的遥感图像视差变化处理方法的实施例。

第一实施例

在本实施例中，无人机视差变化处理系统中搭载有本实施例提出的端到端变化检测网络模型，端到端变化检测网络模型中主要包括有三大模块：特征金字塔模块、光流对齐模块和渐进式差异特征融合和检测模块。

特征金字塔模块的主要目的在于，对无人机遥感图像进行降采样处理，从而获取具有更丰富的语义信息的特征图的同时，提升端到端变化检测网络模型的处理速度，便于后续的模块进行识别。

光流对齐模块的主要目的在于，对特征金字塔模块处理后得到的多层次特征图集进行对齐，从而避免无人机图像采集过程中由于累积误差导致的整个无人机视差变化处理系统的性能变差，以及避免提取过多的冗余特征导致系统吞吐量降低。

由于光流对齐模块对齐后得到的无人机遥感图像组合中的图像帧为多层次特征图，不同层之间存在特征重复部分，因此，采用本实施例提出的渐进式差异特征融合和检测模块，消除组合内部的图像帧之间的特征重复部分，从而生成经过视差变化处理之后的多层次特征差异图，完成对无人机遥感图像的视差变化处理。

参照图2，在本实施例中，所述无人机垃圾散布区域检测的遥感图像视差变化处理方法包括以下步骤：

步骤S10，基于特征金字塔模块，对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集；

在本实施例中，无人机在垃圾散布区域的上方进行低空飞行过程中，设置于无人机上的单目相机会采集下方垃圾散布区域的遥感图像，即无人机遥感图像，将无人机遥感图像输入至本实施例中无人机内置的无人机视差变化处理系统中，对无人机遥感图像进行视差变化处理。由于视差变化是基于无人机飞行过程中连续采集的两张图像帧才出现的，因此我们首先要获取至少两张无人机遥感图像。

在这一步骤中，特征金字塔模块对输入的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多张多层次特征图，构成多层次特征图集。

作为一可选实施方式，降采样的具体如下：

首先所述无人机遥感图像作特征提取，得到多个不同层次的特征图，构成所述无人机遥感图像对应的所述多层次特征图集。其中，提取后的多个不同层次的特征图中，位于下一层的特征图的通道数，为位于相邻上一层的特征图的通道数的两倍。

可选地，特征金字塔模块可以采用VGG16网络进行搭建，即16个卷积层的VGG(Visual Geometry Group，视觉几何图形组)网络，由16个卷积层和若干个池化层交替堆叠而成，最后使用全连接层进行分类。

示例性地，设提取后的多层次特征图为4层，初始无人机遥感图像包含512个通道。首先，为了减少网络参数的数量，将初始无人机遥感图像中的通道数调整为256个，即原先的一半，然后从输入图像帧中提取4个不同层次的特征图，这些特征图封装了不同的语义信息，4层特征图的大小分别为输入图像大小的1/2、1/4、1/8和1/16，各个特征图的通道数分别为64、128、256和256。

由特征金字塔模块提取的多层次特征图既包含深层语义信息，也包含浅层、精确的位置细节，这些深度和浅层特征图的融合能够包含丰富的语义信息和准确的位置信息。

步骤S20，基于光流对齐模块，对相匹配的两张所述无人机遥感图像对应的多层次特征图集作特征对齐映射，得到一对特征对齐后的无人机遥感图像组合，其中，所述光流对齐模块包括用于光流估计的光流估计器，以及用于对所述相匹配的两张所述无人机遥感图像对应的多层次特征图集之间作特征对齐的翘曲层；

在本实施例中，在得到多层次特征图集之后，基于光流对齐模块对多层次特征图集进行特征对齐映射。光流是建立一对图像之间密集对应的一种有效方法，通过建立一对图像特征映射之间的密集对应关系来实现图像特征映射的对齐。

其中，光流对齐模块包括用于光流估计的光流估计器，以及用于对所述相匹配的两张所述无人机遥感图像对应的多层次特征图集之间作特征对齐的翘曲层。

光流估计器由多层卷积神经网络组成，用于估计连续帧之间的像素位移，其目标是找到相邻图像帧中每个像素点的位移矢量，以描述物体在图像中的移动方向和速度。在本实施例中则是用于逐步减少输入中的信道数量，最终产生具有两个信道的光流信息，这两个通道分别表示像素在坐标上的水平和垂直位移。可选地，光流估计器可以由6个用于光流计算设计的卷积层组成，且都使用3x3大小的卷积核。

翘曲层指的是端到端变化检测网络模型中用来执行扭曲操作(warping)的一层，负责对相匹配的两个图像的特征图进行变形，以使两个图像中作为被匹配对象的图像B与作为匹配对象的图像A进行匹配，从而实现两张特征图之间的对齐。

示例性地，翘曲层的定义式如下：

F

其中，x为作为被匹配对象的图像B的F

可选地，在本实施例提出的端到端变化检测网络模型中，翘曲层还可分为两种类型。第一种类型是使用在同一范围内估计的光流水平以扭曲作为被匹配对象的图像B的特征图，并将其与作为匹配对象图像A的特征图对齐。目标是增强特征映射的对齐，从而提高变化检测的准确性；第二种类型是利用前一层估计的光流在当前层上扭曲图像B的特征图，使图像B的特征图与图像A的特征图粗对齐。这种类型的翘曲层适用于除最低层外的所有层。其目的是实现特征图的粗对齐，旨在提高当前水平上光流估计的精度。这种类型利用从前一级估计的光流信息进行粗对准，在获得精确光流的同时，同时减少了计算工作量和计算时间。

作为一可选实施方式，在本实施例中，特征对齐映射包括局部相关映射和全局相关映射两种映射，通过两种不同范围的映射来构建特征图之间的像素级对应。然后调用光流对齐模块中预设置的光流估计器，并根据光流估计器和两种映射来确定光流估计结果，光流估计结果同样包括全局光流估计结果和所述局部光流估计结果。通过光流对齐模块中预设置的翘曲层，以及全局光流估计结果和局部光流估计结果，来对多层次特征图集进行特征对齐。

由于特征对齐是两个相匹配的无人机遥感图像之间的动作，为了方便描述，将两个相匹配的无人机遥感图像称为第一无人机遥感图像和第二无人机遥感图像，第一无人机遥感图像对应的多层次特征图集称为第一多层次特征图集，而第二无人机遥感图像对应的多层次特征图集称为第二多层次特征图集。

下面对该过程展开说明：

一，计算所述第一多层次特征图集和所述第二多层次特征图集之间的局部相关映射和全局相关映射。

在这个过程中，局部相关映射和全局相关映射的区别在于计算范围不同例如，局部相关映射及计算的是x坐标周围指定距离‘d’内的对应关系，而全局相关映射计算的是像素“x”与同一图像中所有像素之间的对应关系。

示例性地，相关映射的定义如下式：

c(x

其中，x

其中，局部相关映射为|x

二，调用光流估计器，然后基于全局相关映射和光流估计器，确定多层次特征图集中的最低分辨率特征图的全局光流估计结果，以及基于局部相关映射和光流估计器，确定多层次特征图集中的除最低分辨率特征图之外的其他特征图的局部光流估计结果。注意，此处多层次特征图集包括所述第一多层次特征图集和所述第二多层次特征图集。

需要说明的是，在这个过程中，由于在高分辨率的特征图上使用全局相关映射来估计光流是一个计算密集型和耗时的过程，因此这里只利用全局相关来在最低分辨率的特征图上进行光流估计。对于其他层次的特征图的对齐，则使用局部相关映射来估计光流。

还需要说明的是，光流估计结果的确定，与常规的使用光流估计器进行光流估计的方式无差异，区别在于本实施例中的光流估计结果分为了不同范围(即全局或局部)，并且对于多层次特征图集中不同分辨率的特征图采用不同的光流估计方式，从而尽可能确保估计结果准确度的同时，降低了系统中光流估计模块的计算成本。

三，根据全局光流估计结果和局部光流估计结果，通过翘曲层移动所述第一多层次特征图集和所述第二多层次特征图集中的像素点，得到粗对齐第一无人机遥感图像，以及粗对齐第二无人机遥感图像。

在这个过程中，通过全局光流估计结果来估计整个图像帧之间的像素位移，从而确定无人机遥感图像中物体的飞行移动方向和速度的信息；而局部光流估计结果用来估计图像中的局部区域更详细的位移信息，从而捕捉图像中细微的变化和物体之间的相对运动。通过翘曲层，将两个图像帧中的像素点基于两种光流估计结果进行移动，以实现粗略对齐。

四，将所述粗对齐第一无人机遥感图像，和所述粗对齐第二无人机遥感图像，确定为所述无人机遥感图像组合。

将两个相匹配的粗对齐无人机遥感图像，即粗对齐第一无人机遥感图像和粗对齐第二无人机遥感图像，构建形成无人机遥感图像组合，后续的步骤中以无人机遥感图像组合作为单位继续进行视差变化处理。

步骤S30，基于渐进式差异特征融合和检测模块，对所述无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图。

在本实施例中，在得到无人机遥感图像组合之后，基于渐进式差异特征融合和检测模块对无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图。

作为一种可选实施方式，对于如何作特征差异映射处理。首先，确定粗对齐第二无人机遥感图像中的特征图，与粗对齐第一无人机遥感图像中的特征图之间的特征差图，并计算所述特征差图的差图绝对值。特征差图可以由粗对齐第二无人机遥感图像与粗对齐第一无人机遥感图像之间对应层级的特征图相减得到。对特征差图取绝对值，得到差图绝对值。

然后，对上一层级生成的特征差图作上采样处理，得到上采样特征差图。这个步骤的目的在于提升特征差图的分辨率。可选地，上采样处理方式可以采用最邻近差值或双线性差值方式处理。

最后，通过注意机制和多层卷积处理对所述差图绝对值和所述上采样特征差图进行融合，得到多层次特征差异图。

需要说明的是，注意机制的作用在于引导模型的焦点指向局部重要信息。注意机制包括通道注意机制和空间注意机制。

对于通道注意机制，指的是通过学习一个通道注意图来增强或抑制不同的通道，使得网络模型能够结合不同通道，提升端到端变化检测网络模型的可延展性。

需要注意的是，在不同级别上生成的特征差异映射包含不同的信息，浅层产生具有精细位置细节和物体特定的特征的特征差异映射，使它们在检测小物体时特别有效。相反，来自更深层的特征差异映射具有丰富的语义信息使其更适合于检测较大的目标。为了利用这些不同级别的优势，本实施例中使用通道注意机制融合了它们的特征差异映射，这有助于减少语义信息和位置信息上的差异跨不同的渠道。

示例性地，通道注意图定义式如下：

M

其中，σ表示s型函数，F表示融合的多层次特征差异图，MLP代表多层感知器，用于学习通道权值，以确定每个通道在通道注意机制中的重要性。

而空间注意机制针对特征图像中的单个像素，指的是通过学习一个空间注意图，允许增强或抑制特征图中的特定像素，使得端到端变化检测网络模型能够专注于特征图中感兴趣的关键像素。然而，这些不断变化的关键像素通常只构成整个空间注意图的一小部分。因此，本实施例中采用空间注意机制来学习空间注意图，使模型能够将更多的注意力分配给经历了变化的像素，有助于提高模型对在变化检测任务中最重要的像素的敏感性。

示例性地，空间注意图定义式如下：

M

其中，f

在本实施例提供的技术方案中，提出了一个搭载于无人机视差变化处理系统的端到端变化检测网络模型，端到端变化检测网络模型中通过特征金字塔模块对存在视角差异的至少两张无人机遥感图像作预处理，提升网络模型后续对无人机遥感图像的视角差异处理能力；然后采用光流估计方式对齐特征图，即便多张无人机遥感图像之间的对应像素未被划分到同一位置也能够准确检测出多张无人机遥感图像之间是否存在视角差异，并在检测到出现视角差异时，通过渐进式差异特征融合和检测模块处理有视点差异的图像，提高了无人机系统对遥感图像的累积误差或大视差变化的场景的性能，并通过消除重复的特征提取来提高吞吐量，避免了变化检测区域引入错误的同时，摆脱传统视觉差异变化检测模型中对于模型的网格单元的大小的依赖，从而实现对视角差异较大的图像变化处理。

第二实施例

参照图3，基于第一实施例，所述步骤S10之前，还包括：

步骤S40，基于端点误差损失函数，约束所述特征对齐后的无人机遥感图像组合相较于初始采集的无人机遥感图像之间的光流误差损失；

作为一可选实施例，为了提升端到端变化检测网络模型对于视点差异较大的图像的处理能力，使用端点误差损失函数(EPE)作为监测机制来约束特征对齐后的无人机遥感图像组合相较于初始采集的无人机遥感图像之间的光流误差损失，确保端到端变化检测网络模型能够准确预测光流。

端点误差损失函数在本实施例中用于计算预测的光流与地面真实光流之间的欧氏距离。示例性地，端点误差损失函数的定义式如下：

其中，

参照图4，基于前述任一实施例，所述步骤S10之前，还包括：

步骤S50，基于二元交叉熵损失函数，约束所述多层次特征差异图的深层特征与输入的所述无人机遥感图像之间的特征误差。

进一步的，在本实施例中，由于最终的变化图是通过结合不同层次的变化检测网络生成的多层次特征差异图得到的。各层次的特征差异图的质量直接影响到最终变化图的整体性能，并且下一层级的特征差图的有效性也受到上一层级的特征差图的影响。因此，深层特征差异图中的某一层级出现的误差会放大后续层次特征差异图中的误差，出现反向传播过程中梯度消失的问题，给训练过程带来挑战。为了避免端到端变化检测网络模型长期工作过程中由于累积误差导致的性能不佳，本实施例中在网络内实施了基于二元交叉熵(BCE)损失函数的深度监督策略，在变化检测网络的每个层次上，对生成的特征差异图进行处理，得到最终的变化图。

示例性地，二元交叉熵损失函数的定义式如下：

其中，GT

最后，在本实施例中，整个训练过程的总损失定义为端点误差损失与二元交叉熵损失之和：

L

在本实施例提供的技术方案中，为了提升端到端变化检测网络模型对于视点差异较大的图像的处理能力，并且避免端到端变化检测网络模型长期工作过程中由于累积误差导致的性能不佳，使用端点误差损失函数(EPE)作为监测机制来约束特征对齐后的无人机遥感图像组合相较于初始采集的无人机遥感图像之间的光流误差损失，并且采用二元交叉熵损失函数作为深度监督策略，约束多层次特征差异图的深层特征与输入的无人机遥感图像之间的特征误差。

第三实施例

参照图5，基于任一实施例，所述步骤S10之前，还包括：

步骤S60，获取遥感图像训练数据集，并通过随机翻转增强所述遥感图像训练数据集，得到预处理遥感图像训练数据集；

步骤S70，确定所述预处理遥感图像训练数据集中的垃圾散布区域，并对所述垃圾散布区域中的图像对作随机仿射变换处理，以增强所述预处理遥感图像训练数据集中的视点差异；

步骤S80，基于增强视点差异后的所述预处理遥感图像训练数据集，对无人机中的端到端变化检测网络模型进行训练；

作为一可选实施例，为了提升端到端变化检测网络模型的预测准确性，采用大量的训练样本对变化检测网络模型进行训练是必要的，然而，目前尚未公开一种用于视角差异变化差异的变化检测的训练数据集。对此，本实施例中，提出一种训练数据集，能够对模型的视点差异检测能力和光流监督能力进行训练。

在大多数公开可用的变化检测数据集中，通常都包含作为作为匹配对象的图像A、作为被匹配对象图像B和，融合了图像A和图像B的变化图。然而，当图像A或图像B经历旋转或平移等仿射变换时，由于图像中的物体位置发生了变化，因此融合得到的变化图的准确性可能会受到影响。这可能会对模型的性能产生不利影响。这种限制使得大多数公开可用的变化检测数据集不适合创建具有视点差异的变化检测数据集。

在本实施例中，遥感图像训练数据集包括存在视点差异的垃圾分布图像与无人机采集的遥感图像合成得到的变化图，以及所述垃圾分布图像、所述遥感图像和所述变化图对应的光流信息。

具体来说，首先收集由无人机采集的大量遥感图像，构成遥感图像训练数据集，并通过随机翻转增强遥感图像训练数据集，得到预处理遥感图像训练数据集。随机翻转的目的在于增强数据的多样性和鲁棒性。

示例性地，

然后确定预处理遥感图像训练数据集中的垃圾散布区域。垃圾散布区域指的是感兴趣的垃圾的在图像中的分布区域，该区域的确定可以采用常见的卷积神经网络算法进行确定。

在一些具体实施场景中，无人机的应用场景可以为垃圾散布区域检测场景，即通过无人机在低空飞行过程中采集遥感图像，并通过遥感图像识别出图像中的垃圾区域，垃圾散布区域可以是垃圾散布区域。当应用在无人机对垃圾散布区域进行检测的场景下，通过随机组合各种材料(包括但不限于塑料、金属、玻璃等物体)的对象图像来生成垃圾分布图像。

需要说明的是，在真实场景中，无人机在同一位置但在不同时间拍摄的一对图像自然会显示出视点差异。为了在模拟出的数据集中复制这种视点差异，对垃圾散布区域对应的图像部分，作随机仿射变换处理，来增强数据集中的图像之间的视角差异。

并且为了提升端到端变化检测网络模型中的光流检测模块的光流对齐能力，同时在数据集中设置了对齐这些成对图像所需的光流数据。也即遥感图像训练数据集还需要包括存在视点差异的垃圾分布图像与无人机采集的遥感图像合成得到的变化图，以及所述垃圾分布图像、所述遥感图像和所述变化图对应的光流信息。

最后基于增强视点差异后的预处理遥感图像训练数据集，对无人机中的端到端变化检测网络模型进行训练。

在本实施例提供的技术方案中，提出一种能够对模型的视点差异检测能力和光流监督能力进行训练的训练数据集，并给出了训练数据集的构建流程，从而提升端到端变化检测网络模型的预测准确性。

此外，参照图6，本实施例还提出一种端到端变化检测网络模型，所述端到端变化检测网络模型包括：

特征金字塔模块100，用于对无人机从垃圾散布区域中采集的至少两张无人机遥感图像进行降采样，得到各个所述无人机遥感图像对应的多层次特征图集；

光流对齐模块200，用于对相匹配的两张所述无人机遥感图像对应的多层次特征图集作特征对齐映射，得到一对特征对齐后的无人机遥感图像组合，其中，所述光流对齐模块包括用于光流估计的光流估计器，以及用于对所述相匹配的两张所述无人机遥感图像对应的多层次特征图集之间作特征对齐的翘曲层；

渐进式差异特征融合和检测模块300，用于对所述无人机遥感图像组合作特征差异映射处理，以消除所述无人机遥感图像组合中的重复特征，得到经过视差变化处理的多层次特征差异图。

此外，本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可以存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被无人机视差变化处理系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有无人机垃圾散布区域检测的遥感图像视差变化处理程序，所述无人机垃圾散布区域检测的遥感图像视差变化处理程序被处理器执行时实现如上实施例所述的无人机垃圾散布区域检测的遥感图像视差变化处理方法的各个步骤。

其中，所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

需要说明的是，由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。