一种基于高质量特征选择的变化检测方法及装置

技术领域

本发明涉及变化检测领域，尤其涉及一种基于高质量特征选择的变化检测方法及装置。

背景技术

变化检测旨在检测目标区域是否发生变化，可以区分不同时间从同一场景拍摄的成对图像间的真实变化和背景环境变化

现有的基于深度学习的变化检测方法可以从大量训练图像中发现变化，并生成较为精确的变化检测结果

由此可见，获取高质量变化检测结果的关键在于获取高质量的变化特征。

参考文献

[1]Singh,Ashbindu."Review article digital change detection techniquesusing remotely-sensed data."International journal of remote sensing 10.6(1989):989-1003.

[2]眭海刚，冯文卿，孙开敏，徐川，多时相遥感影像变化检测方法综述.vol.43.no.12,2018.

[3]Daudt,Rodrigo Caye,Bertr Le Saux,and Alexandre Boulch."Fullyconvolutional siamese networks for change detection."2018 25th IEEEInternational Conference on Image Processing(ICIP).IEEE,2018.

[4]Zhang,Chenxiao,et al."A deeply supervised image fusion network forchange detection in high resolution bi-temporal remote sensing images."ISPRSJournal of Photogrammetry and Remote Sensing 166(2020):183-200.

[5]Alcantarilla,Pablo F.,et al."Street-view change detection withdeconvolutional networks."Autonomous Robots 42.7(2018):1301-1322.

[6]Sakurada,Ken,Mikiya Shibuya,and Weimin Wang."Weakly supervisedsilhouette-based semantic scene change detection."2020IEEE Internationalconference on robotics and automation(ICRA).IEEE,2020.

[7]Chen,Hao,Zipeng Qi,and Zhenwei Shi."Remote sensing image changedetection with transformers."IEEE Transactions on Geoscience and RemoteSensing 60(2021):1-14.

[8]Huang,Rui,et al."Change detection with absolute difference ofmultiscale deep features."Neurocomputing 418(2020):102-113.

[9]Xu,Jialang,et al."An Adaptive Multi-Scale and Multi-Level FeaturesFusion Network with Perceptual Loss for Change Detection."ICASSP 2021-2021IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).IEEE,2021.

[10]Long,Jonathan,Evan Shelhamer,and Trevor Darrell."Fullyconvolutional networks for semantic segmentation."Proceedings of the IEEEconference on computer vision and pattern recognition.2015.

发明内容

本发明提供了一种基于高质量特征选择的变化检测方法及装置，本发明使用带有全注意力增强的基于VGG16bn的孪生U型网络分别提取出输入图像对的五个不同尺度特征；再将其作为输入特征构建特征池，并依据特征池中不同的变化相关特征的贡献程度进行特征选择获得高质量的变化特征；然后对不同尺度的变化特征结合注意力进行金字塔式的特征融合，以解决变化区域残缺或者不突出的问题，详见下文描述：

一种基于高质量特征选择的变化检测方法，所述方法包括：

通过孪生U型网络对输入图像对进行特征提取，获取不同尺度的图像特征，将图像特征作为输入特征构建特征池；所述孪生U型网络具有全注意力增强特性，且基于VGG16bn网络；

根据特征池中不同的变化相关特征的贡献程度进行特征选择，获得高质量的变化特征；对不同尺度的变化特征结合注意力进行金字塔式的特征融合；

对金字塔特征融合输出的每层特征增加卷积操作，每一层都生成一个变化掩码，对五个预测变化掩码进行拼接和卷积操作得到最终的预测变化掩码；

基于注意力金字塔融合与最终的预测变化掩码构建损失函数，通过损失函数对变化的图像区域进行检测。

其中，所述将图像特征作为输入特征构建特征池具体为：

将由孪生网络得到的成对特征作为输入，经过拼接和卷积操作得到拼接特征，经过特征相减求绝对值和卷积操作得到绝对差值特征，利用提取的成对特征、拼接特征、绝对差值特征构建特征池。

进一步地，所述根据输入特征的贡献程度进行特征选择，获得高质量的变化特征具体为：将这三种不同类型的特征视为专家特征，并随机初始化一个可更新的权重矩阵，对特征池里的特征进行特征选择，依据其重要性进行权重求和，得到高质量的变化特征。

其中，所述高质量的变化特征为：

其中，E

进一步地，所述变化掩码为：

其中，M

第二方面、一种基于高质量特征选择的变化检测装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。

第三方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。

本发明提供的技术方案的有益效果是：

1、本发明将不同时间获取的图像对作为输入，利用带有全注意力增强的孪生网络提取图像多尺度特征，通过注意力机制的引进使得提取的特征更加完整和专注于前景目标，减少了无效背景信息对检测结果带来的干扰，使得预测结果更加贴近真实变化结果；

2、本发明构建的高质量特征选择网络，以孪生U型网络提取的特征对作为输入构建变化相关特征的特征池，再依据特征池中不同变化相关特征的贡献程度进行特征选择和结合，以获得高质量的变化特征，解决了以往仅依靠单一特征导致的边缘残缺或变化区域不突出的问题；

3、本发明根据变化图像含有更丰富的特征信息这一特点，进行多尺度特征融合时采用注意力金字塔融合方式，不仅可以有效地解决不同层级特征融合时存在的信息差异，还能使得融合特征中的变化区域得到更多的关注；同时在多个层级生成初步的预测图，并将它们进行融合以生成最终的预测图，有助于利用高级语义特征和低级纹理特征相互补充和促进，解决预测图中变化区域残缺的问题；

4、根据在VL-CMU(视觉定位CMU数据集)、PCD(全景变化检测数据集)、CDnet2014(变化检测视频序列数据集)数据集上的实验结果显示，本方法增益效果明显。

附图说明

图1为本发明提出的变化检测网络的结构示意图；

图2为本发明提出的高质量特征选择网络的结构示意图；

图3为本发明提出的变化检测方法与其他现有变化检测方法的实验结果对比示意图；

图4为一种基于高质量特征选择的变化检测方法的流程图；

图5为一种基于高质量特征选择的变化检测装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本方法是针对图像变化区域检测问题提出了基于高质量特征选择的变化检测方法与装置，可以在待检测图像中检测出变化物体，并且更接近真实变化。

实施例1

一种基于高质量特征选择的变化检测方法，参见图1至图3，该方法包括以下步骤：

一、构建带有全注意力增强的孪生U型网络

本发明实施例构建了一个带有全注意力增强的孪生U型网络作为特征提取网络，以VGG16bn网络进行基础特征提取，再利用全注意力增强模块对深层特征进行增强，继而采用自顶向下的方式增强基础特征，构成孪生的U型网络对成对图像进行特征提取，得到五组不同尺度的特征。

该网络以待检测图像对

首先，将待检测图像I

全注意力增强模块，即分别对成对特征的第五层和第四层使用全注意力捕捉全局信息依赖，增强全局特征，再按照自顶向下的方式依次对五种不同尺度的张量进行拼接和卷积操作得到五个不同尺度的特征张量。

其中，ψ

二、构建高质量特征选择网络

构建高质量特征选择网络，包含用于处理五个不同尺度的高质量特征选择模块。每个高质量特征选择模块包括两个部分：构建特征池和特征选择。将由孪生网络得到的成对特征作为输入，经过拼接和卷积操作得到拼接特征

其中，abs(·)表示求绝对值操作，[·]表示沿着通道维度进行特征拼接，Conv

然后，借鉴混合专家的思想，将这三种不同类型的特征视为专家特征，并随机初始化一个可更新的权重矩阵

其中，E

三、构建注意力金字塔融合与变化掩码预测网络

利用自顶向下的特征融合方式进行特征融合与传递：将得到的高质量变化特征，经过卷积操作后按照自顶向下的方式再逐步向下传递，将分辨率更小但语义信息更丰富的特征向低层逐层传递，将层的语义信息和低层的细节纹理信息结合，利用高层语义信息来引导细节信息，细化所关注的变化区域的纹理信息。

其中，注意力金字塔融合，指的是使用注意力来解决跨尺度特征融合时不同尺度特征间的信息差距，以便更好地进行特征融合。该融合过程是一个自顶向下的过程：

其中，Φ

变化掩码预测，首先对金字塔特征融合输出的每层特征增加卷积操作，每一层都生成一个变化掩码。同时也利用上一层的特征来增强本层的特征，以便这一层能取得更好的预测效果。

其中，M

结合五个预测结果得到最终的预测结果，对前面所得到的五个预测变化掩码，进行拼接和卷积操作得到最终的预测变化掩码。

M＝Conv

其中，M

四、计算损失函数

本发明实施例提出的网络模型的损失是注意力金字塔融合与变化掩码图预测网络损失组成。

分别计算M

其中，L

实际应用中，将像素级别的变化检测看作是对每个像素值进行二分类，每个像素的预测结果只有两种情况，变化或者不变，即1或0。利用预测结果与真实标签做交叉熵，能很好地判断预测结果与真实标签的差异。两者越接近，交叉熵越小，两者差异越大，交叉熵也越大。引进交叉熵损失可以使得网络在训练过程中，模型的预测结果逐步接近真实标签。

五、对变化区域的检测

基于第四部分得到的损失函数对变化的图像区域进行检测，解决了以往仅依靠单一特征导致的边缘残缺或变化区域不突出的问题，提高了对变化的图像区域的检测精度。

实施例2

下面结合图1-图3对实施例1中的方案进行可行性验证，详见下文描述：

本发明实施例根据变化图像含有丰富特征信息这一特点出发，设计图1所示的网络结构，有效判断多种变化相关特征的重要性并进行组合，克服前景特征信息存在残缺或变化区域不突出等带来的影响。

根据图2的网络结构所示，将孪生U型网络提取的成对特征作为输入，利用拼接、绝对差值和卷积操作等方式求得拼接特征和绝对差值特征，构建出由三种不同类型组成的变化相关特征的特征池，再初始化一个可以随着网络训练不断更新的权重矩阵进行相关特征的选择和加权结合，能够有效组合多种特征，得到高质量变化特征。

由图3所示，将本发明实施例提出的方法称为HQFSnet，对比其他现有的七种变化检测方法，本发明实施例得到的变化检测结果P

实施例3

基于同一发明构思，本发明实施例还提供了一种高质量特征选择的变化检测装置，参见图5，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的任一项的方法步骤：

通过孪生U型网络对输入图像对进行特征提取，获取不同尺度的图像特征，将图像特征作为输入特征构建特征池；所述孪生U型网络具有全注意力增强特性，且基于VGG16bn网络；

根据特征池中不同的变化相关特征的贡献程度进行特征选择，获得高质量的变化特征；对不同尺度的变化特征结合注意力进行金字塔式的特征融合；

对金字塔特征融合输出的每层特征增加卷积操作，每一层都生成一个变化掩码，对五个预测变化掩码进行拼接和卷积操作得到最终的预测变化掩码；

基于注意力金字塔融合与最终的预测变化掩码构建损失函数，通过损失函数对变化的图像区域进行检测。

其中，将图像特征作为输入特征构建特征池具体为：

将由孪生网络得到的成对特征作为输入，经过拼接和卷积操作得到拼接特征，经过特征相减求绝对值和卷积操作得到绝对差值特征，利用提取的成对特征、拼接特征、绝对差值特征构建特征池。

进一步地，根据输入特征的贡献程度进行特征选择，获得高质量的变化特征具体为：将这三种不同类型的特征视为专家特征，并随机初始化一个可更新的权重矩阵，对特征池里的特征进行特征选择，依据其重要性进行权重求和，得到高质量的变化特征。

其中，高质量的变化特征为：

其中，E

进一步地，变化掩码为：

其中，M

这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。

存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。

实施例4

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。

该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。

这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。

计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。