一种图像融合的算法

技术领域

本发明涉及图像融合技术领域，尤其涉及一种图像融合的算法。

背景技术

合成孔径雷达是一种高分辨率的微波成像雷达，可以在较差的气象条件下得到和光学影像类似的SAR图像且SAR传感器具有清晰度高，能全天候工作，穿透力强能够识别更多的空间细节信息的特点。但其获得的高空间分辨率SAR图像中的信息，主要是目标物体的后向散射形成的，而后向散射容易受传感器的波长、影像采用的极化方式和反射角大小的影响，致使同一个目标物体存在不同的表现形式,不方便SAR图像的正确解译；多光谱影像能够表现地物目标的真实信息，与SAR图像相比增加了目标物体的信息量且有更高的可视性，但是由于多光谱卫星传感器的成像受天气和光线影响较容易造成MS图像中的部分空间细节信息丢失。鉴于SAR和MS图像的不同特性且所含信息具有很高的互补性。故两者的融合，既可以保持MS图片光谱信息，还能够将SAR图像的空间细节信息注入到融合结果中,其融合结果可以更好的应用在军事、灾害评估、目标识别等相关领域。

针对图像的融合研究和利用，国内外很多学者做了大量的工作。将传统的融合方法大致归纳为以下3类：1)成分替换(Component Substitution，CS)法，用高空间分辨率的SAR图像中的空间细节信息去替换多光谱图像的空间细节信息，然后进行逆变换以获得融合结果。常见的成分替换法有主，IHS(Intensity-Hue-Saturation)变换，成分分析(PCA)和高通滤波法等；这种方式很容易实现且计算效率较高，但由于没有考虑到SAR图像和MS图像成像波段范围的巨大差异，因此融合图像中存在光谱畸变的现象。2)多分辨率分析(Multi-ResolutionAnalysis，MRA)法利用小波(Wavelet)变换、拉普拉斯金字塔等多分辨率分析方法，先获取SAR图像中的空间细节信息，然后利用多分辨率表示系数的加权融合与重构，获得最终结果。常用方法有小波变换、非下采样轮廓波变换(NSCT)和采用Shearlet变换的方法。例如：邰建豪等使用Shearlet变换的方法来进行SAR和MS图像的融合，融合后的图像空间细节信息和光谱信息的保有量方面都有明显的提升，但是存在边缘失真的情况；易维等利用NSCT方法融合出具有光谱信息且又具有SAR图像空间细节信息的高分辨率图像，明显的提升了融合结果。相对于CS方法，MAR法的计算复杂度更高，可以减少SAR图像中存在的噪声，降低了光谱畸变，但图像配准的精确度会影响融合图像的效果，造成边缘失真和图像混叠。3)融合法，是为了充分发挥不同融合方法的优点，在降低空间和光谱失真时，也可以降低算法的复杂度。例如，Alparone等提出了IHS和多分辨率融合的SAR和MS图像融合方式，综合利用了IHS图像融合方式在保留空间细节信息方面较好的优势和多分辨率分析法可以很好的保存图像的光谱信息的优点；该种融合方式能够获得较好的空间细节信息和光谱信息，但其中的CS方法只可以使用能实现空间变换的融合方法(如PCA和IHS)。和传统方式比较，卷积神经网络(Convolutional Neural Networks,CNN)以其优秀的特征提取和特征表示能力，已经被应用到图像融合的各个研究领域，并取得了惊人的性能，这也促使研究者探讨将CNN应用在SAR和多光谱图像的融合的领域。首先，Masi等基于超分辨率卷积神经网络(SRCNN)，给出了一种基于CNN的泛锐化(Pan-sharpening)融合算法，融合结果明显高于传统算法；Zhong等提出了一种基于CNN的泛锐化方法，利用CNN来增强多光谱图像中的空间细节信息，然后格拉姆-施密特(Gram-Schmidt，GS)变换将增强后的图像进行融合；Yang等为了保持图像光谱和提升图像空间信息提出了双分支网络的融合架构，融合结果在主观视觉上和客观图像质量评价指标方面都有了显著的提升；Yuan等将多尺度特征提取和残差学习引入到基本卷积神经网络(CNN)体系结构,充分利用了深度神经网络非线性关系的强大表征能力，使融合结果进一步提升；Li等在红外与可见光图像融合中，提出基于嵌套连接的网络可以从多尺度的角度保存输入数据中的大量特征信息，但它没有使用更细粒度的网络结构，来获取图像中不同尺度的特征。基于以上研究，本发明引入“编码器-特征融合层-解码器”的空间细节信息融合方案，提出双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net，DMRN-Net)，在更细粒度上增加网络的尺度，用以提高SAR和多光谱图像的融合效果,并与其他算法进行对比分析。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种图像融合的算法。

本发明是通过以下技术方案实现的：

一种图像融合的算法，通过双分支的多尺度残差融合嵌套连接网络架构来实现SAR图像和MS图像的融合；所述的双分支的多尺度残差融合嵌套连接网络架构包括有细节提升分路网络架构和光谱保持分路网络架构，具体步骤如下：

(1)获取SAR图像和MS图像中的高频信息；

(2)在细节提升分路网络架构中，将获取的高频信息分别依次经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器进行图像重建，得到重建图像；

(3)在光谱保持分路网络架构中，把MS图像进行三倍上采样；把上采样后的MS图像与步骤(2)获取的重建图像进行融合，使MS光谱信息和重建图像的细节信息都注入到融合图像中，得到最终的图像融合结果。

步骤(1)的具体内容如下：将SAR图像和MS图像经过高通滤波器获取图像的高频信息，并且把MS图像的高频信息经过三倍上采样到SAR图像同一分辨率，分别通过1×1，(1,60)和1×1，(3,60)卷积块，将其输出通道值增加到60。

步骤(2)中，在所述的多深度特征提取层的不同深度分别将图像特征信息进行输出，获得不同深度的特征信息在多尺度残差融合网络层中进行特征融合，利用基于嵌套连接的解码器进行图像的重构。

所述的多尺度残差融合网络层是将n个通道的特征提取器替换为s组较小的特征提取器，每组特征提取器使用k个通道，n＝s×k，把较小的特征提取器以一个类似残差的形式分层连接起来，用来增加输出特征可以表示的尺度的范围；把输入特征信息划分成s组，首先，每组特征提取器从输入特征信息中提取特征，其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取器，这个步骤反复多次，直至所有的输入特征信息都得到处理；最后，来自每一组的特征被连接起来，并发送到另一组卷积层来进行特征信息融合；

所述的多尺度残差融合网络层工作原理如式(1)所示：设x

所述的嵌套连接解码器有两个卷积层，每个都是卷积核为3×3的卷积层；在每一行中，卷积块之间通过短连接进行连接；针对所述的多尺度残差融合网络层中不同层级的输出，嵌套连接解码器通过上采样的方式将特征信息采样到同一尺度，充分融合其多尺度的图像特征。

所述的光谱保持分路网络架构实现原理如下：

其中F为融合图像，F

所述的双分支的多尺度残差融合嵌套连接网络架构使用的损失函数L

L

其中，λ是在光谱损失函数L

光谱损失函数L

其中，N是每一批训练图像对的数量，GT

细节损失函数L

其中

本发明的优点是：1)在整体网络架构方面，本发明使用双分支网络将网络划分为细节提升分路和空间信息保持分路，不仅在融合图像中保持了MS图像的光谱信息，而且显著增强了融合图像中的空间细节信息；

2)在残差模块方面，本发明利用多尺度残差融合模块可以在更细粒度的层次上提高网络的多尺度表示能力，增加每个网络层的感受野，增加算法的特征提取能力；

3)在解码器方面，本发明采用嵌套连接的方式将提取的多尺度特征先进行上采样，然后采用跳过连接的方式将不同尺度的特征充分融合，使得融合结果的空间细节表达能力更强；

4)本发明算法在主观判断和客观评价上取得了较好的融合结果，其中客观评价指标中的相关系数为0.9936，峰值信噪比为32.0170，和其他算法相比能够在保持光谱信息的基础上，在更细粒度上增加网络的尺度，用以提高SAR和多光谱图像的融合效果，使融合结果中细节信息更丰富，进一步增加图像的空间细节信息,验证了本发明算法在图像融合领域具有重要的参考价值。

附图说明

图1为本发明算法的总体架构图；

图2为细节提升分支的网络架构图；

图3为比较RFN和提出的MRFN模块(尺度s＝4)图(3a为RFN模块图；3b为MRFN模块图)；

图4为解码器架构图；

图5为第一组实验数据图(5a为参照MS图像；5b为MS图像；5c为SAR图像)；

图6为第二组实验数据(6a为参照MS图像；6b为MS图像；6c为SAR图像)；

图7为训练阶段损失函数曲线图(7a为总损失函数曲线图；7b为光谱损失函数曲线图；7c为细节损失函数曲线图)；

图8为验证阶段损失函数曲线图(8a为总损失函数曲线图；8b为光谱损失函数曲线图；8c为细节损失函数曲线图)；

图9为第一组数据融合结果(9a为IHS数据融合结果；9b为NSCT数据融合结果；9c为Wavelet数据融合结果；9d为TCNN数据融合结果；9e为DRN-Net数据融合结果；9f为本发明数据融合结果)；

图10为第二组数据融合结果(10a为IHS数据融合结果；10b为NSCT数据融合结果；10c为Wavelet数据融合结果；10d为TCNN数据融合结果；10e为DRN-Net数据融合结果；10f为本发明数据融合结果)。

具体实施方式

在合成孔径雷达(Synthetic Aperture Radar，SAR)和多光谱(Multispectral，MS)图像融合领域，基于深度学习的融合方式明显的提升了融合效果，但现有的融合方案主要是通过增加卷积层数量的方式来描述网络模型的尺度，并没有在卷积层的层与层之间增加网络的尺度,来提高算法的提取不同尺度空间细节特征的能力，使融合结果中细节信息更丰富。为解决这一问题，本发明设计了双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net，DMRN-Net)来实现SAR和MS图像的融合。在DMRN-Net中，将融合任务划分为图像的光谱保持和细节提升：在光谱保持分路中，首先把上采样后的MS图像和细节提升分路的获取结果进行融合，把MS图像中的光谱信息注入到融合图像中；在细节提升分路中，首先将SAR和MS图像中的高频信息，随后再将高频信息分别经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器得到重建图像，最后将重建后的细节信息注入到上采样的MS图像中，从而得出融合结果。通过本发明的DMRN-Net算法和传统算法以及普通双分支网络的对比实验表明，本发明算法在主观判断和客观评价上取得了较好的融合结果，其中客观评价指标中的相关系数为0.9936，峰值信噪比为32.0170，和其他算法相比能够在保持光谱信息的基础上，进一步增加图像的空间细节信息,验证了本发明算法在图像融合领域具有重要的参考价值。具体如下：

1、网络架构

SAR和多光谱图像的成像原理和所含波段有极大差别，图像信息间的相关性不强，且可能会出现局部负相关，通常的成分替代法，所得到的融合图像容易出现颜色失真。本发明在PanNet和双分支卷积神经网络架构的基础上，结合多深度编码器、多尺度残差融合网络和嵌套连接解码器，提出了基于双分支多尺度残差融合嵌套连接的SAR和MS图像融合的网络架构，把SAR和多光谱图像的融合过程分为空间细节提升和光谱保持两个方面，如图1所示。

1.1细节提升分路网络架构

参考Li等残差融合嵌套连接网络结构，在细节提升分路中使用多尺度残差融合嵌套连接网络架构，其网络架构如图2所示。该网络结构包含三个部分：多深度特征提取模块(左边)，多尺度残差融合网络(MRFN)和嵌套连接解码器(Decoder)。卷积层“n×n，(x,y)”表示卷积核大小为n×n，输入通道值是x，输出通道值是y。

首先SAR和MS图像经过高通滤波器获取图像的高频信息，且把MS的高频信息经过三倍上采样到SAR图像同一分辨率，分别通过“1×1，(1,60)”，“1×1，(3,60)”卷积块，将其输出通道值增加到60。其次利用多深度特征提取模块，在模块的不同深度分别将图像特征信息进行输出，将获得不同深度的特征信息在多尺度残差融合模块中进行特征融合。使用多深度特征提取模块，可以兼顾图像的浅层特征和深层特征，这种特征提取方式可以充分使用图像的不同深度的特征，更有利于重构融合后图像。最后，利用基于嵌套连接的解码器网络进行图像的重构，可以充分利用图像的多深度特征。

如图2所示：S

1.2多尺度残差融合网络(MRFN)

多尺度特征表征在图像处理领域具有重要意义，可以使视觉系统感知到来自不同尺度的信息，有利于理解部件和任务对象。因此，在深度学习中,多尺度特征得到了广泛的应用，但是目前的方法仍主要以分层作为表示多尺度特征的方式。MRFN算法是基于残差块的概念，再结合的多尺度残差块结构Res2Net所提出的一种更加简洁而高效的多尺度处理方法，和以往的用CNN卷积层的数量来增强网络多尺度的表示能力的方式不同，它从更低的量级上提高了多尺度表示能力。和那些使用不同分辨率的特征增强多尺度能力的并行工作不同，Res2Net的多尺度能力是指在卷积网路的层与层之间增加多个可用接收域。为达到这个目标，将n个通道的特征提取器(图3a中Conv4)替换为(图3b中x1-x4和y1-y4之间的部分)s组较小的提取器，每组特征提取器使用k个通道(n＝s×k)，把较小的特征提取器以一个类似残差的形式分层连接起来，用来增加输出特征可以表示的尺度的范围。与普通RFN模块相反，MRFN把输入特征信息划分成s组，首先，每组特征提取器从输入特征信息中提取特征，其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取器，这个步骤反复多次，直至所有的输入特征信息都得到处理。最后，来自每一组的特征被连接起来，并发送到另一组卷积层来进行特征信息融合。随着输入特征信息转化为输出特征信息的任何可能路径，因多个特征提取器存在的组合效应，故MRFN会增加许多等效特征尺度。如图3所示，

其工作原理如式(1)所示：假设x

1.3嵌套连接解码器网络

基于嵌套连接架构的解码器网络如图4所示。与UNet++相比，在图像融合任务上，简化了网络结构，使得提取的图像特征，重构更加简单有效。

1.4光谱提升分支

首先把MS图像进行三倍上采样，其次把上采样的MS图像叠和从细节提升分路重建的图像进行叠加，使其中MS的光谱信息和重建图像的细节信息都注入到融合图像F中，得到最终的融合结果。实现原理如下：

1.5损失函数

本网络架构使用的损失函数L

L

其中，λ是在光谱损失函数L

光谱损失函数L

其中，N是每一批训练图像对的数量，GT

由于SAR图像中的空间分辨率比MS图像更高，为提升融合后图像的的空间分辨率，增加细节信息，实现SAR图像对融合结果的约束，设计了细节损失函数L

其中

2实验与结果分析

2.1实验区域与研究数据

选取两组地物类型丰富且各具特点的研究区域(图5，图6)作为实验数据来验证算法的有效性。第一组为南通市通州湾，包含海水，建筑，耕地，道路等多种地物，主要可以观测算法在空间细节方面的提升是否明显；第二组为常熟市虞山国家森林公园以及尚湖附近，包含山地，森林，湖水，桥梁，居民点等地物，地物较为复杂，可以来观测多地物影像的融合是否会影响算法的精度。研究数据包括从Copernicus Open Access Hub下载的Sentinel-1B的IW模式，GRD级别的SAR数据和从地理空间数据云下载的Landsat8_OLI_TIRS多光谱数据。实验使用SNAP对SAR影像做轨道矫正，辐射定标，相干斑滤波以及地形校正，再使用ENVI对多光谱影像做辐射定标和大气校正，然后再对预处理之后的SAR和MS图像进行图像配准，配准误差在0.5个像素点内。此外，因为缺乏SAR和MS图像融合后的理想标准，为使实验的结果在光谱信息和细节信息方面有一个参照依据，将Sentinel-2A数据(分辨率为10m)作为参照图像。卫星数据参数如表1所示。

表1卫星数据参数

2.2实验设置

本发明的实验环境为Window10，64位操作系统，2.5GHz处理器,NVIDIA GeForceGTX 1650Ti显卡，在Python3.6的环境下用TensorFlow搭建本发明的网络架构。每批次训练数为100，总共迭代次数为25000，使用Adam为优化器,学习率设为0.0001，动量衰减系数设为0.99。从预处理好的图像中，裁出10000组90×90和30×30像素的SAR和MS图像对，按照8:2的比例，将8000组图像对作为网络的训练数据集，2000组图像对作为网络的验证数据集；裁取出2组大小为900×900和300×300像素的SAR和MS图像对作为测试集。网络训练之初，首先按照Wald

2.3参数λ实验

式(5)中L

为了评价图像融合效果，又引入以下图像融合的评价指标，相关系数CC、均方根误差RMSE、空间相关系数SCC

当λ＝0.5时CC、RMSE、MI

表2不同λ值实验结果的评价指标

2.4不同融合方法的比较

为验证本发明算法在SAR和MS图像的融合过程中在光谱保持与细节提升方面的显著优势，本发明算法与传统算法IHS、Wavelet、NSCT、深度学习算法、双分支卷积神经网络(TCNN)以及DRN-Net进行了比较，对比实验的实验参数完全按照原论文中的参数进行设置。

2.4.1主观评价

通过融合结果与双线性三倍上采样的原图像MS相比(图9)可知，所测试的六种方法在空间细节信息方面都有增强，但不同方法的提升幅度略有不同。从第一组数据可以看出：IHS算法(图9a)和NSCT算法(图9b)中的空间细节特征显著增强，但融合结果中的细节信息加入过量，导致融合结果存在颜色失真现象，尤其是图中水面部分颜色失真较为严重。Wavelet、TCNN、使用DRN-Net网络以及本发明算法在光谱保持方面表现都较为优异，但从融合图像的效果来看，四种算法的细节提升幅度仍有不同。Wavelet融合算法(图9c)有一定的空间细节信息提升，但融合结果纹理锯齿状明显且边缘部分特征失真，影响后期目标结构和边缘的提取；由于卷积神经网络的强大计算能力，TCNN算法(图9d)的融合结果相比于传统方法没有边缘失真的情况，图像细节纹理较Wavelet略有提升，但建筑区域细节模糊，融合不自然；DRN-Net(图9e)是在双分支卷积神经网络的基础上加入了残差融合网络(RFN)，其融合结果相比于本发明算法在空间细节加入方面略多，导致地物边缘的融合结果仍不理想；基于双分支架构的多尺度残差融合的卷积神经网络(DMRN-Net)的算法(图9f)充分的提取了SAR和MS图像不同深度的图像特征，并使用了多尺度残差融合网络，在更细的粒度上扩展了网络的深度，且设计了更加合适的光谱和细节结合的损失函数用来监督网络的训练，利用嵌套连接的方式将获取的不同深度的SAR图像的空间信息加入到融合结果中，融合结果不仅没因加入过多的SAR图像的空间细节信息而导致光谱失真，也没出现边缘失真和纹理模糊的现象，融合结果同时增强了图像的空间细节信息和目标的显著特征。第二组实验数据的融合结果(图10)与上述评论基本一致。

2.4.2客观评价

除CC、RMSE等图像的光谱评价指标外，进一步选取峰值信噪比(PSNR)、结构相似性(SSIM)用于评价融合结果的空间细节质量、相对无量纲全局误差(ERGAS)和算法测试时间来对不同算法的融合结果进行比较(表3、表4)。从光谱评价指标CC和RMSE可以看出，IHS和NSCT算法表现较差，表示这两种算法在SAR和MS图像的融合过程中会造成融合结果颜色失真；Wavelet算法在融合图像中加入了过多SAR图像的空间细节信息，导致目标物体边缘失真；TCNN算法和DRN-Net算法都有较好的光谱保持能力，但仍有进步的空间。从加入的空间细节信息质量评价指标PSNR和SSIM中可以得出，IHS和NSCT算法在PSNR指标中表现较差，表示在这两种算法的融合结果中存在较为显著的图像失真；Wavelet算法的PSNR指标中进一步的提升，然而其融合结果易受小波变换方向约束的影响，目标地物边缘出现明显的锯齿状；TCNN和DRN-Net在PSNR和SSIM中表现较好，明显增强了融合结果中的细节信息。由图像细节和光谱均衡的评价指标ERGAS可以看出，IHS和NSCT算法表现较差，是因为两者在光谱保持和空间细节提升方面的评价指标都比较差，这与主观评价结果一致；Wavelet算法有了明显的提升，有效的改变了IHS和NSCT算法中出现的颜色失真现象；TCNN和DRN-Net算法充分的利用了卷积神经网路强大的计算能力，进一步提升了图像融合的整体效果；在算法效率方面对比方面，IHS算法的耗时最短。对比RFN算法和本发明算法除残差融合网络外，使用相同的网络结构和参数，通过对比可知，本发明提出的算法比使用RFN模块的算法在光谱保持和空间细节方面都有了进一步的提升，有效的提升了MS图像的空间细节信息，且与Wavelet算法相比提高了算法效率，适合海量遥感数据的融合处理。

表3第一组数据的评价结果

表4第二组数据的评价结果

3、结论

为改善传统SAR和MS图像融合算法中出现的颜色失真和空间细节模糊的现象，本发明以双分支网络为基础提出包含多尺度残差融合网络和嵌套连接解码器的SAR和MS图像融合的双分支卷积神经网络，得出以下结论：1)在整体网络架构方面，使用双分支网络将网络划分为细节提升分路和空间信息保持分路，不仅在融合图像中保持了MS图像的光谱信息，而且显著增强了融合图像中的空间细节信息；2)在残差模块方面，利用多尺度残差融合模块可以在更细粒度的层次上提高网络的多尺度表示能力，增加每个网络层的感受野，增加算法的特征提取能力；3)在解码器方面，采用嵌套连接的方式将提取的多尺度特征先进行上采样，然后采用跳过连接的方式将不同尺度的特征充分融合，使得融合结果的空间细节表达能力更强。但是本发明算法在设计的过程中，并没有关注到不同注意力机制对图像融合结果的影响，后期会做不同注意力机制对算法提升幅度的实验，进一步提升实验效果。