一种基于小波启发和高频增强的图像全色锐化方法

技术领域

本发明涉及图像处理技术领域，具体来说是一种基于小波启发和高频增强的图像全色锐化方法。

背景技术

在当前的遥感系统中，由于卫星传感器的限制，单个传感器很难获得高分辨率的多光谱图像。因此，卫星通常携带两种传感器以分别获得全色(panchromatic，PAN)和多光谱(multispectral，MS)图像。多光谱图像包含着丰富的光谱信息，但分辨率比较低，全色图像有着精细的图像纹理信息，但却只有单个通道的光谱信息。为了获得高分辨率的多光谱图像，通常的方法是将MS图像和PAN图像进行融合，这种方法也被称为全色锐化。

由于这一方法是很多下游任务，如遥感图像分割、目标检测等任务的基础，这一方法受到了很多的关注，目前使用的方法主要可以分为两类：基于人工设计特征的传统方法和基于深度学习的方法。传统方法包含成分替换、多分辨率分析、变分优化等方法。由于人工设计的特征无法充分利用图像信息，因此目前基于深度学习的方法占据主流。但这些方法的输出也存在着伪影、颜色失真等问题，原因在于这些方法在单一尺度特征上进行融合，对于尺寸变化较大的遥感地物来说无法充分提取到特征，同时，这些方法侧重于在空间域处理信息，忽略了频率域隐含的信息。

发明内容

本发明的目的是为了解决现有技术中融合图像易产生伪影、颜色失真、泛化性差的缺陷，提供一种基于小波启发和高频增强的图像全色锐化方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于小波启发和高频增强的图像全色锐化方法，包括以下步骤：

11)全色图像和多光谱图像的获取和预处理：获取多光谱图像和相对应的全色图像，并按照设定的大小进行裁剪，形成训练集；

12)构建全色锐化模型：基于图像小波启发和高频信息增强的多域信息引导网络构建全色锐化模型；

13)全色锐化模型的训练：将训练集输入全色锐化模型进行训练；

14)待处理的图像获取：获取待处理的多光谱图像和相对应的全色图像并进行预处理；

15)图像全色锐化结果的生成：将预处理后的待处理多光谱图像和相对应的全色图像输入训练后的全色锐化模型，生成图像全色锐化结果。

所述构建全色锐化模型包括以下步骤：

21)设定全色锐化模型包含两个子网络，其为空间信息引导子网络和光谱信息处理子网络；

22)设定空间信息引导子网络，空间信息引导子网络包括卷积信息提取模块，

卷积信息提取模块使用kernel＝3的设置，对输入的原始图像进行卷积操作，提取深层特征，逐步提取全色图像特征信息，生成全色引导特征来引导光谱信息处理子网络；

23)设定光谱信息处理子网络，其包括上采样模块、小波启发融合模块、高频信息增强模块和光谱信息精炼模块，

上采样模块将多光谱图像使用双三次插值进行上采样，将输入的多光谱图像进行插值操作，将其尺寸变为与全色图像一致，并将上采样后的图像传入后续的小波启发融合模块；

在小波启发融合模块中，将全色图像和多光谱图像特征拼接后进行小波变换，生成对应的四个频率分量，将其划分为低频和高频两部分进行融合，融合后进行小波反变换，得到小波融合特征；

高频信息增强模块接收小波融合特征和全色引导特征并进行小波变换，对高频部分进行包含空间注意力的频率增强，然后经过小波反变换，得到最终的高频增强特征；

光谱信息精炼模块利用通道注意力对最终的高频增强特征和全色引导特征进行融合，得到光谱精炼特征；

24)设定小波启发融合模块，

对全色图像和多光谱图像的全局特征进行小波频域分解，对高频与低频部分进行预测与更新，利用小波反变换得到小波融合特征，具体的过程如下：

F

F

F

其中，Cat为拼接操作，DWT为小波变换；Fms、Fpan分别对应着多光谱图像和全色图像的特征图，F

P和U分别是预测与更新操作，均由卷积信息提取模块组成，F

25)设定高频信息增强模块，

对输入的两种深层融合特征Fms和Fpan，分别进行小波频域分解，将得到的四种频率特征进行拼接，对高频部分进行增强FFU操作；

之后将不同频率特征分别送入特征提取单元，再利用小波反变换得到高频增强输出特征，具体的过程如下：

M

P

其中，DWT为小波变换，IDWT为小波反变换，Conv

P

将M

M

对

其中，SA表示空间注意力运算，M

26)设定光谱信息精炼模块，

多光谱图像特征M和全色图像特征P输入到模块中，并进行拼接。将拼接特征通过卷积层得到融合的特征图，之后使用全局平均池化和1x1卷积对通道进行压缩和扩展，推导出通道权重Wc；将权重Wc与特征映射相乘，最后通过1x1卷积进行通道变换，从而得到有效保留光谱信息的光谱精炼特征。

所述全色锐化模型的训练包括以下步骤：

31)设定建立重建损失函数

建立小波损失函数

设定整体损失函数:

其中，Y和G对应着网络输出和真实图像,Y

32)将预处理后的多光谱图像和相对应的全色图像输入全色锐化模型；

33)基于训练数据对全色锐化模型进行迭代训练，并利用梯度下降法优化所述总损失函数L，直到达到设定的总迭代次数为止，从而得到训练后的全色锐化模型；

利用特征提取单元对输入图像进行初步特征提取，并将其送入小波启发融合模块和高频信息增强模块；

小波启发融合模块中，在小波域进行特征的预测与更新，得到小波融合特征；

高频信息增强模块接收小波启发融合模块的输出和全色引导特征，在小波域对高频部分进行包含空间注意力的频率增强，得到高频增强特征；

将高频增强特征和全色引导特征送入光谱信息精炼模块，利用通道注意力运算得到光谱精炼特征；

将光谱精炼特征与输入的多光谱图像相加，就能得到全色锐化模型的输出图像。

有益效果

本发明的一种基于小波启发和高频增强的图像全色锐化方法，与现有技术相比提升了融合图像的精度和色彩表现，在多种参考指标上都优于现有的方法。

本发明针对超分辨率任务中，使用频域信息能够提高模型表现的特点，将小波频域信息引入全色锐化方法中，通过小波变换和CNN网络，提高了模型的表现。本发明产生的图像质量更高、测试指标表现更好。

附图说明

图1为本发明的方法顺序图；

图2为本发明实施例提供的小波信息融合引导网络的网络结构示意图；

图3为本发明实施例提供的小波信息融合引导网络中小波启发融合模块、光谱信息精炼模块、高频信息增强模块的结构示意图；

图4为本发明实施例提供的不同方法下的图像融合可视化结果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于小波启发和高频增强的图像全色锐化方法，包括以下步骤：

第一步，全色图像和多光谱图像的获取和预处理：获取多光谱图像和相对应的全色图像，并按照设定的大小进行裁剪，形成训练集。获取对应的全色图像和多光谱图像，进行对应区域裁剪。在实验室环节，裁剪后图像为PAN、HRMS，将HRMS下采样4倍，作为LRMS，将LRMS、PAN作为模型输入，HRMS作为真实值；选取其中80％的图像作为训练，其中图像作为模拟测试图片进行测试。此外，额外选择一部分裁剪后的图像，不对其进行降采样，作为真实测试图片。

第二步，构建全色锐化模型：基于图像小波启发和高频信息增强的多域信息引导网络构建全色锐化模型。

在此，引入频域信息可以更好的让模型学习到高频特征、拥有长程建模的能力。针对小波频域分解设计网络可以更加专注于图像高频信息的学习，弥补了卷积神经网络易受低频冗余信息影响的缺点。利用频域分解构造小波信息融合引导网络，可以产生质量更高的全色锐化结果。

如图2和图3所示，构建全色锐化模型包括以下步骤：

(1)设定全色锐化模型包含两个子网络，其为空间信息引导子网络和光谱信息处理子网络。

(2)设定空间信息引导子网络，空间信息引导子网络包括卷积信息提取模块，

卷积信息提取模块使用kernel＝3的设置，对输入的原始图像进行卷积操作，提取深层特征，逐步提取全色图像特征信息，生成全色引导特征来引导光谱信息处理子网络。

(3)设定光谱信息处理子网络，其包括上采样模块、小波启发融合模块、高频信息增强模块和光谱信息精炼模块，

上采样模块将多光谱图像使用双三次插值进行上采样，将输入的多光谱图像进行插值操作，将其尺寸变为与全色图像一致，并将上采样后的图像传入后续的小波启发融合模块；

在小波启发融合模块中，将全色图像和多光谱图像特征拼接后进行小波变换，生成对应的四个频率分量，将其划分为低频和高频两部分进行融合，融合后进行小波反变换，得到小波融合特征；

高频信息增强模块接收小波融合特征和全色引导特征并进行小波变换，对高频部分进行包含空间注意力的频率增强，然后经过小波反变换，得到最终的高频增强融合特征；

光谱信息精炼模块利用通道注意力对最终的高频增强融合特征和全色引导特征进行融合，得到光谱精炼特征。

(4)设定小波启发融合模块，在此设计了以特征提取单元为基础的针对小波域分量的预测与更新操作，有效保存了图像中的高频信息。

对全色图像和多光谱图像的全局特征进行小波频域分解，对高频与低频部分进行预测与更新，利用小波反变换得到小波融合特征，具体的过程如下：

F

F

F

其中，Cat为拼接操作，DWT为小波变换；Fms、Fpan分别对应着多光谱图像和全色图像的特征图，F

P和U分别是预测与更新操作，均由卷积信息提取模块组成，F

(5)设定高频信息增强模块，通过小波变换和模块结构设计有效的区分了图像信息的高频与低频分量，同时利用新的频率融合单元对高频部分进行增强，保证了输出图像的细节纹理特征。

对输入的两种深层融合特征Fms和Fpan，分别进行小波频域分解，将得到的四种频率特征进行拼接，对高频部分进行增强FFU操作；

之后将不同频率特征分别送入特征提取单元，再利用小波反变换得到高频增强输出特征，具体的过程如下：

M

P

其中，DWT为小波变换，IDWT为小波反变换，Conv

P

将M

M

对

其中，SA表示空间注意力运算，M

(6)设定高频信息增强模块，

多光谱图像特征M和全色图像特征P输入到模块中，并进行拼接。将拼接特征通过卷积层得到融合的特征图，之后使用全局平均池化和1x1卷积对通道进行压缩和扩展，推导出通道权重Wc；将权重Wc与特征映射相乘，最后通过1x1卷积进行通道变换，从而得保留了光谱信息的光谱精炼特征。

第三步，全色锐化模型的训练：将训练集输入全色锐化模型进行训练。

(1)设定建立重建损失函数

建立小波损失函数

设定整体损失函数:

其中，Y和G对应着网络输出和真实图像,Y

(2)将预处理后的多光谱图像和相对应的全色图像输入全色锐化模型。

(3)基于训练数据对全色锐化模型进行迭代训练，并利用梯度下降法优化所述总损失函数L，直到达到设定的总迭代次数为止，从而得到训练后的全色锐化模型；

利用特征提取单元对输入图像进行初步特征提取，并将其送入小波启发融合模块和高频信息增强模块；

小波启发融合模块中，在小波域进行特征的预测与更新，得到小波融合特征；

高频信息增强模块接收小波启发融合模块的输出和全色引导特征，在小波域对高频部分进行包含空间注意力的频率增强，得到高频增强融合特征；

将高频增强融合特征和全色引导特征送入光谱信息精炼模块，利用通道注意力运算得到光谱精炼特征；

将光谱精炼特征与输入的多光谱图像相加，就能得到全色锐化模型的输出图像。

第四步，待处理的图像获取：获取待处理的多光谱图像和相对应的全色图像并进行预处理。

第五步，图像全色锐化结果的生成：将预处理后的待处理多光谱图像和相对应的全色图像输入训练后的全色锐化模型，生成图像全色锐化结果。

在实际应用中，以原始多光谱MS图像为参照，通过评价指标评估所述第四步得到的融合图像的质量；对于真实融合图像，将融合图像与原始MS或全色PAN图像进行对照，计算相应的评价指标，评估融合图像质量。在仿真实验中，我们使用World-ViewⅡ，World-ViewⅢ，Gaofen-2数据集对模型进行评估。表1表现了该模型的评估指标。使用的评估指标介绍如下:

峰值信噪比PSNR(Peak signal-to-noise ratio):是测量融合图像和参考图像均方误差的对数值，其值＞0，越高说明融合图像与参考图像越接近。

结构相似性SSIM(Structural Similarity)：能够全局地从亮度(luminance)、对比度(contrast)和结构(structure)三个方向评估两幅图像间的相似度，其值位于0～1之间，值越接近1，两幅图像的相似度越高。

光谱角映射SAM(Spectral Angle Mapper)：测量融合图像与相应参考图像间的光谱相似性，其值为大于等于0的正数，值越小表明两幅图像间的光谱相似度越高。

相对全局综合误差ERGAS(Erreur Relative Globale Adimensionnellede Synthèse)：测定融合图像的全局光谱质量，其值为大于等于0的正数，值越小表明两幅图像间的光谱差异越小。

采用上述四个指标对网络获得的融合结果的质量进行评价，并于现有的多种先进的全色锐化算法进行比较，表1展现了在World-ViewⅡ，World-ViewⅢ，Gaofen-2的比较结果，其中最优的结果以黑体加粗标出。

表1：基于WorldView-Ⅱ、Gaofen-Ⅱ和WorldView-Ⅲ数据集的定量结果

如图4所示，其为Gaofen-2卫星图像融合可视化结果图，最后一行的图像显示了全色结果和真值图像之间的均方误差残差。从图4中可以看出，本发明产生的结果在保留精细纹理细节的同时呈现了最准确的光谱表示。在残差图中，本发明产生的结果显示出最低亮度，表明其与真值图像更为接近，验证了本发明的有效性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。