一种高光谱图像超分辨率重建方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种高光谱图像超分辨率重建方法、装置及电子设备。

背景技术

高光谱图像(HSI)有几十个甚至几百个波段，高光谱图像不仅有丰富的空间纹理信息，而且还具有丰富的光谱信息，这一特征使其广泛应用于农业、医学、军事和遥感等多个领域。但是受高光谱传感器和光学成像系统的硬件限制，与彩色图像相比，高光谱图像具有较低的空间分辨率，这严重限制了它的进一步应用和发展。因此，近年来，作为提升高光谱图像分辨率的主要技术之一的高光谱图像超分辨率受到广泛关注。

高光谱图像超分辨率是一种从低分辨率高光谱图像中获取高分辨率高光谱图像的技术，目前采用基于软件方法的超分辨率技术是提升高光谱图像空间分辨率的有效手段，其克服了硬件条件的限制。高光谱图像超分辨率技术大多数是从彩色图像超分辨技术演变而来，对于彩色图像超分辨率，近几十年来提出了许多研究，最近，彩色图像超分问题由于使用了卷积神经网络而取得了很大的进展。但与彩色图像不同的是，高光谱图像由数百或数千个光谱波段组成，高光谱图像的光谱特征提取困难，仅仅将卷积神经网络框架直接应用于高光谱图像超分，容易使得重构的高光谱图像出现光谱信息丢失的现象，导致超分辨率重建的光谱损失严重。

发明内容

因此，本发明要解决的技术问题在于克服现有直接使用卷积神经网络实现高光谱图像超分处理的方式导致重构的高光谱图像出现光谱信息丢失的缺陷，从而提供一种高光谱图像超分辨率重建方法、装置及电子设备。

根据第一方面，本发明实施例公开了一种高光谱图像超分辨率重建方法，包括：利用预先构建好的光谱保留网络对输入的高光谱图像特征进行特征提取得到光谱信息特征，其中所述光谱保留网络包括多个级联的光谱保留模块，每一个所述光谱保留模块集成第一残差块和通道注意力机制；利用预先构建好的彩色图像引导网络对输入的、与高光谱图像特征对应的彩色图像特征进行特征提取得到空间信息特征，其中所述彩色图像引导网络包括多个级联的彩色图像引导模块，每一个所述彩色图像引导模块集成第二残差块和空间注意力机制；将所述光谱信息特征和所述空间信息特征输入到预先构建好的空谱恢复网络进行特征融合以完成高光谱图像超分辨率重建，其中所述空谱恢复网络集成通道注意力机制和空间注意力机制。

可选地，所述利用预先构建好的光谱保留网络对输入的高光谱图像特征进行特征提取得到光谱信息特征之前，所述方法还包括：对获取到的高光谱图像进行上采样，使得所述高光谱图像的空间分辨率达到预设分辨率；利用3D卷积层从上采样后的高光谱图像提取浅层光谱特征，将所述浅层光谱特征作为所述高光谱图像特征输入到所述光谱保留网络。

可选地，所述利用预先构建好的彩色图像引导网络对输入的、与高光谱图像特征对应的彩色图像特征进行特征提取得到空间信息特征之前，所述方法还包括：确定是否存在与获取的高光谱图像处于同一场景下的高分辨率彩色图像；当存在，则将所述高分辨率彩色图像的图像特征作为与所述高光谱图像特征对应的彩色图像特征；当不存在，则从获取到的所述高光谱图像中截取红、绿、蓝三个波段所在通道的特征作为与所述高光谱图像特征对应的彩色图像特征。

可选地，所述方法还包括预先利用训练数据对重建网络进行训练，直至所述重建网络的总损失函数的损失值满足目标条件，得到用于高光谱图像超分辨率重建的重建网络，所述重建网络由所述光谱保留网络、所述彩色图像引导网络以及所述空谱恢复网络组成。

可选地，所述总损失函数如下式所示：

l

式中，l

根据第二方面，本发明实施例还公开了一种高光谱图像超分辨率重建装置，包括：光谱信息特征提取模块，用于利用预先构建好的光谱保留网络对输入的高光谱图像特征进行特征提取得到光谱信息特征，其中所述光谱保留网络包括多个级联的光谱保留模块，每一个所述光谱保留模块集成第一残差块和通道注意力机制；空间信息特征提取模块，用于利用预先构建好的彩色图像引导网络对输入的、与高光谱图像特征对应的彩色图像特征进行特征提取得到空间信息特征，其中所述彩色图像引导网络包括多个级联的彩色图像引导模块，每一个所述彩色图像引导模块集成第二残差块和空间注意力机制；特征融合模块，用于将所述光谱信息特征和所述空间信息特征输入到预先构建好的空谱恢复网络进行特征融合以完成高光谱图像超分辨率重建，其中所述空谱恢复网络集成通道注意力机制和空间注意力机制。

可选地，所述装置还包括：采样模块，用于对获取到的高光谱图像进行上采样，使得所述高光谱图像的空间分辨率达到预设分辨率；浅层光谱特征提取模块，用于利用3D卷积层从上采样后的高光谱图像提取浅层光谱特征，将所述浅层光谱特征作为所述高光谱图像特征输入到所述光谱保留网络。

可选地，所述装置还包括：第一确定模块，用于确定是否存在与获取的高光谱图像处于同一场景下的高分辨率彩色图像；第二确定模块，用于当存在，则将所述高分辨率彩色图像的图像特征作为与所述高光谱图像特征对应的彩色图像特征；第三确定模块，用于当不存在，则从获取到的所述高光谱图像中截取红、绿、蓝三个波段所在通道的特征作为与所述高光谱图像特征对应的彩色图像特征。

根据第三方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的高光谱图像超分辨率重建方法的步骤。

根据第四方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的高光谱图像超分辨率重建方法的步骤。

本发明技术方案，具有如下优点：

本发明提供的高光谱图像超分辨率重建方法/装置，利用预先构建好的光谱保留网络对输入的高光谱图像特征进行特征提取得到光谱信息特征，其中光谱保留网络包括多个级联的光谱保留模块，每一个光谱保留模块集成第一残差块和通道注意力机制，利用预先构建好的彩色图像引导网络对输入的、与高光谱图像特征对应的彩色图像特征进行特征提取得到空间信息特征，其中彩色图像引导网络包括多个级联的彩色图像引导模块，每一个彩色图像引导模块集成第二残差块和空间注意力机制，将获取到的光谱信息特征和空间信息特征输入到预先构建好的集成通道注意力机制和空间注意力机制的空谱恢复网络进行特征融合以完成高光谱图像超分辨率重建；相比于现有技术中仅仅直接利用卷积神经网络对高光谱图像的光谱特征进行提取来实现高光谱图像超分处理，本发明通过构建好的光谱保留网络提取光谱信息特征以及利用彩色图像引导网络提取与高光谱图像特征对应的彩色图像的空间信息特征，并将提取到的光谱信息特征和空间信息特征进行融合来完成高光谱图像超分辨率重建，提高了对高光谱图像超分辨重建效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中高光谱图像超分辨率重建方法的一个具体示例的流程图；

图2为本发明实施例中高光谱图像超分辨率重建方法的一个具体网络结构示意图；

图3为本发明实施例中高光谱图像超分辨率重建方法的一个具体网络结构示意图；

图4A－4B为本发明实施例中高光谱图像超分辨率重建方法的一个具体网络结构示意图；

图5为本发明实施例中高光谱图像超分辨率重建方法的一个具体网络结构示意图；

图6A－6B为本发明实施例中高光谱图像超分辨率重建方法的一个具体网络结构示意图；

图7为本发明实施例中高光谱图像超分辨率重建方法的一个具体网络结构示意图；

图8为本发明实施例中高光谱图像超分辨率重建装置的一个具体示例的原理框图；

图9为本发明实施例中电子设备的一个具体示例图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例公开了一种高光谱图像超分辨率重建方法，如图1所示，该方法包括如下步骤：

步骤101，利用预先构建好的光谱保留网络对输入的高光谱图像特征进行特征提取得到光谱信息特征，其中所述光谱保留网络包括多个级联的光谱保留模块，每一个所述光谱保留模块集成第一残差块和通道注意力机制。

示例性地，高光谱图像超分辨率重建过程中的一个难点即保留光谱信息不失真，因此本申请实施例使用光谱保留网络来提取光谱特征，以保留高光谱图像的光谱信息。如图2所示，在光谱保留网络中设计了一个面向高光谱图像超分辨率的光谱保留模块，命名为残差通道信息注意力(Residual Channel Information Attention，RCIA)，RCIA的结构如图3所示。在光谱保留网络中，级联多个RCIA组成一个非线性映射网络用来提取高光谱图像的深度光谱特征以得到一个表征能力很强的光谱特征，本申请实施例对级联的光谱保留模块的数量不作限定，本领域技术人员可以根据实际需要确定。这个过程可以表示为：

其中，Y

由于级联多个光谱保留模块可以构建比较深的网络，但是对于图像超分辨率任务来说，当网络比较深时，级联多个光谱保留模块搭建的网络训练起来比较困难，很难取得性能的提升。在本发明实施例记载的方案中，一方面既要级联多个RCIA增加网络的层数以确保提取有效的深度光谱特征，另一方面又要降低网络训练难度，因此本发明实施例在光谱保留网络里引进了跳跃连接，网络级联多个RCIA并引入跳跃连接，可以更好地提取深度光谱信息特征和传递光谱信息流，使得网络训练稳定，并获取良好的超分辨率性能。

将初期提取到的浅层光谱特征Y

其中，W

每一个RCIA的前半部分是由多个卷积层和RELU函数组成的第一残差块，后半部分是针对高光谱图像光谱信息保留而提出的通道信息注意力(Channel InformationAttention，CIA)，具体如图3所示。RCIA内部的残差块是为了使局部信息更好地传递，学习局部残差信息，而CIA是在原来通道注意力的基础上改进的，如图4A所示。

图4B所示，现有技术中的通道注意力首先对一个通道内的特征信息进行全局平均池化(Global Pooling，GP)，获取一个一维的特征向量；然后紧接着就是两层全连接层(Fully Connected，FC)，第一个全连接层的作用是通过特征压缩使得特征向量维数降低，第二个全连接层的作用是通过特征升维使得压缩后的特征重构回原来的维数；之后通过一个sigmoid激励函数激活各个通道，得到通道注意力向量，对重要通道的信息给予较大的权重，抑制非重要通道信息的权重。

现有通道注意力模型主要应用于目标识别或者目标检测等任务，而高光谱图像超分辨率重建任务需要精细到像素级别的特征，经过全连接层的降维和升维操作，会导致一些重要特征信息被抑制甚至丢失；此外，高光谱图像超分辨率重建需要保持原有的光谱信息不失真，现有通道注意力的通道级别的缩放会导致光谱信息失真。因此，现有通道注意力模型不能直接应用于高光谱图像超分辨率中，故在本申请实施例中提出了一种面向高光谱图像超分辨率的通道信息注意力模型CIA。在该CIA中删除了原来的通道注意力中的全连接层，这样避免了降维和升维操作可能带来的光谱失真问题，后续实验结果表明，删除全连接层后网络的性能获得了显著提升。

步骤102，利用预先构建好的彩色图像引导网络对输入的、与高光谱图像特征对应的彩色图像特征进行特征提取得到空间信息特征，其中所述彩色图像引导网络包括多个级联的彩色图像引导模块，每一个所述彩色图像引导模块集成第二残差块和空间注意力机制。

示例性地，在预先构建得到的彩色图像引导网络中设置多个级联的彩色图像引导模块用于提取彩色图像的空间信息特征，每一个彩色图像引导模块集成第二残差块和空间注意力机制，本申请实施例中将彩色图像引导模块命名为残差空间信息注意力(ResidualSpatial Information Attention，RSIA)。由于彩色图像相对于高光谱图像而言，其包含大量丰富的细节信息，但是这些信息往往需要非常深的网络才能提取得到，因此同样通过堆叠、级联多个RSIA来加深网络的深度，以更好地提取空间信息。如图2所示，在堆叠的过程中，第c个RSIA的输出表示为：

其中，

其中，W

本申请实施例中的RSIA分为两部分组成，前部分是第二残差块，后半部分是用于提取空间信息特征而设计的空间信息注意力(Spatial Information Attention，SIA)，具体参见图5。第二残差块的作用同上述光谱恢复网络中的第一残差块，在此不再赘述。

下面对本申请实施例提出的SIA进行介绍：

现有空间注意力结构如图6A所示，通过平均池化和最大池化的操作，将特征图生成描述空间信息的特征图，通过聚合特征图的空间信息来突出显著信息的区域，然后经过sigmoid函数激活特征，最后与之前的特征图相乘，不同空间区域乘上不同的权值，得到了空间注意力特征图，使得不同空间区域的信息得到不同程度的增强。

但现有空间注意力的平均池化和最大池化操作关注的是局部区域信息，将显著信息进行平均化和最大化集中到一个单一的特征图中，而将局部细节信息忽略，这种操作在其他任务比如目标检测或者目标识别可以起到作用，但是对于高光谱图像超分辨率任务却是无益的，因此需要对现有空间注意力结构进行改进。本申请实施例提出的SIA结构如图6B所示，将平均池化和最大池化替换成一个卷积层，生成一个三维的空间注意力特征图，得到了所有像素的注意权重，这种细化到各个通道像素的注意力权重有利于提取局部空间信息特征。

在预先对彩色图像引导网络的训练过程中，彩色图像引导模块引导网络学习高光谱图像的空间细节信息，通过网络的输出与输入的高分辨率彩色图像产生的空间损失来约束网络的参数学习，直至得到满足使用需求的彩色图像引导网络。

步骤103，将所述光谱信息特征和所述空间信息特征输入到预先构建好的空谱恢复网络进行特征融合以完成高光谱图像超分辨率重建，其中所述空谱恢复网络集成通道注意力机制和空间注意力机制。

示例性地，由于低分辨率高光谱图像(LR-HSI)Y和高分辨率彩色图像(colorimage)Z的空间结构差异较大，两者的特征分布不同，因此很难直接融合这两种异域图像来生成高分辨率高光谱图像，为了解决这个问题，本申请实施例提供了空谱恢复网络，利用这两种异质图像之间的互补信息，通过设计的目标函数训练空谱恢复网络来最小化这两种图像的特征差异，以生成空间质量更好的高光谱图像。

具体地，如图2所示，将光谱保留网络输出特征Y

F

为了将彩色图像特征的空间信息特征更好地合并到高光谱图像中，并确保光谱信息不失真，在提出的空谱恢复网络中设计了一个新的模块用于光谱信息特征和空间信息特征融合，本申请实施例将其命名为空间通道信息注意力(Spatial Channel InformationAttention，SCIA)。对F

SCIA的结构如图7所示，在光谱恢复网络提出的CIA是对光谱维度的信息直接池化，而忽略每一个光谱内的局部信息。而SIA对光谱维度没有进行处理，而是通过卷积产生不同程度的关注信息。在SCIA中，为了更好地融合光谱和空间这两个维度的信息，将CIA和SIA两个模块合成一个，同时兼顾了光谱维度和空间维度的信息获取。如图7中所示，设计SCIA共有三个支路，第一个支路负责将融合后的原信息传递，第二个支路经过全局最大池化操作以及sigmoid函数激活操作负责融合光谱信息特征，而第三个支路通过卷积操作以及sigmoid函数激活操作负责融合空间信息特征。通过这种方式不仅可以生成光谱维度的权重，还可以生成空间维度像素级别的注意力权重，涵盖了光谱信息和空间信息，最后引入跳跃连接并通过一层卷积层重建高光谱图像。

本发明实施例提供的高光谱图像超分辨率重建方法，相比于现有技术中仅仅直接利用卷积神经网络对高光谱图像的光谱特征进行提取来实现高光谱图像超分处理，本发明实施例通过构建好的光谱保留网络提取光谱信息特征以及利用彩色图像引导网络提取与高光谱图像特征对应的彩色图像的空间信息特征，并将提取到的光谱信息特征和空间信息特征进行融合来完成高光谱图像超分辨率重建，提高了对高光谱图像超分辨重建效果。

通过光谱保留网络提取光谱信息特征和彩色图像引导网络提取空间信息特征，并由空谱恢复网络融合光谱信息特征和空间信息特征。具体的，首先在光谱保留网络设计了一个用于提取光谱信息特征的残差通道信息注意力，为高光谱图像的重建保存光谱信息；其次，在彩色图像引导网络中设计了一个提取空间信息特征的残差空间信息注意力，通过提取彩色图像的空间信息特征实现与高光谱图像信息互补；最后，在空谱恢复网络中设计一个空间通道信息注意力用于光谱信息特征和空间信息特征融合，同时兼顾了光谱维度和空间维度的信息，以实现了更好的高光谱图像重建效果。本申请实施例在CAVE、Harvard和Pavia Center三个不同场景的数据集上进行了实验，能在保存光谱信息的前提下显著提升高光谱图像的细节信息，实验效果数据如下表1所示。

本发明实施例使用4个评价指标进行质量评价：(1)均方根误差(Root MeanSquare Error,RMSE)；(2)平均峰值信噪比(the Mean Peak Signal-to-Noise Ratio,MPSNR)；(3)平均结构相似性(the Mean Structure Similarity Index,MSSIM)；(4)光谱角制图(Spectral SngleMapper,SAM)。其中RMSE,MPSNR和MSSIM用来评价空间信息重建质量的，这里用各个波段指标的平均值来表示整个图像的质量指数，SAM是用来评价光谱信息重建质量。

RMSE用来计算重建的图像和原高分辨率高光谱图像之间的误差，它是由平均平方误差的平方根得到的，RMSE的值越小表明重建的图像越接近原高分辨率高光谱图像。

MPSNR是重建图像的最大值与均方误差的比值，当MPSNR值越大，表示超分辨率质量越高。

MSSIM是基于人类的视觉感知，对原高分辨率高光谱图像的结构一致性非常敏感，当MSSIM越大，重建图像越接近原高分辨率高光谱图像。

SAM用来评估每个像素的光谱信息保存，SAM越小意味着重建图像更接近于原高分辨率高光谱图像，SAM的最佳值是0。

表1的数据显示，在三个数据集上，本申请实施例的实验结果在评价空间恢复质量的指标MPSNR、RMSE和MSSIM要优于大部分现有的方法，而评价光谱信息保存的SAM也同样优于大部分现有方法，因此本申请实施例能在保存光谱信息的前提下显著提升高光谱图像的细节信息。

表1实验效果数据

作为本发明一个可选实施方式，步骤101之前，该方法还包括：对获取到的高光谱图像进行上采样，使得所述高光谱图像的空间分辨率达到预设分辨率；利用3D卷积层从上采样后的高光谱图像提取浅层光谱特征，将所述浅层光谱特征作为所述高光谱图像特征输入到所述光谱保留网络。

示例性地，在光谱保留网络进行光谱信息特征提取之前，先对Y进行上采样，使Y的空间分辨率达到预设分辨率，本申请实施例对该预设分辨率大小不作限定，具体可以是原高光谱图像的2倍、4倍或8倍。上采样处理方式可以是基于插值或者机器学习的方法，然后和卷积层结合来完成，一般在网络的开始或者在网络末端进行插值。本申请实施例中采用插值的方法完成高光谱图像的上采样操作，之后使用一个3D卷积层从上采样得到的Y

其中，

作为本发明一个可选实施方式，步骤102之前，该方法还包括：

确定是否存在与获取的高光谱图像处于同一场景下的高分辨率彩色图像。

当存在，则将所述高分辨率彩色图像的图像特征作为与所述高光谱图像特征对应的彩色图像特征。

示例性地，当存在与高光谱图像处于同一场景下的高分辨率彩色图像时，在利用彩色图像引导网络对空间信息特征进行提取前，如图2所示，先通过一层卷积核大小为1×1的2D卷积层从输入的彩色图像Z中提取浅层空间信息特征Z

其中，

当不存在，则从获取到的所述高光谱图像中截取红、绿、蓝三个波段所在通道的特征作为与所述高光谱图像特征对应的彩色图像特征。

示例性地，当不存在与高光谱图像处于同一场景下的高分辨率彩色图像时，从低分辨率高光谱图像中截取三个通道作为彩色图像引导网络的输入，截取的三个通道是根据红、绿、蓝这三种波段所在的通道来选取得到。

作为本发明一个可选实施方式，该方法还包括：预先利用训练数据对重建网络进行训练，直至所述重建网络的总损失函数的损失值满足目标条件，得到用于高光谱图像超分辨率重建的重建网络，所述重建网络由所述光谱保留网络、所述彩色图像引导网络以及所述空谱恢复网络组成。

作为本发明一个可选实施方式，所述总损失函数如下式所示：

l

式中，l

示例性地，损失函数对提升网络的性能起到非常重要的作用，为了获取更好的高光谱图像空间质量而不使光谱失真，如图2所示，设计了一个重建损失和一个彩色图像内容损失联合训练重建网络。重建损失计算的是重建网络输出的高光谱图像和输入的标签高光谱图像之间的误差来约束高光谱图像的光谱和空间的一致性；彩色图像内容损失则是计算网络输出和输入的高分辨率彩色图像产生的误差，其意义在于引导网络学习彩色图像的空间信息，用来恢复空间的细节纹理信息。本申请实施例中的重建损失函数l

l

其中l

其中，h，w，n分别表示高光谱图像的宽度，高度和通道数。L2范数作为空间内容损失可以放大最大误差和最小误差之间的差距，对异常点也比较敏感，有利于恢复低频信息，而且L2范数与峰值信噪比PSNR相关，可以有针对性地对PSNR进行提升。为了减少光谱失真，同样引入SAM作为光谱损失函数，通过最小化高分辨率高光谱图像HR和网络输出X之间光谱角来训练网络，光谱损失函数l

其中，HR

彩色图像引导网络旨在学习高分辨率彩色图像的空间信息，从低分辨率高光谱图像中尽可能多地恢复细节信息，因此设计了一个彩色图像内容损失函数来引导网络的优化，在这里选择L1范数作为彩色图像内容损失，计算方式如下：

这里的彩色图像内容损失与上述的高光谱图像空间内容损失有所不同，首先从重建的高光谱图像中选择三个通道出来组成一个伪彩色图像，而这三个被选中的通道则是红绿蓝波段所在的通道，然后计算组成的伪彩色图像与高分辨率彩色图像Z之间的L1范数，最后将三个通道的L1范数的平均值作为彩色图像内容损失。L1范数作为彩色图像内容损失是因为L2范数可以对大的损失进行惩罚，但是在小的损失效果不如L1，缺失高频信息，而且与感知的图像质量相关性较差，所以选择L1范数作为彩色图像内容损失可以更有利于网络恢复更多的细节信息。

最后，将重建损失和彩色图像内容损失联合起来作为训练网络的总损失函数：

l

在设计的总损失函数中，高光谱图像空间内容损失l

本发明实施例还公开了一种高光谱图像超分辨率重建装置，如图8所示，该装置包括：

光谱信息特征提取模块801，用于利用预先构建好的光谱保留网络对输入的高光谱图像特征进行特征提取得到光谱信息特征，其中所述光谱保留网络包括多个级联的光谱保留模块，每一个所述光谱保留模块集成第一残差块和通道注意力机制；

空间信息特征提取模块802，用于利用预先构建好的彩色图像引导网络对输入的、与高光谱图像特征对应的彩色图像特征进行特征提取得到空间信息特征，其中所述彩色图像引导网络包括多个级联的彩色图像引导模块，每一个所述彩色图像引导模块集成第二残差块和空间注意力机制；

特征融合模块803，用于将所述光谱信息特征和所述空间信息特征输入到预先构建好的空谱恢复网络进行特征融合以完成高光谱图像超分辨率重建，其中所述空谱恢复网络集成通道注意力机制和空间注意力机制。

本发明实施例提供的高光谱图像超分辨率重建装置，相比于现有技术中仅仅直接利用卷积神经网络对高光谱图像的光谱特征进行提取来实现高光谱图像超分处理，本发明实施例通过构建好的光谱保留网络提取光谱信息特征以及利用彩色图像引导网络提取与高光谱图像特征对应的彩色图像的空间信息特征，并将提取到的光谱信息特征和空间信息特征进行融合来完成高光谱图像超分辨率重建，提高了对高光谱图像超分辨重建效果。

作为本发明一个可选实施方式，所述装置还包括：

采样模块，用于对获取到的高光谱图像进行上采样，使得所述高光谱图像的空间分辨率达到预设分辨率；

浅层光谱特征提取模块，用于利用3D卷积层从上采样后的高光谱图像提取浅层光谱特征，将所述浅层光谱特征作为所述高光谱图像特征输入到所述光谱保留网络。

作为本发明一个可选实施方式，所述装置还包括：

第一确定模块，用于确定是否存在与获取的高光谱图像处于同一场景下的高分辨率彩色图像；

第二确定模块，用于当存在，则将所述高分辨率彩色图像的图像特征作为与所述高光谱图像特征对应的彩色图像特征；

第三确定模块，用于当不存在，则从获取到的所述高光谱图像中截取红、绿、蓝三个波段所在通道的特征作为与所述高光谱图像特征对应的彩色图像特征。

作为本发明一个可选实施方式，该装置还包括：训练模块，用于预先利用训练数据对重建网络进行训练，直至所述重建网络的总损失函数的损失值满足目标条件，得到用于高光谱图像超分辨率重建的重建网络，所述重建网络由所述光谱保留网络、所述彩色图像引导网络以及所述空谱恢复网络组成。

作为本发明一个可选实施方式，所述总损失函数如下式所示：

l

式中，l

本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的高光谱图像超分辨率重建方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的高光谱图像超分辨率重建方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器902中，当被所述处理器901执行时，执行如图1所示实施例中的高光谱图像超分辨率重建方法。

上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。