一种基于低秩张量网络的光谱超分重建方法及系统

技术领域

本发明涉及高分辨高光谱成像技术，具体涉及一种基于低秩张量网络的光谱超分重建方法及系统。

背景技术

高光谱成像技术能够获得所成像场景在同一时刻下数十个至数百个光谱波段的信息，相较于RGB成像，高光谱成像能够提供更多的光谱信息，为计算机视觉任务提供了更多的场景信息，因此高光谱成像技术被应用于各个领域，如军事目标检测、环境监测和医学检查等。但是由于光谱成像原理，成像系统的光谱分辨率与空间分辨率相互制约，且成像设备的元器件价格昂贵，在有限的成本条件下难以通过现有的高光谱成像设备直接获取高分辨率高光谱图像，且一般的高光谱成像设备为了每次获取图像数据的曝光时间较长，所获取图像数据的时间分辨率也受到了限制。因此光谱超分技术应运而生，通过价格相对低廉的RGB成像设备获取高分辨率的RGB图像，再通过RGB图像获得高分辨率的高光谱图像。

目前比较常见的光谱超分方法有：将RGB图像到高光谱图像的变换视为线性变换，通过一些稀疏编码的方式加入人工的稀疏先验信息，建立一个过完备的字典实现光谱超分。但是光谱超分原本就是一个不适定的问题，仅依靠线性变换和有限的稀疏先验信息难以获得高精度的光谱信息。目前深度学习在光谱超分辨率重建问题中的效果很突出，出现了很多基于卷积神经网络的光谱超分模型，相较前面提到的线性方法，卷积神经网络的非线性变换显著提高了重建后的高光谱图像精度，但是光谱数据的低秩特性常常被忽略，限制了所得到的高光谱图像的精度。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于低秩张量网络的光谱超分重建方法及系统，本发明能够利用高光谱图像数据的低秩特性实现低计算成本、低内存消耗的光谱超分，实现RGB图像到高分辨率高光谱图像的高精度重建，且具有泛化能力强、鲁棒性好的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于低秩张量网络的光谱超分重建方法，包括：

S1，对输入的RGB图像M提取浅层次特征K

S2，将深层次特征K进行低秩张量学习以获得低秩特征张量K

S3，将低秩特征张量K

S4，将浅层次特征K

可选地，步骤S1包括：对输入的RGB图像M通过卷积操作以实现预编码以获得浅层次特征K

可选地，步骤S2中进行低秩张量学习为采用低秩张量学习网络实现，所述低秩张量学习网络由一个秩一张量学习模块ROTL和一层卷积模块构成，所述秩一张量学习模块ROTL包括多层秩一张量生成模块ROTG，第一层秩一张量生成模块ROTG直接对深层次特征K提取第一层秩一张量O

可选地，所述秩一张量生成模块ROTG包括三个并行编码通道和和一个Kronecker乘积层，每个并行编码通道均包括依次相连的行全局平均池化模块、卷积核为1×1的卷积模块以及Sigmod激活模块，且三个并行编码通道的输出端与Kronecker乘积层的输入端相连，以通Kronecker乘积层将三个并行编码通道的输出特征进行Kronecker乘积得到对应的秩一张量。

可选地，所述Kronecker乘积的函数表达式为：

上式中，

可选地，所述秩一张量学习模块ROTL包括五层秩一张量生成模块ROTG，使得所述秩一张量学习模块ROTL提取得到的秩一张量分别包括五个秩一张量O

可选地，记低秩特征张量K

上式中，

可选地，步骤S4中低秩张量网络进行光谱超分重建包括：

S4.1，将低秩张量依次经过卷积层、PReLU激活层、卷积层、PReLU激活层、通道注意力层得到解码特征；

S4.2，将解码特征和输入的低秩张量叠加得到叠加解码特征；

S4.3，将叠加解码特征再依次经过卷积层、PReLU激活层以及卷积层后解码，从而获得与RGB图像M对应且比RGB图像M的分辨率更高的重建高光谱图像X。

此外，本发明还提供一种基于低秩张量网络的光谱超分重建系统，包括相互连接的微处理器和存储器，所述微处理器被配置为独立或借助神经网络加速处理器执行所述基于低秩张量网络的光谱超分重建方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器配置为独立或借助神经网络加速处理器执行所述基于低秩张量网络的光谱超分重建方法。

和现有技术相比，本发明主要具有下述优点：

1、本发明能够利用高光谱图像数据的低秩特性实现低计算成本、低内存消耗的光谱超分，实现RGB图像到高分辨率高光谱图像的高精度重建。

2、本发明不需要高光谱成成像模型的其他先验信息，泛化能力强，具有很强的鲁棒性。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例中特征编码网络的结构示意图。

图3为本发明实施例中秩一张量学习模块ROTL的结构示意图。

图4为本发明实施例中秩一张量生成模块ROTG的结构示意图。

图5为本发明实施例中低秩张量网络的结构示意图。

具体实施方式

如图1所示，本实施例基于低秩张量网络的光谱超分重建方法包括：

S1，对输入的RGB图像M提取浅层次特征K

S2，将深层次特征K进行低秩张量学习以获得低秩特征张量K

S3，将低秩特征张量K

S4，将浅层次特征K

如图2所示，本实施例中的步骤S1包括：对输入的RGB图像M通过卷积操作以实现预编码以获得浅层次特征K

本实施例中的步骤S2中进行低秩张量学习为采用低秩张量学习网络实现，本实施例中的低秩张量学习网络由一个秩一张量学习模块ROTL和一层卷积模块构成，如图3所示，秩一张量学习模块ROTL包括多层秩一张量生成模块ROTG且以类似残差结构的连接方式连接，即：第一层秩一张量生成模块ROTG直接对深层次特征K提取第一层秩一张量O

需要说明的是，秩一张量学习模块ROTL可根据实际需要选择所需秩一张量生成模块ROTG的层数，例如本实施例中秩一张量学习模块ROTL包括五层秩一张量生成模块ROTG，使得所述秩一张量学习模块ROTL提取得到的秩一张量分别包括五个秩一张量O

上式中，

如图4所示，本实施例中秩一张量生成模块ROTG包括三个并行编码通道和和一个Kronecker乘积层，每个并行编码通道均包括依次相连的行全局平均池化模块、卷积核为1×1的卷积模块以及Sigmod激活模块，且三个并行编码通道的输出端与Kronecker乘积层的输入端相连，以通Kronecker乘积层将三个并行编码通道的输出特征进行Kronecker乘积得到对应的秩一张量。本实施例中，Kronecker乘积的函数表达式为：

上式中，

秩一张量生成模块ROTG的三个并行编码通道分别输出三个向量，长度分别为输入张量的通道数量C、宽度W、高度H，三个向量进行Kronecker乘积的结果是一个与输入各个维度都相同的三阶张量，其函数表达式为：

若输入秩一张量学习模块ROTL的深层次特征（张量）

记低秩特征张量K

上式中，

本实施例步骤S4中将浅层次特征K

S4.1，将低秩张量依次经过卷积层、PReLU激活层、卷积层、PReLU激活层、通道注意力层得到解码特征；需要说明的是，通道注意力层用于基于通道注意力机制来进行特征解码，通道注意力层（通道注意力模块）为现有网络结构，本实施例中仅涉及对通道注意力层的应用，并不涉及对通道注意力层的改进，故其实现在此不再详述；

S4.2，将解码特征和输入的低秩张量叠加得到叠加解码特征；

S4.3，将叠加解码特征再依次经过卷积层、PReLU激活层以及卷积层后解码，从而获得与RGB图像M对应且比RGB图像M的分辨率更高的重建高光谱图像X。

为了验证本实施例方法的实际效果，本实施例使用两个常用公开数据集CAVE数据集和Harvard数据集进行验证。选用CAVE数据集中光谱波段数为31、空间分辨率大小为512×512的32个图像数据以及Harvard数据集中光谱波段数为31、空间分辨率为1392×1040的50个图像数据。为了获取与现有数据集图像对应的RGB图像，进行实验时需要把数据集中现有的光谱图像作为高分辨率高光谱图像，然后通过光谱响应函数进行下采样得到对应的RGB图像。然后在所选的CAVE数据集中随机选取20个高光谱图像作为训练集，剩余12个图像作为测试集；在Harvard数据集中随即选择35个图像作为训练集，剩余15个作为测试集。选取统一图像质量指标（UIQI）、结构相似度（SSIM）、光谱角（SAM）和均方根误差（RMSE）四个公知的指标作为评价指标。其中光谱角（SAM）和均方根误差（RMSE）的值越小说明高光谱图像重建的效果越好；统一图像质量指标（UIQI）、结构相似度（SSIM）反之，两个指标值越大高光谱图像重建的效果越好。根据这四个评价指标，将本实施例方法与4种典型的光谱超分重建方法进行了比较，表1为各种方法在CAVE数据集上的结果对比，表2为各种方法在Harvard数据集上的结果对比。

表1为5种方法在CAVE数据集上所选性能指标的对比结果。

表2为5种方法在Harvard数据集上所选性能指标的对比结果。

参见表1和表2可知，与4种典型的光谱超分重建方法相比，本实施例方法的低秩张量学习模块有效地利用了光谱图像的低秩特性，与传统低秩张量分解相比，本发明的低秩张量学习模块能够获得不同通道和不同空间位置的权重信息，并以此作为3D注意力地图来细化特征。然后使用浅层次特征与细化特征叠加来补全在特征提取过程中损失的细节信息，既凸显了重要特征信息又包含了图像细节信息。最后将叠加后的特征送入具有残差结构的重建网络中得到高光谱图像，残差结构可以有效地抑制网络模型的过拟合，提高模型的泛化能力。与其他四种重建效果好的方法相比，本实施例方法能以高精度完成高光谱图像的重建，且因其计算成本低、内存需求小，对硬件要求更低。

综上所述，本实施例方法包括将输入的RGB图像M输入到预先训练好的特征编码网络，RGB图像M会先通过一层卷积进行预编码得到浅层次特征K

此外，本发明还提供一种基于低秩张量网络的光谱超分重建系统，包括相互连接的微处理器和存储器，所述微处理器被配置为独立或借助神经网络加速处理器执行所述基于低秩张量网络的光谱超分重建方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器配置为独立或借助神经网络加速处理器执行所述基于低秩张量网络的光谱超分重建方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。