基于Transformer融合卷积神经网络的高光谱图像重建方法

技术领域

本发明涉及高光谱图像重建技术领域，尤其涉及一种基于Transformer融合卷积神经网络的高光谱图像重建方法、设备及存储介质。

背景技术

高光谱图像(Hyperspectral Image)是指光谱分辨率在10-2λ数量级范围内的光谱图像。随着科学技术的发展，高光谱图像被广泛用于地球观测应用中，例如资源勘探，精准农业和灾害监测等。但高光谱图像存在两方面的问题，一方面是：高光谱图像空间分辨率底，由于高光谱图像同时包含空间信息和光谱信息，但高光谱成像光谱仪一般只能分别对高光谱图像的空间信息和光谱信息进行采集，因此很难保证高光谱图像在具有高空间分辨率的同时也具有高光谱分辨率，所以高光谱图像采用的更多是用牺牲空间分辨率来换取高光谱分辨率的方式成像；另一方面是：高光谱图像成像设备昂贵，而且对使用高光谱设备的人员有一定的专业技术要求。这两方面的问题在很大程度上限制了高光谱图像应用，因而迫切的需要一种成本低且高效的方法获取高光谱图像。

为了解决高光谱图像空间分辨率低和获取成本高的问题，学者们开始转向研究如何从RGB图像光谱图像中重建出高光谱图像，这些方法可以概括为两大类，包括：传统方法和深度学习方法。代表性的传统方法包括：RSC(RGB to Spectrum Conversion，RGB到频谱转换)是一种经典的高光谱图像重建算法，RSC利用RGB图像与高光谱图像之间的线性函数关系进行光谱重建，但是，这种算法忽略RGB图像与高光谱图像之间的非线性关系，导致了重建效果差。而近几年里，基于深度学习的方法在计算机视觉和图像处理等领域展现出巨大的优势，而深度学习网络的训练往往需要大量的数据，而随着高光谱数据集的不断增加，利用深度学习进行光谱重建逐渐成为主流，其中，代表性的深度学习方法包括：HSCNN(Hyperspectral Reconstruction Convolutional Neural Networks，高光谱图像重建卷积神经网络)，其通过简单的插值对RGB图像在光谱维度上采样，HSCNN从大量的上采样/真实高光谱图像对中学习端到端映射，该映射被表示为一个深度卷积神经网络它将频谱上采样的图像作为输入，并输出增强的高光谱图像。

然而，HSCNN中的上采样操作需要了解一个显式的光谱响应函数，该函数对应于高光谱辐射与RGB值的积分，因此，当光谱响应函数未知或难以获得时，HSCNN就会失效。在其他的深度学习方法中：一种基于生成对抗网络的技术方案，只适用于高分五号的数据集，对于实验数据有一定的要求；一种基于光谱响应函数结合卷积神经网络的技术方案，依赖于光谱响应函数，对于没有光谱响应函数的数据集无效；其他一些基于卷积神经网络的算法的技术方案，主要是提取RGB图像与高光谱之间的空间信息，对光谱信息的提取能力有限。

因此，需要提出一种适用性更广，无需额外辅助信息，具有高效的空间信息与光谱信息提取能力的高光谱图像重建的技术方案。

发明内容

本发明的主要目的在于提供一种基于Transformer融合卷积神经网络的高光谱图像重建方法，旨在解决现有的高光谱图像重建技术适用性不广，需要额外辅助信息，以及不具备高效的空间信息与光谱信息提取能力的技术问题。

为实现上述目的，本发明提供一种基于Transformer融合卷积神经网络的高光谱图像重建方法，所述高光谱图像重建方法包括以下步骤：

构建Transformer与卷积神经网络CNN融合的CNN-Transformer模型，其中，所述CNN-Transformer模型包括依次连接的第一卷积层、CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层；

将待采集的RGB图像输入所述CNN-Transformer模型，基于所述CNN-Transformer模型获得所述RGB图像对应的高光谱图像。

优选地，所述基于所述CNN-Transformer模型获得所述RGB图像对应的高光谱图像的步骤包括：

基于所述第一卷积层获取所述RGB图像对应的第一特征映射；

将所述第一特征映射输入所述CNN-Transformer编码器，生成第一跳跃连接，并基于依次连接的所述CNN-Transformer编码器、所述第二卷积层、所述CNN-Transformer解码器以及所述第三卷积层获取所述RGB图像对应的第二特征映射；

基于所述第一跳跃连接将所述第一特征映射以及所述第二特征映射进行逐元素相加，获得所述高光谱图像。

优选地，所述基于依次连接的所述CNN-Transformer编码器、所述第二卷积层、所述CNN-Transformer解码器以及所述第三卷积层获取所述RGB图像对应的第二特征映射的步骤包括：

基于依次连接的所述CNN-Transformer编码器以及所述第二卷积层获取所述RGB图像对应的高维特征映射，并将所述高维特征映射输入所述CNN-Transformer解码器；

将所述CNN-Transformer解码器的输出结果输入所述第三卷积层，基于所述第三卷积层获取所述第二特征映射。

优选地，所述基于依次连接的所述CNN-Transformer编码器以及所述第二卷积层获取所述RGB图像对应的高维特征映射的步骤包括：

基于所述CNN-Transformer编码器获取所述RGB图像对应的深层空间与光谱特征，并生成第二跳跃连接；

将所述深层空间与光谱特征输入所述第二卷积层，基于所述第二卷积层获取所述RGB图像对应的第三特征映射；

基于所述第二跳跃连接将所述深层空间与光谱特征以及所述第三特征映射进行级联拼接，获得所述高维特征映射。

优选地，所述CNN-Transformer编码器包括n个编码模块Encoder，所述CNN-Transformer解码器包括n个解码模块Decoder，其中，所述n为大于等于1的任意整数。

优选地，每个所述编码模块Encoder包括依次连接的一个3×3的卷积层以及一个卷积光谱自注意力模块。

优选地，每个所述解码模块Decoder包括依次连接的一个光谱下采样层、一个卷积光谱自注意力模块以及一个3×3的卷积层。

优选地，所述高光谱图像重建方法还包括：

每个所述编码模块获得输出结果时生成对应的跳跃连接；

基于第n-k个编码模块Encoder对应的跳跃连接将所述第n-k个编码模块Encoder的输出结果以及第k-1个解码模块Decoder的输出结果进行级联拼接，获得第k个解码模块Decoder的输入值，其中，所述k为大于等于1且小于等于n的任意整数。

此外，为实现上述目的，本发明还提供一种高光谱图像重建设备，所述高光谱图像重建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的高光谱图像重建程序，所述高光谱图像重建程序被所述处理器执行时实现如上所述的高光谱图像重建方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有高光谱图像重建程序，所述高光谱图像重建程序被处理器执行时实现如上所述的高光谱图像重建方法的步骤。

本发明提出的基于Transformer融合卷积神经网络的高光谱图像重建方法，通过构建Transformer与卷积神经网络CNN融合的CNN-Transformer模型，其中，所述CNN-Transformer模型包括依次连接的第一卷积层、CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层；将待采集的RGB图像输入所述CNN-Transformer模型，基于所述CNN-Transformer模型获得所述RGB图像对应的高光谱图像。利用该模型进行高光谱图像重建，使得适用性更广并且无需额外辅助信息，同时有效地提取空间信息和光谱信息，提高了高光谱图像重建的效率，可以通过更少的浮点数和参数量，达到更好的光谱超分效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境中高光谱图像重建设备结构示意图；

图2为本发明基于Transformer融合卷积神经网络的高光谱图像重建方法第一实施例的流程示意图；

图3为本发明基于Transformer融合卷积神经网络的高光谱图像重建方法各个实施例中CNN-Transformer模型的网络结构示意图；

图4为本发明基于Transformer融合卷积神经网络的高光谱图像重建方法一实施例中卷积光谱自注意力模块的网络结构示意图；

图5为本发明基于Transformer融合卷积神经网络的高光谱图像重建方法一实施例中N＝1时卷积光谱自注意力的网络结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境中高光谱图像重建设备的结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该高光谱图像重建设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，高光谱图像重建设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对高光谱图像重建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及高光谱图像重建程序。

在图1所示的高光谱图像重建设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的高光谱图像重建程序。

在本实施例中，高光谱图像重建设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的高光谱图像重建程序，其中，处理器1001调用存储器1005中存储的高光谱图像重建程序时，执行以下各个实施例中高光谱图像重建方法的步骤。

本发明还提供一种基于Transformer融合卷积神经网络的高光谱图像重建方法，参照图2，图2为本发明高光谱图像重建方法第一实施例的流程示意图。

本实施例中，该方法包括以下步骤：

步骤S101，构建Transformer与卷积神经网络CNN融合的CNN-Transformer模型，其中，所述CNN-Transformer模型包括依次连接的第一卷积层、CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层；

需要说明的是，Transformer是基于自注意力机制的一个深度学习模型，主要由Encoders(编码器)和Decoders(解码器)两部分组成，Transformer可以利用注意力机制来提高模型训练速度，并且因为适用于并行化计算，以及本身模型的复杂程度导致其具有优秀的精度和性能。

本实施例中，为了进行高光谱图像重建，首先，需要构建一种Transformer与卷积神经网络CNN融合的CNN-Transformer模型，该CNN-Transformer模型包括了依次连接的第一卷积层、CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层。

具体地，为了表示RGB图像与高光谱图像之间的关系，可以设

AY＝X

其中，

步骤S102，将待采集的RGB图像输入所述CNN-Transformer模型，基于所述CNN-Transformer模型获得所述RGB图像对应的高光谱图像。

需要说明的是，在训练深度神经网络时，随着神经网络深度的增加，模型的性能会下降，被称为退化问题，其原因可能包括：a、过度拟合；b、梯度消失和/或梯度爆炸。而为了解决梯度消失的问题，通常采用跳跃连接的方式，跳跃连接会通过跳跃神经网络中的某些层，并将一层的输出作为下一层的输入。

本实施例中，将待采集的RGB图像输入构建的CNN-Transformer模型后，即可根据该CNN-Transformer模型最终获得从该RGB图像中重建出的高光谱图像，例如，将待采集的RGB图像输入CNN-Transformer模型后，在进入CNN-Transformer编码器之前，首先通过3×3的第一卷积层对该RGB图像进行特征提取，获得空间和光谱的浅层特征信息，并将该浅层特征信息输入CNN-Transformer编码器，该浅层特征信息进入CNN-Transformer编码器时，首先生成第一个跳跃连接，用于保存RGB图像的原始低频信息，同时，通过CNN-Transformer编码器的输出结果获得空间和光谱的深层特征信息，并生成第二个跳跃连接，将该深层特征信息输入3×3的第二卷积层进行特征提取，根据第二卷积层输出特征映射，并根据第二个跳跃连接将该深层特征信息与该特征映射进行级联拼接，获得高维特征映射，而后将高维特征映射输入CNN-Transformer解码器，将CNN-Transformer解码器的输出结果输入3×3的第三卷积层后，根据第三卷积层输出解码后的特征映射，最终，根据第一个跳跃连接对浅层特征信息与解码后的特征映射进行求和，获得重建出的高光谱图像。

在本实施例中，通过构建Transformer与卷积神经网络CNN融合的CNN-Transformer模型，其中，所述CNN-Transformer模型包括依次连接的第一卷积层、CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层；将待采集的RGB图像输入所述CNN-Transformer模型，基于所述CNN-Transformer模型获得所述RGB图像对应的高光谱图像。利用该模型进行高光谱图像重建，使得适用性更广并且无需额外辅助信息，同时有效地提取空间信息和光谱信息，提高了高光谱图像重建的效率，可以通过更少的浮点数和参数量，达到更好的光谱超分效果。

基于第一实施例，提出本发明高光谱图像重建方法的第二实施例，在本实施例中，步骤S102中，基于所述CNN-Transformer模型获得所述RGB图像对应的高光谱图像的方法，具体步骤包括：

步骤S201，基于所述第一卷积层获取所述RGB图像对应的第一特征映射；

步骤S202，将所述第一特征映射输入所述CNN-Transformer编码器，生成第一跳跃连接，并基于依次连接的所述CNN-Transformer编码器、所述第二卷积层、所述CNN-Transformer解码器以及所述第三卷积层获取所述RGB图像对应的第二特征映射；

步骤S203，基于所述第一跳跃连接将所述第一特征映射以及所述第二特征映射进行逐元素相加，获得所述高光谱图像。

本实施例中，参照图3，将待采集的RGB图像输入CNN-Transformer模型后，根据第一卷积层获取RGB图像对应的第一特征映射，而后将第一特征映射输入CNN-Transformer编码器，并生成第一跳跃连接，从而根据依次连接的CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层获取所述RGB图像对应的第二特征映射，最终，根据第一跳跃连接将第一特征映射以及第二特征映射进行逐元素相加，获得重建出的高光谱图像。

具体地，第一卷积层为3×3的卷积层，其作为输入映射，从待采集的RGB图像中提取空间和光谱的浅层特征信息，作为第一特征映射，第一特征映射进入编码器后，首先生成第一跳跃连接，用于保存该RGB图像的原始低频信息，而后经过依次连接的CNN-Transformer编码器、第二卷积层、CNN-Transformer解码器以及第三卷积层，从而输出第二特征映射。

可选地，步骤S202中，基于依次连接的所述CNN-Transformer编码器、所述第二卷积层、所述CNN-Transformer解码器以及所述第三卷积层获取所述RGB图像对应的第二特征映射的方法，具体步骤包括：

步骤S301，基于依次连接的所述CNN-Transformer编码器以及所述第二卷积层获取所述RGB图像对应的高维特征映射，并将所述高维特征映射输入所述CNN-Transformer解码器；

步骤S302，将所述CNN-Transformer解码器的输出结果输入所述第三卷积层，基于所述第三卷积层获取所述第二特征映射。

本实施例中，参照图3，第一卷积层输出的第一特征映射输入CNN-Transformer编码器并建立跳跃连接后，根据依次连接的CNN-Transformer编码器以及第二卷积层输出RGB图像对应的高维特征映射，而后将该高维特征映射输入CNN-Transformer解码器，并将CNN-Transformer解码器的输出结果输入第三卷积层，根据第三卷积层输出第二特征映射。

具体地，第二卷积层以及第三卷积层也为3×3的卷积层，第二卷积层作为CNN-Transformer编码器和CNN-Transformer解码器中间的过渡层，对CNN-Transformer编码器的输出结果进行特征映射，其中，CNN-Transformer编码器在进行输出时可以生成跳跃连接，使得其输出结果可以与第二卷积层输出的特征映射进行级联拼接，获得高维特征映射，而后将高维特征映射输入CNN-Transformer解码器，第三卷积层则用于对CNN-Transformer解码器的输出结果进行特征映射，以得到解码后的第二特征映射。

在本实施例中，通过基于依次连接的所述CNN-Transformer编码器以及所述第二卷积层获取所述RGB图像对应的高维特征映射，并将所述高维特征映射输入所述CNN-Transformer解码器；将所述CNN-Transformer解码器的输出结果输入所述第三卷积层，基于所述第三卷积层获取所述第二特征映射。使得CNN-Transformer模型可以有效地提取空间信息和光谱信息，提高了高光谱图像重建的效率，并通过更少的浮点数和参数量，达到更好的光谱超分效果。

可选地，步骤S301中，基于依次连接的所述CNN-Transformer编码器以及所述第二卷积层获取所述RGB图像对应的高维特征映射的方法，具体步骤包括：

步骤S401，基于所述CNN-Transformer编码器获取所述RGB图像对应的深层空间与光谱特征，并生成第二跳跃连接；

步骤S402，将所述深层空间与光谱特征输入所述第二卷积层，基于所述第二卷积层获取所述RGB图像对应的第三特征映射；

步骤S403，基于所述第二跳跃连接将所述深层空间与光谱特征以及所述第三特征映射进行级联拼接，获得所述高维特征映射。

本实施例中，参照图3，根据CNN-Transformer编码器获取RGB图像对应的深层空间与光谱特征，CNN-Transformer编码器输出该深层空间与光谱特征时，生成第二跳跃连接，而后将该深层空间与光谱特征输入第二卷积层，根据第二卷积层输出第三特征映射，并通过第二跳跃连接将深层空间与光谱特征与第三特征映射进行级联拼接，从而获得高维特征映射，作为后续CNN-Transformer解码器的输入。

具体地，利用CNN-Transformer编码器提取RGB图像的深层的空间与光谱信息，其输出结果即为RGB图像对应的深层空间与光谱特征，生成的第二跳跃连接用于保留该深层空间与光谱特征，防止深层的空间与光谱信息丢失，因此，通过第二卷积层之前生成的第二跳跃连接，将该深层空间与光谱特征与第二卷积层输出的第三特征映射进行级联拼接，获得后续输入CNN-Transformer解码器的高维特征映射。

在本实施例中，通过基于所述CNN-Transformer编码器获取所述RGB图像对应的深层空间与光谱特征，并生成第二跳跃连接；将所述深层空间与光谱特征输入所述第二卷积层，基于所述第二卷积层获取所述RGB图像对应的第三特征映射；基于所述第二跳跃连接将所述深层空间与光谱特征以及所述第三特征映射进行级联拼接，获得所述高维特征映射。利用跳跃连接保留深层的空间与光谱信息，防止信息丢失，并获得后续输入CNN-Transformer解码器的高维特征映射，使得CNN-Transformer模型可以有效地提取空间信息和光谱信息，提高了高光谱图像重建的效率。

在本实施例中，通过基于所述第一卷积层获取所述RGB图像对应的第一特征映射；将所述第一特征映射输入所述CNN-Transformer编码器，生成第一跳跃连接，并基于依次连接的所述CNN-Transformer编码器、所述第二卷积层、所述CNN-Transformer解码器以及所述第三卷积层获取所述RGB图像对应的第二特征映射；基于所述第一跳跃连接将所述第一特征映射以及所述第二特征映射进行逐元素相加，获得所述高光谱图像。通过卷积神经网络与Transformer相结合进行高光谱图像重建，利用跳跃连接保留了深层的空间与光谱信息，以防止信息丢失，同时使得适用性更广并且无需额外辅助信息，可以有效地提取空间信息和光谱信息，提高了高光谱图像重建的效率，并通过更少的内存和参数量，达到更好的光谱超分效果。

基于第一实施例，提出本发明高光谱图像重建方法的第三实施例，在本实施例中，所述CNN-Transformer编码器包括n个编码模块Encoder，所述CNN-Transformer解码器包括n个解码模块Decoder，其中，所述n为大于等于1的任意整数。

本实施例中，CNN-Transformer模型的通道数可以根据输入高光谱图像的通道数改变，因此设n为大于等于1的任意整数，而CNN-Transformer编码器由n个Encoder构成，CNN-Transformer解码器由n个Decoder构成，n对应了输入高光谱图像的通道数，其中，每个Encoder代表了CNN-Transformer编码器中的一个编码模块，每个Decoder代表了CNN-Transformer解码器中的一个解码模块，后文不再赘述。

具体地，CNN-Transformer编码器包括n个Encoder，经过第1个编码模块的输出结果大小为H×W×C

可选地，每个所述编码模块Encoder包括依次连接的一个3×3的卷积层以及一个卷积光谱自注意力模块。

需要说明的是，卷积光谱自注意力模块应用了CSSA(Convolution SpectralSelf-Attention，卷积光谱自注意力)，通过Unfold函数将输入的张量从H×W×C展开为HW/s×K

本实施例中，CNN-Transformer编码器中每个Encoder的组成相同，都包括依次连接的一个3×3的卷积层以及一个卷积光谱自注意力模块，每个Encoder都用于提取深层空间与光谱特征。

具体地，Decoder的输入首先通过3×3的卷积层进行特征映射，而后输入卷积光谱自注意力模块，参照图4，图4为卷积光谱自注意力模块的网络结构示意图，在卷积光谱自注意力模块中，首先加入跳跃连接防止信息丢失，再通过Layer Norm层在通道方向对输入值进行归一化，而后通过一个CSSA提取深层的空间与光谱信息，将该信息与跳跃连接的输出求和，从而获得空谱特征，并再生成一个跳跃连接，后续则通过Layer Norm层，GELU层和1×1卷积层对空谱特征进行进一步处理，为了学习每个通道的权重，引入了ECA(EfficientChannel Attention,高效通道注意力机制)，ECA首先生成跳跃连接，而后对输入值进行空间池化，再将得到的权重向量输入到Sigmoid激活函数中，并经过一维卷积得到最终的通道权重系数向量，从而将通道权重系数向量与跳跃连接的输出相乘以重新分配通道权重。最终，经过CELU层和1×1卷积层并与跳跃连接的输出求和得到最后的高维特征，作为输出的深层空间与光谱特征。

在本实施例中，通过每个所述编码模块Encoder包括依次连接的一个3×3的卷积层以及一个卷积光谱自注意力模块。适用性更广并且无需额外辅助信息，可以有效地提取空间信息和光谱信息，提高了最终高光谱图像重建的效率。

可选地，每个所述解码模块Decoder包括依次连接的一个光谱下采样层、一个卷积光谱自注意力模块以及一个3×3的卷积层。

本实施例中，CNN-Transformer解码器中每个Decoder的组成相同，都包括依次连接的一个光谱下采样层、一个卷积光谱自注意力模块以及一个3×3的卷积层，每个Decoder都用于对CNN-Transformer解码器中Encoder输出的深层空间与光谱特征进行解码。

具体地，Decoder中的卷积光谱自注意力模块与Encoder中的相同，光谱下采样层，可以理解为池化层，用于减少计算量，防止过拟合，并增大感受野，使得后续的卷积光谱自注意力模块以及3×3的卷积层可以学习到更全局的信息。

在本实施例中，通过每个所述解码模块Decoder包括依次连接的一个光谱下采样层、一个卷积光谱自注意力模块以及一个3×3的卷积层。适用性更广并且无需额外辅助信息，可以有效地提取空间信息和光谱信息，提高了最终高光谱图像重建的效率。

在本实施例中，通过所述CNN-Transformer编码器包括n个编码模块Encoder，所述CNN-Transformer解码器包括n个解码模块Decoder，其中，所述n为大于等于1的任意整数。使得CNN-Transformer模型的通道数可以根据输入高光谱图像的通道数改变，使得该模型的适用性更广并且无需额外辅助信息，可以通过更少的内存和参数量，达到更好的光谱超分效果。

基于第三实施例，提出本发明高光谱图像重建方法的第四实施例，在本实施例中，所述高光谱图像重建方法还包括：

步骤S801，每个所述编码模块Encoder获得输出结果时生成对应的跳跃连接；

步骤S802，基于第n-k个编码模块Encoder对应的跳跃连接将所述第n-k个编码模块Encoder的输出结果以及第k-1个解码模块Decoder的输出结果进行级联拼接，获得第k个解码模块Decoder的输入值，其中，所述k为大于等于1且小于等于n的任意整数。

本实施例中，CNN-Transformer编码器中存在n个Encoder，每个Encoder在输出结果时都生成该Encoder对应的跳跃连接，CNN-Transformer解码器中存在n个Decoder，其中第k个Decoder的输入值即为第k-1个Decoder的输出结果与第n-k个Encoder对应的跳跃连接的输出的级联拼接，k为大于等于1且小于等于n的任意整数。

具体地，每个Encoder对应的跳跃连接都用于保留该Encoder提取的深层的空间与光谱信息，参照图3，图3所示的CNN-Transformer模型的网络结构示意图，因此，

第k个Encoder可表示为：

其中，当k＝1时

第k个Decoder可表示为：

其中，当k＝1时

在本实施例中，通过每个所述编码模块Encoder获得输出结果时生成对应的跳跃连接；基于第n-k个编码模块Encoder对应的跳跃连接将所述第n-k个编码模块Encoder的输出结果以及第k-1个解码模块Decoder的输出结果进行级联拼接，获得第k个解码模块Decoder的输入值，其中，所述k为大于等于1且小于等于n的任意整数。利用跳跃连接保留信息，避免模型的性能下降，解决了梯度消失的问题，可以有效地提取空间信息和光谱信息，提高了最终高光谱图像重建的效率。

此外，本发明实施例还提出一种高光谱图像重建设备，该高光谱图像重建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的高光谱图像重建程序，所述高光谱图像重建程序被所述处理器执行时实现如上所述的高光谱图像重建方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有高光谱图像重建程序，所述高光谱图像重建程序被处理器执行时实现如上所述的高光谱图像重建方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。