基于图像结构相似性与相似图像先验的光谱重建方法及系统

技术领域

本申请涉及光谱图像重构技术领域，尤其是一种基于图像结构相似性与相似图像先验的光谱重建方法及系统。

背景技术

高光谱图像具有更多的通道，可以实现目标场景的更多细节和特征提取。因此被广泛应用于生物医学工程、食品检测、遥感等领域。主流的重构方法之一是基于CASSI系统的成像算法。

单一的CASSI系统存在重建精度有限、重建时间长等问题。传统的高光谱成像方法包括扫帚扫描、推扫帚扫描和波长扫描。它们都是以时间为代价来获取光谱信息的。这往往耗费大量的时间，限制了它们在动态场景中使用。近年来，基于神经网络的高光谱成像技术发展迅速。然而，由于网络的不确定性，重构质量直接受到数据集质量和大小的影响。网络的训练阶段需要很长时间，往往需要耗费大量的时间，导致高光谱重构效率较低。

发明内容

本申请的目的在于克服现有技术中成像系统可能存在的误差问题，以及神经网络需要耗费大量时间和庞大训练数据集的问题，提供一种基于图像结构相似性与相似图像先验的光谱重建方法及系统。

第一方面，提供了一种基于图像结构相似性与相似图像先验的光谱重建方法，包括：

获取目标场景的场景空间数据y

构建基于压缩感知理论的光谱成像模型；

利用图像间的结构相似性来重构有效光谱数据：

其中，

μ＝[(H

将所述有效高光谱数据替换深度图像先验DIP的高斯噪声，以形成相似图像先验SIP；

将所述相似图像先验SIP、光谱注意力机制和残差结构加入带有即插即用机制的U-net网络中，以搭建成光谱成像网络SIP-G；

将所述场景空间数据和编码光谱数据输入所述光谱成像网络SIP-G以计算所述目标场景的高光谱数据

通过优化的过滤器获取最终的重构高光谱数据S

其中，R

进一步的，所述场景空间数据由第一系统捕获，所述第一系统包括彩色相机，所述编码光谱数据由第二系统捕获，所述第二系统包括物镜、编码模块、中继镜、第一色散棱镜、第二色散棱镜和灰度相机，其中，所述第一色散棱镜与第二色散棱镜反向设置。

进一步的，所述第二系统与第一系统的光路相互垂直并采用分光片进行分光处理。

进一步的，所述光谱成像模型为：

y

y

其中，y

进一步的，将所述场景空间数据和编码光谱数据输入所述光谱成像网络SIP-G以计算所述目标场景的高光谱数据，包括：

将场景空间数据y

其中，SIP

利用ADMM算法思想对公式4进行分解：

其中，β是ADMM算法所需的中间参数，s

利用ADMM算法计算出所述目标场景的高光谱数据

其中，

第二方面，提供了一种基于图像结构相似性与相似图像先验的光谱重建装置，包括：

第一系统，所述第一系统包括彩色相机；

第二系统，所述第二系统包括物镜、编码模块、中继镜、第一色散棱镜、第二色散棱镜和灰度相机，其中，所述第一色散棱镜与第二色散棱镜反向设置；

终端设备，所述终端设备用于实现如第一方面中任意一种实现方式中的方法，所述第一系统和第二系统均与所述终端设备进行数据传输。

第三方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的任意一种实现方式中方法的步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面中的任意一种实现方式中方法的步骤。

第五方面，提供了一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中的任意一种实现方式中的方法。

本申请具有如下有益效果：本申请通过优化深度图像先验提出了相似先验的框架，并以此框架为基础提出了不需要训练数据的基于神经网络的高光谱重建算法，该算法与所提出的优化系统相结合，在很大程度上提高了高光谱重构精度，同时也提高了高光谱重构效率，更加适用于实际场景的应用，与现有技术相比，高光谱重构质量、空间分辨率具有显著提升，同时与类似高光谱重构方法相比，高光谱重构效率能够提高40％以上。

附图说明

构成本申请的一部分的附图用于来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例1的基于图像结构相似性与相似图像先验的光谱重建方法的流程图；

图2是本申请实施例1的基于图像结构相似性与相似图像先验的光谱重建方法中第一系统和第二系统的示意图；

图3是本申请实施例2的基于图像结构相似性与相似图像先验的光谱重建系统的结构框图；

图4是本申请实施例5的电子设备的内部结构示意图。

附图标记：

100、第一系统；101、彩色相机；200、第二系统；201、物镜；202、编码模块；203、中继镜；204、第一色散棱镜；205、第二色散棱镜；206、灰度相机；300、分光片；400、目标场景；500、终端设备。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

本申请实施例1所涉及的一种基于图像结构相似性与相似图像先验的光谱重建方法，包括：获取目标场景400的场景空间数据y

具体的，图1示出了申请实施例1中的基于图像结构相似性与相似图像先验的光谱重建方法的流程图，包括：

S100、获取目标场景400的场景空间数据y

具体的，为了获取目标场景400的场景空间数据y

S200、构建基于压缩感知理论的光谱成像模型；

具体的，令目标场景400表示为S。因此，第二系统200中目标场景400编码后的第l通道数据可以表示为：

S′

其中，S′

实际情况会伴随着噪音的影响，为了更准确地描述实际情况，第二系统200拍摄的场景数据最终表示为矩阵形式为：

其中，Y

将矩阵形式表示为向量形式为：

y

其中，H

类比于第二系统200，第一系统100的捕获数据可以表示为向量形式：

y

其中，y

最后，将第一系统100和第二系统200捕获的数据融合后可以得到目标场景400的捕获值为：

y＝Hs+n

其中，

建立好双相机成像模型后，通过捕获的场景空间数据和编码光谱数据，利用图像结构相似性和相似图像先验能较快速重构出高光谱分辨、高空间分辨率的目标场景400光谱图像。

S300、利用图像间的结构相似性来重构有效光谱数据：

其中，

具体的，通过研究分析目标场景400的彩色空间图像(即场景空间数据)与光谱图像(即编码光谱数据)之间的相似性，本申请提出可以使用彩色空间图像近似表示目标场景400的光谱图像，在数秒内获取有效的光谱数据。

成像系统捕获到目标场景400的彩色空间图像和编码图像后，可以先通过彩色空间图像获取有效的光谱数据，可以表示为：

其中，

μ＝[(H

因此，近似的有效光谱数据

S400、将所述有效高光谱数据替换深度图像先验DIP的高斯噪声，以形成相似图像先验SIP；

具体的，考虑到现有技术中的深度图像先验DIP具有从不完整数据中恢复出较完整数据的能力。其特性与压缩光谱成像过程的特点相契合，因此可以使用深度图像先验作为光谱重构过程的一种恢复先验。但它只能使用高斯噪声作为自身的数据，这对于光谱成像来说是不合理的。为了进一步利用光谱成像的特点，将步骤S300中快速获取的近似光谱数据

S500、将所述相似图像先验SIP、光谱注意力机制和残差结构加入带有即插即用机制的U-net网络中，以搭建成光谱成像网络SIP-G；

具体的，通过将步骤S500生成的相似图像先验SIP与带有即插即用的U-net网络相结合，实现自监督式的光谱重构网络，避免了繁琐且庞大的数据训练过程。同时，利用光谱数据多通道的特点与重构过程的不定性，进一步优化U-net网络，向其中加入光谱注意力机制和残差结构，以提升光谱重构质量，降低重构过程的误差。从而形成相似先验-注意力残差网络SIP-G。

S600、将所述场景空间数据和编码光谱数据输入所述光谱成像网络SIP-G以计算所述目标场景400的高光谱数据

具体的，首先将第一系统100获取的目标场景400的彩色空间图像y

利用步骤S300快速获取的有效光谱数据

其中，SIP

利用分解得到的y

其中，H

为了更方便求解，本申请使用ADMM算法通过引入参数α、β和u进行辅助求解，因此目标场景400光谱数据公式可以改写为：

通过将上述改些后的公式分解后得到四部分为：

其中，s

利用ADMM算法求解后可以得到目标场景400的高光谱数据为：

其中

S700、考虑到实际成像过程中会存在噪声，并且为了进一步提升重构光谱图像的空间分辨率，可以通过优化的过滤器获取最终的重构高光谱数据S

其中，R

在该实施例中，针对成像系统可能存在的误差问题，本申请在成像光路中引入了两个色散棱镜，以尽可能消除长光路可能引入的色散误差，提出了一种改进型的光谱成像系统。同时，针对神经网络需要耗费大量时间和庞大训练数据集的问题，本申请提出了一种基于图像相似性以在数秒内重构有效光谱数据的方法，并用该方法优化深度图像先验从而提出了相似先验的框架，并以此框架为基础提出了不需要训练数据的基于神经网络的高光谱重建算法。该算法与所提出的优化系统相结合，在很大程度上提高了光谱重构精度，同时也提高了光谱重构效率，更加适用于实际场景的应用，与现有的先进方法相比，光谱重构质量、空间分辨率具有显著提升。同时与类似方法相比，重构效率提高了40％以上。

实施例2

如图3所示，本申请实施例2所涉及的一种基于图像结构相似性与相似图像先验的光谱重建装置，包括：

第一系统100，所述第一系统100包括彩色相机101；

第二系统200，所述第二系统200包括物镜201、编码模块202、中继镜203、第一色散棱镜204、第二色散棱镜205和灰度相机206，其中，所述第一色散棱镜204与第二色散棱镜205反向设置；

终端设备500，所述终端设备500用于实现如实施例1中任意一种实施方式中的方法，所述第一系统100和第二系统200均与所述终端设备500进行数据传输，从而使得终端设备500能够分别从第一系统100和第二系统200中获取目标场景400的场景空间数据y

需要说明的是，本发明实施例中基于图像结构相似性与相似图像先验的光谱重建装置的其他具体实施方式，可参见上述基于图像结构相似性与相似图像先验的光谱重建方法的具体实施方式，为避免冗余，此处不再赘述。

实施例3

本申请实施例3所涉及的一种计算机程序产品，所述计算机程序产品用于存储计算机程序，当所述计算机程序在计算机上运行时，本申请实施例1中的任意一种实现方式中的方法得以实现。

实施例4

本申请实施例4所涉及的一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如本申请实施例1中的任意一种实现方式中方法的步骤；

其中，计算机可读存储介质可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)；计算机可读存储介质可以存储程序代码，当计算机可读存储介质中存储的程序被处理器执行时，处理器用于执行如本申请实施例1中的任意一种实现方式中方法的步骤。

实施例5

如图4所示，本申请实施例5所涉及的一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如本申请实施例1中的任意一种实现方式中的方法；

其中，处理器可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例1中的任意一种实现方式中的方法。

处理器还可以是一种集成电路电子设备，具有信号的处理能力。在实现过程中，本申请实施例1中的任意一种实现方式中方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器还可以是通用处理器、数字信号处理器、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本申请实施例的数据处理的装置中包括的单元所需执行的功能，或者执行本申请实施例1中的任意一种实现方式中方法。

以上，仅为本申请较佳的具体实施方式；但本申请的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，根据本申请的技术方案及其改进构思加以等同替换或改变，都应涵盖在本申请的保护范围内。