一种基于衍射的光谱编码成像系统和方法
文献发布时间:2023-06-19 11:29:13
技术领域
本发明涉及了光谱成像技术领域的一种光谱成像系统和方法,具体涉及一种基于衍射的光谱编码成像系统和方法。
背景技术
光谱成像技术是一种新型的利用单个或多个光谱通道进行光谱数据采集和处理、图像显示和分析解释的技术。其目的主要是想在获取大量目标窄波段连续光谱图像的同时获得每个像元几乎连续的光谱数据,目前光谱成像技术主要应用于高光谱航空、航天遥感领域。
目前光谱成像系统主要面临以下几个技术难点:第一,推扫式和摆扫式的系统结构过于庞大复杂,无法匹配航空、航天领域小型化、轻量化的要求。第二,由于系统的局限性,无论是推扫还是摆扫都需要时间,导致无法得到同一时刻的光谱图像,缺少时效性。
2017年Baek等人提出了第一个紧凑快照光谱成像的方法,通过在单反相机前安装一个棱镜,利用图像边缘的色散捕获光谱信息。然而他的方法是基于传统方法的优化,同时棱镜分光难以量化。
2019年Kim等人提出了基于旋转衍射的紧凑型快照光谱成像,相比于棱镜作为分光谱器件的快照式高光谱系统,衍射元件作为分光谱器件的系统,光谱区分更为有规律,且区分的更为清晰。但衍射元件设计的结构更为复杂,不利于加工,而加工误差会影响图像的重建效果。同时该系统对点扩散函数的标定需要很大的空间和极佳的暗室环境,提高了点扩散函数标定的难度,也影响了标定的准确性。而且文中的光谱范围从420nm-660nm,谱段不够广。
发明内容
为了解决背景技术中存在的技术问题,针对传统光谱成像系统结构复杂,光谱信息获取时效性低,旋转衍射中衍射元件结构复杂不易加工,重建效果还有提升空间,点扩散函数标定存在局限性,光谱成像范围不够宽等问题,本发明采用了基于衍射的光谱编码成像系统和方法。
本发明的目的是利用对衍射元件的特殊编码替代传统光谱成像系统的光学透镜和分光元件,将目标场景中的光谱及其光强信息在一次曝光时间内同时记录在二维焦平面上,通过对成像系统的光谱标定,获得每个谱段的点扩散函数,并通过图像反卷积及神经网络迭代重建,获得目标场景的图像和光谱信息。
为达到以上目的,本发明采用以下技术方案:
本发明包括如下步骤:
一、一种基于衍射的光谱编码成像系统
系统包括编码的衍射元件、探测器、光学支架和光学导轨;在光学导轨上依次放置编码的衍射元件和探测器,编码的衍射元件和探测器的中心均在同一水平面上,编码的衍射元件和探测器与光学导轨之间分别通过各自的光学支架进行连接;利用光谱编码成像系统采集光谱图像完成光谱图像采集实验,获得光谱混叠图像。
所述编码的衍射元件为将衍射元件通过相长干涉波长排布方式进行处理后获得。
所述相长干涉波长排布方式具体为:
在衍射元件工作的波长范围中选择所需波长范围[λ
然后,将所需波长范围[λ
二、一种基于衍射的光谱编码成像方法
方法包括以下步骤:
(1)利用相长干涉波长排布方式获得编码的衍射元件;
(2)搭建标定点扩散函数的成像系统;
(3)利用标定点扩散函数的成像系统进行光谱标定实验和光谱图像采集实验分别获得不同波段的点扩散函数和光谱混叠图像;
(4)根据不同波段的点扩散函数,利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像。
所述步骤(1)具体为:
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λ
(1.2)将所需波长范围[λ
(1.3)根据相长干涉波长排布方式,利用衍射成像的原理对衍射元件进行编码,获得编码的衍射元件。
所述步骤(2)具体为:
标定点扩散函数的成像系统包括点光源、平行光管、滤光片、编码的衍射元件、探测器、光学支架和光学导轨;在光学导轨上依次放置点光源、平行光管、滤光片、编码的衍射元件和探测器且点光源、平行光管、滤光片、编码的衍射元件和探测器的中心均在同一水平面上,点光源、平行光管、滤光片、编码的衍射元件和探测器与光学导轨之间分别通过各自的光学支架进行连接;
所述步骤(3)具体为:
(3.1)更换不同波段的滤光片进行光谱标定实验,获取不同波段各自的点扩散函数;
(3.2)将标定点扩散函数的成像系统中的点光源和滤光片撤去并形成光谱编码成像系统,利用光谱编码成像系统采集光谱图像完成光谱图像采集实验,获得光谱混叠图像。
所述步骤(4)具体为:
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置:
其中,I
将在波长λ下第l+1次迭代后光谱混叠复原图像
其中,ε是梯度下降的步长,T表示对矩阵进行转置,I
其中,在波长λ下第l次迭代后的光谱优化变量V
所述步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置:
其中,λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长,r表示极径,θ表示极角,λ
所述步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置:
Δφ=2πn
其中,Δφ表示光线从衍射元件不同位置入射,会聚在像面中心位置的光程差,h
本发明的有益效果:
本发明方法整体结构只需一片具有编码的衍射元件和一块彩色CMOS探测器,很大程度上实现了光谱成像系统的小型化和轻量化。
本发明方法获取图像和光谱信息在一次曝光时间内完成,具有时效性。
本发明将离散的采样波长分布在半圆上,相比于分布在120度的扇形或者90度的扇形上,标定出psf之间的差异更大,更利于重建效果的提升;同时离散的采样波长中心对称的设计也有利于重建的鲁棒。
本发明离散化的分布抹去了连续变化的细微差异,更利于编码衍射元件的加工制造。
整个系统最大的谱段范围可以从380nm-900nm,谱段更广,适用范围更大。
附图说明
图1为光谱编码成像系统的整体示意图。
图2为标定点扩散函数的成像系统示意图。
图3为本发明框架流程示意图。
图4为本发明具体流程示意图。
图5为离散的相长干涉波长排布方式示意图。
图6为编码的衍射元件示意图。
图7为标定的点扩散函数图像。
图8为Unet的神经网络结构示意图。
图9为高光谱图像重建网络算法示意图。
图10为光谱混叠复原图像的示例图。
图中:1、编码的衍射元件,2、探测器,3、点光源,4、平行光管,5、滤光片,6、光学支架,7、光学导轨。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明针对高光谱成像系统结构庞大复杂,光谱信息获取时效性低,旋转衍射中衍射元件结构复杂不易加工,重建效果还有提升空间,点扩散函数标定存在局限性,光谱成像范围不够宽等问题采用了基于衍射的光谱编码成像系统。利用对衍射元件的特殊编码替代传统光谱成像系统的光学透镜和分光元件,将目标场景中的光谱及其光强信息在一次曝光时间内同时记录在二维焦平面上,通过对成像系统的光谱标定,获得每个波段的点扩散函数,并通过高光谱图像重建网络算法迭代重建,提取光谱混叠图像的光谱信息,获得不同波段下的高光谱图像。
如图1所示,系统包括编码的衍射元件1、探测器2、光学支架6和光学导轨7;在光学导轨7上依次放置编码的衍射元件1和探测器2,编码的衍射元件1和探测器2的中心均在同一水平面上,编码的衍射元件1和探测器2与光学导轨7之间分别通过各自的光学支架6进行连接;利用光谱编码成像系统采集光谱图像完成光谱图像采集实验,获得光谱混叠图像。
编码的衍射元件1为将衍射元件通过相长干涉波长排布方式进行处理后获得。
相长干涉波长排布方式具体为:
在衍射元件工作的波长范围中选择所需波长范围[λ
然后,将所需波长范围[λ
如图3和图4所示,方法包括如下步骤:
(1)利用相长干涉波长排布方式获得编码的衍射元件;
步骤(1)具体为:
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λ
(1.2)将所需波长范围[λ
步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置:
其中,λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长,r表示极径,θ表示极角,λ
(1.3)根据相长干涉波长排布方式,利用衍射成像的原理对衍射元件进行编码,获得编码的衍射元件1,如图6所示。
步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置:
Δφ=2πn
其中,Δφ表示光线从衍射元件不同位置入射,会聚在像面中心位置的光程差,h
(2)搭建标定点扩散函数的成像系统;
步骤(2)具体为:
如图2所示,标定点扩散函数的成像系统包括点光源3、平行光管4、滤光片5、编码的衍射元件1、探测器2、光学支架6和光学导轨7;在光学导轨7上依次放置点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2且点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2的中心均在同一水平面上,点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2与光学导轨7之间分别通过各自的光学支架6进行连接;
标定点扩散函数的成像系统是在点光源装置上改进而成,点光源装置包括点光源3、平行光管4和探测器2;在光学导轨7上依次放置点光源3、平行光管4和探测器2,点光源3和平行光管4与光学导轨7之间分别通过各自的光学支架6进行连接,点光源3、平行光管4和探测器2的中心均在同一水平面上,具体实施中,探测器为CMOS传感器;点光源1经过平行光管4后在探测器2上形成光点且光点的大小小于一个像素大小,像素大小为5μm*5μm。
(3)利用标定点扩散函数的成像系统进行光谱标定实验和光谱图像采集实验分别获得不同波段的点扩散函数和光谱混叠图像;
步骤(3)具体为:
(3.1)更换不同波段的滤光片5进行光谱标定实验,滤光片5用于筛选所需的波段,所需的波段长度为10nm,滤光片5筛选的波长间隔为10nm,探测器2上显示点扩散函数图像,获取不同波段各自的点扩散函数,如图7所示。从图7中看出,不同波段对应的点扩散函数在形状上相似,但倾斜角度和姿态各不相同。通过步骤1)的操作后可以实现不同波段对应的点扩散函数,进而可以得到不同波长的光谱信息;
(3.2)将标定点扩散函数的成像系统中的点光源3和滤光片5撤去并形成光谱编码成像系统,如图1所示,利用光谱编码成像系统采集光谱图像完成光谱图像采集实验,探测器2获得光谱混叠图像。
(4)根据不同波段的点扩散函数,利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像,如图10所示。高光谱图像为光谱分辨率为10nm的光谱图像。
如图9所示,步骤(4)具体为:
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置:
其中,迭代次数l为0时,在波长λ下第0次迭代后光谱混叠复原图像
将在波长λ下第l+1次迭代后光谱混叠复原图像
其中,ε是梯度下降的步长,T表示对矩阵进行转置,I
其中,在波长λ下第l次迭代后的光谱优化变量V
具体实施中,高光谱图像重建网络算法中对光谱混叠图像的迭代优化的公式通过以下步骤获得:
标定得到不同波段下的点扩散函数,从获得的点扩散函数中重建光谱混叠复原图像的问题可以拆解成两个问题:1)针对某一特定波段的光谱混叠复原图像,是一个已知固定模糊核的非盲复原问题。2)针对全波段信号,是一个叠加图像的拆解问题。
首先建立光谱复原的目标函数:
其中,
然后通过半二次方分裂Half Quadratic Splitting,HQS方法引入光谱优化变量V
其中,
加入光谱优化变量的光谱复原的目标函数第l+1次迭代优化的公式为:
其中,I
在波长λ下第l次迭代后的光谱优化变量V
最后利用梯度下降法对第l+1次迭代后的加入光谱优化变量的光谱复原的目标函数进行求解,获得在波长λ下第l+1次迭代后光谱混叠复原图像
其中,ε是梯度下降的步长,T表示对矩阵进行转置,I
- 一种基于衍射的光谱编码成像系统和方法
- 一种基于衍射的光谱编码成像系统和方法