成像光谱装置

技术领域

本公开涉及光谱遥感成像技术领域，尤其涉及一种成像光谱装置。

背景技术

推扫式成像光谱仪是以多路、连续并具有高光谱分辨率方式获取图像信息的仪器。通过将传统的空间成像技术与地物光谱技术有机地结合在一起，可以实现对同一地区同时获取几十个到几百个波段的地物反射光谱图像。而推扫式成像光谱仪的通道数量是其非常的重要指标，但由于相关技术中推扫式成像光谱仪的通道数量受相机的COMS靶面的尺寸、镜头畸变、像素大小、制作工艺等因素的影响，无法满足不断增长的使用需求。如何增加推扫式成像光谱仪的通道数目是亟待解决的技术问题。

发明内容

有鉴于此，本公开提出了一种成像光谱装置。

根据本公开的一方面，提供了一种成像光谱装置，所述装置包括：控制器、驱动部件、成像模块和处理模块，所述成像模块包括多目相机，每一目相机设置有CMOS靶面，

每个CMOS靶面的条带区域中设置有相互平行且不重叠的多个量子点条带，且所有CMOS靶面上的量子点条带之间相互平行，至少部分量子点条带透过不同波长的入射光；

所述控制器用于控制所述驱动部件进行推扫；

所述驱动部件在所述控制器的控制下驱动所述成像模块进行移动；

所述多目相机，用于在所述成像模块移动的过程中，利用每一目相机拍摄到多个第一图像；

所述处理模块，用于对每一目相机拍摄到的第一图像进行处理，得到高光谱图像，所述高光谱图像的通道数等于所有量子点条带所透过的入射光的波长种类数。

在一种可能的实现方式中，每一目相机的产品参数一致，所有CMOS靶面位于同一平面。

在一种可能的实现方式中，不同CMOS靶面的第一边相互平行，

每个CMOS靶面上的多个量子点条带沿所述CMOS靶面的第二边方向依次设置，每个量子点条带的短边与所述CMOS靶面的第一边垂直，每个量子点条带的短边与所述CMOS靶面的第二边平行或重合，所述第一边与所述第二边相互垂直。

在一种可能的实现方式中，不同CMOS靶面的第二边位于同一直线上。

在一种可能的实现方式中，每个CMOS靶面的条带区域的面积大于或等于所在CMOS靶面面积的50％。

在一种可能的实现方式中，每个CMOS靶面的条带区域自经过CMOS靶面的第二边中点并与第二边垂直的对称轴向所述对称轴的两侧延伸。

在一种可能的实现方式中，每个CMOS靶面上量子点条带的宽度为1μm-200μm。

在一种可能的实现方式中，对每一目相机拍摄到的第一图像进行处理，得到高光谱图像，包括：

根据对应的相机内参数将每一目相机所拍摄到的多个第一图像进行畸变校正；

获取并根据每个第一图像的位姿计算结果，对每个第一图像进行透视变换，得到第二图像；

根据每一目相机的CMOS靶面上设置的多个量子点条带，将每一目相机对应的多个第二图像拼接到一起，得到每一目相机的对应于量子点条带的单条带高光谱图像；

根据确定的不同相机之间的变换矩阵，将所有相机的多个单条带高光谱图像融合在一起形成高光谱图像。

在一种可能的实现方式中，对每一目相机拍摄到的第一图像进行处理，得到高光谱图像，还包括：

对所述多目相机进行参数标定，得到对应于所述多目相机的相机内参数、相机外参数和畸变参数。

在一种可能的实现方式中，所述装置包括推扫式成像光谱装置。

本公开实施例所提供的成像光谱装置，通道数量成倍增长，在克服了COMS靶面的尺寸、镜头畸变、像素大小、制作工艺等因素对通道数量的限制的同时，提高了通道的数量。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的成像光谱装置的结构示意图。

图2示出根据本公开一实施例的成像光谱装置的CMOS靶面的示意图。

图3示出根据本公开一实施例的成像光谱装置中处理模块的工作流程示意图。

图4A、图4B示出根据本公开一实施例的成像光谱装置得到高光谱图像的示意图。

图5示出根据本公开一实施例的成像光谱装置的CMOS靶面的示意图。

图6、图7示出根据本公开一实施例的成像光谱装置的CMOS靶面的示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的成像光谱装置的结构示意图。图2示出根据本公开一实施例的成像光谱装置的CMOS靶面的示意图。本公开实施例提供一种成像光谱装置，如图1所示，该装置包括：控制器10、驱动部件20、成像模块30和处理模块40，所述成像模块30包括多目相机(图中未示出)，每一目相机设置有如图2所示的CMOS靶面31。

每个CMOS靶面31的条带区域中设置有相互平行且不重叠的多个量子点条带32，且所有CMOS靶面31上的量子点条带32之间相互平行，至少部分量子点条带32透过不同波长的入射光。

所述控制器10用于控制所述驱动部件20进行推扫。所述驱动部件20在所述控制器10的控制下驱动所述成像模块30进行移动。所述多目相机，用于在所述成像模块30移动的过程中，利用每一目相机拍摄到多个第一图像。所述处理模块40，用于对每一目相机拍摄到的第一图像进行处理，得到高光谱图像，所述高光谱图像的通道数等于所有量子点条带所透过的入射光的波长种类数。

在本实施例中，量子点条带32可以为由量子点构成的条带，量子点(quantum dot)是在把激子在三个空间方向上束缚住的半导体纳米结构。为使得至少部分量子点条带32透过不同波长的入射光，可以通过调整各量子点条带32中量子点的材料、尺寸等进行设置。

在本实施例中，量子点条带透过的入射光的波长种类越多，所得到的高光谱图像的通道数越多。因此，可以设置各量子点条带32透过不同波长的入射光，保证最大化利用各量子点条带，获得通道数多的高光谱图像。

在本实施例中，在各量子点条带32透过的入射光的波长不同时，所有量子点条带32透过的入射光的波长之间可以具有一定规律，如，相邻的两个量子点条带32透过的入射光的波长之间的差值固定，或差值以线性规律等规律递增等。或者，所有量子点条带32透过的入射光的波长之间也可以没有特定规律，仅每个量子点条带32透过不同波长的入射光。本领域技术人员可以根据实际需要进行设置，本公开对此不作限制。

本公开实施例所提供的成像光谱装置，通道数量成倍增长，在克服了COMS靶面的尺寸、镜头畸变、像素大小、制作工艺等因素对通道数量的限制的同时，提高了通道的数量。

图3示出根据本公开一实施例的成像光谱装置中处理模块的工作流程示意图。图4A、图4B示出根据本公开一实施例的成像光谱装置得到高光谱图像的示意图。在一种可能的实现方式中，如图3所示，处理模块40可以通过执行下述步骤S11-步骤S15完成“对每一目相机拍摄到的第一图像进行处理，得到高光谱图像”。其中，

步骤S11，对所述多目相机进行参数标定，得到对应于所述多目相机的相机内参数、相机外参数和畸变参数。

在该实现方式中，相机外参数可以包括相机之间的位姿关系等参数。相机内参数可以包括与相机自身特性相关的参数，如相机的焦距、像素大小等。畸变参数可以包括表示相机对物体所成的图像相对于物体本身而言的失真程度的参数。通常采用张正友方法利用棋盘格进行相机内参数、相机外参数和畸变参数的标定，其标定过程包括：1)多目相机在不同角度拍摄棋盘格；2)提取多目图像中棋盘格角点；3)多目相机之间通过棋盘格角点进行匹配；4)使用光束平差法(Bundle Adjustment)最小化重投影误差得到相机参数(包括相机内参数、相机外参数和畸变参数)。

其中，步骤S11可以在装置进行下述步骤S12-步骤S15之前预先完成，步骤S11与步骤S12之间所间隔的时间不作限制。

步骤S12，根据对应的相机内参数将每一目相机所拍摄到的多个第一图像进行畸变校正。以使得畸变校正后的第一图像能够与实际所拍摄到的物体本身相一致。

步骤S13，获取并根据每个第一图像的位姿计算结果，对每个第一图像进行透视变换，得到第二图像。

步骤S14，根据每一目相机的CMOS靶面上设置的多个量子点条带，将每一目相机对应的多个第二图像拼接到一起，得到每一目相机的对应于量子点条带的单条带高光谱图像。如图4A、图4B所示，将第1目相机在1、2…m次所拍摄的第二图像1、第二图像2…第二图像m中对应于第1个量子点条带的图像数据“第二图像1-1、第二图像2-1…第二图像m-1”进行拼接，得到对应于第1个量子点条带的单条带高光谱图像1；将第1目相机在1、2…m次所拍摄的第二图像1、第二图像2…第二图像m中对应于第2个量子点条带的图像数据“第二图像1-2、第二图像2-2…第二图像m-2”进行拼接，得到对应于第2个量子点条带的单条带高光谱图像2；…将第1目相机在1、2…m次所拍摄的第二图像1、第二图像2…第二图像m中对应于第n个量子点条带的图像数据“第二图像1-2、第二图像2-2…第二图像m-2”进行拼接，得到对应于第n个量子点条带的单条带高光谱图像n。

基于同样过程，拼接出每一目相机的对应于其量子点条带的单条带高光谱图像，包括：

“第1目相机的对应于第1个量子点条带的单条带高光谱图像1、对应于第2个量子点条带的单条带高光谱图像2…对应于第n个量子点条带的单条带高光谱图像n；

第2目相机的对应于第n+1个量子点条带的单条带高光谱图像n+1、对应于第n+2个量子点条带的单条带高光谱图像n+2…对应于第2n个量子点条带的单条带高光谱图像2n；

…

第k+1目相机的对应于第n×k+1个量子点条带的单条带高光谱图像n×k+1、对应于第n×k+2个量子点条带的单条带高光谱图像n×k+2…对应于第n×n个量子点条带的单条带高光谱图像n×(k+1)。”

步骤S15，可以根据确定的不同相机之间的变换矩阵，将所有相机的多个单条带高光谱图像融合在一起形成高光谱图像。

其中，如图4A所示，可以直接根据确定的不同相机之间的变换矩阵，将所有相机的多个单条带高光谱图像融合在一起形成高光谱图像。

还可以如图4B所示，先将每一目相机的多个单条带高光谱图像拼接在一起，得到每一目相机的单目高光谱图像；而后根据确定的不同相机之间的变换矩阵，将多个单目高光谱图像融合在一起形成高光谱图像。其中，可以先将第1目相机的对应于第1个量子点条带的单条带高光谱图像1、对应于第2个量子点条带的单条带高光谱图像2…对应于第n个量子点条带的单条带高光谱图像n，拼接在一起得到第1目相机的单目高光谱图像；…将第2目相机的对应于第n+1个量子点条带的单条带高光谱图像n+1、对应于第n+2个量子点条带的单条带高光谱图像n+2…对应于第2n个量子点条带的单条带高光谱图像2n，拼接在一起得到第2目相机的单目高光谱图像；…将第k+1目相机的对应于第n×k+1个量子点条带的单条带高光谱图像n×k+1、对应于第n×k+2个量子点条带的单条带高光谱图像n×k+2…对应于第n×n个量子点条带的单条带高光谱图像n×(k+1)，拼接在一起得到第k+1目相机的单目高光谱图像。而后，根据确定的不同相机之间的变换矩阵，将第1目相机的单目高光谱图像、第2目相机的单目高光谱图像…第k+1目相机的单目高光谱图像,融合在一起形成高光谱图像。

在一种可能的实现方式中，CMOS靶面的形状除了图2、图5所示的长方形，还可以是三角形、正方形、其他多边形、圆形或者不规则形状等形状，量子点条带的在COMS靶面中的设置方式可以根据CMOS靶面形状进行设置，同时保证所有量子点条带之间相互平行且所有的CMOS靶面处于同一平面，本领域技术人员可以根据实际需要对量子点条带的在COMS靶面中的设置方式进行设置，本公开对此不作限制。为进一步描述本公开所描述的“所有量子点条带之间相互平行且所有的CMOS靶面处于同一平面”下面以CMOS靶面的形状为长方形作为COMS靶面示例，如图2、图5所示，描述量子点条带的设置方式。

在一种可能的实现方式中，如图2所示，每个CMOS靶面31上的多个量子点条带32沿所述CMOS靶面31的第二边方向(也即如图2所示直线AB所在的方向，直线AB与CMOS靶面31的第二边平行)依次设置，每个量子点条带32的短边与所述CMOS靶面31的第一边垂直，每个量子点条带32的短边与所述CMOS靶面31的第二边平行或重合，所述第一边与所述第二边相互垂直。在一种实现方式中，第一边的长度小于或等于第二边；或者，第一边为CMOS靶面的短边、第二边为CMOS靶面的长边。其中，在CMOS靶面形状为正方形时，第一边为CMOS靶面的一个边、第二边为CMOS靶面的与第一边垂直的一个边。对于其他形状第一边和第二边可以为修改为相互垂直且经过COMS靶面的几何中心或几何重心的两直线。

在该实现方式中，不同量子点条带32的长度可以相同，也可以不同，本公开对此不作限制。

在一种可能的实现方式中，每一目相机的产品参数一致，所有CMOS靶面位于同一平面。这样，可以降低第一图像之间的误差，提高高光谱图像的精度和准确性。

在该实现方式中，可以在上述装置中使用同一厂家、同一型号、同一批次的相机，以使得每一目相机的产品参数尽可能的一致，可以降低第一图像之间的误差，提高高光谱图像的精度和准确性。所有CMOS靶面位于同一平面，使得每个CMOS靶面相对于所需拍摄的对象之间的距离近似或完全相同，可以降低第一图像之间的误差，提高高光谱图像的精度和准确性。

在一种可能的实现方式中，不同CMOS靶面31的第一边相互平行。使得所有的量子点条带32能够平行设置，提高高光谱图像的精度和准确性。

在一种可能的实现方式中，不同CMOS靶面31的第二边位于同一直线上。使得所有的量子点条带32能够在相互平行设置的基础上，近似处于一个条状区域中，提高高光谱图像的精度和准确性。

在一种可能的实现方式中，每个CMOS靶面的条带区域的面积大于所在CMOS靶面面积的50％。

在该实现方式中，由于畸变越大第一图像四周的形变就越大，不同通道(也即量子点条带)之间的第一图像的对准就越难实现，因此可以根据畸变的程度以及第一图像不同通道的对准需求，对条带区域的面积进行设置。并且，由于最终拼接得到高光谱图像的过程中，需要借助第一图像的位姿计算结果进行拼接，而条带区域的面积会影响位姿计算结果的准确性，因此还可以结合位姿计算结果的准确性要求对条带区域的面积进行设置。各CMOS靶面的条带区域的面积可以相同，也可以不同。各CMOS靶面的条带区域的面积在其所在CMOS靶面上的面积占比可以相同，也可以不同。以一个CMOS靶面的条带区域的面积s为例，其可以为所在CMOS靶面的面积S的60％-85％、70％-80％等。也即s∈[0.6*S,0.85*S]，或s∈[0.7*S,0.8*S]。本领域技术人员可以根据实际需要对条带区域的面积进行设置，本公开对此不作限制。

在一种可能的实现方式中，如图2所示，每个CMOS靶面31的条带区域自经过CMOS靶面31的第二边中点并与第二边垂直的对称轴ab向所述对称轴ab的两侧延伸。或者，在CMOS靶面31的形状为如三角形等规则的形状时，每个CMOS靶面31的条带区域自经过CMOS靶面31几何中心的目标直线向所述目标直线的两侧延伸。例如，目标直线可以为如图6所示的经过圆心的直径所在的直线。目标直线可以为如图2所示经过对角线交点的直线。

在一种可能的实现方式中，每个CMOS靶面31上量子点条带32的宽度为1μm-200μm。例如，每个量子点条带32的宽度可以设置为3μm。每个CMOS靶面31上量子点条带32之间的间距可以是大于或等于0μm的任意距离，可以根据每个CMOS靶面31上量子点条带32的数量设置要求、每个量子点条带32的宽度、加工工艺的限制等，对每个CMOS靶面31上量子点条带32之间的间距进行设置，本公开对此不作限制。

举例来说，可以设置量子点条带宽度为15pixel，量子点条带之间的间距约3pixel，条带区域的面积为所在CMOS靶面面积的0.75倍。其中，1pixel的大小为2.9微米。

图5示出根据本公开一实施例的成像光谱装置的CMOS靶面的示意图。在一种可能的实现方式中，如图5所示，每个CMOS靶面31上的多个量子点条带32还可以沿CMOS靶面31的第一边方向(也即如图5所示直线CD所在的方向，直线CD与CMOS靶面31的第一边平行)依次设置，每个量子点条带32的短边与所述CMOS靶面31的第二边垂直，每个量子点条带32的短边与所述CMOS靶面31的第一边平行或重合。相比较而言，如图2所示的量子点条带的排布方式比图5所示的量子点条带排布方式所能设置的量子点条带的数量更多，可以根据量子点条带的数量的需求，选择图2或图5的方式进行量子点条带设置。

图6、图7示出根据本公开一实施例的成像光谱装置的CMOS靶面的示意图。如图6所示，在CMOS靶面的形状为圆形时，每个CMOS靶面31上的多个量子点条带32还可以沿CMOS靶面31的第一直径方向依次设置，每个量子点条带32的短边与所述CMOS靶面31的第二直径垂直。第一直径与第二直径相互垂直。在CMOS靶面的形状为如图7所示的不规则形状时，每个CMOS靶面31上的多个量子点条带32还可以沿CMOS靶面31的第一边k方向依次设置，每个量子点条带32的短边与所述CMOS靶面31的第二边m垂直。第一边k与第二边m相互垂直。对于其他形状的COMS靶面的量子点条带的设置方式，可以参考“长方形COMS靶面”、“圆形COMS靶面”、“不规则形状COMS靶面”中量子点条带的设置方式进行调整，不予赘述。

需要说明的是，尽管以上述实施例作为示例介绍了成像光谱装置如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各部分，只要符合本公开的技术方案即可。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。