多光谱测距/成像传感器阵列和系统

本申请是申请日为2019年8月8日、申请号为201980064450.8、发明名称为“多光谱测距/成像传感器阵列和系统”的发明专利申请的分案申请。

本申请要求以下四个临时申请的利益：2018年8月9日提交的美国申请第62/716,900号；2018年9月4日提交的美国申请第62/726,810号；2018年10月11日提交的美国申请第62/744,540号以及2019年7月23日提交的美国申请第62/877,778号。这些临时申请中的所有四个临时申请的公开内容通过引用并入本文。

背景技术

本公开总体上涉及光学成像系统，并且具体地说，涉及具有被调谐到不同光特性或属性的多个传感器通道并包含可用于测距的传感器通道的传感器系统。

光学成像、检测和测距(LIDAR)系统通过使用脉冲激光照射目标并使用传感器测量反射脉冲来测量到目标的距离。然后可以使用飞行时间测量结果对目标进行数字3D表示。LIDAR系统可用于各种需要使用3D深度图像的应用，包含考古学、地理学、地质学、林业、测绘、建筑、医学成像和军事应用等。自动驾驶车辆还可以将LIDAR用于障碍物检测和避让以及车辆导航。

在如车辆导航等应用中，深度信息(例如，到环境中物体的距离)是非常有用的，但是不足以避让危险并安全地导航。还必须识别特定的物体，例如，交通信号、车道标记、可能与车辆的行驶路径相交的运动物体等。因此，如自动驾驶车辆等系统可以既包含LIDAR系统又包含另一成像系统，如可见光相机，所述可见光相机可以捕获环境光，包含来自环境中物体的反射光以及来自环境中可能存在的任何光源的直接光。每个成像系统(LIDAR和可见光)独立提供含有深度或光谱数据的图像。对于某些应用，有益的是，例如通过执行图像配准以识别同一物体在不同图像中的位置，使不同图像彼此对准。图像配准可能是一项复杂且计算量大的任务。例如，不同的成像系统可能具有不同的分辨率和/或帧边界，并且独立构造和/或独立控制的成像系统之间的对准可能不准确。

发明内容

本文描述的本发明的某些实施例涉及在同一传感器阵列(可以是例如单片ASIC传感器阵列)中结合了多种传感器通道类型，包含深度通道(例如，LIDAR传感器通道)以及一个或多个不同的环境光传感器通道的多光谱传感器阵列。由于不同类型的通道位于同一传感器阵列中，因此所述通道可以固有地彼此高精度对准。不同的通道可以被调谐(例如，使用光学滤波器)成对具有特定属性的光敏感，所述特定属性如特定波长范围(根据需要可以是宽带或窄带)、特定偏振属性(例如，在某些方向上线性极化、圆形极化等)等。所述传感器阵列可以与成像光学器件组合使用，以生成含有对应于每种通道类型的像素数据的图像。借助于所述传感器阵列中的通道对准，从同一传感器阵列中的不同传感器类型产生的图像彼此“固有地”配准。即，在所述传感器阵列的设计中建立了不同类型像素(或通道)之间的空间关系，并且所述空间关系可用于将来自不同传感器类型的像素数据映射到视野内的同一像素位置上。

在一些实施例中，一些或所有通道可以具有通道专用(或通道类型专用)的补偿性微光学器件，这取决于阵列中通道的位置和/或通道被调谐到的特定波长范围。可以使用这种微光学器件以例如补偿色差、焦平面曲率或体成像光学器件的其它光学属性。

在一些实施例中，可以将不同的环境光传感器通道调谐到不同的重叠波长带(例如，使用具有重叠通带的光学滤波器)，并且可以使用算术逻辑电路基于重叠波长带中的测量结果来确定各种波长带中的光强度。

在一些实施例中，测距/成像系统可以使用多光谱传感器阵列来扫描视野，例如，通过绕横向于行的轴线旋转传感器阵列来扫描视野。在此运动期间，可以通过每种通道类型对空间中的给定位置进行连续成像，从而提供在成像模态(或通道)之间具有固有配准的多光谱图像集。可以选择阵列中的通道的空间关系、成像光学器件的光学属性(例如，体成像光学器件的焦距畸变轮廓)以及相对于传感器阵列的运动(例如，旋转)的成像速率，使得来自不同通道的数据可以轻松地映射到表示视野的均匀像素网格上。

在扫描多光谱传感器阵列的一些实施例中，一行中的两个或更多个环境光传感器通道的组可以具有相同类型的光学滤波器和亚像素大小的光圈，对于所述组中的不同环境光传感器通道，所述光圈的定位不同。基于所述组中的环境光传感器通道的光强度测量结果(例如，光子计数)，可以获得在扫描和/或非扫描方向上具有增加的分辨率的环境光图像。

在一些实施例中，可以提供“2D”(二维)多光谱传感器阵列，其中所述阵列包含多光谱像素的二维布置。每个多光谱像素可以包含深度通道以及一个或多个环境光传感器通道。这种阵列可以用于移动(例如，旋转)测距/成像系统以及用于“静态”系统中，在所述静态系统中，在不移动传感器阵列的情况下完成了视野的成像。

一些实施例涉及一种传感器阵列，其具有布置在多个传感器行中的传感器通道。每个传感器行可以包含测距传感器通道(例如，LIDAR传感器通道)和一个或多个环境光传感器通道的集合。每个环境光传感器通道可以包含光圈(例如，针对通道限定视野)、光电传感器(例如，一个或多个单光子雪崩二极管)、通道专用光学滤波器，所述光学滤波器选择性地使具有通道专有属性(例如，期望的颜色、偏振态等)的光通过。在一些实施例中，一些或所有传感器通道可以包含通道专用微光学元件，以引导具有通道专有属性的光穿过所述光圈并朝向所述光电传感器，以例如补偿可放置在阵列前面的体成像光学器件中的色差。在一些实施例中，所述环境光传感器通道是多光谱通道，所述多光谱通道包含被调谐(例如，使用图案化的光学滤波器)成检测具有不同属性的光的多个光电传感器。在一些实施例中，所述传感器阵列可以包含“混合”传感器通道的2D阵列，所述“混合”传感器通道包含被配置用于深度操作(例如，LIDAR感测)的一组光电传感器和被配置用于感测具有各种特性的环境光的一组或多组其它光电传感器。可以将本文所述类型的传感器阵列结合到光测距/成像系统和/或其它光学系统中。

一些实施例涉及一种光电传感器阵列，其在光圈平面中具有传感器通道的布置和光圈的对应布置。可以使用体光学模块将来自被成像区域的光引导并聚焦到传感器阵列上。如果体光学模块具有弯曲的焦平面，则可以在光圈前面放置处方不同和/或距光圈平面的偏移距离不同的通道专用微光学元件，以校正光圈位置与弯曲的焦平面上的对应位置之间的偏移。类似地，光发射器阵列可以具有多个发射器通道(例如，窄带发射器，其产生可用于LIDAR应用的波长下的光)以及光圈平面中光圈的对应布置。可以使用体光学模块将穿过光圈的发射光引导到被成像的区域中。如果体光学模块具有弯曲的焦平面，则可以在光圈前面放置处方不同和/或距光圈平面的偏移距离不同的通道专用微光学元件，以校正光圈位置与弯曲的焦平面上的对应位置之间的偏移。在这种实施例中，可以例如根据距光圈平面中光轴的径向距离来改变通道专用微光学元件的处方(例如，聚焦力)和/或距光圈平面的相隔距离。这可以提高发光和/或聚光的效率。无论光发射器或传感器的具体特性如何，可以在光接收模块和/或光发送模块中采用用于校正体光学模块的焦平面曲率的通道专用微光学器件。在将不同的通道调谐成发射或接收不同波长的光的一些实施例中，所述通道专用微光学元件可以校正可能存在于体光学模块中的焦平面曲率和色差两者。

一些实施例涉及一种具有传感器行的传感器阵列。每个传感器行包含LIDAR传感器通道和一个或多个(例如，一个、三个、五个、六个或更多个)环境光传感器通道的集合。每个环境光传感器通道包含通道输入光圈、光电传感器和通道专用光学滤波器，所述光学滤波器选择性地将具有通道专有属性的光传递到所述光电传感器。每个环境光传感器通道的光电传感器可以是例如一个或多个光电二极管，如以光子计数模式操作的一个或多个单光子雪崩二极管(SPAD)。在一些实施例中，每个LIDAR传感器通道还可以包含以光子计数模式操作的一个或多个SPAD，并且相同类型的光电传感器可以用于LIDAR传感器通道和环境光传感器通道二者。

在一些实施例中，环境光传感器通道的所述集合可以包含至少两个环境光传感器通道，每个环境光传感器通道具有不同的通道专用光学滤波器。例如，环境光传感器通道的所述集合可以包含：红色通道，在所述红色通道中，所述通道专用光学滤波器选择性地使红光通过；绿色通道，在所述绿色通道中，所述通道专用光学滤波器选择性地使绿光通过；以及蓝色通道，在所述蓝色通道中，所述通道专用光学滤波器选择性地使蓝光通过。作为另一个实例，环境光传感器通道的所述集合包含至少五个不同颜色的通道，其中针对所述至少五个不同颜色的通道中的每一个通道，通道专用光学滤波器选择性地使具有不同波长范围(被称为通带)的光通过。不同的通道专用光学滤波器可以根据需要具有重叠的通带或非重叠的通带，并且特定的光学滤波器可以具有宽泛的通带(例如，整个可见光谱)或狭窄的通带(例如，25nm或更小)，如与典型的发光二极管(LED)的发射光谱相对应的通带。例如，第一颜色通道可以具有选择性地使具有第一波长范围的光通过的第一通道专用光学滤波器，而第二颜色通道具有选择性地使具有第二波长范围的光通过的第二通道专用光学滤波器。所述第二范围可以对应于特定物质的吸收带，并且来自两个颜色通道的数据可以用于识别物质。

在一些实施例中，环境光传感器通道还可以选择性地对除波长以外的光的属性敏感。例如，环境光传感器通道的所述集合可以包含一个或多个偏振通道，在所述一个或多个偏振通道中，所述通道专用光学滤波器选择性地使具有特定偏振属性的光通过。可以组合提供颜色通道和偏振通道，以提供有关环境光的光谱和偏振属性二者的信息。

在一些实施例中，一行的环境光传感器通道可以包含“多光谱”传感器通道，所述“多光谱”传感器通道可以包含多个光电传感器和图案化的光学滤波器，其中所述图案化的光学滤波器的不同部分选择性地将具有不同属性的光传递到所述多光谱传感器通道中的所述光电传感器的不同子集。所述图案化的光学滤波器的所述不同部分可以包含例如使第一波长带中的光通过的第一部分和使第二波长带(可以是部分重叠的波长带)中的光通过的第二部分、使具有特定偏振属性的光通过的部分等。

阵列中的传感器通道可以根据需要进行布置。例如，在其中一个或多个环境光传感器通道的所述集合包含至少两个环境光传感器通道的实施例中，每个环境光传感器通道具有不同的通道专用光学滤波器，给定传感器行中的环境光传感器通道可以以均匀的间距彼此间隔开。给定传感器行中的LIDAR传感器通道可以与所述给定传感器行中最接近的一个环境光传感器通道以均匀的间距间隔开，或以等于所述均匀间距的整数倍的距离间隔开。相邻的传感器行也可以与均匀的间距彼此间隔开。当在扫描操作中使用所述传感器阵列时，这可以允许对物体空间进行均匀采样。

在一些实施例中，所述传感器阵列被制造为单个ASIC。所述ASIC还可以包含其它组件，如安置在所述ASIC内并被配置成存储来自两个或更多个LIDAR传感器通道以及两个或更多个环境光传感器通道的数据的数据缓冲区和/或安置在所述ASIC内并被配置成对存储在所述数据缓冲器中的数据执行图像处理操作的处理电路。

一些实施例涉及一种测距/成像系统，其具有固定基座、可旋转地耦接至所述固定基座的传感器阵列、体光学模块以及控制器。所述传感器阵列可以是包含传感器行的传感器阵列，其中每个传感器行具有LIDAR传感器通道以及具有通道专用光学滤波器的一个或多个环境光传感器通道的集合。所述体光学模块可以安置在所述传感器阵列的前面，并被配置成将入射光聚焦在所述LIDAR传感器通道和所述环境光传感器通道共有的光圈平面上。所述控制器可以使所述传感器阵列的旋转和所述光电传感器的操作同步，使得所述传感器行之一中的所述LIDAR传感器通道和每个环境光传感器通道对相对于所述固定基座的空间中的给定位置进行连续成像。所述控制器还可以被配置成生成多光谱图像像素数据，所述多光谱图像像素数据包含使用所述传感器阵列的所述环境光传感器通道确定的每像素的光强度数据和使用所述传感器阵列的所述LIDAR传感器通道确定的每像素的深度数据。在一些实施例中，给定传感器行中的所述环境光传感器通道以均匀的间距彼此间隔开，并且所述控制器被进一步配置成旋转所述测距/成像系统，使得连续成像操作发生在以与所述均匀的间距相对应的间距角分开的角位置处。给定传感器行中的LIDAR传感器通道可以与所述给定传感器行中最接近的一个环境光传感器通道以均匀的间距间隔开，或以等于所述均匀间距的整数倍的距离间隔开。在一些实施例中，相邻的传感器行也以均匀的间距彼此间隔开。

一些实施例涉及一种传感器阵列，其具有混合传感器像素的二维阵列。每个混合传感器像素可以包含LIDAR传感器通道和一个或多个环境光传感器通道的集合，其中每个环境光传感器通道被调谐成选择性地测量具有传感器专有属性的光的强度。所述传感器阵列还可以包含耦接至所述二维阵列中的每个混合传感器像素的读出电子器件，并且用于每个混合传感器像素的读出电子器件可以包含：定时电路系统，所述定时电路系统耦接至所述LIDAR传感器通道，并且被配置成对光子到达所述LIDAR传感器通道的时间进行计时并将表示光子到达时间的数据存储在存储器中；以及计数器电路系统，所述计数器电路系统耦接至所述环境光传感器通道，并且被配置成对在所述环境光传感器通道处检测到的光子的数量进行计数并将光子计数存储在所述存储器中。

在一些实施例中，混合传感器像素的所述二维阵列被形成为单个ASIC。每个混合传感器像素可以包含光电传感器的平面阵列和图案化的光学滤波器，其中所述图案化的光学滤波器的不同部分选择性地将具有不同属性的光传递到所述平面阵列中的所述光电传感器的不同子集。所述图案化的光学滤波器可以被布置成使得所述光电传感器的第一子集接收在与LIDAR发射器的波长匹配的狭窄通带内的红外光，从而提供所述LIDAR传感器通道，并且所述光电传感器的第二子集接收来自可见光谱的至少一部分的可见光，从而提供所述环境光传感器通道中的一个环境光传感器通道。在一些实施例中，所述光电传感器的所述第一子集位于所述混合传感器像素的像素区域内的中央区域中，而所述光电传感器的所述第二子集位于所述像素区域内的所述中央区域周围的外围区域中。在一些实施例中，所述光电传感器的所述第二子集包含两个或更多个光电传感器，并且所述图案化的光学滤波器被进一步布置成使得所述第二子集中的所述两个或更多个光电传感器中的每一个光电传感器接收具有不同属性的光，如具有不同波长范围或不同偏振属性的光。

在一些实施例中，用于混合传感器通道的所述二维阵列的所述LIDAR传感器通道被形成为第一ASIC，并且所述环境光传感器通道被形成为第二ASIC，所述第二ASIC覆盖在所述第一ASIC上并与其对准。所述第二ASIC中形成有多个光圈，以允许光进入所述LIDAR传感器通道。

一些实施例涉及一种测距/成像系统，其包含具有混合传感器像素的二维阵列的传感器阵列和控制器。每个混合传感器像素可以包含光电传感器的平面阵列和图案化的光学滤波器，其中所述图案化的光学滤波器的不同部分选择性地将具有不同属性的光传递到所述平面阵列中的所述光电传感器的不同子集。所述图案化的光学滤波器可以被布置成使得所述光电传感器的第一子集接收在与LIDAR发射器的波长匹配的狭窄通带内的红外光，从而提供所述LIDAR传感器通道，并且所述光电传感器的第二子集接收来自可见光谱的至少一部分的可见光，从而提供所述环境光传感器通道中的一个环境光传感器通道。所述控制器可以被配置成操作所述LIDAR传感器通道和所述环境光传感器通道，使得所述混合传感器像素之一的所述LIDAR传感器通道和所述环境光传感器通道对视野内的给定位置进行成像。在一些实施例中，所述测距/成像系统还包含发射器，以发射可由所述LIDAR传感器通道检测到的光，并且所述控制器可以被进一步配置成将所述发射器的操作与所述LIDAR传感器通道的操作协调，以确定每个混合传感器像素的深度测量结果。所述控制器还可以被配置成操作所述发射器和所述LIDAR传感器通道以执行对视野的电子扫描，使得所述LIDAR传感器通道中的不同传感器通道在不同的时间对所述视野的不同部分进行成像。

一些实施例涉及一种成像系统，其具有固定基座、可旋转地耦接至所述固定基座的传感器阵列、体光学模块以及控制器。所述传感器阵列可以具有多个传感器行，每个传感器行包含一个或多个环境光传感器通道的集合，其中的每一个环境光传感器通道可以包含通道输入光圈、光电传感器和通道专用光学滤波器，所述光学滤波器选择性地将具有通道专有属性的光传递到所述光电传感器。所述体光学模块可以安置在所述传感器阵列的前面，并被配置成将入射光聚焦在所述环境光传感器通道共有的光圈平面上。所述控制器可以被配置成使所述传感器阵列的旋转和所述光电传感器的操作同步，以生成图像像素数据，所述图像像素数据包含使用所述环境光传感器通道确定的光强度数据。在一些实施例中，一个或多个环境光传感器通道的所述集合包含至少两个环境光传感器通道，其中不同的环境光传感器通道具有不同的通道专用光学滤波器。给定传感器行中的所述环境光传感器通道以均匀的间距彼此间隔开。在一些实施例中，相邻的传感器行也以相同的均匀间距彼此间隔开。这可以促进对视野的均匀采样。在一些实施例中，所述成像系统还可以包含：数据缓冲区，所述数据缓冲区安置在所述ASIC内并被配置成存储来自两个或更多个环境光传感器通道的数据；以及处理电路，所述处理电路安置在所述ASIC内并被配置成对存储在所述数据缓冲器中的数据执行图像处理操作。

一些实施例涉及一种成像系统，所述成像系统包含传感器阵列、体光学模块、控制器和多个通道专用微光学元件。所述传感器阵列可以具有被布置成通过光圈平面中的对应光圈接收光的传感器通道。所述体光学模块可以安置在所述传感器阵列的前面，并被配置成将入射光聚焦在所述光圈平面上,以形成视野的图像。所述控制器可以操作所述传感器阵列以生成用于所述视野的图像数据。所述通道专用微光学元件中的每一个微光学元件可以安置在所述光圈中的不同光圈的前面，并且可以具有针对不同的传感器通道而有所不同的光学处方。所述通道专用微光学元件中的特定微光学元件的光学处方可以至少部分地基于所述体光学模块的光学属性，如色差(对于色选传感器通道)和/或焦平面曲率(在这种情况下，所述光学处方可以是距所述体光学模块的光轴的径向距离的函数)。光学处方可以包含焦距(或聚焦力)和/或相隔距离。

在一些实施例中，所述传感器通道布置在传感器行中，其中每个传感器行包含LIDAR传感器通道和一个或多个环境光传感器通道的集合，其中每个环境光传感器通道包含通道输入光圈、光电传感器和通道专用光学滤波器，所述光学滤波器选择性地将具有通道专有属性的光传递到所述光电传感器。可以针对所述环境光传感器通道中的至少一些环境光传感器通道提供通道专用微光学元件。例如，用于每个环境光传感器通道的所述通道专用微光学元件可以具有至少部分地基于所述通道专用光学滤波器的处方，以例如补偿所述体光学模块的色差。

在一些实施例中，所述传感器通道包含LIDAR传感器通道，并且所述LIDAR传感器通道中的至少一些传感器通道可以具有对应的通道专用微光学元件，所述通道专用微光学元件具有相应的光学处方，所述光学处方部分地基于LIDAR操作波长，并且部分地基于所述体光学模块的光学特性。

一些实施例涉及一种LIDAR发射机装置，其包含发射器阵列、体光学模块和通道专用微光学元件。所述发射器阵列可以具有被布置成通过光圈平面中的对应的多个光圈发射光的多个发射器通道。所述体光学模块可以安置在所述发射器阵列的前面，并被配置成将来自所述光圈平面的光引导到视野中。所述通道专用微光学元件中可以各自安置在所述光圈中的不同光圈的前面，并且可以各自具有针对不同的发射器通道而有所不同的光学处方。所述通道专用微光学元件的所述光学处方可以至少部分地基于所述体光学模块的光学属性。例如，如果所述体光学模块具有弯曲的焦平面，则所述通道专用微光学元件中的每一个元件的光学处方可以补偿所述光圈的位置与所述弯曲的焦平面上的对应位置之间的偏移，例如通过使用每个通道专用微光学元件的光学处方，所述光学处方是所述光圈平面中从所述体光学模块的光轴到对应光圈的径向距离的函数。光学处方可以包含焦距(或聚焦力)和/或相隔距离；因此，安置在不同光圈前面的所述通道专用微光学元件可以具有聚焦力不同和/或距所述光圈平面的相隔距离不同的光学处方。

一些实施例涉及一种扫描成像系统，其用于在扫描方向上提供具有固定分辨率的图像。所述扫描成像系统可以包含传感器阵列、旋转控制系统和体光学模块。所述传感器阵列可以包含布置在两个维度上的传感器通道的集合，其中每个传感器通道都被配置成检测光(具有相同的特性或不同的特性)。所述旋转控制系统可以被配置成使所述传感器阵列在扫描方向上旋转通过一系列角度测量位置，以获得表示视野的图像的数据帧，如根据均匀的角间距在扫描方向上隔开的图像像素的网格。所述体光学模块可以被配置成将光朝向所述传感器阵列聚焦，并且可以具有焦距和焦距畸变轮廓，二者都被调谐到所述传感器通道的所述集合的布置，使得沿所述扫描方向以所述均匀的角间距旋转所述传感器阵列会将光线入射在所述传感器阵列上的位置从一个传感器通道移位到相邻的传感器通道。

传感器通道的所述集合可以包含通道类型的各种组合。例如，传感器通道的所述集合可以包含LIDAR传感器通道的交错网格，其限定了在垂直于所述扫描方向的方向上延伸的列。另外(或可替代地)，传感器通道的所述集合可以包含相对于所述LIDAR传感器通道中的每一个传感器通道沿所述扫描方向安置的一个或多个环境光传感器通道。

在一些实施例中，所述传感器阵列在沿所述扫描方向的相邻传感器通道之间具有固定的间距，并且所述体光学模块具有Fθ焦距畸变轮廓或F tanθ焦距畸变轮廓。

在其它实施例中，所述传感器阵列在相邻的传感器通道之间可以具有可变的距离。例如，如果所述体光学模块的所述焦距畸变轮廓表现出桶形畸变，则所述传感器阵列中相邻传感器通道之间的距离可以从所述传感器阵列的边缘到中心增大。类似地，如果所述体光学模块的所述焦距畸变轮廓表现出枕形畸变，则所述传感器阵列中相邻传感器通道之间的距离可以从所述传感器阵列的边缘到中心减小。这种布置可以提供对物体空间的均匀采样。

一些实施例涉及一种扫描成像系统，其用于在扫描方向上提供具有固定分辨率的图像。所述扫描成像系统可以包含传感器阵列、反射镜子系统和体光学模块。所述传感器阵列可以包含布置在一个或两个维度上的传感器通道的集合，每个传感器通道都被配置成检测光(具有相同的特性或不同的特性)。所述反射镜子系统可以被配置成将来自视野不同部分的光在不同时间引导到所述传感器阵列上，使得所述传感器阵列获得表示所述视野的图像的数据帧，其中所述数据帧可以是例如根据均匀的角间距在所述扫描方向上隔开的图像像素的网格。所述体光学模块可以被配置成将光朝向所述传感器阵列聚焦，并且可以具有焦距和焦距畸变轮廓，二者都被调谐到所述传感器通道的所述集合的布置，使得沿所述扫描方向以所述均匀的角间距旋转所述传感器阵列会将光线入射在所述传感器阵列上的位置从一个传感器通道移位到相邻的传感器通道。

传感器通道的所述集合可以包含通道类型的各种组合。例如，传感器通道的所述集合可以包含LIDAR传感器通道的交错网格，其限定了在垂直于所述扫描方向的方向上延伸的列。另外(或可替代地)，传感器通道的所述集合可以包含相对于所述LIDAR传感器通道中的每一个传感器通道沿所述扫描方向安置的一个或多个环境光传感器通道。

在一些实施例中，所述传感器阵列在沿所述扫描方向的相邻传感器通道之间具有固定的间距，并且所述体光学模块具有Fθ焦距畸变轮廓或F tanθ焦距畸变轮廓。

在其它实施例中，所述传感器阵列在相邻的传感器通道之间可以具有可变的距离。例如，如果所述体光学模块的所述焦距畸变轮廓表现出桶形畸变，则所述传感器阵列中相邻传感器通道之间的距离可以从所述传感器阵列的边缘到中心增大。类似地，如果所述体光学模块的所述焦距畸变轮廓表现出枕形畸变，则所述传感器阵列中相邻传感器通道之间的距离可以从所述传感器阵列的边缘到中心减小。这种布置可以提供对物体空间的均匀采样。

一些实施例涉及一种光栅-扫描成像系统，其用于通过在两个维度上进行扫描来提供具有固定分辨率的图像。所述光栅-扫描成像系统可以包含传感器阵列、光栅扫描机构和体光学模块。所述传感器阵列可以包含布置在一个或两个维度上的传感器通道的集合，其中所述传感器通道中的每一个传感器通道被配置成检测光。所述光栅扫描机构可以被配置成在一个或两个维度上执行光栅扫描，从而将来自视野不同部分的光在不同时间引导到所述传感器阵列上，使得所述传感器阵列获得表示所述视野的图像的数据帧，其中所述数据帧可以是例如根据均匀的间距在两个维度中的每一个维度上均隔开的图像像素的网格，其中所述图像像素网格的两个维度均大于所述传感器阵列的维度。所述体光学模块可以被配置成将光朝向所述传感器阵列聚焦，并且可以具有焦距和焦距畸变轮廓，二者都被调谐到所述传感器通道的所述集合的布置，使得所述传感器阵列均匀地采样所述视野。

在一些实施例中，可以通过在两个维度上移动所述传感器阵列以将所述传感器通道指向所述视野的不同部分来进行光栅扫描。在其它实施例中，所述光栅扫描机构可以包含倾斜镜，所述倾斜镜可在两个维度上移动，以将来自视野不同部分的光在不同时间引导到所述传感器阵列上。

传感器通道的所述集合可以包含通道类型的各种组合。在一些实施例中，所述传感器通道包含LIDAR传感器通道，并且还可以包含各种类型的环境光传感器通道。在其它实施例中，所述传感器通道可以包含一个或多个“混合”传感器通道，其中每个混合传感器通道具有多个光电传感器和图案化的光学滤波器，其中所述图案化的光学滤波器的不同部分选择性地使具有不同属性的光通过，所述图案化的光学滤波器被布置成使得不同的光电传感器接收具有不同属性的光。所述图案化的光学滤波器可以被进一步布置成使得所述多个光电传感器的第一子集接收在与LIDAR发射器的波长匹配的狭窄通带内的红外光，并且所述多个光电传感器的第二子集接收来自可见光谱的至少一部分的可见光。作为另一个实例，混合传感器通道可以包含：LIDAR传感器通道，其安置在第一传感器通道层上；光圈层，其覆盖在所述第一传感器通道层上并且在其中具有光圈以允许光进入所述LIDAR传感器通道；以及环境光传感器通道，其安置在围绕所述光圈的所述光圈层的至少一部分上，每个环境光传感器通道包含光电传感器和光学滤波器，所述光学滤波器选择性地使具有特定属性的光通过，其中用于所述环境光传感器通道中的不同环境光传感器通道的光学滤波器选择性地使具有不同属性的光通过。

在一些实施例中，所述光栅-扫描成像系统的所述传感器阵列在传感器通道之间具有固定间距，并且所述体光学模块具有F tanθ焦距畸变轮廓或Fθ焦距畸变轮廓。

一些实施例涉及一种传感器阵列，其具有多个传感器行、逻辑电路和控制器。每个传感器行可以包含对一系列波长敏感的两个或更多个增强分辨率环境光传感器通道的组，并且所述组中的每个增强分辨率环境光传感器通道可以包含：通道专用输入光圈，其中所述组中不同的增强分辨率环境光传感器通道的通道专用输入光圈暴露通道区域的不同部分；以及光电传感器。所述逻辑电路可以根据来自增强分辨率环境光传感器通道的所述组中的光电传感器的强度数据确定多个亚像素光强度值。所述控制器可以被配置成执行扫描操作，以在不同时间将所述传感器阵列暴露于视野内的不同区域，从而使特定行中的两个或更多个增强分辨率环境光传感器通道的所述组中的每个环境光传感器通道在不同的时间被暴露于所述视野内的同一像素区域。

在一些实施例中，所述组中的每个增强分辨率环境光传感器通道可以包含光学滤波器，所述光学滤波器选择性地使具有特定属性的光通过，所述特定属性对于所述组中的每个增强分辨率环境光传感器通道都是相同的。

在一些实施例中，所述组中不同的增强分辨率环境光传感器通道的光圈所暴露的通道区域的不同部分是所述通道区域的非重叠部分。例如，增强分辨率环境光传感器通道的所述组可以包含四个增强分辨率环境光传感器通道，并且所述非重叠部分可以对应于所述通道区域的不同象限。

在其它实施例中，所述组中不同的增强分辨率环境光传感器通道的光圈所暴露的通道区域的不同部分可以包含所述通道区域的非重叠部分。可以提供算术逻辑电路，以基于来自两个或更多个增强分辨率环境光传感器通道的所述组的传感器数据，对所述通道区域的非重叠部分的集合的强度值进行解码。为了便于解码，所述组中的一个(或多个)增强分辨率环境光传感器通道可以具有可暴露整个通道区域的光圈。

在一些实施例中，每个传感器行进一步包括在空间上与增强分辨率环境光传感器通道的所述组配准的LIDAR传感器通道。在逐行方向和/或横向于所述传感器行的方向上，所述LIDAR传感器通道可以提供具有第一分辨率的深度图像，而所述增强分辨率环境光传感器通道可以提供具有比所述第一分辨率更高的第二分辨率的强度图像。

一些实施例涉及一种扫描成像系统，其包含传感器阵列、算术逻辑电路和控制器。所述传感器阵列可以包含对一系列波长敏感的两个或更多个增强分辨率环境光传感器通道的组，其中的每一个传感器通道可以包含：通道专用输入光圈，其中所述组中不同的增强分辨率环境光传感器通道的通道专用输入光圈暴露通道区域的不同部分；光电传感器；以及两个或更多个寄存器，用于在细分为两个或更多个时间选区的时间间隔内累积来自所述光电传感器的光子计数，其中所述寄存器中的每一个寄存器在所述时间选区中的不同时间选区内累积光子计数。所述算术逻辑电路可以基于累积在所述组中的所有增强分辨率环境光传感器通道的多个寄存器中的光子计数来计算多个亚像素光强度值。所述控制器可以被配置成执行扫描操作，以在不同时间将所述传感器阵列暴露于视野内的不同区域，从而使两个或更多个增强分辨率环境光传感器通道的所述组中的每个环境光传感器通道在不同的时间被暴露于所述视野内的同一像素区域。

在一些实施例中，所述组中的每个增强分辨率环境光传感器通道可以包含光学滤波器，所述光学滤波器选择性地使具有特定属性的光通过，所述特定属性对于所述组中的每个增强分辨率环境光传感器通道都是相同的。

在一些实施例中，所述扫描成像系统还可以包含在空间上与增强分辨率环境光传感器通道的所述组配准的LIDAR传感器通道。在一个或两个维度上，所述LIDAR传感器通道可以提供具有第一分辨率的深度图像，而所述增强分辨率环境光传感器通道可以提供具有比所述第一分辨率更高的第二分辨率的强度图像。

所述组中不同的增强分辨率环境光传感器通道的光圈所暴露的通道区域的不同部分可以包含所述通道区域的重叠和/或非重叠部分。例如，两个或更多个增强分辨率环境光传感器通道的所述组可以包含四个环境光传感器通道，所述两个或更多个寄存器可以包含四个寄存器，并且所述算术逻辑电路可以计算十六个亚像素的光强度值。例如，如果第一个增强分辨率环境光传感器通道的通道专用输入光圈暴露了四分之一的通道区域，并且其中第二个、第三个和第四个增强分辨率环境光传感器通道的相应通道专用输入光圈各自暴露所述四分之一通道区域的不同部分，则十六个亚像素的光强度值可以提供对应于所述通道区域的四乘四栅格。

一些实施例涉及一种具有多个传感器行的传感器阵列。每个传感器行可以包含至少两个环境光传感器通道的集合，并且所述集合中的每个环境光传感器通道可以包含通道输入光圈、光电传感器和通道专用光学滤波器，所述光学滤波器选择性地将具有通道专有属性的光传递到所述光电传感器。每个传感器行中的至少两个环境光传感器通道的所述集合可以包含至少两个重叠的环境光传感器通道，其具有相应的通道专用光学滤波器，光的通道专有属性针对所述通道专用光学滤波器重叠。所述传感器阵列还可以包含算术逻辑电路，所述算术逻辑电路可以将来自三个或更多个环境光传感器通道的信号解码为具有多个非重叠属性的光的相应光强度水平。

在一些实施例中，通道专有属性包含光的波长范围。至少两个重叠的环境光传感器通道的所述集合包含具有第一通道专用光学滤波器的第一颜色通道，所述第一通道专用光学滤波器选择性地使具有第一波长范围的光通过；具有第二通道专用光学滤波器的第二颜色通道，所述第二通道专用光学滤波器选择性地使具有第二波长范围的光通过；以及具有第三通道专用光学滤波器的第三颜色通道，所述第三通道专用光学滤波器选择性地使具有第三波长范围的光通过，其中所述第一波长范围和所述第二波长范围部分地重叠，并且其中所述第三波长范围涵盖所述第一波长范围和所述第二波长范围两者。例如，所述第三波长带可以对应于可见光谱。

在一些实施例中，所述通道专有属性可以是不同的属性，如光的偏振属性。

在一些实施例中，每个传感器行进一步包括LIDAR传感器通道，并且从所述LIDAR传感器通道确定的深度数据可以固有地与从所述环境光传感器通道确定的强度数据配准。

一些实施例涉及一种成像系统，其包含传感器阵列、控制器和算术逻辑电路。所述传感器阵列可以具有多个传感器行。每个传感器行可以包含至少两个环境光传感器通道的集合，其中每个环境光传感器通道包含：通道输入光圈；光电传感器；和通道专用光学滤波器，所述光学滤波器选择性地将具有通道专有属性的光传递到所述光电传感器。每个传感器行中的至少两个环境光传感器通道的所述集合可以包含至少两个重叠的环境光传感器通道，其具有相应的通道专用光学滤波器，光的通道专有属性针对所述通道专用光学滤波器重叠。所述控制器可以操作所述传感器阵列，使得三个或更多个环境光传感器通道中的每一个传感器通道暴露于来自视野的同一部分的光。所述算术逻辑电路可以将来自至少两个重叠的环境光传感器通道的信号解码为具有多个非重叠属性的光的相应光强度水平。

一些实施例涉及一种包含多个传感器通道的传感器阵列，所述多个传感器通道包含多光谱传感器通道。每个多光谱传感器通道可以具有：通道输入光圈；至少三个光电传感器；以及具有至少三个不同部分的图案化的光学滤波器，其中所述图案化的光学滤波器的不同部分选择性地将具有不同属性的光传递到所述至少三个光电传感器的不同子集。所述图案化的光学滤波器的不同部分可以包含将光传递到所述至少三个光电传感器的第一子集的至少第一部分和将光传递到所述至少三个光电传感器的第二子集的第二部分，其中通过所述第一部分和所述第二部分传递的光的相应属性重叠。所述算术逻辑电路可以将来自所述光电传感器的所述第一子集和所述第二子集的信号解码为具有多个非重叠属性的光的相应光强度水平。和其它实施例中一样，所述属性可以包含波长范围和/或偏振属性。

在一些实施例中，所述传感器通道可以包含多个LIDAR传感器通道，其被安置成使得每个LIDAR传感器通道与所述多光谱传感器通道中的不同的多光谱传感器通道一起形成传感器行，并且从所述LIDAR传感器通道确定的深度数据可以固有地与从所述环境光传感器通道确定的数据强度配准。

在一些实施例中，每个多光谱传感器通道可以包含LIDAR光电传感器，并且所述图案化的光学滤波器可以包含第四部分，所述第四部分选择性地将具有与LIDAR发射器相对应的波长的光传递到所述LIDAR光电传感器。

以下详细描述将提供对所要求保护的本发明的性质和优点的更好的理解。

附图说明

图1A和1B示出了根据本文所述的实施例中的一个或多个实施例的可以包含在传感器阵列中的单个微光学传感器通道的简化横截面图。

图2示出了根据本文所述的实施例中的一个或多个实施例的传感器阵列的简化正视图。

图3示出了图2的传感器阵列的传感器行的简化侧视横截面图。

图4示出了根据一个或多个实施例的另一个传感器阵列的简化俯视图。

图5示出了根据一个或多个实施例的另一个传感器阵列的简化俯视图。

图6示出了根据一个或多个实施例的另一个传感器阵列的简化俯视图。

图7示出了可以包含在图6的传感器阵列中的多光谱传感器通道的简化俯视图。

图8示出了图6的传感器阵列的一部分的示意性侧视图。

图9示出了根据本发明的一个实施例的传感器阵列的一部分的简化侧视横截面图。

图10示出了图9的传感器阵列的简化俯视图。

图11示出了在一些实施例中可用于提供环境光强度测量结果的三个滤波器的非重叠通带的实例，

图12示出了在一些实施例中可用于提供带有经编码的光谱信息的环境光强度测量结果的三个滤波器的重叠通带的实例。

图13示出了根据一些实施例的传感器阵列的简化正视图。

图14A和图14B示出了根据一些实施例的具有图案化的光学滤波器的多光谱传感器通道的实例。

图15示出了可以结合图2的传感器阵列的光测距/成像装置的简化侧视图。

图16是根据一个或多个实施例的具有通道专用补偿性微光学器件的传感器阵列的一部分的简化横截面图。

图17是根据一个或多个实施例的具有通道专用补偿性微光学器件的传感器阵列的一部分的简化横截面图。

图18是根据一个或多个实施例的具有通道专用补偿性微光学器件的传感器阵列的一部分的简化横截面图。

图19是根据一个或多个实施例的具有消色差体光学模块的传感器阵列的一部分的简化横截面图。

图20是根据一个或多个实施例的具有消色差体光学模块的另一个传感器阵列的一部分的简化横截面图。

图21示出了根据一个或多个实施例的具有用于校正体光学模块的焦距的每通道微光学器件的传感器模块的实例。

图22示出了根据一个或多个实施例的具有通道专用微光学元件的接收模块的另一个实例。

图23示出了根据一个或多个实施例的具有通道专用微光学元件的发射模块的实例。

图24A和24B是简化概念图，其示出了在使用传感器阵列的扫描系统中指向错误的可能性。

图25是示出根据一个或多个实施例的体光学模块的焦距畸变属性的简化光学图。

图26示出了在扫描系统的一些实施例中可以被量化和约束的像素内指向误差的实例。

图27和28示出了根据一个或多个实施例的用于补偿体光学模块中的镜筒畸变和枕形畸变的传感器通道定位的实例。

图29示出了根据本发明的一个实施例的使用传感器阵列的光栅扫描的实例。

图30示出了不均匀的采样图案，所述不均匀的采样图案可以由使用具有呈现枕形畸变的大块光学器件的阵列进行光栅扫描而得到。

图31A和31B示出了根据一个或多个实施例的旋转成像/LIDAR系统的实例；图31A是简化俯视图，而图31B是简化侧视图。

图32示出了根据一个或多个实施例的旋转成像/LIDAR系统的框图。

图33A和33B示出了根据一个或多个实施例的使用传感器阵列的高光谱成像操作的实例。

图34示出了根据一些实施例的传感器阵列的简化正视图。

图35示出了根据一些实施例的具有空间上编码的亚像素光圈的四个环境光传感器通道的集合。

图36示出了根据一些实施例的具有多个积分寄存器的读出数据路径的简化示意图。

图37示出了根据一些实施例的使用多个积分寄存器的环境光测量。

图38A示出了根据一些实施例的提供空间上编码的亚像素光圈的环境光传感器通道的集合。

图38B示出了使用图38A的环境光传感器通道的时间细分的效果。

图39示出了根据一个或多个实施例的静态成像/LIDAR系统的实例。

图40示出了根据一个或多个实施例的静态成像/LIDAR系统的示例汽车应用。

图41示出了根据一个或多个实施例的静态成像/LIDAR系统的另一个示例汽车应用。

图42示出了根据一个或多个实施例的具有扩展视野的静态成像/LIDAR系统的实例。

图43示出了根据一个或多个实施例的静态成像/LIDAR系统的框图。

图44示出了根据一个或多个实施例的可以使用多光谱测距/成像传感器阵列获取的高光谱图像的实例。

图45示出了已被注释以识别其中所含有的材料的图像的实例。

具体实施方式

1.多光谱传感器阵列

如本文所使用的，多光谱传感器阵列指的是传感器的阵列，其中的每一个传感器被配置成在不同的波长下对视野的一部分(像素)进行成像。来自对同一像素进行成像的不同传感器的数据可以组合在一起以提供图像的多光谱像素。现在将描述多光谱传感器阵列的实例。这些实例说明并体现了与多光谱传感器阵列的构造有关的各种原理和概念。显而易见的是，多光谱传感器阵列的许多其它实施方式是可能的，并且所提供的实例并非旨在进行限制。

1.1.传感器通道的实例

本文描述的多光谱传感器阵列的实例包含由形成或布置在如专用集成电路(ASIC)等单片半导体装置上的传感器通道构成的阵列。图1A示出了可以在多光谱传感器阵列的一些实施例中使用的单个微光学传感器通道100的横截面。传感器通道100容纳可能含有较宽波长范围的光的输入锥，滤除波长的所有选定子集(选定子集取决于特定通道)，并允许光电传感器152(有时被称为“像素”)仅检测或基本上仅检测波长的选定子集内的光子。本发明的实施例不限于传感器通道的特定配置，并且传感器通道100仅仅是可以在传感器阵列200中实施的传感器通道的一个实例。

在一些实施例中，传感器通道100包含输入光圈层110，所述输入光圈层包含光学上透明的光圈112和光学上不透明的停止区域114。如本文所使用的，术语“光学上透明的”是指允许大多数或所有入射光通过的材料。如本文所使用的，术语“光学上不透明的”是指允许很少光或不允许光通过例如反射或吸收表面的材料。光圈112的形状和大小被设置成当被放置在成像光学器件的焦平面处时限定狭窄的视野，下文描述了其实例。光圈层110被配置成接收输入光锥，如输入边缘光线谱线120所示。在实例于下文中进行描述的多光谱传感器阵列中，光圈层110可以包含光学上透明的光圈和光学上不透明的停止区域的阵列，所述阵列构建在单个单片件(如光学上透明的基板)上。在一些实施例中，光圈层110可以由形成停止区域114的光学上不透明的材料形成，并且光圈112可以是层110中的孔或开口。

在一些实施例中，传感器通道100包含光学透镜层130，所述光学透镜层包含以焦距为特征的准直透镜132。准直透镜132可通过其焦距从光圈112和停止区域114的平面偏移，并且与光圈112轴向对准(即，准直透镜的光轴与光圈的中心对准)。以这种方式，准直透镜132可以被配置成使通过光圈112的光线准直，使得光线大致平行于准直透镜132的光轴传播。光学透镜层130可以任选地包含光圈、光学上不透明的区域和管状结构，以减少传感器阵列中附近传感器通道100之间的串扰。

在一些实施例中，传感器通道100包含光学滤波器层140，所述光学滤波器层包含光学滤波器142。在一些实施例中，光学滤波器层140安置在光学透镜层130的检测器侧(与光圈侧相对)。光学滤波器层140可以被配置成以特定的操作波长和通带使法向入射的光子通过。光学滤波器层140可以含有任何数量的光学滤波器142。可以基于传感器通道100的特定实例的预期用途来选择传感器通道100的所述特定实例中的一个或多个光学滤波器，例如，如下文所述。光学滤波器层140可以任选地包含光圈、光学上不透明的区域和管状结构，以减少串扰。

在一些实施例中，传感器通道100包含光电传感器层150，所述光电传感器层包含安置在光学滤波器层140后面的一个或多个单独的光电传感器152。每个光电传感器152可以是能够利用检测器有效区域检测光子的光电传感器，所述检测器有效区域由例如一个或多个标准光电二极管、雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)、RCP(谐振腔光电二极管)、光学纳米天线、微辐射热计或其它合适的光电检测器制成。光电传感器152可以由共同操作以充当单个传感器的几个光子检测器区域(例如，每个不同的SPAD)构成，与单个大光子检测区域相比，所述几个光子检测器区域通常具有更高的动态范围、更快的响应时间或其它有益属性。除了用于任何数量的传感器通道的光电传感器152之外，光电传感器层150还可以包含任选的结构，以提高检测效率并减少与相邻传感器通道的串扰。光电传感器层150可以任选地包含扩散器、会聚透镜、光圈、光学上不透明的管状间隔物结构、光学上不透明的圆锥形间隔物结构等。

杂散光可能是由光学表面的粗糙度、透明介质中的瑕疵、背反射等引起的，并且可能在传感器通道100内或传感器通道100外部的许多特征处产生。杂散光可以沿着不平行于准直透镜132的光轴的路径被引导通过光学滤波器层140；在光圈层110和准直透镜132之间反射；并通常采取可能含有许多反射和折射的任何其它路径或轨迹。如果多个接收器通道彼此相邻地排列，则一个接收器通道中的杂散光可能被另一通道中的光电传感器吸收，从而污染与接收到的光子有关的定位、相位、强度或其它信息。因此，传感器通道100还可以具有减少串扰并增加接收器通道之间信号的结构。此类结构和其它合适的接收器通道的实例描述于2018年5月14日提交的题为“每通道具有多个会聚透镜的成像模块的微光学器件(Micro-optics for Imaging Module with Multiple Converging Lenses perChannel)”的美国专利申请15/979,295中，所述美国专利申请的公开内容出于所有目的通过引用整体并入本文。

可以根据需要修改传感器通道100的组件和布置。通过图示的方式，图1B示出了可以在多光谱传感器阵列的一些实施例中使用的单个微光学传感器通道100的横截面。微光学传感器通道100'通常类似于图1A的微光学传感器通道100，并且部分已被指定了对应的编号。在此实例中，透镜元件132'具有与图1A所示的透镜132不同的配置，其具有朝向光圈的平坦表面和朝向光学滤波器层140的凸面。类似于透镜元件132，透镜元件132'使入射光准直并且将准直的光引导到光学滤波器层140中，如边缘光线所示120。应理解，其它修改也是可能的。例如，除透镜元件之外或代替所述透镜元件，光学透镜层130可以包含光引导件，光学滤波器可以放置在光学透镜层130的光圈侧，等等。作为另一个实例，传感器通道需要包含任何微光学元件，并且可以与具有安置在其上的光学滤波器的光电传感器(或光电传感器的组)一样简单。在某一情况下，可能会在光电传感器的金属层内制造光学滤波器(例如，在下文描述的偏振通道的情况下)。替代性传感器通道配置的另外的实例如下所示。还应理解，同一传感器阵列中的不同传感器通道可以具有不同的配置。

1.2.示例多光谱传感器阵列

在一些实施例中，多光谱传感器阵列结合了在公共基板上制造的一组对准的传感器通道。可以将调谐到不同波长或波长范围的传感器通道(在本文中也被称为“传感器类型”)布置在基板上的不同位置出，并选择位置，使得视野的给定部分可以同时或在不同时间通过不同的传感器通道进行查看。可能存在许多特定的布置；现在将描述实例。

1.2.1.基于行的多光谱传感器阵列

图2示出了根据本发明实施例的传感器阵列200的简化正视图。传感器阵列200可以包含多个LIDAR传感器通道202；此实例示出了十六个LIDAR传感器通道202，但可以包含任何数量的LIDAR传感器通道202。在此实例中，LIDAR传感器通道202以交错的方式布置；然而，这不是必需的，并且在一些实施例中，LIDAR传感器通道202可以布置在单个列中(在此实例中，列平行于图2的左侧所示的z轴延伸)。

在此实例中，每个LIDAR传感器202与传感器阵列200的“行”204关联。(此处的术语“行”用于指示元件的线性或近似线性布置；图2中的行由虚线表示。)除了LIDAR传感器202，传感器阵列200的每行还包含一个或多个环境光传感器通道206。在此实例中，环境光传感器通道206R检测红光，环境光传感器通道206G检测绿光，并且环境光传感器通道206B检测蓝光；然而，可以使用任何数量和组合的环境光传感器通道。下文描述了另外的实例。每行可以包含用于生成多光谱像素的传感器集，并且如传感器阵列200等传感器阵列在本文中被称为“基于行的”或“ID”传感器阵列。

图3示出了图2的传感器阵列200的行204的简化侧视横截面图。传感器阵列200的每个传感器通道206R/G/B，202可以被实施为上述传感器通道100的单独实例。在一些实施例中，不同的传感器通道206R/G/B，202的不同之处在于具有不同的光学滤波器。例如，用于LIDAR传感器通道202的光学滤波器342L可以包含例如布拉格反射器型光学滤波器等，以使具有狭窄通带的LIDAR信令波长下的光通过。用于给定的环境光传感器通道的光学滤波器可以包含带通滤波器，所述带通滤波器使光谱的给定区域内的光通过并阻挡带通区域外的光。例如，对于红光传感器通道206R，光学滤波器342R可以使具有光谱的红色区域中的波长(例如，约620nm到约750nm的波长)的光通过；对于绿光传感器通道206G，光学滤波器342G可以使具有绿色区域中的波长(例如，约495nm到约570nm的波长)的光通过；并且对于蓝光传感器通道206B，光学滤波器342B可以使具有蓝色区域中的波长(例如，约450nm到约495nm的波长)的光通过。本领域技术人员将理解，可以根据需要选择给定颜色的特定带通滤波器，并且不同的实施例可以包含将传感器通道“调谐”到(通过应用适当的光学滤波器)到任何期望的光波长范围，包含不可见光波长，如紫外、近红外(NIR)、短波红外(SWIR)、中波红外(MWIR)或长波红外(LWIR，即热成像)，并且与给定传感器阵列中不同类型的传感器通道相关的不同波长范围可能重叠也可能不重叠。本文所述类型的光学系统可以在300nm到20μm之间的波长范围中操作，前提是选择光学元件以在操作波长下工作，并且光电传感器能够感测在相同波长下的电磁能。适用于此范围内所有波长的材料和传感器在本领域中是已知的，并且应用相同的光学原理(光线光学、折射等)。可以调谐其它环境光传感器通道以检测光的其它属性；实例如下所述。

输入光圈层310可以对应于图1A(或图1B)的输入光圈层110，并且单个输入光圈层310可为传感器阵列200的每个传感器通道206R/G/B，202提供光圈312R/G/B，312L，使得这些光圈位于同一平面上。在一些实施例中，光圈层310可以具有厚度d，并且光圈312R/G/B/L可以形成有锥形开口，使得在光圈层310的出口表面360处，出口光圈的宽度可以比光圈宽，例如，与相应的传感器通道一样宽(如362R/G/B/L所示)。可替代地，锥度的方向可以相反，使得光圈在输入侧最宽并且朝传感器通道变窄。光圈可以遵循由每个通道的边缘光线限定的光线锥，从而限定与通道光学器件332和大块光学元件的数值光圈相匹配的通道的数值光圈，所述大块光学元件将光引导到传感器阵列上(下文将描述其实例)。光圈层310的特定厚度和结构可以根据需要改变。

在一些实施例中，通道专用补偿性微光学元件370R、370G和370B可以直接放置在输入光圈312R/G/B的前面。如前所述，这种通道专用微光学元件可以例如通过补偿系统的大块光学器件中的色差来提供改进的聚光效率。

在一些实施例中，可以使用例如CMOS技术将传感器阵列200制造为单个基板上的单片装置的一部分。单片装置可以包含光电传感器152的阵列以及处理器和存储器(在图2-3中未示出)，用于处理来自传感器阵列200中的各个光电传感器152(或光电传感器152的组)的原始信号。包含传感器阵列200、处理器和存储器的单片装置可以被制造为专用ASIC。在一些实施例中，传感器阵列200可以使用3D堆叠技术来制造，并且可以包含两个或更多个单片装置，每个单片装置被制造在单个基板上并堆叠在一起，电气连接在它们之间运行。顶部单片装置可以包含光电传感器152的阵列，并且被调谐用于实现最佳的光感测，而下面的基板可以包含处理器和存储器并且针对数字逻辑被优化。在一些实施例中，传感器阵列200可以被分成多个单片装置，每个单片装置被优化用于感测光的不同波长(或多个不同波长)，或者被优化用于深度感测与环境光成像；单片装置可以并排布置并与图3所示的传感器阵列的不同通道相关联。在一些实施例中，传感器阵列200还可以包含微光学组件(例如，微光学器件332R/G/B/L和/或通道专用补偿性微光学元件370R/G/B)作为单片结构的一部分。在这种情况下，微光学组件可以与传感器阵列200一起形成在同一ASIC上，或者制造在单独的晶圆基板上，并结合到晶圆级的传感器阵列ASIC上，使得所述微光学组件成为单片结构的一部分，其中传感器通道的每层具有单独的基板层。例如，可以在切割之前将补偿性微光学层、光圈层、准直透镜层、光学滤波器层和光电检测器层堆叠在一起并结合到晶圆级的多个ASIC上。可以通过将不透明的基板放置在透明基板的顶部上或者通过用不透明的膜涂覆透明基板来形成光圈层。在这种实施例中，切割步骤形成多个ASIC，每个ASIC具有直接结合到其上的自身的微光学结构。作为另一个实例，微光学组件可以被形成为单独的单片结构，在通过切割工艺将ASIC与较大的晶圆分开之后，所述单独的单片结构可以直接结合到ASIC上。以这种方式，ASIC和微光学结构可以结合在一起以形成单个单片结构。在又其它实施例中，传感器阵列200的一个或多个组件可以位于单片结构的外部。例如，光圈层310可以被实施为具有针孔的单独的金属片。

在上述实例中，提供了三个环境光通道(分别针对红光、绿光和蓝光进行了调谐)。这是为了便于说明，并且本发明的实施例不限于环境光通道的任何特定数量或组合。在一些实施例中，传感器行可以具有少于三个的环境光通道；例如，传感器行可以具有一个环境光通道，所述环境光通道具有使“白光”通过的光学滤波器(例如，涵盖整个可见光谱)或不具有光学滤波器(在这种情况下，光谱的选择性取决于光电传感器的灵敏度)。在其它实施例中，传感器行可以具有多于三个的环境光通道。通过图示的方式，图4示出了根据本发明的一个实施例的传感器阵列400的简化俯视图，所述传感器阵列具有数量较大的环境光通道，以提供额外的多光谱成像功能。同样，传感器通道的数量和组合是出于说明的目的。

传感器阵列400包含64个LIDAR传感器通道402。在此实例中，LIDAR传感器通道402布置在交错网格中，但这种布置不是必需的。64个LIDAR传感器通道中的三十二个传感器通道具有环境光传感器406的关联行404，但是在其它实施例中，每个LIDAR传感器通道404都可以具有环境光传感器406的关联行。在此实例中，每行中的环境光传感器406包含：八个光谱颜色通道410，每个光谱颜色通道由不同的带通滤波器限定；两个IR带颜色通道412；四个偏振通道414；一件两个超窄的吸收带通道。每个通道可具有如以上文参考图1A或1B所描述的内部结构，并且可以使用上述技术或其它技术来制造传感器阵列400。

可以通过使用适当的带通滤波器作为光学滤波器142来创建光谱颜色通道410。除了红色、绿色和蓝色通道之外，此实例中的光谱颜色通道410还包含被调谐到对应于橙色、黄色、青色、靛蓝和紫色的波长范围的通道。光谱通道的其它实例可以包含红外、紫外和/或白色(例如，广谱)通道，以及被调谐到可见、红外或紫外光谱的任何部分的通道。在一些实施例中，每个光谱颜色通道410可以具有补偿性通道专用微光学元件(类似于图3中的微光学元件370R/G/B)，其光学属性至少部分地基于通道被调谐到的波长范围；通道专用微光学器件的实例如下所述。

IR带颜色通道412可以是附加的光谱颜色通道，其带通滤波器被调谐到光谱的红外部分。在一些实施例中，可能需要避免LIDAR操作频率，以使杂散LIDAR辐射不会与环境IR合并。在一些实施例中，每个IR带颜色通道412可以具有通道专用补偿性微光学元件，其光学属性至少部分基于通道调谐到的波长范围。

代替光学带通滤波器142或除了光学带通滤波器142之外，可以通过使用光学偏振滤波器(如光栅)来创建偏振通道414。通过将不同通道的偏振光学滤波器定向成不同的角度，组414的每个通道中的偏振光学滤波器可以针对线性偏振光被调谐到不同角度。在一个实施例中，四个偏振通道414具有相应的0度、90度、45度和135度的定向。偏振滤波器也可以被调谐到其它形式的偏振，如圆形偏振和/或螺旋偏振。偏振滤波器可以以与带通滤波器相似的方式应用于微光传感器通道200的不同表面，或者偏振滤波器可以被制造为直接位于一个或多个光电传感器152的金属层内的金属光栅。在一些实施例中，每个偏振通道414可以具有通道专用补偿性微光学元件。在一些情况下，例如在偏振通道414不限于特定波长带的情况下，可以省略补偿性微光学元件，或者可以将补偿性微光学元件调谐到所述频带中的中心波长。

吸收带通道416可以各自由窄带光学滤波器限定，所述窄带光学滤波器对应于所关注的特定物质的特征吸收带。在这种情况下，吸收带通道中不存在信号可以被解释为(例如，结合来自其它光谱彩色通道的信息)指示存在吸收所述频带中的光的物质。例如，在一些应用中，这可以有助于区分树叶(例如，树木、草木、其它植物)和其它类别的物体(例如，车辆、建筑物)。通常与树叶相关的叶绿素在IR光谱中具有多个狭窄吸收带，并且吸收带通道可以调谐到这些频带中的一些或全部频带。作为另一个实例，许多气体在短波、中波和长波IR区域中具有吸收带，并且可以将吸收带通道调谐到这些频带，以识别气态大气污染物。由于系统还提供了到物体的距离，因此在进行气体吸收检测时，该距离信息可用于计算穿过大气层进行吸收测量的距离，这有助于确定检测的置信度和/或污染物的浓度。与其它通道一样，在一些实施例中，每个吸收带通道416可以具有通道专用补偿性微光学元件，其光学属性至少部分地基于通道被调谐到的频带。

环境光传感器通道的这些实例是说明性的并且可以修改。应用于传感器或传感器通道的定性环境光应被理解为通常指代用于测量入射光的量(强度)的传感器，所述入射光具有一个或多个特性(例如，波长范围和/或偏振)，通道针对所述一个或多个特性进行调谐。环境光传感器通道不依赖于视野的故意照明(与被设计成检测故意发出的光的LIDAR传感器通道相反)；然而，不排除故意照明(例如，使用汽车前灯或照相机闪光灯)。

传感器阵列的行可以包含LIDAR传感器通道(或多个LIDAR传感器通道，每个传感器通道在不同的波长下操作)，以及任和数量和组合的环境光传感器通道，包含已被调谐到任何期望的颜色或颜色范围的一个或多个可见光传感器通道、一个或多个偏振传感器通道、一个或多个红外光传感器通道、一个或多个紫外光传感器通道、一个或多个吸收带传感器通道等。作为另一个实例，给定行中的环境光传感器通道可以包含两个或更多个传感器通道，所述两个或更多个传感器通道被调谐到相同的波长范围，但具有不同的衰减滤波器，从而允许图像具有更高的动态范围。

进一步地，不需要传感器阵列中的每个LIDAR传感器通道都具有相关联的环境光传感器通道行，或者不需要每行环境光传感器通道都具有相关联的LIDAR传感器通道。如下所述，单行中的LIDAR传感器通道和一组环境光传感器通道的布置可以促进扫描操作期间以各种波长捕获的图像与深度数据之间的配准，但是只要固定并已知了不同传感器通道之间的偏移，就可以使用内插生成多光谱图像像素。

1.2.2.具有多光谱传感器通道的传感器阵列

在上述实施例中，用于多光谱像素的每种传感器类型被提供为单独的传感器通道。也可以在单个传感器通道中组合多种传感器类型。例如，LIDAR传感器通道可以将多个SPAD用作光电传感器，深度测量结果基于在给定时间间隔内触发了多少SPAD。环境光通道可以使用单个SPAD或标准光电二极管，其占据半导体装置的较小区域。因此，一些实施例可以在传感器的行中包含一个或多个“多光谱”传感器通道。

图5示出了根据本发明实施例的结合有多光谱传感器通道的传感器阵列500的简化俯视图。传感器阵列500包含64个LIDAR传感器通道502。在此实例中，LIDAR传感器通道502布置在交错网格中，但这种布置不是必需的。64个LIDAR传感器通道中的三十二个传感器通道具有关联的多光谱传感器通道506，但是在其它实施例中，每个LIDAR传感器通道504都可以具有关联的多光谱传感器通道506。在此实例中，如插图510所示，多光谱传感器通道506可以结合红色传感器512、绿色传感器514、蓝色传感器516、偏振传感器518、520、522和IR带颜色通道524。

在一些实施例中，每个多光谱传感器通道506可以被实施为上文参考图1A或1B所描述的传感器通道的单个实例。光电传感器层150可以包含用于每种类型的待检测的光的不同的光电传感器152。在这种情况下，每个光电传感器152可以是例如具有耦接至电容式充电桶的放大器的标准光电二极管，并使用模数转换器(ADC)进行读出。可替代地，每个光电传感器152可以是具有模拟前端和用于计数光子的积分寄存器的一个或多个SPAD。一个或多个图案化的光学滤波器可用于光学滤波器层140中，以将具有期望属性的光引导到特定的光电传感器152上。可以分别读取每个光电传感器152(使用适当的电子设备)，从而提供多个输出。如本文所使用的，术语“多光谱传感器通道”是指这样一种配置，其中单个光学通道提供针对安置在所述通道中的不同光电传感器的单独的数据输出，所述不同光电传感器中的每一个光电传感器可以被调谐(例如，通过光学滤波器)成检测具有不同特性的光。可以看出，使用多光谱传感器通道可以减少给定的传感器类型集合所消耗的区域。

应当理解，包含在多光谱传感器通道中的传感器类型的特定数量和组合可以与所示的有所不同。例如，多光谱传感器通道可以包含上述的任何或所有环境光传感器类型，包含可见、紫外、红外、偏振、宽带和/或窄带传感器。在一些实施例中，除了一个或多个LIDAR传感器通道(在不同波长下操作)之外，如传感器阵列500等传感器阵列中的行可以包含任何数量的多光谱传感器通道，每个多光谱传感器通道都结合了传感器类型的不同组合。如传感器阵列500等传感器阵列中的行还可以包含一个或多个“单型”环境光传感器通道(如图4所示的传感器通道中的任何一个传感器通道)与一个或多个多光谱传感器通道的组合。

1.2.3.具有混合传感器通道的传感器阵列

在图5的传感器阵列500中，LIDAR(测距)传感器通道与多光谱传感器通道(用于测量环境光)分开。在其它实施例中，传感器阵列可以包含结合了测距(例如，LIDAR)传感器和一个或多个环境光传感器的通道。这种通道在本文中被称为“混合传感器通道”或“混合传感器像素”。

图6示出了根据本发明实施例的结合有混合传感器通道的传感器阵列600的简化俯视图。传感器阵列600包含以直线网格布置的128个混合传感器通道602。应当理解，传感器通道的数量和布置可以改变。

如插图610所示，每个混合传感器通道602可以包含LIDAR光电传感器元件650的集合，以及许多被调谐(例如，使用光学滤波器)成检测具有特定属性的光的环境光光电传感器。在此实例中，环境光光电传感器包含红色传感器612、橙色传感器614、黄色传感器616、绿色传感器618、紫外线传感器620、青色传感器622、紫色传感器624、蓝色传感器626、偏振传感器628、630、632和IR带颜色传感器634。在所示的实例中，LIDAR光电传感器元件650占据混合传感器通道602的通道区域内的中央区域，而环境光光电传感器布置在围绕所述中心区域的通道区域的外围区域中。其它配置也是可能的。

在一些实施例中，与多光谱传感器通道506类似，每个混合传感器通道602可以被实施为上文参考图1A或1B所描述的传感器通道的单个实例。光电传感器层150可以包含用于每种类型的待检测的光的不同的光电传感器152(或光电传感器152的组)。一个或多个图案化的光学滤波器可用于光学滤波器层140中，以将具有期望属性的光引导到特定的光电传感器152(或光电传感器152的组)上。可以使用适当的电子设备分别读取每个光电传感器152(或光电传感器152的组)，从而提供多个输出。

“混合传感器通道”可以理解为多光谱传感器通道的特例，其包含被配置用于确定发射/反射光的飞行时间的光电传感器和相关的读出电路系统以及被配置用于测量光强度的其它光电传感器和相关的读出电路系统。图7示出了混合传感器通道602的简化示意图，其指示了相关的读出电路系统。在此实例中，使用具有耦接至电容式充电桶712-734的放大器的标准光电二极管来实施每个环境光光电传感器612-634。电容式充电桶712-734各自连接至多通道计数器电路系统750，所述多通道计数器电路系统可以确定每个环境光光电传感器612-634检测到的(例如，在快门间隔期间)光子的计数。

可以使用连接至定时电路系统760的SPAD来实施此实例中的LIDAR光电传感器元件650，所述定时电路系统能够定时光子的到达并随时间推移将到达时间存储在光子存储库中，从而实现深度测量。

如上所述，每个混合传感器通道602可以被实施为图1A的传感器通道100(或图1B的传感器通道100')的单独实例。图8是传感器阵列600的一部分的简化示意性侧视图，其示出了通道结构。每个混合传感器通道602具有光圈812(在光圈层810中)、光学层830、滤波器层840和光电传感器层850(为清楚起见在斜视图中示出)。滤波器层840可以包含图案化的滤波器842(为清楚起见在斜视图中示出)，其可以定位在滤波器晶圆上或直接沉积在适当的光电传感器元件顶部上的光电传感器ASIC上。

在操作中，如箭头862所示，光860被引导到光圈812中并传播通过通道602。图案化的滤波器842将具有期望属性的光引导到光电传感器层850中的各个光电传感器852上。如上所述，适当的读出电子器件可用于从LIDAR光电传感器中提取到达时间信息，以及颜色、偏振和/或其它环境光光电传感器中的累积光子计数。

应当理解，包含在混合传感器通道中的传感器类型的特定数量和组合可以与所示的有所不同。例如，除了LIDAR传感器之外，混合传感器通道可以包含上述的任何或所有环境光传感器类型，包含可见、紫外、红外、偏振、宽带和/或窄带传感器。进一步地，尽管传感器阵列600被示为相同传感器通道602的2D阵列，但这不是必需的。混合传感器通道可以包含在1D阵列中或与其它传感器类型并排放置，类似于图4的传感器阵列400或图5的传感器阵列500。传感器通道的布置和配置可以根据需要进行更改。

1.2.4.双平面多光谱传感器阵列

在上述实施例中，假设用于各种通道类型的光电传感器布置在一个平面中。在其它实施例中，不同的光电传感器可以在不同的平面中。

举例来说，图9示出了传感器阵列900的另一个实施例的一部分的简化侧视横截面图。传感器阵列900包含一个或多个LIDAR通道902，其中的每一个LIDAR通道可以是图1A的传感器通道100(或图1B的传感器通道100')的单独实例。LIDAR通道902被制造在ASIC 904上，所述ASIC 904包含用于每个LIDAR通道902的一个或多个光电传感器906。光圈层910覆盖在LIDAR通道902上方，并具有在其中形成的光圈912以将光引导到每个LIDAR通道902中。在这些方面，传感器阵列900可以类似于上述其它实施例。

在此实例中，光圈层910是第二ASIC，所述第二ASIC具有在其顶表面内或顶表面上制造或以其它方式安置的光电传感器916R、916G、916B，所述光电传感器的位置不遮挡光圈912。光电传感器916R/G/B与光圈912位于同一平面，所述光圈可以是用于传感器阵列的体成像光学器件的焦平面。色彩滤波器918R、918G、918B放置在光电传感器916R、916B、916G上，所述色彩滤波器中的每一个色彩滤波器可以是允许在不同波长带(在此实例中为红色、绿色和蓝色)内的光进入的带通滤波器。这种布置提供了环境光传感器通道920R、920G、920B。光圈层910可以电连接至定位在ASIC 904中的读出和/或控制电路系统(例如，处理器和存储器)，如引线键合922示意性所示。(应当理解，引线键合表示必需的；可以替代用于在ASIC之间建立电连接的其它技术，或者两个ASIC可以分别连接至定位在另一装置上的读出和控制电路系统。)

图10示出了传感器阵列900的简化俯视图。传感器阵列900提供了多光谱像素1020的2D阵列。传感器阵列900的大小和尺寸可以根据需要进行更改。如插图1010所示，每个多光谱像素1020可以包含LIDAR传感器通道902和一个或多个环境光传感器通道920。可以在ASIC上制造环境光传感器通道920，所述ASIC覆盖LIDAR传感器通道902并为其提供光圈(如图9所示)。可以提供任何数量和组合的环境光传感器通道920，包含上述特定通道类型中的任何一种(例如，彩色通道，包含红外、可见光和/或紫外通道；偏振通道；窄带吸收通道；等等)。

在一些实施例中，与支持LIDAR传感器通道902的“基础”ASIC 904相比，光圈层ASIC 910可以具有显著更高的光电传感器(或通道)920的密度。例如，LIDAR传感器通道的间隔为100-400μm，并且光圈的直径为30μm。光圈层ASIC 910中的传感器通道(光电传感器或像素)可以明显更小(例如，在1-10μm的大小范围内)，这意味着每个混合像素1020可以包含大量的环境光像素。这可以允许每个多光谱像素和/或在环境光成像通道中比在LIDAR通道中具有更高分辨率的多光谱像素具有更多类型的传感器。

使用光圈层ASIC 910获得的多光谱图像可以包含与光圈912或LIDAR通道902的位置相对应的间隙。在一些实施例中，可以使用内插来填充间隙。

1.2.5.具有经编码的光谱选择通带的多光谱像素

在上述实例中，不同的环境光传感器通道可以包含具有不同通带的光学滤波器。在一些实施例中，用于不同环境光传感器通道的通带通常可以是不重叠的，使得不同的环境光传感器通道采样光谱的不同部分(包含红外光、可见光和/或紫外光)。图11示出了在一些实施例中(例如，在图2的多光谱传感器阵列中)可用于提供环境光强度测量结果的三个滤波器的非重叠通带的实例。在此实例中，“蓝色”(B)滤波器1102具有约425nm到约515nm的通带；“绿色”滤波器(G)1104具有约515nm到约610nm的通带，并且“红色”(R)滤波器1106具有约610nm到约700nm的通带。应当理解，这些范围和边界是说明性的并且可以改变。在一些实施例中，不同滤波器的通带可以具有一些重叠。例如，B滤波器1102可以具有约410nm到约510nm的通带而G滤波器1104可以具有约490nm到约620nm的通带，并且R滤波器1106具有约600nm到约700nm的通带。作为另一个实例，B滤波器1102具有约410nm到约440nm的通带而G滤波器1104具有约490nm到约620nm的通带，并且R滤波器1106具有约600nm到约700nm的通带。其它变化也是可能的。图11中所示的滤波器集合可以提供用于多光谱像素的“R”、“G”和“B”光谱强度测量结果。(这里使用名称R、G和B表示红色、绿色和蓝色，但具有这些名称的光学滤波器的通带不必对应于与任何特定颜色关联的通带。)

在一些实施例中，不同的环境光传感器通道可以具有被选择来编码光谱信息的重叠通带。图12示出了在一些实施例中可用于提供带有经编码的光谱信息的环境光强度测量结果的三个滤波器的重叠通带的实例。在此实例中，第一滤波器1202具有“W”通带，其大致涵盖了整个可见光谱(波长为约425nm到约700nm)。第二滤波器1204具有约425nm到约610nm的“Cb”通带，并且第三滤波器1204具有约515nm到约700nm的“Cr”通带。来自具有图12中所示通带的环境光传感器通道的强度测量结果可以用于从图11的滤波器集合中提取与光谱测量结果相对应的R、G和B光谱信息。例如，如果将来自滤波器1202、1204和1206的强度测量结果分别表示为W、Cb和Cr，则可以将图11中标识的R、G和B频带的强度计算为：

R＝W–Cb (1a)

B＝W-Cr (1b)

G＝W-(R+B)＝Cb+Cr–W (1c)

可以例如使用常规设计的算术逻辑电路来实施这些计算，所述算术逻辑电路可以在与传感器阵列相同的ASIC上制造。

以这种方式，图11的非重叠滤波器集合或图12的频谱编码滤波器结合中的任一个可以可以提供等效的光谱信息。图12的编码方案允许每个通道接收更多的光，这可以提高测量准确度。

图12的滤波器集合可以结合到各种多光谱传感器阵列中。图13示出了根据一些实施例的传感器阵列1300的简化正视图。传感器阵列1300可以类似于图2的传感器阵列200，并且可以包含LIDAR传感器通道202(如上所述)，其中的每一个LIDAR传感器通道可以与包含环境光传感器通道1306a(W通带)、1306b(Cb)通带和1306c(Cr通带)的行1304相关联，其中W、Cb和Cr通带如图12所示限定。可以将来自给定行1304的环境光传感器通道1306a、1306b、1306c的传感器数据提供给实施等式(la)-(lc)以产生R、G和B输出信号的片上算术逻辑电路1310。应当理解，传感器行1304还可以包含其它类型的环境光传感器通道，例如，如上文参考图4所描述的。

也可以在具有多光谱传感器通道或混合传感器通道的传感器阵列中实施频谱编码的通带。图14A示出了根据一些实施例的多光谱传感器通道1400的简化正视图。多光谱传感器通道1400具有图案化的光学滤波器，所述图案化的光学滤波器包含具有W通带的区域1402(如图12所示)、具有Cb通带的区域1404和具有Cr通带的区域1406。在此实例中，区域为正方形，但是特定的滤波器几何形状不是必需的。如上文参考图5所描述的，可以在每个区域的后面放置单独的光电传感器(例如，一个或多个SPAD)。尽管图14A示出了每个通带的三个区域，但应当理解，可以针对给定通带提供任何数量的区域(只要为每个区域提供单独的光电传感器)。

与相同通带相关联的所有光电传感器都可以向同一积分寄存器提供环境光强度测量结果(例如，以表示光子计数的电子信号的形式)。因此，例如，寄存器1412可以累加(或积分)来自区域1402中的光电传感器的光子计数，寄存器1414可以累积来自区域1404中的光电传感器的光子计数，并且寄存器1416可以累积来自区域1406中的光电传感器的光子计数。寄存器1412、1414和1416可以提供累积的光子计数作为输入提供给实施等式(la)-(lc)以产生R、G和B输出信号的片上算术逻辑电路1420。应当理解，多光谱传感器通道1400还可以包含具有不同类型的光学滤波器的其它区域，例如，如上文参考图5所描述的。进一步地，尽管图14A显示具有相同通带的光学滤波器占据通道区域内的连续区域，但这不是必需的。例如，图14B示出了替代的图案化的光学滤波器1400'，其中具有相同通带的区域1402、1404、1406分布在整个通道区域上，这可以可进一步提高测量准确度。如图14A所示，可以将来自与相同类型的光学滤波器相关联的不同光电传感器的强度测量结果(例如，光子计数)累积(或积分)在同一积分寄存器中。

具有光谱编码的通带的光学滤波器的前述实例以及结合了这种滤波器的环境光传感器通道是说明性的，而不是限制性的。可以将光谱编码的通带结合到上述任何多光谱传感器阵列中，包含1D阵列、2D阵列、具有多光谱像素的阵列以及具有混合像素的阵列。本文的实例使用三个通带来编码三个颜色通道，但是应当理解，可以使用具有重叠通带的任何数量的不同光学滤波器来以期望的任何粒度编码光谱信息。该编码技术不限于光的光谱特性。例如，可以使用偏振滤波器(例如，结合非偏振滤波器)以期望的任何粒度对偏振信息进行编码。

应当理解，上述多光谱传感器阵列是说明性的，并且许多变化和修改是可能的。给定的多光谱传感器阵列可以包含深度通道(例如，LIDAR传感器通道或混合传感器通道)、环境光传感器通道、多光谱传感器通道和/或混合传感器通道的任何组合，所述通道组合可以使用上述任何一种技术或其它技术来构建。参考一个实例或实施例描述的组件可以在其它实施例中使用。

2.多光谱传感器阵列的光学器件

上述各种传感器阵列响应于穿过与每个通道相关联的光圈的光而进行操作。在一些实施例中，提供光学系统以将光引导并聚焦到光圈平面上。现在将描述可以与多光谱传感器阵列(例如，传感器阵列200、400、500、600和/或900)结合使用的光学系统和光学元件的实示例。

如本文所使用的，术语一个或多个大块光学器件是指具有焦平面并同时从阵列中的所有微光学通道中传输光或将光传输到所述所有微光学通道中的单个透镜和/或透镜组合件。在一些实施例中，大块光学器件可以具有毫米级或厘米级或更大的大小(例如，直径)，如在可商购的相机透镜和显微镜透镜中使用的大小。在本公开中，术语大块光学器件与术语微光学器件相对，后者是指被提供用于特定传感器通道的光学元件或光学元件阵列。在一些实施例中，微光学器件可以具有与单个传感器通道的大小相对应的单个元件直径(例如，大小为几微米到几毫米的数量级或更小)。一般而言，微光学器件可以针对发射器阵列或传感器通道阵列中的不同发射器和/或不同传感器通道以不同方式修改光，而大块光学器件针对整个阵列修改光。

2.1.体光学模块

可以将多光谱传感器阵列(如上述传感器阵列中的任何一种)结合到如图15所示的光测距/成像装置1500中。光测距/成像装置1500包含光传输(Tx)模块1510和光感测(Rx)模块1540，所述模块可以包含传感器阵列200(或上述任何其它传感器阵列)的实施方式。光传输模块1510和光感测模块1540的配置的另外的实例在以下文献中阐述：于2018年5月14日提交的题为“具有亮度增强的光学成像发射机(Optical Imaging Transmitter withBrightness Enhancement)”的美国申请第15/979,235和于2018年5月14日提交的题为“在固定窗口后具有对准的微光学器件的旋转LIDAR单元(Spinning LIDAR Unit with Micro-optics Aligned behind Stationary Window)”的美国申请第15/979,266号，出于所有目的，所述美国申请中的每一个申请的公开内容均通过引用整体并入本文。

如图15所示，Tx模块1510可以包含Tx侧微光学封装件1520和大块光学元件1530。Tx侧微光学封装件1520包含多个光发射器1522，并且任选地包含微透镜层1524和光圈层1526。发射器1522可以布置在发射机通道(例如，在框状区域中示出的通道1525)的一维或二维阵列中。所述发射器通道中的每一个发射机通道具有一个或多个能够发射窄带光的发射器1522(例如，近红外(NIR)竖直腔半导体激光器(VCSEL)等)以及来自透镜层1524的微透镜和来自光圈层1526的光圈。

在操作中，Tx模块1510通过例如将窄带光(例如，具有例如10nm、2nm、1nm、0.5nm、0.25nm或更小的光谱宽度的NIR光)的脉冲发送到一个或多个视野中来提供LIDAR系统周围区域中的物体的主动照明。Rx模块1540(具体地说，其LIDAR传感器通道202)检测被场景中的物体反射的透射的窄带光的反射部分。同时，Rx模块1540的每个环境光感测通道206R/G/B可以检测其特定波长带中的环境光。

从每个发射机发出的光在其接近Tx侧微光学透镜层1524的微光学器件之一时发散。来自微透镜层1524的微透镜捕获正在发散的光并将其重新聚焦到与光圈层1526中的光圈一致的焦平面上，所述光圈层包含光圈阵列，光圈阵列原位对应于微光学器件阵列和发射器阵列。光圈阵列1526可以减少系统中的串扰。在离开微透镜之后，聚焦的光再次以圆锥体的形式发散，然后遇到Tx侧体成像光学模块1530。在一些实施例中，微透镜层1524和Tx侧体成像光学模块1530之间的间隔等于它们的焦距之和，使得聚焦在光圈阵列1526上的光在Tx侧体成像光学模块1530的输出处显示为准直光，其中每个准直的光束以不同的主光线角离开Tx侧体成像光学模块1530。因此，来自每个发射器的光被引导到正在前面的不同视野。在一些实施例中，Tx侧体成像光学器件1530在透镜的成像侧(即发射器侧)上是远心的，即，对于图像平面(即发射器平面)上的每个位置，体成像光学器件1530的像侧上的主光线基本上彼此平行并且垂直于所述图像平面。在这种配置中，发射器阵列有利地用作远心光源，即，光学器件捕获由发射器阵列产生的基本上所有的光，甚至捕获从阵列的外边缘上的发射器发出的光。如果没有远心设计，则可能会减少由外部发射器捕获的光，因为只有发射的光线锥中与透镜的倾斜光线锥一致的一部分才会被透镜捕获。Rx模块1540的LIDAR感测通道202可以被布置成匹配Tx侧微光学封装件1520，其中LIDAR传感器通道202对应于每个微光学发射机通道1525。

Rx模块1540包含Rx侧体成像光学模块1560和传感器阵列200。发射光中从场中物体反射回来的部分(如光线1505所示)从多个方向进入Rx侧体成像光学模块1560。Rx侧体成像光学模块1560可以包含单个单透镜或多透镜组，所述单个单透镜或多透镜组将光线1505聚焦在与Rx侧输入光圈层310一致的平面上，从而使光进入LIDAR传感器通道202。在一些实施例中，Rx模块1540包含用于每个发射器1522的LIDAR传感器通道，其中每个单独的LIDAR传感器通道202的视野匹配其相应的发射器1522的视野。

Rx侧体成像光学模块1560也可以收集环境光。如本文所使用的，“环境”光是指可以在环境中传播并且并非源自Tx模块1510的任何光线。环境光可以包含来自碰巧存在于环境中的任何光源(例如，太阳、人造照明设备、交通信号灯等)的直接光，以及已被环境中的物体反射或散射的光(例如，从路标、车辆、路面、树木等反射的光)。环境光可以沿任何方向传播，并且恰好在与光线1505相似的方向上传播的环境光可以进入并穿过Rx侧体成像光学模块1560。

2.2.每通道补偿性微光学器件

在一些实施例中，Rx侧体成像光学模块1560可以被设计为单色透镜(单个透镜或透镜组)，所述单色透镜被优化成将特定的狭窄波长带(例如，LIDAR操作波长)聚焦到目标平面(例如，输入光圈平面310)上。Rx侧体成像光学模块1560可以表现出色差(即，取决于波长的焦距)。这可能会降低环境光传感器通道的收集效率：如果具有色差的Rx侧体成像光学模块1560的实施方式将LIDAR操作波长的光聚焦到输入光圈平面310上，则LIDAR操作波长以外的其它波长的光将不会聚焦到输入光圈层310上，并且其中的一些光会被光圈阻挡，而不是进入环境光传感器通道206R/G/B。进一步地，由于该效应而损耗的光的量将取决于波长，这可能会使成像数据的分析复杂化。另外，这些通道的空间分辨率将降低(视野会更大且清晰度不高，即“模糊”)，因为光圈310不在其波长带的焦平面上，或者因为单色透镜无法提供带外光的小聚焦点。

因此，传感器阵列200(或本文描述的其它多光谱传感器阵列)的一些实施例包含通道专用补偿性微光学器件，可以将所述通道专用补偿性微光学器件放置在输入光圈平面的前面，以实现更有效的光捕获。图16是传感器阵列200的一部分的简化横截面图，其具有说明入射光的行为的注释。(在此实例中，光圈的锥形相对于图3是相反的，从而在光圈层310的底表面360处示出了光圈312R/G/B/L。然而，无论光圈平面的确切位置如何，都适用相同的原理。)

在图16的实例中，虚线示出了色差的影响。通道206R、206G和206B上的会聚虚线示出了已经由具有色差的大块光学器件(例如，图15的Rx侧体成像光学模块1560)聚焦的红色、绿色和蓝色光线的相应的边缘光线。可以看出，LIDAR光线1620L会聚在光圈平面360上；然而，较短波长的光(在此实例中为可见光)会聚在光圈平面360的前面，其距离取决于波长。因此，在此实例中，红光的焦点1612R在输入光圈312R的稍微前面的位置，绿光的焦点1612G在输入光圈312G的靠前的位置，并且蓝光的焦点1612B在输入光圈312B的更靠前的位置。在没有矫正光学器件的情况下，聚焦的红色、绿色和蓝色光线(虚线)将在到达光圈平面360之前发散，从而导致光圈312R、312G和312B处的光损耗程度不同。

在一些实施例中，通道专用补偿性微光学器件可以用于校正这种影响。例如，如图16所示，第一个补偿性微光学器件(在此实例中为第一平凹透镜1650R)放置在光圈层310的前面，与红色通道206R的开口362R对准。平凹透镜1650R具有光学处方(例如，表面曲率或焦距)，所述光学处方减小了入射光的发散，从而将红光的焦点从未校正的焦点1612R移位到光圈312R。第二个补偿性微光学器件(在此实例中为第二平凹透镜1650G)与开口362G对准。与平凹透镜1650R相比，平凹透镜1650G具有的处方更强烈地减小入射光的发散，从而将绿光的焦点从未校正的焦点1612G移位到光圈312G。第三个补偿性微光学器件(在此实例中为第三平凹透镜1650B)与开口362B对准。与平凹透镜1650G相比，平凹透镜1650B具有的处方更强烈地减小入射光的发散，从而将蓝光的焦点从未校正的焦点1612B移位到光圈312B。应当理解，在此实例中，平凹透镜1650R、1650G、1650B中的每一个透镜具有针对不同波长(或波长范围)而优化的不同处方，对应的传感器通道206R、206G、206B被调谐到所述不同波长(或波长范围)以进行检测。在此实例中，没有针对LIDAR通道202提供补偿性微光学器件，因为Rx侧体成像模块1560已经将LIDAR操作波长的光聚焦到光圈312L中。

在其它实施例中，Rx侧体成像模块将光聚焦到输入光圈平面上的特定波长可以是不同的。通过图示的方式，图17示出了针对一个实施例的通道专用补偿性微光学器件的实例，在所述实施例中，具有色差的Rx侧体成像模块1560将蓝光聚焦到光圈平面360上。在此实例中，蓝色通道202B不使用任何补偿性微光学器件，但是在没有补偿性微光学器件(由于色差)的情况下，针对其它通道的期望的光波长的焦点将位于光圈平面360之外，从而再次导致与波长有关的光损耗量和空间选择性。为了对此进行补偿，可以将通道专用补偿性微光学器件(在此实例中为平凸透镜1750R、1750G和1750L)放置在红色通道206R、绿色通道206G和LIDAR通道202的通道开口前面。在此实例中，平凸透镜的处方增加了入射光的发散，从而使焦点在朝向光圈平面360的方向上移位，使得对于给定的传感器通道，传感器通道被调谐到的颜色的光的焦点与光圈平面360一致。如前面的实例所示，每个通道的通道专用补偿性微光学器件具有不同的处方，可将特定通道的焦点移到光圈平面360上。

在图16和17的实例中，光被聚焦到光圈平面上，然后通过传感器通道内的光学元件准直(例如，如图1A或1B所示)。另一个选项是提供环境光通道的通道专用补偿性微光学元件，所述元件使通道专用波长下的光准直。图18示出了具有可以在一些实施例中使用的准直型通道专用补偿性微光学器件的传感器阵列1800的实例。在此实例中，基板阵列1800通常类似于基板阵列200，但用于每个环境光通道的光圈1812R、1812G、1812B基本上与通道一样宽。(例如，如图所示，用于LIDAR通道1802的光圈1812L可以更窄。)在这种布置中，可以省略至少用于环境光通道1806R、1806G、1806B的光学元件132(在图1A或1B中示出)，所述环境光通道以其它方式类似于上述环境光通道206R、206G、206B。应当注意的是，利用这种布置，可以使环境光通道1806R、1806G、1806B比LIDAR通道1802更小且封装得更紧密。在环境光通道中，狭窄的通道宽度可以提供空间选择性而不需要比通道宽度窄的光圈；然而，准直角将更大，这导致带通滤波器的宽度的下限增大。

与图16的实例类似，Rx侧体成像模块1560将LIDAR操作波长的光(光线1822L)聚焦到光圈1812L中。如虚线所示，较短波长的光聚焦在距后平面1814的不同距离处。平凸透镜1850R、1850G、1850B分别减小了红光、绿光和蓝光的发散，以使期望波长的光在进入通道时准直，如彩色线所示。如以上实例所示，用于不同颜色通道的通道专用补偿性微光学器件具有不同的处方，可补偿入射光的与波长有关的焦距。

这些实例是说明性的而非限制性的。具有色差的Rx侧体成像模块可以适合于将任何期望波长的光聚焦到光圈平面上，并且对其它波长敏感的通道可以具有补偿性微光学器件，在其光圈前放置有波长专用(或通道专用)的正(聚焦)或负(散焦)处方。为了便于组装，可以将传感器阵列中所有通道(或包含此类元件的所有通道)的补偿性微光学元件放置在同一平面上(例如，在光圈层的顶部)。补偿性微光学元件的特定形状可以变化；例如，给定通道的补偿性微光学元件可以包含平凸透镜、平凹透镜、双凸透镜、双凹透镜、凸凹透镜、自由曲面透镜或多个透镜的组合。可以根据需要将不同的形状用于不同的通道类型。如以上实例所示，无需针对给定传感器阵列中的所有传感器通道提供补偿性微光学器件；在一些实施例中，Rx侧体成像模块可以被设计成使得针对传感器通道类型之一的具有期望波长的光聚焦在通道的光圈处。然而，用于Rx侧体成像模块的特定设计不是必需的，并且在一些实施例中，每个传感器通道可以具有通道专用补偿性微光学元件，以补偿系统中的任何像差，例如，在系统含有具有需要校正的光功率的窗口或壳体的情况下。传感器阵列可以包含与给定波长相关联的多个传感器通道，例如，如上所述。在一些实施例中，相同通道类型(例如，波长范围)的不同传感器通道可以被相同地设计，使得每通道类型仅需要确定一次补偿性微光学器件处方。可替代地，由于相对于Rx侧体成像模块，不同的通道位于不同的位置，并且由于光学模块中的像差效应(包含色差)可能取决于距模块光轴的距离，因此可能需要单独设计针对每个通道的补偿性微光学器件。无论如何，可以通过将常规的光学建模技术应用于特定通道设计和Rx侧体成像模块的特定设计来确定给定的通道专用补偿性微光学元件的适当处方。

通道专用补偿性微光学器件可以由任何材料制成，所述材料在相关波长处是光学上透明的。可以使用模制或其它工艺来使微光学器件成形。在一些实施例中，传感器阵列的所有通道的微光学器件可以被制造为具有表面特征(例如，局部凸曲率或凹曲率的区域)的单个结构，所述表面特征限定每通道微光学元件并与单片传感器阵列的其它层组装在一起。进一步地，可以基于大块光学器件的任何光学属性(不限于色差)选择通道专用微光学元件的处方。下文描述了使用通道专用微光学元件来补偿大块光学器件的焦平面曲率的实例。

2.3.消色差大块光学器件

在一些实施例中，可以省略每通道补偿性微光学器件。例如，体光学模块可以具有可忽略的(或没有)色差，使得所有相关波长的光聚焦在相同的光圈平面上。消色差体光学模块对于以下传感器阵列尤其有用：包含多光谱传感器通道的传感器阵列(例如，传感器阵列500)和/或包含混合传感器通道的传感器阵列(例如，传感器阵列600)，以及其中一些光电传感器安置在光圈平面中的传感器阵列(例如，传感器阵列900)。

图19示出了具有消色差体光学模块的系统中的传感器阵列200的实例，所述消色差体光学模块将所有颜色聚焦在光圈平面310中。在此实例中未使用每通道补偿性微光学器件。对于具有宽通带的通道(例如，通道206R/G/B)光学滤波器可以定位在通道中的任何位置处。对于偏振通道(未示出)，可以在堆叠中(例如，在光学滤波器层中)或在一个或多个下面的ASIC光电传感器的金属层中包含一个或多个偏振光栅。

图20示出了具有消色差体光学模块的系统中的传感器阵列2000的另一个实例，所述消色差体光学模块将所有颜色聚焦在光圈平面2010中。在此实例中，LIDAR传感器通道2002和环境光传感器通道2004R、2004G、2004B被制造为并排布置的单独的单片装置。每个传感器通道2002、2004R/G/B都具有定位在同一光圈平面2010中的光圈2012L、2012R/G/B。LIDAR传感器通道2002包含准直光学器件2020。在此实例中，环境光传感器通道2004R/G/B不包含准直光学器件。取而代之的是，可以使用非折射光学器件(例如，光引导件)将光通过通道引导至光电传感器2030R、2030G、2030B。对于宽通带，可以将色彩滤波器放置在通道中的任何位置处。尽管针对具有单个传感器类型的传感器通道示出，但是具有非折射光学器件的通道配置对于多光谱传感器通道(例如，图5的多光谱传感器通道506)或混合传感器通道(例如，图6的混合传感器通道602)也可能有用。

2.4.微光学器件补偿焦平面曲率

上文描述的实例假设(给定波长的)体光学模块将光聚焦到(平坦的)图像平面上，无论光在何处穿过所述体光学模块。在上文示出的实例中(例如，在图19和20中)，图像平面与光圈平面一致。

在一些实施例中，体光学模块可以将给定波长的光聚焦到弯曲表面(被称为“弯曲的焦平面”)而不是平坦平面上。在这种情况下，可以采用类似于上述实例的每通道微光学器件，以补偿每个光圈位置处的弯曲的焦平面与(平坦)光圈平面之间的偏移。图21示出了用于校正可以在一些实施例中使用的体光学模块的焦距的每通道微光学器件的实例。传感器阵列2100具有布置在平面中的一行传感器通道2102。(为了简化说明，示出了一维传感器阵列；应当理解，相同的原理适用于二维传感器阵列。)平面光圈层2104具有光圈2106，其被布置成使得每个光圈2106将光传递至对应的传感器通道2102。在此实例中，体光学模块2108具有由虚线2110表示的弯曲的焦平面。在每个光圈2106前面的是补偿焦平面2110的曲率的通道专用微光学元件2112。例如，每个通道专用微光学元件2112可以具有处方，所述处方校正对应的光圈2106的位置与弯曲的焦平面2110上的对应位置之间的偏移，以便将光聚焦到对应的光圈2106中(而不是在光圈2106的前面或后面)。在此实例中，对于大多数光圈2106，弯曲的焦平面2110上的对应位置在平面光圈层2104的前面，并且对应的通道专用微光学元件2112具有正的聚焦力。在此实例中，不同的通道专用微光学元件2112的聚焦力的大小随着距体光学模块2108的光轴2114的径向距离r而增加。在其它实例(未示出)中，弯曲的焦平面2110可以在一些或所有光圈位置2106处的平面光圈层2104后面，并且任何特定的通道专用微光学元件2112可以根据需要具有正或负的聚焦力。在一些实施例中，体光学模块2108的弯曲的焦平面2110可以与一个或多个传感器通道的光圈平面一致，并且可以省略用于这种传感器通道的通道专用微光学元件2112，或者可以提供具有零聚焦力的微光学元件。

图22示出了具有通道专用微光学元件的接收(Rx)模块2200的另一个实例。Rx模块2200可以类似于上述图15的Rx模块1540，并且可以包含传感器通道类型的任何组合。例如，所有通道2202可以是LIDAR传感器通道，所有通道可以是环境光传感器通道，所有通道2202可以是混合传感器通道，或者可以存在不同传感器通道类型的组合。在此实例中，在光圈平面2206的前面提供了通道专用微光学元件2204，以补偿体光学模块2208的焦平面的曲率。如图21中的实例所示，通道专用微光学元件2204的处方可以是距光轴的径向距离的函数，所述距离对应于体光学模块2208的焦平面的曲率。在此实例中，通道专用微光学元件2204具有随着距光轴的径向距离而增加的正聚焦力；然而，如上所述，一些或所有通道专用微光学元件2204可以具有负或零聚焦力。

在一些实施例中，校正焦距的通道专用微光学元件可以用在LIDAR发射机阵列以及传感器阵列中。图23示出了具有通道专用微光学元件的发射(Tx)模块2300的实例。Tx模块2300可以类似于上述图15的Tx模块1510，并且可以包含发射器通道2302的1D或2D阵列。在此实例中，提供了通道专用微光学元件2304，以补偿体光学模块2308的焦平面的曲率。如图21和22中的实例所示，通道专用微光学元件2304的处方可以是距光轴的径向距离的函数，所述距离对应于体光学模块2308的焦平面的曲率。

这些实例是说明性的而非限制性的。例如，在上述实例中，通道专用微光学元件的处方(聚焦力)被改变，以补偿大块光学期间的焦平面曲率。在其它实施例中，通过使用具有相同处方以及通道专用微光学元件和光圈平面之间的相隔距离可变的通道专用微光学元件，可以实现类似的每通道补偿；相隔距离可以基于距光轴的径向距离。也可以使用不同处方和相隔距离的组合。

应当理解，补偿体光学模块的焦平面曲率的通道专用微光学元件在除多光谱传感器阵列以外的环境中可能很有用。例如，不包含环境光传感器通道的LIDAR系统也可以受益于与体光学模块的焦平面曲率补偿相关的更清晰的成像。可以将通道专用微光学元件结合到发射机模块、接收器模块或两者中，这取决于针对每个模块提供的大块光学器件的属性。仅具有环境光传感器通道的成像系统也可能会受益，并且发射模块不是必需的。使用通道专用微光学元件来补偿体光学模块的焦平面曲率可以降低体光学模块的成本和/或大小，因为与具有焦平面曲率的体透镜系统相比，没有焦平面曲率的体透镜系统通常更大并且更复杂。

在多光谱传感器阵列(例如，上述实例中的任何一个多光谱传感器阵列)或其中体光学模块表现出色差以及焦平面曲率的其它系统的一些实施例中，任何给定通道的通道专用微光学元件可以被设计成补偿两种效应，以便将给定通道的期望波长的光聚焦到光圈平面上。更普遍地，通道专用微光学元件可以具有被设计成补偿体光学模块的任何光学属性(或光学特性)的处方，所述光学特性会对阵列中不同位置的通道产生不同的影响。

2.5.物体空间的均匀采样

本文所述类型的传感器阵列可以被结合到各种测距/成像系统中，所述测距/成像系统生成由多光谱图像像素构成的图像，每个图像包含从不同类型的传感器获得的数据。通常令人期望的是，这种图像表示传感器系统的视野(也被称为“物体空间”)的均匀采样。具体地说，令人期望的是，限定可以按行和列布置的物体空间中的采样区域的规则“网格”(在本文中被称为“物体空间像素”)，并设计传感器系统及其操作以产生图像像素网格，其中的每一个图像像素网格对应于由传感器阵列中的每种传感器类型成像的单个物体空间像素。在测距/成像系统的一些实施例中，大块光学器件被设计为支持物体空间的这种均匀采样。

2.5.1.静态系统的光学器件

在一些实施例中，可以在“静态”测距/成像系统中使用上述类型的多光谱传感器阵列。这种系统结合了2D传感器阵列(例如，上述传感器阵列600或传感器阵列900)，并在不移动阵列的情况下在传感器阵列的表面上获取图像，如下所述。这种系统中的图像像素可以对应于混合传感器通道(例如，混合传感器通道602)或多光谱像素(例如，多光谱像素1020)。这种阵列可以对物体空间进行均匀采样，前提是体成像光学器件没有局部畸变。在一些实施例中，可能令人期望的是，使用平场焦距畸变轮廓，以使光在整个阵列上聚焦到光圈平面上。

2.5.2.扫描系统的光学器件

在一些实施例中，可以在角度扫描或旋转模式下使用上述类型的多光谱传感器阵列，使得传感器阵列的行中的不同传感器通道对视野中的特定区域进行连续成像(即，从中感测光子)。下文描述了扫描操作的实例。出于描述的目的，假设在扫描操作期间，传感器系统绕横向于行的轴线旋转，并且用作传感器系统的传感器通道旋转不同角度。(应当理解，在不移动传感器阵列的情况下也可以实现扫描行为，例如，通过使用MEMS反射镜在不同的时间将来自物体空间不同区域的光反射到阵列上。)还假设传感器阵列和体光学模块在传感器系统中彼此保持固定关系，使得给定的传感器通道与体成像光学器件的光轴具有固定的空间关系，并穿过体光学模块的相同部分“看见”，无论系统在空间中的定向如何。

为了简化图像分析，通常令人期望的是，扫描传感器系统对物体空间进行均匀采样。在这种情况下，物体空间像素的网格被认为沿着扫描方向布置成行，并沿横向于扫描方向的方向布置成列。在扫描方向上，令人期望的是，当传感器阵列旋转时，同一行中的不同传感器通道(例如，图2的传感器阵列202的相同行204中的所有传感器通道)对相同的物体空间像素进行采样(在一些不同的时间)。如下所述，这可以部分地通过使采样间隔与传感器阵列的旋转相协调来实现。然而，同样重要的是，要避免由于不同传感器通道相对于体光学模块的光轴位置不同而导致的指向错误。因此，在一些实施例中，与扫描传感器系统中的传感器阵列一起使用的体光学模块被设计成在扫描方向和非扫描方向上均提供均匀的采样。

图24A和24B是简化概念图，其示出了在使用传感器阵列的扫描系统中指向错误的可能性。图24A示出了具有均匀间隔的传感器通道2402a-2402d的传感器阵列2400的行，所述传感器通道可以对应于例如图2的传感器阵列200的行204中的传感器通道。每个传感器通道具有穿过大块光学器件2410的通道视野，如虚线所示。椭圆2404a-2404d所表示的均匀间隔的物体空间像素与传感器通道2402a-2402d的通道视野对准。图24B示出了旋转一定角度以使传感器通道2402a大致指向物体空间像素2404b之后的传感器阵列2400。传感器通道2402b指向物体空间像素2404c的左侧，并且传感器通道2402c大致指向物体空间像素2404d。

从图24B中可以看出，存在指向错误。例如，传感器通道2402b的视野不指向物体空间像素2404c，而传感器通道2402c的视野未与物体空间像素2404d精确对准。本文中使用术语“像素内指向误差”来指代标称地指向相同物体空间像素的传感器通道之间的视野差异。(这些差异相对于物体空间像素在“像素内”。)在一些实施例中，令人期望的是，当收集多光谱像素数据时，控制像素内指向误差。

除了像素内指向误差之外，传感器系统还可能具有“像素间指向误差”，这是指物体空间像素在行(扫描)方向或列(非扫描)方向上的不均匀间隔。在扫描传感器系统中，可以通过控制相对于传感器系统的旋转角度的快门间隔(例如，如下所述)并通过限制像素内指向误差来实现扫描方向上像素间隔的均匀性。在非扫描方向上，令人期望的是，沿着列的物体空间像素均匀地间隔，并且物体空间中的列映射到图像空间中的列。在这方面，还应注意，一些传感器阵列(例如，传感器阵列200)可以包含交错的传感器通道(例如，LIDAR通道202)的集合。在这种情况下，可以通过扫描阵列并控制快门间隔以创建列对准来对单列物体空间像素进行成像。例如，在传感器阵列200的情况下，图像的一列可以具有十六个像素，即使十六个传感器通道202不在传感器阵列200的一列中对准。

在一些实施例中，通过提供具有焦距畸变轮廓的体光学模块来实现期望的成像行为，其中，光线的位移与光线的入射角(θ)的切线变化成线性关系。具有这种焦距畸变轮廓的透镜(或透镜系统)通常被称为“F tanθ”透镜(表明图像平面上的位移距离是tanθ的线性函数)或“平场”透镜。对于小角度θ，F tanθ透镜具有以下属性：光线在图像平面(即，传感器阵列)上的位移与光线的入射角(θ)的变化成近似线性关系。在扫描方向上，这提供了减少像素内指向误差的期望行为。在非扫描方向上，这样可以为以间距均匀隔开的传感器行提供均匀的物体空间采样，并且允许物体空间像素的列映射到图像空间像素的列(即使传感器以交错方式布置)。

图25示出了使用F tanθ体光学模块的成像系统的实例。图像平面2502包含以均匀距离p(在被窝中也被称为“线性间距”)分开的一行传感器2504a-g。传感器2504a-g可以是例如上述任何多光谱传感器阵列中的传感器通道的一行(或一行的一部分)，或者是从给定方向检测光子的其它传感器。体光学模块2506定位在图像平面2502上方一定距离f处，其中f是体光学模块2506的焦点。在此实例中，体光学模块2506被表示为单个双凸透镜；然而，应当理解，可以使用其它透镜或多透镜系统。

体光学模块2506可以被设计成将来自视野(或物体空间)的光聚焦到图像平面2502上。例如，光线2520a-2520g指示传感器2504a-2504g的主光线。(应当理解，未示出穿过体光学模块2506的光的实际路径。)

体光学模块2506具有F tanθ焦距畸变轮廓。(本领域技术人员将理解如何创建具有这种轮廓的体光学模块，并且详细说明被省略。)结果，至少对于小角度，光线的入射角的均匀变化导致折射光线与图像平面相交的点移位均匀的距离，而与原始入射角无关。例如，对于光线2520a、2520b，入射角之差为α，并且光线2520a、2520b在图像平面处被线性间距p.分开。光线2520b、2520c的入射角之差也为α，并且对应的折射光线2520b、2520c在图像平面处也被线性间距p.分开。因此，如果图像平面2502和体光学模块2506一起旋转一个角度α，则从点2530a发出的光线2520a将(近似)成为传感器2504b的主光线，而从点2530b发出的光线2520b将(近似)成为传感器2504c的主光线，依此类推。在图像平面处对应于线性间距p的旋转角度a在本文中被称为扫描系统的“角间距”，并且α的值是根据传感器间距p和体光学模块的属性确定的。在扫描测距/成像系统中(体光学模块提供角间距α，使得以角度α扫描系统会导致入射光线移位一个线性间距单位p)，通过以一系列时间步长获取图像，行中的不同传感器通道可以对视野的相同部分进行成像，其中传感器阵列在每个时间步长处以角间距α旋转(或旋转较小的角度，使得α是扫描间距的整数倍)。这种类型的扫描操作的实例在下文中更详细地描述。

使用F tanθ透镜可以将像素内指向误差降低到可忽略的水平，其中可以基于传感器通道的视野大小来量化“可忽略”。图26示出了在扫描系统的一些实施例中可以被量化和约束的像素内指向误差的实例。圆圈2602表示物体空间像素的标称位置；点2604是圆圈2602的中心。圆圈2612(虚线)表示当标称地指向圆圈2602的方向时由特定传感器通道采样的视野。可以看出，圆圈2612的中心点2614从物体空间像素2602的中心2604偏移的偏移量为ε。该偏移量可用于量化像素内指向误差。在一些实施例中，如果传感器行中的任何给定传感器通道的偏移量ε小于通道视野的直径的50％，则像素内指向误差被认为是可忽略的。在其它实施例中，使用更严格的定义，例如，像素内指向误差小于通道视野的直径的10％。可以例如通过对测试图案成像来确定给定的传感器系统是否满足该约束。也可以使用其它定义。

用于扫描传感器系统的大块光学器件还可以在非扫描方向上具有F tanθ焦距畸变轮廓。因此，在图25所示的实例中，传感器2504a-g也可以被理解为对应于上述任何多光谱传感器阵列中的传感器通道的列(或列的一部分)。在传感器通道(例如，图2中的LIDAR传感器通道202)的一些或所有列交错的情况下，在两个方向上均具有F tanθ焦距畸变轮廓的大块光学器件可允许交错的传感器通道列通过扫描操作对物体空间像素的均匀间隔的列进行采样，并允许同一行中的不同传感器通道具有可忽略不计的像素内指向误差。

应注意的是，F tanθ体光学模块在除多光谱传感器阵列之外的环境中可能是有用的。例如，扫描LIDAR传感器阵列可以包含以列布置的交错的LIDAR通道的阵列，其可以以扫描/旋转模式操作以对视野进行成像。于2017年8月24日提交的美国专利申请第15/685,384号(公开为美国专利申请公开第2018/0059222号)描述了这种系统的实例，所述美国专利申请的公开内容通过引用整体并入本文。F tanθ体光学模块可用于提供由交错阵列中不同列中的传感器通道成像的物体空间像素彼此竖直对准(即，在图像空间中的列方向上)和/或提供沿列的采样位置的均匀间隔。

应当理解，用于传感器阵列(仅多光谱或仅LIDAR)的体光学模块不必具有F tanθ焦距畸变轮廓或任何其它特定的焦距畸变轮廓。例如，一些激光扫描系统中使用的透镜具有焦距畸变轮廓，使得位移是θ(而不是tan(θ))的线性函数；这种透镜有时被称为“Fθ”透镜。对于小的入射角θ，tan(θ)大约等于θ，并且Fθ透镜可以提供近似期望的行为。因此，在一些实施例中，大块光学器件可以具有Fθ焦距畸变轮廓。进一步地，在扫描方向和非扫描方向上的焦距畸变轮廓不必相同。

在一些实施例中，可以使用图像处理技术解决由传感器阵列中的不同传感器采样的区域的大小或位置的不均匀性。例如，只要大块光学器件的畸变轮廓不受局部偏差(例如，高频噪声)的影响，图像处理算法就可以解释具有鱼眼畸变等的图像。

可替代地，传感器通道可以以非均匀阵列而不是直线阵列的方式布置，其图案可以补偿大块光学器件的畸变轮廓，从而实现物体空间的均匀采样和一致的指向行为。例如，图27示出了补偿桶形畸变的非均匀阵列图案2750。传感器通道可以放置在例如顶点2752处。(一些顶点2752以红色点突出显示，但是应当理解，传感器通道可以放置在任何顶点2752处)。在此实例中，相邻传感器通道之间的间隔朝着阵列的中心增大。图28示出了补偿枕形畸变的非均匀阵列图案2860。传感器通道可以放置在例如顶点2862处。在此实例中，相邻传感器通道之间的间隔朝着阵列的中心减小。

更普遍地，基于特定大块光学器件的设计，可以映射图像平面中的畸变轮廓，并且可以不均匀地放置传感器通道，使得采样密度在物体空间中是均匀的。(请注意，此技术可能会使传感器阵列的设计和制造复杂化，并且可能要求传感器阵列适合于特定的大块光学器件。)

进一步地，在一些实施例中，可以针对不同的传感器通道分别控制快门间隔，使得不同的传感器通道可以在不同的时间开始和结束给定像素的数据收集。各个快门控制可用于补偿沿扫描方向的特定通道的像素内指向误差。(请注意，这可能会使传感器电子设备的设计复杂化。)

2.5.3.光栅扫描系统的光学器件

在一些实施例中，可以在光栅扫描模式下使用上述类型的多光谱传感器阵列。在光栅扫描模式下，具有相对较少数量的传感器通道的传感器阵列可以在两个方向上扫描视野，以产生像素数大于传感器通道数量的图像。为了方便起见，在此将扫描方向称为“水平”和“竖直”；然而，本领域技术人员将理解，光栅扫描的空间方向是任意的。可以使用包含混合传感器通道(例如，传感器阵列600)或多光谱像素(例如，传感器阵列900)的2D阵列的传感器阵列来执行光栅扫描，或使用也沿逐列方向进行扫描的基于行的扫描传感器阵列(例如，传感器阵列200)来执行光栅扫描。

图29示出了根据本发明的实施例的使用传感器阵列的光栅扫描的实例。传感器阵列2900包含布置在常规传感器网格中的多个传感器通道2902。在此示例中，传感器网格为3x3；然而，尺寸可以根据需要变化。传感器通道2902可以包含上述传感器通道类型中的任何一种。箭头2904指示传感器阵列2900的运动路径。如所指示的，传感器阵列2900可以通过视野2920内的一系列成像位置(包含位置2912和2914)沿着水平线向右移动。在每个成像位置，可以操作传感器通道2902以捕获图像。在水平线的末端(位置2914)，传感器阵列2900可以例如基于传感器阵列2900中的行数向下移位例如间距距离，到达位置2916以捕获下一图像。然后可以将传感器阵列2900向左移动并捕获下一条水平线的图像。所捕获的图像可以累积为覆盖整个视野2920的较大图像。

传感器阵列2900可以是例如上述的任何多光谱传感器阵列。如果传感器阵列2900是2D阵列(例如，传感器阵列600或传感器阵列900)，则传感器阵列2900沿着水平扫描线在连续图像之间移动的距离可以基于阵列的水平大小，以提供如图29所示的均匀的、不重叠的样品。如果传感器阵列2900是基于行的阵列，并且行沿水平扫描线定向，则沿水平扫描线在连续图像之间的距离可以等于通道间距，从而允许传感器阵列的同一行中的不同传感器对相同的物体空间像素进行成像。可以基于阵列中的行数来确定扫描线之间的竖直移位。

光栅扫描的运动图案可以与图29所示的不同。例如，可以使用“水平回扫”图案，其中在水平扫描线末端处，传感器阵列2900返回到左端，并向下移位到下一条水平扫描线，从而使用相同的行进方向捕获每个水平扫描线的图像。作为另一个实例，对于基于行的传感器阵列，行可以沿竖直方向定向，并且水平扫描线之间的竖直距离可以等于行内的通道间距。(如上所述，“竖直”和“水平”是任意的。)可以通过在两个维度上物理移动阵列或通过为光学系统提供可将光线引导成光栅图案的倾斜镜来实施光栅扫描。

光栅扫描系统的一些实施例可以包含传感器阵列2900和支持视野的均匀采样的体光学模块2920。如果体光学模块引入了整体畸变(例如，桶形畸变或枕形畸变)，则所得视野图像2920将不会被均匀地采样。通过图示的方式，图30示出了不均匀的采样图案，所述不均匀的采样图案可以由使用具有呈现枕形畸变的大块光学器件的传感器阵列进行光栅扫描而得到。每个栅格3001-3006表示在光栅图案中的不同位置处用传感器成像的位置。可以看出，畸变受到局部偏差的影响。这种类型的局部畸变图案会给后续的图像处理和分析带来很大的困难(远比整体枕形畸变大)。

如上所述，使用具有F tanθ焦距畸变轮廓的体光学模块可以提供跨传感器阵列的均匀采样。因此，F tanθ体光学模块可用于光栅扫描系统中。可替代地，例如，如上文参考图27和28所描述的，可以将用于光栅扫描系统的传感器阵列的传感器通道布置成补偿体光学模块的畸变轮廓。

应当理解，光学元件和光学模块的前述实例是说明性的，并且变化和修改是可能的。进一步地，结合一种类型的传感器阵列示出的光学元件也可以与其它类型的传感器阵列一起使用。例如，消色差体光学模块可用于基于行的(或1D)多光谱传感器阵列和2D多光谱传感器阵列中。消色差体光学模块可以具有F tanθ焦距畸变轮廓、Fθ焦距畸变轮廓或其它期望的不同轮廓。同样，具有色差的体光学模块可以具有F tanθ焦距畸变轮廓、Fθ焦距畸变轮廓或其它期望的不同轮廓。如上所述，对于包含多光谱传感器通道和/或混合传感器通道的传感器阵列，消色差大块光学器件可能是理想的；然而，这不是必需的。

3.具有多光谱传感器阵列的测距/成像系统

上述类型的多光谱传感器阵列可以被结合到测距/成像系统中，所述测距/成像系统提供彼此固有地配准且具有深度信息(例如，从多光谱传感器阵列中的LIDAR传感器通道提取)的视野的多光谱图像(例如，彩色图像、吸收图像、偏振图像和/或其它从环境光传感器通道提取的图像)。多光谱测距/成像系统的特定实施方式部分地取决于特定的多光谱传感器阵列。出于说明的目的，将描述两种类型的测距/成像系统。第一种类型，在本文中被称为“角度扫描”(有时也被称为“旋转(rotating或spinning)”)测距/成像系统，其旋转传感器阵列(及其关联的光学器件)以在不同的时间指向视野的不同部分或使用可控的光学器件(例如，MEMS检流计)以在不同的时间将来自视野不同部分的光引导到阵列上。在任一种情况下，角度扫描系统都允许同一阵列上的不同传感器通道(例如，图2的传感器阵列200的行中的不同传感器)在不同时间对视野中的给定区域进行成像(从中检测光子)。第二种类型，在本文中被称为“静态”(或“固态”)测距/成像系统，其使用可以在不移动传感器阵列的情况下对多个通道中的视野进行成像的2D多光谱传感器阵列。

3.1.角度扫描测距/成像系统

图31A示出了结合了本文所述的传感器阵列的角度扫描(例如，旋转)成像/LIDAR系统3100的汽车应用的实例。在这里选择汽车应用仅仅是出于说明的目的，并且本文描述的传感器可以用在其它类型的车辆中，例如，船、飞机、火车等，以及其中在空间上和时间上与光谱图像配准的3D深度图像有用的各种其它应用中，如医学成像、测地学、地理学、考古学、地理学、地质学、地貌学、地震学、林业、大气物理学、激光制导、机载激光扫描测绘(ALSM)和激光测高仪。根据一些实施例，如图所示，扫描成像/LIDAR系统3100可以安装在车辆3105的车顶上。在其它实施例中，一个或多个LIDAR和/或成像传感器可以安装在车辆的其它位置，包含但不限于车辆的前部或后部、车辆的侧面和/或车辆的拐角。

图31A中所示的扫描成像/LIDAR系统3100结合了用于发射激光脉冲的光源模块3102(如图15的发射模块1510)和/或光感测模块3104(如图15的接收模块1540)，其可以结合包含LIDAR传感器通道和环境光传感器通道的传感器阵列(例如，上述的任何多光谱传感器阵列)。在一些实施例中，光传输模块3102可以被安置在与光感测模块3104相同的壳体中。

扫描成像/LIDAR系统3100可以采用扫描架构，其中可以在车辆3105外部的外部视野或场景内围绕一个或多个视野3110(例如，在一些实施例中为360度视野)扫描LIDAR光传输模块3102和光感测模块3104的定向。在扫描架构的情况下，如图所示，可以在周围环境中扫描发射光3112。例如，可以扫描(例如，旋转)定位在扫描成像/LIDAR系统3100中的一个或多个光源(如未示出的红外或近红外脉冲IR激光器)的一个或多个输出光束，以照亮车辆周围的场景。在一些实施例中，由旋转箭头3115表示的扫描可以通过机械手段来实施，例如，通过将光发射器和传感器安装到旋转的柱子或平台上。在一些实施例中，可以通过其它机械手段(如通过使用检流计)来实施扫描。也可以例如通过使用微芯片来采用基于芯片的转向技术，所述微芯片采用一个或多个基于MEMS的反射器，如例如数字微镜(DMD)装置、数字光处理(DLP)装置等。对于发射器，可以控制这种反射镜子系统以在不同的时间将光引导到视野的不同部分上，并且对于传感器，可以控制这种反射镜子系统以在不同的时间将来自视野的光引导到传感器阵列的不同部分上。在一些实施例中，可以通过非机械方式来进行扫描，例如，通过使用电子信号来控制一个或多个光学相控阵。

场景内的物体(例如，物体3110)可以反射从LIDAR光源发出的光脉冲的一部分。然后，一个或多个反射部分返回到成像/LIDAR系统，并可以由检测器电路系统检测。例如，反射部分3114可以由光传感器模块3104检测。另外，环境光3116可以进入检测器电路系统3104。

图31B是示出根据一些实施例的扫描成像/LIDAR系统3100的结构的简化实例的侧视图。扫描成像/LIDAR系统3100可以包含固定基座3120，所述固定基座可以例如安装到车辆3105的车顶上。容纳发射器模块(Tx)3102和光传感器模块(Rx)3104的旋转壳体3122可以旋转地耦接至固定基座3120。

图32示出了根据一些实施例的旋转成像/LIDAR系统3200(例如，实施图31的扫描成像/LIDAR系统3100)的框图。旋转成像/LIDAR系统3200可以任选地采用具有无线数据以及电力传输和接收能力的旋转致动器。在一些实施例中，旋转致动器包含集成在旋转电路板的表面上的转子和集成在固定电路板的表面上的定子，并且两个板组合件均配备有无线电力和数据传输能力。

图32中所示的旋转成像/LIDAR系统3200包含两个主要模块：光测距/成像(R/I)装置3220和旋转致动器3215。因此，旋转成像/LIDAR系统3200可以与用户界面硬件和软件3205的一个或多个实例交互。用户界面硬件和软件3205的不同实例可以有所不同，并且可以包含例如：计算机系统，所述计算机系统带有监视器、键盘、鼠标、CPU和内存；汽车中的触摸屏；具有触摸屏的手持装置；或任何其它适当的用户界面。用户界面硬件和软件3205可以位于在其上安装旋转成像/LIDAR系统3200的物体的本地，但是也可以是远程操作系统。例如，往返于旋转成像/LIDAR系统3200的命令和数据可以通过蜂窝网络(LTE等)、个人局域网(蓝牙、Zigbee等)、局域网(Wi-Fi，IR等)或广域网(如因特网)进行路由。

用户界面硬件和软件3205可以将来自装置的LIDAR数据呈现给用户和/或允许用户或上级程序使用一个或多个命令来控制旋转成像/LIDAR系统3200。示例命令可以包含以下命令：激活或停用成像/LIDAR系统；指定光电检测器的曝光水平、偏置、采样持续时间和其它操作参数(例如，用于发射的脉冲图案和信号处理)；指定光发射器参数，如亮度。另外，命令可以允许用户或上级程序选择显示或解释结果的方法。用户界面可以显示成像/LIDAR系统结果，所述结果可以包含例如单帧快照图像、不断更新的视频图像和/或针对一些或所有像素的其它光测量结果的显示。针对LIDAR像素的其它光测量结果的实例包含环境噪声强度、返回信号强度、校准目标反射率、目标分类(硬目标、漫射目标、回射目标)、范围、信噪比、目标径向速度、返回信号时间脉冲宽度等。在一些实施例中，用户界面硬件和软件3205可以跟踪物体距车辆的距离(接近度)和/或分析从环境光传感器通道确定的视觉特征。基于视觉特征和距离信息，用户界面硬件和软件可以例如识别和跟踪视野中的物体，并可能向驾驶员提供警报或提供这种跟踪信息以分析驾驶员的表现。

在一些实施例中，成像/LIDAR系统可以与车辆控制单元3210通信，并且可以基于接收到的LIDAR和/或环境光数据来修改与车辆的控制相关的一个或多个参数。例如，在全自动驾驶车辆中，成像/LIDAR系统可以提供汽车周围环境的实时3D高光谱图像，以帮助导航。在其它情况下，成像/LIDAR系统可以用作高级驾驶员辅助系统(ADAS)的一部分，也可以用作安全系统的一部分，所述安全系统可以例如将3D高光谱图像数据提供给任何数量的不同系统(例如，自适应巡航控制、自动停车、驾驶员嗜睡监测、盲点监测、防撞系统等)。当车辆控制单元3210可通信地耦接至光测距/成像装置3220时，可以向驾驶员提供警报，或者可以跟踪和/或显示物体的接近度。

光测距/成像装置3220包含光感测模块3230、光传输模块3240和光测距/成像系统控制器3250。光传感器模块3230可以类似于上述光感测模块1540，并且可以包含传感器阵列，如图2的传感器阵列200或图4的传感器阵列400。光传输模块3240可以类似于上述的光传输模块1510。旋转致动器3215包含至少两个电路板组合件，下部电路板组合件3260(在本文中也被称为基座子系统)和上部电路板组合件3280(在本文中也被称为转塔子系统)。下部电路板组合件3260可以机械地安装到外壳或壳体的固定部分(未示出)，而上电路板组合件3280自由地围绕旋转轴线旋转，所述旋转轴线通常由(直接或间接)安装到外壳上的轴(在图32中未示出)限定。光测距/成像装置3220可以机械地附接到可旋转的上部电路板组合件3280上，并因此在壳体内自由旋转。

尽管图32示出了光测距/成像装置3220和旋转致动器3215内的组件的一种特定布置，但在一些实施例中，某些组件可以与所示方式不同地集成到一个或另一个模块中。作为一个实例，测距/成像系统控制器3250(例如，其可以是FPGA、ASIC或更通用的计算装置，如嵌入式系统或片上系统(SOC))可以被直接安装(例如，焊接)到作为上部电路板组合件3280的一部分的印刷电路板上。换句话说，在一些实施例中，旋转致动器的部件可以被集成在光测距/成像装置3220内，反之亦然。

旋转致动器3215包含许多不同的系统，这些系统集成到下部电路板组合件3260和上部电路板组合件3280的一个或多个印刷电路板上。例如，旋转致动器3215可以包含无刷电动机组合件、光通信子系统、无线电力传输子系统和基座控制器。这些系统由成对的协作电路元件构成，每对协作电路元件包含下部电路板组合件3260上的一个或多个电路元件，其与上部电路板组合件3280上的一个或多个电路元件协同工作(例如，具有与其互补的功能)。互补功能包含例如功率和/或数据通信信号的传输(Tx)和接收(Rx)，如下文更详细描述的。

无刷电动机组合件包含集成在下部电路板组合件3260的印刷电路板上的定子组合件3262和集成在上部电路板组合件3280的印刷电路板上的转子组合件3282。转子组合件3282的旋转由源自电动机驱动器电路3264的驱动信号(例如，三相驱动电流)驱动。在一些实施例中，一个或多个电动机控制线将电动机驱动器电路连接到定子合组合件3262的线圈，以允许将驱动信号提供给电动机定子。此外，电动机驱动器电路3264可以电连接至基座控制器3266，使得基座控制器3266可以控制转子组合件的旋转速率，从而控制光测距/成像装置3220的旋转速率(即，帧速率)。

在一些实施例中，转子组合件3282可以以10-30Hz之间的速率旋转。在一些实施例中，转子组合件3282可以是包含一系列永磁铁的无源装置，所述永磁铁固定在上部电路板组合件的电路板上。这些永磁体被定子组合件的线圈产生的电磁力(例如，磁力)吸引或排斥，以驱动上部电路板组合件3280相对于下部电路板组合件3260旋转。上部电路板组合件3280的旋转方向可以由旋转编码器接收器3294跟踪，所述接收器可以通过检测旋转编码器3274上一个或多个特征的通过来跟踪上部电路板组合件的角位置。可以采用多种不同的旋转编码器技术。在一些实施例中，旋转编码器3274直接集成到下部电路板组合件3260的电路板的表面上。

旋转致动器3215还可以包含无线电力系统，所述无线电力系统包含在本文中被称为旋转变压器的配置形式的无线电力发射机3272和无线电力接收器3292。从发射机3272发送到无线电力接收器3292的功率可以被光测距/成像装置3220和/或需要在转塔/上部电路板组合件上通电的任何电路系统消耗。在一些实施例中，光测距/成像装置3220所需的所有功率都是通过无线电力接收器3292提供的，因此不需要像滑环或基于汞的装置那样的旋转电耦接器，从而增加了可靠性并降低了整个系统的成本。

旋转致动器3210还可以包含光通信子系统，所述光通信子系统包含用于在旋转致动器3215和光测距/成像装置3220之间(或到/从机械地连接至旋转致动器3215的上部电路板组合件3280的任何其它装置或系统)进行双向非接触式数据传输的多个光学发射机(例如，光学发射机3278和3296)和多个光接收器(例如，光接收器3276和3298)。更具体地说，光通信子系统可以包含附接至(例如，焊接至)作为成像/LIDAR系统3200的固定基座的一部分的下部电路板组合件3260的一组基座光通信组件，并且可以包含附接至(例如，焊接至)作为成像/LIDAR系统3200的旋转转塔的一部分的上部电路板组合件3280的一组转塔光通信组件。这些光通信组件提供了用于向光测距/成像装置3220提供光学信号(包含控制信号)的上行链路数据通道，并且还提供了用于将来自光测距/成像装置3220的光信号(包含测距和操作数据)提供给基座控制器3266、用户界面硬件和软件3205和/或车辆控制单元3210的下行链路数据通道。

可以在光下行链路发射机3296和光下行链路接收器3276之间创建从上部电路板组合件3260到下部电路板组合件3280的下行链路光通信通道。光测距/成像装置3220可以直接连接到上部电路板组合件3280，因此可以访问下行链路光通信通道，从而将测距和操作数据向下传递到下部电路板组合件3260，以供进一步使用。在一些实施例中，经由光下行链路在光信号中向下传递的数据可以包含视野中各个点(像素)的范围数据(或单个像素和角度的多个范围，例如在雾/雨中、透过玻璃窗看时等)、方位角和天顶角数据、返回或信号强度的信噪比(SNR)、目标反射率、来自每个像素视野的环境近红外(NIR)水平、来自光测距/成像装置的诊断操作信息(如温度、电压水平等)。另外，来自与旋转致动器的上部电路板3280连接的任何其它系统的数据可以通过光下行链路向下传递。例如，来自高速RGB或热像仪、行扫描像仪等的数据。

可以在光上行链路发射机3278和光上行链路接收器3298之间创建来自下部电路板组合件3260的上行链路光通信通道。在一些实施例，来自基座控制器3266的控制信号可以经由光学上行链路通信通道传递到光测距/成像装置3220。例如，在一些实施例中，基座控制器3266可以监视装置中的各种温度(如从下行链路通道接收的)，并且在过热情况下，经由上行链路通道向光测距/成像装置3220发送紧急关闭信号。在一些实施例中，基座控制器可以是移动计算机，例如，采用具有关联存储器和I/O能力(例如，以太网等)的ARM+FPGA架构的可编程片上系统。

光测距/成像装置备3220可以通过将一个或多个光脉冲从光传输模块3240发送到围绕光测距/成像装置的视野中的物体来生成测距数据。然后，在一些延迟时间之后，通过光感测模块3230检测透射光的反射部分。根据通常被称为“飞行时间”的延迟时间，可以确定到反射表面的距离。也可以采用其它测距方法，例如，连续波、多普勒(Doppler)等。

除了测距数据之外，光测距/成像装置3220还可以基于环境光来生成光强度数据。例如，光感测模块3230可以包含被调谐到各种波长带(例如，如上所述)的一个或多个环境光传感器通道，并且可以操作所述环境光传感器通道以对在特定时间间隔(在本文中被称为“快门间隔”)期间检测到的通道波长带的光子进行计数。特定通道中的光子计数指示该波长带中的光强度。其它环境光传感器通道可用于测量环境光的其它特性，如偏振(例如，通过确定由不同方向的偏振通道检测到的光子计数的差异)和/或特定波长下的吸光度(例如，通过将被调谐到吸收带的通道中的光子数量相对于被调谐到包含吸收带的较宽频带的另一个通道中的光子数量进行比较，其中吸收带中的缺陷表示吸光度)。

光传输模块3240可以包含发射器阵列3242(例如，上述发射器阵列1520)和传输(Tx)光学系统3244(包含例如上述Tx光学模块)。光传输模块3240可以进一步包含处理器3246和存储器3248，但在一些实施例中，这些计算资源被结合到测距/成像系统控制器3250中。在一些实施例中，可以使用脉冲编码技术，例如，巴克码(Barker code)等。在这种情况下，存储器3248可以存储指示何时应该发送光的脉冲代码。在一个实施例中，脉冲代码被存储为存储在存储器中的整数序列。

光感测模块3230可以包含传感器阵列3232和接收器(Rx)光学系统3234。传感器阵列3232可以是例如传感器阵列200或传感器阵列400(或类似的传感器阵列)的实施方式，并且可以包含传感器通道的行，这些行结合了如上所述的LIDAR传感器通道(或其它测距传感器通道)和环境光传感器通道。

如上所述，处理器3236和存储器3238(例如，SRAM)可以执行信号处理。作为测距传感器通道的信号处理的实例，对于每个光电传感器或光电传感器组，光感测模块3230的存储器3238可以在连续时间选区内累积检测到的光子的计数，并且这些时间选区合在一起可以用于重建反射光脉冲的时间序列(即，光子与时间的关系)。聚集光子计数的该时间序列在本文中被称为强度直方图(或仅直方图)。另外，处理器3236可以应用某些信号处理技术(如匹配滤波)以帮助恢复光子时间序列，所述光子时间序列不易受到SPAD饱和和猝灭引起的脉冲形状畸变的影响。作为针对环境光传感器通道的信号处理的实例，对于每个光电传感器或光电传感器组，光感测模块3230的存储器3238可以在单个时间间隔(在本文中被称为“快门间隔”)内累积检测到的光子的计数。快门间隔可以例如与用于构造测距传感器通道的强度直方图的时间选区的总长度一样长，或者可以是更长或更短的时间间隔。特定的环境光传感器通道在快门间隔期间累积的光子计数可以指示该环境光传感器通道接收的光的强度。在一些实施例中，处理器3236可以应用信号处理技术(例如，基于校准的校正)以减少噪声和/或补偿强度测量结果中的通道间变化。在一些实施例中，测距/成像系统控制器3250的一个或多个组件也可以与传感器阵列3232、处理器3236和存储器3238集成到同一ASIC中，从而消除了对单独的测距控制器模块的需要。

在一些实施例中，来自处理器3236的输出被发送到测距/成像系统控制器3250以进行进一步处理。例如，数据可以由测距/成像系统控制器3250的一个或多个编码器编码，然后作为数据包经由光下行链路发送到下部电路板组合件3260。可以以多种方式实现测距/成像系统控制器3250，包含例如，通过使用可编程的逻辑装置(如FPGA)作为ASIC或ASIC的一部分、使用带有存储器3254的处理器3252，以及上述各项的一些组合。测距/成像系统控制器3250可以与基座控制器3266协作或独立于基座控制器操作(通过预编程指令)，以通过发送包含开始和停止光检测以及调整光电检测器参数的命令来控制光感测模块3230。类似地，测距/成像系统控制器3250可以通过发送命令或中继来自基座控制器3266的命令来控制光传输模块3240，这些命令包含开始和停止发光控件以及可以调整其它光发射器参数的控件，如发射器温度控件(用于波长调谐)、发射器驱动功率和/或电压。

如果发射器阵列3242具有多个独立的驱动电路，则可以存在可以由测距/成像系统控制器3250适当地排序的多个开/关信号。同样，如果发射器阵列包含多个温度控制电路以对阵列中的不同发射器进行不同的调谐，发射机参数可以包含多个温度控制信号。在一些实施例中，测距/成像系统控制器3250具有一个或多个有线接口或连接器(例如，电路板上的迹线)，用于与光感测模块3230和光传输模块3240交换数据。在其它实施例中，测距/成像系统控制器3220与光感测模块3230和光传输模块1840通过如光通信链路等无线互连进行通信。

尽管已经详细描述了扫描测距/成像系统的特定实例，但是有权使用本公开的本领域技术人员将认识到，其它实施方式也是可能的，包含在两个方向上执行光栅扫描的扫描测距/成像系统。光栅扫描机构可以包含例如使传感器阵列在两个维度上移动的电动机(例如，围绕一个轴的旋转运动与沿着或围绕正交轴的线性或旋转运动相结合)、可围绕两个或更多个正交轴旋转的尖端倾斜反射镜系统或传感器阵列和反射镜系统的运动的组合(例如，光栅扫描机构可以在一个方向上移动传感器阵列，并移动反射镜以在正交方向上提供扫描)。

3.2.扫描测距/成像系统的操作

在成像操作的实例中，光测距/成像装置3220的旋转(或其它扫描)可以与快门间隔(其可以对应于LIDAR主动感测间隔)协调，使得传感器阵列的一行中的每个传感器通道对视野内的给定位置进行连续成像。也就是说，快门间隔之间的时间可以基于相邻图像像素之间的角距离除以成像/LIDAR传感器阵列的旋转速率得出。由于传感器通道对空间中的同一点进行成像(时间略有不同)，因此从不同通道获得的图像之间的配准是固有的，无需物体识别或点映射算法。进一步地，如果成像操作的速度足够快，则可以假设在使用连续通道的成像之间几乎没有发生变化，因此图像对应于同一场景。因此，在一些实施例中，基于行的传感器阵列(如传感器阵列200或传感器阵列400)可以实现跨宽视野(例如，高达360度)的多光谱成像。

图33A和33B示出了使用类似于上述传感器阵列200或传感器阵列400的成像/LIDAR传感器阵列，在成像通道之间具有固有配准的多光谱成像的实例。图33A示出了待扫描的视野3300(例如，360度视野)。出于说明的目的，对成像过程的描述将参考视野3300内的特定图像区域3302；然而，相同的原理可以应用于视野3300的所有部分。

图33B示出了使用基于行的成像/LIDAR传感器阵列(例如，传感器阵列200、400或500中的任何一个)以创建区域3302的固有配准的图像集合的扫描操作中的连续阶段的数据收集的过程。在此实例中，假设传感器阵列(未明确显示)在每个传感器行中具有被调谐到不同颜色(或波长区域)的五个环境光通道和一个LIDAR通道。还假设传感器阵列的一行内的环境光传感器通道以均匀的线性间距p间隔开，并且针对成像/LIDAR传感器阵列提供的体光学模块具有F tanθ焦距畸变轮廓，使得成像/LIDAR系统通过间距角α将视野大约移位线性间距p(例如，如上所述)。

在第一时间(t＝1)处，传感器阵列在第一个快门间隔内操作。每个通道收集与区域3302中不同位置(或物体空间像素)相对应的数据，如代表性的彩色点3305所示。例如，由框3309指示的物体空间像素通过绿色传感器通道3306G进行采样(或成像)。应当理解，传感器通道的实际数量可能比图33B中所示的彩色点3305的数量大得多；例如，可能存在五行以上的传感器，并且行的密度可能显著高于所示的密度。

在时间t＝2处，传感器阵列已经移动了间距角α，其相对于区域3302使每个通道向右移位的距离等于线性间距p；彩色点3305向右移位了一个间距。此时，传感器阵列在第二个快门间隔内操作，其中黄色传感器通道3306Y对物体空间像素3309进行采样。(对于时间t＝2及以后的时间，白点3307表示在先前的快门间隔中由与彩色点3305对应的至少一个传感器通道采样但当前未被与任何彩色点3305对应的通道采样的位置。)

在时间t＝3处，传感器阵列再次移动了相同的间距角α，将每个通道向右移位另一个间距，使得在时间t＝3处，橙色传感器通道3306O对物体空间像素3309进行采样。类似地，在时间t＝4处，红色传感器通道3306R对物体空间像素3309进行采样。以这种方式进行操作，最终可以由传感器阵列(包含LIDAR传感器通道3312)的特定行中存在的每个传感器通道对物体空间像素3309(以及区域3302中的其它位置)进行采样。应当理解，通道间距可能很小，而每360度旋转的采样间隔可能会很大(例如，每旋转1024、2048或4096个采样间隔)，从而提供比图33B建议的图像分辨率更高的图像分辨率。物体空间像素的大小和形状在非扫描方向上由传感器阵列的行的间隔(以及视野的大小)确定，而在扫描方向上由连续采样操作之间的角度确定。取决于特定的系统设计，物体空间像素可以具有简单的纵横比(例如，1:1或2:1等)，这可以促进图像处理和图像分析。

在此实例中，行内的相邻环境光传感器通道具有均匀的间距p，所述间距有利于使用不同传感器捕获的图像的固有配准。如图所示，LIDAR传感器通道3302具有比环境光传感器通道的均匀间距更大的间隔。在一些实施例中，一行中的LIDAR传感器通道3312与相邻的环境光传感器之间的间隔可以是环境光传感器通道的均匀间距p的整数倍(在实例中，传感器的顶行中的LIDAR传感器通道3312与最近的环境光传感器通道间隔2p)，这仍允许LIDAR传感器通道和环境光传感器通道之间的固有配准。(这在图33B中示出。)更普遍地，来自行中的不同传感器通道的数据可以固有地配准到视野中的相同位置，前提是传感器通道的角间距是连续快门间隔之间的角位移(或测量角)的整数倍，这是针对成像/LIDAR传感器阵列提供的体光学模块具有F tanθ焦距畸变轮廓的情况。在不满足此条件的实施例中，可以执行成像操作，并且可以使用来自不同传感器通道的数据生成可靠配准的图像(因为不同传感器通道之间的空间关系是固定的)；然而，图像处理可能会变得更加复杂。

在一些实施例中，旋转测距/成像系统可以连续旋转(例如，以10-30Hz的速率)，并且可以基于当前旋转角度确定何时开始和停止数据收集。例如，如上文参考图32所描述的，旋转致动器3215可以包含旋转编码器3274，并且旋转编码器接收器3294可以跟踪上部电路板组合件3280(其牢固地连接到传感器阵列3232)的角位置。可以限定与均匀间隔的角位置相对应的M“测量角”

传感器阵列3232可以以均匀的角速度连续旋转(与其余的光测距/成像装置3220一起)，并且LIDAR传感器通道可以连续产生信号。存储器3238可以在连续的时间选区内累积检测到的光子的计数，所述连续的时间选区可以用于创建如上所述的强度直方图。控制器(例如，图32的R/I系统控制器3250)可以接收指示编码器位置何时对应于测量角

在一些实施例中，标记信号还可以用作触发器，以启动环境光传感器通道的快门间隔。在快门间隔期间，可以根据在每个环境光传感器通道处接收到的信号确定单个光子计数(跨快门间隔累积)。可以将来自每个环境光传感器通道的光子计数与来自LIDAR传感器通道的直方图数据一起发送到DSP。快门间隔可以具有与测量时段相同的持续时间，或者根据需要具有不同的(例如，较短的)持续时间。在一些实施例中，快门间隔可以例如基于一个或多个环境光传感器通道中的当前光水平而动态地变化，选择较短的快门间隔以避免使光电传感器饱和，而在弱光条件下则选择较长的快门间隔。

如上所述，测量期间的连续旋转可以与多光谱传感器阵列一起使用。测量期间的连续旋转也可以与其它类型的传感器阵列一起使用，如包含多列LIDAR通道的纯LIDAR传感器阵列(其可以如图1所示交错排列和/或被调谐到不同发射频率不同的发射频率)。还应理解，连续旋转不是必需的。在一些实施例中，旋转测距/成像系统可以以逐步的方式旋转和收集数据，例如，旋转到第一测量角，收集测量时段的数据，然后旋转到下一个测量角并重复数据收集。

3.3.在环境光通道中以更高的分辨率进行扫描

在图33A-33B的实例中，使用多光谱传感器阵列的扫描测距/成像系统针对所有通道类型产生具有相同空间分辨率的图像。对于一些应用，可能令人期望的是，相对于LIDAR通道的数量增加环境光传感器通道的空间分辨率。现在将描述可以在扫描和非扫描方向上为环境光传感器通道提供增强的(增加的)空间分辨率的多光谱传感器阵列的实例。

图34示出了根据一些实施例的传感器阵列3400的简化正视图。传感器阵列3400可以是类似于上述图2的传感器阵列200的1D传感器阵列，其具有LIDAR传感器通道202，其中的每一个传感器通道与包含环境光传感器通道3406a-d的行3404相关联。在此实例中，环境光传感器通道3406a-d各自具有相同类型的光学滤波器，其可以是例如广谱可见光滤波器(例如，具有约425nm到约700nm的通带)。可以使用各种类型的光学滤波器(例如，偏振滤波器、色彩滤波器等)，并且在一些实施例中，环境光传感器通道3406a-d可以不具有光学滤波器，在这种情况下，环境光传感器通道3406a-d可检测的波长范围由环境光传感器通道3406a-d中的光电传感器的波长范围确定。环境光传感器通道3406a-d具有不同的“亚像素”光圈(由深色正方形3410指示)。应当理解，深色正方形3410表示光圈平面中的开口，并且光圈平面在与通道3406a-d相关的区域的其它部分上是不透明的。在此实例中，每个亚像素光圈暴露通道区域的不同象限。

在操作中，传感器阵列3400可以执行扫描，如上文参考图33A和33B所描述的。当跨物体空间像素扫描环境光传感器通道3406a-d时，每个通道3406a-d使用相同类型的光学滤波器对不同的“亚像素”(即，物体空间像素总区域的子集)进行采样。以这种方式，可以生成分辨率为LIDAR通道202的分辨率的四倍的环境光图像。因此，如通道3406a-d等环境光传感器通道也被称为“增强分辨率”环境光传感器通道。

在图34的实例中，每个环境光传感器通道3406a接收四分之一的入射光。在其它实施例中，空间编码方案可以用于允许更多的光进入，同时仍提供具有亚像素分辨率的数据。例如，图35示出了根据一些实施例的具有空间上编码的亚像素光圈的四个环境光传感器通道3506a-d的集合。在此实例中，通道3506a的光圈(深色区域)暴露整个通道区域，而通道3506b、3506c和3506d的光圈(白色区域)各自遮挡通道区域的不同象限。可以将来自通道3506a-d的强度测量结果(例如，光子计数)C0-C3提供给算术逻辑电路3520，所述算术逻辑电路可以实施以下等式来计算像素3524的亚像素(S0、S1、S2、S3)的亚像素值：

S1＝C0-C3 (2a)

S2＝C0-C2 (2b)

S3＝C0–C1 (2c)

S0＝C0-(C1+C2+C3)＝C1+C2+C3-2C0 (2d)

图34和35将亚像素示出为通道区域的象限，这使每个方向上的图像分辨率加倍。其它实施例可以提供不同的分辨率提高。例如，通过提供更多具有较小(相对于通道区域)亚像素光圈的环境光通道3406或3506，可以实现更高的分辨率；分辨率的上限可以基于以可接受的准确度测量强度所需的光圈大小。在一些实施例中，像素光圈被布置成使得亚像素形成正方形网格(例如，如图34和35所示)，但这不是必需的，并且可以使用其它采样图案(包含矩形而不是正方形图案)。进一步地，尽管图34和35中所示的光圈是正方形或六边形区域(在一个拐角有正方形凹痕)，这也不是必需的；也可以使用圆形光圈或具有其它形状的光圈。假设用于亚像素采样的一组环境光传感器通道中的所有环境光传感器通道均具有相同类型的光学滤波器，以便在每个信息处采样相同的光谱信息，并且其效果是增加采样的空间分辨率。可以根据需要选择特定的滤波器类型，包含广谱滤波器、狭窄的带通滤波器或任何其它类型的光学滤波器。

在图34和35是实例中，通过使用亚像素光圈在扫描方向和非扫描方向上都提高了空间分辨率。这种方法(带有或不带有空间编码)涉及每个亚像素使用一个环境光传感器通道，例如，使用四个环境光传感器通道以提供4倍的空间分辨率增强，或使用十六个环境光传感器通道以提供16倍增强。在其它实施例中，可以通过使用时间细分来提高扫描方向上的采样分辨率，并且可以通过使用亚像素光圈来提高非扫描方向上的采样分辨率。例如，这可以允许四个环境光传感器通道提供16倍的空间分辨率增强。

在一些实施例中，可以通过使用多个积分寄存器累积每个环境光传感器通道的强度数据(例如，光子计数)来提供时间细分，其中不同的积分寄存器在快门间隔的不同部分处于活动状态(上文参考图33B描述了快门间隔)。假设传感器阵列在快门间隔期间连续旋转，这具有分别测量物体空间像素所占据区域的沿扫描方向(为方便起见，称为“列区域”)不同部分的强度的作用。

图36示出了根据一些实施例的具有多个积分寄存器3602的读出数据路径的简化示意图。在此实例中，假设用于特定环境光传感器通道的光电传感器3604针对每个时间选区提供数据(例如，光子计数)(如上文参考图32所述)，其中时间选区比快门间隔短。每个时间选区的光子计数被传递到积分寄存器3610库中的选定积分寄存器3602，并且选定积分寄存器3602将从光电传感器3604接收到的光子计数加到其当前存储值。库选择逻辑3606提供选择信号以选择积分寄存器3602之一。

在所示实例中，积分寄存器如下操作：在每个时钟周期处，多路复用器3620由选择逻辑3606控制，以从当前选择的积分寄存器3602之一中读取存储值。因此，所选的当前值3622被传递到算术逻辑单元(ALU)3624，所述算术逻辑单元也从光电传感器3604接收新的光子计数。ALU 3624将新的光子计数加到当前值3622，并将结果传递到积分寄存器库3610。选择逻辑3606选择当前积分寄存器3602之一，以接收新值。也可以使用其它实施方式。

在具有一定数量(N)的积分寄存器的扫描测距/成像系统(例如，上述系统3200)的一些实施例中，选择逻辑3606将快门间隔划分成N个数量的子间隔(其中每个子间隔包含一个或多个时钟周期)，并为每个子间隔选择积分寄存器3602中的不同积分寄存器，使得每个积分寄存器3602累积子间隔的不同时间部分(1/N)的像素计数。例如，选择逻辑3606可以使用旋转编码器3274(如图32所示)来限定子间隔，或者基于已知扫描速度，基于用作位置代理的计时器来限定子间隔。在快门间隔结束时，可以读取每个积分寄存器3602以提供每像素N个强度测量结果。

以这种方式临时细分每个快门间隔可以提高扫描方向上的采样分辨率。图37示出了根据一些实施例的针对车辆3703的使用多个积分寄存器的环境光测量。在此实例中，可以将扫描测距/成像系统3701(其可以是例如上述系统3200的实施方式)安装在车辆3703的顶部。扫描测距/成像系统3701可以被配置成每秒绕其中心轴旋转多次(例如，以30Hz)，以扫描周围区域并生成多光谱图像，如上文参考图33B所述。

在扫描测距/成像系统为环境光传感器通道提供时间细分的实施例中，可以基于积分寄存器的数量来增加环境光图像在扫描方向上的空间分辨率。在图37的实例中，积分寄存器库3710(其可以类似于上述积分寄存器库3610进行操作)包含四个积分寄存器3712a-d。可以将与快门间隔相对应的角度旋转增量3702细分为四个角度增量，在每个角度增量期间，所接收的光子计数被累积在积分寄存器3712a-d中的对应的一个积分寄存器中(如箭头3716a、3716b所示)。这在扫描方向上将环境光图像的空间分辨率提高了四倍。

还可能令人期望的是，在非扫描方向上增加环境光图像的空间分辨率。在一些实施例中，具有空间上编码的亚像素光圈的多个环境光传感器通道可以用于此目的。图38A示出了根据一些实施例的提供空间上编码的亚像素光圈的四个环境光传感器通道3806a-d的集合。可以使用环境光传感器通道3806a-d在扫描和非扫描方向上将分辨率提高四倍。在此实例中，环境光传感器通道3806a的光圈(阴影线区域)暴露总通道区域的四分之一，而环境光传感器通道3806b-d的光圈各自暴露总通道区域的3/16。可以将来自通道3806a-3806d的强度测量结果(例如，光子计数)C0-C3提供给算术逻辑电路3820，所述算术逻辑电路可以实施以下等式来计算像素3824的四个亚像素(S0、S1、S2、S3)的亚像素值：

S0＝C0-C2 (3a)

S2＝C0-C3 (3b)

S3＝C0-C1 (3c)

S1＝C0-(S1+S2+S3)＝C2+C3+C1-2C0 (3d)

如针对像素3824所示，四个亚像素S0、S1、S2、S3对应于在列区域中占据不同行的四个像素，所述列区域是像素区域3824的总区域的宽度(沿扫描方向)的四分之一。

为了完全填充像素的所有列区域中的亚像素，可以使用如图37中所示的时间细分使单个环境光传感器通道能够在快门间隔期间按顺序对不同的列区域进行采样。图38B示出了根据一些实施例的用于图38A的环境光传感器通道3806a的时间细分的效果。在此实例中，快门间隔被分成四个子间隔，如上文参考图37所述。假设快门间隔从t＝0持续到t＝1。在第一子间隔期间(从t＝0开始)，将环境光通道3806a的光圈暴露于物体空间像素3824的列区域3832a，并测量列区域3832a的强度C00。在第二子间隔期间(从t＝0.25开始)，将环境光通道3806a的光圈暴露于物体空间像素3824的列区域3832b，并测量列区域3832b的强度C01。在第三子间隔期间(从t＝0.5开始)，将环境光通道3806a的光圈暴露于物体空间像素3824的列区域3832c，并测量列区域3832c的强度C02。在第四子间隔期间(从t＝0.75开始)，将环境光传感器通道3806a的光圈暴露于物体空间像素3824的列区域3832d，并测量列区域3832d的强度C03。因此，通过使用快门间隔的时间细分，环境光传感器通道3806a可以对物体空间像素3824的每个列区域进行连续采样，从而提供四个强度值。如上文参考图33B所描述的，环境光传感器通道3806b可以以与图38B所示的方式相同的方式横穿物体空间像素3824，其偏移一个快门间隔(或一些其它整数的快门间隔)以产生四个强度值，并且同样针对环境光传感器通道3806c和3806d。通过将图38A和等式(3a)-(3d)的计算逻辑分别应用于每个列区域的四个强度值，使用四个环境光传感器通道提供总共十六个亚像素样本。因此，物体空间像素的空间细分和时间细分的组合可以提供在扫描和非扫描方向上具有增强分辨率的环境光图像。尽管此处示出的实例在每个方向上将分辨率提高了四倍，但其它实施例可以根据需要提供更大或更小的增强。

将理解的是，本文描述的空间细分和时间细分的实例是说明性的。分配给特定环境光传感器通道的光圈的特定数量、形状和大小可以变化，并且可以实现任何增强因子(受物理限制(如光电传感器大小和可制造的光圈的最小大小)影响)。因此，可以将扫描方向和/或非扫描方向上的空间分辨率提高到期望的程度，并且扫描方向和非扫描方向上的增强不必相等。如本文所述的空间分辨率的增强可以应用于任何类型的环境光传感器通道，无论使用哪种光学滤波器。

3.4.静态测距/成像系统

可以使用如传感器阵列200、传感器阵列400或传感器阵列500等多光谱传感器阵列来实施如上所述的旋转测距/成像系统，其中沿着在整个视野中进行扫描的行布置不同类型的传感器通道。上述传感器阵列的其它示例(例如，传感器阵列600、传感器阵列900)提供相同的多光谱和/或混合传感器通道(或像素)的2D阵列。尽管这种阵列可以用于旋转系统中，但多光谱或混合像素的2D阵列不需要旋转或其它扫描运动来对二维视野进行成像。因此，一些实施例提供其中传感器阵列不移动的静态(或“固态”)测距/成像系统，以执行成像操作。应当理解，静态测距/成像系统可以是移动的。例如，可以将一个或多个静态测距/成像系统安装在车辆上。

图39是示出根据一些实施例的静态成像/LIDAR系统3900的结构的简化实例的侧视图。成像/LIDAR系统3900(作为静态测距/成像系统的实例)可以包含壳体3922，所述壳体容纳发射器模块(Tx)3902和光传感器模块(Rx)3904。壳体3922可以安装在车辆或需要测距/成像传感器的任何其它位置上。

图40和41是根据各个实施例的车载静态电子测距/成像系统的示例性实施方式的简单图示。具体地说，图40示出了实施方式4000，其中在如汽车等道路车辆4005的外部区域处实施静态测距/成像系统4002a-d；并且图41示出了实施方式4100，其中在道路车辆4105的顶部上实施静态测距/成像系统4102a-b。在每种实施方式中，可以选择LIDAR系统的数量、LIDAR系统的放置和每个LIDAR系统的视野以获得车辆周围环境的360度视野的大部分(如果不是全部的话)。仅出于说明的目的，在此选择用于LIDAR系统的汽车实施方式，并且本文所述的传感器可用于其它类型的车辆(例如，船、飞机、火车等)以及各种需要使用3D深度图像的应用，如上文参考图32提到的任何应用。应当理解，静态和旋转测距/成像系统可以一起使用，并且一些测距/成像系统可以被配置成在静态或旋转模式下进行可选操作。

参考图40，可以将静态测距/成像系统4002a-d安装在车辆的外部区域中，靠近前挡泥板和后挡泥板。静态测距/成像系统4002a-d可以各自定位在车辆4005的相应拐角处，使得它们定位在车辆4005的最外拐角附近。这样，静态测距/成像系统4002a-d可以更好地在区域4006a-d处测量车辆4005距视野中的物体的距离。每个静态测距/成像系统都可以面向不同的方向(可能在单元之间具有部分重叠和/或不重叠的视野)，以便捕获大于每个单元的能够自行捕获的复合视野。场景内的物体可以反射从LIDAR Tx模块4008发出的光脉冲4010的一部分。然后，光脉冲4010的一个或多个反射部分4012传播回静态测距/成像系统4002a，并可以由Rx模块4009接收，所述Rx模块4009可以与Tx模块4008安置在同一壳体中。Rx模块4009可以包含多光谱传感器阵列(例如，如上所述)，所述多光谱传感器阵列接收环境光以及来自LIDAR Tx模块4008的反射光。

在一些实施例中，静态测距/成像系统4002a-d中的每一个静态测距/成像系统可以一次性对其整个视野进行成像(分别示出为区域4006a-d)。在其它实施例中，静态测距/成像系统4002a-d可以对场景进行电子扫描，以捕获场景的图像。如本文所使用的，“电子扫描”是指在不同的时间收集场景不同部分的数据而无需传感器阵列的物理移动(例如，重新定向)；因此，电子扫描不同于上述的旋转操作。例如，可以通过在不同时间激活LIDAR发射器阵列的不同部分和LIDAR传感器通道的对应子集，或通过其它方式(如基于芯片的波束控制技术)来实施电子扫描，例如，通过使用采用一个或多个基于MEMS的反射器(例如数字微镜(DMD)这种、数字光处理(DLP)这种等)的微芯片来控制来自Tx模块4008的光，使光在不同的时间反射到传感器阵列的不同部分上。因此，静态测距/成像系统4002a可以在点4020和4022之间进行电子扫描以捕获区域4006a中的物体，对于系统4002b-d和区域4006b-d也是如此。

尽管图40示出了安装在车辆的四个拐角上的四个静态测距/成像系统，但实施例不限于这种配置。其它实施例可以具有安装在车辆的其它区域上的更少或更多的静态测距/成像系统。例如，静态测距/成像系统可以安装在车辆的车顶上，如图41所示。在这种实施例中，静态测距/成像系统4102a-b可以具有更高的有利点，以更好地观察车辆4105周围的区域4107a-b。

如所提及的，可以选择静态测距/成像系统的数量、静态测距/成像系统的放置和每个静态测距/成像系统的视野以获得车辆周围环境的360度视野的大部分(如果不是全部的话)。因此，每个静态测距/成像系统4002a-d可以被设计成具有大约90度的视野，使得当实施所有四个系统4020a-d时，可以观察到车辆4005周围的360度视野的绝大部分。在每个静态测距/成像系统4002a-d具有小于90度的视野(如45度视野)的实施例中，可以实施一个或多个附加的静态测距/成像系统，以扩展视野，从而实现大于单个静态测距/成像系统的视野的组合视野。

图42是根据本公开的一些实施例的示例性静态测距/成像系统4200的简化的自上而下的图示，所述静态测距/成像系统包含发射和检测系统的多于一个的集合，以实现扩展的视野。如图42所示，静态测距/成像系统4200可以包含安装在中央支撑结构4204上的发射和检测系统的集合4202a-i，其中发射和检测系统法每个集合包含相应的发光系统(例如，图15的光传输系统1510)和光检测系统(例如，图15的光检测系统1540)。每个集合可以从支撑结构4204的中心径向向外布置，并且这些集合并排放置，使得它们的视野可以彼此邻接以形成组合的视野4206，所述组合的视野比单独的发射和检测系统的任何单个集合的视野大许多倍。多个发射检测系统均可以由公共LIDAR控制器进行同步和控制，使得最终用户与似乎是单个系统的系统进行交互。另外，各个发射检测系统均可以对准一个固定的像素网格，使得数据模拟更宽的视野、在固定的视野网格上运行的更高分辨率的系统。

图43示出了根据本公开的一些实施例的示例性静态测距/成像系统4300的框图。静态测距/成像系统4300可以包含光测距/成像装置4302和用户界面4350。光测距/成像装置4302可以包含测距/成像系统控制器4304、光传输(Tx)模块4306和光感测(Rx)模块4308。光测距/成像装置备4302可以通过将一个或多个光脉冲4310从光传输模块4306发送到围绕光测距/成像装置4302的视野中的物体来生成测距数据。然后，在一些延迟时间之后，通过光感测模块4308检测透射光的反射部分4312。根据延迟时间，可以确定到反射表面的距离。也可以采用其它测距方法，例如，连续波、光解调、多普勒等。可以通过在光子计数模式下操作包含在传感器阵列4308中的环境光传感器通道，由光测距/成像装置4302生成光谱图像数据。

光传输模块4306包含：发射器阵列4314，其可以是发射器的一维或二维阵列；以及Tx光学系统4316，当与发射器阵列4314一起使用时，其可以形成类似于图15的光传输系统1510的发光系统4338。Tx模块4306可以进一步包含任选的处理器4318和存储器4320，但在一些实施例中，这些计算资源被结合到测距/成像系统控制器4304中。在一些实施例中，可以使用脉冲编码技术，例如，巴克码(Barker code)等。在这种情况下，存储器4320可以存储指示何时应该发送光的脉冲代码。在一些实施例中，脉冲代码被存储为存储在存储器中的整数序列。

光感测模块4308可以包含传感器阵列4326，其可以是例如上述的任何2D多光谱传感器阵列，如传感器阵列600或传感器阵列900。

在一些实施例中，光测距/成像装置4302可以在电子扫描模式下操作，其中通过一次仅激活发射器的一个子集并通过在激励发射器的同时仅读取LIDAR传感器通道的对应子集，来捕获场景的至少LIDAR图像。可以在不同时间激活发射器的不同子集，同时读取LIDAR通道的对应子集；最终可以激活所有发射器，并且可以通过一个发射周期读取传感器阵列中的所有LIDAR通道。作为实例，发射器阵列可以通过在每个发射周期内一次以及从左到右依次激活一列来发射光，而传感器阵列可以被配置成以对应的序列读取对应的LIDAR通道。可以与对应于相同多光谱像素的LIDAR通道同步地或以一些其它方式来读取环境光通道(例如，可以同时读取所有环境光通道)。

为了促进电子扫描，静态测距/成像系统的一些实施例可以包含一个或多个组件以同步光的发射和感测。在一些实施例中，光检测系统4336可以包含传感器控制器4325，所述传感器控制器耦接至传感器阵列4326并被配置成控制传感器阵列4326的操作。传感器控制器4325可以是能够选择一个或多个光电传感器来感测光的任何合适的组件或组件组，如ASIC、微控制器、FPGA或耦接至选择电路(例如，多路转接器)的任何其它合适的处理器。同样，发光系统4338可以包含发射器控制器4315，所述发射器控制器耦接至发射器阵列4314并被配置成控制传感器阵列4326的操作。发射器控制器4315也可以是上文针对传感器控制器4325所提及的任何合适的处理器，并且包含用于操作发射器阵列4314的一个或多个驱动组件。

在一些实施例中，传感器控制器4325和发射器控制器4315被同步，使得发射器阵列4314中的发光序列与读出传感器阵列4326中的光电传感器(对于所有传感器类型或仅LIDAR通道)的序列同步。作为实例，传感器控制器4325和发射器控制器4315都可以耦接至时钟4317，使得两个控制器都可以基于相同的定时方案进行操作。时钟4317可以是生成特定信号的电子组件，所述特定信号以特定速度在高状态和低状态之间振荡，以协调数字电路的动作。任选地，传感器控制器4325和发射器控制器4315可以包含它们自己的时钟电路，以协调它们自己的动作。在这种实施例中，传感器控制器4325和发射器控制器4315可以经由通信线路4319通信地耦接在一起，使得传感器控制器4325可以将其时钟与发射器控制器4315同步。这样，传感器控制器4325和发射器控制器4315可以分别同步地操作传感器阵列4326和发射器阵列4314以实现图像捕获。

在一些其它实施例中，代替传感器控制器4325和发射器控制器4315或除了二者之外，测距/成像系统控制器4304可以被配置成使光感测模块4308和光传输模块4306的操作同步，使得发射器阵列4314的发光序列与传感器阵列4326的感测光序列同步。例如，测距/成像系统控制器4304可以通过在每个发射周期一次以及从左到右依次激活一列来指示光传输模块4306的发射器阵列4314发射光，并且相应地指示光感测模块4308中的传感器阵列4326一次并以相同的顺序感测一列光。在这种实施例中，测距/成像系统控制器4304可以具有其自己的时钟信号，所述测距/成像系统控制器将其对光感测模块4308和光传输模块4306的排序指令基于所述时钟信号。应当理解，设想了用于光检测的其它形式的排序，并且这种序列不是限制性的。进一步地，给定多光谱像素的环境光传感器通道的(强度)数据的收集可以(但不必)定时，以与该多光谱像素的LIDAR传感器通道的操作一致。

光测距/成像系统4300还可以包含其它组件，所述其它组件可以类似于图32中的对应组件。处理器4322和存储器4324的信号处理可以类似于上文参考图32描述的处理操作。用户界面4350及其操作可以类似于上文参考图32描述的用户界面。进一步地，本文所述的任何测距/成像系统可以与其它系统(例如，车辆控制单元)交互，而不是与用户直接(或间接)交互；这种系统可以通过与测距/成像系统控制器4304交换适当的控制指令、数据或其它信号来控制测距/成像系统的操作。

3.5.静态测距/成像系统的操作

如上所述，可以在各种模式下执行利用静态测距/成像系统4300的成像操作。在一种被称为“全帧”模式的模式下，可以同时操作阵列中的所有传感器通道(或给定类型的所有传感器通道)。在另一种被称为“电子扫描”模式的模式下，可以在不同时间操作通道的不同子集。例如，如上所述，可以操作Tx模块4306以发射在不同时间反射到Rx模块4308中的传感器阵列的不同部分上的光，例如，通过激活Tx模块4306内的不同发射器，或者通过相同的发射器与基于MEMS的波束控制组件(例如，MEMS反射镜检流计，有时也被称为“振镜”)的结合使用来控制发射光的方向。当将光对准(例如，通过选择性发射和/或转向)那些通道时，可以选择性地激活LIDAR传感器通道的不同子集。

特定的环境光传感器通道(或多光谱或混合传感器通道中的特定环境光光电传感器)也可以在全帧或电子扫描模式下操作。在全帧模式下，可以同时激活所有环境光传感器通道，或者可以在不同时间激活不同类型的传感器通道。在电子扫描模式下，可以在不同时间激活对应于传感器阵列内不同区域的环境光传感器通道的不同子集。例如，当激活LIDAR传感器通道的对应子集时，可以激活与多光谱像素的特定组相对应的环境光传感器通道，或者可以在未激活LIDAR传感器通道的对应子集时激活与多光谱像素的特定组相对应的环境光传感器通道。

在一些实施例中，LIDAR和/或环境光传感器通道的操作模式是可选的。进一步地，LIDAR和环境光传感器通道可在不同模式下操作。例如，LIDAR通道可以在电子扫描模式下操作，而环境光传感器通道则在全帧模式下操作，以在每个扫描时段内捕获一个光谱图像。

在这些和其它操作模式中的任何一种操作模式下，可以针对传感器阵列中每个多光谱像素的每种传感器类型收集数据。缓冲可用于收集来自与相同多光谱像素相对应的不同通道或传感器类型的数据。因此，与上述旋转测距/成像系统一样，可以获得包括跨视野的多光谱图像像素集合的图像。

4.多光谱图像的处理

如上所述，旋转和静态测距/成像系统都可以产生视野的多光谱图像。多光谱图像可以包含多光谱图像像素的阵列(可以是直线阵列)，并且对于每个图像像素，可以包含从一个或多个LIDAR传感器通道中提取的深度信息以及从环境光传感器中提取的信息，如光谱内各个频带(包含可见光、红外光和紫外光)的强度值、偏振过滤的光的强度和/或其它如上所述的测量结果。多光谱成像针对待成像的区域内的给定位置提供了丰富的数据集。例如，对于图4的传感器阵列400，给定图像像素的数据集可以包含：距被成像物体(即，在与图像像素关联的特定方向上碰巧可见的任何物体)的距离、被成像物体在可见光谱和近红外光谱上的颜色特性(例如，不同波长带内收集的光的强度或数量)、偏振特性和吸收特性。每像素图像数据的其它组合也是可能的，具体取决于传感器阵列中包含的传感器通道类型的特定组合。

举例来说，图44示出了使用上述旋转或静态多光谱测距/成像系统中的任何一个(或其它类似系统)，可以针对区域4402获取的多光谱图像数据的实例。图像组4402包含在不同的波长带处获取的光谱图像。图像组4404包含偏振图像(具有特定偏振方向的光的强度)。图像组4406表示基于LIDAR传感器通道提供的数据的深度图像。

由于不同传感器类型的固定空间布置，图像组4402、4404、4406中的图像可以彼此固有地配准。在旋转测距/成像系统中的传感器阵列的情况下，可以布置和操作阵列，使得给定行中的所有传感器依次对同一区域进行成像(例如，如上所述)，从而提供了平凡的(或固有的)配准。在静态测距/成像系统中的2D多光谱传感器阵列的情况下，可以基于不同类型的每组传感器所占据的区域来限定图像像素。例如，在图6的传感器阵列600中，每个混合传感器通道602可以对应于图像像素，并且在传感器阵列900中，每个多光谱像素1020(如图10所示)可以对应于图像像素。在这些实例中，由于传感器之间的(小)空间偏移，不同的传感器类型可能会对多光谱图像像素内的不同位置进行采样。在一些实施例中，可以忽略这种偏移，并且可以将数据视为如同所有传感器均定位在图像像素的中心那样。可替代地，如果需要，可以通过从附近的传感器位置向每个图像像素的几何中心进行插值来应用偏移补偿。

在一些实施例中，传感器阵列ASIC可以在获取像素数据时将像素数据流传输到另一个系统组件(或另一个装置)，并且所有图像处理均可以由另一个系统组件执行。在其它实施例中，传感器阵列ASIC可以包含“板载”数据缓冲区，所述缓冲区能够累积不同图像像素(包含每像素一个通道或每像素多个通道)的数据。根据实施方式，板载数据缓冲区可以保存任何数量的多光谱图像像素的数据，从一个或两个像素到整个图像大小。缓冲的像素数据可用于重建场景的“局部图像”(其可能是1D或2D图像，并且可能小于整个图像大小)，并且传感器阵列ASIC中的处理器或传感器阵列外部的处理器可以对局部图像执行各种图像处理操作，包含每像素分析以及局部或全场景推断。板载数据缓冲区的大小可以根据需要进行更改，这具体取决于所累积的数据量和期望的功能。因此，可以根据需要在芯片上或芯片外执行图像处理和图像分析操作。

在一些实施例中，多光谱图像分析可以包含使用机器学习算法和包含已知(和标记)物体的图像训练集来训练自动分类器。机器学习算法可以包含人工神经网络或其它分类器(例如，基于经典统计技术的分类器)。一旦经过训练，就可以在传感器阵列ASIC内(例如，在机器学习协处理器中)或从传感器阵列ASIC接收数据的客户端系统中部署一个或多个自动分类器。

可以对多光谱图像执行各种图像处理和图像分析操作。现在将描述实例。

4.1.多光谱图像像素的每像素分析

在一些实施例中，丰富的每图像像素数据集可以实现复杂的分析，如识别图像中的材料。通过图示的方式，图45示出了已被注释以识别其中所含有的材料的图像的实例。在一些情况下，不同的材料对人眼可能具有相似的颜色(例如，绿色的汽车和绿色的灌木丛)，但这些材料可能具有细微不同的光谱特征、不同的偏振特性和/或吸收特征，从而可以基于每图像像素分析进行区分。将来自多个环境光通道(包含任何吸收带通道)的光谱响应信息与深度通道数据相结合，可以对硬、软和扩散的物体进行分类，如岩石、植物、沥青、金属、玻璃、水、皮肤、毛皮、衣服以及各种气体和微粒(例如甲烷、二氧化碳、黑碳等)。多光谱像素信息还可以用于对不同的窄谱和广谱光源进行分类，以提供其它环境提示，如根据像素的光谱图案显示哪种类型的照明。可以逐像素并且实时地执行这种分类。在一些实施例中，可以训练人工神经网络或其它机器学习系统(其可以根据需要在传感器上或传感器外实施)，以根据深度特性、颜色特性、偏振特性和/或吸收特性的组合，对多光谱图像数据中的材料进行分类；手动批注的图像可以用作训练输入。一旦经过训练，机器学习系统就可以实时识别环境中存在哪种类型的物体以及物体位于何处。

作为另一个实例，实时偏振成像可以发生在传感器处理器中，并且可以组合来自多个偏振通道的数据以计算偏振角和/或偏振度。极化分析可用于，例如，提供车辆挡风玻璃或水面上的实时眩光消除功能、增强阴影区域的对比度、增强在有雾霾或其它大气遮挡物存在下的成像效果和/或提供环境中(或更具体地在路面上)的水、冰和其它极化物质的实时标识和分类。

4.2.用于从多光谱图像进行场景推断的系统

在一些实施例中，可以通过分析跨图像像素集合的多光谱图像数据来提取场景级推断，所述图像像素集合可以包含从两个像素到整个图像视野的任何地方。可以使用传感器ASIC中的板载数据缓冲区在片上和/或片外(例如，在另一个系统组件或单独的装置中)在片上执行场景级推断。可以实施许多类型的场景级推断。

例如，识别视野中的不同物体可以基于识别颜色、偏振和/或距离的变化。在一些实施例中，可能的材料组成的每像素分析的结果可以用于部分地基于可能的材料组成来识别物体。可以进一步评估物体以确定距离、组成等。结合来自多光谱像素的深度信息，这可以可靠地识别图像中的内容(例如，汽车、墙壁、灌木丛、道路)以及位置。设想的是，可以基于使用本文所述种类的测距/成像系统获取的多光谱图像数据(包含深度数据)启动机器学习系统，从而以高可靠性确定环境中存在何种类型的物体以及物体的位置。这种信息具有多种用途和应用，包含但不限于驾驶员辅助和/或自动驾驶车辆技术。

也可以做出其它推断。例如，在一些情况下，太阳或月亮可能被识别为视野中的物体。通过使用多光谱图像数据，可以识别和区分太阳和月亮，这可以提供有关一天中的时间和/或一般照明条件的提示。即使太阳或月亮不在视野范围内，不同光源的不同光谱属性可能提供线索，表明环境照明是由自然光(指示白天或室外条件)还是人工照明(指示夜间或室内条件，如隧道或停车场)主导。作为另一个实例，现代汽车的氙气或LED大灯可以与钠蒸气路灯区分开。作为又一个实例，基于LED的交通信号灯发出红色、黄色或绿色的相对较窄的(-50nm)光谱，这些光谱可以与物体的较宽光谱区分开，如停车标志、绿草或黄色车道线。

5.另外的实施例

尽管已经参考特定实施例描述了本发明，但是本领域技术人员在访问本公开之后将认识到，许多变化和修改是可能的。例如，本文所述类型的多光谱传感器阵列可以被制造为包含任何数量的行和每行任何数量的传感器通道。(术语“行”和“列”用于区分传感器阵列的两个维度，特别是在以扫描模式使用的阵列的情况下，并且不旨在暗示传感器阵列的任何特定空间方向。)包含通道专用微光学元件的传感器通道的特殊构造可以改变。可以根据需要修改每行中使用的环境光感测通道的组合，并且在一些实施例中，不同的行可以具有环境光感测通道的不同组合。进一步地，环境光感测通道不限于上文给出的特定实例；可以使用其它类型的光学滤波器创建各种环境光感测通道，所述环境光感测通道可用于收集图像数据。

本文中使用术语“环境光感测通道”来指示传感器通道测量光强度(与定时或其它测距数据相反)。在不存在从传感器系统发出的故意照明的情况下，这种通道可以提供有用的数据。然而，这并不排除对视野的故意照明。例如，白光可以指向视野(例如，从汽车的前灯或照相机闪光灯)。作为另一个实例，在使用吸收通道的应用中，具有涵盖吸收带的波长的光可以被引导向视野，并且吸收通道中不存在光可以指示该视野中的物质正在吸收光。

除了一个或多个环境光感测通道之外，上述传感器阵列还可以包含一个或多个LIDAR传感器通道(和/或其它深度感测通道)，这些通道提供定时数据(例如，如上所述的直方图)或可用于得出到视野中物体的距离的其它数据。LIDAR传感器通道可以在各种波长下操作，包含近红外、短波红外(例如，1600nm)、中波红外和/或长波红外(例如，最大15μm)。进一步地，在一些实施例中，可以在传感器行之间的位置处包含附加的传感器通道(例如，LIDAR传感器通道)，或者可以存在一些不包含LIDAR传感器通道(或其它深度感测通道)的传感器行，并且来自不同传感器通道(或传感器类型)的图像可以但不必具有相同的分辨率。多光谱阵列可以是可在扫描模式下操作以对视野进行成像的基于行(或“1D”)的阵列，也可以是具有多光谱传感器通道或多光谱像素的2D阵列。

本文所述类型的传感器阵列可被结合到各种感测系统中，包含但不限于如上所述的组合的成像/LIDAR系统。可以使用如上所述的旋转和/或静态平台来实施组合的成像/LIDAR系统，并且可以在需要同时收集环境光和测距数据的任何应用中使用所述系统。

本文所述的系统可以产生多光谱图像数据，所述多光谱图像数据可以包含光谱的各个部分(包含根据需要具有宽和/或窄通带的可见光、红外光和紫外光；具有各种偏振态的光；以及上文描述的其它实例)的光强度数据以及整个视野的深度信息(宽度可以视需要而定，在一些实施例中可达360度)。由于不同传感器类型在传感器阵列上对准的结果，由不同传感器类型(包含测距传感器，如LIDAR)捕获的图像可以固有地彼此配准。在一些实施例中，这种固有配准可以促进图像的多光谱像素数据的生成。

可以使用对数据的任何部分进行操作的多种计算机实现的算法来分析多光谱图像数据。在一些实施例中，多光谱图像数据可用于生成图像以显示给用户，其可以包含基于来自数据的算法推断直接渲染图像数据和/或渲染场景(或其部分)的图像。尽管上述实例与车辆导航和/或驾驶员辅助有关，但本发明不限于任何特定的数据分析或多光谱图像数据的任何特定的应用。

出于说明和描述的目的，已经呈现了本发明的示例性实施例的以上描述。以上描述并非旨在穷举或将本发明限制于所描述的精确形式，并且鉴于上述教导，许多修改和变化是可能的。选择并描述所述实施例的目的是为了解释本发明的原理和其实际应用，以使本领域的其它技术人员能够利用在各个实施例中的并且具有适合于设想的特定用途的各种修改的本发明。因此，尽管已经参考特定实施例描述了本发明，但是本发明应被理解为仅由所附权利要求书限制。