成像传感器

摘要

成像3D飞行时间传感器(TOF传感器)特别适合用于检测三维空间中的物体和人。该能力来自于基本原理。在传感器的每个图像点中，根据光脉冲的传播时间(也称为飞行时间(tof))确定距位于传感器的采集区域中的物体的距离。因此，传感器提供了传感器输出信号，该传感器输出信号反映了数据组，在该数据组中关于传感器的每个图像点(也称为像素)包含距离值，该距离值对应于相应图像点与映射到该图像点上的物体表面部段之间的距离。传感器由此提供了三维图像，该三维图像可以利用对应的处理算法来分析。例如，已知对传感器输出信号进行如下分析：物体是否位于预先给定的空间扇区内。在特定的应用中，可以借助一个或多个成像3D飞行时间传感器来检测人员和机器部件是否例如在机器动作区域内危险地靠近。

在特定的应用情况下，特别是在人与机器、机器与机器或机器与空间的交互的情况下，必须特别可靠地、即安全地(safe)实施检测。

安全等级按照不同标准被归类为如下安全完整性级别(SIL–safety integrityleve)：

汽车(ISO 26262)QM ASIL-A ASIL-B/C ASIL-D-

通用(IEC-61508)- SIL-1 SIL-2 SIL-3 SIL-4

航空(DO-178/254)DAL-E DAL-D DAL-C DAL-B DAL-A

铁路(CENELEC- SIL-1 SIL-2 SIL-3 SIL-450126/128/129)

背景技术

已知3D-TOF传感器，其安排了至少一个光学发射器和图像记录器，该光学发射器用于优选地(但不排他地)在近红外范围内发射电磁辐射，该图像记录器根据辐射接收器的布置来构建。各个辐射接收器分别对应于图像记录器的一个像素(图像点)，并且因此对应于3D-TOF传感器的一个像素。

通常，辐射接收器分为两组(辐射接收器A、辐射接收器B)并布置为矩阵。

每个辐射接收器具有光敏元件(例如，光电二极管或光电门)和至少一个存储电容。

TOF传感器的典型工作原理如下：

在时间点t0，发射器被激活，该发射器针对短的时间段ti(例如30ns)发射光脉冲，该光脉冲具有对应于ti的光脉冲持续时间。同时，同样针对短的激活时间段tA(例如也为30ns)激活辐射接收器A。光脉冲在物体上反射，并且由辐射接收器A错开了飞行时间tof地记录。在激活时间段tA期间，所反射的光脉冲的能量使得光敏元件中的电荷(即光电子)被释放。由对光脉冲的记录而形成的电荷量(对应于所释放的光电子的数量)被存储在存储电容(A1)上。接收器A只能记录所反射的光脉冲中对应于时间差tA-tof的那部分，因为所反射的光脉冲相对于激活时间段的开始延迟了飞行时间tof才击中光敏元件，使得激活时间段与所反射的光脉冲的脉冲持续时间仅对于重叠持续时间在时间上部分重叠。重叠持续时间与光脉冲的传播时间或飞行时间成反比(参见图1)。相应地，所释放的光电子的数量与光脉冲的传播时间或飞行时间也至少近似成反比。

以时间延迟Δ＝t0+tA(在该示例中再次为30ns)、即直接紧接第一激活时间段tA的结束，激活辐射接收器B。辐射接收器B针对第二激活时间段tB(在该示例中同样为30ns)处于激活。同样，接收器仅记录所反射的光脉冲的一部分，该部分对应于时间差Δ＝tof+ti-tA(如果ti＝tA，则为tof)，并且因此与该时间差(光脉冲的传播时间或飞行时间)成比例。对应的电荷量被存储在存储电容B1上。

由于依赖于反射物体的反射率和距离，所反射的信号可能非常微弱，因此必须设置放大机构。该放大机构通过多次重复以上所描述的测量并且在存储电容上累积相应记录的电荷量直至达到足够的信号电平来实现。

因此距离可以如下地计算：

E1＝P(R)*kref*(T-tof)

E2＝P(R)*kref*(tof+T-T)＝P(R)*kref*tof

其中：

E1；E2–对于接收器A或B的每次扫描的能量，

T＝tA＝tB＝ti–最大飞行时间＝30ns，对于4.5m的最大距离(唯一性范围)，

kref–目标的反射系数，

tof–脉冲的飞行时间，

P(R)–kref＝1时所反射的脉冲功率，

电荷量与每个扫描过程的相应能量值成比例。

简化后，可以为200个累积编写以下内容：

其中

A，B–存储电容A或A中累积的电荷量，

p–是比例系数，其具体特性与这些考虑无关。

通过标准化(除以两个电容中累积的电荷量之和)，可以形成不依赖于反射率的标准化电荷量Q1和Q2。

Q1＝A/(A+B)(通过形成商来消除与反射率的依赖关系)

Q2＝B/(A+B)

可以从针对每个电容的标准化电荷量分别得出针对飞行时间的值：

tof1＝(1-Q1)·T

tof2＝Q2·T

在无错误的理想情况下，两个由此确定的飞行时间tof1和tof2相同：tof 1＝tof2。可以通过形成平均值来避免可能的测量误差：

tof＝1/2(tof 1+tof2)(平均值)

在传感器与反射物体之间所测量的距离为：

S＝1/2(c*tof)c–光速

所描述的结构的扩展变形在于，每个接收器具有两个存储电容(接收器A具有Aa和Ab；接收器B具有Ba和Bb)。根据该特性得到扩展的功能可能性。

第一可能性：

接收器A和B相同地运行。存储电容Aa和Ab以错开的方式切换–Ab接管了B的功能(如以上所描述的)。

代替两个光电接收器，仅使用一个分别具有两个存储电容的光电接收器：

在结构合适的情况下，这种布置的优点可以在于，接收器的密度更高(分辨率更好)。

第二可能性：

附加的存储电容用于信号的四阶段扫描。尽管图1中描述了具有两个积分时间段的信号扫描(两阶段)，但是现在信号可以被扫描四次，在此扫描点分别错开了信号的1/4周期，参见图2。对于实施变形，具有周期持续时间T的周期性脉冲序列也可以用作发射信号。

由于飞行时间tof所引起的所反射的信号的相移

严格来说，相角的计算仅适用于正弦信号。

随后，可以根据相移

T–在该情况下是周期性信号的周期。

如果选择正弦形式作为周期性信号，则针对第二可能性所示的关系也适用。

哪种方法合适，很大程度上取决于TOF传感器的具体应用和系统设计。

图1中描述的方法通常与功率很强的脉冲一起在占空比很小的情况下使用(例如，>25W的脉冲功率；1：1000)，而图2中所示的脉冲序列或其与1：1占空比一起应用在1W至4W的脉冲功率的功率情况下。对于光源的正弦调制，峰值功率的选择也是类似。必须通过维护眼睛安全来遵守对所使用的功率的限制。

有源像素传感器(APS)的使用

已知的是，为每个图像点设置有源像素传感器(APS)。有源像素传感器通常具有光电二极管和多个(场效应)晶体管。在光电二极管的截止层中，落在光电二极管上的光释放电荷，使得由于入射光子，二极管上的(截止)电压降低。有源像素传感器如下地运行：在激活时间段的开始，光电二极管上的电压借助复位晶体管设置为所定义的初始值。在激活时间段期间，光电二极管的截止层电容通过由入射的所反射的光脉冲所引起的光电流放电。在此，光电二极管上的电压与所反射的光脉冲的强度以及与光脉冲的落在有源像素传感器的激活时间段内的那部分的持续时间成比例下降。在激活时间段结束时，读取光电二极管上下降的电压的电压值，并且将其馈送到模拟的后处理或者立即馈送到模数转换器(ADU)。为此，每个图像元素具有放大器晶体管，该放大器晶体管借助选择晶体管大多逐列地切换到对于一行中所有图像元素公共的读取线。有源像素传感器可以以CMOS(ComplementaryMetal-Oxide-Semiconductor，互补金属氧化物半导体)技术来实现。例如，由于还可以通过热处理释放光电二极管截止层中的电荷，因此通常导致叠加在实际的光电信号上的信号噪声。

相关双重采样(CDS)

为了避免上述信号噪声，已知的是，不仅在激活时间段结束时测量一次光电二极管上的电压，而且随后在重置光电二极管以恢复全部截止电压(暗电压)之后再次测量光电二极管上的电压，以便获得以之可以至少部分补偿噪声信号分量的参考信号。

实现这种相关双重采样的传感器针对每个像素具有对应的电路，该电路在此称为CDS级。CDS级例如可以借助运算放大器来实现。

像素结构

图像传感器的像素可以具有以下组成部分：

-有源像素传感器(在此也称为APS单元)

-CDS级，该CDS级与APS单元相关联，以及

-采样以及保持级(S&H)，用于读取像素。

发明内容

本发明的目的是，设计上面所描述的TOF传感器的结构，使得危险故障的概率极低，并且优选地仅能够以小于1100年1次的概率出现(根据ISO13849-1SIL3或类别4，PLe)。

根据本发明，为了实现该目的，提出了一种具有至少一个像素矩阵的3D-TOF，该像素矩阵具有被划分为至少两个信号路径(通道A和B)的像素结构，其中信号路径被引导为，使得对应于像素定位，信号传播时间对于两个通道都相同(H树)，并且其中每个信号路径都具有其自己的独立的模拟信号输出(信号A和信号B)，并且其中3D-TOF传感器还具有至少两个光学发射器组，其中每个发射器组包含至少一个发射器。

优选地，发射器被构建为用于以红外光的方式进行发射，使得其在光的红外光谱范围内工作。

优选地，为像素矩阵的每个信号路径设置自己的逻辑电路(信号路径A的逻辑电路和信号路径B的逻辑电路)以进行控制。在此优选地，每个信号路径的逻辑电路被构建为，通过以交叉交换通道数据的方式处理两个通道的信号值来确定幅度和距离值。

根据第一发明变形，第一通道的像素(像素A)和第二通道的像素(像素B)的光敏表面光学连接，使得两个像素总是接收相同的光量。

第一通道的像素(像素A)和第二通道的像素(像素B)的光敏表面可以借助漫射器连接，该漫射器将光量均匀地分布在来自通道A的各个像素(像素A)以及来自通道B的各个像素(像素B)的光学表面上。该方法在此称为光学装仓(optisches Binning)。在此，分别包括像素A和像素B的像素组的信号路径没有彼此电连接。在一种应用情况下，可以通过并行地寻址通道A和通道B中的像素来读取像素矩阵。因此，在像素矩阵的输出处始终同时存在信号A1和信号B1的信号值；信号A2和信号B2的信号值；......；信号An和信号Bn的信号值。

优选地设置比较器级，该比较器级被构建为用于对在像素矩阵的输出处并行存在的信号值进行彼此间的比较。在此，优选地在逻辑电路A或B中的至少一个中将比较器的数字化输出值与预定值进行比较。然后，如果两个信号值具有较大的差，并且因此例如超过了针对差的比较器比较值，则逻辑电路优选地产生失败信号，并且3D-TOF传感器的像素的读取过程被中止。

优选地，设置模数转换器(ADU)，该模数转换器与通道A或通道B相关联，并且被构建为用于将相应通道中的模拟信号值A和B数字化，并且分别馈送到通道A的逻辑电路或通道B的逻辑电路。随后，可以比较数字化的通道值。为此，优选地交叉交换通道数据。如果计算出的差值超过比较值，则逻辑电路优选地产生失败信号，并且中止读取过程。

优选地，3D-TOF传感器被构建为用于执行附加的特殊信号处理步骤，更确切地，通过在附加的特殊信号处理步骤中比较信号值A和信号值B来检查光电接收器的功能性。利用(至少一个发射器组的)发射器的启动，同时激活像素A和像素B，准确地说，激活相应像素的存储电容。对于两阶段模式，激活时间段对应于光脉冲持续时间的长度的两倍，并且在四阶段模式下，激活时间段恰好对应于光脉冲持续时间的长度。通过该信号步骤，在具有光学装仓像素的像素矩阵的输出处，两个通道A和B的输出处分别预期有相同的信号值。相同的信号值(低于比较器阈值)是对像素的功能性的指示。

优选地，3D-TOF传感器被构建为用于执行另外的附加的信号处理步骤，在该另外的附加的信号处理步骤中检查发射器组的功能性。利用(仅一个发射器组的)发射器的启动，激活像素A或像素B，准确地说，激活相应像素的对应存储电容。相对于图像周期，分别以两倍的激活持续时间来实施激活时间段。对于两阶段模式，激活时间段的持续时间对应于光脉冲持续时间的两倍，并且在四阶段模式下，激活时间段的持续时间恰好对应于光脉冲持续时间。作为该另外的附加的信号步骤的结果，在具有光学装仓像素的像素矩阵的输出处，两个通道A和B的输出处分别预期有不同的信号值。

模拟像素矩阵的输出处的信号值的差是相应的发射器组已经发射了光脉冲并且功能性正常的指示。

如果为一个发射器组提供了验证，就可以对另一发射器组使用相同的方法。优选的方法是在两个图像周期之间相应地交替发射器组。

优选地，3D-TOF传感器被构建为使得图像周期的开始伴随着对第一发射器组的检查(权利要求10)进行，并且使得然后进行对光电接收器的检查(权利要求9)，并且然后跟随有实际的图像处理。如果图像周期完成，则下一个图像周期伴随着下一个(即至少第二个)发射器组开始。发射器组的这种交替依据要求任意进行。

根据实施变形，3D-TOF传感器可以被构建为通过以下来省去检查第一发射器组(权利要求10)的信号步骤：发射器组在至少两个不同的波长范围(其必要时可能重叠)内工作，并且像素矩阵被构造为，使得通过对应的光学滤波器将像素A和像素B确定在两个不同的波长范围中的一个上，方式是，相应的光学滤波器仅允许两个波长范围中的一个通过。一种特别优选的解决方案是，将850nm的波长用于第一发射器组和通道A的像素，并将940nm的波长用于第二发射器组和通道B的像素。如果现在实施按照权利要求7的信号步骤，则在该情况下，同时激活第一和第二发射器组。通道A的像素接收在第一波长范围(850nm)中的所反射的光脉冲，并且通道B的像素接收在第二波长范围(940nm)中的所反射的光脉冲。然后，如果对于各自的相邻寻址的像素，在通道A和通道B的输出处存在相同大小的信号值或者存在具有预先给定的比例的信号值，则可以证明两个通道的所寻址的光电接收器和两个发射器组是功能性正常的。

优选地，在此还可以在两个波长之后同样补充性地设置光学装仓，以改善上述光学滤波的信号值的一致性。

优选地，可以通过以下方式改善3D-TOF传感器，即，对应于所选择的波长来调整通道A和通道B的光电接收器的面积，从而补偿针对不同波长的不同量子效率，也就是，在完好的3D-TOF传感器中在通道A和B的输出处存在相同大小的信号值。

优选地，每个通道具有自己的处理器，该处理器连接到通道的逻辑电路的信号路径。此外，处理器优选地与各个另外的通道的输入连接。因此，已经由相应逻辑电路传送的、计算出的幅度和距离值被传输到每个处理器。

优选地，通过以下方式检查每个通道逻辑电路的逻辑运算：每个处理器完全独立于另一个处理器地计算至少一个检查值(随机数)。通常，为两阶段模式计算一个检查值，并且为四阶段模式计算两个检查值。通过处理器将每个检查值传输到相同通道的逻辑电路。逻辑电路利用所传输的检查值和另外的通道的检查值来计算至少一个输出值、优选两个输出值。用于计算输出值的运算与用于计算幅度和距离值的运算相同。输出值被传输到相应通道的处理器。处理器在他那一侧计算出期望的输出值，并且对照自己计算出的输出值检查从其通道的逻辑电路所获得的输出值，并且在偏差的情况下输出失败信号。

在特别优选的实施中，两个处理器中的一个优选是安全相关的处理器。安全相关的处理器至少具有两个独立的无相互作用的计算核心，并且将两个输入处理为一个输出(1oo2-二选一)。优选地，该架构用于将图像运算分为安全图像处理过程和非安全图像处理过程。安全过程仅检查在3D-TOF传感器的所定义的视野中是否出现单个图像点与预期标准位置的偏差(3D点云的变形)。如果出现这种偏差，则输出警报信号。

复杂的图像处理在非安全处理器上进行，目的是识别点云变形的实际原因(例如，识别人、手、头等的运动)。

根据第二发明变形提出了一种3D-TOF传感器，其特征优选在于以下特征：

3D-TOF传感器具有带像素矩阵的图像记录器，其中，

像素矩阵具有至少两个单独的独立块，并在至少两个单独的信号路径中传输数据；和/或

图像记录器的像素矩阵的像素至少具有光敏接收器和用于存储载流子的存储单元；和/或

信号路径至少由模数转换器(ADU)、可编程逻辑电路、存储单元以及与其连接的处理器组成；和/或

图像记录器至少具有针对所有块的全局快门(Globalshutter)，该全局快门可以通过可编程逻辑电路的控制信号来触发，并且可以设置小于100ns的最小快门时间；和/或

信号路径彼此独立且无相互作用地布线；和/或

信号路径被布线为使得逻辑电路或处理器的数据可以交叉交换；和/或

图像记录器的每个块与自己的成像光学器件相关联，使得在块上映射有物体侧的相同图像。光学器件的距离被选择为如此之小，使得无法分辨视差误差；和/或

每个块与至少一个照明源相关联，该照明源经由逻辑电路与全局快门同步。

优选地，图像记录器的特征在于，每个块具有单独的全局快门，该全局快门可以由相关联的信号路径的逻辑电路来控制。

优选地，图像记录器的特征在于，块的全局快门仅依赖于单个信号路径的单个逻辑信号，并且其依赖关系通过可设置的延迟时间(寄存器值)来设置。

替换地或附加地，图像记录器的特征还优选在于，对于每个块

通过光学滤波器或光学滤波器系统与窄的光谱范围相关联，和/或

光学滤波器系统由直接在图像记录器上的滤波器以及光学器件的成像系统中的至少一个另外的滤波器形成；和/或

图像记录器的块上的光学滤波器作为边缘滤波器确保块的清晰的光谱分离，而光学成像系统中的滤波器被设计为带滤波器，并包括块的光谱范围，和/或

块的每个光谱范围分别与照明源相关联，该照明源恰好在对应于相应块的光学滤波器的透射范围的波长下发射光。

这对应于一种用于利用上述类型的图像记录器可靠地记录2D图像数据的方法，其具有以下方法步骤：

在第一处理步骤中，以预先确定的曝光时间进行对全局快门的触发。其结果是，在像素的存储器中，在两个块上分别存在与物体成像对应的电荷图像。

在第二处理步骤中，将第一块的图像数据传输到第一块的处理线(读取块1)，并且将图像数据传输到第二块的处理线(读取块2)等。作为该步骤的结果，在块中现在存在数字形式的图像数据。

现在应当根据实施例参考附图更详细地阐述本发明。附图中：

图1说明了按照TOF原理的距离测量，其基于对所发射的光脉冲(发射脉冲)的飞行时间测量；

图2说明了与图1类似的利用所反射的光脉冲的四阶段扫描的传播时间测量；

图3说明了根据本发明的TOF传感器的基本结构，该TOF传感器具有两个并行路径以及其之间的交叉比较；

图4说明了如何能够在3D-TOF传感器的像素层上实现图3中所示的基本结构；

图5a-图5c说明了如何能够将像素矩阵的像素划分为两个通道(通道A和通道B)的不同变形；

图6a、图6b以截面图说明了如何能够实现光学装仓；

图7以图5a中的像素矩阵为例，说明了如何能够通过光学装仓将成对的待分析的通道A和通道B中的像素并行地光学连接；

图8说明了所反射的光脉冲的同时扫描；

图9示出了按照图8中所示原理的、用于扫描根据图6和图7的像素矩阵的电路图；

图10示出了用于输出光脉冲的照明也被双重地设计，并且可以具有分别带有两个发射器的两个发射器组，发射器组被交替使用；

图11说明了代替图8中所示的对像素A和B的同时扫描，仅扫描像素中的一个、即像素A或像素B，以便以该方式获得针对激活的发射器组的光量的度量；

图12a、图12b说明了像素矩阵的相应像素A和B可以对于不同的波长或不同的波长范围是敏感的；

图13示出了，如果像素的量子效率对于相应的波长应当不同，则根据图12a或图12b的像素矩阵中的像素可以具有不同大小的面积，以便通过由较大的像素面积补偿较低的量子效率，来获得具有可比较的水平的所示的输出信号的结果；

图14示出了具有另外的比较器的逻辑电路，该另外的比较器用于测试分别在两个波长范围内工作的通道A和B；

图15示出了，可以使用两个不同的处理器代替两个相同的处理器A和B来分析通道A和B的信号，两个不同的处理器中的一个是安全相关的处理器；

图16示出了图像传感器的原理结构，其中，通过对电路进行扩展，CDS级的运算放大器还用作比较器，用于在模拟像素层上比较像素A和B的信号值；

图17说明了读取周期；

图18示出了处于第一切换状态的图16的图像传感器的CDS级；

图19示出了处于第二切换状态的图16的图像传感器的CDS级；

图20示出了处于第三切换状态的图16的图像传感器的CDS级；

图21示出了具有高分辨率的图像记录器，该图像记录器具有多个并行的读取通道，这些读取通道用于逐块读取像素；

图22示出了具有两个像素块A和B的图像记录器，像素块分别对于不同的波长范围敏感；

图23说明了，可以在块层上以与在像素层上(相较于图8)完全相同的方式对像素矩阵的功能执行检查；

图24示出了用于读取被划分为两个块A和B的像素矩阵的图像处理电路；

图25示出了类似于根据图22的图像记录器，在该图像记录器中设置了附加的光学通道；以及

图26说明了借助仅具有单个全局快门的图像记录器对所反射的光脉冲的串行扫描。

本发明的出发点是如EN ISO 13849(机器安全性)中所描述的总体布置。然后，可以以如下方式实现SIL-3(类别4；PLe)，即，设计具有至少两个信号路径的系统，使得可以通过两个并行信号路径的交叉比较来实现完整性，参见图3。

根据图3中所示的3D-TOF传感器10的原理结构，其具有两个输入单元12A和12B，两个输入单元可以由像素形成，参见图4。由输入单元产生的输出信号、即例如像素的输出信号分别被馈送到逻辑电路14A和14B，该逻辑电路分析输入单元12A或12B的输出信号。逻辑电路14A和14B彼此连接以用于交叉比较的目的。在交叉比较的范围内，尤其检查逻辑电路14A和14B是否分别提供相同的输出信号。如果交叉比较为肯定的，则由输入单元12A和12B采集并由逻辑电路14A和14B处理的信号被输出到相应的输出单元16A和16B。

因此，根据图3和图4的3D-TOF传感器分别具有两个并行的信号路径，其中一个由输入单元12A、处理逻辑电路14A和输出单元16A形成，并且其中第二信号路径由输入单元12B、处理逻辑电路14B和输出单元16B形成。由此，第一信号路径形成通道A并且第二信号路径形成通道B。现在提出，将该并行系统应用于3D-TOF传感器。

因此，在下文中，术语“信号路径”和“通道”被同义地使用。

第一发明变形

在第一发明变形的范围内，应用以上所描述的具有至少两个像素(像素A和B)的原理，使得实现了具有信号路径A与B的比较的连续并行处理。信号的比较在信号处理的不同层上执行，参见图4。

所有像素A和B以矩阵形式分别布置在相同的行、列中，或者以棋盘形式布置。

信号路径严格按照通道A和通道B来分开实施。这既适用于模拟信号路径又适用于数字信号路径，而与集成在硅中的接收器矩阵是否仅模拟地实施或者模拟且数字地实施无关，参见图5。

因此，存在两种实现可能性，即仅模拟电路部分被集成在硅中并且在FPGA上使用外部逻辑电路，或者将所有组件完全集成在硅或另外的半导体材料中。

光学装仓/检查接收器功能

电路层上组合多个像素在技术上是已知的。使用该方法，以便：

-降低分辨率，

-提高图像速度，或

-改善灵敏度并减少噪声。

引入光学装仓作为一项新功能，以确保像素A和B接收到相同的光学功率(成像)。

光学装仓可以通过在像素A和像素B上布置均质漫射器(homogenisierenderDiffusor)来实现。可以以仅光学地连接像素A和B中分别涉及的光敏表面(光电接收器)的方式来实现这种布置。然而，也可以将漫射器放置在整个像素几何形状上。通过使用微光学器件，如其已经被多次用于增加CMOS图像传感器中的填充系数那样，给出另外的变形。然后将微光学器件布置在漫射器上。

在第一发明变形的另外的实施变形中，漫射器和微光学器件也可以在微光学的基础上实现在一个元件中。

关于像素A和B的矩阵布置，A1和B1、A2和B2......An和Bn分别彼此光学连接，在此假定A1和B1或A2和B2、An和Bn的模拟信号路径被实施为用于在相同的长度下保持相同的信号传播时间。该要求也适用于各个光学装仓后的像素的开关晶体管的数字控制信号，参见图6和图7。

并行化的光电接收器的功能性通过附加的信号步骤来检查。该信号步骤的目的是检查通道A和B是否传递相同的信号值。这些信号值必须明显高于噪声水平(零信号)。

这通过同时扫描所反射的光脉冲来实现。对于两阶段模式，扫描时间对应于光脉冲持续时间的长度的两倍(参见图8)，并且在四阶段模式下，扫描时间恰好对应于光脉冲持续时间的长度。在该情况下，优选地也应当多次重复发射和扫描所反射的光脉冲的周期，直至在像素A和像素B的存储器中累积了足够的电荷量为止。

图9中概略地说明了电路图。在积分阶段的流程之后，同时选择光学装仓后的像素(A1和B2)的存储器，并且将其放置到模拟矩阵的输出。第一次(例如通过使用比较器)在模拟信号路径中比较像素A1和B1的电荷量。检查A与B之间的差电压是否低于先前所定义的阈值。依据像素中存在的存储器的数量(两阶段或四阶段)，可以每像素进行一次或者进行两次该周期。也可以实现存储器a和b的电路技术上的并行化。

进一步地，将信号值在模数转换器(ADU A和ADU B；参见图9)中数字化，并且进行第二次比较。该运算既可以由下游逻辑电路和/或又可以由相应逻辑电路A或B下游的处理器A或B来进行。在实现形式上，逻辑电路A和逻辑电路B不同于处理器A或处理器B。逻辑电路是在电路层上实现逻辑运算的电路，并且例如可以以FPGA(现场可编程门阵列)的形式存在。反之，处理器的工作原理由顺序编程(例如，以固件形式)来预先给定。例如，处理器可以是数字信号处理器(DSP)。

如果在模拟或数字范围内超出了所定义的差值，则在逻辑电路块中触发失败信号并且停止图像记录。该失败信号经由信号路径直接传输到处理器接口(输出)。

然后，与安全控制相连接的处理器输出可以将机器引导至安全保全，参见图9。

双重实施照明源/检查发射器的功能性

如信号路径被双重地设计一样，具有光学装仓后的像素的3D-TOF传感器的照明也被至少双重地设计。至少两个发射器组交替使用，参见图10。

发射器组由至少一个发射器组成。图10中示出了发射器组的双重实施，并且分别通过两个发射器来表示。发射器1和3以及发射器2和4分别并行运行并交替运行。LED或激光二极管可以被用作发射器(例如VCSEL)，参见图10。

用于检查发射器功能的扩展的周期

通过光学装仓和附加的信号步骤可以检查，光电接收器和信号处理通道是否提供相同的信号值。信号值的相同性可以通过差值来确定，该差值应当低于待确定的阈值。

在该步骤中，无法对发射器的功能性做出任何结论。另外的附加的处理步骤可以提供关于此的信息。

如果不是图8中所描述的同时地扫描像素A和像素B的所反射的光脉冲，而是仅扫描一个像素(即要么A要么B)，则在确定差值时在比较器级(模拟)中或者在数字逻辑部分中产生高于阈值的信号，该阈值提供了针对激活的发射器组的光量的量度，参见图11。

在运行的图像周期中，将对应于图8和图11的信号步长放置在实际的图像生成之前，以监视信号路径。

发射器组1和发射器组2在周期内分别交替激活。

通过分解发射器波长的对发射器功能的替换检查机制

信号传导的连续并行性的特别有利的实施可以通过在不同波长下发射发射器组来实现，而像素A和像素B可以分别选择性地对各个不同的波长做出反应，参见图12a和12b。

该方法的优点在于，不必迭代地单次地对第一发射器组以及对第二发射器组进行参考图11所描述的信号步骤，而是该步骤可以同时进行，因为两个发射器组可以同时激活并且可以通过接收器的波选择性来选择性地识别。

光学装仓因此波长选择性地进行。即，典型的实施可以是使用窄带滤波器以及具有850nm中心波长的均质化功能，以及针对第二接收器组具有940nm中心波长。

在特别的实施中，光电接收器的光敏表面可以被设计为使得补偿了不同波长的不同量子效率(在硅中，相对于850nm，针对940nm的量子效率下降了约30％)。具有低量子灵敏度的接收器的较大灵敏面积可以弥补这一缺点，参见图13。

图12示出了波选择性的解决方案的不同布置。图12a中，A和B分别在两种波长下工作。针对每个波长检查A和B的功能性。结果是，可以使用另外的比较器。根据所使用的波长，逻辑电路A或逻辑电路B处理比较器信号(图14)。

如果使用根据图12b的滤波器布置，并且在检查步骤中同时激活具有两个不同波长的发射器组，则可以同时进行发射器检查和接收器检查。其中通道A与通道B之间的比较器输出处的差信号小于所定义的阈值，可以得出结论：两个通道的两个发射器组和光电接收器功能正常。

逻辑电路A和B的功能

逻辑电路A为通道A的光电接收器提供控制信号，即例如用于控制图18至图20中所示的用于信号路径A的CDS级的开关。逻辑电路B为通道B的光电接收器提供控制信号，即例如用于控制图18至图20中所示的用于信号路径B的CDS级的开关。通过逻辑电路的同步，确保了分别在读取过程中寻址到正确的像素对。信号值的有效性通过比较器信号来确定。

在另外的处理步骤中，分开地在每个逻辑电路中计算通道的数字差信号。为此，只要数字化的通道数据被认为有效，逻辑电路就交换该数字化的通道数据。如果像素A和B的数字化的差信号超过阈值，则失败信号被传输到对应的处理器。

两个逻辑电路独立于彼此地计算信号幅度值以及距离值。逻辑电路A的所计算的值被传输到处理器A，并且逻辑电路B的值被传输到处理器B。此外，所计算的值分别交叉提供。然后，每个处理器实施对幅度值和距离值的比较。如果比较导致偏差，则对应的处理器提供失败信号。

对逻辑电路的功能测试

在图像周期之间，处理器将数字输入值(随机数)发送到上游逻辑电路。逻辑电路将该随机数馈入到其处理通道，并据此计算输出值，该输出值由每个处理器的处理器例程检查正确性。处理过程包含逻辑电路之间的输入值交换。因此，每个逻辑电路的检查过程都使用通道A和通道B的输入值进行计算。

计算功能对应于用于确定距离值和幅度值的运算。在处理器中的比较导致错误的情况下，通过相应的处理器输出失败信号。

处理器A和B的功能

在第一实施中，两个处理器分别实施相同的运算。每个处理器具有自己的存储器和自己的接口。

输出OUT A和OUT B在下游层(例如，安全相关的控制)进行处理。

在对于复杂的图像处理运算(例如对人的运动分析)特别有利的第二实施中，对于处理器中的一个(例如通道A)使用了安全相关的处理器。

安全相关的处理器内部本身具有并行化的无相互作用的架构。这种处理器是已知的(例如，HICore 1–https://www.hima.com/en/products-services/hicore-1/)并且例如具有所谓的1oo2结构(二选一)。在该情况下，处理过程分为安全过程和非安全过程。

划分将在以下示例中阐述。

对于监视工作区，重要的是要防止手进入安全区域或者只要手进入该区域就停止机器。

由于识别手需要特定的复杂的图像处理运算(计算时间)，因此将处理划分为将特定的区域定义为三维安全区域。其结果是，安全相关的处理器仅控制点云在FOV(视场)中所定义的安全区内的位置。点云的偏差(变形)将导致失败信号。监视点云的位置是相对简单的运算。

在另外的处理器上检查何种物体进入安全区域。对应的运算是复杂的，并且使用现代高级语言来实现。如果是手，则据此例如向操作员发出指示，参见图15。

此外，存在以下可能性：通过对电路的扩展还将CDS级的运算放大器实现为比较器，以用于比较模拟像素层上的像素A和像素B的信号值。

图16示出了对应的图像传感器的原理结构。在下面的图18至图20中，更详细地示出了处于不同切换状态的CDS级。

例如，在此像素由APS单元、CDS级和采样以及保持级(在附图中用S&H标记)组成。

一方面，CDS级用作针对必要的多次曝光的累加器，并且同时用作用于抑制来自APS单元的光电二极管的复位的噪声分量以及用于分离背景光的级。

现在，最近将根据已经阐述的顺序的与相邻像素的交叉比较馈入到CDS级中。

图17说明了读取的周期。

使用CDS级的功能可以轻松阐述工作原理。

阶段1：

在像素A中–开关S1a、S3a闭合；开关S2a、S4a和S5a断开。

在像素B中–开关S1b、S3b闭合；开关S2b、S4b和S5b断开。

得到以下比例：

在像素A中：

Q′1a＝C1a(Va-Vref)；Q′2a＝C2a(Vref-Vouta(n))

在像素B中：

Q′1b＝C1b(Vb-Vref)；Q′2b＝C2b(Vref-Voutb(n))

图18示出了处于阶段1的CDS级的第一切换状态下的像素A和像素B。

阶段2：

在像素A中–开关S2a、S4a闭合；开关S1a、S3a和S5a断开。

在像素B中–开关S2b、S4b闭合；开关S1b、S3b和S5b断开。

在像素A中：

Q″1a＝C1a(Vb-Vref)；Q″2a＝C2a(Vref-Vouta(n+1))

在像素B中：

Q″1b＝C1b(Va-Vref)；Q″2b＝C2b(Vref-Voutb(n+1))

然后通过节点规则，可将其写为：

在像素A中：

Q′1a+Q′2a＝Q″1a+Q″2a

如果将针对电荷的关系插入该等式，则在对应的变换后将得到以下结果：

Vouta(n+1)＝C1a(Vb–Va)+C2aVout(n)

与此等效地，得到像素B的输出处的比例：

Voutb(n+1)＝C1b(Va–Vb)+C2bVout(n)

为了在电容器C2a或C2b上获得足够的输出电压，将阶段1和阶段2重复多次(N次)。

图19示出了处于阶段2的CDS级的第二切换状态下的像素A和像素B。

阶段3–检查阶段

所有开关都断开，只有开关Sa5和Sb5闭合。在该阶段，运算放大器在两个像素中都充当比较器。

在此，将电容器Ca2和Cb2上的所形成的电压分别与参考电压进行比较。

图20示出了处于阶段3的CDS级的第三切换状态下的像素A和像素B。

在电容Ca2上施加多次积累的差电压Vb-Va。

在电容Cb2上施加多次积累的差电压Va-Vb。

然后，比较三种情况。

1.N×Vouta(n+1)＝N×Voutb(n+1)–如果像素A和像素B提供相同的值，这将是理想的情况。由于实际构件的物理特性，这种理想情况仅具有理论特征。

2.N×Vouta(n+1)≈N×Voutb(n+1)–像素A和像素B的输出处的值大致相同。值中的一个比另一个略高或者略低。在该情况下两个像素可以被视为功能正常。

比较器的两个输出线上出现逻辑0。

3.N×Vouta(n+1)≠N×Voutb(n+1)–像素A的输出值比像素B的输出值大得多或小得多。像素被视为损坏。

在该情况下，如果Vb>>Va，则将在像素A的输出处施加逻辑1。

在Vb<

在比较之后将重置CDS级，并且可以开始新的周期。

对相应CDS级的开关的控制通过与对应的信号路径相关联的逻辑电路A或逻辑电路B来进行。

附加的运行方式：

引入的形成差Vb-Va和Va-Vb也可以非常有利地应用在4阶段运行中。在该情况下，形成差可以用于计算相角而无需读取单个值，如以上进一步所描述的，方式是，如下地计算相移

前提是使用两个额外的像素，使得一组四个像素或一组两个像素但是总共具有四个存储器单元，形成完整的4阶段构架。

第二发明变形

根据第二发明变形，图像记录器(成像器)被配置为例如以具有高分辨率的CMOS技术优选地具有多个并行的读取通道，参见图21。尽管分辨率高，但是该构架的目的是实现高的帧速率。读取通道通常组合图像记录器矩阵的多个行或多个列。进一步地将这种组合称为块或称为成像器块，参见图22。

具体地，图22示出了：

1–图像记录器，

2–光敏表面，

4–带有光谱滤波器A的成像器块A，

5–带有光谱滤波器B的成像器块B，

7–针对成像器块A的读取通道，

8–针对成像器块B的读取通道。

第二发明变形利用了将图像场划分成读取块的这种划分。

下面在第一实施例上更详细地阐述另外的发明变形。

对应于所创建的读取通道，优选地具有非常高的分辨率(例如1280×1024个图像点)的图像场被划分为块。每个读取块与可单独触发的全局快门一起工作。

每个块进一步与自己的成像光学器件相关联。光学器件之间的距离很小，使得即使在图像侧的物距很小的情况下，视差也不再被分辨。即，在每个块上都生成物体侧的相同图像。

由光学器件和图像记录器构成的这种布置被使用在根据图4的并行化的读取电路和图像处理电路中。

深度图像的计算：

该实施例基于两通道结构。图像记录器(成像器)分为块A和块B。在当前的实施例中，每个块具有640×1024个图像点。针对块A和块B的数字读取通道被引导至对应的逻辑电路A和B。在此，这些逻辑电路块是否已经包含集成电路的一部分或是否包含外部逻辑电路(例如FPGA)无关紧要。

逻辑电路A和B控制相应的全局快门信号，并且对应地还控制照明LA和LB。照明源同步运行。在时间点t0，对于持续时间ti＝tA，两个源与块A的全局快门信号被同时触发。光脉冲在目标上反射并由块A的所有接收器A错开了飞行时间tof地记录。由对光脉冲的记录而形成的电荷量(光电子)被存储在属于每个接收器的存储电容(A1)上。块A的接收器只能记录与时间差tA-tof成比例对应的所反射的光脉冲的一部分。

块B的接收器的全局快门以时间延迟t0+tA激活。接收器B针对时间tB处于激活(示例中tA＝tB)。接收器同样仅记录所反射的光脉冲的一部分，该部分与时间差tof+ti-tA成比例对应(如果ti＝tA，则为tof)。将对应的电荷量存储在属于块B的每个接收器的存储电容B1上。

由于依赖于目标的反射率和距离，所反射的信号可能非常微弱，因此必须设置放大机构。该放大机构通过多次重复以上所描述的测量并且在关联的存储电容上累积相应记录的电荷量直至达到足够的信号电平来实现。例如，该过程可以重复100次。

结果是，针对时间段t0至tA，在块A的存储电容A1中存在图像，而针对时间段tA至tB，在存储电容B1中存在图像。

这两个图像经由相应的读取通道传输到相应的逻辑电路。随后，逻辑电路按照上述规则交叉交换图像信息，并且分别单独地逐像素地计算深度图像：

Q1＝A/(A+B)(通过形成商来消除与反射率的依赖关系)

Q2＝B/(A+B)

tof1＝(1–Q1)*T

tof2＝Q2*T

tof＝1/2(TOF 1+TOF2)(平均值)

S＝1/2(c*tof)

在此，应用计算规则，使得始终对应于像素在接收器矩阵中的位置来计算像素。即，根据所选择的布置，A0,0与B0,0；A0,1与B0,1；......Am,n与Bm,n：

A0,0…A0,n

…

Am,0…Am,n

B0,0…B0,n

…

Bm,0…Bm,n

在计算结束时，两个逻辑电路分别包含距离图像。除了可以一次确定的依赖于温度的校准系数外，两个距离图像应当相同。

通过比较深度图像的对功能的检查：

在另外的运算中，通过逐像素比较来检查两个深度图像A和B的一致性。该比较可以在两个逻辑电路上或者在下游的处理器上进行。

可以为比较定义阈值，该阈值指定允许与所定义的预期的比较值偏离多少像素对。阈值定义了，像素对是否提供相同的值以及什么被视为相等或不相等。此外，不相等的对的数量可以用作决策参数。

如果至少在一个处理器上超过了所定义的阈值，则处理器中的至少一个在输出处生成失败信号。

深度图像A和B的比较已经累加了多个比较功能。像素灵敏度、门功能(积分/累加)、读取、ADU和逻辑运算都属于此。

像素矩阵的全部功能的有效性也可以通过幅度图像的逐像素比较来实现。

检查2D幅度图像中像素矩阵的功能：

如在像素层上一样(进一步参见先前以及图8和图9)，也可以在块层上执行对2D幅度图像中像素矩阵的功能的检查，参见图23和图24。这通过同时扫描块A中和块B中的所反射的光脉冲来实现。在该情况下，也必须多次重复发射和扫描所反射的光脉冲的周期，直至在块A和块B的像素的存储器中累积了足够的电荷量为止。

累积周期完成后，读取块A和B中的图像，并在两个逻辑电路上逐像素进行比较。比较值既可以在逻辑电路中又可以在下游的处理器上被评估。

可以为比较定义阈值，该阈值确定必须将像素视为相等还是不相等。此外，可以定义在产生失败信号之前，允许有多少个像素对彼此以所定义的范围偏离(不相等)。如果至少在一个通道上超过了所定义的阈值，则由处理器中的至少一个在输出处生成失败信号。

检查照明源：

所描述的检查周期同样适合于检查照明源。在实施例中，总共使用了4个照明源。在实施例中，每两个通过通道A或通道B的逻辑电路来控制。

现在可以通过在每个检查周期中使用通道A的源或通道B的源对照明源进行检查。

与通过交叉比较来比较接收器信号值不同，通过在相应通道中进行串行比较来进行照明源的比较。

在本实施例中，检查的流程如下进行：

1.与通道A的照明源的深度图像记录(例如60ns)相比，以两倍的长度开始光脉冲。

2.以两倍的光脉冲长度(例如120ns)同时开始两个块A和B中的全局快门。

3.将块A的图像(图像A0)和块B的图像(图像B0)存储在相应通道的逻辑电路块中。

4.与通道B的照明源的深度图像记录(例如60ns)相比，以两倍的长度开始光脉冲。

5.以两倍的光脉冲长度(例如120ns)同时开始两个块A和B中的全局快门。

6.将块A的图像(图像A1)和块B的图像(图像B1)存储在相应通道的逻辑电路块中。

7.将利用LA源进行曝光时的来自A子矩阵的每个像素值A(i，j)和来自B子矩阵的每个像素B(i，j)与根据利用LB源进行曝光时的对应值进行比较。定义了最大差值。在超过该值的情况下则存在损坏，并且可以触发失败信号。还可以想到，仅在预先给定数量的像素对超过了差值时才触发失败信号。比较值既可以在逻辑电路中又可以在下游的处理器上被评估。

在第二实施例上阐述本发明。

如在第一实施例中一样，对应于所创建的读取通道，优选地具有非常高的分辨率(例如1280×1024图像点)的图像场被划分为块。与第一实施例不同，每个读取块被再次细分。即，每个读取块与两个可单独触发的全局快门一起工作。

每个子块(Aa、Ab、Ba、Bb)进一步与自己的成像光学器件相关联。现在的四个光学器件之间的距离很小，使得即使在图像侧的物距很小的情况下，视差也不再被分辨。即，在每个子块上都生成物体侧的相同图像。

由光学器件和成像器构成的该布置使用在根据图24的并行化的读取电路和图像处理电路中。

深度图像的计算：

该实施例还基于两通道结构。但是，图像记录器(成像器)现在分为块Aa和Ab以及块Ba和Bb。在本实施例中，每个块具有640×512图像点。针对块A和块B的数字读取通道被引导至对应的逻辑电路A和B。

逻辑电路A和B控制相应的全局快门信号，并且对应地还控制照明LA和LB。照明源同步运行。

尽管第一实施例中描述了具有两个积分时间段的信号扫描(2阶段)，但是现在信号被扫描四次，在此扫描点分别错开了信号的1/4周期。

关于具有30ns长度的光脉冲的实施例，由此得到能够如下描述的扫描序列：子块Aa为0到30ns，对于子块Ba为30ns到60ns，对于子块Ab为60ns至90ns，并且对于子块Bb为90ns至120ns，还参见图2。

如果选择正弦形式作为周期性信号，则所示关系也适用。

由于依赖于目标的反射率和距离，所反射的信号可能非常微弱，因此必须设置上面已经描述的放大机构。该放大机构通过多次重复测量并且在子块中像素的关联的存储电容上累积相应记录的电荷量直至达到足够的信号电平来实现。例如，该过程可以重复100次。

结果是，在子块的像素的存储电容中，针对周期的每四分之一分别存在一个图像。据此，可以按照以下规则来计算相位，并且由此计算出每个像素的距离S。

T–在该情况下是周期性信号的周期。

严格来说，相角的计算仅适用于正弦信号。在方波信号的情况下，必须对距离特性的高线性度应用对应的校正。此外，通过利用T/2进行扫描，可以实现用于改善4阶段扫描中距离特性的线性度的可能性。

第一实施例中描述的检查过程以相同方式实施。

进一步地，将阐述图26所示的第三实施例。

与先前的示例不同，针对整个像素矩阵仅提供一个全局快门。尽管在先前的实施例中，两个全局快门用于深度图像的相位(参见图1、图8、图11和图23)，使得可以同时(并行)记录两个相位图像，但是图26中所示的实施例以仅具有单个全局快门的图像记录器作为基础。在该情况下，两个相位图像必须依次地(串行)记录，如图26所说明的。除此之外，可以设置与第一实施例中相同的光学结构。沿两个读取通道将像素矩阵分为两个块A和B。每个块与自己的成像光学器件相关联。两个光学器件之间的距离很小，使得即使在图像侧的物距很小的情况下，视差也不再被分辨。即，在每个块上都生成物体侧的相同图像。

与第一实施例不同，每个块附加地包含光学滤波器或者由滤波器构成的系统。滤波器或滤波器系统将每个块的透射的波长限制在分别与相关联的光源的源波长一致的窄光谱带上，参见图25。

图25中的实施例与来自图22的实施例的不同之处在于附加的光学通道3和附加的读取通道6。具体地，图25示出了：

1–图像记录器，

2–光敏表面，

3–附加的光学通道，

4–带有光谱滤波器A的成像器块A，

5–带有光谱滤波器B的成像器块B，

6–附加的读取通道，

7–针对成像器块A的读取通道，

8–针对成像器块B的读取通道。

对于所有所示的实施例，适用的是，相应的3D-TOF传感器可以被构建为通过以下省去了检查第一发射器组的信号步骤：发射器组在至少两个不同的波长范围(其必要时可能重叠)内工作，并且像素矩阵被构造为，使得通过对应的光学滤波器将像素A像素B和像素B(或块A和块B)确定在两个不同的波长范围中的一个上，方式是，相应的光学滤波器仅允许两个波长范围中的一个通过。一种特别优选的解决方案是将850nm的波长用于第一发射器组和通道A的像素，并将940nm的波长用于第二发射器组和通道B的像素。