掌桥专利:专业的专利平台
掌桥专利
首页

具有数字像素存储的差量图像传感器

文献发布时间:2024-04-18 19:54:45


具有数字像素存储的差量图像传感器

技术领域

本发明涉及包括多个像素电路的图像传感器,更具体地,涉及具有数字像素存储和同步采样的差量图像传感器。

背景技术

众所周知,图像传感器每个像素或每个小的像素子集具有一个ADC。这些图像传感器通常用于在像素中实施重要处理的应用(例如,X射线粒子轨迹跟踪或卫星成像)。

在具有单斜坡ADC的图像传感器中,每个像素包括比较器是已知的,例如,由Reckleben等人(2015),Suarez等人(2010)以及Chi等人(2010)而已知。特别是,Suarez等人针对像素排列从全局上创建的模拟斜坡和数字编码,并将数字编码提供给像素。

从WO 2014/174498 Al中获知一种图像传感器,其中先前照明电平的表示被数字化地存储在像素中,并且在样本之间进行比较,以创建事件改变数据,同时Itoh等人在“4-Layer 3-D IC with a function of parallel signal processing(具有并行信号处理功能的4层3D IC)”(Microelectronic engineering,1991年第1-4期第15卷第187-190页)中,更早地提出了一种概念上相关的结构,相比于固定电平,这种结构具有简单的单比特像素。

在模拟域中使用图像像素电平改变检测、存储和比较进行事件生成的图像传感器是已知的,例如,Chi等人的“CMOS Camera With In-Pixel Temporal Change Detectionand ADC(具有像素内时间改变检测和ADC的CMOS相机)”(IEEE Journal of Solid-StateCircuits,2007年第10期第42卷第2187-2196页)。模拟域中的比较和存储提供了数字方法的优点(例如实现起来结构紧凑)以及缺点(例如,存储逐渐退化,包括“热像素(hot-pixels)”、对不匹配的敏感性、光到电的转换功能的灵活性降低)。

在像素之间共享电路的图像传感器是众所周知的,例如,KR2020-0029328A。

使用频闪效应一般是已知的,以及通过在干扰(不需要的信号)时段内取平均或同步来抑制谐波,例如US 2015/358570 A1,其中在相机中应用这种技术,用来检测和同步到可变光源,然后抑制对光源的响应。

Gallego等人在“Event-based Vision:A Survey(基于事件视觉的综述)”(IEEETransactions on Pattern Analysis and Machine Intelligence,2020arXiv:1904.08405v3)中公开了出于立体视觉的目的,对来自多个事件相机的信息进行同步,并向事件数据添加时间戳,其中时间戳参考由外部时基提供。

US 2015/0035949 A1公开了基于目标图像中的光源调制在多个相机之间使用同步。

WO 2020/080383 Al公开了一种基于事件的动态视觉传感器,其具有基于相邻像素的事件状态(单个比特)忽略来自一个像素的事件的滤波器。

T.Delbruck在“Frame-free dynamic digital vision(无帧动态数字视觉)”(Proceedings of the International Conference on Secure Life Electronics,Advanced Electronics for Quality Life and Society,2008年,第21-26页)中,公开了基于像素的最后一个事件的时间戳或相邻像素的时间戳对来自动态视觉传感器的事件进行滤波。这种处理是在像素阵列外部实施的,需要以高计算成本的方式(32比特时间戳)将事件传输至阵列外部以进行后续滤波。

EP 3313064 Al公开了一种模拟存储动态视觉传感器,其中一个比较器输入是像素照明的先前值的表示,然后,后续使用该值进行比较。这可以被认为是来自先前电平的模拟反馈,用来控制在创建数字事件输出时启用(采样)的模拟比较器的后续功能。

EP 2933995 Al解决了在亚阈值操作中使用晶体管的动态视觉传感器的标准模拟存储实施方式中不良失配的问题。由于这种晶体管模式下的操作仅在有限的范围内正确运作,因此它们使用到整个阵列的采集电路的模拟部分的全局模拟反馈来获得满意的操作。

发明内容

可能存在的需求是,需要一种包括改进的像素电路的差量(delta)图像传感器,该改进的像素电路具有像素中先前照明强度的表示的数字存储。

这种需求可以通过独立权利要求的主题满足。有利的实施例在从属权利要求中限定。

本发明基本实施例的构思可以解释为特别地基于以下观察和认知:

CMOS(互补金属氧化物硅)图像传感器是在经优化的铸造工艺中通过专业化工艺大批量生产出来的。CMOS数字逻辑器件在经优化的铸造工艺中进行大批量生产。两种工艺的密度都在增加,特别是逻辑工艺的密度。增加的密度允许增加与图像传感器中的像素电路有关的数字复杂性。

像素电路中先前电平的数字存储在存储保真度和所存储电平的后续处理方面具有优势。

由于冗余数据的传播和处理受到限制,因此电平的局部处理在功率和面积方面具有效率优势。

本发明公开了一种结构和方法,其中,在像素电路中组合有数字转换和存储,连同对随时间和位置改变的差异的局部评估以及对事件信息的准备和传播一起。

本发明在独立权利要求中限定。从属权利要求描述了其优选实施例。

本发明涉及一种差量图像传感器,该图像传感器包括像素排列和多个采集电路,多个采集电路与至少一个像素对应并形成为集成电路的一部分。每个采集电路包括至少一个传感器电路、至少一个模数转换电路、至少一个数字存储电路、至少一个数字比较电路和至少一个数字输出电路,至少一个传感器电路包括光传感器,光传感器配置为根据照明至少一个像素的光传感器的光信号生成传感器信号VSIG,至少一个模数A/D转换电路配置为生成与当前VSIG对应的数字表示。优选地,该A/D转换电路是单斜坡模数A/D转换电路。至少一个数字存储电路配置为存储至少一个先前VSIG的表示。至少一个数字比较电路配置为将所存储的表示的电平与当前VSIG进行比较,以检测是否存在改变的电平。至少一个数字输出电路配置为在存在改变的电平的条件下生成事件输出。模数转换的重复率选自与照明光传感器的光信号的光源调制对应的一个或多个重复率。

各种实施例可以优选地实现以下特征:

本发明的一个方面,模数转换的重复率是根据周期来选择的,以提供滤波,滤波优选以下之一,与由图像传感器拍摄的目标图像中的光源相关的抑制、增强的响应和/或频率转换功能。

根据本发明的另一方面,模数转换的重复率选择为抑制或最小化对干扰的事件响应。

根据本发明的另一方面,模数转换的重复率选择为最大化对由图像传感器拍摄的目标图像中的光源的事件响应。

根据本发明的另一方面,模数转换的重复率选择为降低由图像传感器拍摄的目标图像中的变化的光源生成的事件的频率,同时保留与光源调制有关的信息。

本发明提供了一种具有数字像素存储和同步采样的差量图像传感器。该发明使用数字像素内转换和存储的优势,实现了区域优化的像素结构,特别是小像素结构,这种像素结构用于制成高分辨率和成本优化的图像传感器。

每个采集电路可以形成为集成电路或集成电路的一部分。采集电路在整个说明书中也可以称为像素电路。至少一个传感器电路可以连续地或周期性地生成传感器信号。模数转换电路可以将当前VSIG转换为数字信号。数字存储电路可以相应地配置为存储与先前VSIG对应的至少一个数字信号的表示。当前和先前VSIG的数字表示可以通过至少一个数字比较电路进行比较。先前VSIG或VSIG的数字表示可以分别对应于在任何先前采样周期中生成并存储在数字存储电路中的信号。也可以是从外部提供并存储为参考信号的信号。此外,电路中可以包括至少一条事件输出线,以输出来自差量图像传感器的事件输出。至少一条事件输出线也可以由多个数字输出电路共享。

优选地,每个采集电路在至少两个像素之间共享,其中,优选地,像素彼此相邻。

优选地,传感器电路配置为基于以下关系之一生成VSIG:

a)对光强度的线性依赖性,

b)对光强度的非线性依赖性,优选地,对光强度的对数依赖性,以及

c)对光强度的非线性和线性依赖性的组合,

其中,优选地,关系是能够响应于控制信号而改变的。

控制信号可以从像素阵列和采集电路的外部提供。可以整个阵列存在一个控制信号,或者存在更多目标信号。

优选地,传感器电路配置为在操作期间响应于控制信号而改变VSIG对光强度的依赖性,优选地,传感器电路配置为在操作期间响应于控制信号而不定时地改变VSIG对光强度的依赖性,和/或传感器电路配置为在单独针对至少一个像素或像素的子集的操作期间,响应于控制信号而改变VSIG对光强度的依赖性。

控制信号不定时地改变可能由全局光强度或操作模式的改变导致。可以提供独立的电路,用于不定时地生成控制信号的改变。

图像传感器可以优选地进一步实现以下特征:

a)模数转换电路可以包括比较器,比较器配置为将VSIG与以下扫频信号之一比较:

aa)扫频模拟输入信号,以及

ab)顺序扫频模拟输入信号,其中每个扫频模拟信号提供不同的差函数(difference function),

其中,优选地,为多个转换电路提供输入信号,和/或

b)模数转换电路还可以配置为向至少一个像素提供与扫频模拟信号同步的至少一个数字编码,

ba)其中,优选地,数字编码为格雷(gray)编码的数字信号,以及

bb)其中,优选地,模拟扫频信号和数字编码之间的关系在存储斜坡(ramp)和比较斜坡之间改变。

此外,

a)扫频信号可以是线性斜坡,或

b)扫频信号可以是非线性斜坡,或

c)扫频信号可以在操作期间改变,和/或

d)扫频信号的周期可以在操作期间改变,和/或

e)扫频信号的重复可以在操作期间被中断一短暂或延长的时间段,和/或

f)扫频信号的重复率可以选自与照明光传感器的光信号的光源调制对应的一个或多个重复率,优选地,以增加或抑制事件输出。

特别地,在上述f)项下,扫频信号的重复率可以选自与照明光传感器的光信号的光源调制相对应的一个或多个重复率,以优选地增加或抑制对目标的响应,或者,以抑制对具有给定频率的干扰的响应,目标例如是具有给定频率的光源。

人造光源通常具有规律变化的强度,主要基于主电源的变化的电压,例如参见2016年Ionescu的“FFT Based Investigations on Light Flicker in New LightingSystems(基于FFT的新型照明系统中的光闪烁研究)”。根据本论文,白炽灯的测量的强度变化为14%;荧光灯的为8%;LED光的为9%(含荧光粉),在所有情况下,主要分量的频率为100Hz(或120Hz),取决于主电源频率。可能会在荧光灯中遇到更高的频率,例如100kHz,但一般位于低得多的调制深度。动态视觉传感器中用于产生事件的改变阈值通常为2%,并且响应频率比调制(100Hz或120Hz)高得多,所以人造光的调制可能在整个图像上创建大量冗余事件。

人造光的调制对于标准摄影来说也是已知问题,但可以通过将曝光时间延长到明显慢于光调制来缓解。这种方法不适用于动态视觉传感器。

使用频闪效应一般是众所周知的,还有通过在干扰(不需要的信号)周期内取平均或同步来抑制谐波。

根据本发明,将在干扰(不需要的信号)周期内通过取平均或同步来抑制谐波的技术应用于动态视觉传感器(事件生成传感器),优选地,在多个像素上以有效的实施方式(斜坡生成的时序)全局地应用,这是数字存储动态视觉传感器设计的固有部分。

在选择重复周期为多个干扰周期的情况下,对干扰的事件响应被完全抑制。

在重复率与干扰的重复率相似但不相同的情况下,图像数据(在事件生成之前)以低于干扰的频率变化(降频转换),降低了事件和数据率。这保留了信息内容,同时减少了数据量。

在选择重复周期为干扰率的一半的情况下,事件输出可以最大化。

斜坡重复率的修改同样适用于所有像素,无需额外的电子器件,并且有效地实现了在响应或抑制功能方面的全局提高。

图像的很大一部分很可能被相同的、变化的光源或具有相似干扰特性(闪烁)的光源照明。特别是由于导致调制的原因通常是多个光源共同的主电源,针对所有像素设置一次速率对降低整个图像上的冗余事件生成有很大影响。

传感器本身每单位时间产生的事件的数量或模拟感测像素信号可以为同步提供参考信号。存在多种众所周知的技术用来同步到信号的频率分量,通常实施为具有相位比较器、低通滤波器和受控振荡器的锁相环。

优选地,图像传感器还包括配置为设定扫频斜坡限制的至少一个参考像素,其中,优选地,至少一个参考像素位于像素排列外部,和/或其中,优选地,至少一个参考像素在参考条件下偏置。

优选地,数字比较电路配置为在模拟信号扫频期间执行与所存储的电平的比较,或者,数字比较电路配置为在模拟信号扫频后执行与所存储的电平的比较。

“在模拟信号扫频期间”以及“在扫频模拟信号期间”可以表示相同的过程。

特别地,如果在模拟信号扫频期间执行比较,则不需要存储A/D输出值,仅仅存储比较的结果。这使得内存需求更少,但会执行更多比较。如果在模拟信号扫频后执行比较,则需要存储A/D输出值。这增加了内存需求,但减少了所需的比较次数。

优选地,

a)数字比较电路配置为使用像素电路中的静态逻辑来执行比较,或

b)数字比较电路配置为使用像素电路中的动态逻辑来执行比较,和/或

c)数字比较电路配置为基于迟滞来执行比较,和/或

d)数字比较电路配置为通过获取在操作中不定时地改变的差来执行比较。

优选地,输出电路配置为根据相邻像素中比较电路的比较结果生成输出,或者输出电路配置为根据固定配置中或在操作期间改变的配置中的相邻像素的函数生成输出,其中,优选地,函数是平均函数,和/或输出电路配置为如果比较的比较结果的改变率超过一定阈值则生成输出。

优选地,

a)输出电路配置为根据相邻像素中的输出生成输出,或者

b)输出电路配置为根据相邻像素中存储的电平生成输出,或者

c)输出电路配置为根据多个存储的值生成输出。

优选地,

a)输出电路配置为生成指示改变的电平的方向的事件输出,和/或

b)输出电路配置为生成仅指示沿一个方向改变的电平的事件输出,和/或

c)输出电路配置为生成指示改变的电平的大小的事件输出,和/或

d)输出电路配置为生成指示改变的电平之前和/或之后的照明强度的事件输出。

优选地,

a)数字存储电路配置为在像素排列的输出线处提供所存储的数字表示,和/或

b)数字存储电路配置为在像素排列的输出线处选择性地针对具有事件输出的像素提供所存储的数字表示,和/或

c)数字存储电路配置为在输出线处使用事件列线提供所存储的数字表示,和/或

d)数字存储电路配置为将所存储的数字表示写入像素,和/或

e)数字存储电路配置为从数据流写入所存储的数字表示,和/或

f)其中,数字存储电路配置为从作为事件流的数据流写入所存储的数字表示。

可以提供单条或多条输出线。也可以在输出电路之间共享输出线。也可以提供为输出电路。

此外,采集电路中存储的数字表示也可以从阵列外部写入。先前的输出可以写回到存储的像素数字电平中,以为电路提供改变的参考。然后,电路将仅报告相对于参考的改变。正常图像数据会表示所有像素。然而,事件流仅包括改变,因此数据较少。因此,写回事件流允许较低的数据率。

优选地,传感器电路从与存储的数字电平对应,或与相邻像素的存储的数字电平对应的数字存储电路接收反馈,并且传感器电路配置为根据反馈生成VSIG。A/D电路可以从存储的数字电平,或相邻像素的存储的数字电平接收反馈,并且可以配置为根据反馈调整输出信号。

优选地,传感器电路配置为提供VSIG,和/或图像传感器由多个半导体层构成,其中,每个电平针对层的功能进行优化。

特别地,可以提供VSIG的模拟表示或模拟电平,并直接从电路或阵列中读出。

多组采集电路可以连接到公共的或多条公共的事件输出线。

一组采集电路可以共享以下电路元件中的至少一个,(a)数字输出电路,(b)数字比较电路,(c)附加地,数字存储电路,(d)附加地,模数转换电路。附图是代表性的,不排除共享元件的其他组合。

本公开还可以包括使用利用扫频模拟信号和数字编码的比较器实现模数转换。

本发明提供了多硅层器件上的事件生成,这在上面所述的Itoh等人的文献中没有公开。

在图像传感器设计中,图像传感器中像素之间的共享电路(例如KR2020-0029328A)对于创建密集像素阵列和高像素分辨率是至关重要的。本发明以时间顺序的方式使用数字存储和事件计算,这特别适合于在像素之间共享资源而不降低性能。

进一步地,本发明将US 2015/358570 Al所公开的技术的使用扩展到动态视觉传感器,其中使用具有全局时序的数字存储和处理,这是有效的,并且降低所生成事件的数量对功耗和后续处理有重要影响。

本发明能够实现像素内数字存储,可以基于相邻像素中存储的数字电平(多个比特)选择性地创建事件。这种选择性滤波的特定配置可用于实现与WO 2020/080383 Al公开的单比特滤波相同的结果。

另外,与如上所述的T.Delbruck等相比,本发明由于A/D转换技术而具有固有的时基,以降低时间戳的复杂性,并且能够实现对事件的局部的、数字的时间滤波,而无需进一步传输。

本发明基于存储的数字电平或事件输出来调制模拟电路参数,因为这种反馈是利用数字控制下的开关有效地实现的(表面积),因此这与上述公开的EP 3313064 Al不同。与上述EP 2933995 A1相比,本发明提出了一种基于局部存储的像素数字电平或事件输出对模拟电路参数的调制,因为这种反馈是利用数字控制下的开关有效地实现的(表面积)。这与EP2933995Al在功能(像素局部)、实施方式(数字控制)和目的上有所不同。

如上所述,Gallego等人公开了出于立体视觉的目的,将来自多个事件相机的信息同步,以及将时间戳添加到事件数据,其中时间戳参考由外部时基提供。同步源(外部时基)和目的(多个图像的组合)与本发明不同。

US 2015/0035949 A1公开了基于目标图像中的光源调制在多个相机之间使用同步。然而,US 2015/0035949 A1既不涉及事件相机,也不涉及本发明中采样同步的目的(抑制或增加闪烁衍生的事件输出)。

附图说明

参考附图进一步描述本发明。其中,

图1至图4示出了本发明的示例性实施例。

图1示意性地示出了根据本发明的差量图像传感器的第一示例性配置。

图2示意性地示出了根据本发明的差量图像传感器的另一示例性配置,其中图2a示出了事件生成电路的共享,图2b示出了事件生成电路和数字比较电路的共享,图2c示出了事件生成电路、数字比较电路和数字存储电路的共享,图2d示出了事件生成电路、数字比较电路、数字存储电路和A/D转换电路的共享。

图3示出了示例性实施例,其中从模拟(VSIG)到数字表示的转换是使用像素电路中的比较器和施加到像素电路的模拟扫频信号来实施的。

图4a、图4b和图4c是分别示出作为干扰光的示例的周期信号和各自的采样时间的示意图。

在附图中,相同的附图标记表示相同或相似的部件。因此将省略冗余的描述。

具体实施方式

图1示意性地示出了根据本发明的第一示例性配置。差量图像传感器也称为图像传感器,包括像素排列和至少一个采集电路(1)。该采集电路(1)也可以称为像素电路。这些电路形成为集成电路的一部分。每个像素的采集电路(1)包括至少一个传感器电路(11)、至少一个模数转换电路(12,A/D转换器)、至少一个数字存储电路(13)、至少一个数字比较电路(14)和至少一个数字输出电路(15),传感器电路(11)包括光传感器,光传感器根据照明至少一个像素的光传感器的光信号或照明强度生成传感器信号(VSIG)。数字转换电路(12)可以连接到传感器电路(11)的输出。至少一个数字存储电路(13)配置为存储与先前VSIG对应的至少一个数字信号的表示。数字存储电路(13)可以连接到A/D转换器(12)的输出。至少一个数字比较电路(14)配置为将存储的表示的电平与当前VSIG比较,以检测是否存在改变的电平。数字比较电路(14)可以连接到数字存储电路(13)的输出和A/D转换器(12)的输出。至少一个数字输出电路(15)或数字事件生成电路配置为在存在改变的电平的条件下生成事件输出。输出电路(15)可以连接到数字比较电路(14)的输出。

至少一条事件输出线(16)可以包括在像素电路(1)中或在像素电路(1)外部,以输出来自差量图像传感器的事件输出。至少一条事件输出线(16)也可以被多个数字输出电路(15)共享。

该第一示例性像素配置能够检测在一定间隔内改变的照明强度。在数字比较电路(14)检测到所存储信号的数字表示与该间隔后的数字表示的差异,并且该差异满足给定标准的情况下,生成事件并在图像传感器的输出处将发生改变这一事实报告为事件信息。

在一系列应用中,电平的数字存储可以是优选的,因为(i)存储的电平不随时间而降低,(ii)存储电路(13)可以在物理上更小,(iii)该值可以很容易地用于相邻的单元中,(iv)该值可以更灵活地用于实现与其他像素或先前值的组合功能。

在另一示例性配置中,如图2所示,像素电路的部分在像素的子集之间共享。然后以时间顺序的方式使用共享元件。

图2a示出了事件生成电路(15)的共享,图2b示出了事件生成电路(15)和数字比较电路(14)的共享,图2c示出了事件生成电路(15)、数字比较电路(14)和数字存储电路(13)的共享,图2d示出了事件生成电路(15)、数字比较电路(14)、数字存储电路(13)和A/D转换电路(12)的共享。

请注意,其他共享配置是可能的,并且上面的列表并不排除这些可能性。也可以在不同程度上共享不同的功能,例如4个像素共享A/D转换电路(12)以及16个像素共享事件生成电路(15)。其他配置也可以是有利的。

本发明的一个示例性实施例将光学照明强度信号转换为具有线性关系的模拟电信号。该实施例在低光照度电平下是有利的,其对光电二极管模式下的电荷进行积分,并使用针对图像捕获应用而优化的商业标准单元。

本发明的另一示例性实施例将光学照明强度信号转换为具有对数关系的模拟电信号。该实施例对于高动态范围的光学照明信号是有利的,因为输出模拟信号在较宽的照明强度范围内不饱和。

本发明的另一示例性实施例使用线性函数和对数函数的转换组合,或类似的非线性函数组合作为响应曲线。该实施例对于实现良好的低光照度性能和高动态范围是有利的。第一实施例使用具有组合函数的固定配置。

另一示例性实施例允许进行配置,以使得响应曲线在操作期间针对全部像素排列改变。这优选地根据全局照明条件或图像传感器应用的操作模式来实施。

另一实施例允许进行配置,以使得响应曲线在操作期间独立地针对像素的子集进行改变。这优选地根据局部照明条件或图像传感器应用的关注焦点来实施。

在一个示例性实施例中,根据图3,从模拟(VSIG)到数字表示的转换是使用像素电路(1)中的比较器和施加到像素电路的模拟扫频信号来实施的。根据比较器输出切换的点,将数字表示拷贝到数字存储电路(13)。

在衍生的实施例中,模拟扫频信号是线性斜坡;在另一实施例中,模拟扫频信号是非线性斜坡,例如指数斜坡。

由于扫频信号可以集中生成,因此非线性斜坡的实施方式是有利的,因为只需要在器件上考虑一次该电路所带来的附加的复杂性,从而(i)节省了面积并为所有像素提供(ii)匹配的功能。

特别地,斜坡的修改可用于补偿传感器电路(11)中的非理想性,或随温度或其它环境条件的改变。

特别地,修改可以通过模拟或数字手段来实施。

特别地,修改可以参考器件上的测试单元来实施。这种实施方式是有利的,因为对测试单元中反映的非理想性的补偿是自动的。

在一个示例性实施例中,相同的模拟扫频斜坡同时提供给整个像素排列。在衍生的实施例中,不同的模拟扫频斜坡应用于排列的子集。

在传感器电路(11)的特性在像素排列上(有意的单元改变或由于工艺或光学配置)变化的情况下,使用不同的斜坡是有利的,这种变化通过提供不同的斜坡来补偿。

在另一实施例中,模拟扫频斜坡在操作期间根据图像传感器的操作模式不定时地进行修改。

在一个示例性实施例中,改变的数字编码与模拟斜坡同时提供。存储在数字存储电路(13)中的数字编码是比较器输出切换时的数字编码的值。在第一实施例中,编码是二进制码。

在衍生的实施例中,数字编码是格雷码。格雷码是有利的,因为(i)不需要与数字存储同步,因为一次只有一个边沿发生改变,并且边沿两侧的编码是有效的,(ii)格雷码在一个循环内具有较少的边沿并且功耗较低。

在衍生的实施例中,模拟和数字编码扫频按顺序分为存储扫频和比较扫频,或多个比较扫频。模拟信号电平和数字编码之间的关系在参考扫频和比较扫频之间变化。这种做法是有利的,因为像素中所需的数字比较逻辑更简单。这可以减小所需的面积。

在衍生的实施例中,模拟扫频电平与数字编码之间不同的关系是针对不同的像素的子集而创建的。

这种做法是有利的,因为数字编码可以在利用数字电路(i)计算或(ii)定时的时候变化。这在生成多个模拟斜坡时节省了面积,并提高了灵活性,使得像素排列的子集的功能得到补偿或更改。

在一个示例性实施例中,在模拟扫频期间连续地执行所存储的电平与当前电平之间的数字比较。比较结果与模拟比较器输出的切换的时序和数字比较有关。该实施例中,实现迟滞或实现事件生成阈值的差异化是基于相对时序来实施的。

在一个示例性实施例中,基于时钟生成时序的变化。在另一示例性实施例中,利用像素电路内的定时器电路生成该变化。

在另一示例性实施例中,所存储的电平与当前电平之间的数字比较是在模拟电压扫频之后实施的。该实施例是有利的,其中逻辑可以使用时序元件,例如顺序位元(bitwise),再一次节省了硅面积。

在一个示例性实施例中,时序逻辑是利用静态逻辑执行的。

在另一示例性实施例中,时序逻辑是利用动态逻辑执行的。

在衍生的实施例中,数字比较是利用来自先前结果的反馈来实施的。这通常用于在比较中实现迟滞,并且有利于抑制噪声和减少虚假事件。

在衍生的实施例中,数字比较和事件生成是通过获取不同的差(>1)来实施的,以便生成事件。这对于(i)减少事件的数量,或(ii)提高事件产生的分辨率可能是有利的。

所获取的差可以取决于(i)信号电平,(ii)操作模式,例如感兴趣的区域,(iii)相邻像素电平,(iv)像素先前的电平,(v)像素先前的事件,(vi)相邻像素的事件。

在衍生的实施例中,低于一定速率的事件生成率在像素电路内被抑制。这是有利的,因为这一信息对后续图像处理用处不大,并且事件抑制降低了功率和处理要求。

在一个示例性实施例中,用于事件生成的数字条件取决于相邻像素电路的事件生成。此操作能够例如对事件进行滤波,以减少虚假事件的数量。

在一个示例性实施例中,用于事件生成的数字条件取决于所存储的相邻像素电路的电平。此操作能够例如对事件进行滤波,以增加接近边沿处的灵敏度。

在一个示例性实施例中,用于事件生成的数字条件取决于像素电路的多个存储的电平。此操作能够例如对模拟噪声进行滤波,以减少虚假事件的数量。

在一个示例性实施例中,选择采样率以与干扰光源的闪烁频率同步。这是有利的,因为允许对由于这种光源而引起的事件进行抑制。

图4a、图4b和图4c是分别示出作为干扰光的示例的周期信号和各自的采样时间的示意图。

如图4a所示,干扰光源的闪烁频率导致传感器信号VSIG具有对应的周期。选择与干扰光的闪烁频率基本相同的模数转换的重复率。在该示例中,采样和模数转换是在信号达到其由各个点示出的最大值时完成的。在该示例中,重复率对应于照明光传感器的光信号的光源调制频率。

图4b示出了与图4a相同的传感器信号VSIG。在该示例中,选择频率基本上为干扰光的闪烁频率两倍的模数转换的重复率。在该示例中,采样和模数转换是在信号达到由各个点示出的其最大值以及其最小值时完成的。在该示例中,重复率对应于照明光传感器的光信号的光源调制频率的两倍。

在选择相同的重复周期的情况下,如图4a所示,或者选择多个干扰周期的情况下,如图4b所示,对干扰的事件响应被完全抑制。

图4c示出了与图4a和图4b相同的传感器信号VSIG。在该示例中,选择更高的模数转换的重复率,在该示例中,采样频率f(采样)大约是干扰光的闪烁频率f(闪烁)的8/7,即f(采样)=8/7*f(闪烁)。在该示例中,采样和模数转换是在由各个点示出的时间点处完成的。在该示例中,重复率高于照明光传感器的光信号的光源调制频率。

在重复率与干扰的重复率相似但不相同的情况下,作为示例,重复率可以更高,如图4c所示,图像数据(在事件生成之前)以低于干扰的频率变化(降频转换),这降低了事件和数据速率。这样保留了信息内容,同时减少了数据量。类似地,重复率也可以选择为小于干扰的重复率。

在一个示例性实施例中,事件输出为单个事件比特,例如升事件(up event),无事件(no event)。换句话说,升事件对应于增加的光强度。

在另一实施例中,事件输出为两个比特,例如升(up)和降(down)。换句话说,事件输出可以指示光强度或传感器信号VSIG是大于还是小于存储的光强度电平或存储的VSIG。

在另一示例性实施例中,事件输出包括改变的幅度的数字表示。该实施例是有利的,因为它能够从事件信息中完美地重建图像。

在另一示例性实施例中,事件输出包括改变之前和/或之后的照明强度表示。在一个实施例中,可以额外读出像素阵列中所存储的值的电平。

在衍生的实施例中,从目标区域选择性地读取数字存储的值,即通过随机读取。

在另一示例性实施例中,通过现有公共事件输出线读取数字电平。在一个实施例中,存储的数字电平可以被写入到像素的排列中,以提供新的或有意修改的参考,以用于比较。在衍生的实施例中,数据流被写入到存储的数字电平中,以有意地为事件生成提供时间相关参考。

在相关的衍生实施例中,数据流是与传感器正常生成的事件流类似的事件流。

在一个实施例中,传感器电路(11)具有来自存储的数字电平的反馈,或来自相邻像素的存储的数字电平的反馈,以调整该像素的VSIG电平。该实施例可以有利于在最小的表面积内实现例如迟滞功能。

在一个示例性实施例中,比较器电路具有来自存储的数字电平的反馈,或来自相邻像素的存储的数字电平的反馈,以调整比较器的功能,通常是添加偏移。该实施例可以有利于在最小的表面积内实现例如迟滞功能。

在一个示例性实施例中,采样率是电可配置的或在操作中不定时地电改变的。

功耗和事件生成率可以取决于采样率。降低采样率能够在静止条件下实现非常低的功率模式。另外,低采样率与对传感器电路(11)的行为进行积分相结合,使得能够在低光条件下进行操作。

在一个示例性实施例中,使采样完全中断一延长的时间段。

功耗和事件生成率可以取决于采样率。中断采样一段时间,例如1秒,使得能够进行非常低功率的操作,但由于数字存储而保留了记录图像的保真度。

在一个示例性实施例中,模拟信号电平(VSIG)可以从像素排列中读出。该实施例可以使用公共事件列线来实现。

在一个示例性实施例中,图像传感器由多个半导体层构成,其中针对层的功能,对每个电平的半导体工艺类型进行了优化。这种实施方式是有利的,因为对半导体工艺功能的优化允许(i)改进性能,(ii)降低硅面积以及(ii)a)器件尺寸和(ii)b)器件成本。更改后的物理结构提高了(i)填充系数(ii)量子效率的光学性能,并降低了控制信号线和光传感器电路之间的电干扰。

多个像素通常组织在具有“行”和“列”的二维网格中。应该注意的是,“行”和“列”的定义可以在不影响本发明的情况下互换。还应该注意的是,可以是映射到二维网格的其它几何配置,而不会影响本发明的适用性。

最后,应当指出的是,术语“包括”并不排除其他元件或步骤,而“一”或“一个”不排除多个。还可以将结合不同实施例描述的元件进行组合。还应当注意的是,权利要求中的附图标记不应被解释为限制权利要求的范围。

技术分类

06120116381384