掌桥专利:专业的专利平台
掌桥专利
首页

传感器和控制方法

文献发布时间:2023-06-19 11:14:36


传感器和控制方法

技术领域

本技术涉及传感器和控制方法,特别地,涉及例如能够灵活地对像素的电气信号发生变化的事件进行检测的传感器和控制方法。

背景技术

曾经提出了一种图像传感器,其将像素的亮度变化视为事件,并且在事件发生的情况下就输出用于表示事件发生的事件数据(例如,参见专利文献1)。

这里,以与垂直同步信号同步的方式执行摄像并且以光栅扫描格式输出帧数据的图像传感器可以被称为同步型图像传感器。另一方面,输出事件数据的图像传感器可以被称为非同步型图像传感器,因为这样的图像传感器可以随时读取生成了事件数据的像素。可以将非同步型图像传感器称为例如动态视觉传感器(DVS:Dynamic Vision Sensor)。

引用文献列表

专利文献

专利文献1:日本专利申请特表JP 2017-535999。

发明内容

要解决的技术问题

对于上述DVS(动态视觉传感器),要求能够灵活地检测事件。

本技术是鉴于这种情形而被做出的,并且本技术能够灵活地检测事件。

解决技术问题的技术方案

本技术提供了一种传感器,其包括:像素,所述像素接收光并且执行光电转换以生成电气信号;事件检测单元,所述事件检测单元进行事件检测,所述事件是所述像素的所述电气信号的变化;以及增益调节机构,所述增益调节机构针对各个所述像素来调节所述事件检测单元的增益。

本技术提供了一种控制方法,其包括针对各个像素来调节传感器的事件检测单元的增益的步骤。所述传感器包括:接收光并且执行光电转换以生成电气信号的所述像素;以及进行事件检测的所述事件检测单元,所述事件是所述像素的所述电气信号的变化。

在本技术的传感器和控制方法中,事件检测单元对如下的事件进行检测:该事件是在接收光并且执行光电转换以生成电气信号的像素中的所述电气信号的变化。而且,针对各个像素来调节事件检测单元的增益。

传感器可以是独立的装置,或者可以是一个装置中所包括的内部块。另外,传感器可以被设置为模块或半导体芯片。

附图说明

图1是示出了本技术适用的传感器芯片的构造示例的图。

图2是示出了传感器单元21和逻辑单元22的构造示例的框图。

图3是示出了像素阵列单元31的构造示例的框图。

图4是示出了像素块41的构造示例的电路图。

图5是示出了事件检测单元52的构造示例的框图。

图6是示出了电流电压转换单元81的构造示例的电路图。

图7是示出了减法单元83和量子化单元84的构造示例的电路图。

图8是用于说明传感器单元21的操作示例的时序图。

图9是用于说明根据事件数据而生成帧数据的方法的示例的图。

图10是示出了本技术适用的传感器芯片的实施例的构造示例的图。

图11是示出了传感器单元201的构造示例的框图。

图12是示出了像素阵列单元211的构造示例的概况的斜视图。

图13是示出了像素阵列单元211的构造示例的框图。

图14是示出了像素块41的构造示例的电路图。

图15是示出了事件检测单元52

图16是示出了量子化单元84的构造示例的框图。

图17是分别示出了阈值设定单元231

图18是用于说明传感器芯片200的操作示例的流程图。

图19是示出了在采用CF(Color Filter;彩色滤光片)301

图20是示出了在采用拜耳阵列的CF 301

图21是用于说明在采用拜耳阵列的CF 301

图22是用于说明通过设定事件阈值Vth(k)来调节事件检测单元52

图23是用于说明通过设定事件阈值Vth(k)来调节事件检测单元52

图24是分别示出了CF 301的阵列的示例的图。

图25是示出了使预定颜色的光透过的透过机构的示例的图。

图26是示出了在采用偏振滤光片331

图27是示出了在采用拜耳阵列的偏振滤光片331

图28是示出了量子化单元84的另一构造示例的框图。

图29是分别示出了由阈值设定单元231

图30是示出了事件检测单元52

图31是示出了减法单元83中所包括的运算放大器102的构造示例的电路图。

图32是示出了包括增益调节机构222的另一示例的像素阵列单元211的构造示例的框图。

图33是示出了起到增益调节机构222的功能的事件检测单元401

图34是示出了电流电压转换单元411的构造示例的电路图。

图35示出了分别用于说明由电流电压转换单元411执行的对事件检测单元401

图36是示出了起到增益调节机构222的功能的事件检测单元401

图37是示出了减法单元431的构造示例的电路图。

图38是示出了能够对增益进行细调和粗调的像素阵列单元211的构造示例的框图。

图39是示出了事件检测单元501

图40是用于说明事件检测单元501

图41是用于说明事件检测单元501

图42是示出了照明的光谱和CF的分光特性的示例的图。

图43是示出了针对R光、G光和B光的灵敏度调节的示例的图。

图44是示出了车辆控制系统的示意性构造的示例的框图。

图45是用于辅助说明车外信息检测部和摄像部的安装位置的示例的图。

具体实施方式

在下文中,稍后将会说明本技术的实施例,但是作为实施例的初期阶段,这里先说明本技术适用的作为非同步型图像传感器的传感器芯片。

<本技术适用的传感器芯片>

图1是示出了本技术适用的传感器芯片的构造示例的图。

传感器芯片10是具有一个芯片(chip)的半导体芯片,并且包括作为多个裸片(die)(基板)而彼此层叠着的传感器裸片(基板)11和逻辑裸片12。顺便提及,传感器芯片10可以包括一个裸片,或者可以包括彼此层叠着的三个以上的裸片。

在图1的传感器芯片10中,传感器裸片11包括传感器单元21(作为传感器单元21的电路),并且逻辑裸片12包括逻辑单元22。顺便提及,传感器单元21的一部分可以被包含于逻辑裸片12中。另外,逻辑单元22的一部分可以被包含于传感器裸片11中。

传感器单元21包括对入射光执行光电转换以生成电气信号的像素。然后,如果出现了像素的电气信号发生变化的事件,则传感器单元21就在事件检测单元52(图3)中生成用于表示该事件的发生的事件数据。传感器单元21将事件数据供应到逻辑单元22。也就是说,传感器单元21执行摄像以使得像素对入射光执行光电转换从而生成电气信号,并且传感器单元21输出电气信号。传感器单元21不仅生成用于表示像素的电气信号发生变化的事件的发生的事件数据,而且还将摄像数据(像素信号)从像素信号生成单元53(图3)输出到逻辑单元22。

这里,同步型图像传感器是以与垂直同步信号同步的方式执行摄像并且以光栅扫描格式输出帧数据的图像传感器。由于传感器单元21在输出事件数据时不是以与垂直同步信号同步的方式进行操作的,因此可以说,与同步型图像传感器相比而言,传感器单元21是非同步型的(非同步型图像传感器)。

顺便提及,传感器单元21除了如上所述地生成且输出事件数据以外,能够与同步型图像传感器一样地生成且输出帧数据。此外,传感器单元21可以将发生了事件的像素的电气信号作为像素信号与事件数据一起输出:该像素信号是帧数据的像素的像素值。

逻辑单元22在需要时控制传感器单元21。另外,逻辑单元22实施诸如下列之类的各种数据处理:根据来自传感器单元21的事件数据而生成帧数据的数据处理;以及针对来自传感器单元21的摄像数据、或针对根据来自传感器单元21的事件数据而生成的帧数据的图像处理。逻辑单元22输出通过对事件数据、帧数据和摄像数据实施各种数据处理而获得的数据处理结果。

<传感器单元21的构造示例>

图2是示出了图1中的传感器单元21的构造示例的框图。

传感器单元21包括像素阵列单元31、驱动单元32、仲裁器33、模数(AD:Analog toDigital)转换单元34和输出单元35。

像素阵列单元31包括以二维格子状布置的多个像素51(图3)。在作为通过像素51的光电转换而生成的电气信号的光电流中存在超过预定阈值的变化(在需要时,包含阈值以上的变化)的情况下,像素阵列单元31将光电流的变化作为事件而检测出来。在像素阵列单元31检测到事件的情况下,像素阵列单元31将输出用于表示事件发生的事件数据的请求输出到仲裁器33。此外,在像素阵列单元31从仲裁器33接收到用于表示允许输出事件数据的响应的情况下,像素阵列单元31将事件数据输出到驱动单元32和输出单元35。此外,像素阵列单元31将检测到事件的像素51的电气信号作为像素信号经由像素信号生成单元53输出到AD转换单元34。

驱动单元32将控制信号供应到像素阵列单元31,以驱动像素阵列单元31。例如,驱动单元32驱动从像素阵列单元31输出事件数据的像素51,以便将像素51的像素信号供应(输出)到AD转换单元34。

仲裁器33对来自像素阵列单元31的输出事件数据的请求进行仲裁,并且将用于表示允许或不允许输出事件数据的响应以及用于对事件检测进行复位的复位信号返回到像素阵列单元31。

AD转换单元34包括例如在稍后说明的像素块41(图3)的各列中设置的例如单斜率型ADC(AD转换器:AD Converter)(未图示)。在AD转换单元34中,各列的ADC对该列的像素块41中的像素51的像素信号执行AD转换,然后将像素信号供应到输出单元35。顺便提及,AD转换单元34还可以与像素信号的AD转换一起执行相关双采样(CDS:Correlated DoubleSampling)。

输出单元35对来自AD转换单元34的像素信号和来自像素阵列单元31的事件数据实施必要的处理,然后将像素信号和事件数据从逻辑单元22输出。

在此,由于也可以将由像素51生成的光电流的变化视为入射至像素51上的光的光量变化,因此也可以说事件是像素51的光量变化(超过阈值的光量变化)。

用于表示事件发生的事件数据至少包括用于表示发生了作为事件的光量变化的像素块的位置的位置信息(坐标等)。另外,事件数据可以包括光量变化的极性(正或负)。

关于在事件发生的时序下从像素阵列单元31输出的一系列事件数据,只要将事件数据之间的间隔保持为与事件发生时一样,就可以说事件数据隐含地包括了用于表示事件发生的时间(相对时间)的时间信息。然而,如果由于例如在将事件数据存储到存储器中时事件数据之间的间隔不再被保持为与事件发生时一样,那么隐含地包括于事件数据中的时间信息就会丢失。因此,在事件数据之间的间隔不再被保持为与事件发生时一样的情况出现之前,输出单元35在事件数据中包括诸如时间戳等用于表示事件发生的时间(相对时间)的时间信息。在隐含地包括于事件数据中的时间信息被丢失之前,可以由除了输出单元35以外的任意块来实施将时间信息包括于事件数据中的处理。

<像素阵列单元31的构造示例>

图3是示出了图2中的像素阵列单元31的构造示例的框图。

像素阵列单元31包括多个像素块41。各个像素块41包括:以I行×J列(I和J为整数)布置着的一个以上的I×J个像素51;事件检测单元52;以及像素信号生成单元53。像素块41中的一个以上的像素51共用事件检测单元52和像素信号生成单元53。另外,在像素块41的各列中布线有用于把像素块41和AD转换单元34的ADC连接起来的垂直信号线(VSL:Vertical Signal Line)。

像素51接收来自被摄体的入射光并且执行光电转换以生成作为电气信号的光电流。像素51根据驱动单元32的控制而将光电流供应到事件检测单元52。

事件检测单元52根据驱动单元32的控制而把来自各个像素51的光电流的超过预定阈值的变化作为事件检测出来。在事件检测单元52检测到事件的情况下,事件检测单元52把输出用于表示事件发生的事件数据的请求供应到仲裁器33(图2)。此外,一旦事件检测单元52接收到来自仲裁器33的应对上述请求而允许输出事件数据的响应,事件检测单元52就将事件数据输出到驱动单元32和输出单元35。

在事件检测单元52检测到事件的情况下,像素信号生成单元53根据驱动单元32的控制而生成像素51的经过光电转换后的电压作为像素信号,并且将像素信号经由VSL供应到AD转换单元34。

在此,把光电流的超过预定阈值的变化作为事件检测出来,可以认为同时也检测出了光电流没有发生超过预定阈值的变化的事件。像素信号生成单元53除了在检测到光电流发生了超过预定阈值的变化的事件的情况下能够生成像素信号之外,在检测到光电流没有发生超过预定阈值的变化的事件的情况下,像素信号生成单元53也能够生成像素信号。

<像素块41的构造示例>

图4是示出了像素块41的构造示例的电路图。

像素块41包括如图3所示的像素51、事件检测单元52和像素信号生成单元53。

像素51包括光电转换元件61以及传输晶体管62和63。

光电转换元件61包括例如光电二极管(PD:Photodiode)。光电转换元件61接收入射光并且执行光电转换以生成电荷。

传输晶体管62包括例如N(负)型金属氧化物半导体(MOS:Metal-Oxide-Semiconductor)场效应晶体管(FET:Field Effect Transistor)。根据从驱动单元32(图2)供应过来的控制信号OFGn,像素块41中所包括的I×J个像素51之中的第n个像素51中所具有的传输晶体管62导通/截止。当传输晶体管62导通时,由光电转换元件61生成的电荷作为光电流被传输(供应)到事件检测单元52。

传输晶体管63包括例如N型MOS(NMOS:N-type MOS)FET。

根据从驱动单元32供应过来的控制信号(传输信号)TRGn,像素块41中所包括的I×J个像素51之中的第n个像素51中所具有的传输晶体管63导通/截止。当传输晶体管63导通时,由光电转换元件61生成的电荷被传输到像素信号生成单元53的FD部74。

像素块41中所包括的I×J个像素51经由节点60连接至像素块41中所包括的事件检测单元52。因此,由像素51(像素51的光电转换元件61)生成的光电流经由节点60被供应到事件检测单元52。结果,像素块41中的所有像素51的光电流之和被供应到事件检测单元52。因此,事件检测单元52把从像素块41中所包括的I×J个像素51供应的光电流之和的变化作为事件进行检测。

像素信号生成单元53包括复位晶体管71、放大晶体管72、选择晶体管73和浮动扩散部(FD部:Floating Diffusion)74。

复位晶体管71、放大晶体管72和选择晶体管73包括例如N型MOS FET。

根据从驱动单元32(图2)供应过来的控制信号RST,复位晶体管71导通/截止。当复位晶体管71导通时,FD部74连接至电源VDD,并且累积于FD部74中的电荷被排出到电源VDD。结果,FD部74被复位。

放大晶体管72的栅极连接至FD部74,漏极连接至电源VDD,并且源极经由选择晶体管73连接至VSL。放大晶体管72是源极跟随器,并且把与被供应到该放大晶体管的栅极的FD部74的电压对应的电压(电气信号)经由选择晶体管73输出到VSL。

根据从驱动单元32供应过来的控制信号SEL,选择晶体管73导通/截止。当选择晶体管73导通时,来自放大晶体管72的与FD部74的电压对应的电压就被输出到VSL。

FD部74累积从像素51的光电转换元件61经由传输晶体管63传输过来的电荷,并且将该电荷转换为电压。

对于以此方式构造而成的像素51和像素信号生成单元53,驱动单元32使用控制信号OFGn来使传输晶体管62导通,以将基于由像素51的光电转换元件61生成的电荷的光电流供应到事件检测单元52。结果,像素块41中的所有像素51的光电流之和的电流被供应到事件检测单元52。

在像素块41中,一旦事件检测单元52把光电流(光电流之和)的变化作为事件检测出来,驱动单元32就使像素块41中的所有像素51的传输晶体管62截止,以停止向事件检测单元52供应光电流。此外,在检测到事件之后,驱动单元32使用控制信号(选择信号)SEL来选择像素51的行,然后将光电转换元件61复位以开始曝光。在曝光完成之后,驱动单元32使用传输信号TRGn,以使检测到事件的像素块41中的像素51的传输晶体管63依次导通,从而将由光电转换元件61生成的电荷传输到FD部74。从像素51(像素51的光电转换元件61)传输过来的电荷被累积在FD部74中。与累积于FD部74中的电荷对应的电压作为像素51的像素信号经由放大晶体管72和选择晶体管73被输出到VSL。

以此方式,在传感器单元21(图2)中,仅检测到事件的像素块41中的像素51的像素信号被依次输出到VSL。输出到VSL的像素信号被供应到AD转换单元34,并且被实施AD转换。

在此,对于像素块41中的各像素51,可以不是使传输晶体管63依次导通,而是可以使传输晶体管63同时导通。在这种情况下,能够输出像素块41中的所有像素51的像素信号之和。

在图3的像素阵列单元31中像素块41包括多个像素51的情况下,多个像素51共用事件检测单元52和像素信号生成单元53。结果,与针对一个像素51都设置有一个事件检测单元52和一个像素信号生成单元53的情况相比,可以减少事件检测单元52和像素信号生成单元53的数量,并且可以抑制像素阵列单元31的规模。

顺便提及,像素块41可以不是包括多个像素51而是包括一个像素51。

此外,事件检测单元52可以针对像素块41中的各个像素51而分别设置着。虽然在像素块41中的多个像素51共用事件检测单元52的情况下是以像素块41为单位来检测事件,但是在事件检测单元52针对各个像素51而分别设置的情况下,可以以像素51为单位来检测事件。

此外,在不必输出像素信号的情况下,像素块41可以不包括像素信号生成单元53。在像素块41被构造成不包括像素信号生成单元53的情况下,传感器单元21可以被构造成不包括AD转换单元34和传输晶体管63。在这种情况下,可以抑制像素阵列单元31的规模。

<事件检测单元52的构造示例>

图5是示出了图3中的事件检测单元52的构造示例的框图。

事件检测单元52包括电流电压转换单元81、缓冲器82、减法单元83、量子化单元84和传输单元85。

电流电压转换单元81将来自像素51的光电流(光电流之和)转换为与光电流的对数对应的电压(在下文中,也称为光电压),并且将光电压供应到缓冲器82。

缓冲器82缓冲来自电流电压转换单元81的光电压,并且将光电压供应到减法单元83。

减法单元83计算当前光电压和在与当前时刻稍有不同的时刻处的光电压之间的差,并且将与该差对应的差信号供应到量子化单元84。

量子化单元84将来自减法单元83的差信号量子化为数字信号,并且将差信号的量子化值供应到传输单元85。

传输单元85根据来自量子化单元84的差信号的量子化值将事件数据传输(输出)到输出单元35。也就是说,传输单元85将输出事件数据的请求供应到仲裁器33。此外,一旦传输单元85从仲裁器33接收到应对上述请求而允许输出事件数据的响应,传输单元85就将事件数据输出到输出单元35。

<电流电压转换单元81的构造示例>

图6是示出了图5中的电流电压转换单元81的构造示例的电路图。

电流电压转换单元81包括晶体管91至93。晶体管91和晶体管93可以是例如N型MOSFET,而晶体管92可以是例如P型MOS(PMOS:P-type MOS)FET。

晶体管91的源极连接至晶体管93的栅极,并且来自像素51的光电流被供应到晶体管91的源极和晶体管93的栅极的连接点。晶体管91的漏极连接至电源VDD,并且晶体管91的栅极连接至晶体管93的漏极。

晶体管92的源极连接至电源VDD,并且晶体管92的漏极连接至晶体管91的栅极和晶体管93的漏极的连接点。预定的偏置电压Vbias被施加到晶体管92的栅极。

晶体管93的源极是接地的。

在电流电压转换单元81中,晶体管91的漏极连接至电源VDD侧,并且晶体管91是源极跟随器。作为源极跟随器的晶体管91和具有与晶体管91的源极连接的栅极的晶体管93将来自像素51的光电流转换为与光电流的对数对应的光电压。

光电压从晶体管91的栅极和晶体管93的漏极的连接点被供应到缓冲器82(图5)。

<减法单元83和量子化单元84的构造示例>

图7是示出了图5中的减法单元83和量子化单元84的构造示例的电路图。

减法单元83包括电容器101、运算放大器102、电容器103和开关104。量子化单元84包括比较器111。

电容器101的一端连接至缓冲器82(图5)的输出端子,并且电容器101的另一端连接至运算放大器102的输入端子。因此,光电压经由电容器101输入到运算放大器102的输入端子。

运算放大器102的输出端子连接至比较器111的非反转输入端子(+)。

电容器103的一端连接至运算放大器102的输入端子,并且电容器103的另一端连接至运算放大器102的输出端子。

开关104连接至电容器103,用于对电容器103两端的连接进行接通/断开。在事件检测等之后,开关104根据来自仲裁器33的复位信号而接通/断开,从而接通/断开电容器103两端的连接。

将当开关104接通时电容器101的缓冲器82(图5)侧的光电压称为Vinit,并且将电容器101的电容(静电电容)称为C1。运算放大器102的输入端子是虚拟接地,并且在开关104接通的情况下累积于电容器101中的电荷Qinit由等式(1)表示。

Qinit=C1×Vinit···(1)

此外,在开关104接通的情况下,电容器103的两端短路,并且累积于电容器103中的电荷为零。

将在随后开关104断开的情况下电容器101的缓冲器82(图5)侧的光电压称为Vafter,并且在开关104断开的情况下累积于电容器101中的电荷Qafter由等式(2)表示。

Qafter=C1×Vafter···(2)

将电容器103的电容称为C2,并且将运算放大器102的输出电压称为Vout。累积于电容器103中的电荷Q2由等式(3)表示。

Q2=–C2×Vout···(3)

在开关104断开之前和之后,作为电容器101的电荷和电容器103的电荷之和的总电荷量是不变的,并且建立了等式(4)。

Qinit=Qafter+Q2···(4)

通过将等式(1)至(3)代入到等式(4)来获得等式(5)。

Vout=–(C1/C2)×(Vafter–Vinit)···(5)

根据等式(5),减法单元83对光电压Vafter和Vinit进行了减法,也就是说,计算出了与光电压Vafter和Vinit之间的差Vafter–Vinit对应的差信号Vout。根据等式(5),减法单元83的减法增益为C1/C2。通常,期望将该增益最大化,因此,优选设计为大的C1和小的C2。另一方面,如果C2太小,则kTC噪声会增大,并且噪声特性可能会劣化。因此,将C2的电容减小限制在可以容忍噪声的范围内。另外,针对各个像素块41而分别设置有包括减法单元83的事件检测单元52,因此,在面积方面存在着对电容C1和C2的制约。考虑这些因素来确定电容C1和C2的值。

比较器111将来自减法单元83的差信号与施加到反转输入端子(–)的预定阈值(电压)Vth进行比较。例如,比较器111将用于表示差信号和阈值Vth二者的比较结果的H(高)电平或L(低)电平作为差信号的量子化值输出到传输单元85。

在根据来自量子化单元84的差信号的量子化值而识别出已经发生了作为事件的光量变化的情况下,也就是说,在差信号(Vout)大于(或小于)阈值Vth的情况下,传输单元85将用于表示事件发生的事件数据(例如,H电平)输出到输出单元35。例如,传输单元85将来自量子化单元84的差信号的量子化值作为事件数据输出到输出单元35。

输出单元35在来自传输单元85的事件数据中包括由事件数据表明发生了事件的像素51(含有像素51的像素块41)的位置信息、用于表示事件发生时间的时间信息、以及(在需要时)作为事件的光量变化的极性,并且输出单元35输出这样的事件数据。

包括发生了事件的像素51的位置信息、用于表示事件发生时间的时间信息、以及作为事件的光量变化的极性的事件数据的数据格式可以是例如被称为AER(地址事件表示:Address Event Representation)的数据格式。

顺便提及,事件检测单元52整体的增益A由以下等式来表示,在该等式中,电流电压转换单元81的增益为CG

A=CG

在此,i

顺便提及,例如,像素51可以设置有诸如彩色滤光片等能够让预定光透过的光学滤光片,以便像素51可以接收任意光作为入射光。例如,在像素51接收可见光作为入射光的情况下,事件数据表示在反映了视觉上可识别的被摄体的图像中像素值发生了变化。此外,在例如像素51接收用于测距的红外线或毫米波等作为入射光的情况下,事件数据表示与被摄体之间的距离发生了变化。此外,例如,在像素51接收用于测定温度的红外线作为入射光的情况下,事件数据表示被摄体的温度发生了变化。在本实施例中,假设像素51接收可见光作为入射光。

图8是用于说明图2中的传感器单元21的操作示例的时序图。

在时刻T0处,驱动单元32将控制信号OFGn全部从L电平切换到H电平,以使像素块41中的所有像素51的传输晶体管62导通。结果,像素块41中的所有像素51的光电流之和被供应到事件检测单元52。在这种情况下,传输信号TRGn全部都处于L电平,并且所有像素51的传输晶体管63截止。

当在例如时刻T1处事件检测单元52检测到事件时,事件检测单元52就根据该事件的检出而输出具有H电平的事件数据。

驱动单元32根据具有H电平的事件数据而在时刻T2将控制信号OFGn全部切换到L电平,以停止从像素51向事件检测单元52供应光电流。另外,驱动单元32将控制信号SEL切换到H电平,将控制信号RST和传输信号TRGn切换为在一定时段内处于H电平,并且将光电转换元件61的电荷排出到电源VDD从而复位像素51。驱动单元32在曝光时间结束之后将控制信号RST切换到H电平,从而复位FD部74。像素信号生成单元53输出与在FD部74复位时的FD部74的电压对应的像素信号作为复位电平,并且AD转换单元34执行复位电平的AD转换。

在复位电平的AD转换之后,驱动单元32将传输信号TRG1切换为在一定时段内处于H电平,以将通过检测到事件的像素块41中的第一个像素51(像素51的光电转换元件61)的光电转换而生成的电荷传输到FD部74。像素信号生成单元53输出与已经被传输有来自像素51的电荷的FD部74的电压对应的像素信号作为信号电平,并且AD转换单元34执行信号电平的AD转换。

AD转换单元34将AD转换之后的信号电平和复位电平之间的差分作为像素信号输出到输出单元35,该像素信号是图像(帧数据)的像素值。

在此,将求出信号电平和复位电平之间的差分以作为像素信号(该像素信号是图像的像素值)的过程称为CDS。可以在信号电平和复位电平的AD转换之后执行CDS,另外,在AD转换单元34执行单斜率型AD转换的情况下,也可以通过使用复位电平的AD转换结果作为初始值来执行信号电平的AD转换,从而与信号电平和复位电平的AD转换同时地执行CDS。

在像素块41中的第一个像素51的像素信号的AD转换之后,驱动单元32将传输信号TRG2切换为在一定时段内处于H电平,以输出检测到事件的像素块41中的第二个像素51的像素信号。

在传感器单元21中继续进行类似的操作,并且依次输出检测到事件的像素块41中的各像素51的像素信号。

一旦像素块41中的检测到事件的各像素51的像素信号都被输出,驱动单元32就将控制信号OFGn切换到H电平,以使像素块41中的像素51的传输晶体管62导通,并且继续重复类似的操作。

<根据事件数据而生成帧数据>

图9是用于说明根据事件数据而生成帧数据的方法的示例的图。

逻辑单元22根据例如来自外部的命令等来设定帧间距和帧宽度。在此,帧间距表示根据事件数据而生成的帧数据的帧的间距。帧宽度表示被用来生成一帧的帧数据的事件数据的时间宽度。由逻辑单元22设定的帧间距和帧宽度也分别被称为所设定帧间距和所设定帧宽度。

逻辑单元22根据所设定帧间距、所设定帧宽度和来自传感器单元21的事件数据而生成帧数据,该帧数据是帧格式的图像数据,从而将事件数据转换为帧数据。

也就是说,逻辑单元22以各个所设定帧间距、根据从所设定帧间距的顶部算起的所设定帧宽度内的事件数据而生成帧数据。

现在,假设事件数据包括用于表示事件发生时间的时间信息(在下文中,也称为事件时间)t

在图9中,在包括x轴、y轴和时间轴t的三维空间(时空)内,把作为事件数据的点绘制在事件数据中所包括的事件时间t和事件位置(事件坐标)(x,y)处。

也就是说,假设把由事件数据中所包括的事件时间t和事件位置(x,y)表示的三维空间中的位置(x,y,t)称为事件的时空位置,则在图9中,事件数据被绘制为在事件的时空位置(x,y,t)处的点。

例如,逻辑单元22使用诸如从外部指示的用于生成帧数据的时间和将传感器芯片10的电源接通的时间等预定时间作为开始生成帧数据的生成开始时间,并且根据事件数据来开始帧数据的生成。

现在,在从生成开始时刻起的各个所设定帧间距处、在时间轴t的方向上厚度(高度)为所设定帧宽度的长方体被称为帧卷(frame volume)。帧卷在x轴方向和y轴方向上的大小等于例如像素块41或像素51在x轴方向和y轴方向上的数量。

逻辑单元22在各个所设定帧间距处根据帧卷中的事件数据(使用事件数据)而生成一帧的帧数据,上述帧卷具有从所设定帧间距的顶部算起的所设定帧宽度。

帧数据的生成可以通过如下方式来进行:例如,将帧的在事件数据中所包括的事件位置(x,y)处的像素(像素的像素值)设定为白色,并且可以将帧的在其他位置处的像素设定为诸如灰色等预定颜色。

另外,在事件数据包括光量变化的极性作为事件的情况下,可以考虑事件数据中所包括的极性来进行帧数据的生成。例如,在极性为正的情况下可以将像素设定为白色,而在极性为负的情况下可以将像素设定为黑色。

此外,在如图3和图4所说明的与事件数据的输出一起将像素51的像素信号输出的情况下,可以根据事件数据使用像素51的像素信号来生成帧数据。也就是说,在帧中,可以将在事件数据中所包括的事件位置(x,y)处(与像素块41对应的块中)的像素设定为在位置(x,y)处的像素51的像素信号,并且可以将在其他位置处的像素设定为诸如灰色等预定颜色,由此生成帧数据。

顺便提及,存在有一种情况是:其中,帧卷包括尽管事件时间t不同、但是事件位置(x,y)为同一个的多条事件数据。在这种情况下,例如,可以对具有最新或最旧的事件时间t的事件数据进行优先排序。此外,在事件数据包括极性的情况下,可以将具有不同的事件时间t、但是在同一个事件位置(x,y)处的多个事件数据的极性相加,并且与通过相加而获得的相加值对应的像素值可以被设定给在事件位置(x,y)处的像素。

这里,在帧宽度和帧间距相同的情况下,帧卷彼此无间隙地接触。此外,在帧间距大于帧宽度的情况下,帧卷以一定间隙布置着。在帧宽度大于帧间距的情况下,帧卷以彼此部分地重叠的方式布置着。

<根据本技术的传感器芯片>

图10是示出了根据本技术的传感器芯片的实施例的构造示例的图。

顺便提及,在图10中,与图1的传感器芯片10中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

与图1的传感器芯片10类似地,图10的传感器芯片200包括非同步型传感器(图像传感器),并且传感器芯片200包括彼此层叠的传感器裸片11和逻辑裸片12。此外,传感器裸片11包括传感器单元201,并且逻辑裸片12包括逻辑单元22。

因此,图10的传感器芯片200与图1的传感器芯片10的相同之处在于,传感器芯片200包括传感器裸片11和逻辑裸片12,并且逻辑裸片12包括逻辑单元22。然而,传感器芯片200与传感器芯片10的不同之处在于,传感器裸片11包括传感器单元201来代替传感器单元21。

<传感器单元201的构造示例>

图11是示出了图10中的传感器单元201的构造示例的框图。

顺便提及,在图11中,与图2的传感器单元21中相对应的部分将会被赋予相同的附图标记,并且将会适当地省略其说明。

在图11中,传感器单元201包括驱动单元32、仲裁器33、AD转换单元34、输出单元35和像素阵列单元211。

在图2中,例如假设传感器单元21包括像素阵列单元31并且逻辑单元22包括从驱动单元32至输出单元35的各单元,于是,传感器单元201与传感器单元21的不同之处在于:图2的传感器单元21不包括从驱动单元32至输出单元35的各单元,而图11的传感器单元201包括从驱动单元32至输出单元35的各单元。此外,传感器单元201与传感器单元21的不同之处在于:传感器单元21包括像素阵列单元31,而传感器单元201包括像素阵列单元211来代替像素阵列单元31。

<像素阵列单元211的构造示例>

图12是示出了图11中的像素阵列单元211的构造示例的概况的斜视图。

与像素阵列单元31类似地,像素阵列单元211包括以二维格子状布置的多个像素51。

在像素51的有入射光入射的一侧设置有光学滤光片221

光学滤光片221

因此,像素阵列单元211中的像素51接收已经从设置于像素51上的光学滤光片221

与像素阵列单元31类似地,像素阵列单元211包括事件检测单元52。然而,尽管在像素阵列单元31中事件检测单元52是针对各个像素块41(图3)而分别设置的,但是在像素阵列单元211中事件检测单元52是针对各个像素51而分别设置的。

当设置有事件检测单元52的像素51的作为电气信号的光电流发生超过预定阈值的变化时,事件检测单元52将该变化作为事件检测出来。

在图12中,存在四种类型的光学滤光片221

光学滤光片221

光学滤光片221

在下文中,在不必区分光学滤光片221

另外,将光学滤光片221如上所述地以一定单位重复地布置着的情况下的重复的单位也称为重复单位。在图12中,按2×2形式布置的光学滤光片221

在图12中,作为让预定光透过的透过机构,使用了能够让不同类型的光透过的呈2×2阵列状的光学滤光片221

在此,让预定光透过等同于遮挡住除了预定光以外的光,因此,诸如光学滤光片221等能够让预定光透过的透过机构也是能够遮挡预定光的遮挡机构。另外,还可以说,透过机构是能够选择要透过的光或要遮挡的光的选择机构。

像素阵列单元211还包括增益调节机构222。增益调节机构222针对例如由作为透过机构的光学滤光片221

顺便提及,在图12中,增益调节机构222被示出为位于事件检测单元52下方。然而,图12是仅示意性地示出了像素阵列单元211包括增益调节机构222的图,并且增益调节机构222可以不设置在事件检测单元52下方。

另外,由增益调节机构222执行的增益调节可以在设定了白平衡等的增益等之后进行。

图13是示出了图12中的像素阵列单元211的构造示例的框图。

顺便提及,在图13中,与图3的像素阵列单元31中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

像素阵列单元211包括多个像素块41以及与从作为重复单位的2×2个光学滤光片221中透过的各种光(光的各种类型)对应的四个阈值设定单元231

因此,像素阵列单元211与图3的像素阵列单元31的相同之处在于,像素阵列单元211包括多个像素块41,各个像素块41包括像素51

然而,像素阵列单元211与图3的像素阵列单元31的不同之处在于,像素块41重新地具有与重复单位对应的2×2个像素51

因此,虽然在像素阵列单元31(图3和图4)中是把像素块41中所包括的一个以上像素51的光电流之和的变化作为事件进行检测,但是在像素阵列单元211中,事件检测单元52

顺便提及,在像素块41的像素51

阈值设定单元231

在此,光学滤光片221

阈值设定单元231

事件检测单元52

在下文中,在不必区分像素51

顺便提及,尽管在本实施例中阈值设定单元231被设置于像素阵列单元211中,但是阈值设定单元231可以设置在像素阵列单元211的外部。例如,阈值设定单元231可以设置在传感器单元201的除像素阵列单元211以外的部分上或逻辑单元22的任意部分上,或者可以设置在传感器芯片200的外部。

<像素块41的构造示例>

图14是示出了图13中的像素块41的构造示例的电路图。

顺便提及,在图14中,与图4的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图14中,像素块41包括:如图13所说明的多个像素,它们是与重复单位对应的2×2个像素51

因此,图14的像素块41与图4的情况的相同之处在于,像素块41包括像素51

然而,图14的像素块41与图4的情况的不同之处在于,事件检测单元52

像素51

顺便提及,在像素块41中,也可以与事件检测单元52

<事件检测单元52

图15是示出了图13和图14中的事件检测单元52

顺便提及,在图15中,与图5的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图15中,事件检测单元52

因此,图15的事件检测单元52

然而,事件阈值Vth(k)从阈值设定单元231

图16是示出了图15中的量子化单元84的构造示例的框图。

顺便提及,在图16中,与图7的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图16中,量子化单元84包括比较器111,并且以与图7的情况类似的方式被构造而成。

然而,来自阈值设定单元231

因此,在图16的量子化单元84中,比较器111将来自减法单元83的差信号与来自阈值设定单元231

根据量子化单元84的量子化值,在差信号Vout大于(或小于)事件阈值Vth(k)的情况下,传输单元85将用于表示事件发生的事件数据(例如,H电平或L电平)输出到输出单元35。

因此,在将事件阈值Vth(k)设定为小的值的情况下,即使差信号小,也就是说,即使像素51

以此方式,可以根据为事件阈值Vth(k)设定的值来间接地(实质地)调节事件检测单元52

以此方式,可以基于对事件检测单元52

<阈值设定单元231

图17是分别示出了阈值设定单元231

图17的A表示阈值设定单元231

在图17的A中,阈值设定单元231

梯型电路251包括多个具有电阻值R的电阻器和多个具有电阻值2R的电阻器,在图17中,当从具有电阻值2R的电阻器之中的从右数第二个电阻器及其后续的电阻器中的任意一者观察右侧时,从电阻来看,得到的电阻是电阻值R。例如,在从右数第二个具有电阻值2R的电阻器观察右侧的情况下,各自具有电阻值2R的两个电阻器形成并联连接,并且由此得到的电阻值为R。另外,例如,在从右数第三个具有电阻值2R的电阻器观察右侧的情况下,一个具有电阻值2R的电阻器和两个相互串联连接的各自具有电阻值R的电阻器(这两个相互串联连接的各自具有电阻值R的电阻器构成一个具有电阻值2R的电阻器)形成并联连接,并且由此得到的电阻值为R。类似地,当从具有电阻值2R的电阻器之中的从右数第二个电阻器及后续的电阻器中的任意一者观察右侧时,由于各自具有电阻值2R的两个电阻器形成并联连接,因此从电阻来看,得到的电阻值为R。

现在,将从具有电压E的电源流出的电流称为i。

如上所述,在梯型电路251中,当从具有电阻值2R的电阻器之中的从右数第二个电阻器及后续的电阻器中的任意一者观察右侧时,由于各自具有电阻值2R的两个电阻器形成并联连接,所以从电阻来看,得到的电阻值为R。因此,流过各自具有电阻值2R的从左数第一个电阻器、第二个电阻器、第三个电阻器和第四个电阻器的电流分别为i/2、i/4、i/8和i/16。顺便提及,电流i由等式i=E/R表示。

开关sw#j连接至具有电阻值2R的从左数第(4-j)个电阻器(电阻器的一端),并且根据供应到开关sw#j的控制位(control bit)b#j来选择端子a或端子b。例如,在控制位b#j为0的情况下,开关sw#j选择端子a,并且在控制位b#j为1的情况下,开关sw#j选择端子b。

端子a连接至地面(地),并且端子b连接至运算放大器252的反转输入端子(–)。

因此,在开关sw#j选择了端子a的情况下,流过具有电阻值2R的从左数第(4-j)个电阻器的电流经由开关sw#j流向地面。此外,在开关sw#j选择了端子b的情况下,流过具有电阻值2R的从左数第(4-j)个电阻器的电流经由开关sw#j被供应到运算放大器252的反转输入端子。

运算放大器252的非反转输入端子(+)连接至地面,并且运算放大器252的反转输入端子连接至开关sw#j的端子b且连接至具有电阻值Rf的电阻器的一端。运算放大器252的输出端子连接至具有电阻值Rf的该电阻器的另一端。

在以此方式构造而成的阈值设定单元231

例如,在开关sw0选择了端子b而其他开关sw1至sw3选择了端子a的情况下,在运算放大器252的作为虚拟接地的反转输入端子侧流动的电流为i/16。在这种情况下,就将事件阈值Vth(k)设定为出现在运算放大器252的输出端子处的电压–i/16×Rf。

此外,例如,在开关sw3选择了端子b而其他开关sw0至sw2选择了端子a的情况下,在运算放大器252的作为虚拟接地的反转输入端子侧流动的电流为i/2。在这种情况下,就将事件阈值Vth(k)设定为出现在运算放大器252的输出端子处的电压–i/2×Rf。

以此方式,控制位b#j可以被用来控制由开关sw#j进行的对端子a或端子b的选择,由此能够可变地设定事件阈值Vth(k)。

此外,阈值设定单元231

图17的B表示阈值设定单元231

在图17的B中,阈值设定单元231

在DA转换器260中,FET 261和263的源极都连接至电源VDD,并且FET 261的漏极连接至电流源262。

此外,FET 261的栅极和FET 263的栅极连接,并且FET 261的漏极还连接至FET261的栅极和FET 263的栅极的连接点。

因此,FET 261和FET 263形成电流镜(current mirror)。在该电流镜中,FET 261是镜像源(mirror source),而FET 263是镜像目的地(mirror destination)。

从作为镜像源的FET 261中流过的电流,即,与流过电流源262的电流对应的电流(与镜像比(mirror ratio)成倍数的电流),流过作为镜像目的地的FET 263。

电阻器264的一端是接地的,并且电阻器264的另一端连接至作为镜像目的地的FET 263的漏极。

在此,图17的B中的在作为镜像目的地的FET 263上绘出的箭头表示该FET 263包括多个FET,并且所述多个FET与作为镜像源的FET 261并联连接,也就是说,所述多个FET各者的栅极连接至FET 261的栅极,所述多个FET各者的源极连接至电源VDD,并且所述多个FET各者的漏极连接至电阻器264。

此外,在作为镜像目的地的FET 263上绘出的箭头表明了:可以对作为FET 263的多个FET之中的被施加有与流过电流源262的电流对应的电流的FET(在下文中,也称为运转FET)的数量进行调节。

通过调节作为FET 263的多个FET之中的运转FET的数量,可以让流过电阻器264的电流发生变化。

在以此方式构造而成的阈值设定单元231

例如,将事件阈值Vth(k)设定为由运转FET施加到电阻器264上的电流所引起的电压降iRN,其中i表示流过一个运转FET的电流,N表示运转FET的数量,并且R表示电阻器264的电阻值。

因此,可以基于运转FET的数量N可变地设定事件阈值Vth(k)。此外,根据DA转换器260,可以如在DA转换器250中那样按精细的幅度来设定事件阈值Vth(k),并且可以执行用于精细地调节事件检测单元52

图18是用于说明图10中的传感器芯片200的操作示例的流程图。

在步骤S11中,增益调节机构222(图12)针对从作为透过机构的光学滤光片221中透过的各种预定光(光的各种类型)来调节事件检测单元52的增益,然后,处理进行到步骤S12。

也就是说,在步骤S11中,例如,作为增益调节机构222的阈值设定单元231

在步骤S12中,增益调节之后的事件检测单元52

随后,处理从步骤S12进行到步骤S13,并且逻辑单元22根据来自传感器单元201的事件数据、且还使用来自传感器单元201的事件数据中的像素信号以执行诸如生成帧数据等数据处理,并且逻辑单元22输出数据处理结果。

<在采用CF 301

图19是示出了在采用CF 301

顺便提及,在图19中,与图12的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图19中,将彩色滤光片(CF)301

CF 301

在下文中,透过CF 301

对于拜耳阵列的CF 301,将按2×2形式布置的CF 301

顺便提及,在拜耳阵列的CF 301中,分别从重复单位中所包括的CF 301

<像素阵列单元211的构造示例>

图20是示出了在采用拜耳阵列的CF 301

顺便提及,在图20中,与图13的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

像素阵列单元211包括多个像素块41以及与从作为2×2个光学滤光片221(其是重复单位)的CF 301中透过的各种光(光的各种类型)对应的四个阈值设定单元231

因此,图20中的像素阵列单元211的这些构造可以与图13的情况一样。

然而,阈值设定单元231

图21是用于说明在采用拜耳阵列的CF 301

像素块41包括与拜耳阵列的CF 301

在图21中,检测到R像素51

以此方式,像素块41包括了与拜耳阵列的CF 301

也就是说,为了在采用拜耳阵列的CF 301

因此,在例如检测到R像素51

通过将像素块41设置成具有与重复单位对应的像素51

顺便提及,在采用拜耳阵列的CF 301

<通过设定事件阈值Vth(k)来调节增益>

图22是用于说明通过设定事件阈值Vth(k)来调节(实质地调节)事件检测单元52

例如,现在假设R像素51

在采用拜耳阵列的CF 301

也就是说,接收红色移动体的轮廓部分的光的R像素51

因此,在不能针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4)以致于事件阈值Vth(1)至Vth(4)被固定为预定的特定值的情况下,如图22的左侧所示,针对所有的接收红色移动体的轮廓部分的光的R像素51

以此方式,在R像素51

另一方面,在能够针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4)的情况下,例如如图22的右侧所示,将事件阈值Vth(1)设定为预定的默认值,并且将事件阈值Vth(2)至Vth(4)设定为大于默认值的值。结果,针对接收红色移动体的轮廓部分的光的R像素51

因此,通过针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4),可以实质地调节像素51的对于特定颜色的光的灵敏度,并且可以调节对特定颜色的光的事件(与特定光对应的像素信号的变化)进行检测的事件检测单元52的增益。

例如,如上所述,将事件阈值Vth(1)设定为预定的默认值,并且将事件阈值Vth(2)至Vth(4)设定为大于默认值的值。结果,针对接收红色移动体的轮廓部分的光的R像素51

因此,在将传感器芯片200应用于对物体的检测的情况下,当预先识别出作为除了待检测的检测对象以外的物体的非检测对象的颜色时,将用于对非检测对象的颜色的光的事件进行检测的事件阈值设定为较大的值,这就可以抑制当对非检测对象进行摄像时把不必要的噪声作为事件检测出来。

另一方面,当预先识别出检测对象的颜色时,将用于对检测对象的颜色的光的事件进行检测的事件阈值设定为较小的值,那么当对检测对象进行摄像时就能够容易地检测事件。

图23是用于说明通过设定事件阈值Vth(k)来调节事件检测单元52

例如,现在假设R像素51

在这种情况下,当采用拜耳阵列的CF 301

也就是说,接收红色移动体的轮廓部分的光的R像素51

例如,在Gr像素51

因此,在不能针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4)以致于事件阈值Vth(1)至Vth(4)被固定为预定的特定值的情况下,如图23的左侧所示,针对接收绿色移动体的轮廓部分的光的Gb像素51

以此方式,在R像素51

另一方面,例如,在能够针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4)的情况下,如图23的右侧所示,将事件阈值Vth(2)和Vth(3)设定为预定的默认值,并且将事件阈值Vth(1)和Vth(4)设定为小于默认值的值。结果,针对具有高灵敏度的Gb像素51

因此,通过针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4),可以实质地调节像素51的对特定颜色的光的灵敏度,并且可以调节对特定颜色的光的事件进行检测的事件检测单元52的增益。

以此方式,通过针对R光、Gr光、Gb光和B光各者而分别设定事件阈值Vth(1)至Vth(4)来调节事件检测单元52的增益,可以灵活地检测事件。

例如,在传感器芯片200中,可以容易地实施(增强)(促进)对预定颜色的光的变化的事件检测。此外,可以通过抑制由于背景的轻微移动等而导致的意外事件(假事件)的检测或者可以通过促进对于特定颜色的检测对象的运动所引起的事件的检测,来提高检测对象的检测率。

此外,在像素51的灵敏度针对诸如R、G和B的光等具有不同波长的各种光而有所不同的情况下,可以将事件阈值Vth(1)至Vth(4)设定成使得针对各种波长的光以相同的光量进行事件检测,并且关于事件检测,可以补偿接收各种波长的光的像素51的灵敏度。

顺便提及,尽管在本实施例中像素块41包括与重复单位对应的2×2个像素51,但是像素块41可以包括接收相同类型的光(例如,相同颜色的光)的多个像素51。在这种情况下,在像素块41中,事件检测单元52不必如图13等所示的那样针对各个像素51而分别设置着,而是可以如图3所示的那样,像素块41中的多个像素51共用一个事件检测单元52。这是因为,在像素块41包括接收相同类型的光的多个像素51的情况下,用来对多个像素51进行事件检测的事件阈值是相同的。

此外,在像素块41中,像素块41中的多个像素51

此外,在本实施例中,将Gr光和Gb光视为不同类型的光,并且单独地设定用于检测Gr光的事件的事件阈值Vth(2)和用于检测Gb光的事件的事件阈值Vth(3)。然而,可以将Gr光和Gb光视为相同类型的光(G光),并且可以将事件阈值Vth(2)和事件阈值Vth(3)设定为相同的值。在这种情况下,可以将用于设定事件阈值Vth(2)的阈值设定单元231

图24是分别示出了CF 301的阵列的示例的图。

CF 301的阵列的示例包括图24的A、图24的B和图24的C所示的阵列。顺便提及,在图24中,R表示让R光透过的CF 301,G、Gr和Gb表示让G光透过的CF 301,并且B表示让B光透过的CF 301。

图24的A表示以2×2形式作为重复单位的拜耳阵列。

图24的B表示以6×6形式作为重复单位的阵列。图23中的B的阵列可以用在例如Fujifilm公司(Fujifilm Corporation)的图像传感器X-Trans CMOS中。

图24的C表示以4×4形式作为重复单位的四方(quadra)阵列。

像素块41可以包括与这些各种各样类型的阵列中的CF 301的重复单位对应的像素51。

图25是示出了让预定颜色的光透过的透过机构的示例的图。

让预定颜色的光透过的透过机构的示例,除了可以是CF 301以外,可以包括如下的层结构:该层结构中,将光电转换元件61布置在由B层、G层和R层构成的三层中,并且B层、G层和R层分别接收B光、G光和R光。

在将层结构用作透过机构的情况下,一个像素就可以再现R、G和B的颜色。可以针对R光、G光和B光各者来分别设定相应的事件阈值。

用作透过机构的层结构可以用在例如Foveon公司(Foveon,Inc.)的图像传感器Foveon X3中。可以认为,用作透过机构的层结构可以是以1×1形式作为重复单位的CF。

<在采用偏振滤光片331

图26是示出了在采用偏振滤光片331

顺便提及,在图26中,与图12的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图26中,采用偏振滤光片331

偏振滤光片331

在下文中,在不必区分偏振滤光片331

关于偏振滤光片331,将按2×2形式布置的偏振滤光片331

<像素阵列单元211的构造示例>

图27是示出了在采用偏振滤光片331

顺便提及,在图27中,与图13的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

像素阵列单元211包括多个像素块41以及与从作为2×2个光学滤光片221(其是重复单位)的偏振滤光片331中透过的各种光(光的各种类型)对应的四个阈值设定单元231

因此,图27中的像素阵列单元211的这些构造与图13的情况一样。

然而,阈值设定单元231

以此方式,即使在针对由像素51接收的各个偏振光(偏振光的各个偏振方向)而分别设定事件阈值Vth(1)至Vth(4)的情况下,也可以调节事件检测单元52的增益从而灵活地检测事件。

<量子化单元84的另一构造示例>

图28是示出了图15中的量子化单元84的另一构造示例的框图。

顺便提及,在图28中,与图16的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图28中,量子化单元84包括比较器111和112。

因此,图28的量子化单元84与图16的情况的相同之处在于,量子化单元84包括比较器111。然而,图28的量子化单元84与图16的情况的不同之处在于,量子化单元84另外还包括比较器112。

在含有图28的量子化单元84的事件检测单元52

也就是说,在将量子化单元84按图28所示构造而成的情况下,阈值设定单元231

在图28的量子化单元84中,比较器111将来自减法单元83的差信号与来自阈值设定单元231

与量子化单元84的量子化值(H)对应地,在差信号Vout大于事件阈值Vth(k)(H)的情况下,传输单元85(图15)将用于表示发生了具有正极性的事件的事件数据(例如,H电平的脉冲)输出到输出单元35。

此外,与量子化单元84的量子化值(L)对应地,在差信号Vout小于事件阈值Vth(k)(L)的情况下,传输单元85将用于表示发生了具有负极性的事件的事件数据(例如,L电平的脉冲)输出到输出单元35。

顺便提及,可以通过例如如图28所示的如下方式来构成比较器111:把PMOS FET121的漏极和NMOS FET 122的漏极连接起来,PMOS FET 121的源极与电源VDD连接,NMOSFET 122的源极是接地的。在这种情况下,可以将差信号供应到FET 121的栅极,并且可以将事件阈值Vth(k)(H)供应到FET 122的栅极。在FET 121的漏极和FET 122的漏极的连接点处的电压可以作为量子化值(H)而被输出。

类似地,可以通过例如如图28所示的如下方式来构成比较器112:把PMOS FET 131的漏极和NMOS FET 132的漏极连接起来,PMOS FET 131的源极与电源VDD连接,NMOS FET132的源极是接地的。在这种情况下,可以将差信号供应到FET 131的栅极,并且可以将事件阈值Vth(k)(L)供应到FET 132的栅极。在FET 131的漏极和FET 132的漏极的连接点处的电压可以作为量子化值(L)而被输出。

图29是分别示出了由阈值设定单元231

图29的A表示将事件阈值Vth(k)(H)设定为阈值VH0并且将事件阈值Vth(k)(L)设定为阈值VL0的情况。

图29的B表示将事件阈值Vth(k)(H)设定为阈值VH1(<VH0)并且将事件阈值Vth(k)(L)设定为阈值VL1(>VL0)的情况。

例如,在阈值设定单元231

此外,例如,在阈值设定单元231

如图29的A所示,在将事件阈值Vth(k)(H)和Vth(k)(L)分别设定为阈值VH0和VL0的情况下,当差信号变得小于阈值VL0时(当差信号以让亮度变亮的方式发生变化时),量子化值(L)从L电平改变为H电平,并且当差信号变得大于阈值VH0时(当差信号以让亮度变暗的方式发生变化时),量子化值(H)从H电平改变为L电平。此外,在经过预定时段之后,将量子化值(L)和量子化值(H)复位为原始电平。

如图29的B所示,在将事件阈值Vth(k)(H)和Vth(k)(L)分别设定为阈值VH1和VL1的情况下,当差信号变得小于阈值VL1时,量子化值(L)从L电平改变为H电平,并且当差信号变得大于阈值VH1时,量子化值(H)从H电平改变为L电平。此外,在经过预定时段之后,将量子化值(L)和量子化值(H)复位为原始电平。

例如,在VH1=VH0/2且VL0=VL1/2的情况下,当事件阈值Vth(k)(H)和Vth(k)(L)分别被设定为阈值VH1和VL1时的事件检测单元52

<事件检测单元52

图30是示出了图13和图14的事件检测单元52

顺便提及,在图30中,与图15的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图30中,事件检测单元52

因此,图30中的事件检测单元52

然而,在图30中,阈值设定单元231

减法单元83输出以来自阈值设定单元231

图31是示出了图30的减法单元83中所包括的运算放大器102的构造示例的电路图。

也就是说,减法单元83包括如图7所示的电容器101、运算放大器102、电容器103和开关104。图31示出了由此构造而成的减法单元83的运算放大器102的构造示例。

在图31中,通过如下方式来构成运算放大器102:把PMOS FET 371的漏极和NMOSFET 372的漏极连接起来,PMOS FET 371的源极与电源VDD连接,NMOS FET 372的源极是接地的。在这种情况下,FET 371的栅极是运算放大器102的输入端子,并且FET 371的漏极和FET 372的漏极的连接点是运算放大器102的输出端子。

由阈值设定单元231

因此,由于通过改变基准电压而使得差信号偏移,因此,基于基准电压的设定,能够得到与设定事件阈值Vth(k)的情况同样的有益效果。也就是说,可以实质地调节事件检测单元52

顺便提及,尽管在图31中运算放大器102是通过把PMOS FET 371的漏极和NMOSFET 372的漏极连接起来而构成的,但是运算放大器102可以用晶体管的差分对来构成。在运算放大器102用晶体管的差分对来构成的情况下,可以将光电压经由电容器101供应到运算放大器102的反转输入端子,并且可以将来自阈值设定单元231

上面已经说明了包括作为增益调节机构222的一个示例的阈值设定单元231

<包括增益调节机构222的另一示例的像素阵列单元211>

图32是示出了包括增益调节机构222的另一示例的像素阵列单元211的构造示例的框图。

顺便提及,在图32中,与图13的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图32中,像素阵列单元211包括多个像素块41。例如,像素块41包括:多个像素51

因此,图32的像素阵列单元211与图13的情况的相同之处在于,像素阵列单元211包括多个像素块41,并且像素块41包括像素51

然而,图32的像素阵列单元211与图13的情况的不同之处在于,像素阵列单元211不包括阈值设定单元231

与事件检测单元52

<起到增益调节机构222的功能的事件检测单元401

图33是示出了起到增益调节机构222的功能的事件检测单元401

顺便提及,在图33中,与图5的事件检测单元52中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图33中,事件检测单元401

因此,图33的事件检测单元401

图34是示出了图33中的电流电压转换单元411的构造示例的电路图。

顺便提及,在图34中,与图6中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

电流电压转换单元411包括晶体管91至93、晶体管421和422以及开关423、424和425。

因此,图34的电流电压转换单元411与图6的电流电压转换单元81的相同之处在于,电流电压转换单元411包括晶体管91至93。然而,电流电压转换单元411与电流电压转换单元81的不同之处在于,电流电压转换单元411另外还包括晶体管421和422以及开关423至425。

与晶体管91和93类似地,晶体管421和422可以采用例如N型MOS FET。

晶体管421的漏极连接至晶体管91的源极,并且晶体管421的栅极经由开关426连接至晶体管93的漏极。晶体管421的源极连接至晶体管93的栅极,并且来自像素51的光电流被供应到晶体管421的源极与晶体管93的栅极的连接点。

晶体管422的漏极连接至晶体管91的栅极与晶体管92的漏极的连接点,并且晶体管422的栅极经由开关425连接至晶体管91的源极与晶体管421的漏极的连接点。晶体管422的源极连接至晶体管93的漏极。

开关423连接至晶体管421的漏极和源极,以接通/断开晶体管421的漏极与源极之间的连接。

开关424连接至晶体管422的漏极和源极,以接通/断开晶体管422的漏极与源极之间的连接。

开关425的一端连接至晶体管91的源极与晶体管421的漏极的连接点,并且另一端连接至晶体管422的栅极,以例如接通/断开晶体管91的源极与晶体管421的漏极的连接点和晶体管422的栅极之间的连接。

开关426的一端连接至晶体管421的栅极,并且另一端连接至晶体管93的漏极与晶体管422的源极的连接点,以例如接通/断开晶体管421的栅极和晶体管93的漏极与晶体管422的源极的连接点之间的连接。

在以此方式构造而成的电流电压转换单元411中,将供应到晶体管93的栅极与晶体管421的源极的连接点的光电流转换为与该光电流的对数对应的光电压。此外,该光电压从晶体管91的栅极与晶体管422的漏极的连接点输出。

图35示出了分别用于说明由图34的电流电压转换单元411执行的对事件检测单元401

在电流电压转换单元411中在接通或断开开关423和424的情况下,断开或接通开关425和426,以调节事件检测单元401

图35的A示出了在接通开关423和424并且断开开关425和426的情况下的电流电压转换单元411的实质电路构造。

图35的B示出了在断开开关423和424并且接通开关425和426的情况下的电流电压转换单元411的实质电路构造。

在接通开关423和424并且断开开关425和426的情况下,在电流电压转换单元411中,晶体管91和421不形成级联连接,并且晶体管93和422不形成级联连接。如图35的A所示,该构造与图6的电流电压转换单元81一样。

在断开开关423和424并且接通开关425和426的情况下,在电流电压转换单元411中,如图35的B所示,晶体管91和421形成级联连接,并且晶体管93和422形成级联连接。

例如,如果晶体管91和93以及晶体管421和422是具有相同规格的FET,则将在断开开关423和424并且接通开关425和426的情况下(图35的B)的事件检测单元401

以此方式,电流电压转换单元411的电路构造在晶体管们形成级联连接的构造(图35的B)和晶体管们不形成级联连接的构造(非级联连接的构造)(图35的A)之间切换。该电路构造的切换是针对从作为透过机构的光学滤光片221

顺便提及,尽管这里晶体管们形成两级的级联连接,但是晶体管们的级联连接可以包括三级或更多级。

<起到增益调节机构222的功能的事件检测单元401

图36是示出了起到增益调节机构222的功能的事件检测单元401

顺便提及,在图36中,与图5的事件检测单元52中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图36中,事件检测单元401

因此,图36中的事件检测单元401

图37是示出了图36中的减法单元431的构造示例的电路图。

顺便提及,在图37中,与图7中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

减法单元431包括运算放大器102、开关104以及可变电容440和450。

因此,减法单元431与图7的减法单元83的相同之处在于,减法单元431包括运算放大器102和开关104。然而,减法单元431与减法单元83的不同之处在于,减法单元431包括可变电容440来代替电容器101,并且包括可变电容450来代替电容器103。

可变电容440具有可变的电容,并且例如可以包括电容器441和442以及开关443。

假设C1表示电容器441和442各者的电容,则在断开开关443的情况下,可变电容440的电容为C1,而在接通开关443的情况下,可变电容440的电容为2×C1。

将在接通开关443的情况下的事件检测单元401

可变电容450具有可变的电容,并且例如可以包括电容器451和452以及开关453。

假设C2表示电容器451和452各者的电容,则在断开开关453的情况下,可变电容450的电容为C2,而在接通开关453的情况下,可变电容450的电容为2×C2。

将在接通开关453的情况下的事件检测单元401

在减法单元431中,可以基于可变电容440(第一电容)与可变电容450(第二电容)的电容比来调节事件检测单元401

以此方式,事件检测单元401

此外,在像素51的灵敏度针对诸如R、G和B的光等拥有不同波长的各种光而有所不同的情况下,可以调节事件检测单元401

<能够对增益进行细调和粗调的像素阵列单元211>

图38是示出了能够对增益进行细调和粗调的像素阵列单元211的构造示例的框图。

顺便提及,在图38中,与图13的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图38中,像素阵列单元211包括多个像素块41和阈值设定单元231

因此,图38的像素阵列单元211与图13的情况的相同之处在于,像素阵列单元211包括多个像素块41,并且像素块41包括像素51

然而,图38的像素阵列单元211与图13的情况的不同之处在于,像素块41包括事件检测单元501

与事件检测单元52

在图38的像素阵列单元211中,阈值设定单元231

图39是示出了图38的事件检测单元501

顺便提及,在图39中,与图15、图33和图36的情况中相对应的部分被赋予有相同的附图标记,并且将适当地省略它们的说明。

在图39中,事件检测单元501

因此,事件检测单元501

针对从作为透过机构的光学滤光片221

图40是用于说明事件检测单元501

根据通过切换电流电压转换单元411的电路构造而执行的电流电压转换单元411的增益的调节以及根据通过改变减法单元431中的可变电容440和可变电容450的电容比而执行的减法单元431的增益的调节,可以执行用于粗略地调节事件检测单元501

根据通过阈值设定单元231

电流电压转换单元411的增益的调节和减法单元431的增益的调节中的一者或两者可以与量子化单元84的增益的调节相组合,以调节事件检测单元501

图41是用于说明事件检测单元501

可以通过调节电流电压转换单元411、减法单元431和量子化单元84中的一者以上的块的增益来调节事件检测单元501

例如,可以将电流电压转换单元411的增益调节为2倍,可以将减法单元431的增益调节为2倍,并且可以将量子化单元84的增益调节为1.1倍,从而将事件检测单元501

根据电流电压转换单元411和减法单元431的增益的调节,可以如图40所说明的那样,执行用于粗略地调节事件检测单元501

电流电压转换单元411的增益是由电流电压转换单元411中所包括的晶体管91至93、421和422(图34)的特性决定的,因此存在工艺差异性。另外,难以高精度地调节电流电压转换单元411的增益。

减法单元431的增益是由可变电容440和450(图37)的电容比决定的,并且可以被调节为例如默认增益的2倍或1/2倍。可变电容440和450是针对各个像素51

在例如阈值设定单元231

此外,在针对从作为透过机构的光学滤光片221

在例如0.5倍至2.5倍范围内的对事件检测单元501

然而,在通过将量子化单元84的增益的细调与电流电压转换单元411和减法单元431的增益的粗调相组合来代替仅执行量子化单元84的增益的细调、由此来调节事件检测单元501

顺便提及,量子化单元84的增益的细调可以被用来校准电流电压转换单元411和减法单元431的增益的由于工艺差异性而引起的差异。例如,如果在将电流电压转换单元411的增益设计为2倍的情况下,电流电压转换单元411的实际增益由于工艺差异性而变为1.8倍,则可以将量子化单元84的增益设定为1.1倍,从而在整体上而言将增益校准为2(≈1.8×1.1)倍。

图42是示出了照明的光谱和CF 301

照明的光谱根据照明的种类而有所不同,并且照明所发出的光的各种波长的强度也有所不同。另外,假设采用CF 301

在同步型图像传感器中,通过白平衡来调节照明所发出的光的各种波长的强度差别以及像素51

在作为非同步型传感器的传感器芯片200(图10)中,事件检测单元501

像素51

根据图42中的照明的光谱和CF 301

因此,可以将同步型图像传感器中的白平衡调节应用于接收R光、G光和B光的像素51

图43是示出了接收R光、G光和B光的像素51

在图43中,假设接收R光的像素51

在这种情况下,例如,在将用于对接收R光的像素51

顺便提及,传感器芯片200可以不包括光学滤光片221

例如,在对预定的被摄体进行检测的情况下,当可以预测被摄体的位置时,可以调节事件检测单元52

另外,事件检测单元52

<移动体的应用例>

根据本发明的技术(本技术)可以应用于各种各样的产品。例如,根据本发明的技术可以被实现为安装在如下任何类型的移动体上的装置,所述移动体例如是汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人出行设备、飞机、无人机、船舶和机器人等。

图44是示出了车辆控制系统的示意性构造的示例的框图,该车辆控制系统是可以应用根据本发明实施例的技术的移动体控制系统的一个示例。

车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图44所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。另外,作为综合控制单元12050的功能构造,图示了微型计算机12051、声音/图像输出部12052和车载网络接口(I/F:interface)12053。

驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如,驱动系统控制单元12010起到以下设备的控制装置的作用,这些设备例如是:诸如内燃机或驱动电机等用于产生车辆驱动力的驱动力产生装置;用于将驱动力传递至车轮的驱动力传递机构;用于调节车辆转向角的转向机构;和用于产生车辆制动力的制动装置等。

车身系统控制单元12020根据各种程序来控制安装在车体上的各种设备的操作。例如,车身系统控制单元12020起到以下设备的控制装置的作用,这些设备例如是:无钥匙进入系统;智能钥匙系统;电动窗装置;或者诸如车头灯、车尾灯、刹车灯、转向灯或雾灯等各种灯。在这种情况下,从替代钥匙的便携式设备发送的无线电波或各种开关的信号能够被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号,并且控制车辆的门锁装置、电动窗装置或灯等。

车外信息检测单元12030用于检测配备有车辆控制系统12000的车辆的外部的信息。例如,车外信息检测单元12030与摄像部12031连接。车外信息检测单元12030致使摄像部12031拍摄车辆外部的图像并且接收所拍摄的图像。基于所接收到的图像,车外信息检测单元12030可以对诸如人、车辆、障碍物、标志或路面上的文字等执行物体检测处理或者距离检测处理。

摄像部12031是这样的光学传感器:其接收光并且输出与所接收的光的光量对应的电气信号。摄像部12031能够将电气信号作为图像而输出,或者能够将电气信号作为测距信息而输出。另外,摄像部12031接收的光可以是可见光,或者可以是诸如红外线等非可见光。

车内信息检测单元12040检测车辆内部的信息。例如,车内信息检测单元12040与用于检测驾驶员的状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括用于对驾驶员进行摄像的相机。基于从驾驶员状态检测部12041输入的检测信息,车内信息检测单元12040可以计算出驾驶员的疲劳程度或驾驶员的专注程度,或者可以判断驾驶员是否正在打瞌睡。

基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆外部或内部的信息,微型计算机12051能够计算驱动力产生装置、转向机构或制动装置的控制目标值,并且将控制指令输出到驱动系统控制单元12010。例如,微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS:Advanced Driver Assistance System)的功能的协同控制,该ADAS的功能包括车辆的碰撞规避或冲击缓和、基于车间距离的跟车行驶、车速维持行驶、车辆碰撞警告或车辆偏离车道警告等。

另外,基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆外部或内部的信息,微型计算机12051能够通过控制驱动力产生装置、转向机构或制动装置等,来执行旨在实现让车辆而不依赖于驾驶员的操作就能自主行驶的自动驾驶等的协同控制。

另外,基于由车外信息检测单元12030获得的车辆外部的信息,微型计算机12051能够将控制指令输出到车身系统控制单元12020。例如,通过例如根据由车外信息检测单元12030检测到的前车或对向车辆的位置来控制车头灯使其从远光切换为近光,微型计算机12051能够执行旨在防止眩光的协同控制。

声音/图像输出部12052将声音和图像中至少一者的输出信号发送到如下的输出装置:该输出装置能够以视觉或听觉的方式将信息通知给车辆内的乘员或车辆的外部。在图44的示例中,作为输出装置,图示了音频扬声器12061、显示部12062和仪表面板12063。例如,显示部12062可以包括板载显示器和平视显示器中的至少一者。

图45是示出了摄像部12031的安装位置的示例的图。

在图45中,车辆12100包括作为摄像部12031的摄像部12101、12102、12103、12104和12105。

摄像部12101、12102、12103、12104和12105例如被设置在车辆12100的前鼻、侧视镜、后保险杠和后备箱门以及车厢内挡风玻璃的上部等各个位置处。设置在前鼻处的摄像部12101和设置在车厢内挡风玻璃的上部处的摄像部12105主要获得车辆12100前方的图像。设置在侧视镜处的摄像部12102和12103主要获得车辆12100侧方的图像。设置在后保险杠或后备箱门处的摄像部12104主要获得车辆12100后方的图像。由摄像部12101和摄像部12105获得的前方图像主要用于检测前车、行人、障碍物、交通信号灯、交通标志或车道等。

顺便提及,图45示出了摄像部12101至12104的摄影范围的示例。摄像范围12111表示设置在前鼻处的摄像部12101的摄像范围。摄像范围12112和12113分别表示设置在侧视镜处的摄像部12102和12103的摄像范围。摄像范围12114表示设置在后保险杠或后备箱门处的摄像部12104的摄像范围。例如,通过将摄像部12101至12104所拍摄的图像数据叠加,获得了车辆12100的从上方观察的俯瞰图像。

摄像部12101至12104中的至少一者可以具有获得距离信息的功能。例如,摄像部12101至12104中的至少一者可以是由多个摄像元件构成的立体相机,或者可以是具有用于相位差检测的像素的摄像元件。

例如,基于从摄像部12101至12104获得的距离信息,微型计算机12051能够求出与摄像范围12111至12114内的各个立体物相距的距离以及该距离的时间变化(相对于车辆12100的相对速度),由此提取如下的立体物作为前车:该立体物特别地是在车辆12100的行驶路径上离得最近的,并且该立体物在与车辆12100大致相同的方向上以预定速度(例如,等于或大于0km/h)行驶。此外,微型计算机12051能够设定在前方要预先确保的与前车的车间距离,并且能够执行自动制动控制(包括跟随停止控制)或自动加速控制(包括跟随启动控制)等。因此,可以执行旨在让车辆不依赖于驾驶员的操作就能自主行驶的自动驾驶等的协同控制。

例如,基于从摄像部12101至12104获得的距离信息,微型计算机12051能够将关于立体物的立体物数据分类为两轮车、普通车辆、大型车辆、行人、电线杆和其他立体物的立体物数据,对分类后的立体物数据进行提取,并且利用所提取的立体物数据来自动规避障碍物。例如,微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够从视觉上察觉到的障碍物和车辆12100的驾驶员难以从视觉上察觉到的障碍物。然后,微型计算机12051判断用于表示与各个障碍物发生碰撞的危险度的碰撞风险。在碰撞风险等于或高于设定值并因此存在碰撞可能性的情况下,微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报,并且经由驱动系统控制单元12010执行强制减速或规避转向。由此,微型计算机12051能够实现用于规避碰撞的辅助驾驶。

摄像部12101至12104中的至少一者可以是用于检测红外线的红外相机。例如,微型计算机12051能够通过判定在摄像部12101至12104的所拍摄图像中是否存在行人来识别行人。这种行人识别例如是通过如下的过程来执行的:从作为红外相机的摄像部12101至12104的所拍摄图像中提取特征点的过程;以及通过对表示物体轮廓的一系列特征点执行图案匹配处理来判断是否为行人的过程。当微型计算机12051判定了在摄像部12101至12104的所拍摄图像中存在行人并因此识别出行人时,声音/图像输出部12052就控制显示部12062使其在所识别出的行人上以叠加的方式显示出用于强调的矩形轮廓线。声音/图像输出部12052还可以控制显示部12062使其在所期望的位置处显示出表示行人的图标等。

上面已经说明了可以应用根据本发明的技术的车辆控制系统的示例。根据本发明的技术可以适用于例如上面所说明的构造之中的摄像部12031。具体地,图10的传感器芯片200可以适用于摄像部12031。通过将根据本发明的技术应用于摄像部12031,可以灵活地检测事件,并且通过检测事件而获得的事件数据的数据处理可以适当地辅助驾驶。

顺便提及,本技术的实施例不限于上述实施例,并且在不脱离本技术要旨的范围内,可以进行各种改变。

另外,本说明书中所记载的有益效果仅是说明性的,并且是不受限制的。可能还会存在其他有益效果。

顺便提及,本技术可以具有如下的实施方案。

[1]一种传感器,其包括:

像素,所述像素接收光并且执行光电转换以生成电气信号;

事件检测单元,所述事件检测单元进行事件检测,所述事件是所述像素的所述电气信号的变化;以及

增益调节机构,所述增益调节机构针对各个所述像素来调节所述事件检测单元的增益。

[2]根据[1]所述的传感器,其还包括:

透过机构,所述透过机构让预定光透过,

其中,所述像素接收从所述透过机构中透过的所述预定光,并且

所述增益调节机构针对由所述透过机构透过的所述预定光的各种类型来调节所述事件检测单元的增益。

[3]根据[2]所述的传感器,其中

所述增益调节机构包括阈值设定单元,所述阈值设定单元针对由所述像素接收的所述预定光的各种类型来设定在检测所述事件时使用的阈值。

[4]根据[3]所述的传感器,其中

所述透过机构是彩色滤光片。

[5]根据[4]所述的传感器,其中

所述阈值设定单元针对由所述像素接收的且由所述彩色滤光片透过的光的各种颜色来设定所述阈值。

[6]根据[3]所述的传感器,其中

所述透过机构是偏振滤光片。

[7]根据[6]所述的传感器,其中

所述阈值设定单元针对由所述像素接收的且由所述偏振滤光片透过的光的各个偏振方向来设定所述阈值。

[8]根据[1]或[2]所述的传感器,其中

所述事件检测单元包括电流电压转换单元,所述电流电压转换单元将所述像素的光电流转换为与所述光电流对应的电压,

所述事件检测单元把所述电压的超过预定阈值的变化作为所述事件检测出来,并且

所述电流电压转换单元被配置成作为所述增益调节机构,所述电流电压转换单元能够在晶体管们形成级联连接的构造和晶体管们不形成级联连接的构造之间进行电路构造的切换。

[9]根据[1]或[2]所述的传感器,其中

所述事件检测单元包括减法单元,所述减法单元包括第一电容和第二电容,且所述减法单元求出对应于各电压之间的差的差信号,所述各电压是与所述像素的光电流对应的电压在不同时刻处的各电压,并且

所述减法单元被配置成作为所述增益调节机构,所述减法单元能够变更所述第一电容和所述第二电容的电容比。

[10]根据[1]或[2]所述的传感器,其中

所述增益调节机构执行粗调和细调,所述粗调用于粗略地调节所述事件检测单元的增益,所述细调用于精细地调节所述事件检测单元的增益。

[11]根据[10]所述的传感器,其中

所述事件检测单元包括:

电流电压转换单元,所述电流电压转换单元将所述像素的光电流转换为与所述光电流对应的电压;和

减法单元,所述减法单元包括第一电容和第二电容,且所述减法单元求出与不同时刻处的各所述电压之间的差对应的差信号,

所述事件检测单元将所述差信号和阈值进行比较以检测所述事件,

所述电流电压转换单元和所述减法单元之中的一者或两者以及阈值设定单元被配置成作为所述增益调节机构,其中

所述电流电压转换单元能够在晶体管们形成级联连接的构造和晶体管们不形成级联连接的构造之间进行电路构造的切换,所述减法单元能够变更所述第一电容和所述第二电容的电容比,

所述阈值设定单元用于设定所述阈值,

所述增益调节机构基于所述电流电压转换单元的所述电路构造的所述切换和所述减法单元中的所述电容比的所述变更之中的一者或两者来执行所述粗调,并且

所述增益调节机构基于由所述阈值设定单元执行的对所述阈值的所述设定来执行所述细调。

[12]根据[2]至[11]中任一项所述的传感器,其中

所述透过机构是彩色滤光片,并且

根据对被摄体进行摄像的环境,所述增益调节机构针对由所述像素接收的且由所述彩色滤光片透过的光的各种颜色来调节所述事件检测单元的增益。

[13]根据[1]至[12]中任一项所述的传感器,其还包括:

像素信号生成单元,所述像素信号生成单元生成与检测到所述事件的所述像素的光电流对应的电压的信号,该信号作为像素信号。

[14]一种控制方法,其包括:

针对各个像素来调节传感器的事件检测单元的增益的步骤,

所述传感器包括:

接收光并且执行光电转换以生成电气信号的所述像素;以及

进行事件检测的所述事件检测单元,所述事件是所述像素的所述电气信号的变化。

附图标记列表

10:传感器芯片

11:传感器裸片

12:逻辑裸片

21:传感器单元

22:逻辑单元

31:像素阵列单元

32:驱动单元

33:仲裁器

34:AD(模数)转换单元

35:输出单元

41:像素块

51、51

52、52

53:像素信号生成单元

60:节点

61:光电转换元件

62、63:传输晶体管

71:复位晶体管

72:放大晶体管

73:选择晶体管

74:FD(浮动扩散)部

81:电流电压转换单元

82:缓冲器

83:减法单元

84:量子化单元

85:传输单元

91至93:晶体管

101:电容器

102:运算放大器

103:电容器

104:开关

111、112:比较器

200:传感器芯片

201:传感器单元

211:像素阵列单元

221

222:增益调节机构

231

250:DA(数模)转换器

251:梯型电路

252:运算放大器

260:DA(数模)转换器

261:FET(场效应晶体管)

262:电流源

263:FET(场效应晶体管)

264:电阻器

301

331

371、372:FET(场效应晶体管)

401

411:电流电压转换单元

421、422:晶体管

423至426:开关

431:减法单元

441、442:电容器

443:开关

501

相关技术
  • 传感器网络系统、传感器网络控制方法、传感器节点、传感器节点控制方法以及传感器节点控制程序
  • 电力变换装置、电力变换装置的控制方法、无旋转传感器控制装置以及无旋转传感器控制装置的控制方法
技术分类

06120112852535