掌桥专利:专业的专利平台
掌桥专利
首页

像素数据处理方法及图像传感器

文献发布时间:2023-06-19 18:29:06


像素数据处理方法及图像传感器

技术领域

本公开涉及图像处理技术领域,特别涉及一种像素数据处理方法及图像传感器。

背景技术

随着图像传感器技术的发展,为了达到更高清晰度的效果,单幅图像像素Pixel数量越来越多,当图像像素Pixel数量增加到一定程度,在一定程度上限制了帧速率的提升,也限制了图像像素Pixel数据的处理效率的提升。

发明内容

本公开提供一种像素数据处理方法及图像传感器。

第一方面,本公开提供了一种像素数据处理方法,应用于图像传感器,该像素数据处理方法包括:

在图像传感器的任一帧图像的曝光阶段,将该帧图像的每个像素的像素数据存储至对应的信号存储单元;

在该帧图像的数据读出阶段,将该帧图像的每个指定像素组的像素数据进行像素合并binning处理,所述指定像素组包括至少一组对应相同颜色的多个像素。

第二方面,本公开提供了一种图像传感器,该图像传感器包括像素阵列,所述像素阵列包括多个像素,每个奇数行的每一列像素对应的颜色相同,每个偶数行的每一列像素对应的颜色相同,所述多个像素被划分为多个所述指定像素组,所述指定像素组包括至少一组对应相同颜色的多个像素;

所述像素包括:

光电变换单元,用于在图像传感器的任一帧图像的曝光阶段,将该帧图像的所述像素的像素数据输出至信号存储单元;

信号存储单元,用于存储该帧图像的所述像素的像素数据;

输出单元,用于在该帧图像的数据读出阶段,将对应的信号存储单元中存储的该帧图像的所述像素的像素数据进行输出;

所述图像传感器还包括信号合并单元,所述信号合并单元用于在该帧图像的数据读出阶段,将所述指定像素组的像素数据进行像素合并binning处理。

根据本公开实施例提供的像素数据处理方法及图像传感器的技术方案,在图像传感器内部进行像素曝光和读出时,将图像像素的像素数据进行像素合并binning处理后再进行输出,一方面,可以在确保图像清晰度的情况下有效提升图像传感器的帧速率,提升像素数据的处理效率,有利于实现图像传感器的高速摄像,另一方面,可以减少输出的像素数据的数据量,以节省像素数据对应的数字信号的存储资源,减少用于存储像素数据对应的数字信号的存储器单元面积,减少像素数据对应的数字信号的处理运算量,以应对日益增长的芯片小型化需求。

应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用来提供对本公开的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其他特征和优点对本领域技术人员将变得更加显而易见,在附图中:

图1为本公开实施例提供的一种像素数据处理方法的流程示意图;

图2为一种图像传感器的像素阵列中指定像素组的划分方式示意图;

图3为本公开实施例中步骤S12的一种具体实施方式的流程示意图;

图4为本公开实施例中步骤S32的一种具体实施方式的流程示意图;

图5为一种列级单斜式ADC的结构示意图;

图6为一种列级单斜式ADC的工作波形示意图;

图7为另一种列级单斜式ADC的工作波形示意图;

图8为另一种图像传感器的像素阵列中指定像素组的划分方式示意图;

图9为一种像素合并binning处理后一帧图像的像素数据读出方式的示意图;

图10为另一种图像传感器的像素阵列中指定像素组的划分方式示意图;

图11为另一种像素合并binning处理后一帧图像的像素数据读出方式的示意图;

图12为另一种图像传感器的像素阵列中指定像素组的划分方式示意图;

图13为另一种像素合并binning处理后一帧图像的像素数据读出方式的示意图;

图14为本公开实施例提供的一种图像传感器中像素的电路结构示意图;

图15为本公开实施例提供的另一种图像传感器中像素的电路结构示意图;

图16为本公开实施例提供的另一种图像传感器中像素的电路结构示意图;

图17为本公开实施例提供的另一种图像传感器中像素的电路结构示意图;

图18为本公开实施例提供的一种图像传感器中像素的电路时序示意图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案,以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

在不冲突的情况下,本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。

除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。

在相关技术中,为了缓解清晰度和帧率之间的矛盾,发展出像素合并binning模式的像素数据处理方式,常用的binning方式是在图像传感器采集像素数据并输出数字信号后通过数字处理方式实现,即通过外部存储器,如静态随机存取存储器(SRAM),存储图像的多行像素pixel信号的数字码值,然后对像素信号的数字码值进行像素数据合并处理。但由于存储像素信号的数字码值需要消耗较多的SRAM存储单元面积,在像素阵列越来越大的发展背景下,面积和成本问题会越来突出,并且对于手机等便携式可穿戴设备,内部空间狭小,面积会制约芯片设计的发展。

为有效解决上述相关技术中存在的问题,本公开实施例提供了一种像素数据处理方法及图像传感器。

图1为本公开实施例提供的一种像素数据处理方法的流程示意图。

本公开实施例提供了一种像素数据处理方法,该像素数据处理方法可以应用于图像传感器,图像传感器包括由阵列排布的多个像素构成的像素阵列,例如像素阵列包括N行M列像素,N、M均为正整数,也即图像传感器采集的任一帧图像由阵列排布的多个像素构成,其中每个奇数行的每一列像素对应的颜色相同,每个偶数行的每一列像素对应的颜色相同,多个像素被划分为多个指定像素组,其中每个像素包括信号存储单元,信号存储单元用于存储对应像素的像素数据,如图1所示,该像素数据处理方法包括:

步骤S11、在图像传感器的任一帧图像的曝光阶段,将该帧图像的每个像素的像素数据存储至对应的信号存储单元。

步骤S12、在该帧图像的数据读出阶段,将该帧图像的每个指定像素组的像素数据进行像素合并binning处理,每一指定像素组包括至少一组对应相同颜色的多个像素。

根据本公开实施例的像素数据处理方法的技术方案,在图像传感器内部进行像素曝光和读出时,将图像像素的像素数据进行像素合并binning处理后再进行输出,一方面,可以在确保图像清晰度的情况下有效提升图像传感器的帧速率,提升像素数据的处理效率,有利于实现图像传感器的高速摄像,另一方面,可以减少输出的像素数据的数据量,以节省像素数据对应的数字信号的存储资源,减少用于存储像素数据对应的数字信号的存储器单元面积,减少像素数据对应的数字信号的处理运算量,以应对日益增长的芯片小型化需求。

在一些实施例中,图像传感器基于全局快门(global shutter)曝光方式采集图像信息,图像信息包括图像像素的像素数据。

在一些实施例中,在任意一帧图像像素的曝光阶段中,在将该帧图像的每个像素的像素数据存储至对应的信号存储单元之前,还包括:基于全局快门的曝光方式对该帧图像像素进行曝光处理。其中,在基于全局快门的曝光方式下,该帧图像的全部图像像素同时曝光。

在一些实施例中,该帧图像的数据读出阶段位于该帧图像的后一帧图像的曝光阶段。在该实施例中,在第1帧图像像素的曝光阶段中,基于全局快门的曝光方式对该第1帧图像像素进行曝光处理,并将该第1帧图像的每个像素的像素数据存储至对应的信号存储单元;而后,进入下一帧工作;在第n(n≥2)帧图像像素的曝光阶段中,基于全局快门的曝光方式对该第n帧图像像素进行曝光处理,同时进入第n-1帧图像的数据读出阶段,将该第n-1帧图像的每个指定像素组的像素数据进行像素合并binning处理和读出。

在该实施例中,区别于传统的全局快门曝光方式,在对第n-1帧图像像素进行曝光之后将该第n-1帧图像的每个指定像素组的像素数据进行像素合并binning处理和读出的同时,对第n帧图像像素进行曝光,即,第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行,因此,第n帧的工作时间可根据第n帧的曝光时间和第n-1帧的像素数据的读出时间中的最大值确定,即第n帧的工作时间Row_time=max{第n帧的曝光时间,第n-1帧的像素数据的读出时间},而传统的全局快门曝光方式下,第n帧的工作时间Row_time=第n帧的曝光时间+第n帧的像素数据的读出时间。可见,相较于传统的全局快门曝光方式,该实施例能够有效减少图像传感器中每一帧的工作时间,有利于提升图像传感器的帧率,有利于实现图像传感器的高速摄像。

在一些实施例中,像素数据包括像素复位电压(pixel V

在一些实施例中,在步骤S11中,将该帧图像的每个像素的像素数据存储至对应的信号存储单元,包括:将该帧图像的每个像素的像素复位电压存储至对应的信号存储单元中的第一存储电容;以及,将该帧图像的每个像素的像素曝光电压存储至对应的信号存储单元中的第二存储电容。

在一些实施例中,为了实现第n帧的曝光过程和第n-1帧的像素数据的读出过程同时并行进行,以减少每一帧的工作时间,在每帧图像像素的曝光阶段中,当该帧图像为第1帧图像时,在对该帧图像像素进行曝光处理之后,先将该帧图像像素的像素数据存储至对应的存储电容,以便于在下一帧图像像素的曝光阶段,将该帧图像像素的像素数据进行binning处理和读出。当该帧图像为第n帧图像时,在对该帧图像像素进行曝光处理的同时,将第n-1帧图像像素的像素数据进行binning处理和读出,而后再将该帧图像像素的像素数据存储至对应的存储电容。

具体而言,在第1帧图像像素的曝光阶段中,对第1帧图像像素进行曝光处理,并将第1帧图像的每个像素的像素复位电压存储至对应的第一存储电容,以及将第1帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第二存储电容;在第n帧图像像素的曝光阶段中,在对第n帧图像像素进行曝光处理的同时,从每行像素中每个像素对应的第一存储电容和第二存储电容中读出第n-1帧图像像素的像素数据,之后将第n帧图像的每个像素的像素复位电压存储至对应的第一存储电容,以及将第n帧图像的每个像素曝光后产生的像素曝光电压存储至对应的第二存储电容。即,第n-1帧图像像素的像素数据的读出在第n帧图像像素的像素数据的存储之前进行,从而有效防止第n-1帧图像像素的像素数据对第n帧图像像素的像素数据的存储造成影响。

在一些实施例中,每相邻两个奇数行像素构成一个指定像素组,且每相邻两个偶数行像素构成一个指定像素组。图2为一种图像传感器的像素阵列中指定像素组的划分方式示意图,示例性的,如图2所示,延列方向相邻的第一行像素R1和第三行像素R3构成一个指定像素组,延列方向相邻的第二行像素R2和第四行像素R4构成一个指定像素组,依此类推,可将像素阵列划分为多个指定像素组。其中,在每个指定像素组的两行像素中,对应位于同一列的像素所对应的像素颜色相同,对应位于奇数列的像素所对应的像素颜色相同,对应位于偶数列的像素所对应的像素颜色相同。例如,在第一行像素R1和第三行像素R3构成的指定像素组中,对应位于第一列C1的像素的像素颜色均为蓝色B,对应位于第二列C2的像素的像素颜色均为绿色G;在第二行像素R2和第四行像素R4构成的指定像素组中,对应位于第一列C1的像素的像素颜色均为绿色G,对应位于第二列C2的像素的像素颜色均为红色R。

在一些实施例中,在每相邻两个奇数行像素构成一个指定像素组,且每相邻两个偶数行像素构成一个指定像素组的情况下,在任一帧的像素数据的读出过程中,依次读出该帧图像的每个指定像素组的像素数据,并将该帧图像的每个指定像素组的像素数据进行像素合并binning处理。例如,如图2所示,在任一帧的像素数据的读出过程中,延列方向从上至下,首先,从第一行像素R1和第三行像素R3的信号存储单元中,读出第一行像素R1和第三行像素R3构成的指定像素组中每行像素的像素数据,并将第一行像素R1和第三行像素R3的像素数据进行像素合并binning处理;然后,从第二行像素R2和第四行像素R4的信号存储单元中,读出第二行像素R2和第四行像素R4构成的指定像素组中每行像素的像素数据,并将第二行像素R2和第四行像素R4的像素数据进行像素合并binning处理;依次类推,依次对每个指定像素组进行像素数据读出和像素合并binning处理。

图3为本公开实施例中步骤S12的一种具体实施方式的流程示意图,在一些实施例中,如图3所示,在每相邻两个奇数行像素构成一个指定像素组,且每相邻两个偶数行像素构成一个指定像素组的情况下,在步骤S12中,将该帧图像的每个指定像素组的像素数据进行像素合并binning处理,可以进一步包括:

步骤S31、针对每个指定像素组,将指定像素组中每行像素中每个像素的像素复位电压和像素曝光电压读出并进行差分处理,得到指定像素组中每行像素中每个像素的像素差分数据。

以图2所示第一行像素R1和第三行像素R3构成的指定像素组为例,将该指定像素组中第一行像素R1中每个像素的像素复位电压和像素曝光电压读出并进行差分处理,得到该指定像素组中第一行像素R1中每个像素的像素差分数据,以及,将该指定像素组中第三行像素R3中每个像素的像素复位电压和像素曝光电压读出并进行差分处理,得到该指定像素组中第三行像素R3中每个像素的像素差分数据。其中,像素的像素差分数据为像素的像素复位电压和像素曝光电压的差值。

步骤S32、根据指定像素组中每行像素的像素差分数据和每行像素对应的预设斜坡参考信号的差异情况,对每行像素的像素差分数据进行量化,得到每行像素对应的量化数据。

在一些实施例中,通过列级单斜式ADC,根据指定像素组中每行像素的像素差分数据和每行像素对应的预设斜坡参考信号的差异情况,对每行像素的像素差分数据进行量化,得到每行像素对应的量化数据,由此实现对每行像素的像素差分数据的模数转换。

其中,每个指定像素组中一行像素对应的预设斜坡参考信号的斜率为1/k1,另一行像素对应的预设斜坡信号的斜率为1/k2,k1为预设的每个指定像素组中一行像素对应的权重值,k2为预设的每个指定像素组中另一行像素对应的权重值,0

步骤S33、将指定像素组中两行像素对应的量化数据进行像素合并。

图4为本公开实施例中步骤S32的一种具体实施方式的流程示意图,在一些实施例中,如图4所示,在步骤S32中,根据指定像素组中每行像素的像素差分数据和每行像素对应的预设斜坡参考信号的差异情况,对每行像素的像素差分数据进行量化,得到每行像素对应的量化数据,可以进一步包括:

步骤S41、通过列级单斜式ADC的比较器检测指定像素组中每行像素的像素差分数据和每行像素对应的预设斜坡参考信号的差异情况。

图5为一种列级单斜式ADC的结构示意图,如图5所示,列级单斜式ADC(模数转换器)包括比较器和计数器,其中,比较器具有两个输入端,其中第一输入端用于输入每行像素对应的预设斜坡参考信号,第二输入端用于输入每行像素的像素差分数据,比较器的输出端与计数器连接。

在步骤S41中,将指定像素组中每行像素的像素差分数据依次输入比较器的第二输入端,同时将指定像素组中每行像素对应的对应的预设斜坡参考信号依次输入比较器的第一输入端,比较器将每行像素对应的预设斜坡参考信号和对应的像素差分数据进行比较,并根据差异情况向计数器输出相应信号,其中比较器的输出信号可以表征斜坡参考信号和对应的像素差分数据的差异情况,例如,当斜坡参考信号大于像素差分数据时,比较器输出高电平信号,当斜坡参考信号等于或小于像素差分数据时,比较器输出低电平信号。

其中,预设斜坡参考信号可以通过预设的数模转换器(DAC)生成,数模转换器(DAC)可以依次输出对应指定像素组中不同行像素所对应的不同斜率的斜坡参考信号。

步骤S42、同时通过列级单斜式ADC的计数器根据差异情况进行计数,以将每行像素的像素差分数据量化为计数器的计数数据。

步骤S43、当比较器发生翻转时,计数器停止计数,得到每行像素对应的计数数据,量化数据包括计数数据。

如图5所示,计数器可以根据比较器的输出信号进行计数,例如,当比较器的输出信号从下降沿(低电平)变为上升沿(高电平)时,计数器开始进行计数,当比较器的输出信号从上升沿(高电平)变为下降沿(低电平)时,比较器发生翻转,计数器停止计数。计数器的输出信号可以表示为脉冲信号,脉冲数量可以用于表示计数值,从而将每行像素的像素差分数据量化为计数器的计数数据,得到每行像素对应的计数数据,量化数据包括计数数据。

在步骤S33中,将指定像素组中两行像素对应的量化数据进行像素合并,可以进一步包括:通过计数器将指定像素组中两行像素对应的计数数据进行累加。

将输入指定像素组中两行像素的像素差分数据连续输入列级单斜式ADC的比较器后,比较器连续输出相应信号,计数器根据比较器的输出信号进行计数,直至比较器停止输出信号,最终输出的计数结果为指定像素组中两行像素对应的计数数据的累加值,最终输出的计数结果可以存入锁存器中。而后,进行下一个指定像素组的像素数据的读出、差分处理和量化。

图6为一种列级单斜式ADC的工作波形示意图,如图6所示,以图2所示第一行至第四行像素R1-R4为例,在未划分指定像素组进行像素合并binning处理,且每一行像素对应的斜坡参考信号的斜率为1的情况下,通过列级单斜式ADC的计数器对第一行像素R1的像素差分数据进行量化得到的计数值为NUM1,对第二行像素R2的像素差分数据进行量化得到的计数值为NUM2,对第三行像素R3的像素差分数据进行量化得到的计数值为NUM3,对第四行像素R4的像素差分数据进行量化得到的计数值为NUM4。

图7为另一种列级单斜式ADC的工作波形示意图,如图7所示,在划分指定像素组进行像素合并binning处理,且指定像素组中一行像素对应的斜坡参考信号的斜率为1/k1,另一行像素对应的斜坡参考信号的斜率为1/k2的情况下,第一行像素R1被分配的权重值为k1(0

同理,第二行像素R2被分配的权重值为k1(0

在列级单斜式ADC中,斜坡参考信号的斜率*计数时间=待量化的信号大小,待量化的信号即为输入的像素差分数据,而计数时间即为计数值,所以相同的待量化的信号在通过不同斜坡参考信号进行量化的情况下,计数值和斜坡参考信号的斜率成反比。为了便于说明上述通过列级单斜式ADC对指定像素组中两行像素进行像素合并binning的原理,以通过斜率为1的斜坡参考信号对每行像素的像素差分数据进行量化得到的计数值作为基准计数值,当对指定像素组中两行像素分配不同的权重值k1和k2,并使得用于量化该两行像素的像素差分数据的斜坡参考信号的斜率分别配置为1/k1和1/k2时,则通过对应的斜坡参考信号对指定像素组中任一行像素的像素差分数据进行量化得到的计数值,即为通过斜率为1的斜坡参考信号对该行像素的像素差分数据进行量化得到的基准计数值与该行像素被分配的权重值的乘积,将指定像素组中两行像素对应的计数值进行累加,即相当于对指定像素组中两行像素的像素数据进行量化和加权平均,从而达到像素合并binning效果。

该实施例中,基于不同斜率的斜坡参考信号的方式,实现了在图像传感器内部进行像素曝光和读出时,将图像像素的像素数据进行像素合并binning处理后再进行输出,一方面,可以在确保图像清晰度的情况下有效提升图像传感器的帧速率,提升像素数据的处理效率,有利于实现图像传感器的高速摄像,另一方面,可以减少输出的像素数据的数据量,以节省像素数据对应的数字信号的存储资源,减少用于存储像素数据对应的数字信号的存储器单元面积,减少像素数据对应的数字信号的处理运算量,以应对日益增长的芯片小型化需求。

在一些实施例中,在任一帧的像素数据的读出过程中,在从每行像素中每个像素对应的第一存储电容和第二存储电容中读出该帧像素的像素数据之前,先将该帧图像的每个指定像素组的像素数据进行像素合并binning处理,再进行读出,读出的该帧像素的像素数据为经像素合并binning处理后的像素数据。

在该实施例中,每相邻两个奇数行像素中位于每一列的像素构成一个指定像素组,且每相邻两个偶数行像素中位于每一列的像素构成一个指定像素组;或者,每相邻两个奇数列像素中位于每一行的像素构成一个指定像素组,且每相邻两个偶数列像素中位于每一行的像素构成一个指定像素组;或者,每相邻两个奇数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个奇数行像素中每相邻两个偶数列的像素构成一个指定像素组,并且,每相邻两个偶数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个偶数行像素中每相邻两个偶数列的像素构成一个指定像素组。

在该实施例中,在步骤S12中,将该帧图像的每个指定像素组的像素数据进行像素合并binning处理的步骤,可以进一步包括:将该帧图像的每个指定像素组的像素复位电压进行binning处理;以及,将该帧图像的每个指定像素组的像素曝光电压进行binning处理。

图8为另一种图像传感器的像素阵列中指定像素组的划分方式示意图,示例性的,如图8所示,延列方向相邻的第一行像素R1和第三行像素R3中每一列像素构成一个指定像素组,延列方向相邻的第二行像素R2和第四行像素R4中每一列像素构成一个指定像素组,延列方向相邻的第五行像素R5和第七行像素R7中每一列像素构成一个指定像素组,延列方向相邻的第六行像素R6和第八行像素R8中每一列像素构成一个指定像素组。例如在第一行像素R1和第三行像素R3中,对应位于第一列C1的两个像素构成一个指定像素组,对应位于第二列C2的两个像素构成一个指定像素组,对应位于第三列C3的两个像素构成一个指定像素组,依此类推,将第一行像素R1和第三行像素R3划分为多个指定像素组,同理,可将第二行像素R2和第四行像素R4划分为多个指定像素组,将第五行像素R5和第七行像素R7划分为多个指定像素组,将第六行像素R6和第八行像素R8划分为多个指定像素组。其中,在每个指定像素组中两个像素对应的颜色相同,例如,在第一行R1第一列C1的像素和第三行R3第一列C1的像素构成的指定像素组中,该两个像素的像素颜色均为蓝色B;在第一行R1第二列C2的像素和第三行R3第二列C2的像素构成的指定像素组中,该两个像素的像素颜色均为绿色G;在第二行R2第一列C1的像素和第四行R4第一列C1的像素构成的指定像素组中,该两个像素的像素颜色均为绿色G,在第二行R2第二列C2的像素和第四行R4第二列C2的像素构成的指定像素组中,该两个像素的像素颜色均为红色R。

在每相邻两个奇数行像素中位于每一列的像素构成一个指定像素组,且每相邻两个偶数行像素中位于每一列的像素构成一个指定像素组的情况下,在步骤S12中,在任一帧的像素数据的读出过程中,在从每行像素中每个像素对应的第一存储电容和第二存储电容中读出该帧像素的像素数据之前,针对该帧图像的每个指定像素组,将构成该指定像素组的两个像素的像素复位电压进行像素合并binning处理,以及,将构成该指定像素组的两个像素的像素曝光电压进行像素合并binning处理,而后进行该帧像素像素数据读出,读出的该帧像素的像素数据为经像素合并binning处理后的像素数据。例如,如图8所示,图8中箭头表示像素合并binning处理,在任一帧的像素数据的读出过程中,针对第一行像素R1和第三行像素R3,将第一行像素R1和第三行像素R3中每一列像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第一行像素R1和第三行像素R3中每一列像素构成的指定像素组的像素曝光电压进行像素合并binning处理;同时,针对第二行像素R2和第四行像素R4,将第二行像素R2和第四行像素R4中每一列像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第二行像素R2和第四行像素R4中每一列像素构成的指定像素组的像素曝光电压进行像素合并binning处理;依次类推,同时对每个指定像素组进行像素合并binning处理。

在一些实施例中,将每相邻两个奇数行像素中位于每一列的像素的像素数据进行像素合并binning,将每相邻两个偶数行像素中位于每一列的像素的像素数据进行像素合并binning,即,将隔行相同列像素构成的指定像素组的像素数据进行平均,以将指定像素组的像素数据合并成一个像素的像素数据进行读出。对于每个指定像素组,假设该指定像素组中,一个像素的像素复位电压为V

图9为一种像素合并binning处理后一帧图像的像素数据读出方式的示意图,在一些实施例中,如图9所示,在通过上述隔行相同列像素合并的方式,对任一帧图像中每个指定像素组的像素数据进行像素合并binning处理完成后,等待逐行读出像素数据,在读出时,对于每相邻两个奇数行像素,可以仅读出其中一行像素的像素数据,对于每相邻两个偶数行像素,也可以仅读出其中一行像素的像素数据,如此,读出的该帧图像的像素数据中行数将缩减为原来的一半,而列数则保持不变。例如,如图9所示,在通过上述隔行相同列像素合并方式,对任一帧图像中每个指定像素组的像素数据进行像素合并binning处理完成后,在进行像素数据读出时,逐像素行依次读出第一行像素R1的像素数据、第二行像素R2的像素数据、第五行像素R5的像素数据和第六行像素R6的像素数据。

图10为另一种图像传感器的像素阵列中指定像素组的划分方式示意图,示例性的,如图10所示,延行方向相邻的第一列像素C1和第三列像素C3中每一行像素构成一个指定像素组,延行方向相邻的第二列像素C2和第四列像素C4中每一行像素构成一个指定像素组,延行方向相邻的第五列像素C5和第七列像素C7中每一行像素构成一个指定像素组,延行方向相邻的第六列像素C6和第八列像素C8中每一行像素构成一个指定像素组。例如在第一列像素C1和第三列像素C3中,对应位于第一行R1的两个像素构成一个指定像素组,对应位于第二行R2的两个像素构成一个指定像素组,对应位于第三行R3的两个像素构成一个指定像素组,依此类推,将第一列像素C1和第三列像素C3划分为多个指定像素组,同理,可将第二列像素C2和第四列像素C4划分为多个指定像素组,将第五列像素C5和第七列像素C7划分为多个指定像素组,将第六列像素C6和第八列像素C8划分为多个指定像素组。其中,在每个指定像素组中两个像素对应的颜色相同,例如,在第一列C1第一行R1的像素和第三列C3第一行R1的像素构成的指定像素组中,该两个像素的像素颜色均为蓝色B;在第二列C2第一行R1的像素和第四列C4第一行R1的像素构成的指定像素组中,该两个像素的像素颜色均为绿色G;在第一列C1第二行R2的像素和第三列C3第二行R2的像素构成的指定像素组中,该两个像素的像素颜色均为绿色G,在第二列C2第二行R2的像素和第四列C4第二行R2的像素构成的指定像素组中,该两个像素的像素颜色均为红色R。

在每相邻两个奇数列像素中位于每一行的像素构成一个指定像素组,且每相邻两个偶数列像素中位于每一行的像素构成一个指定像素组的情况下,在步骤S12中,在任一帧的像素数据的读出过程中,在从每行像素中每个像素对应的第一存储电容和第二存储电容中读出该帧像素的像素数据之前,针对该帧图像的每个指定像素组,将构成该指定像素组的两个像素的像素复位电压进行像素合并binning处理,以及,将构成该指定像素组的两个像素的像素曝光电压进行像素合并binning处理,而后进行该帧像素像素数据读出,读出的该帧像素的像素数据为经像素合并binning处理后的像素数据。例如,如图10所示,图10中箭头表示像素合并binning处理,在任一帧的像素数据的读出过程中,针对第一列像素C1和第三列像素C3,将第一列像素C1和第三列像素C3中每一行像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第一列像素C1和第三列像素C3中每一行像素构成的指定像素组的像素曝光电压进行像素合并binning处理;同时,针对第二列像素C2和第四列像素C4,将第二列像素C2和第四列像素C4中每一行像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第二列像素C2和第四列像素C4中每一行像素构成的指定像素组的像素曝光电压进行像素合并binning处理;依次类推,同时对每个指定像素组进行像素合并binning处理。

在一些实施例中,将每相邻两个奇数列像素中位于每一行的像素的像素数据进行像素合并binning,将每相邻两个偶数列像素中位于每一行的像素的像素数据进行像素合并binning,即,将隔列相同行像素构成的指定像素组的像素数据进行平均,以将指定像素组的像素数据合并成一个像素的像素数据进行读出。对于每个指定像素组,假设该指定像素组中,一个像素的像素复位电压为V

图11为另一种像素合并binning处理后一帧图像的像素数据读出方式的示意图,在一些实施例中,如图11所示,在通过上述隔列相同行像素合并的方式,对任一帧图像中每个指定像素组的像素数据进行像素合并binning处理完成后,等待逐行读出像素数据,在逐行读出时,对于每相邻两个奇数列像素,可以仅读出其中一列像素的像素数据,对于每相邻两个偶数列像素,也可以仅读出其中一列像素的像素数据,如此,读出的该帧图像的像素数据中列数将缩减为原来的一半,而行数则保持不变。例如,如图11所示,在通过上述隔列相同行像素合并方式,对任一帧图像中每个指定像素组的像素数据进行像素合并binning处理完成后,在逐行进行像素数据读出时,读出第一列像素C1的像素数据、第二列像素C2的像素数据、第列行像素C5的像素数据和第六列像素C6的像素数据。

图12为另一种图像传感器的像素阵列中指定像素组的划分方式示意图,示例性的,如图12所示,延列方向相邻的第一行像素R1和第三行像素R3中每相邻两个奇数列的像素构成一个指定像素组,延列方向相邻的第一行像素R1和第三行像素R3中每相邻两个偶数列的像素构成一个指定像素组,延列方向相邻的第二行像素R2和第四行像素R4中每相邻奇数列的像素构成一个指定像素组,延列方向相邻的第二行像素R2和第四行像素R4中每相邻偶数列的像素构成一个指定像素组,延列方向相邻的第五行像素R5和第七行像素R7中每相邻奇数列的像素构成一个指定像素组,延列方向相邻的第五行像素R5和第七行像素R7中每相邻偶数列的像素构成一个指定像素组,延列方向相邻的第六行像素R6和第八行像素R8中每相邻奇数列的像素构成一个指定像素组,延列方向相邻的第六行像素R6和第八行像素R8中每相邻偶数列的像素构成一个指定像素组。例如,在第一行像素R1和第三行像素R3中,对应位于第一列C1和第三列C3的四个像素构成一个指定像素组,对应位于第二列C2和第四列C4的四个像素构成一个指定像素组,依此类推,将第一行像素R1和第三行像素R3划分为多个指定像素组,同理,可将第二行像素R2和第四行像素R4划分为多个指定像素组,将第五行像素R5和第七行像素R7划分为多个指定像素组,将第六行像素R6和第八行像素R8划分为多个指定像素组。其中,在每个指定像素组中四个像素对应的颜色相同,例如,在第一行像素R1和第三行像素R3中第一列C1和第三列C3的像素构成的指定像素组中,该四个像素的像素颜色均为蓝色B;在第一行像素R1和第三行像素R3中第二列C2和第四列C4的像素构成的指定像素组中,该四个像素的像素颜色均为绿色G;在第二行像素R2和第四行像素R4中第一列C1和第三列C3的像素构成的指定像素组中,该四个像素的像素颜色均为绿色G,在第二行像素R2和第四行像素R4中第二列C2和第四列C4的像素构成的指定像素组中,该四个像素的像素颜色均为红色R。

在每相邻两个奇数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个奇数行像素中每相邻两个偶数列的像素构成一个指定像素组,并且,每相邻两个偶数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个偶数行像素中每相邻两个偶数列的像素构成一个指定像素组的情况下,在步骤S12中,在任一帧的像素数据的读出过程中,在从每行像素中每个像素对应的第一存储电容和第二存储电容中读出该帧像素的像素数据之前,针对该帧图像的每个指定像素组,将构成该指定像素组的两个像素的像素复位电压进行像素合并binning处理,以及,将构成该指定像素组的两个像素的像素曝光电压进行像素合并binning处理,而后进行该帧像素像素数据读出,读出的该帧像素的像素数据为经像素合并binning处理后的像素数据。例如,如图12所示,图12中箭头表示像素合并binning处理,在任一帧的像素数据的读出过程中,针对第一行像素R1和第三行像素R3,将第一行像素R1和第三行像素R3中每相邻两个奇数列像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第一行像素R1和第三行像素R3中每相邻两个奇数列像素构成的指定像素组的像素曝光电压进行像素合并binning处理;同时,将第一行像素R1和第三行像素R3中每相邻两个偶数列像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第一行像素R1和第三行像素R3中每相邻两个偶数列像素构成的指定像素组的像素曝光电压进行像素合并binning处理;同时,针对第二行像素R2和第四行像素R4,将第二行像素R2和第四行像素R4中每相邻两个奇数列像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第二行像素R2和第四行像素R4中每相邻两个奇数列像素构成的指定像素组的像素曝光电压进行像素合并binning处理;同时将第二行像素R2和第四行像素R4中每相邻两个偶数列像素构成的指定像素组的像素复位电压进行像素合并binning处理,以及将第二行像素R2和第四行像素R4中每相邻两个偶数列像素构成的指定像素组的像素曝光电压进行像素合并binning处理;依次类推,同时对每个指定像素组进行像素合并binning处理。

在一些实施例中,将每相邻两个奇数行像素中位于每相邻两个奇数列的像素的像素数据进行像素合并binning,将每相邻两个奇数行像素中位于每相邻两个偶数列的像素的像素数据进行像素合并binning,将每相邻两个偶数行像素中位于每相邻两个奇数列的像素的像素数据进行像素合并binning,将每相邻两个偶数行像素中位于每相邻两个偶数列的像素的像素数据进行像素合并binning,即,将隔行隔列同种颜色像素构成的指定像素组的像素数据进行平均,以将指定像素组的像素数据合并成一个像素的像素数据进行读出。对于每个指定像素组,假设该指定像素组中,四个像素的像素复位电压分别为V

图13为另一种像素合并binning处理后一帧图像的像素数据读出方式的示意图,在一些实施例中,如图13所示,在通过上述隔行隔列同种颜色像素合并的方式,对任一帧图像中每个指定像素组的像素数据进行像素合并binning处理完成后,等待逐行读出像素数据,在读出时,对于每相邻两个奇数行中每相邻两个奇数列像素,可以仅读出其中一个奇数行的一个奇数列像素的像素数据,对于每相邻两个奇数行中每相邻两个偶数列像素,可以仅读出其中一个奇数行的一个偶数列像素的像素数据,对于每相邻两个偶数行中每相邻两个奇数列像素,可以仅读出其中一个偶数行的一个奇数列像素的像素数据,对于每相邻两个偶数行中每相邻两个偶数列像素,可以仅读出其中一个偶数行的一个偶数列像素的像素数据,如此,读出的该帧图像的像素数据中行数和列数均将缩减为原来的一半,读出的该帧图像的像素数据的数量缩减为原来的1/4。例如,如图13所示,在通过上述隔行隔列相同颜色像素合并方式,对任一帧图像中每个指定像素组的像素数据进行像素合并binning处理完成后,在进行像素数据读出时,读出第一行像素R1中第一列C1像素、第二列C2像素、第五列C5像素、第六列C6像素的像素数据、第二行像素R2中第一列C1像素、第二列C2像素、第五列C5像素、第六列C6像素的像素数据、第五行像素R5中第一列C1像素、第二列C2像素、第五列C5像素、第六列C6像素的像素数据、第六行像素R6中第一列C1像素、第二列C2像素、第五列C5像素、第六列C6像素的像素数据。

图14为本公开实施例提供的一种图像传感器中像素的电路结构示意图。

在本公开实施例中,图像传感器包括由多个像素构成的像素阵列,如像素阵列由N行M列像素构成,N、M均为正整数,图14示出一列像素的第N-1行像素和第N行像素的电路结构,如图14所示,图像传感器中的每个像素包括:光电变换单元101,用于在曝光时产生像素数据,像素数据包括像素复位电压和像素曝光电压,并将该像素数据输出至对应的信号存储单元102;信号存储单元102,用于存储光电变换单元101输出的像素数据;输出单元103,用于将信号存储单元102存储的像素数据输出至传输单元104;传输单元104,用于传输像素数据。

进一步地,如图14所示,在每个像素中,光电变换单元101包括:光电二极管D0、传输晶体管T01、复位晶体管T02、源极跟随晶体管T03和偏置控制晶体管T04。

其中,光电二极管D0的一端接地GND,另一端连接传输晶体管T01的第二极;传输晶体管T01的控制极连接传输控制信号TG0,传输晶体管T01的第一极连接至浮动节点FD0;复位晶体管T02的第一极连接高电平电压VDD,第二极连接至浮动节点FD0,控制极连接复位控制信号RST0;源极跟随晶体管T03的第一极连接高电平电压VDD,第二极连接至输出节点P0,控制极连接至浮动节点FD0;偏置控制晶体管T04的第一极连接至输出节点P0,第二极接地GND,控制极连接偏置控制信号BIAS0。

信号存储单元102包括复位电压存储单元和曝光电压存储单元,复位电压存储单元包括复位电压存储控制晶体管T05和第一存储电容C01,曝光电压存储单元包括曝光电压存储控制晶体管T08和第二存储电容C02。

其中,复位电压存储控制晶体管T05的第二极(输出端)连接至输出节点P0,第一极(输入端)连接第一存储电容C01的第一端,控制极连接复位电压存储控制信号GSSR0;第一存储电容C01的第二端接地GND。

曝光电压存储控制晶体管T08的第二极(输出端)连接至输出节点P0,第一极(输入端)连接第二存储电容C02的第一端,控制极连接曝光电压存储控制信号GSSS0;第二存储电容C02的第二端接地GND。

传输单元104包括复位电压传输线R和曝光电压传输线S,复位电压传输线R用于传输像素复位电压V

输出单元103包括复位电压输出单元和曝光电压输出单元,复位电压输出单元包括第一输出控制晶体管T06和第二输出控制晶体管T07,曝光电压输出单元包括第三输出控制晶体管T09和第四输出控制晶体管T10。

其中,第一输出控制晶体管T06的第一极连接高电平电压VDD,第二极与第二输出控制晶体管T07的第一极连接,控制极连接第一存储电容C01的第一端;第二输出控制晶体管T07的第二极连接复位电压传输线R,控制极连接行选通读出信号GSEL

第三输出控制晶体管T09的第一极连接高电平电压VDD,第二极与第四输出控制晶体管T10的第一极连接,控制极连接第二存储电容C02的第一端;第四输出控制晶体管T10的第二极连接曝光电压传输线S,控制极连接行选通读出信号GSEL,N为像素阵列的行数。

在一些实施例中,每一列像素均对应设置有一列传输单元104,即每一列像素均对应设置有一复位电压传输线R和一曝光电压传输线S,每列复位电压传输线R与所在列中每个像素连接,每列曝光电压传输线S与所在列中每个像素连接。

在本公开实施例中,图像传感器还包括信号合并单元,信号合并单元用于将指定像素组的像素数据进行像素合并binning处理。

在一些实施例中,信号合并单元用于在输出单元103输出像素数据之后,将指定像素组的像素数据进行像素合并binning处理。此种情况下,每相邻两个奇数行像素构成一个指定像素组,且每相邻两个偶数行像素构成一个指定像素组,信号合并单元可以包括差分单元和列级单斜式ADC,列级单斜式ADC包括比较器和计数器。其中,差分单元用于将指定像素组中每行像素中每个像素的像素复位电压和像素曝光电压进行差分处理,得到指定像素组中每行像素中每个像素的像素差分数据;比较器用于检测指定像素组中每行像素的像素差分数据和每行像素对应的预设斜坡参考信号的差异情况;计数器用于:当根据比较器检测的差异情况进行计数,以将指定像素组中每行像素的像素差分数据量化为计数器的计数数据;当比较器发生翻转时,计数器停止计数,得到每行像素对应的计数数据;将指定像素组中两行像素对应的计数数据进行累加。其中,每一列像素可以对应设置一个差分单元,以对该列像素中每一行像素的像素复位电压和像素曝光电压的差值进行采样,并输出至列级单斜式ADC。

关于列级单斜式ADC的具体相关描述可参见上述对列级单斜式ADC的相关描述,此处不再赘述。

在一些实施例中,信号合并单元用于在输出单元103输出像素数据之前,将指定像素组的像素数据进行像素合并binning处理。

图15为本公开实施例提供的另一种图像传感器中像素的电路结构示意图。

在一些实施例中,每相邻两个奇数行像素中位于每一列的像素构成一个指定像素组,且每相邻两个偶数行像素中位于每一列的像素构成一个指定像素组;每个指定像素组对应配置一个信号合并单元,信号合并单元设置于每个指定像素组的两个像素之间。如图15所示,以第i行像素和第j行像素的任一列像素构成的指定像素组为例,其中i、j∈N,且j=i+2,信号合并单元BIN1包括第一信号合并晶体管Tr1和第二信号合并晶体管Ts1。

其中,第一信号合并晶体管Tr1的输入端(第一极)与指定像素组中一个像素的第一存储电容C01的第二端连接,第一信号合并晶体管Tr1的输出端(第二极)与指定像素组中另一个像素的第一存储电容C01的第二端连接,第一信号合并晶体管Tr1的控制极连接第一合并控制信号R1;第二信号合并晶体管Ts1的输入端(第一极)与指定像素组中一个像素的第二存储电容C02的第二端连接,第二信号合并晶体管Ts1的输出端(第二极)与指定像素组中另一个像素的第二存储电容C02的第二端连接,第二信号合并晶体管Ts1的控制极连接第二合并控制信号S1。

图16为本公开实施例提供的另一种图像传感器中像素的电路结构示意图。

在一些实施例中,每相邻两个奇数列像素中位于每一行的像素构成一个指定像素组,且每相邻两个偶数列像素中位于每一行的像素构成一个所述指定像素组;每个指定像素组对应配置一个信号合并单元,信号合并单元设置于每个指定像素组的两个像素之间。如图16所示,以第K列像素和第L列像素的任一行像素构成的指定像素组为例,其中K、L∈M,且L=K+2,信号合并单元BIN2包括第一信号合并晶体管Tr2和第二信号合并晶体管Ts2。

其中,第一信号合并晶体管Tr2的输入端(第一极)与指定像素组中一个像素的第一存储电容C01的第二端连接,第一信号合并晶体管Tr2的输出端(第二极)与指定像素组中另一个像素的第一存储电容C01的第二端连接,第一信号合并晶体管Tr1的控制极连接第三合并控制信号R2;第二信号合并晶体管Ts2的输入端(第一极)与指定像素组中一个像素的第二存储电容C02的第二端连接,第二信号合并晶体管Ts2的输出端(第二极)与指定像素组中另一个像素的第二存储电容C02的第二端连接,第二信号合并晶体管Ts2的控制极连接第四合并控制信号S2。

图17为本公开实施例提供的另一种图像传感器中像素的电路结构示意图。

在一些实施例中,每相邻两个奇数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个奇数行像素中每相邻两个偶数列的像素构成一个指定像素组;并且,每相邻两个偶数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个偶数行像素中每相邻两个偶数列的像素构成一个指定像素组;每个指定像素组对应配置一个信号合并单元。

如图17所示,以第i行像素和第j行像素中第K列像素和第L列像素构成的指定像素组为例,其中i、j∈N,且j=i+2,K、L∈M,且L=K+2,信号合并单元包括信号合并单元包括第一信号合并单元和第二信号合并单元,第一信号合并单元包括第三信号合并晶体管Tr3、第五信号合并晶体管Tr4和第七信号合并晶体管Tr5,第二信号合并单元包括第四信号合并晶体管Ts3、第六信号合并晶体管Ts4和第八信号合并晶体管Ts5;

其中,指定像素组中第K列像素的第一存储电容C01的第二端通过第三信号合并晶体管Tr3连接,指定像素组中第L列像素的第一存储电容C01的第二端通过第七信号合并晶体管Tr5连接。例如,第三信号合并晶体管Tr3的第一极连接指定像素组中第K列像素中一个像素的第一存储电容C01的第二端,第二极连接指定像素组中第K列像素中另一个像素的第一存储电容C01的第二端,控制极连接第五合并控制信号R3;第七信号合并晶体管Tr5的第一极连接指定像素组中第L列像素中一个像素的第一存储电容C01的第二端,第二极连接指定像素组中第L列像素中另一个像素的第一存储电容C01的第二端,控制极连接第五合并控制信号R3。

指定像素组中第K列像素的第二存储电容C02的第二端通过第四信号合并晶体管Ts3连接,指定像素组中第L列像素的第二存储电容C02的第二端通过第八信号合并晶体管Ts5连接。例如,第四信号合并晶体管Ts3的第一极连接指定像素组中第K列像素中一个像素的第二存储电容C02的第二端,第二极连接指定像素组中第K列像素中另一个像素的第二存储电容C02的第二端,控制极连接第六合并控制信号S3;第八信号合并晶体管Ts5的第一极连接指定像素组中第L列像素中一个像素的第二存储电容C02的第二端,第二极连接指定像素组中第L列像素中另一个像素的第二存储电容C02的第二端,控制极连接第六合并控制信号S3。

指定像素组中第i行或第j行像素的第一存储电容C01的第二端通过第五信号合并晶体管Tr4连接,所述指定像素组中第i行或第j行像素的第二存储电容C02的第二端通过第六信号合并晶体管Ts4连接。例如,第五信号合并晶体管Tr4的第一极连接指定像素组中第i行像素中一个像素的第一存储电容C01的第二端,第二极连接指定像素组中第i行像素中另一个像素的第一存储电容C01的第二端,控制极连接第五合并控制信号R3;第六信号合并晶体管Ts4的第一极连接指定像素组中第i行像素中一个像素的第二存储电容C02的第二端,第二极连接指定像素组中第i行像素中另一个像素的第二存储电容C02的第二端,控制极连接第六合并控制信号S3。

上述实施例中,基于在像素的电路结构中配置信号合并单元,以电路合并的方式实现了在图像传感器内部进行像素曝光和读出时,将图像像素的像素数据进行像素合并binning处理后再进行输出,一方面,可以在确保图像清晰度的情况下有效提升图像传感器的帧速率,提升像素数据的处理效率,有利于实现图像传感器的高速摄像,另一方面,可以减少输出的像素数据的数据量,以节省像素数据对应的数字信号的存储资源,减少用于存储像素数据对应的数字信号的存储器单元面积,减少像素数据对应的数字信号的处理运算量,以应对日益增长的芯片小型化需求。

图18为本公开实施例提供的一种图像传感器中像素的电路时序示意图,在本公开实施例中,一帧的工作时间可以划分为复位时间段t1和曝光时间段t2,下面结合图14至图18,对本公开实施例的像素数据处理方法作进一步补充解释说明。

需要说明的是,在图像传感器中的所采用的晶体管可以为薄膜晶体管或场效应管或其他具有相同、类似特性的器件,由于采用的晶体管的源极和漏极是对称的,所以其源极、漏极是没有区别的。在本公开实施例中,为区分晶体管的源极和漏极,将其中一极称为第一极,另一极称为第二极,栅极称为控制极。此外按照晶体管的特性区分可以将晶体管分为N型和P型,以下实施例中是以P型晶体管进行说明的,当采用P型晶体管时,第一极为P型晶体管的漏极,第二极为P型晶体管的源极,N型则相反。

在下述描述中,均以各晶体管为P型晶体管为例进行描述,此种情形下,可以理解的是,各晶体管在控制极为高电平状态下导通,而在控制极为低电平状态下截止。

如图14和图18所示,在第n-1帧中,在该第n-1帧图像像素的复位时间段t1,对该第n-1帧每个像素进行复位处理。具体地,在每个像素中,复位控制信号RST0使能,复位控制信号RST0为高电平,使得复位晶体管T02在高电平作用下导通,同时传输控制信号TG0使能两次,使得传输晶体管T01在高电平作用下导通,从而实现对光电二极管D0和浮动节点FD0进行复位,以清除光电二极管D0和浮动节点FD0上累积的电荷;此外,复位电压存储控制晶体管T05、曝光电压存储控制晶体管T08均为低电平,复位电压存储控制晶体管T05、曝光电压存储控制晶体管T08均截止。

在该第n-1帧图像像素的曝光时间段t2,对该第n-1帧每个像素进行曝光处理。具体地,当n-1=1时,在该第n-1帧图像像素的曝光时间段t2,在每个像素中,复位控制信号RST0使能,复位控制信号RST0为高电平,使得复位晶体管T02在高电平作用下导通,生成像素复位电压V

当n-1大于1时,在每相邻两个奇数行像素构成一个指定像素组,且每相邻两个偶数行像素构成一个指定像素组的情况下,在该第n-1帧图像像素的曝光时间段t2,逐行将行选通读出信号GSEL0<1>、GSEL1<1>、行选通读出信号GSEL0<3>、GSEL1<3>、行选通读出信号GSEL0<2>、GSEL1<2>、行选通读出信号GSEL0<4>、GSEL1<4>、.....、GSEL0、GSEL1、GSEL0、GSEL1使能,以依次打开每一指定像素组像素中每一行像素的第二输出控制晶体管T07和第四输出控制晶体管T10,以使第一存储电容C01存储的第n-2帧像素的像素复位电压V

当n-1大于1时,在每相邻两个奇数行像素中位于每一列的像素构成一个指定像素组,且每相邻两个偶数行像素中位于每一列的像素构成一个指定像素组的情况下,在该第n-1帧图像像素的曝光时间段t2,第一合并控制信号R1和第二合并控制信号S1使能,以使第一信号合并晶体管Tr1和第二信号合并晶体管Ts1导通,对每个指定像素组的像素数据进行像素合并binning处理,即将每个指定像素组的像素复位电压和像素曝光电压分别进行平均处理,而后第一合并控制信号R1和第二合并控制信号S1为低电平,以使第一信号合并晶体管Tr1和第二信号合并晶体管Ts1截止;而后,通过行选通读出信号控制所需读取的像素行的第二输出控制晶体管T07和第四输出控制晶体管T10打开,以使第一存储电容C01存储的第n-2帧像素的像素复位电压V

当n-1大于1时,在每相邻两个奇数列像素中位于每一行的像素构成一个指定像素组,且每相邻两个偶数列像素中位于每一行的像素构成一个所述指定像素组的情况下,在该第n-1帧图像像素的曝光时间段t2,第三合并控制信号R2和第四合并控制信号S2使能,以使第一信号合并晶体管Tr2和第二信号合并晶体管Ts2导通,对每个指定像素组的像素数据进行像素合并binning处理,即将每个指定像素组的像素复位电压和像素曝光电压分别进行平均处理,而后第三合并控制信号R2和第四合并控制信号S2为低电平,以使第一信号合并晶体管Tr2和第二信号合并晶体管Ts2截止;而后,通过行选通读出信号控制所需读取的像素行的第二输出控制晶体管T07和第四输出控制晶体管T10打开,以使第一存储电容C01存储的第n-2帧像素的像素复位电压V

当n-1大于1时,在每相邻两个奇数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个奇数行像素中每相邻两个偶数列的像素构成一个指定像素组,并且,每相邻两个偶数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个偶数行像素中每相邻两个偶数列的像素构成一个指定像素组的情况下,在该第n-1帧图像像素的曝光时间段t2,第五合并控制信号R3和第六合并控制信号S3使能,以使第三信号合并晶体管Tr3、第五信号合并晶体管Tr4、第七信号合并晶体管Tr5、第四信号合并晶体管Ts3、第六信号合并晶体管Ts4、第八信号合并晶体管Ts6导通,对每个指定像素组的像素数据进行像素合并binning处理,即将每个指定像素组的像素复位电压和像素曝光电压分别进行平均处理,而后第五合并控制信号R3和第六合并控制信号S3为低电平,以使第三信号合并晶体管Tr3、第五信号合并晶体管Tr4、第七信号合并晶体管Tr5、第四信号合并晶体管Ts3、第六信号合并晶体管Ts4、第八信号合并晶体管Ts6截止;而后,通过行选通读出信号控制所需读取的像素行的第二输出控制晶体管T07和第四输出控制晶体管T10打开,以使第一存储电容C01存储的第n-2帧像素的像素复位电压V

而后,在每个像素中,复位控制信号RST0使能,复位控制信号RST0为高电平,使得复位晶体管T02在高电平作用下导通,生成第n-1帧像素的像素复位电压V

在第n-1帧曝光结束后,进入第n帧,在第n帧中,在该第n帧图像像素的复位时间段t1,对该第n帧每个像素进行复位处理。具体地,在每个像素中,复位控制信号RST0使能,复位控制信号RST0为高电平,使得复位晶体管T02在高电平作用下导通,同时传输控制信号TG0使能两次,使得传输晶体管T01在高电平作用下导通,从而实现对光电二极管D0和浮动节点FD0进行复位,以清除光电二极管D0和浮动节点FD0上累积的电荷;此外,复位电压存储控制晶体管T05、曝光电压存储控制晶体管T08均为低电平,复位电压存储控制晶体管T05、曝光电压存储控制晶体管T08均截止。

关于该第n帧图像像素的曝光时间段t2的具体工作原理,可参见上述关于n-1大于1时第n-1帧图像像素的曝光时间段t2的具体工作过程的描述,此处不再赘述。

在一些实施例中,在将隔行相同列像素进行像素合并,或者将隔列相同行像素进行像素合并,或者将隔行隔列相同颜色像素进行像素合并的情况下,在对任一帧像素进行像素合并binning处理并读出任一帧图像的像素数据之后,该像素数据处理方法还包括:获取读出的每个像素的像素复位电压和像素曝光电压的差值;并将该差值转换为数字信号后进行输出。其中,每一列像素均对应设置有一列读出电路,读出电路包含采样放大电路和模数转换ADC电路,采样放大电路通过对复位电压传输线R输出的像素复位电压V

在一些实施例中,第n帧图像像素的曝光时间段的结束时间等于读出第n-1帧图像像素的像素数据的结束时间。即,第n帧图像像素的曝光时间和第n-1帧图像像素的像素数据的读出时间同步结束。此种情况下,在相邻两帧中的前一帧曝光结束后,在进行后一帧工作时,不需要等待即可直接开始进行前一帧图像的像素数据的读出,有利于改善像素曝光后累积的光子或电荷的衰减现象。例如,在第1帧曝光结束后,进入第2帧工作时,可直接开始进行第1帧图像的像素数据的读出,且第2帧的曝光结束时间与读出第1帧图像的像素数据的结束时间相同。

在一些实施例中,第n帧图像像素的曝光时间段的起始时间等于读出第n-1帧图像像素的像素数据的起始时间。即,第n帧图像像素的曝光时间和第n-1帧图像像素的像素数据的读出时间同步开始。此种情况下,在当前帧曝光结束,而当前帧的上一帧像素数据的读出还未结束时,可以等待上一帧像素数据读取结束再进行当前帧的下一帧工作。

在一些实施例中,第n帧图像像素的曝光时间段的起始时间小于读出第n-1帧图像像素的像素数据的起始时间,且第n帧图像像素的曝光时间段的结束时间大于读出第n-1帧图像像素的像素数据的结束时间。即,第n帧图像像素的曝光时间段的起始时间早于读出第n-1帧图像像素的像素数据的起始时间,第n帧图像像素的曝光时间段的结束时间晚于读出第n-1帧图像像素的像素数据的结束时间。

在一些实施例中,第n帧图像像素的曝光时间段的起始时间大于读出第n-1帧图像像素的像素数据的起始时间,且第n帧图像像素的曝光时间段的结束时间小于读出第n-1帧图像像素的像素数据的结束时间。即,第n帧图像像素的曝光时间段的起始时间晚于读出第n-1帧图像像素的像素数据的起始时间,第n帧图像像素的曝光时间段的结束时间早于读出第n-1帧图像像素的像素数据的结束时间。此种情况下,在相邻两帧中的前一帧曝光结束后,在进行后一帧工作时,不需要等待即可直接开始进行前一帧图像的像素数据的读出,有利于改善像素曝光后累积的光子或电荷的衰减现象,在后一帧曝光结束后,等待前一帧像素数据读取结束再进行后一帧的下一帧工作。例如,在第1帧曝光结束后,进入第2帧工作时,可直接开始进行第1帧图像的像素数据的读出,在第2帧曝光结束后,等待第1帧像素数据读取结束再进行第3帧工作。

在一些实施例中,在对任意一帧图像像素进行曝光处理之前,该像素数据处理方法还包括:在图像传感器的该帧图像像素的复位时间段,对该帧图像像素进行复位处理。在每帧图像像素进行曝光之前,对每帧图像像素进行复位,以清除像素在上一次曝光时产生的电荷,有利于消除像素上一次操作历史状态的影响。

本公开实施例还提供了一种图像传感器,该图像传感器包括像素阵列,像素阵列包括多个像素,多个像素可以包括红色像素(R)、绿色像素(G)和蓝色像素(B),每个奇数行的每一列像素对应的颜色相同,每个偶数行的每一列像素对应的颜色相同,多个像素被划分为多个指定像素组,指定像素组包括至少一组对应相同颜色的多个像素。其中,每个像素包括:

光电变换单元,用于在图像传感器的任一帧图像的曝光阶段,将该帧图像的所述像素的像素数据输出至信号存储单元;

信号存储单元,用于存储该帧图像的所述像素的像素数据;

输出单元,用于在该帧图像的数据读出阶段,将对应的信号存储单元中存储的该帧图像的所述像素的像素数据进行输出;

该图像传感器还包括信号合并单元,信号合并单元用于在该帧图像的数据读出阶段,将指定像素组的像素数据进行像素合并binning处理。

在一些实施例中,像素数据包括像素的像素复位电压和像素曝光之后产生的像素曝光电压;信号存储单元,包括:复位电压存储控制晶体管和第一存储电容、曝光电压存储控制晶体管和第二存储电容,复位电压存储控制晶体管和所述曝光电压存储控制晶体管的输入端均与光电变换单元的输出端连接,复位电压存储控制晶体管的输出端连接至第一存储电容的第一端,曝光电压存储控制晶体管的输出端连接至第二存储电容的第一端;光电变换单元用于在图像传感器的任一帧图像的曝光阶段,将该帧图像的像素的像素复位电压输出至所述复位电压存储控制晶体管的输入端,将该帧图像的所述像素的像素曝光电压输出至所述曝光电压存储控制晶体管的输入端;所述复位电压存储控制晶体管用于将对应的像素的像素复位电压存储至对应的第一存储电容;曝光电压存储控制晶体管用于将对应的像素的像素曝光电压存储至对应的第二存储电容。

在一些实施例中,每相邻两个奇数行像素中位于每一列的像素构成一个指定像素组,且每相邻两个偶数行像素中位于每一列的像素构成一个指定像素组;或者,每相邻两个奇数列像素中位于每一行的像素构成一个指定像素组,且每相邻两个偶数列像素中位于每一行的像素构成一个指定像素组;每个指定像素组对应配置一个信号合并单元;信号合并单元包括第一信号合并晶体管和第二信号合并晶体管,第一信号合并晶体管的输入端与指定像素组中一个像素的第一存储电容的第二端连接,第一信号合并晶体管的输出端与指定像素组中另一个像素的第一存储电容的第二端连接;第二信号合并晶体管的输入端与指定像素组中一个像素的第二存储电容的第二端连接,第二信号合并晶体管的输出端与指定像素组中另一个像素的第二存储电容的第二端连接;第一信号合并晶体管用于在指定像素组中的输出单元将对应的像素的像素数据进行输出之前,将指定像素组中两个像素的像素复位电压进行像素合并binning处理;第二信号合并晶体管用于在指定像素组中的输出单元将对应的像素的像素数据进行输出之前,将指定像素组中两个像素的像素曝光电压进行像素合并binning处理。

在一些实施例中,每相邻两个奇数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个奇数行像素中每相邻两个偶数列的像素构成一个指定像素组;并且,每相邻两个偶数行像素中每相邻两个奇数列的像素构成一个指定像素组,每相邻两个偶数行像素中每相邻两个偶数列的像素构成一个指定像素组;每个指定像素组对应配置一个信号合并单元;信号合并单元包括第一信号合并单元和第二信号合并单元,第一信号合并单元包括第三信号合并晶体管、第五信号合并晶体管和第七信号合并晶体管,第二信号合并单元包括第四信号合并晶体管、第六信号合并晶体管和第八信号合并晶体管。

其中,指定像素组中第一列像素的第一存储电容的第二端通过第三信号合并晶体管连接,指定像素组中第二列像素的第一存储电容的第二端通过第七信号合并晶体管连接;指定像素组中第一列像素的第二存储电容的第二端通过第四信号合并晶体管连接,指定像素组中第二列像素的第二存储电容的第二端通过第八信号合并晶体管连接;指定像素组中第一行或第二行像素的第一存储电容的第二端通过第五信号合并晶体管连接,指定像素组中第一行或第二行像素的第二存储电容的第二端通过第六信号合并晶体管连接;第一信号合并单元用于在指定像素组中的所述输出单元将对应的像素的像素数据进行输出之前,将指定像素组中多个像素的像素复位电压进行像素合并binning处理;第二信号合并单元用于在指定像素组中的所述输出单元将对应的像素的像素数据进行输出之前,将指定像素组中多个像素的像素曝光电压进行像素合并binning处理。

在一些实施例中,每相邻两个奇数行像素构成一个所述指定像素组,且每相邻两个偶数行像素构成一个指定像素组;像素数据包括像素的像素复位电压和像素曝光之后产生的像素曝光电压;信号合并单元包括差分单元和列级单斜式ADC,列级单斜式ADC包括比较器和计数器。

其中,差分单元用于将指定像素组中每行像素中每个像素的像素复位电压和像素曝光电压进行差分处理,得到指定像素组中每行像素中每个像素的像素差分数据。比较器用于检测指定像素组中每行像素的像素差分数据和每行像素对应的预设斜坡参考信号的差异情况。所述计数器用于:根据比较器检测的差异情况进行计数,以将指定像素组中每行像素的像素差分数据量化为计数器的计数数据;当比较器发生翻转时,计数器停止计数,得到每行像素对应的计数数据;将指定像素组中两行像素对应的计数数据进行累加;其中,每个指定像素组中一行像素对应的预设斜坡参考信号的斜率为1/k1,另一行像素对应的预设斜坡信号的斜率为1/k2,k1为预设的每个指定像素组中一行像素对应的权重值,k2为预设的每个指定像素组中另一行像素对应的权重值,0

本公开实施例所提供的图像传感器,用于实现上述的像素数据处理方法,具体相关描述可参见上述实施例的像素数据处理方法中相关的描述,此处不再赘述。

本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。

技术分类

06120115580295