掌桥专利:专业的专利平台
掌桥专利
首页

一种图像传感器电路及图像采集方法

文献发布时间:2023-06-19 19:30:30


一种图像传感器电路及图像采集方法

技术领域

本申请涉及图像传感器领域,尤其涉及一种图像传感器电路及图像采集方法。

背景技术

高动态范围成像(High Dynamic Range Imaging,HDR),是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。高动态范围成像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度,使得图像在暗部和亮部拥有更多细节。

为了实现HDR图像,相关技术中通过采集多张不同曝光的图像,并将每张图像中曝光正常的部分保留,合成为一张HDR图像。

多帧图像合成的方法会增加电子设备的功耗,而且存在鬼影的问题。

发明内容

本申请提供一种图像传感器电路及图像采集方法,以降低HDR图像生成时的功耗,解决多帧合成造成的鬼影问题。

第一方面,本申请公开了一种图像传感器电路,包括:信号采集模块、信号增强模块、信号抑制模块和控制模块;

所述信号采集模块包括第一传输晶体管和第一浮置扩散区,所述第一传输晶体管的第一端用于接收光敏元件通过转换光子生成的电子,所述第一传输晶体管的第二端与所述第一浮置扩散区连接;

所述信号增强模块包括第二浮置扩散区,所述第二浮置扩散区的电容量小于所述第一浮置扩散区的电容量;所述信号增强模块与所述控制模块连接,所述控制模块用于控制所述第一浮置扩散区与所述第二浮置扩散区之间的通断,以及控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量;

所述信号抑制模块包括第三浮置扩散区,所述第三浮置扩散区的电容量大于所述第一浮置扩散区的电容量;所述信号抑制模块与所述控制模块连接,所述控制模块用于控制所述第一浮置扩散区与所述第三浮置扩散区之间的通断,以及控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量。

第二方面,本申请公开了一种图像采集方法,应用于第一方面所述的图像传感器电路,所述方法包括:

通过控制模块确定预览图像中的第一图像区域和第二图像区域,以及所述第一图像区域的亮度提升目标值和所述第二图像区域的亮度抑制目标值,所述第一图像区域为所述预览图像中亮度小于第一阈值的区域,所述第二图像区域为所述预览图像中亮度大于第二阈值的区域;

控制所述第一图像区域和所述第二图像区域对应的第一传输晶体管断开,并对光敏元件进行曝光以产生电子;

控制所述第一图像区域对应的第一传输晶体管导通,并根据所述亮度提升目标值,通过所述控制模块控制第一浮置扩散区与第二浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量;

控制所述第二图像区域对应的第一传输晶体管导通,并根据所述亮度抑制目标值,通过所述控制模块控制第一浮置扩散区与第三浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量;

分别读出所述第一浮置扩散区、所述第二浮置扩散区和所述第三浮置扩散区对应的电压信号,并基于所述电压信号得到目标图像。

第三方面,本申请公开了一种图像采集装置,包括:

控制模块,用于确定预览图像中的第一图像区域和第二图像区域,以及所述第一图像区域的亮度提升目标值和所述第二图像区域的亮度抑制目标值,所述第一图像区域为所述预览图像中亮度小于第一阈值的区域,所述第二图像区域为所述预览图像中亮度大于第二阈值的区域;

所述控制模块用于控制所述第一图像区域和所述第二图像区域对应的第一传输晶体管断开,并对光敏元件进行曝光以产生电子;;

所述控制模块用于控制所述第一图像区域对应的第一传输晶体管导通,并根据所述亮度提升目标值,控制第一浮置扩散区与第二浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量;

所述控制模块用于控制所述第二图像区域对应的第一传输晶体管导通,并根据所述亮度抑制目标值,控制第一浮置扩散区与第三浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量;

目标图像生成模块,用于分别读出所述第一浮置扩散区、所述第二浮置扩散区和所述第三浮置扩散区对应的电压信号,并基于所述电压信号得到目标图像。

第四方面,本申请实施例还提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第二方面所述的方法的步骤。

第五方面,本申请实施例还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第二方面所述的方法的步骤。

第六方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第二方面所述的方法。

第七方面,本申请实施例还提供了一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第二方面所述的方法。

在本申请实施例中,图像传感器电路包括:信号采集模块、信号增强模块、信号抑制模块和控制模块;信号采集模块包括第一传输晶体管和第一浮置扩散区,第一传输晶体管的第一端用于接收光敏元件通过转换光子生成的电子,第一传输晶体管的第二端与第一浮置扩散区连接,信号增强模块包括第二浮置扩散区,第二浮置扩散区的电容量小于第一浮置扩散区的电容量;使得在第一浮置扩散区与第二浮置扩散区连通后,第一浮置扩散区与第二浮置扩散区的电子转换成的电压值的加和,大于未连通前第一浮置扩散区的电子转换成的电压值,使得连通后的电压值转换成的亮度值更大,信号增强模块与控制模块连接,控制模块用于控制第一浮置扩散区与第二浮置扩散区之间的通断,以及控制从第一浮置扩散区进入第二浮置扩散区的电子数量;信号抑制模块包括第三浮置扩散区,第三浮置扩散区的电容量大于第一浮置扩散区的电容量;信号抑制模块与控制模块连接,控制模块用于控制第一浮置扩散区与第三浮置扩散区之间的通断,以及控制从第一浮置扩散区进入第三浮置扩散区的电子数量;使得在第一浮置扩散区与第三浮置扩散区连通后,第一浮置扩散区与第三浮置扩散区的电子转换成的电压值的加和,小于未连通前第一浮置扩散区的电子转换成的电压值,使得连通后的电压值转换成的亮度值更小,通过第一浮置扩散区与第二浮置扩散区的通断以及第一浮置扩散区与第三浮置扩散区的通断实现对图像的亮度值的调整。

在确定预览图像中的第一图像区域后,通过控制从第一浮置扩散区进入第二浮置扩散区的电子数量,使得图像信号由信号采集模块输出调整为由信号采集模块和信号增强模块输出,使得第一图像区域的亮度提升为亮度提升目标值;在确定图像中的第二图像区域后,使得第二图像区域的图像信号由信号采集模块输出,调整为经过信号采集单元和信号抑制模块处理后输出,以对第二图像区域的亮度进行抑制,使得第二图像区域的亮度达到亮度抑制目标值,也就是说通过采集单帧图像,并对单帧图像信号进行检测,针对性的改善图像中第一图像区域和第二图像区域的亮度,实现单帧图像最大程度零延时的HDR效果,相比多帧图像合成实现HDR效果,降低了电子设备的功耗,且得到的目标图像不产生鬼影,提升了HDR效果。

附图说明

图1是本申请实施例提供的一种图像传感器电路模块连接图;

图2是本申请实施例提供的一种图像传感器电路;

图3是本申请实施例提供的一种图像传感器电路局部放大图;

图4是本申请实施例提供的一种第一图像区域电子转移示意图;

图5是本申请实施例提供的一种第二图像区域电子转移示意图;

图6是本申请实施例提供的一种图像采集方法的步骤流程图;

图7是本申请实施例提供的一种图像采集装置框图;

图8是本申请实施例提供的一种电子设备示意图;

图9是本申请实施例提供的电子设备硬件结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。

参照图1、图2、图3所示,本申请实施例公开一种图像传感器电路,包括:信号采集模块、信号增强模块、信号抑制模块和控制模块;信号采集模块包括第一传输晶体管TX1和第一浮置扩散FD1,第一传输晶体管TX1的第一端用于接收光敏元件PD通过转换光子生成的电子,第一传输晶体管TX1的第二端与第一浮置扩散区FD1连接;信号增强模块包括第二浮置扩散区FD2,第二浮置扩散区FD2的电容量小于第一浮置扩散区FD1的电容量;信号增强模块与控制模块连接,控制模块用于控制第一浮置扩散区FD1与第二浮置扩散区FD2之间的通断,以及控制从第一浮置扩散区FD1进入第二浮置扩散区FD2的电子数量;信号抑制模块包括第三浮置扩散区FD3,第三浮置扩散区FD3的电容量大于第一浮置扩散区FD1的电容量;信号抑制模块与控制模块连接,控制模块用于控制第一浮置扩散区FD1与第三浮置扩散区FD3之间的通断,以及控制从第一浮置扩散区FD1进入第三浮置扩散区FD3的电子数量。

具体地,控制模块可以为利用AI(Artificial Intelligence,人工智能)对预览图像(未经HDR处理的图像)进行检测的模块,通过检测识别高动态范围场景,即预览图像中的第一图像区域和第二图像区域,第一图像区域为预览图像中亮度小于第一阈值的区域,第二图像区域为预览图像中亮度大于第二阈值的区域;检测第一图像区域和第二图像区域的方法可以为:先通过边缘检测或深度学习等分割算法检测图像中物体的边缘,区分出图像中的不同物体后,通过对图像中的物体的像素灰度与预设灰度阈值比较,确定出图像中过曝的第二图像区域和过暗的第一图像区域。控制模块可以对第一图像区域以及第二图像区域进行亮度评估,确定第一图像区域的亮度提升目标值,确定第二图像区域的亮度抑制目标值,并通过亮度提升目标值或亮度抑制目标值控制第一浮置扩散区FD1与第二浮置扩散区FD2之间的通断,或控制第一浮置扩散区FD1与第三浮置扩散区FD3之间的通断。

本实施例中,第一传输晶体管TX1的第一端用于接收光敏元件PD通过转换光子生成的电子,第一传输晶体管TX1的第二端与第一浮置扩散区FD1连接,光敏元件PD可以执行光电转换,光敏元件PD可以连接在接地端与第一传输晶体管TX1之间,光敏元件PD可以从外部接收光,并且可以基于所接收的光产生电荷,响应于施加到第一传输晶体管TX1的栅级端子的传输信号,第一传输晶体管TX1可以将电荷传输至第一浮置扩散区FD1中,若电子均在第一浮置扩散区FD1,输出的预览图像为未经HDR处理的图像。在对预览图像进行HDR处理时,信号增强模块和信号抑制模块作为接收第一浮置扩散区FD1的电子流入的动态电容电路,以实现HDR。

参考图1、2,控制模块检测到预览图像中亮度小于第一阈值的区域后,控制对应的信号增强模块的电路导通,即第二传输晶体管AI_FD2_TX开启,第一浮置扩散区FD1与第二浮置扩散区FD2之间导通,第一浮置扩散区FD1链接到第二浮置扩散区FD2,根据亮度提升目标值的大小,动态的改变V_FD2(信号增强模块的输入端)的电压,V_FD2可以在第一浮置扩散区FD1和第二浮置扩散区FD2之间形成电压势井,控制从第一浮置扩散区FD1进入第二浮置扩散区FD2的电子数量,并保持第一浮置扩散区FD1和第二浮置扩散区FD2中电子量的不同比率,由于第二浮置扩散区FD2的电容量小于第一浮置扩散区FD1的电容量,因此,当第一浮置扩散区FD1与第二浮置扩散区FD2之间导通,信号增强模块输出的电压值与信号采集模块输出的电压值的加和大于未导通之前信号采集模块输出的电压值,使得信号采集模块输出的电压值转换成的亮度值与信号增强模块输出的电压值转换成的亮度加和,大于信号采集模块输出的电压值转换成的亮度值,实现对第一图像区域的亮度提升。

参考图1、2,控制模块检测到预览图像中亮度大于第二阈值的区域后,控制这些区域的信号抑制模块电路打开,即第三传输晶体管AI_FD3_TX开启,第一浮置扩散区FD1与第三浮置扩散区FD3导通,根据亮度抑制目标值的大小,动态的改变V_FD3(信号抑制模块的输入端)的电压,V_FD3可以在第一浮置扩散区FD1和第三浮置扩散区FD3之间形成电压势井,控制从第一浮置扩散区FD1中动态的流入第三浮置扩散区FD3的电子数量,并保持第一浮置扩散区FD1和第三浮置扩散区FD3中电子量的不同比率,由于第三浮置扩散区FD3的电容量大于第一浮置扩散区FD1的电容量,因此,当第一浮置扩散区FD1与第三浮置扩散区FD3导通后,信号采集模块输出的电压值与信号抑制模块输出的电压值的加和小于未导通之前信号采集模块输出的电压值,使得信号采集模块输出的电压值转换成的亮度值与信号抑制模块输出的电压值转换成的亮度值的加和,小于信号采集模块输出的电压值转换成的亮度值,实现对第二图像区域的亮度抑制。

可选地,参考图2,本实施例的图像传感器电路还包括:第一复位晶体管RX1,第一复位晶体管RX1的第一端分别与第一浮置扩散区FD1和第一传输晶体管TX1的第二端连接,第一复位晶体管RX1的第二端与电源端连接。

在曝光之前,第一传输晶体管TX1、第一复位晶体管RX1导通,以清空光敏元件PD、第一浮置扩散区FD1中的电子;第一复位晶体管RX1可以响应于重置信号将电源端的电压传输到第一浮置扩散区FD1。曝光时,控制第一传输晶体管TX1与第一复位晶体管RX1断开;响应于施加到第一传输晶体管TX1的栅级端子的传输信号,第一传输晶体管TX1可以将电荷传输至第一浮置扩散区FD1中,第一浮置扩散区FD1可以存储与图像信号对应的电荷。

可选地,参考图2,本实施例的图像传感器电路还包括:第二传输晶体管AI_FD2_TX和第二复位晶体管RX_FD2;第二传输晶体管AI_FD2_TX的第一端与第二浮置扩散区FD2连接,第二传输晶体管AI_FD2_TX的第二端与第一浮置扩散区FD1连接,第二传输晶体管AI_FD2_TX的第三端与控制模块连接,第二复位晶体管RX_FD2的第一端与第二浮置扩散区FD2连接,第二复位晶体管RX_FD2的第二端与控制模块连接,第二浮置扩散区FD2接地。

具体地,第二传输晶体管AI_FD2_TX的第二端与第一浮置扩散区FD1连接,以在检测到第一图像区域时,连通第一浮置扩散区FD1与第二浮置扩散区FD2,使得第一浮置扩散区FD1中的电子可以流入第二浮置扩散区FD2,第二传输晶体管AI_FD2_TX的第三端与控制模块连接,第二复位晶体管RX_FD2的第二端与控制模块连接,控制模块在检测到第一图像区域时,可以控制V_FD2的电压和第二传输晶体管AI_FD2_TX导通,进行第一图像区域的亮度提升。

可选地,本实施例的图像传感器电路还包括:第三传输晶体管AI_FD3_TX和第三复位晶体管RX_FD3;第三传输晶体管AI_FD3_TX的第一端与第三浮置扩散区FD3连接,第三传输晶体管AI_FD3_TX的第二端与第一浮置扩散区FD1连接,第三传输晶体管AI_FD3_TX的第三端与控制模块连接,第三复位晶体管RX_FD3的第一端与第三浮置扩散区FD3连接,第三复位晶体管RX_FD3的第二端与控制模块连接,第三浮置扩散区FD3接地。

具体地,第三传输晶体管AI_FD3_TX的第二端与第一浮置扩散区FD1连接,以在检测到第二图像区域时,连通第一浮置扩散区FD1与第三浮置扩散区FD3,使得第一浮置扩散区FD1中的电子可以流入第三浮置扩散区FD3,第三传输晶体管AI_FD3_TX的第三端与控制模块连接,第三复位晶体管RX_FD3的第二端与控制模块连接,控制模块在检测到第二图像区域时,可以控制V_FD3的电压和第三传输晶体管AI_FD3_TX导通,进行第二图像区域的亮度提升。

本实施例中,在曝光之前,第一传输晶体管TX1、第一复位晶体管RX1和第二复位晶体管RX_FD2、第三复位晶体管RX_FD3导通,以清空光敏元件18、第一浮置扩散区FD1、第二浮置扩散区FD2和第三浮置扩散区FD3中的电子;第一复位晶体管RX1可以响应于重置信号将电源端的电压传输到第一浮置扩散区FD1。曝光时,控制第一传输晶体管TX1与第一复位晶体管RX1、第二复位晶体管RX_FD2、第三复位晶体管RX_FD3断开,并对光敏元件进行曝光以产生电子;响应于施加到第一传输晶体管TX1的栅级端子的传输信号,第一传输晶体管TX1可以将电荷传输至第一浮置扩散区FD1中,第一浮置扩散区FD1可以存储与图像信号对应的电荷。

可选地,参考图2,本实施例的图像传感器电路还包括:第一驱动开关DX1、第一行选择器SX1、第一相关双采样电路COS1和第一模数转换模块ADC1,第一驱动开关DX1的第一端与所述第一浮置扩散区FD1连接,第一驱动开关DX1的第二端与第一行选择器的SX1第一端连接,第一相关双采样电路COS1分别与第一行选择器SX1的第二端和第一模数转换模块ADC1连接。

具体地,第一驱动开关将第一浮置扩散区FD1上的电压信号放大,控制第一行选择器SX1打开,第一行选择器SX1可以将电压信号输出至第一相关双取样电路COS1,对电信号进行过滤等处理,第一相关双取样电路COS1将处理后的信号传输至第一模数转换模块ADC1,进行模数转换,转换后的图像可以进行预览显示。

可选地,参考图1、2,本实施例的图像传感器电路还包括:第二驱动开关DX2、第二行选择器SX2、第二相关双采样电路COS2和第二模数转换模块ADC2,第二驱动开关DX2的第一端与第二浮置扩散区FD2连接,第二驱动开关DX2的第二端与第二行选择器SX2的第一端连接,第二相关双采样电路COS2分别与第二行选择器SX2的第二端和第二模数转换模块ADC2连接。

具体地,第二驱动开关将第二浮置扩散区FD2上的电压信号放大,控制第二行选择器SX2打开,第二行选择器SX2可以将电信号输出至第二相关双取样电路COS2,对电压信号进行过滤等处理,第二相关双取样电路COS2将处理后的信号传输至第二模数转换模块ADC2,进行模数转换,转换后的图像可以进行预览显示。

可选地,参考图2,本实施例的图像传感器电路还包括:第三驱动开关DX3、第三行选择器SX3、第三相关双采样电路COS3和第三模数转换模块ADC3,第三驱动开关DX3的第一端与第三浮置扩散区FD3连接,第三驱动开关DX3的第二端与第三行选择器SX3的第一端连接,第三相关双采样电路COS3分别与第三行选择器SX3的第二端和第三模数转换模块ADC3连接。

具体地,第三个驱动开关DX3将第三浮置扩散区FD3上的电压信号放大,控制第三行选择器SX3打开,第三行选择器SX3可以将电压信号输出至第三相关双取样电路COS3,对电压信号进行过滤等处理,第三相关双取样电路COS3将处理后的信号传输至第三模数转换模块ADC3,进行模数转换,转换后的图像可以进行预览显示。

可选地,参考图1、2,控制模块包括:第一检测单元、第二检测单元和控制单元,第一检测单元和第二检测单元分别与控制单元连接,控制单元还分别与信号增强模块和信号抑制模块连接,第一检测单元用于检测预览图像中亮度小于第一阈值的第一图像区域,第二检测单元用于检测所述预览图像中亮度大于第二阈值的第二图像区域。

具体地,第一检测单元用于检测亮度小于第一阈值的第一图像区域,控制单元与执行亮度提升的信号增强模块连通,实现对第一图像区域的亮度提升,第二检测单元用于检测预览图像中亮度大于第二阈值的第二图像区域,控制单元与执行亮度抑制的信号抑制模块连通,实现对第二图像区域的亮度抑制,通过设置两个检测单元,实现对预览图像的快速检测,提升生成HDR的目标图像的效率。

可选地,第一浮置扩散区FD1的电容量与所述第二浮置扩散区FD2的电容量的比值为8:1~16:1;第一浮置扩散区FD1的电容量与所述第三浮置扩散区FD3的电容量的比值为1:32~1:64。

具体地,光敏原件PD感光一段时间后,把光子转换成电子,当打开第一传输晶体管TX1后,电子流入第一浮置扩散区FD1,开启第二传输晶体管AI_FD2_TX后,电子会流入第二浮置扩散区FD2,由于第一浮置扩散区FD1和第二浮置扩散区FD2之间存在电压势井,第一浮置扩散区FD1中的电子流入第二浮置扩散区FD2一定数量后,会暂停流入,这时第一浮置扩散区FD1和第二浮置扩散区FD2中分别会保持一定量的电子,记作n1和n2,第一浮置扩散区FD1的电容量记作fd1,第二浮置扩散区FD2的电容量记作fd2,这样便可以得到第一浮置扩散区中电子量转换得到的电压d(v1)=d(n1)/fd1、第二浮置扩散区中电子量转换得到的电压d(v2)=d(n2)/fd2,且由于第一浮置扩散区FD1的电容量大于第二浮置扩散区FD2的电容量,所以可得到如下结果:

其中k是电压到亮度值的转换系数,从上式可以看出当第一浮置扩散区FD1和第二浮置扩散区FD2导通时,相比于只有第一浮置扩散区FD1时,信号明显放大,可以呈现出暗处细节,信号为第一浮置扩散区FD1中的电子转换成的亮度值与第二浮置扩散区FD2中的电子转换成的亮度值的加和,第一图像区域的电子转移示意图如图4所示,PD采集图像信号后,图像信号对应的电子进入第一浮置扩散区FD1内,第一浮置扩散区FD1和第二浮置扩散区FD2导通后,在VD_FD1的电压的作用下,第一浮置扩散区FD1内电子进入第二浮置扩散区FD2。

进一步地,当打开第一传输晶体管12后,电子流入第一浮置扩散区FD1,开启第三传输晶体管AI_FD3_TX后,电子会流入第三浮置扩散区FD3,由于第一浮置扩散区FD1和第三浮置扩散区FD3之间存在电压势井,第一浮置扩散区FD1电子流入第三浮置扩散区FD3一定数量后,会暂停流入,这时第一浮置扩散区FD1和第三浮置扩散区FD3中分别会保持一定量的电子,记作n1和n3,第三浮置扩散区FD3的电容量记作fd3,这样便可以得到第一浮置扩散区FD1中电子量转换得到的电压d(v1)=d(n1)/fd1、第三浮置扩散区FD3中电子量转换得到的电压d(v3)=d(n3)/fd3,且由于第三浮置扩散区FD3的电容量大于第一浮置扩散区FD1的电容量,所以可得到如下结果:

其中k是电压到亮度值的转换系数,从上式可以看出当第一浮置扩散区FD1和第三浮置扩散区FD3导通时,相比于只有第一浮置扩散区FD1时,信号明显减小,可以呈现出过曝处的细节,信号为第一浮置扩散区FD1中的电子转换成的亮度值与第三浮置扩散区FD3中的电子转换成的亮度值的加和;过曝区域的电子转移示意图如图5所示,PD采集图像信号后,图像信号对应的电子进入第一浮置扩散区FD1内,第一浮置扩散区FD1和第三浮置扩散区FD3导通后,在VD_FD2的电压的作用下,第一浮置扩散区FD1内电子进入第三浮置扩散区FD3。

另外,第一浮置扩散区FD1的电容量与第二浮置扩散区FD2的电容量的比值可以为8:1~16:1,即根据公式dv=dq/c,假设电子全流入第二浮置扩散区FD2时,得到亮度值是电子全在第一浮置扩散区FD1中的8~16倍,即亮度可以提升8~16倍。所以对第一图像区域的提亮比例是在1倍到8倍或1倍到16倍之间,此时可以设置控制模块对亮度的提升级别也是8档或16档,V_FD2的电压势井的控制也是8档或16档,实现对第一图像区域的精准亮度提升。

同时参考传统HDR算法对过曝区域的抑制力度,第一浮置扩散区FD1的电容量与第三浮置扩散区FD3的电容量的比值为1:32~1:64,即根据公式dv=dq/c,假设电子全流入第三浮置扩散区FD3时,得到亮度值是电子全在第一浮置扩散区FD1中的1/32或1/64,亮度抑制了32或64倍。所以对第二图像区域的亮度的抑制比例是在1到1/32或1到1/64之间,设置控制模块对亮度的抑制级别也是32或64档,V_FD3的电压势井的控制也是32或64档,实现对第二图像区域的精准亮度抑制。

综上,由于第二浮置扩散区的电容量小于第一浮置扩散区的电容量;使得在第一浮置扩散区与第二浮置扩散区连通后,第一浮置扩散区与第二浮置扩散区的电子转换成的电压值的加和,大于未连通前第一浮置扩散区的电子转换成的电压值,使得连通后的电压值转换成的亮度值更大;信号抑制模块包括第三浮置扩散区,第三浮置扩散区的电容量大于第一浮置扩散区的电容量,使得在第一浮置扩散区与第三浮置扩散区连通后,第一浮置扩散区与第三浮置扩散区的电子转换成的电压值的加和,小于未连通前第一浮置扩散区的电子转换成的电压值,使得连通后的电压值转换成的亮度值更小,通过第一浮置扩散区与第二浮置扩散区的通断以及第一浮置扩散区与第三浮置扩散区的通断实现对图像的亮度值的调整。

参照图6所示,本申请实施例公开一种图像采集方法,应用于如上述的图像传感器电路,所述方法包括:

步骤101,通过控制模块确定预览图像中的第一图像区域和第二图像区域,以及所述第一图像区域的亮度提升目标值和所述第二图像区域的亮度抑制目标值,所述第一图像区域为所述预览图像中亮度小于第一阈值的区域,所述第二图像区域为所述预览图像中亮度大于第二阈值的区域。

在本申请实施例中,通过控制模块确定预览图像的第一图像区域和第二图像区域,以及第一图像区域的亮度提升目标值和第二图像区域的亮度抑制目标值。以对信号增强模块或信号抑制模块的输入电压进行调整。

步骤102,控制所述第一图像区域和所述第二图像区域对应的第一传输晶体管断开,并对光敏元件进行曝光以产生电子。

在本申请实施例中,在曝光时,控制第一图像区域和所述第二图像区域对应的第一传输晶体管断开,使得光敏元件进行曝光以产生电子。

步骤103,控制所述第一图像区域对应的第一传输晶体管导通,并根据所述亮度提升目标值,通过所述控制模块控制第一浮置扩散区与第二浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量。

在本申请实施例中,第一浮置扩散区与第二浮置扩散区导通的情况下,根据第一图像区域的原始亮度值与亮度提升目标值的亮度差值可以确定亮度提升的等级,以根据亮度提升的等级确定从第一浮置扩散区进入所述第二浮置扩散区的电子数量。

可选地,步骤103具体包括:

步骤1031,通过所述控制模块控制从所述第一浮置扩散区进入所述第二浮置扩散区中的电子数量,使所述第一浮置扩散区中剩余电子数量大于所述第二浮置扩散区中的电子数量。

具体地,将所述亮度差值与预设的第一对应关系匹配,第一对应关系包括亮度差值与输入电压的对应关系;根据匹配结果确定信号增强模块的输入电压;根据输入电压控制第一浮置扩散区中的电子流向第二浮置扩散区的电子数量,使得第一浮置扩散区中剩余电子数量大于第二浮置扩散区中的电子数量,最终使得第一浮置扩散区的电子量转换得到的输出电压和第二浮置扩散区的电子量转换成的输出电压的加和对应的亮度值,提升为亮度提升目标值。

在本申请实施例中,参考上述关于第二浮置扩散区的电容量与第一浮置扩散区的设置描述,可以将亮度差值与亮度提升等级之间设置对应关系,智能的对输入电压进行控制,实现对不同原始亮度值的第一图像区域的亮度进行提升。

步骤104,控制所述第二图像区域对应的第一传输晶体管导通,并根据所述亮度抑制目标值,通过所述控制模块控制第一浮置扩散区与第三浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量。

在本申请实施例中,第一浮置扩散区与第三浮置扩散区导通的情况下,根据第二图像区域的原始亮度值与亮度抑制目标值的亮度差值可以确定亮度抑制的等级,以根据亮度抑制的等级确定信号抑制模块的输入电压的大小。

可选地,步骤104具体包括:

步骤1041,通过所述控制模块控制从所述第一浮置扩散区进入所述第三浮置扩散区中的电子数量,使所述第一浮置扩散区中剩余电子数量小于所述第三浮置扩散区中的电子数量。

将所述亮度差值与预设的第二对应关系匹配,所述第二对应关系包括亮度差值与输入电压的对应关系;根据匹配结果确定所述信号抑制模块的输入电压;根据输入电压控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量,使得所述第一浮置扩散区的电子量转换成的输出电压对应的亮度值,和所述第三浮置扩散区的电子量转换成的输出电压对应的亮度值的加和,转换为所述亮度抑制目标值。

在本申请实施例中,参考上述关于第三浮置扩散区的电容量与第一浮置扩散区的电容量的设置描述,可以将亮度差值与亮度抑制等级之间设置第二对应关系,智能的对输入电压进行控制,实现对不同亮度的第二图像区域的亮度进行抑制。

步骤105,分别读出所述第一浮置扩散区、所述第二浮置扩散区和所述第三浮置扩散区对应的电压信号,并基于所述电压信号得到目标图像。

在本申请实施例中,分别读出各个图像区域中的第一浮置扩散区、第二浮置扩散区和第三浮置扩散区对应的电压信号,将电压信号转换为亮度值,输出对第一图像区域和第二图像区域处理后的目标图像。

可选地,所述方法还包括:

步骤106,将预览图像中的亮度正常区域经过所述信号采集单元处理后,输出目标图像。

在本申请实施例中,亮度正常区域为预览图像中亮度值没有偏大或偏小的区域,对这些区域不进行亮度抑制或亮度增强,直接输出。

当一些区域检测模块检测到白色和黑色物体时,这些区域的信号增强模块和信号抑制模块保持关闭,维持第一浮置扩散区的电子量,亮度值不做改变。避免对黑色物体进行亮度提升,白色物体进行亮度抑制,造成黑色白色丢失对比度发蒙发灰。

综上,在确定预览图像中的第一图像区域后,通过控制从第一浮置扩散区进入第二浮置扩散区的电子数量,使得图像信号由信号采集模块输出调整为由信号采集模块和信号增强模块输出,使得第一图像区域的亮度提升为亮度提升目标值;在确定图像中的第二图像区域后,使得第二图像区域的图像信号由信号采集模块输出,调整为经过信号采集单元和信号抑制模块处理后输出,以对第二图像区域的亮度进行抑制,使得第二图像区域的亮度达到亮度抑制目标值,也就是说通过采集单帧图像,并对单帧图像信号进行检测,针对性的改善图像中第一图像区域和第二图像区域的亮度,,实现单帧图像最大程度零延时的HDR效果,相比多帧图像合成实现HDR效果,降低了电子设备的功耗,且得到的目标图像不产生鬼影,提升了HDR效果。

图7是本申请实施例提供的第一种图像采集装置的框图,如图7所示,该图像采集装置70包括:

控制模块701,用于确定预览图像中的第一图像区域和第二图像区域,以及所述第一图像区域的亮度提升目标值和所述第二图像区域的亮度抑制目标值,所述第一图像区域为所述预览图像中亮度小于第一阈值的区域,所述第二图像区域为所述预览图像中亮度大于第二阈值的区域;

所述控制模块701还用于控制所述第一图像区域和所述第二图像区域对应的第一传输晶体管断开,并对光敏元件进行曝光以产生电子;

所述控制模块701还用于控制所述第一图像区域对应的第一传输晶体管导通,并根据所述亮度提升目标值,控制第一浮置扩散区与第二浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量;

所述控制模块701还用于控制所述第二图像区域对应的第一传输晶体管导通,并根据所述亮度抑制目标值,控制第一浮置扩散区与第三浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量;

目标图像生成模块702,用于分别读出所述第一浮置扩散区、所述第二浮置扩散区和所述第三浮置扩散区对应的电压信号,并基于所述电压信号得到目标图像。

可选地,所述控制模块701包括:

第一控制子模块,用于控制从所述第一浮置扩散区进入所述第二浮置扩散区中的电子数量,使所述第一浮置扩散区中剩余电子数量大于所述第二浮置扩散区中的电子数量。

可选地,所述控制模块701包括:

第二控制子模块,用于控制从所述第一浮置扩散区进入所述第三浮置扩散区中的电子数量,使所述第一浮置扩散区中剩余电子数量小于所述第三浮置扩散区中的电子数量。

综上,在确定预览图像中的第一图像区域后,通过控制从第一浮置扩散区进入第二浮置扩散区的电子数量,使得图像信号由信号采集模块输出调整为由信号采集模块和信号增强模块输出,使得第一图像区域的亮度提升为亮度提升目标值;在确定图像中的第二图像区域后,使得第二图像区域的图像信号由信号采集模块输出,调整为经过信号采集单元和信号抑制模块处理后输出,以对第二图像区域的亮度进行抑制,使得第二图像区域的亮度达到亮度抑制目标值,也就是说通过采集单帧图像,并对单帧图像信号进行检测,针对性的改善图像中第一图像区域和第二图像区域的亮度,,实现单帧图像最大程度零延时的HDR效果,相比多帧图像合成实现HDR效果,降低了电子设备的功耗,且得到的目标图像不产生鬼影,提升了HDR效果。

本申请实施例中的图像采集装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的图像采集装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

本申请实施例提供的图像采集装置能够实现图6的方法实施例实现的各个过程,达到相同的技术效果,为避免重复,这里不再赘述。

可选地,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801和存储器802,存储器802上存储有可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述红外传感器发射功率的控制方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。

本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,,在此不再赘述。

其中,所述电子设备900还包括图像传感器电路,图像传感器电路包括信号采集模块、信号增强模块、信号抑制模块和控制模块;;

所述信号采集模块包括第一传输晶体管和第一浮置扩散区,所述第一传输晶体管的第一端用于接收光敏元件通过转换光子生成的电子,所述第一传输晶体管的第二端与所述第一浮置扩散区连接;

所述信号增强模块包括第二浮置扩散区,所述第二浮置扩散区的电容量小于所述第一浮置扩散区的电容量;所述信号增强模块与所述控制模块连接,所述控制模块用于控制所述第一浮置扩散区与所述第二浮置扩散区之间的通断,以及控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量;

所述信号抑制模块包括第三浮置扩散区,所述第三浮置扩散区的电容量大于所述第一浮置扩散区的电容量;所述信号抑制模块与所述控制模块连接,所述控制模块用于控制所述第一浮置扩散区与所述第三浮置扩散区之间的通断,以及控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量。

可选地,图像传感器电路还包括:第一复位晶体管,所述第一复位晶体管的第一端分别与所述第一浮置扩散区和所述第一传输晶体管的第二端连接,所述第一复位晶体管的第二端与电源端连接。

可选地,图像传感器电路还包括:第二传输晶体管和第二复位晶体管;所述第二传输晶体管的第一端与所述第二浮置扩散区连接,,所述第二传输晶体管的第二端与所述第一浮置扩散区连接,所述第二传输晶体管的第三端与所述控制模块连接,所述第二复位晶体管的第一端与所述第二浮置扩散区连接,所述第二复位晶体管的第二端与所述控制模块连接,所述第二浮置扩散区接地。

可选地,图像传感器电路还包括:第三传输晶体管和第三复位晶体管;

所述第三传输晶体管的第一端与所述第三浮置扩散区连接,所述第三传输晶体管的第二端与所述第一浮置扩散区连接,所述第三传输晶体管的第三端与所述控制模块连接,所述第三复位晶体管的第一端与所述第三浮置扩散区连接,所述第三复位晶体管的第二端与所述控制模块连接,所述第三浮置扩散区接地。

可选地,图像传感器电路还包括:第一驱动开关、第一行选择器、第一相关双采样电路和第一模数转换模块,所述第一驱动开关的第一端与所述第一浮置扩散区连接,所述第一驱动开关的第二端与所述第一行选择器的第一端连接,所述第一相关双采样电路分别与所述第一行选择器的第二端和所述第一模数转换模块连接。

可选地,图像传感器电路还包括:第二驱动开关、第二行选择器、第二相关双采样电路和第二模数转换模块,所述第二驱动开关的第一端与所述第二浮置扩散区连接,所述第二驱动开关的第二端与所述第二行选择器的第一端连接,所述第二相关双采样电路分别与所述第二行选择器的第二端和所述第二模数转换模块连接。

可选地,图像传感器电路还包括:第三驱动开关、第三行选择器、第三相关双采样电路和第三模数转换模块,所述第三驱动开关的第一端与所述第三浮置扩散区连接,所述第三驱动开关的第二端与所述第三行选择器的第一端连接,所述第三相关双采样电路分别与所述第三行选择器的第二端和所述第三模数转换模块连接。

可选地,所述控制模块包括:第一检测单元、第二检测单元和控制单元,所述第一检测单元和所述第二检测单元分别与所述控制单元连接,所述控制单元还分别与所述信号增强模块和所述信号抑制模块连接,,所述第一检测单元用于检测预览图像中亮度小于第一阈值的第一图像区域,,所述第二检测单元用于检测所述预览图像中亮度大于第二阈值的第二图像区域。

可选地,所述第一浮置扩散区的电容量与所述第二浮置扩散区的电容量的比值为8:1~16:1;所述第一浮置扩散区的电容量与所述第三浮置扩散区的电容量的比值为1:32~1:64。

所述处理器910,用于通过所述控制模块确定预览图像中的第一图像区域和第二图像区域,以及所述第一图像区域的亮度提升目标值和所述第二图像区域的亮度抑制目标值,所述第一图像区域为所述预览图像中亮度小于第一阈值的区域,所述第二图像区域为所述预览图像中亮度大于第二阈值的区域;

所述处理器910,用于通过所述控制模块控制所述第一图像区域和所述第二图像区域对应的第一传输晶体管断开,并对光敏元件进行曝光以产生电子;

所述处理器910,用于通过所述控制模块控制所述第一图像区域对应的第一传输晶体管导通,并根据所述亮度提升目标值,通过所述控制模块控制第一浮置扩散区与第二浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第二浮置扩散区的电子数量;

所述处理器910,用于通过所述控制模块控制所述第二图像区域对应的第一传输晶体管导通,并根据所述亮度抑制目标值,通过所述控制模块控制第一浮置扩散区与第三浮置扩散区之间连通,并控制从所述第一浮置扩散区进入所述第三浮置扩散区的电子数量;

所述处理器910,用于通过所述控制模块分别读出所述第一浮置扩散区、所述第二浮置扩散区和所述第三浮置扩散区对应的电压信号,并基于所述电压信号得到目标图像。

所述处理器910,具体用于通过所述控制模块控制从所述第一浮置扩散区进入所述第二浮置扩散区中的电子数量,使所述第一浮置扩散区中剩余电子数量大于所述第二浮置扩散区中的电子数量。

所述处理器910,具体用于通过所述控制模块控制从所述第一浮置扩散区进入所述第三浮置扩散区中的电子数量,使所述第一浮置扩散区中剩余电子数量小于所述第三浮置扩散区中的电子数量。

应理解的是,本申请实施例中,输入单元904可以包括图形处理器(GraphicsProcessing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071,也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,,在此不再赘述。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。

处理器910可包括一个或多个处理单元;可选地,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像采集方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像采集方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像采集方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

技术分类

06120115934836