掌桥专利:专业的专利平台
掌桥专利
首页

曝光控制方法、拍摄处理方法、装置和介质

文献发布时间:2023-06-19 16:03:19



技术领域

本申请涉及图像处理技术领域,特别是涉及一种曝光控制方法、拍摄处理方法、装置和介质。

背景技术

曝光是通过感光器件接收镜头进光形成影像的过程,在拍摄的过程中,拍摄背景或拍摄主体的明暗强度会发生变化。在外界光线变强的情况下容易曝光过度,导致拍摄图像过亮而缺乏层次和细节;或者,在外界光线变弱的情况下容易曝光不足,导致拍摄图像过暗而无法反映真实色泽,因此在拍摄过程中需要进行曝光控制。

目前的曝光控制方法,通常利用测光技术,对拍摄图像进行环境亮度的统计,并确定与环境亮度统计结果相匹配的曝光参数。

在实际应用中,拍摄图像的亮度通常受到动态范围(Dynamic Range)的限制。动态范围是指摄像机支持的最大输出信号和最小输出信号的比值,或者说图像的亮度上限值与亮度下限值的灰度比值。这样,在实际环境亮度超出动态范围的情况下,环境亮度统计结果往往与实际环境亮度不符,导致曝光控制的准确度较低,进而导致图像的拍摄质量较低。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,拍摄图像偏亮;又如,在实际环境亮度小于动态范围的亮度下限值的情况下,拍摄图像偏暗。

发明内容

本申请实施例提供了一种曝光控制方法,能够提高图像的拍摄质量。

相应地,本申请实施例还提供了一种曝光控制装置、一种拍摄处理方法、一种拍摄处理装置、一种电子设备和一种机器可读介质,用以保证上述方法的实现及应用。

为了解决上述问题,本申请实施例公开了一种曝光控制方法,所述方法包括:

确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,所述第一标准动态范围图像包括:对所述第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第一拍摄图像组包括:第一正常曝光图像和第一异常曝光图像;

根据预测模型,确定所述第一标准动态范围图像和所述第一异常曝光图像之间的第一亮度差异信息;所述预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;所述训练数据对应的标签根据所述亮度调整的信息确定;

根据所述第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;所述第二亮度差异信息为根据所述第一曝光参数对应的目标亮度信息与所述第一异常曝光图像对应的亮度信息确定;

根据所述第一曝光调整信息,对所述第一曝光参数进行调整,以得到第二曝光参数。

为了解决上述问题,本申请实施例公开了一种拍摄处理方法,所述方法包括:

根据第二曝光参数进行图像采集,以得到第二拍摄图像组;所述第二拍摄图像组包括:第二正常曝光图像和第二异常曝光图像;

对所述第二拍摄图像组进行高动态图像合成处理,以得到第二高动态范围图像;

对所述第二高动态范围图像进行动态范围压缩,以得到第二标准动态范围图像;

对第二标准动态范围图像进行预设处理,以得到目标图像;

对所述目标图像进行输出;

其中,所述第二曝光参数的确定过程包括:确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,所述第一标准动态范围图像包括:对所述第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第一拍摄图像组包括:第一正常曝光图像和第一异常曝光图像;根据预测模型,确定所述第一标准动态范围图像和所述第一异常曝光图像之间的第一亮度差异信息;所述预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;根据所述第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;所述第二亮度差异信息为根据所述第一曝光参数对应的目标亮度信息与所述第一异常曝光图像对应的亮度信息确定;根据所述第一曝光调整信息,对所述第一曝光参数进行调整,以得到第二曝光参数。

为了解决上述问题,本申请实施例公开了一种曝光控制装置,所述装置包括:

第一确定模块,用于确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,所述第一标准动态范围图像包括:对所述第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第一拍摄图像组包括:第一正常曝光图像和第一异常曝光图像;

第一预测模块,用于根据预测模型,确定所述第一标准动态范围图像和所述第一异常曝光图像之间的第一亮度差异信息;所述预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;所述训练数据对应的标签根据所述亮度调整的信息确定;

第一调整信息确定模块,用于根据所述第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;所述第二亮度差异信息为根据所述第一曝光参数对应的目标亮度信息与所述第一异常曝光图像对应的亮度信息确定;

第一调整模块,用于根据所述第一曝光调整信息,对所述第一曝光参数进行调整,以得到第二曝光参数。

为了解决上述问题,本申请实施例公开了一种拍摄处理装置,所述装置包括:

图像采集模块,用于根据第二曝光参数进行图像采集,以得到第二拍摄图像组;所述第二拍摄图像组包括:第二正常曝光图像和第二异常曝光图像;

高动态图像合成处理模块,用于对所述第二拍摄图像组进行高动态图像合成处理,以得到第二高动态范围图像;

动态范围压缩模块,用于对所述第二高动态范围图像进行动态范围压缩,以得到第二标准动态范围图像;

预设处理模块,用于对第二标准动态范围图像进行预设处理,以得到目标图像;

输出模块,用于对所述目标图像进行输出;

其中,所述第二曝光参数的确定过程包括:确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,所述第一标准动态范围图像包括:对所述第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第一拍摄图像组包括:第一正常曝光图像和第一异常曝光图像;根据预测模型,确定所述第一标准动态范围图像和所述第一异常曝光图像之间的第一亮度差异信息;所述预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;根据所述第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;所述第二亮度差异信息为根据所述第一曝光参数对应的目标亮度信息与所述第一异常曝光图像对应的亮度信息确定;根据所述第一曝光调整信息,对所述第一曝光参数进行调整,以得到第二曝光参数。

本申请实施例还公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例所述的方法。

本申请实施例还公开了一种机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例所述的方法。

本申请实施例包括以下优点:

在本申请实施例中,对第一曝光参数对应的第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,得到的第一标准动态范围图像可以起到提升亮度效果的作用。即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第一曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第一曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

并且,本申请实施例的第一曝光参数可以表征正在使用的曝光参数。在将第一曝光参数调整为第二曝光参数后,可以继续将第二曝光参数作为第一曝光参数进行调整,因此,本申请实施例可以持续进行曝光参数的调整。

此外,本申请实施例中,第一曝光参数对应的第一标准动态范围图像可以得到第二曝光参数,第二曝光参数又可以得到对应的标准动态范围图像。因此,本申请实施例可以采用反馈调节的方式,使得曝光参数逐渐与实际环境亮度相匹配;这样,能够在优化曝光的情况下,逐渐提升标准动态范围图像的亮度效果,而标准动态范围图像的亮度效果的提升,又可以提高曝光参数的调整准确度。

附图说明

图1是本申请一个实施例的拍摄处理系统的结构示意图;

图2是本申请一个实施例的曝光控制方法的步骤流程示意图;

图3是本申请一个实施例的图像信号处理器的结构示意图;

图4是本申请一个实施例的预测模型的训练方法的流程示意图;

图5是本申请一个实施例的图像信号处理器的结构示意图;

图6是本申请一个实施例的曝光控制方法的步骤流程示意图;

图7是本申请一个实施例的拍摄处理方法的步骤流程示意图;

图8是本申请一个实施例的拍摄处理方法的步骤流程示意图;

图9是本申请一个实施例的曝光控制装置的结构示意图;

图10是本申请一个实施例的拍摄处理装置的结构示意图

图11是本申请一个实施例提供的装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请实施例可以应用于拍摄处理场景中。参照图1,示出了本申请一个实施例的拍摄处理系统的结构示意图,该拍摄处理系统可以位于相机或手机或摄像机等电子设备中,具体可以包括:光学镜片101、传感器102、ISP(图像信号处理器,Image SignalProcessing)103和存储显示装置104。

其中,光学镜片101,用于把光聚焦到传感器上,以得到光信号。传感器102,用于将光信号转换成电信号。ISP103,用于将传感器得到的电信号进行处理,以得到可视的目标图像。存储显示装置104用于对目标图像进行存储和显示。

ISP103可以对光学镜片101和传感器102进行控制,进而完成自动光圈、自动曝光、自动白平衡等功能。

在一种实现方式中,ISP103可以包括:固件和逻辑单元。逻辑单元除了完成一部分图像算法处理外,还可以统计出拍摄图像的实时信息。固件通过获取逻辑单元的图像统计信息,重新计算,反馈控制光学镜片101、传感器102和逻辑单元,以达到自动调节图像质量的目的。可以理解,本申请实施例对ISP103的具体工作原理不加以限制。

AE(自动曝光, Automatic Exposure)功能是ISP103的一个功能。自动曝光功能可以在拍摄过程中基于曝光控制,提升图像质量。

目前的曝光控制方法,通常利用测光技术,对拍摄图像进行环境亮度的统计,并确定与环境亮度统计结果相匹配的曝光参数。

在实际应用中,拍摄图像的亮度通常受到动态范围的限制。这样,在实际环境亮度超出动态范围的情况下,环境亮度统计结果往往与实际环境亮度不符,导致曝光控制的准确度较低,进而导致图像的拍摄质量较低。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,拍摄图像偏亮。假设实际亮度为1000,但是亮度上限值为256,则ISP103按照256到128的亮度压缩倍数进行亮度调整,则将拍摄图像中实际环境亮度1000压缩2倍后的图像亮度值为500,比128亮很多,所以导致拍摄图像偏亮。

针对图像的拍摄质量较低的技术问题,本申请实施例提供了一种曝光控制方法,该方法可以包括:

确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,该第一标准动态范围图像可以包括:对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像;

根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息;该预测模型的训练数据可以包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;该训练数据对应的标签可以根据该亮度调整的信息确定;

根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;该第二亮度差异信息可以为根据该第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息确定;

根据该第一曝光调整信息,对该第一曝光参数进行调整,以得到第二曝光参数。

本申请实施例可以根据第一曝光参数进行拍摄,以得到第一拍摄图像组。该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像。其中,第一异常曝光图像可以包括:曝光过度和/或曝光不足等异常曝光情况对应的图像。

本申请实施例还可以对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,以得到第一标准动态范围图像。其中,高动态图像合成处理可以提供高动态范围和更多的图像细节;动态范围压缩可以在提供更宽动态范围和更多图像细节的情况下,将高动态范围映射到标准动态范围,能够提高第一标准动态范围图像与实际环境亮度之间的匹配度,也即能够提高图像的亮度效果。换言之,本申请实施例对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,可以起到提高第一标准动态范围图像与实际环境亮度之间的匹配度、以及提升亮度效果的作用。

本申请实施例还可以根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息。由于预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;该训练数据对应的标签可以根据该亮度调整的信息确定,故基于该训练数据对预测模型进行训练后,可以使预测模型具备亮度差异信息的预测能力。

本申请实施例还可以根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息。该第一亮度差异信息可以反映该第一标准动态范围图像(提升亮度效果后的图像)和该第一异常曝光图像(根据第一曝光参数采集的异常曝光图像)之间的亮度差异,该第二亮度差异信息可以反映该第一曝光参数对应的目标亮度信息与该第一异常曝光图像(根据第一曝光参数采集的异常曝光图像)对应的亮度信息之间的差异。这样,第一亮度差异信息可以作为第二亮度差异信息的参考对照,故得到的第一曝光调整信息能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。

综上,本申请实施例对第一曝光参数对应的第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,得到的第一标准动态范围图像可以起到提升亮度效果的作用。即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第一曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第一曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

并且,本申请实施例的第一曝光参数可以表征正在使用的曝光参数。在将第一曝光参数调整为第二曝光参数后,可以继续将第二曝光参数作为第一曝光参数进行调整,因此,本申请实施例可以持续进行曝光参数的调整。

此外,本申请实施例中,第一曝光参数对应的第一标准动态范围图像可以得到第二曝光参数,第二曝光参数又可以得到对应的标准动态范围图像。因此,本申请实施例可以采用反馈调节的方式,使得曝光参数逐渐与实际环境亮度相匹配;这样,能够在优化曝光的情况下,逐渐提升标准动态范围图像的亮度效果,而标准动态范围图像的亮度效果的提升,又可以提高曝光参数的调整准确度。

方法实施例一

参照图2,示出了本申请一个实施例的曝光控制方法的步骤流程示意图,该方法具体可以包括如下步骤:

步骤201、确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,该第一标准动态范围图像可以包括:对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像;

步骤202、根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息;该预测模型的训练数据可以包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;该训练数据对应的标签可以根据该亮度调整的信息确定;该训练数据对应的标签可以作为误差信息预测模型的误差信息和反向传播的依据;

步骤203、根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;该第二亮度差异信息可以为根据该第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息确定;

步骤204、根据该第一曝光调整信息,对该第一曝光参数进行调整,以得到第二曝光参数。

图2所示方法实施例一可用于在拍摄过程中对正在使用的第一曝光参数进行调整,以得到第二曝光参数。图2所示方法实施例一所包括的步骤可由ISP执行,可以理解,本申请实施例对于图2所示方法所包括步骤的具体执行主体不加以限制。

参照图3,示出了本申请一个实施例的图像信号处理器的结构示意图,该图像信号处理器具体可以包括:自动曝光模块301、图像采集模块302、高动态图像合成处理模块303、动态范围压缩模块304和预测模型305。

其中,自动曝光模块301用于确定第i帧拍摄图像对应的第一曝光参数。i可以为正整数。在实际应用中,第1帧拍摄图像对应的第一曝光参数(也即第一曝光参数的初始值)可由本领域技术人员或用户预置得到。

本申请实施例可以根据步骤201至步骤204,对第1帧拍摄图像对应的第一曝光参数进行调整,以得到第2帧拍摄图像对应的第二曝光参数。以此类推,可以根据步骤201至步骤204,对第i帧拍摄图像对应的第一曝光参数进行调整,以得到第(i+1)帧拍摄图像对应的第二曝光参数。可以理解,本申请实施例的方法可以应用于对任意帧拍摄图像对应的第一曝光参数进行调整。

本申请实施例的曝光参数可以包括:光圈参数、曝光时间和增益等中的至少一种。其中,光圈参数利用进光孔来控制曝光时到达感光芯片上的光线照度强弱,可以控制进光量;曝光时间可以利用开启时间的长短,控制感光芯片光子采样时间;增益可以指感光元器件的感光度,感光度越强,图像的亮度也就越大。

图像采集模块302可用于根据自动曝光模块301提供的第一曝光参数,进行拍摄(图像采集),以得到第一拍摄图像组。该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像。其中,第一异常曝光图像可以包括:曝光过度和/或曝光不足等异常曝光情况对应的图像。例如,第一异常曝光图像可以包括:第一短曝光图像和/或第一长曝光图像。第一短曝光图像的数量可以为一个或多个,同理,第一长曝光图像的数量可以为一个或多个。例如,可以根据第一曝光参数,设置曝光不足对应的一种或多种短曝光参数,并根据一种或多种短曝光参数进行图像采集,以得到一个或多个第一短曝光图像。

高动态图像合成处理模块303可以对第一拍摄图像组进行HDR(高动态图像合成处理,High Dynamic Range Imaging),以得到第一高动态范围图像。高动态图像合成处理可对正常曝光留下的第一图像细节和异常曝光留下的第二图像细节进行自动合成,因此可以提供高动态范围和更多的图像细节。例如,第一图像细节可以为中灰细节,第二图像细节可以包括:长曝光对应的暗部细节和短曝光对应的亮度细节。

动态范围压缩模块304可以对第一高动态范围图像进行DRC(动态范围压缩,Dynamic Range Compression),以得到第一标准动态范围图像。动态范围压缩可以在提供更宽动态范围和更多图像细节的情况下,将高动态范围映射到标准动态范围,能够提高第一标准动态范围图像与实际环境亮度之间的匹配度,也即能够提高图像的亮度效果。第一标准动态范围图像可以指第一高动态范围图像对应的、处于标准动态范围内的图像。

动态范围压缩的压缩方法可以有多种,比如线性移位方法、对数映射方法、分段函数映射方法、自适应性对数映射方法、高动态范围图像可视化方法。

本申请实施例可以提供动态范围压缩的如下压缩方法:

压缩方法A1、根据预设图像特征,对所述第一拍摄图像组对应的高动态范围图像进行动态范围压缩;所述预设图像特征可以包括如下图像特征中的至少一种:直方图特征、环境特征和目标分割特征;和/或

压缩方法A2、利用动态范围压缩模型,对所述第一拍摄图像组对应的高动态范围图像进行动态范围压缩;所述动态范围压缩模型为对修图前后的图像的样本进行训练得到。

其中,压缩方法A1可以根据预设图像特征,对所述第一拍摄图像组对应的高动态范围图像进行动态范围压缩。由于该预设图像特征可以包括如下图像特征中的至少一种:直方图特征、环境特征和目标分割特征等,直方图特征可以包括:全局直方图分布或局部直方图分布,环境特征可以包括:环境类别(如白天、夜晚、夕阳、阴天、晴天等),目标分割特征有包括:不同目标之间的分割特征(如人与背景之间的分割特征等),因此,压缩方法A1可以提高第一标准动态范围图像与实际环境亮度之间的匹配度。并且,压缩方法A1可以增强第一标准动态范围图像的对比度。

压缩方法A1可以与线性移位方法、对数映射方法、分段函数映射方法、自适应性对数映射方法、高动态范围图像可视化方法等压缩方法相结合。

压缩方法A2的动态范围压缩模型可以为对修图前后的图像的样本进行训练得到,图像对样本可以包括:修图前图像和修图后图像。修图后图像可由摄像师对修图前图像进行修图得到。因此,图像对样本可以让动态范围压缩模型去拟合摄影师的修图风格,这样,能够提高第一标准动态范围图像的图像质量,进而能够提高曝光调整的准确度。

本申请实施例可以对数学模型进行训练,以得到动态范围压缩模型。数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型,数学模型是针对参照某种事物系统的特征或数量依存关系,采用数学语言,概括地或近似地表述出的一种数学结构,这种数学结构是借助于数学符号刻画出来的关系结构。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程及其组合,通过这些方程定量地或定性地描述系统各变量之间的相互关系或因果关系。除了用方程描述的数学模型外,还有用其他数学工具,如代数、几何、拓扑、数理逻辑等描述的模型。其中,数学模型描述的是系统的行为和特征而不是系统的实际结构。其中,可采用机器学习、深度学习方法等方法进行数学模型的训练,机器学习方法可包括:线性回归、决策树、随机森林等,深度学习方法可包括:CNN(卷积神经网络,Convolutional Neural Networks)、LSTM(长短期记忆网络,Long Short-TermMemory)、GRU(门控循环单元,Gated Recurrent Unit)等。

预测模型305,可用于确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息;该预测模型的训练数据可以包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;该训练数据对应的标签可以根据该亮度调整的信息确定。对异常曝光图像样本进行亮度调整和动态范围压缩,可以起到提升亮度效果的作用。因此,训练数据中的异常曝光图像样本和目标图像样本可以分别对应亮度效果提升前的图像和亮度效果提升后的图像。

参照图4,示出了本申请一个实施例的预测模型的训练方法的流程示意图,其中,可以对异常曝光图像样本Iu进行亮度调整。亮度调整可以包括:对短曝光图像样本提亮X倍;和/或,对长曝光图像样本压暗X倍等,X可以为大于1的实数。例如,X可以为随机生成的在(1,maxT)之间的数。MaxT可以为设定的调整值上限。

进一步,可以对亮度调整后的图像进行动态范围压缩,以得到目标图像样本I。((Iu, I), X)可以组成该预测模型的训练数据。X可以作为该训练数据对应的标签。

本申请实施例可以根据训练数据对预测模型进行训练,以使预测模型具备亮度差异信息的预测能力。亮度差异信息可以表征输入的两个图像之间的亮度差异。在预测模型的训练过程中,亮度差异信息可以表征输入的(Iu, I)之间的亮度差异。在预测模型的使用过程(也即,曝光控制过程)中,亮度差异信息可以表征输入的第一标准动态范围图像与第一异常曝光图像之间的亮度差异。

本申请实施例可以对数学模型进行训练,以得到预测模型。在一种实现方式中,预测模型可以包括:提取模块和全连接处理模块。其中,提取模块用于分别针对(Iu, I)提取对应的亮度信息;全连接处理模块可用于对(Iu, I)分别对应的亮度信息进行全连接处理,以得到亮度差异信息的预测结果。

预测模型的训练过程可以包括:前向传播和反向传播。

其中,前向传播(Forward Propagation)可以根据预测模型的参数,按照从输入层到输出层的顺序,依次计算最后得到输出信息(如亮度差异信息的预测结果)。其中,输出信息可用于确定误差信息。误差信息可以表征亮度差异信息的预测结果与标签之间的差异。

反向传播(Backward Propagation)可以根据误差信息,按照从输出层到输入层的顺序,依次计算并对预测模型的参数进行更新。其中,反向传播过程中,可以确定预测模型的参数的梯度信息,并利用该梯度信息,对预测模型的参数进行更新。例如,反向传播可以依据微积分中的链式法则,沿着从输出层到输入层的顺序,依次计算并存储预测模型的处理层(包括输入层、中间层和输出层)的参数的梯度信息。

在曝光控制过程中,预测模型得到的第一亮度差异信息可以表征输入的第一标准动态范围图像与第一异常曝光图像对应的亮度信息之间的亮度差异。

在实际应用中,拍摄得到的第一异常曝光图像可以是拜尔滤色镜(bayer)阵列的图像数据,其格式可以为RGGB(红绿绿蓝,RedGreenGreenBlue)。而第一标准动态范围图像的格式可以是RGB(红绿蓝,RedGreenBlue)。在实际应用中,可以从第一异常曝光图像的RGGB格式里舍弃一个G通道,以得到RGB格式的第一异常曝光图像,由此可以实现第一标准动态范围图像与第一异常曝光图像之间的格式统一。

预测模型305或其他模块可以根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息,并向自动曝光模块301提供该第一曝光调整信息。

在具体实现中,预测模型305可以集成进动态范围压缩模块304,作为动态范围压缩模块304的子模块。这样,动态范围压缩模块304在输出第一标准动态范围图像的同时,也可以输出第一亮度差异信息或第一曝光调整信息。

该第二亮度差异信息可以反映该第一曝光参数对应的目标亮度信息与该第一异常曝光图像(根据第一曝光参数采集的异常曝光图像)对应的亮度信息之间的差异。这样,第一亮度差异信息可以作为第二亮度差异信息的参考对照,故得到的第一曝光调整信息能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。

自动曝光模块301可以根据第一曝光调整信息,对第一曝光参数进行调整,以得到第二曝光参数。

参照图5,示出了本申请一个实施例的图像信号处理器的结构示意图,该图像信号处理器具体可以包括:自动曝光模块501、图像采集模块502、高动态图像合成处理模块503、动态范围压缩模块504、预测模型505、预设处理模块506和输出模块507。

图5相对于图3增设了:预设处理模块506和输出模块507。其中,预设处理模块506可用于对第一标准动态范围图像进行预设处理,以得到目标图像。输出模块507用于对目标图像进行输出,例如输出给图1中的存储显示模块。因此,图5所示图像信号处理器可以在拍摄处理过程中,根据用户的拍摄指令进行处理,并向存储显示模块提供目标图像,以使用户对目标图像进行查看。

由于曝光控制所采用的第一异常曝光图像和第一标准动态范围图像均是拍摄处理过程中的图像,因此,本申请实施例能够降低曝光控制的处理成本。

需要说明的是,动态范围压缩模块504输出的图像可以作为第一标准动态范围图像,或者,预设处理模块506输出的图像也可以作为第一标准动态范围图像。

在步骤201中,可以利用图像信号处理器的图像采集模块,根据第一曝光参数进行拍摄,以得到第一拍摄图像组。可以利用图像信号处理器的高动态图像合成处理模块对第一拍摄图像组进行高动态图像合成处理,以得到第一高动态范围图像。以及,可以利用动态范围压缩模块对第一高动态范围图像进行动态范围压缩,以得到第一标准动态范围图像。

在步骤202中,可以根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息。例如,第一亮度差异信息可以表示为X1。

在步骤203中,可以根据该第一亮度差异信息X1、以及第二亮度差异信息X2,确定第一曝光调整信息。

其中,该第二亮度差异信息X2可以根据该第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息确定。

本申请实施例可以保存曝光参数与亮度信息之间的映射关系表。对该映射关系表进行查询,可以得到某亮度信息对应的曝光参数;或者,对该映射关系表进行查询,可以得到第一曝光参数对应的目标亮度信息。

本申请实施例中,第一异常曝光图像的亮度信息的确定过程可以包括:确定第一异常曝光图像的RGB(红绿蓝,RedGreenBlue)分量,并根据亮度Y与RGB分量之间的对应关系,确定第一异常曝光图像的亮度信息。公式(1)为亮度Y与RGB分量之间的对应关系的示例:

Y(亮度)=(0.299

其中,R表示第一异常曝光图像的红分量,G表示第一异常曝光图像的绿分量,B表示第一异常曝光图像的蓝分量。

该第二亮度差异信息X2可以表征第一曝光参数对应的目标亮度信息相对于该第一异常曝光图像对应的亮度信息的差异。例如,该第二亮度差异信息X2可以为第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息之间的比值。

该第一亮度差异信息X1可以表征该第一标准动态范围图像相对于该第一异常曝光图像的亮度差异。这样,对该第一亮度差异信息X1与该第二亮度差异信息X2进行对比,得到的第一曝光调整信息可以反映该第一标准动态范围图像相对于目标亮度信息的亮度差异,也可以反映目标亮度信息的调整方向。例如,第一曝光调整信息可以为该第一亮度差异信息X1与该第二亮度差异信息X2的比值。

在一种实现方式中,亮度差异信息可以为亮度比值,第一曝光调整信息可以包括:第一亮度差异信息与第二亮度差异信息之间的比值信息。在该第一异常曝光图像为第一短曝光图像的情况下,该第一亮度差异信息X1可以表征该第一标准动态范围图像相对于该第一短曝光图像的亮度比值为X1,该第二亮度差异信息X2 可以表征目标亮度信息相对于该第一短曝光图像对应的亮度信息的亮度比值为X2,此种情况下的X1和X2可以大于1;则第一曝光调整信息可以为X1/X2。

在该第一异常曝光图像为第一长曝光图像的情况下,该第一亮度差异信息X1可以表征该第一标准动态范围图像相对于该第一长曝光图像的亮度比值为X1,该第二亮度差异信息X2 可以表征目标亮度信息相对于该第一长曝光图像对应的亮度信息的亮度比值为X2,此种情况下的X1和X2可以小于1;则第一曝光调整信息可以为X1/X2。

当然,该第一标准动态范围图像相对于该第一异常曝光图像的亮度差异,只是作为该第一亮度差异信息X1的示例,实际上,该第一亮度差异信息X1还可以为该第一异常曝光图像相对于该第一标准动态范围图像的亮度差异。同理,第一曝光参数对应的目标亮度信息相对于该第一异常曝光图像对应的亮度信息的差异,只是作为该第二亮度差异信息X2的示例,实际上,该第二亮度差异信息X2还可以为该第一异常曝光图像对应的亮度信息相对于第一曝光参数对应的目标亮度信息的差异。

因此,本申请的一种实现方式中,该第一亮度差异信息X1可以表征该第一标准动态范围图像相对于该第一异常曝光图像的亮度差异,该第二亮度差异信息X2可以表征第一曝光参数对应的目标亮度信息相对于该第一异常曝光图像对应的亮度信息的差异。在本申请的另一种实现方式中,该第一亮度差异信息X1可以为该第一异常曝光图像相对于该第一标准动态范围图像的亮度差异,该第二亮度差异信息X2可以为该第一异常曝光图像对应的亮度信息相对于第一曝光参数对应的目标亮度信息的差异。

在步骤204中,根据该第一曝光调整信息,对该第一曝光参数进行调整,以得到第二曝光参数。基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。

例如,在该第一曝光调整信息X1/X2大于1的情况下,第一标准动态范围图像对应的方向可以为提升亮度,故可以按照提升亮度的方向,对该第一曝光参数进行调整。又如,在该第一曝光调整信息X1/X2小于1的情况下,第一标准动态范围图像对应的方向可以为降低亮度,故可以按照降低亮度的方向,对该第一曝光参数进行调整。

本申请实施例对该第一曝光参数进行调整的过程可以包括:根据该第一曝光调整信息,对该第一曝光参数对应的目标亮度信息进行调整,并根据调整后的目标亮度信息,对该映射关系表进行查询,可以得到调整后的目标亮度信息对应的第二曝光参数。

具体而言,在该第一曝光调整信息X1/X2大于1的情况下,可以增加该第一曝光参数对应的目标亮度信息。或者,在该第一曝光调整信息X1/X2小于1的情况下,可以降低该第一曝光参数对应的目标亮度信息。假设目标亮度信息的数值为Y1,则调整后的目标亮度信息的数值Y2与目标亮度信息的数值Y1可以成正比,例如,Y2=Y1* X1/X2。当然,在该第一曝光调整信息X1/X2等于1的情况下,可以不对该第一曝光参数对应的目标亮度信息进行调整。

综上,本申请实施例的曝光控制方法,对第一曝光参数对应的第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,得到的第一标准动态范围图像可以起到提升亮度效果的作用。即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第一曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第一曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

并且,本申请实施例的第一曝光参数可以表征正在使用的曝光参数。在将第一曝光参数调整为第二曝光参数后,可以继续将第二曝光参数作为第一曝光参数进行调整,因此,本申请实施例可以持续进行曝光参数的调整。

此外,本申请实施例中,第一曝光参数对应的第一标准动态范围图像可以得到第二曝光参数,第二曝光参数又可以得到对应的标准动态范围图像。因此,本申请实施例可以采用反馈调节的方式,使得曝光参数逐渐与实际环境亮度相匹配;这样,能够在优化曝光的情况下,逐渐提升标准动态范围图像的亮度效果,而标准动态范围图像的亮度效果的提升,又可以提高曝光参数的调整准确度。

方法实施例二

参照图6,示出了本申请一个实施例的曝光控制方法的步骤流程示意图,该方法具体可以包括如下步骤:

步骤601、确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,该第一标准动态范围图像可以包括:对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像;

步骤602、根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息;该预测模型的训练数据可以包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;该训练数据对应的标签可以根据该亮度调整的信息确定;

步骤603、根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;该第二亮度差异信息可以为根据该第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息确定;

步骤604、根据该第一曝光调整信息,对该第一曝光参数进行调整,以得到第二曝光参数;

相对于图2所示方法实施例一,本实施例的方法还可以包括:

步骤605、确定第二曝光参数对应的第二拍摄图像组和第二标准动态范围图像;

其中,该第二标准动态范围图像可以包括:对该第二拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;该第二拍摄图像组可以包括:第二正常曝光图像和第二异常曝光图像;第二异常曝光图像与第一异常曝光图像类似,可以包括:第二短曝光图像和/或第二长曝光图像。

步骤606、根据预测模型,确定该第二标准动态范围图像和该第二异常曝光图像之间的第三亮度差异信息;

步骤607、根据该第三亮度差异信息、以及第四亮度差异信息,确定第二曝光调整信息;该第四亮度差异信息可以为根据该第二曝光参数对应的目标亮度信息与该第二异常曝光图像对应的亮度信息确定;

步骤608、根据该第二曝光调整信息,对该第二曝光参数进行调整,以得到第三曝光参数。

步骤605可以对第二曝光参数对应的第二拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,得到的第二标准动态范围图像可以起到提升亮度效果的作用。

步骤606确定第三亮度差异信息的过程与步骤602确定第一亮度差异信息的过程类似,步骤607确定第二曝光调整信息与步骤603确定第一曝光调整信息的过程类似,步骤608对该第二曝光参数进行调整的过程与步骤604对该第一曝光参数进行调整的过程类似,故在此不作赘述,相互参照即可。

可以理解,本领域技术人员还可以按照步骤601至步骤604的原理,对第j次曝光参数进行调整,以得到第(j+1)次曝光参数,j可以为正整数。

综上,本申请实施例的曝光控制方法,由于第二标准动态范围图像可以起到提升亮度效果的作用,故即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第二标准动态范围图像得到的第二曝光调整信息,仍然能够指示向第二标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第二曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第二曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

此外,本申请实施例中,第二曝光参数对应的第二标准动态范围图像可以得到第三曝光参数,第三曝光参数又可以得到对应的标准动态范围图像。因此,本申请实施例可以采用反馈调节的方式,使得曝光参数逐渐与实际环境亮度相匹配;这样,能够在优化曝光的情况下,逐渐提升标准动态范围图像的亮度效果,而标准动态范围图像的亮度效果的提升,又可以提高曝光参数的调整准确度。

方法实施例三

参照图7,示出了本申请一个实施例的拍摄处理方法的步骤流程示意图,该方法具体可以包括如下步骤:

步骤701、根据第二曝光参数进行图像采集,以得到第二拍摄图像组;该第二拍摄图像组可以包括:第二正常曝光图像和第二异常曝光图像;

步骤702、对该第二拍摄图像组进行高动态图像合成处理,以得到第二高动态范围图像;

步骤703、对该第二高动态范围图像进行动态范围压缩,以得到第二标准动态范围图像;

步骤704、对第二标准动态范围图像进行预设处理,以得到目标图像;

步骤705、对该目标图像进行输出;

其中,该第二曝光参数的确定过程可以包括:确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,该第一标准动态范围图像可以包括:对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像;根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息;该预测模型的训练数据可以包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;该第二亮度差异信息可以为根据该第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息确定;根据该第一曝光调整信息,对该第一曝光参数进行调整,以得到第二曝光参数。

图7所示方法实施例三可用于在拍摄过程中根据调整后的第二曝光参数得到目标图像,并对目标图像进行输出。图7所示方法实施例三所包括的步骤可由ISP执行,可以理解,本申请实施例对于图7所示方法所包括步骤的具体执行主体不加以限制。

本申请实施例在拍摄处理过程中,可以根据第二曝光参数进行图像采集,并对采集得到的第二拍摄图像组依次进行高动态图像合成处理和动态范围压缩,以得到第二标准动态范围图像;然后,可以对第二标准动态范围图像进行预设处理,以得到目标图像;接着,可以对该目标图像进行输出。预设处理可以包括:颜色变换等处理,本申请实施例对于具体的预设处理不加以限制。

综上,本申请实施例的拍摄处理方法,由于本申请实施例的第二曝光参数是根据第一标准动态范围图像得到的,而第一标准动态范围图像可以起到提升亮度效果的作用;这样,即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第一曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第一曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

方法实施例四

参照图8,示出了本申请一个实施例的拍摄处理方法的步骤流程示意图,该方法具体可以包括如下步骤:

步骤801、根据第二曝光参数进行图像采集,以得到第二拍摄图像组;该第二拍摄图像组可以包括:第二正常曝光图像和第二异常曝光图像;

步骤802、对该第二拍摄图像组进行高动态图像合成处理,以得到第二高动态范围图像;

步骤803、对该第二高动态范围图像进行动态范围压缩,以得到第二标准动态范围图像;

步骤804、对第二标准动态范围图像进行预设处理,以得到目标图像;

步骤805、对该目标图像进行输出;

其中,该第二曝光参数的确定过程可以包括:确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,该第一标准动态范围图像可以包括:对该第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;该第一拍摄图像组可以包括:第一正常曝光图像和第一异常曝光图像;根据预测模型,确定该第一标准动态范围图像和该第一异常曝光图像之间的第一亮度差异信息;该预测模型的训练数据可以包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;根据该第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;该第二亮度差异信息可以为根据该第一曝光参数对应的目标亮度信息与该第一异常曝光图像对应的亮度信息确定;根据该第一曝光调整信息,对该第一曝光参数进行调整,以得到第二曝光参数;

相对于图7所示方法实施例三,本实施例的方法还可以包括:

步骤806、根据预测模型,确定该第二标准动态范围图像和该第二异常曝光图像之间的第三亮度差异信息;

步骤807、根据该第三亮度差异信息、以及第四亮度差异信息,确定第二曝光调整信息;该第四亮度差异信息可以为根据该第二曝光参数对应的目标亮度信息与该第二异常曝光图像对应的亮度信息确定;

步骤808、根据该第二曝光调整信息,对该第二曝光参数进行调整,以得到第三曝光参数。

本申请实施例对第二曝光参数对应的第二拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,得到的第二标准动态范围图像可以起到提升亮度效果的作用。即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第二标准动态范围图像得到的第二曝光调整信息,仍然能够指示向第二标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第二曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第二曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

本申请实施例得到的第三曝光参数可用于后续的拍摄处理过程,以提高图像的拍摄质量。

需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。

在上述实施例的基础上,本实施例还提供了一种曝光控制装置,参照图9,该曝光控制装置具体可以包括:第一确定模块901、第一预测模块902、第一调整信息确定模块903和第一调整模块904。

其中,第一确定模块901,用于确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,所述第一标准动态范围图像包括:对所述第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第一拍摄图像组包括:第一正常曝光图像和第一异常曝光图像;

第一预测模块902,用于根据预测模型,确定所述第一标准动态范围图像和所述第一异常曝光图像之间的第一亮度差异信息;所述预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;所述训练数据对应的标签根据所述亮度调整的信息确定;

第一调整信息确定模块903,用于根据所述第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;所述第二亮度差异信息为根据所述第一曝光参数对应的目标亮度信息与所述第一异常曝光图像对应的亮度信息确定;

第一调整模块904,用于根据所述第一曝光调整信息,对所述第一曝光参数进行调整,以得到第二曝光参数。

可选地,所述第一曝光调整信息包括:所述第一亮度差异信息与所述第二亮度差异信息之间的比值信息。

可选地,所述第一异常曝光图像包括:第一短曝光图像、或第一长曝光图像。

可选地,所述动态范围压缩包括:

根据预设图像特征,对所述第一拍摄图像组对应的高动态范围图像进行动态范围压缩;所述预设图像特征包括如下图像特征中的至少一种:直方图特征、环境特征和目标分割特征;和/或

利用动态范围压缩模型,对所述第一拍摄图像组对应的高动态范围图像进行动态范围压缩;所述动态范围压缩模型为对修图前后的图像对样本进行训练得到。

可选地,所述装置还可以包括:

第二确定模块,用于确定第二曝光参数对应的第二拍摄图像组和第二标准动态范围图像;其中,所述第二标准动态范围图像包括:对所述第二拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第二拍摄图像组包括:第二正常曝光图像和第二异常曝光图像;

第二预测模块,用于根据预测模型,确定所述第二标准动态范围图像和所述第二异常曝光图像之间的第三亮度差异信息;

第二调整信息确定模块,用于根据所述第三亮度差异信息、以及第四亮度差异信息,确定第二曝光调整信息;所述第四亮度差异信息为根据所述第二曝光参数对应的目标亮度信息与所述第二异常曝光图像对应的亮度信息确定;

第二调整模块,用于根据所述第二曝光调整信息,对所述第二曝光参数进行调整,以得到第三曝光参数。

综上,本申请实施例的曝光控制装置,对第一曝光参数对应的第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩等处理,得到的第一标准动态范围图像可以起到提升亮度效果的作用。即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第一曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第一曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

并且,本申请实施例的第一曝光参数可以表征正在使用的曝光参数。在将第一曝光参数调整为第二曝光参数后,可以继续将第二曝光参数作为第一曝光参数进行调整,因此,本申请实施例可以持续进行曝光参数的调整。

此外,本申请实施例中,第一曝光参数对应的第一标准动态范围图像可以得到第二曝光参数,第二曝光参数又可以得到对应的标准动态范围图像。因此,本申请实施例可以采用反馈调节的方式,使得曝光参数逐渐与实际环境亮度相匹配;这样,能够在优化曝光的情况下,逐渐提升标准动态范围图像的亮度效果,而标准动态范围图像的亮度效果的提升,又可以提高曝光参数的调整准确度。

在上述实施例的基础上,本实施例还提供了一种拍摄处理装置,参照图10,该装置可以包括:图像采集模块1001、高动态图像合成处理模块1002、动态范围压缩模块1003、预设处理模块1004和输出模块1005。

其中,图像采集模块1001,用于根据第二曝光参数进行图像采集,以得到第二拍摄图像组;所述第二拍摄图像组可以包括:第二正常曝光图像和第二异常曝光图像;

高动态图像合成处理模块1002,用于对所述第二拍摄图像组进行高动态图像合成处理,以得到第二高动态范围图像;

动态范围压缩模块1003,用于对所述第二高动态范围图像进行动态范围压缩,以得到第二标准动态范围图像;

预设处理模块1004,用于对第二标准动态范围图像进行预设处理,以得到目标图像;

输出模块1005,用于对所述目标图像进行输出;

其中,所述第二曝光参数的确定过程具体可以包括:确定第一曝光参数对应的第一拍摄图像组和第一标准动态范围图像;其中,所述第一标准动态范围图像包括:对所述第一拍摄图像组依次进行高动态图像合成处理和动态范围压缩后的图像;所述第一拍摄图像组包括:第一正常曝光图像和第一异常曝光图像;根据预测模型,确定所述第一标准动态范围图像和所述第一异常曝光图像之间的第一亮度差异信息;所述预测模型的训练数据包括:异常曝光图像样本、以及对异常曝光图像样本进行亮度调整和动态范围压缩后的目标图像样本;根据所述第一亮度差异信息、以及第二亮度差异信息,确定第一曝光调整信息;所述第二亮度差异信息为根据所述第一曝光参数对应的目标亮度信息与所述第一异常曝光图像对应的亮度信息确定;根据所述第一曝光调整信息,对所述第一曝光参数进行调整,以得到第二曝光参数。

可选地,上述装置还可以包括:

预测模块,用于根据预测模型,确定所述第二标准动态范围图像和所述第二异常曝光图像之间的第三亮度差异信息;

调整信息确定模块,用于根据所述第三亮度差异信息、以及第四亮度差异信息,确定第二曝光调整信息;所述第四亮度差异信息为根据所述第二曝光参数对应的目标亮度信息与所述第二异常曝光图像对应的亮度信息确定;

调整模块,用于根据所述第二曝光调整信息,对所述第二曝光参数进行调整,以得到第三曝光参数。

综上,本申请实施例的拍摄处理装置,由于本申请实施例的第二曝光参数是根据第一标准动态范围图像得到的,而第一标准动态范围图像可以起到提升亮度效果的作用;这样,即使在实际环境亮度超出动态范围的情况下,本申请实施例基于第一标准动态范围图像得到的第一曝光调整信息,仍然能够指示向第一标准动态范围图像对应的方向调整,因此能够提高图像的拍摄质量。例如,在实际环境亮度大于动态范围的亮度上限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像压暗的效果,这使得向图像压暗的方向对第一曝光参数进行调整,以在一定程度上克服图像偏亮的问题。又如,在实际环境亮度小于动态范围的亮度下限值的情况下,高动态图像合成处理和动态范围压缩等处理,可以起到图像提亮的效果,这使得向图像提亮的方向对第一曝光参数进行调整,以在一定程度上克服图像偏暗的问题。

本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。

本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务器(集群)等各类型的设备。

本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括:终端设备、服务器(集群)等电子设备。图11示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1100 。

对于一个实施例,图11示出了示例性装置1100,该装置具有一个或多个处理器1102、被耦合到(一个或多个)处理器1102中的至少一个的控制模块(芯片组)1104、被耦合到控制模块1104的存储器1106、被耦合到控制模块1104的非易失性存储器(NVM)/存储设备1108、被耦合到控制模块1104的一个或多个输入/输出设备1110,以及被耦合到控制模块1104的网络接口1112。

处理器1102可包括一个或多个单核或多核处理器,处理器1102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1100 能够作为本申请实施例中所述终端设备、服务器(集群)等设备。

在一些实施例中,装置1100 可包括具有指令1114的一个或多个计算机可读介质(例如,存储器1106或NVM/ 存储设备1108) 以及与该一个或多个计算机可读介质相合并被配置为执行指令1114以实现模块从而执行本公开中所述的动作的一个或多个处理器1102。

对于一个实施例,控制模块1104可包括任意适当的接口控制器,以向(一个或多个)处理器1102中的至少一个和/或与控制模块1104通信的任意适当的设备或组件提供任意适当的接口。

控制模块1104可包括存储器控制器模块,以向存储器1106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

存储器1106可被用于例如为装置1100加载和存储数据和/或指令1114。对于一个实施例,存储器1106可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM) 。

对于一个实施例,控制模块1104可包括一个或多个输入/输出控制器,以向NVM/存储设备1108及(一个或多个)输入/输出设备1110 提供接口。

例如,NVM/存储设备1108可被用于存储数据和/或指令1114。NVM/存储设备1108可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD) 、一个或多个光盘(CD) 驱动器和/或一个或多个数字通用光盘(DVD) 驱动器)。

NVM/存储设备1108可包括在物理上作为装置1100 被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如, NVM/存储设备1108可通过网络经由(一个或多个)输入/输出设备1110 进行访问。

(一个或多个)输入/输出设备1110 可为装置1100 提供接口以与任意其他适当的设备通信,输入/输出设备1110可以包括通信组件、音频组件、传感器组件等。网络接口1112可为装置1100 提供接口以通过一个或多个网络通信,装置1100 可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。

对于一个实施例,(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器(例如,存储器控制器模块) 的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP) 。对于一个实施例, (一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例, (一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC) 。

在各个实施例中,装置1100可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1100 可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1100包括一个或多个摄像机、键盘、液晶显示器(LCD) 屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC) 和扬声器。

其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。

对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请实施例所提供的一种曝光控制方法和装置、一种拍摄处理方法和装置、一种电子设备和一种机器可读介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 曝光控制方法、拍摄处理方法、装置和介质
  • 全景拍摄的自动曝光控制处理方法、装置及设备
技术分类

06120114688904