掌桥专利:专业的专利平台
掌桥专利
首页

一种曝光模式切换方法及相关设备

文献发布时间:2024-04-18 19:52:40


一种曝光模式切换方法及相关设备

技术领域

本申请涉及拍摄领域,尤其涉及一种曝光模式切换方法及相关设备。

背景技术

室内交流电照明存在频闪问题。例如,国内交流电频率为50Hz,即每秒钟刷新100次。在这种情况下,若曝光时间是1/100s的整倍数(以上述1/50s为例),每次曝光过程中的频闪次数大致相等,每一帧图像的亮度接近。一般来说,普通的传感器一般按照高感模式曝光。相比于低感模式,在高感模式下,相同光源环境下快门速度会更快。即高感模式下的曝光时间会更短。这也就意味着,当室内光线较强且存在交流电照明时,曝光时间很可能小于1/100s。每次曝光过程中的频闪次数不同,相邻两帧图像的亮度不一致,即产生闪烁(flicker)现象。

因此,如何避免闪烁现象是目前亟待解决的问题。

发明内容

本申请提供了一种曝光模式切换方法及相关设备。根据该曝光模式切换方法,电子设备开启相机应用后可以在双感光模式下获取图像,若存在闪烁现象,且当前的环境亮度大于第一阈值,电子设备可以切换至低感光模式来获取图像。可理解,相同环境亮度下,低感光模式对应的曝光时间要比双感光模式对应的曝光时间长,可以避免闪烁现象,提升了用户在进行拍照预览或录像预览时的体验。

第一方面,本申请提供一种曝光模式切换方法。根据该方法,响应于第一操作,电子设备可以开启相机应用。电子设备可以在双感光模式下获取N帧图像。若电子设备根据N帧图像的亮度确定存在闪烁现象,且当前的环境亮度大于第一阈值,电子设备可以切换至低感光模式,并在低感光模式下获取M帧图像。可理解,M帧图像中相邻帧图像的亮度的明暗变化小于N帧图像中相邻帧的图像的亮度的明暗变化。可理解,闪烁现象为电子设备显示的相邻帧图像的亮度呈现明暗变化的现象。其中,N为不小于2的整数,M为不小于2的整数。

在本申请提供的方案中,若电子设备在双感光模式下获取图像时出现闪烁现象,即电子设备在双感光模式下获取的相邻图像帧的亮度呈现明暗变化,且当前的环境亮度大于第一阈值,电子设备可以从双感光模式切换至低感光模式。切换为低感光模式之后,电子设备获取的相邻图像帧的亮度的明暗程度变化变小。可理解,低感光模式和双感光模式对应的曝光表存在区别。相同环境亮度条件下,低感光模式下的曝光时间要长于双感光模式下的曝光时间。通过这种方式,电子设备获取的相邻帧图像的亮度的明暗程度的变化会变小,也就是说,电子设备显示在显示屏上的图像的亮度差异会变小,电子设备显示的预览画面中忽明忽暗的程度会减轻,可以提升用户预览或录像时的体验。

在本申请的一些实施例中,电子设备在获取N帧图像以及M帧图像的过程中,可以处于拍照预览状态或录像预览状态。该录像预览状态包括开始录像前的预览状态和开始录像后的预览状态。

在本申请的一些实施例中,第一操作可以为触发开启相机应用的用户操作。例如,点击相机应用图标。

在本申请的一些实施例中,N帧图像可以包括下文中的图像A和图像B。在这种情况下,当前的环境亮度指的是获取图像A时的环境亮度。

在本申请的一些实施例中,M帧图像可以包括下文中的图像D和图像E。

在本申请的一些实施例中,第一阈值为第一环境亮度阈值。

需要说明的是,本申请中的电子设备可以为下文中所提及的电子设备100。

结合第一方面,在第一方面的一种可能的实现方式中,电子设备可以包括摄像头。可理解,摄像头可以包括图像传感器。图像传感器可以为双转换增益DCG传感器。DCG传感器可以包括第一传感器和第二传感器。其中,第一传感器的转换增益CG大于第二传感器的CG。电子设备在双感光模式下获取N帧图像的具体实现方式可以包括:电子设备的图像传感器工作在双感光模式,在双感光模式下,电子设备通过双感光模式对应的曝光表确定第一曝光参数,并根据第一曝光参数分别通过第一传感器获取第一图像,以及通过第二传感器获取第二图像,并根据第一图像和第二图像,得到第三图像。其中,第一曝光参数可以包括第一曝光时间和第一感光度。第三图像为高动态范围HDR图像。第三图像为N帧图像中的一帧图像。电子设备切换至低感光模式,并在低感光模式下获M帧图像,可以通过如下方式来实现:电子设备控制摄像头的图像传感器从双感光模式切换至低感光模式。在低感光模式下,电子设备根据低感光模式对应的曝光表确定第二曝光参数,并根据第二曝光参数通过第二传感器获取M帧图像。第二曝光模式包括第二曝光时间和第二感光度。

在本申请提供的方案中,电子设备在双感光模式下获取的每一帧图像都是由通过第一传感器和第二传感器获取的图像进行融合后所得的图像。为了获取亮度合适的图像,往往环境亮度较亮时,相应的曝光时间会减小。可理解,高亮(环境亮度较亮)场景下,电子设备在双感光模式下采取的曝光时间较短,很有可能短于人工光源的闪烁周期,从而造成闪烁现象。即相邻帧图像明暗变化较大。这种闪烁现象非常影响用户的拍摄体验。本申请中,在存在闪烁现象,以及环境亮度较亮的情况下,电子设备可以切换至低感光模式,电子设备获取图像的曝光时间会变长,从而大于人工光源的闪烁周期,使得获取的相邻图像帧的明暗变化较小,降低了图像的明暗变化对用户的拍摄体验的影响。

在本申请的一些实施例中,电子设备在双感光模式下的曝光参数可以理解为高感光模式对应的曝光表中的曝光参数。

可理解,这里所提及的感光度指的是ISO。

在本申请的一些实施例中,第一图像可以为a1,第二图像可以为a2。第三图像可以为图像A。

可理解,相比普通的图像,高动态范围(High-Dynamic Range,HDR)图像能够提供更多的动态范围和图像细节,一般被运用于电视显示产品以及图片视频拍摄制作当中。

可理解,关于DCG和CG的相关描述可以参考下文,在此不展开说明。

结合第一方面,在第一方面的一种可能的实现方式中,电子设备的图像传感器工作在双感光模式,具体包括:在电子设备开启相机应用后,响应于第二操作,电子设备显示录像预览界面,电子设备的图像传感器默认工作在双感光模式。录像预览界面为开启录像前的预览界面或者开启录像后的预览界面。

在本申请提供的方案中,电子设备进入录像预览界面后,其图像传感器默认工作在双感光模式。可理解,电子设备在双感光模式下获取的图像的动态范围更高,其中的图像细节更多。也就是说,电子设备在双感光模式下可以获取质量更好的图像。

在本申请的一些实施例中,第二操作可用于触发电子设备显示录像预览界面。例如,点击录像拍摄模式控件。录像拍摄模式控件用于触发电子设备显示开启录像前的预览界面。再例如,点击开启录像控件。录像控件用于触发电子设备显示开启录像后的预览界面。

结合第一方面,在第一方面的一种可能的实现方式中,M帧图像中的每两帧图像之间的亮度差异小于第二阈值。

在本申请的一些实施例中,电子设备切换为低感光模式后获取的M帧图像中每两帧图像的亮度差小于第二阈值。在这种情况下,该M帧图像亮度的明暗变化程度较小,可视为不存在闪烁现象。也就是说,切换为低感光模式后,电子设备获取的图像亮度较为一致,用户的拍着体验显著提高。

可理解,第二阈值可以根据实际需要进行设置,本申请对此不作限制。

结合第一方面,在第一方面的一种可能的实现方式中,在低感光模式下获M帧图像之后,曝光模式切换方法还可以包括:若电子设备根据P帧图像的亮度确定不存在闪烁现象,或者,当前的环境亮度小于第三阈值,电子设备可以控制图像传感器从低感光模式切换至双感光模式。其中,P帧图像包括M帧图像中的部分或全部图像。

在本申请提供的实施例中,电子设备在低感光模式下获取M帧图像之后,若检测到不再存在闪烁现象,或者,当前的环境亮度较低,电子设备可以切换至双感光模式。双感光模式下获取的图像的质量更高,电子设备在判断当前的环境亮度低到可能不再导致闪烁现象,或者,不存在闪烁现象的情况下,可以切换至双感光模式,以保证在尽可能避免闪烁现象的情况下获取更高质量的图像。

在本申请的一些实施例中,P帧图像可以包括M帧图像中的部分图像,且不包括N帧图像中的图像。

在本申请的一些实施例中,P帧图像可以包括M帧图像。

在本申请的一些实施例中,P帧图像可以包括N帧图像中的部分图像,以及M帧图像中的部分或全部图像。

可理解,第三阈值可以根据实际需要进行设置,本申请对此不作限制。

在本申请的一些实施例中,第三阈值可以为第二环境亮度阈值。

结合第一方面,在第一方面的一种可能的实现方式中,电子设备控制图像传感器从低感光模式切换至双感光模式之后,电子设备可以通过双感光模式对应的曝光表确定第三曝光参数,并根据第三曝光参数分别通过第一传感器和第二传感器获取图像,并根据通过第一传感器和所述第二传感器获取的图像,得到预览图像。第三曝光模式包括第三曝光时间和第三感光度。

在本申请提供的实施例中,双感光模式下,电子设备获取的图像是由通过不同转换增益的传感所得的图像融合后的图像。因此,双感光模式下,电子设备获取的图像可以包含更多的亮部细节和暗部细节。通过上述方式,电子设备可以保证在尽可能避免闪烁现象的情况下获取更高质量的图像,也提高了用户的拍摄体验。

结合第一方面,在第一方面的一种可能的实现方式中,电子设备在双感光模式下获取N帧图像之后,电子设备可以确定N帧图像中每相邻两帧图像的亮度差,得到第一亮度差集合。电子设备可以确定N帧图像中亮度大于第四阈值的图像的数量。电子设备可以判断N帧图像中亮度大于第四阈值的图像是否为连续图像帧。电子设备根据N帧图像的亮度确定存在闪烁现象,具体可以包括:第一亮度差集合中大于第五阈值的元素所占的比例大于第一比例,N帧图像中亮度大于第四阈值的图像的数量大于1,并且N帧图像中亮度大于第四阈值的图像不全为连续图像帧。

结合第一方面,在第一方面的一种可能的实现方式中,电子设备在双感光模式下获取N帧图像之后,电子设备可以从N帧图像中筛选出亮度大于第四阈值的图像,得到第一图像集。电子设备可以确定第一图像集中的图像与相邻图像的亮度差,得到第二亮度差集合。电子设备可以判断N帧图像中亮度大于第四阈值的图像是否为连续图像帧。电子设备可以根据N帧图像的亮度确定存在闪烁现象,具体包括:第二亮度差集合中大于第五阈值的元素所占的比例大于第一比例,N帧图像中亮度大于第四阈值的图像的数量大于1,并且N帧图像中亮度大于第四阈值的图像不全为连续图像帧。

在本申请的一些实施例中,第四阈值为下文所描述的第三预设阈值

在本申请的一些实施例中,第五阈值为下文所描述的第二预设阈值。

可理解,第四阈值、第五阈值和第一比例可以根据实际需求进行设置,本申请对此不作限制。

结合第一方面,在第一方面的一种可能的实现方式中,电子设备根据N帧图像的亮度确定存在闪烁现象,具体包括:电子设备可以基于色彩传感器RGB sensor分析N帧图像的亮度变化情况,并根据分析结果确定存在闪烁现象。分析结果用于表征N帧图像的亮度呈现规律性明暗变化。

可理解,RGB sensor可以根据采集图像时所测得的反射光的强度来判断图像的亮度差异,从而判断是否存在闪烁现象。可理解,相邻图像帧亮度差异较大的情况下,RGBsensor可以判断存在闪烁现象。

第二方面,本申请提供了一种电子设备。该电子设备可以包括显示屏、摄像头、存储器、一个或多个处理器。一个或多个处理器可以与摄像头、存储器耦合。存储器可以用于存储计算机程序代码。处理器,可以用于:响应于第一操作,开启相机应用;在双感光模式下获取N帧图像;若根据N帧图像的亮度确定存在闪烁现象,且当前的环境亮度大于第一阈值,切换至低感光模式,并在低感光模式下获取M帧图像。可理解,M帧图像中相邻帧图像的亮度的明暗变化小于N帧图像中相邻帧的图像的亮度的明暗变化。闪烁现象为电子设备显示的相邻帧图像的亮度呈现明暗变化的现象。另外,N为不小于2的整数,M为不小于2的整数

结合第二方面,在第二方面的一种可能的实现方式中,摄像头可以包括图像传感器。图像传感器可以为双转换增益DCG传感器。DCG传感器可以包括第一传感器和第二传感器。其中,第一传感器的转换增益CG大于第二传感器的CG。

处理器,在用于在双感光模式下获取N帧图像时,具体用于:图像传感器工作在双感光模式,在双感光模式下,通过双感光模式对应的曝光表确定第一曝光参数,并根据第一曝光参数分别通过第一传感器获取第一图像,以及通过第二传感器获取第二图像,并根据第一图像和第二图像,得到第三图像。其中,第一曝光参数可以包括第一曝光时间和第一感光度。第三图像为高动态范围HDR图像。第三图像为N帧图像中的一帧图像。处理器,在用于切换至低感光模式,并在低感光模式下获M帧图像时,具体用于:控制摄像头的图像传感器从双感光模式切换至低感光模式;在低感光模式下,根据低感光模式对应的曝光表确定第二曝光参数,并根据第二曝光参数通过第二传感器获取M帧图像。第二曝光模式包括第二曝光时间和第二感光度。

结合第二方面,在第二方面的一种可能的实现方式中,显示屏,可以用于:在开启相机应用后,响应于第二操作,显示录像预览界面。在这种情况下,摄像头包括的图像传感器默认工作在双感光模式。录像预览界面为开启录像前的预览界面或者开启录像后的预览界面。

结合第二方面,在第二方面的一种可能的实现方式中,M帧图像中的每两帧图像之间的亮度差异小于第二阈值。

结合第二方面,在第二方面的一种可能的实现方式中,在低感光模式下获M帧图像之后,处理器,还可以用于:若根据P帧图像的亮度确定不存在闪烁现象,或者,当前的环境亮度小于第三阈值,可以控制图像传感器从低感光模式切换至双感光模式。其中,P帧图像包括M帧图像中的部分或全部图像。

结合第二方面,在第二方面的一种可能的实现方式中,处理器用于控制图像传感器从低感光模式切换至双感光模式之后,还可以用于:通过双感光模式对应的曝光表确定第三曝光参数,并根据第三曝光参数分别通过第一传感器和第二传感器获取图像,并根据通过第一传感器和所述第二传感器获取的图像,得到预览图像。第三曝光模式包括第三曝光时间和第三感光度。

结合第二方面,在第二方面的一种可能的实现方式中,处理器用于在双感光模式下获取N帧图像之后,还可以用于:确定N帧图像中每相邻两帧图像的亮度差,得到第一亮度差集合。处理器,还可以用于:确定N帧图像中亮度大于第四阈值的图像的数量。处理器,还可以用于:判断N帧图像中亮度大于第四阈值的图像是否为连续图像帧。在第一亮度差集合中大于第五阈值的元素所占的比例大于第一比例,N帧图像中亮度大于第四阈值的图像的数量大于1,并且N帧图像中亮度大于第四阈值的图像不全为连续图像帧的情况下,处理器可以确定存在闪烁现象。

结合第二方面,在第二方面的一种可能的实现方式中,处理器用于在双感光模式下获取N帧图像之后,还可以用于:从N帧图像中筛选出亮度大于第四阈值的图像,得到第一图像集。处理器,还可以用于:确定第一图像集中的图像与相邻图像的亮度差,得到第二亮度差集合。处理器,还可以用于:判断N帧图像中亮度大于第四阈值的图像是否为连续图像帧。在第二亮度差集合中大于第五阈值的元素所占的比例大于第一比例,N帧图像中亮度大于第四阈值的图像的数量大于1,并且N帧图像中亮度大于第四阈值的图像不全为连续图像帧的情况下,处理器可以确定存在闪烁现象。

结合第二方面,在第二方面的一种可能的实现方式中,处理器,在用于根据N帧图像的亮度确定存在闪烁现象时,具体用于:基于色彩传感器RGB sensor分析N帧图像的亮度变化情况,并根据分析结果确定存在闪烁现象。分析结果用于表征N帧图像的亮度呈现规律性明暗变化。

第三方面,本申请提供一种计算机存储介质,包括计算机指令,当该计算机指令在电子设备上运行时,可以使得电子设备执行上述第一方面中任一种可能的实现方式。

第四方面,本申请实施例提供一种芯片,该芯片应用于电子设备,该芯片可以包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能的实现方式。

第五方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一种可能的实现方式。

可以理解地,上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的芯片、第五方面提供的计算机程序产品均用于执行上述第一方面中任一种可能的实现方式。因此,其所能达到的有益效果可参考上述第一方面中任一种可能的实现方式的有益效果,此处不再赘述。

附图说明

图1A-图1B为本申请实施例提供的交流电的波形图;

图2A为本申请实施例提供的一种光信号的波形图;

图2B为本申请实施例提供的又一种光信号的波形图;

图3A为本申请实施例提供的一种光信号的波形图;

图3B为本申请实施例提供的又一种光信号的波形图;

图4为本申请实施例提供的一种存在人工光源的拍摄场景的示意图;

图5为本申请实施例提供的一种电子设备100的硬件结构示意图;

图6为本申请实施例提供的一种电子设备100的软件结构示意图;

图7A-图7E为本申请实施例提供的一组用户界面示意图;

图8为本申请实施例提供的一种曝光模式切换方法的流程图;

图9为本申请实施例提供的又一种曝光模式切换方法的流程图;

图10是本申请实施例提供的一种电子设备的部分软硬件协作示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。

应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。

本申请涉及拍摄领域,为了便于理解本申请提供的方法,下面对拍摄领域的一些术语进行介绍。

1.闪烁现象(flicker)

当拍摄场景中存在人工光源时,拍摄画面可能会出现闪烁现象(flicker)。即相机、手机等电子设备上的预览画面和拍摄得到的视频中的画面可能随时间的变化忽亮忽暗。

下面介绍闪烁现象的形成原因。

日常生活中的用电一般是正弦波形的交流电。图1A示例性示出了电源的频率为60赫兹(Hz)的交流电的波形图。图1B示例性示出了电源的频率为50Hz的交流电的波形图。

当人工光源接交流电时,人工光源将电信号转换为光信号。由于电信号为一定频率的周期信号,所以转换所得的光信号也为一定频率的周期信号。可以理解为:人工光源发出的光随着时间呈现出一定频率、周期的变化,即出现频闪现象。

可理解,频闪现象是由电源的设计和人工光源本身的特性造成的。因此,没有真正意义上的无频闪。对于很多照明灯具来说,其工作电流必然随着输入电压的波动而波动,直接导致光输出的波动产生频闪。

然而,人工光源发出的光能量没有方向性,所以光信号的波形不再是正弦波形,而是频率为100Hz或120Hz的包络。具体地,如图2A所示,当人工光源接60Hz的交流电时,人工光源转换所得的光信号的波形是频率为120Hz的周期性变化的包络。如图2B所示,当人工光源接50Hz的交流电时,人工光源转换所得的光信号的波形是频率为100Hz的周期性变化的包络。

可以看出,人工光源的闪烁频率通常是该人工光源所接交流电频率的两倍。本申请实施例对人工光源的闪烁频率不作限定。例如,人工光源所接交流电的频率为50Hz或60Hz以外的频率,人工光源的闪烁频率可以为100Hz或120Hz以外的取值。

可理解,在人工光源转换所得的光信号的示意图中,一段时间内包络与X轴围成的面积(包络对应的函数在这一段时间的定积分)为人工光源在这段时间发出的光能量,即传感器在这一段时间内接收的光能量。可理解,传感器接收的光能量越多,曝光所得的图像就越亮。

可理解,本申请中所提及的传感器(即sensor)指的是图像传感器。图像传感器的形式可以为半导体芯片,包括但不限于电荷耦合器件(chargecoupledevice,CCD)和互补金属氧化物(Complementary Metal-Oxide-Semiconductor)。

若在拍摄第i帧图像时,传感器曝光的开始时间为T

为了便于说明,将人工光源的闪烁周期记为T。将一帧图像的曝光时间记为t,即T

下面以拍摄环境中存在接50Hz交流电的人工光源为例进行说明。

当人工光源接50Hz的交流电时,人工光源转换所得的光信号的波形是频率为100Hz的周期性变化的包络。人工光源的闪烁周期为:T=1/100s。

由图3A可知,t=2T=1/50s。在拍摄第i帧图像时,传感器接收的光能量为:S1+S2。在拍摄第i+1帧图像时,传感器接收的光能量为:S3+S4。可理解,S1=S2=S3=S4。S1、S2、S3和S4均可以表示传感器在时间T内接收的光能量。

可得:S3+S4=S1+S2。也就是说,传感器在曝光第i帧图像时接收的光能量与曝光第i+1帧图像时接收的光能量相同。也就是说,最终显示的第i帧图像和第i+1帧图像的亮度是一致的。

由图3B可知,t1+t2=t<T,也就是说,传感器的曝光时间小于人工光源的闪烁周期。传感器曝光第i帧图像时,传感器接收的光能量为:S5+S6。其中,S5可以表示传感器在时间t1内接收的光能量。S6可以表示传感器在时间t2内接收的光能量。

由图3B可知,t3+t4=t<T。传感器曝光第i+1帧图像时,传感器接收的光能量为:S7+S8。其中,S7可以表示传感器在时间t3内接收的光能量。S8可以表示传感器在时间t4内接收的光能量。

可理解,t1=t4,t2=t3。因此,S5=S8,S7<S6。明显地,S7+S8<S5+S6。因此,传感器在曝光第i帧图像时接收的光能量比曝光第i+1帧图像时接收的光能量要更多一些。也就是说,最终显示的第i帧图像和第i+1帧图像的亮度是不同的。第i帧图像比第i+1帧图像要更亮一些。

根据上述示例可得,由于人工光源转换所得的光信号为周期信号,在任意起始时间点,当T

综上,若曝光时间满足人工光源闪烁周期的整数倍,电子设备显示的相邻两帧图像亮度一致。若曝光时间不满足人工光源闪烁周期的整数倍,电子设备显示的相邻两帧图像亮度不一致。

2.ISO、满阱容量(Full-Well Capacity,FWC)

在胶片时代,ISO感光度是衡量传统相机所用的胶片感光速度标准的国际统一指标,感光度是由所购买的胶片决定的,数值是固定的,是胶片本身的一种属性。而数码相机、手机相机是通过电子的图像传感器CCD或者COMS感应入射光线的强弱,为了与传统相机所使用的胶片统一计量单位,引入了ISO感光度的概念,因此数码相机的ISO同样反映了其感光速度。ISO数字越大,代表对光线越敏感,ISO数字越小,代表对光线越不敏感。

以CMOS为例,CMOS的工作原理为:(1)光子进入光电二极管,光电二极管吸收光子的能量被激发产生电子;(2)电子输出到势阱;(3)势阱两端产生模拟的电压信号;(4)使用程控增益放大器对模拟的电压信号进行模拟放大得到放大后的电压信号;(5)对放大后的电压信号进行模数转换。

其中,第(4)步骤中对模拟的电压信号进行放大的放大倍数为转换增益(ConversionGain,CG),第(5)步中进行模数转换时的放大倍数可以理解为ISO。通常,像素中允许的电压摆幅(voltage swing)的大小在进行传感器设计时确定,之后电压摆幅是固定不变的。

满阱容量指的是单个像素点的势阱所能容纳的电子总数,达到满阱容量时会产生过曝的图像。满阱容量越大,单个像素的势阱所能容纳的电子总数越多,也就越不易过曝。

根据上文可知,传感器设计好之后,电压摆幅是固定的,因此,ISO可以对传感器的满阱容量产生明显的影响。具体地,假设像素允许的电压摆幅为Vmax,Vmax=CG*ISO*V,其中,V表示势阱两端产生的电压。在Vmax和CG固定的情况下,ISO越大,允许势阱两端产生的模拟电压V越小,也就是说,势阱所能容纳的电子数Q=C*V就越小,满阱容量就越小。其中,C表示势阱的电容,通常情况下,C是不变的。

也就是说,满阱容量会受ISO的影响,ISO越小,满阱容量越大,ISO越大,满阱容量越小。

3.曝光

曝光是拍摄中一个非常重要的环节,它决定了获取图像时感光元件能获取多少光线。也就是说,曝光决定图像的亮度(明暗)。曝光过程中,曝光时间(快门速度)、光圈大小以及感光度ISO(International Standards Organization)会具体影响图像的亮度。可以将这三个影响曝光的因素称为曝光参数。

曝光时间,也被称为快门速度,可以用秒(s)表示。曝光时间越短,图像越暗。曝光时间越长,图像越亮。光圈是镜头中控制光线进入相机的孔径大小的装置,用F表示。其中,F后面的数值与光圈大小成反比。光圈越大,通光孔径就会越大,从而进光量会增加,所以画面亮度增加。相反,光圈越小,进光量减少,所以画面亮度降低。

可理解,手机等电子设备中的光圈大小是固定的。因此,电子设备可以通过调节曝光时间和ISO,来改变曝光所得的图像的亮度。

4.动态范围(dynamic range,DR)

动态范围定义为满阱容量与本底噪声之间的比值,其中,本底噪声是指读出电路产生的噪声,以CMOS为例,本底噪声由像素内部的放大器决定,放大器可以是如上所述的步骤(4)、(5)中的放大器。本底噪声可以根据不同的读出电路进行不同的估计,可以根据热噪声公式进行估计,也可以根据1/f噪声公式进行估计。输出电路的任何接触面都会出现电导率波动,比如,导体-导体、导体-半导体、半导体-半导体等接触面都会出现电导率波动,放大电路中的接触面电导率波动就导致了1/f噪声,低频时1/f噪声为本底噪声的主要成分,而高频时1/f噪声会降低到比热噪声小,从而热噪声成为本底噪声主要成分。热噪声属于白噪声,是随机噪声的一种。

所以,对于相同的CMOS图像传感器,本底噪声与读出电路有关,由于设计好的图像传感器中读出电路是固定的,动态范围与满阱容量有关,满阱容量越大,动态范围也就越大。

5.转换增益(conversion gain)

在实际拍照时,动态范围越大,拍摄得到的图像可以包含的最亮和最暗的范围越大。

实际拍照时,拍摄场景的环境光经常变化,图像传感器可能需要捕获非常明亮的场景和非常黑暗的场景。为了捕获明亮场景的图像,图像传感器的满阱容量越大越好,并且,为了更好的捕获暗部场景的细节,期望图像传感器具有更高的感光度。也就是,通常期望图像传感器具有更大的满阱容量和更高的感光度。但是根据以上分析可知,感光度越高,满阱容量越小,动态范围越低。

举例来说,在亮光场景,图像传感器需要更大的满阱容量。这是因为满阱容量越大,传感器能容纳的电子数量越大,调整增益时不会因为乘积过大数字溢出,导致信息损失。表现在宏观上,就是拍摄时不容易过曝。但满阱容量大对应的感光度会变低,暗光场景下,拍摄得到的图像无法得到暗部的细节。而在弱光场景,图像传感器需要更高的感光度,即更强的感光能力。然而,更高的感光度会限制满阱容量。也就是说,若感光度增大,满阱容量会减小,亮光下容易过曝。另外,由于动态范围=满阱容量/本底噪声,所以若满阱容量减小,动态范围也会减小。

相关技术中,通过引入不同的转换增益,解决了上述问题。具有双转换增益(DualConversion Gain,DCG)能力的图像传感器,一个像素有两个势阱,两个势阱对应不同的满阱容量以及不同的转换增益(CG),大满阱容量对应低转换增益(LowConversion Gain,LCG)、低感光度,小满阱容量对应高转换增益(High Conversion Gain,HCG)、高感光度。这样,传感器可以在同一场景下使用两个势阱(两种感光度)和两种转换增益,一次曝光获取两张图像:高感光模式下的图像和低感光模式下的图像。再由电子设备将获取的两张图像合成一张图像,也就是高动态范围成像(High Dynamic Range Imaging,HDR)技术。

其中,高感光模式下的图像是指通过感光度高、满阱容量小的势阱获得的图像,低感光模式下的图像是指通过感光度低、满阱容量大的势阱获得的图像。

然而,为了更好的获得图像的暗部细节,图像传感器一般只按照一种感光模式进行曝光。通常来说,图像传感器一般按照高感光模式进行曝光,高感光模式下势阱的满阱容量比较小,在相同光源环境下,高感光模式比低感光模式的快门速度会更快,即高感光模式下的曝光时间会更短。

可理解,若拍摄场景为亮光场景,曝光时间很可能比人工光源的闪烁周期短。若拍摄场景存在人工光源,很可能出现上文所提到的闪烁现象,影响视频拍摄效果。如图4所示,拍摄场景存在吊灯和台灯,环境亮度过亮,拍摄时可能出现闪烁现象。

本申请提供了一种曝光模式切换方法及相关设备。根据该方法,亮光场景下,若电子设备检测到存在闪烁现象,可以使用低感光模式进行曝光。而在其他场景下,电子设备可以按照双感光模式来进行曝光。

可理解,本申请中所提及的曝光模式包括但不限于双感光模式、高感光模式和低感光模式。

下面首先对双感光模式进行简要介绍。

顾名思义,双感光模式对应于两种转换增益模式——低感光模式和高感光模式。实现双感光模式的原理主要是通过高满阱容量和低满阱容量来获得不同增益,从而实现不同的曝光效果。也就是说,传感器有两种转换增益——低转换增益和高转换增益。其中,低转换增益对应大满阱容量,本底噪声大;高转换增益对应小满阱容量,本底噪声小。

基于双感光模式,传感器可以在同场景下使用两种转换增益,并分别获取图像。再由电子设备将获取的两种转换增益下的图像合成一张图像。可理解,合成后的图像亮部细节丰富且暗部噪点少。

下面介绍本申请实施例涉及的装置。

图5为本申请实施例提供的一种电子设备100的硬件结构示意图。

电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。

可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

在本申请提供的实施例中,电子设备100可以通过处理器110执行所述曝光模式切换方法。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如AR设备等。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。

调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。

电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。

ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。

在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备100可以利用N个摄像头193获取多个曝光系数的图像,进而,在视频后处理中,电子设备100可以根据多个曝光系数的图像,通过HDR技术合成HDR图像。

数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。

NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。

电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。

扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。

受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。

麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。

耳机接口170D用于连接有线耳机。

传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图5所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。

压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。

气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。

距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。

在本申请的一些实施例中,电子设备100中的环境光传感器180L可以用于获取环境亮度并将其传送给相应的处理模块(例如,处理器110等)。

指纹传感器180H用于获取指纹。

温度传感器180J用于检测温度。

触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。

图6为本申请实施例提供的一种电子设备100的软件结构框图。

分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统从上至下分为应用程序层、应用程序框架层、运行时(Runtime)和系统库、硬件抽象层(HAL),以及内核层。

应用程序层可以包括一系列应用程序包。

如图6所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。

应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图6所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。

运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。

核心库包含两部分:一部分是编程语言(例如,iava语言)需要调用的功能函数,另一部分是系统的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,java文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGLES),二维图形引擎(例如:SGL)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。

三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

硬件抽象层(HAL)是位于操作系统内核与上层软件之间的接口层,其目的在于将硬件抽象化。

硬件抽象层可以设置有自动曝光(automatic exposure,AE)系统。在本申请的一些实施例中,AE系统可以包括自动曝光控制(automatic exposure control,AEC)算法模块和AEC统计模块。其中,AEC算法模块可以用于实现曝光参数的自动调整。AEC统计模块用于通过直方图分析所采集图像中的灰度分布情况。AEC统计模块可以将直方图传送给AEC算法模块,以便AEC算法模块调整曝光参数。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。

下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。

下面介绍本申请提供的一些拍摄的场景。

可理解,本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic userinterface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

1、进入拍照预览(图7A~图7C)

图7A示例性示出了电子设备100上的用于展示电子设备100安装的应用程序的示例性用户界面710。

用户界面710显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,天气应用图标、日历应用图标、相册应用图标、便签应用图标、电子邮件应用图标、应用商店应用图标、设置应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个应用图标(例如,相机应用图标711、浏览器应用图标、信息应用图标、拨号应用图标)。应用图标在页面切换时保持显示。

可理解,相机应用图标711为相机应用程序的图标。相机应用图标711可以用于触发启动相机应用程序。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序,本申请对该应用程序的名称不做限制。

需要说明的是,图7A所示的用户界面710仅为本申请提供的一个示例,不应视为对本申请的限制。也就是说,用户界面710可以显示更多或更少的内容,本申请对此不作限定。

电子设备100可以检测到作用于相机应用图标711的用户操作(比如触摸/点击操作),响应于该操作,电子设备100可以显示图7B所示的拍摄界面720。拍摄界面720可以是相机应用程序的默认拍照模式的用户界面,用户可以在该界面上预览图像并完成拍照。也就是说,用户可以通过点击相机应用图标711来打开相机应用程序的拍摄界面720。

可理解,本申请中所提及的用户操作可以包括但不限于触摸、点击、声控、手势等操作,本申请对此不作限制。

如图7B所示,拍摄界面720可包括参数调节区域721、预览区域722、相机模式选项723、相册快捷控件724、快门控件725、摄像头翻转控件726。

预览区域722可用于显示预览图像。该预览图像为电子设备100通过摄像头实时采集的图像。电子设备可以实时刷新预览区域722中的显示内容,以便于用户预览摄像头当前采集的图像。

相机模式选项723中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:夜景模式选项、智能人像模式选项、拍照模式选项、录像模式选项和更多选项。可理解,这一个或多个拍摄模式选项在界面上可以表现为文字信息,例如“夜景”、“智能人像”、“拍照”、“录像”、“更多”,还可以表现为图标或者其他形式的交互元素(interactive element,IE),本申请对此不作限制。

相册快捷控件724可用于开启相册应用程序。响应于作用在相册快捷控件724上的用户操作(比如触摸/点击操作),电子设备100可以开启相册应用程序。

快门控件725可用于监听触发拍照的用户操作。电子设备100可以检测到作用于快门控件725的用户操作,响应于该操作,电子设备100可以将预览区域722中的预览图像保存为相册应用程序中的图片。另外,电子设备100还可以在相册快捷控件724中显示所保存的图像的缩略图。也就是说,用户可以通过作用于快门控件725的操作来触发拍照。可理解,快门控件725可以是按钮或者其他形式的控件,本申请对此不作限制。

摄像头翻转控件726可用于监听触发翻转摄像头的用户操作。电子设备100可以检测到作用于摄像头翻转控件726的用户操作,例如触摸操作,响应于该操作,电子设备100可以翻转用于拍摄的摄像头,例如将后置摄像头切换为前置摄像头,或者将前置摄像头切换为后置摄像头。

拍摄界面400中还可以包含更多或更少的控件,本申请实施例对此不作限定。

可理解,图7B所示的用户界面720所包括的预览区域722可以显示图像1。图像1的亮度为亮度1。在本申请的一些实施例中,亮度1可以表示图像1的平均亮度。

电子设备100还可以显示图7C所示的用户界面730。用户界面730所包括的控件与用户界面720所包括的控件基本一致。用户界面730和用户界面720的区别在于:用户界面730的预览区域722中显示的是图像2,而用户界面720的预览区域722中显示的是图像1。需要说明的是,图像2和图像1是电子设备100的传感器曝光所得的相邻两帧图像。其中,传感器获取图像1的时间要早于获取图像2的时间。也就是说,电子设备100的传感器进行曝光时先获取图像1,紧接着再获取图像2。另外,图像2的亮度为亮度2。在本申请的一些实施例中,亮度2可以表示图像2的平均亮度。

需要说明的是,亮度1和亮度2的差值大于提前设置的阈值。也就是说,图像1和图像2的亮度差异较大。即产生了闪烁现象。

2、切换曝光模式,避免接下来预览图像的过程中出现闪烁现象(图7D~图7E)

电子设备100获取图像2时所采取的曝光模式是双感光模式。获取图像2之后,电子设备100可以根据图像1和图像2的平均亮度来判断是否出现了闪烁现象。如上文所述,图像1和图像2的亮度差异较大,电子设备100判断出现了闪烁现象。接下来,电子设备100可以比较环境亮度和第一环境亮度阈值。电子设备100可以确定环境亮度大于第一环境亮度阈值,并将曝光模式切换至低感光模式,并获取图像3,并将其显示在如图7D所示的用户界面740上。

如图7D所示,用户界面740的预览区域722上显示有图像3。图像3的亮度为亮度3。可理解,图像3和图像2为相邻两帧图像。图像3和图像2的亮度差异较大。即亮度2和亮度3的差值大于提前设置的阈值。

需要说明的是,电子设备100在获取图像3之后执行与上文类似的步骤。具体地,电子设备100可以判断出现了闪烁现象,并确定环境亮度不小于第二环境阈值。因此,电子设备100继续采取低感光模式进行曝光,并获取图像4,最终将其显示在如图7E所示的用户界面750上。

如图7E所示,用户界面750的预览区域722上显示有图像4。图像4的亮度为亮度4。可理解,图像4和图像3为相邻两帧图像。图像4和图像3的亮度差异较小。亮度4和亮度3的差值不大于提前设置的阈值。

可理解,获取图像4之后,电子设备100可以根据图像3和图像4的亮度判断未出现闪烁现象。电子设备100可以将曝光模式切换至双感光模式来获取图像,并将其显示在预览区域722上。

可理解,上述拍照预览场景仅为本申请提供的示例,不应视为对本申请的限制。电子设备100处于录像预览、录像、延时摄影等场景时,均可以通过上述方式来避免闪烁现象。当然,不同场景下的界面显示可能会有所不同,图7A-图7E所示的用户界面仅供参考,不应视为对本申请的限制。

下面介绍本申请提供的一种曝光模式切换方法。

请参考图8,图8为本申请实施例提供的一种曝光模式切换方法的流程图。可理解,图8所示的曝光模式切换方法的步骤可以包括但不限于以下步骤:

S801:电子设备100按照双感光模式进行曝光,获取图像A。

可理解,双感光模式下,电子设备100的传感器可以使用两种转换增益,并分别获取图像。也就是说,电子设备100的传感器可以分别获取高感光模式下曝光的图像和低感光模式下曝光的图像。电子设备100还可以将上述两种模式下获取的图像进行融合,得到最终显示的图像。双感光模式下,也可以理解为电子设备100包括两种转换增益的传感器。其中,具有更大转换增益的传感器对应于高感光模式,而具有更小转换增益的传感器对应于低感光模式。

具体的,电子设备100可以通过测光系统确定环境亮度,并确定该环境亮度下双感光模式所对应的曝光时间和ISO。电子设备100可以按照确定的曝光时间和ISO进行曝光,并获取图像a1和图像a2。其中,图像al为该环境亮度下按照高感光模式进行曝光所得的图像。图像a2为该环境亮度下按照低感光模式进行曝光所得的图像。可理解,电子设备100可以将图像a1和图像a2进行融合,得到图像A。

在本申请的一些实施例中,电子设备100将图像A显示在显示屏上,而不显示图像a1和图像a2。可理解,图像A可以为RAW图。RAW图,即RAW图像,是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据,也被称为原始图像文件。

在本申请的一些实施例中,电子设备100的摄像头中可以设置有测光系统。可理解,测光系统可以用于测定被摄对象反射的光亮度。即反射式测光。测光系统可以包括测光元件。测光系统的测光方式按测光元件的安放位置不同一般可分为外测光和内测光两种方式。在外测光方式中,测光元件与镜头的光路是各自独立的。这种测光方式广泛应用于平视取景镜头快门照相机中,它具有足够的灵敏度和准确度。单镜头反光照相机一般不使用这种测光方式。内测光方式是通过镜头的光束来进行测光,即TTL测光。TTL是英文“ThroughThe Lens”的缩写,直译为通过镜头。很多单镜头反光相机都采用这种测光方式。若电子设备100采取TTL测光方式,在检测到用户作用在快门控件上的动作时,可以自动启动TTL测光。此时,入射光线通过电子设备100的镜头以及反光板折射,进入内置的测光感应器,从而得到环境亮度。

可理解,表1为本申请实施例提供的一个示例。表1为双感光模式和低感光模式的曝光表。表1中的Lum、ET和ISO分别表示的是环境亮度、曝光时间和感光度。可理解,环境亮度的单位为勒克斯(Lux,法定符号1x)。Lum的单位为Lux。ET的单位为s。ISO所表示的感光度采用的标准为ISO标准。

表1

可理解,表1中的Lum一栏中,范围0~10包括端点0但不包括端点10。类似的,10~20包括端点10但不包括200。可理解,其它范围所包括的端点的具体情况与上述范围类似,在此不再赘述。

需要说明的是,不同环境亮度下的双感光模式和低感光模式分别对应的曝光时间和ISO可以由技术人员进行曝光标定所得。在本申请的一些实施例中,技术人员可以对处于双感光模式下的电子设备100进行标定,然后根据双感光模式和低感光模式的感光属性的关系,来设置低感光模式下的不同环境亮度所对应的曝光时间和ISO。类似的,技术人员也可以对处于低感光模式下的电子设备100进行标定,然后根据双感光模式和低感光模式的感光属性的关系,来设置双感光模式下的不同环境亮度所对应的曝光时间和ISO。当然,技术人员可以对处于双感光模式和低感光模式下电子设备100进行标定。

示例性的,技术人员在电子设备100出厂前对其进行标定:电子设备100的曝光参数为1/50s(曝光时间)、ISO 100时,电子设备100采取该曝光参数时可以正常曝光的环境亮度为L1 lux;电子设备100的曝光参数为1/50s(曝光时间)、ISO 200时,电子设备100采取该曝光参数时可以正常曝光的环境亮度为L2 lux。电子设备100可以记录标定时的环境亮度以及相应的曝光参数。可理解,电子设备100进行标定时可以采取18度灰卡。

可理解,这里所提及的双感光模式和低感光模式的感光属性的关系指的是电子设备100处于双感光模式下的感光能力为处于低感光模式下的感光能力的四倍。在本申请的一些实施例中,相同环境亮度下,电子设备100处于低感光模式下的曝光时间可以为双感光模式所对应的曝光时间的四倍,并且两种模式下的ISO相同。

需要说明的是,不同环境亮度下的双感光模式和低感光模式分别对应的曝光时间和ISO可以存储在配置文件中。该配置文件可以被调用。

另外,在进行标定时可以考虑人工光源的影响。在本申请的一些实施例中,标定时可以考虑多种频率的人工光源。

根据以上过程,电子设备可以实现测量被摄物体的反射光确定环境光亮度,然后查询表项确定对应的曝光参数,根据曝光参数按照双感光模式进行曝光,获取图像A。

在本申请的一些实施例中,电子设备100可以将图像a1中的过曝像素用图像a2中相应位置的像素进行替换。可理解,此处所提及的替换可以为部分或全部像素特征的替换。像素特征可以包括亮度等。也就是说,电子设备100可以将图a1中的过曝像素的亮度替换为图像a2中相应位置的像素的亮度。

当然,电子设备100将图像a1和图像a2进行融合的具体方式还有很多种。例如,主成分分析法、差分演化计算法、遗传算法、粒子群算法、蚁群算法、神经网络法和小波变换法等。本申请对图像a1和图像a2融合的具体方式不作限制。

在本申请的一些实施例中,电子设备100可以通过计算各个像素的亮度来确定图像a1中的过曝像素。例如,电子设备100可以计算图像a1的平均亮度,并确定亮度与平均亮度的差值大于第一预设阈值的像素为过曝像素。

可理解,图像a1和图像a2为Raw图。Raw图的平均亮度的计算方法在此不展开说明。

可理解,第一预设阈值可以根据实际需求进行设置,本申请对此不作限制。

在本申请的一些实施例中,双感光模式为电子设备100的默认曝光模式。也就是说,电子设备的传感器启动时,默认以双感光模式进行曝光。

在本申请的一些实施例中,高感光模式为电子设备100的默认曝光模式。也就是说,电子设备的传感器启动时,默认以高感光模式进行曝光。

S802:电子设备100基于图像A和图像B判断是否存在闪烁现象。其中,图像B为图像A的上一帧图像。

具体地,电子设备100可以基于图像A的亮度和图像B的亮度判断是否存在闪烁现象。若存在闪烁现象,电子设备100继续执行步骤S803,否则,电子设备100执行步骤S805。可理解,图像A和图像B为电子设备100获取的相邻两帧图像,并且图像B的采集时间早于图像A的采集时间。可理解,图像B可以为RAW图。在本申请的一些实施例中,电子设备100可以分别确定图像A的平均亮度和图像B的平均亮度,并计算图像A和图像B的平均亮度之差。若该平均亮度之差大于第二预设阈值,则电子设备100确定存在闪烁现象。可理解,图像A和图像B的平均亮度的计算方法可参考上文,在此不再赘述。

可理解,第二预设阈值可以根据实际需求进行设置,本申请对此不作限制。

在本申请的一些实施例中,电子设备100还可以通过RGB sensor来判断是否存在闪烁现象。可理解,RGB sensor为色彩传感器的一种。色彩传感器又称颜色传感器,一般用于检测颜色。RGB sensor中的一种测量模式是利用红绿蓝三基色的反射光强度实现检测目的。也就是说,RGB sensor可以测得拍摄环境下反射光的强度。RGB sensor可以根据采集图像时所测得的反射光的强度来判断图像的亮度差异,从而判断是否存在闪烁现象。

在本申请的一些实施例中,电子设备100还可以基于数量更多(多于两帧)的图像来判断是否存在闪烁现象。可理解,若电子设备100连续获取的N帧图像呈现规律性的明暗变化,则存在闪烁现象。可理解,N为大于2的整数。

下面介绍本申请实施例提供的几种示例性方法。

方法一:

电子设备100可以获取连续N帧图像,并分别计算该N帧图像的亮度。电子设备100还可以计算该N帧图像中每相邻两帧图像的亮度差。可理解,此处所提及的每相邻两帧图像的亮度差为亮度较高的图像与亮度较低的图像之间的亮度差值。也就是说,这里提及的亮度差为非负数。

另外,电子设备100还可以确定该N帧图像中亮度大于第三预设阈值的图像的数量,并将该数量记为u。电子设备100还可以判断这些亮度大于第三预设阈值的图像是否均为电子设备100获取的连续图像帧。

若该N帧图像中每相邻两帧图像的亮度差大于第二预设阈值的比例大于第一比例,u为大于1的整数,且该N帧图像中亮度大于第三预设阈值的图像不全为连续图像帧,电子设备100可以确定存在闪烁现象。

示例性的,电子设备100可以计算连续获取的5帧图像的亮度。这5帧图像按照采集时间的先后排序为:图像P1、图像P2、图像P3、图像P4和图像P5。图像P1、图像P2、图像P3、图像P4和图像P5的平均亮度值分别为:145、200、150、185、145。电子设备100可以计算这5帧图像中每相邻两帧图像的亮度差。图像P1和图像P2的亮度差为55。图像P2和图像P3的亮度差为50。图像P3和图像P4的亮度差为35。图像P4和图像P5的亮度差为40。电子设备100可以比较这些亮度差与第二预设阈值40的大小。电子设备100可以确定比第二预设阈值大的亮度差有4个,占比为90%。该占比大于第一比例75%。电子设备100还可以确定这5帧图像中亮度大于第三预设阈值150的图像的数量为2,即u=2。亮度大于第三预设阈值的图像为图像P2和图像P4,这两帧图像并非是连续图像帧。综合上述情况,电子设备100可以确定存在闪烁现象。

在本申请的一些实施例中,与方法一类似,电子设备100还可以确定该N帧图像中亮度小于第四预设阈值的图像的数量,并将该数量记为v。若该N帧图像中每相邻两帧图像的亮度差大于第二预设阈值的比例大于第一比例,v为大于1的整数,且该N帧图像中亮度小于第四预设阈值的图像不全为连续图像帧,电子设备100可以确定存在闪烁现象。

示例性的,电子设备100可以计算连续获取的5帧图像的亮度。这5帧图像按照采集时间的先后排序为:图像P1、图像P2、图像P3、图像P4和图像P5。图像P1、图像P2、图像P3、图像P4和图像P5的平均亮度值分别为:145、200、150、185、145。电子设备100可以计算这5帧图像中每相邻两帧图像的亮度差。图像P1和图像P2的亮度差为55。图像P2和图像P3的亮度差为50。图像P3和图像P4的亮度差为35。图像P4和图像P5的亮度差为40。电子设备100可以比较这些亮度差与第二预设阈值40的大小。电子设备100可以确定比第二预设阈值大的亮度差有4个,占比为90%。该占比大于第一比例75%。电子设备100还可以确定这5帧图像中亮度小于第四预设阈值155的图像的数量为3,即u=3。亮度小于第四预设阈值的图像为图像P1、图像P3和图像P5,这三帧图像并非全是连续图像帧。综合上述情况,电子设备100可以确定存在闪烁现象。

方法二:

电子设备100可以获取连续N帧图像,并分别计算该N帧图像的亮度。电子设备100可以在该N帧图像中筛选出亮度大于第三预设阈值的图像,并计算这些图像与其相邻图像帧的亮度差。电子设备100还可以判断这些亮度大于第三预设阈值的图像是否均为电子设备100获取的连续图像帧。

若该N帧图像中亮度大于第三预设阈值的图像与其相邻图像帧的亮度差大于第二预设阈值的比例大于第一比例,且该N帧图像中亮度大于第三预设阈值的图像不全为连续图像帧,电子设备100可以确定存在闪烁现象。

示例性的,电子设备100可以计算连续获取的5帧图像的亮度。这5帧图像按照采集时间的先后排序为:图像P1、图像P2、图像P3、图像P4和图像P5。图像P1、图像P2、图像P3、图像P4和图像P5的平均亮度值分别为:145、200、150、185、145。电子设备100可以确定这5帧图像中亮度大于第三预设阈值150的图像为图像P2和图像P4。图像P2和图像P4并非是连续图像帧。图像P2的相邻图像帧为图像P1和图像P3。图像P2与图像P1的亮度差为55。图像P2与图像P3的亮度差为50。图像P4的相邻图像帧为图像P3和图像P5。图像P4与图像P3的亮度差为30。图像P4与图像P5的亮度差为40。这些亮度差中大于第二阈值40的亮度差为55和50。这两个亮度差的占比为50%,大于第一比例40%。综合上述情况,电子设备100可以确定存在闪烁现象。

在本申请的一些实施例中,与方法二类似,电子设备100可以在该N帧图像中筛选出亮度小于第四预设阈值的图像,并计算这些图像的相邻图像帧与这些图像的亮度差。电子设备100还可以判断这些亮度小于第四预设阈值的图像是否均为电子设备100获取的连续图像帧。若该N帧图像中亮度小于第四预设阈值的图像的相邻图像帧与这些图像的亮度差大于第二预设阈值的比例大于第一比例,且该N帧图像中亮度小于第四预设阈值的图像不全为连续图像帧,电子设备100可以确定存在闪烁现象。

示例性的,电子设备100可以计算连续获取的5帧图像的亮度。这5帧图像按照采集时间的先后排序为:图像P1、图像P2、图像P3、图像P4和图像P5。图像P1、图像P2、图像P3、图像P4和图像P5的平均亮度值分别为:145、200、150、185、145。电子设备100可以确定这5帧图像中亮度小于第四预设阈值155的图像为图像P1、图像P3和图像P5。图像P1、图像P3和图像P5并非是连续图像帧。图像P1的相邻图像帧为图像P2。图像P2与图像P1的亮度差为55。图像P3的相邻图像帧为图像P2和图像P4。图像P2与图像P3的亮度差为50。图像P4与图像P3的亮度差为30。图像P5的相邻图像帧为图像P4。图像P4与图像P5的亮度差为40。这些亮度差中大于第二阈值40的亮度差为55和50。这两个亮度差的占比为50%,大于第一比例40%。综合上述情况,电子设备100可以确定存在闪烁现象。

可理解,第三预设阈值和第四预设阈值可以根据实际需求进行设置,本申请对此不作限制。

S803:电子设备100判断当前的环境亮度是否大于第一环境亮度阈值。

可理解,电子设备100可以判断当前的环境亮度是否大于第一环境阈值。也就是说,上述环境亮度指的是当前的环境亮度。

在本申请的一些实施例中,电子设备100可以将获取图像A时的环境亮度作为当前的环境亮度,并将该当前环境亮度与第一环境亮度阈值进行比较。

测光系统测量得到的环境光亮度通常为被摄物体反射的光亮度,与实际的环境光亮度可能存在偏差。因此,在本申请的实施例中,可以根据捕获的图像以及曝光参数估算当前的环境光亮度。

在本申请的一些实施例中,电子设备100还可以通过亮度值(lighting value,lv)来估计环境亮度。在这种情况下,电子设备100可以暂时获取一帧图像(也可以采用已经获取的图像A),并基于该图像计算亮度值,再基于亮度值估计环境亮度。

lv的具体计算公式为:

其中,Q表示光圈值,avg Luma表示电子设备100获取的Raw图的平均亮度;Exposure Time表示电子设备100获取该Raw图时的曝光时间,单位为秒(s);ISO表示电子设备100获取该Raw图时的感光度;C是一个常数,具体值为100/46。

可理解,光圈值可以表示光圈的大小,光圈值F=镜头焦距/镜头有效口径直径,光圈值用f数表示,记作f/,完整的光圈值系列如下:f/1.0,f/1.4,f/2.0,f/2.8,f/4.0,f/5.6,f/8.0,f/11,f/16,f/22,f/32,f/44,f/64。光圈的作用在于决定镜头的进光量。在快门不变的情况下:F后面的数值越小,光圈越大,进光量越多,画面比较亮,焦平面越窄,主体背景虚化越大;F后面的数值越大,光圈越小,进光量越少,画面比较暗,焦平面越宽,主体前后越清晰。

在本申请的一些实施例中,电子设备100包括AE系统。AE系统可以根据拍摄环境的环境亮度来调整曝光参数。电子设备100获取图像A之后,可以通过AE系统重新调整曝光参数,并重新确定环境亮度。

然而,在一些情况下,AE系统获取图像A之后未调整曝光参数,此时可认为拍摄环境中的环境亮度并未发生太大变化,电子设备100可以将获取图像A时的环境亮度作为当前的环境亮度。在这种情况下,电子设备100可以采取获取图像A之前通过测光传感器所确定的环境亮度来与第一环境亮度阈值进行比较。电子设备100还可以通过亮度值来估计获取图像A时的环境亮度,并将估计的环境亮度与第一环境亮度阈值进行比较。可理解,亮度值的计算方式可参考上文,在此不再赘述。可理解,电子设备100通过lv估计获取图像A时的环境亮度时所采取的参数可以包括:获取图像A时的光圈值、ISO和曝光时间,以及图像A的平均亮度。需要说明的是,获取图像A时的ISO和曝光时间可以直接在传感器(例如,CMOS图像传感器等)内读取,或者,当电子设备100获取图像A时可以将这些参数存储在指定内存地址中,电子设备100可以通过访问该指定内存地址获取这些参数。

具体地,若存在闪烁现象,电子设备100可以将当前的环境亮度与第一环境亮度阈值进行比较,判断当前的环境亮度是否大于第一环境亮度阈值。若当前的环境亮度大于第一环境亮度阈值,电子设备100执行步骤S804,否则,电子设备100执行步骤S805。

可理解,第一环境亮度阈值可以根据实际需求进行设置,本申请对此不作限制。例如,第一环境亮度阈值可以为300Lux。

在本申请的一些实施例中,电子设备100可以判断当前拍摄环境下高感光模式所对应的曝光时间是否小于时间阈值。若该曝光时间小于第一时间阈值,电子设备100执行步骤S804,否则,电子设备100执行步骤S805。

可理解,时间阈值可以根据拍摄环境中的人工光源的闪烁周期来确定。例如,若拍摄环境中的人工光源的周期为1/100s,则时间阈值为1/100s。

S804:电子设备100切换至低感光模式,获取图像C。其中,图像C为图像A的下一帧图像。

具体地,若当前的环境亮度大于第一环境亮度阈值,电子设备100可以将曝光模式切换至低感光模式,并在低感光模式下获取图像C。可理解,图像C和图像A为电子设备100的传感器曝光所得的相邻两帧图像,并且图像A的采集时间早于图像C的采集时间。也就是说,图像C为图像A的下一帧图像。

在本申请的一些实施例中,图像C与图像A并不为相邻图像帧。由于切换曝光模式以及相应的处理过程需要一定的时间,所以尽管电子设备100可以根据图像A和图像B确定需要切换曝光模式,但是电子设备100采集图像A之后的图像时,可能还没来得及切换曝光模式。也就是说,图像A之后的几帧图像可能还是在双感光模式下曝光所获取的。

S805:电子设备100按照双感光模式进行曝光,获取图像C。

具体地,若不存在闪烁现象,或者,在存在闪烁现象的情况下,环境亮度不大于第一环境亮度阈值,电子设备100可以继续按照双感光模式进行曝光,并获取图像A的下一帧图像,即图像C。

可理解,图像B、图像A和图像C可以为电子设备100的显示屏上显示的连续三帧图像。

在本申请的一些实施例中,无论电子设备100是采取双感光模式进行曝光,还是采取低感光模式进行曝光,电子设备100可以持续检测闪烁现象,并根据闪烁现象和环境亮度来判断采取哪种曝光模式进行曝光。可理解,电子设备100可以按照与步骤S802-步骤S804类似的方法来进行曝光模式的切换。

下面介绍本申请提供的又一种曝光模式切换方法。

请参考图9,图9为本申请实施例提供的又一种曝光模式切换方法的流程图。可理解,图9所示的曝光模式切换方法的步骤可以包括但不限于以下步骤:

S901:电子设备100按照低感光模式进行曝光,获取图像D。

可理解,电子设备100可以确定环境亮度,并确定该环境亮度下低感光模式所对应的曝光时间和ISO。电子设备100可以按照该曝光时间和ISO进行曝光,并获取图像D。

可理解,图像D可以为RAW图。

在本申请的一些实施例中,图像D和图8所示的图像C可以为同一图像。

S902:电子设备100基于图像D和图像E判断是否存在闪烁现象。其中,图像E为图像D的上一帧图像。

具体地,电子设备100可以基于图像D和图像E判断是否存在闪烁现象。若存在闪烁现象,电子设备100继续执行步骤S903,否则,电子设备100执行步骤S905。可理解,图像D和图像E为电子设备100获取的相邻两帧图像,并且图像E的采集时间早于图像D的采集时间。可理解,图像E可以为RAW图。

可理解,电子设备100判断是否存在闪烁现象的具体方法可参考步骤S802,在此不再赘述。

在本申请的一些实施例中,电子设备100还可以基于数量更多(多于两帧)的图像来判断是否存在闪烁现象,具体实现方式可参考步骤S802,在此不再赘述。

S903:电子设备100判断当前的环境亮度是否小于第二环境亮度阈值。具体地,若存在闪烁现象,电子设备100可以将当前的环境亮度与第二环境亮度阈值进行比较。即判断环境亮度是否小于第二环境亮度阈值。若当前的环境亮度小于第二环境亮度阈值,电子设备100执行步骤S905,否则,电子设备100执行步骤S904。可理解,关于环境亮度的描述可以参考步骤S803,在此不再赘述。

在本申请的一些实施例中,该环境亮度可以为步骤S901中所提及的获取图像D时所采取的曝光参数所对应的环境亮度。也就是说,电子设备100可以将获取图像D时所采取的曝光参数所对应的环境亮度作为当前的环境亮度,并将其与第二环境亮度阈值进行比较。在这种情况下,电子设备100可以采取获取图像D之前通过测光传感器所确定的环境亮度来与第二环境亮度阈值进行比较。电子设备100还可以通过lv来估计获取图像D时的环境亮度,并将估计的环境亮度与第二环境亮度阈值进行比较。可理解,lv的计算方法可参考步骤S803,在此不再赘述。

在本申请的一些实施例中,当前的环境亮度可以为获取图像D之后重新确定的环境亮度。在这种情况下,电子设备100可以在获取图像D之后重新通过测光传感器确定环境亮度。

可理解,第二环境亮度阈值可以根据实际需求进行设置,本申请对此不作限制。示例性的,第二环境亮度阈值可以为250Lux。

在本申请的一些实施例中,第二环境亮度阈值小于第一环境亮度阈值。

S904:电子设备100按照低感光模式进行曝光,获取图像F。其中,图像F为图像D的下一帧图像。

具体地,若不存在闪烁现象,或者,在存在闪烁现象的情况下,环境亮度不小于第二环境亮度阈值,电子设备100可以继续按照双感光模式进行曝光,并获取图像F。可理解,图像F和图像D为电子设备100的传感器曝光所得的相邻两帧图像,并且图像D的采集时间早于图像F的采集时间。也就是说,图像F为图像D的下一帧图像。

S905:电子设备100切换至双感光模式,获取图像F。

具体地,若环境亮度小于第一环境阈值,电子设备100可以将曝光模式切换至双感光模式,并在双感光模式下获取图像D的下一帧图像,即图像F。

可理解,本申请对电子设备100执行步骤S902和步骤S903的顺序不作限制。在本申请的一些实施例中,电子设备100可以基于图像D和图像E判断是否存在闪烁现象,且判断环境亮度是否小于第二环境亮度阈值。若不存在闪烁现象或者环境亮度小于第二环境亮度阈值,电子设备100切换至双感光模式进行曝光,并获取图像F。

在本申请的一些实施例中,电子设备100可以结合图8和图9所示的方法来进行曝光模式的切换。

示例性的,电子设备100的传感器启动时,默认以双感光模式进行曝光。此时,电子设备100通过测光传感器可以确定环境亮度为700Lux。电子设备100可以在曝光表中查找环境亮度为700Lux时双感光模式对应的曝光时间和ISO。根据表1可有,双感光模式所对应的曝光时间为1/400s,ISO为100。电子设备100可以基于该曝光参数来通过不同转换增益的传感器分别获取图像a1和图像a2。即获取高感光模式下的图像a1,以及低感光模式下的图像a2。电子设备100可以将图像a1和图像a2进行融合,得到图像A。电子设备100可以比较图像A和图像A的上一帧图像(即图像B)的平均亮度的差值,并根据该差值判断图像A和图像B的亮度差异较大,从而判断存在闪烁现象。另外,电子设备100可以获取当前环境亮度,并与第一环境亮度阈值进行比较。电子设备100确定该当前环境亮度大于第一环境亮度阈值,并将曝光模式切换至低感光模式,在低感光模式下获取图像C。

电子设备100可以持续检测闪烁现象。一段时间后,电子设备100判断图像D和图像D的上一帧图像(即图像E)的亮度差异较大,从而确定存在闪烁现象。电子设备100可以确定当前环境亮度小于第二环境亮度阈值,并将曝光模式切换至双感光模式,在双感光模式下获取图像F。

需要说明的是,电子设备100在双感光模式和低感光模式下的数据吞吐速率不变,且数据的字节深度格式不变,从而使得ISP无需重启预览流和视频流就可以完成切换。

在本申请的一些实施例中,电子设备100可以利用自抗扰控制(activedisturbancereiectioncontrol,ADRC)技术来调整动态范围,使得曝光模式切换前后的动态范围尽量接近。

下面从电子设备软硬件协作的视角,结合图10说明前述实施例的具体实现。

如图10所示,摄像头用于采集图像,当被拍摄对象的反射光通过镜头,在镜片上折射后,汇聚在图像传感器上。图像传感器可以将光信号转换成模拟电信号。该模拟电信号从传感器前端(sensorfront-end,SFE)旁路输出,再经过数模转换器输出。可理解,数模传感器输出的为摄像头采集的原始数字图像,即RAW图像。

图像信号处理器ISP用于将来自摄像头的RAW图像进行相关处理并生成待显示的图像,再发送给显示屏进行显示。ISP可以包括图像处理器前端、AE系统、图像处理器后端、I/O控制接口等。

其中,图像处理器前端包括全局色调映射(globaltonemapping,GTM)模块。图像处理器后端包括局部色调映射(localtonemapping,LTM)模块。GTM模块和LTM模块用于对图像暗部进行提亮,只不过前者作用在全局,后者作用在局部。闪烁识别模块用于识别闪烁现象。曝光模式控制模块用于切换曝光模式(例如,双感光模式和低感光模式)。AE系统用于调整曝光参数。显示屏用于接收ISP发送的待显示的图像,还可以通过UI监听用户针对显示屏的各种操作。

下面详细介绍图8所示实施例和图9所示实施例的具体实现:

摄像头可以将RAW图像发送至ISP中的图像处理器前端,图像处理器前端中的GTM模块可以对RAW图像的暗部进行提亮,并将处理后的图像发送到闪烁识别模块。闪烁识别模块可以根据该图像以及之前接收的图像来判断是否存在闪烁现象,并将判断结果发送至曝光模式控制模块。曝光模式控制模块可以基于环境亮度和第一环境亮度阈值/第二环境亮度阈值的大小关系来判断是否切换曝光模式。另外,图像处理器前端还可以将处理后的图像发送到AE系统,并通过AEC统计模块和AEC算法模块来调整曝光参数。

需要说明的是,RAW图像在图像处理器前端中经过处理之后,还可以在图像处理器后端进行处理。例如,图像处理器后端中的LTM模块可以对图像进行局部暗部提亮。再例如,图像处理器后端中的伽马(gamma)校正模块可以对图像的亮度进行处理,从而补偿由于显示器造成的亮度下降。

以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

技术分类

06120116331479