掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法、装置、电子设备和可读存储介质

文献发布时间:2024-04-18 19:58:53


图像处理方法、装置、电子设备和可读存储介质

技术领域

本申请属于影像技术领域,具体涉及一种图像处理方法、装置、电子设备和可读存储介质。

背景技术

目前的自动白平衡(Auto White Balance,RWB)是基于原始图像的红绿蓝三通道统计数据计算得到的,最终的白平衡增益的稳定性主要依靠历史帧的平滑收敛,三通道的收敛速度都是一致。

在现有技术中,当拍摄场景发生变化时,因三个通道的收敛速度保持一致,可能会使得某个通道出现反复震荡,导致收敛速度变慢。

发明内容

本申请实施例的目的是提供一种图像处理方法,能够解决在现有技术中,因拍摄场景变化导致自动白平衡收敛变慢的问题。

第一方面,本申请实施例提供了一种图像处理方法,该方法包括:获取第一帧图像以及所述第一帧图像的下一第二帧图像,其中,所述第一帧图像和所述第二帧图像均包括至少两个图像区域;计算所述第一帧图像与所述第二帧图像在各颜色通道的相似度,得到第一相似度;以及计算所述第一帧图像的各图像区域与所述第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度;基于所述第一相似度和所述第二相似度调整所述第二帧图像的各颜色通道的白平衡收敛速度。

第二方面,本申请实施例提供了一种图像处理装置,该装置包括:获取模块,用于获取第一帧图像以及所述第一帧图像的下一第二帧图像,其中,所述第一帧图像和所述第二帧图像均包括至少两个图像区域;计算模块,用于计算所述第一帧图像与所述第二帧图像在各颜色通道的相似度,得到第一相似度;以及计算所述第一帧图像的各图像区域与所述第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度;第一调整模块,用于基于所述第一相似度和所述第二相似度调整所述第二帧图像的各颜色通道的白平衡收敛速度。

第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请的实施例中,针对相邻的第一帧图像和第二帧图像,计算第一帧图像与第二帧图像在各颜色通道的相似度,得到第一相似度,第一相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的整体变化,从而根据第一相似度实现分别对各颜色通道的白平衡收敛速度的调整;同时,计算第一帧图像的各图像区域与第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度,第二相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的局部变化,从而根据第二相似度实现分别对各颜色通道的白平衡收敛速度的调整。可见,本申请实施例中,分别计算各颜色通道的整体相似度和局部相似度,并基于整体相似度和局部相似度对各个颜色通道的白平衡收敛速度单独进行调整,从而利于在场景变化中加速各个颜色通道的白平衡收敛。

附图说明

图1是本申请实施例的图像处理方法的流程图;

图2是本申请实施例的图像处理方法的说明示意图;

图3是本申请实施例的图像处理装置的框图;

图4是本申请实施例的电子设备的硬件结构示意图之一;

图5是本申请实施例的电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例的附图,对本申请实施例的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。

本申请说明书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的图像处理方法,其执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或软件的方式实现。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

图1示出了本申请一个实施例的图像处理方法的流程图,以该方法应用于电子设备进行举例,该方法包括:

步骤110:获取第一帧图像以及第一帧图像的下一第二帧图像,其中,第一帧图像和第二帧图像均包括至少两个图像区域。

在该步骤中,对于任一帧图像,按照“64*48”进行区域划分,使得每帧图像均包括“64*48”个图像区域。其中,每个图像区域均对应三个颜色通道,三个颜色通道分别为红(R)、绿(G)、蓝(B)。

其中,根据每帧图像的三通道数据,将图像拆分为三张子图像,每张子图像按照“64*48”进行划分,可得到“64*48”个区块,一个区块包括对应图像区域内的像素的单通道值。另外,可以基于三通道数据得到三个数组,每个数组都有“64*48”个元素,每个元素是由一个区块所包含的像素的单通道值确定。

步骤120:计算第一帧图像与第二帧图像在各颜色通道的相似度,得到第一相似度;以及计算第一帧图像的各图像区域与第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度。

在一些实施例中,针对第一帧图像和第二帧图像的同一颜色通道的子图像,分别对应获取两个区块,计算这两个区块的相似度,可以得到第一帧图像的图像区域与第二帧图像的图像区域在同一个颜色通道的相似度,即第二相似度。

在一些实施例中,针对第一帧图像和第二帧图像的同一颜色通道的子图像,分别计算区块中元素的均值,对应得到“64*48”大小新数组,再根据均值可以得到第一帧图像与第二帧图像在同一个颜色通道的相似度,即第一相似度。

在一些实施例中,该步骤利用图像相似算法对基于两帧图像得到的统计数据进行计算,选择Structure Similarity Index Measure(SSIM)和哈希算法计算相似度。其中,哈希算法计算较少,通过哈希算法计算得到的相似度,可以分析出哪个颜色通道的变化较大;SSIM算法精度更高,可以得到各颜色通道的整体、亮度、对比度、结构等多维度的相似度。

其中,在哈希算法中,针对颜色通道数据组成的矩阵,判断矩阵中的元素是否大于阈值,若是,则置该位置为“1”;若不是,置“0”;最后计算“1”的个数,此个数即哈希的相似度,个数越多越不相似。

SSIM算法由亮度对比函数、对比度对比函数、结构对比函数组成,计算相似度时也可以将SSIM拆分成三个对比函数来对比。另外,在SSIM算法中,可针对awb算法收到的“64*48”大小的统计数据对应的64*48个区块,分别计算区块之间的SSIM值,然后求均值,计算更精确。SSIM值越小,视为对比双方越不相似。

SSIM算法参见公式一:

在公式一中,X、Y分别表示两帧图像,μ

步骤130:基于第一相似度和第二相似度调整第二帧图像的各颜色通道的白平衡收敛速度。

在该步骤中,第一相似度考虑到了因场景变化导致的某颜色通道的整体变化这一因素;第二相似度考虑到了因拍摄对象移动导致的某颜色通道的局部变化这一因素,结合两个因素,调整第二帧图像的各颜色通道的白平衡收敛速度。

其中,根据不同颜色通道呈现出的不同程度的变化,对不同颜色通道的白平衡收敛速度分别进行调整。

在本申请的实施例中,针对相邻的第一帧图像和第二帧图像,计算第一帧图像与第二帧图像在各颜色通道的相似度,得到第一相似度,第一相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的整体变化,从而根据第一相似度实现分别对各颜色通道的白平衡收敛速度的调整;同时,计算第一帧图像的各图像区域与第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度,第二相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的局部变化,从而根据第二相似度实现分别对各颜色通道的白平衡收敛速度的调整。可见,本申请实施例中,分别计算各颜色通道的整体相似度和局部相似度,并基于整体相似度和局部相似度对各个颜色通道的白平衡收敛速度单独进行调整,从而利于在场景变化中加速各个颜色通道的白平衡收敛。

在本申请另一个实施例的图像处理方法的流程中,步骤130,包括:

子步骤A1:在第一相似度大于第一阈值,各图像区域中的第一图像区域的第二相似度小于第二阈值的情况下,增加或降低第二帧图像中第一图像区域对应的权重值。

在该步骤中,在第一相似度大于第一阈值的情况下,说明各颜色通道变化不大,进一步地,对于第一帧图像和第二帧图像中的同一个位置,若该位置对应的两个图像区域(均定义为第一图像区域)之间的第二相似度小于第二阈值,说明两帧图像中有个别图像区域不相似,则可以根据调试方向,在第二帧图像中增加或者降低这些图像区域对应的权重值。

例如,两个第一图像区域之间的第二相似度小于第二阈值,且第二帧图像的第一图像区域的统计数据更偏向蓝色,则可以增加第一图像区域对应的权重值,使得第二帧图像的整体数据更偏向蓝色,这样根据统计数据反算出的白平衡增益就会比没有调整权重值前的白平衡增益更偏向蓝色的反方向红黄色,从而达到了加快白平衡增益往红黄色方向收敛的目的。

在一些实施例中,可将某颜色通道对应的子图像之间进行相似度的计算,以找到不相似的区块,再调整区块的权重值。

子步骤A2:在各图像区域中第二图像区域的各颜色通道的数值在第一预设范围的情况下,降低第二帧图像中第二图像区域的权重值。

在一些实施例中,计算第二图像区域的各颜色通道的平均值,以判断平均值是否在第一预设范围。

其中,第一预设范围包括三个颜色通道的范围。

例如,基于参数调整,设置一个长方形区域,长方形区域的横坐标用B颜色通道的一段数值表示,长方形区域的纵坐标用R颜色通道的一段数值表示,用G颜色通道的数值对B颜色通道的数值和R颜色通道的数值做归一化处理。则该长方形区域用于表示第一预设范围,长方形区域的顶点用于限定第一预设范围。

可选地,第一预设范围为某误导色范围,当第二图像区域的各颜色通道的数值在第一预设范围时,认为第二图像区域的各颜色通道的数值会对相关结果产生误导,从而降低第二图像区域对应的权重值。

在本实施例中,若两帧图像的各颜色通道整体变化不大,只是个别图像区域之间不相似,则可以在第二帧图像中调整这些不相似图像区域对应的权重值,以达到预期调试效果。

在本申请另一个实施例的图像处理方法的流程中,步骤120,包括:

子步骤B1:在各颜色通道的第一相似度均大于第一阈值的情况下,计算第一帧图像的第三图像区域,与第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的第二相似度,其中,第一位置为与第三图像区域对应的位置。

在该步骤中,若第一帧图像与第二帧图像之间的各颜色通道值的第一相似度均大于第一阈值,说明两帧图像的整体相似,则可以进一步确认不相似的图像区域,以降低或增加相关图像区域对应的权重值,从而可以达到增减个别图像区域对整体白平衡增益的影响。

其中,第三图像区域为第一帧图像中的任一图像区域。

在一些实施例中,以第三图像区域为例,计算第三图像区域与第二帧图像的第一位置的图像区域在第一颜色通道的第二相似度,以及计算第三图像区域与第一位置按步进中心扩散的周围位置的图像区域在第一颜色通道的第二相似度。

其中,第一颜色通道为三个颜色通道中的任一个。

例如,参见图2为第一颜色通道对应的子图像,获取第一帧图像的第一位置的第一区块201,用于表示第三图像区域对应的第一颜色通道,以及获取第二帧图像的第二区块202,用于表示第一位置的图像区域对应的第一颜色通道,计算两个区块之间的第二相似度。进一步地,若第二相似度不大于第二阈值,则依次计算第一区块201与第二区块202周围一圈八个区块(如区块203)之间的第二相似度,此时步进为一。若得到的第二相似度均不大于第二阈值,则计算第一区块201与第二区块202周围一圈的十六个(如区块204)之间的第二相似度,此时步进为二。若得到的第二相似度均不大于第二阈值,则继续扩大至周围其它位置,直至步进达到阈值。

其中,每次扩散至周围位置时,可按上下左右的方向扩散一圈。

在本实施例的流程中,在步骤120之后,该方法还包括:

步骤B2:根据第一帧图像的第三图像区域,与第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的第二相似度,调整第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的权重值。

在该步骤中,针对第一帧图像,遍历查找每个图像区域的每个颜色通道在第二帧图像的相似图像区域,以查找到相似图像区域,从而可以找到因拍摄对象移动在图像区域中带来的变化,以根据该变化,在第二帧图像中调整相关图像区域在某个颜色通道的权重值。

在本实施例中,在两帧图像的各颜色通道变化不大的情况下,主要针对图像中的个别图像区域在某个颜色通道上的变化,对个别图像区域在某个颜色通道的权重值进行调整,以增加或者减小个别图像区域的某个颜色通道对白平衡收敛效果的影响。

在本申请另一个实施例的图像处理方法的流程中,步骤B2,包括:

子步骤C1:在第三图像区域与第四图像区域在第一颜色通道的第二相似度大于第二阈值的情况下,根据第一位置和第四图像区域对应的第二位置,确定第二位置相对于第一位置的第一方向。

参见图2,在步进达到阈值之前,若第二帧图像的第一颜色通道对应的子图像中的第三区块与第一区块201之间的第二相似度大于第二阈值,确定第三区块对应的第二位置,从而基于第一位置和第二位置,确定从第一位置指向第二位置的第一方向。其中,第三区块用于表示第四图像区域对应的第一颜色通道,第三区域对应的第二位置与第四图像区域对应的第二位置相同。

在一些实施例中,记录第四图像区域的下标,并结合第三图像区域的下标,确定第一方向。

子步骤C2:在第二帧图像中,降低位于第一方向上各图像区域在第一颜色通道的权重值。

第一方向上的各个图像区域在第一颜色通道之间的第二相似度均大于第二阈值,即这个方向上的图像区域比较相似,则认为从第一帧图像至第二帧图像,某拍摄对象由第一位置移动至第二位置,但其他拍摄场景变化不大,则降低位于第一方向上的各区块的权重值,即降低各图像区域在第一颜色通道的权重值。

其中,基于以上步骤,从第一帧图像至第二帧图像,可以找到第一帧图像的任一图像区域对应的位置,移动至另一个位置的方向,如果找到的大部分方向都一样,则将该第一方向认定为画面移动方向,而某拍摄对象向第一方向移动,说明某拍摄对象正在移出画面。

子步骤C3:在第三图像区域与任意图像区域在第一颜色通道的第二相似度均小于或者等于第二阈值的情况下,在第二帧图像中,增加第五图像区域在第一颜色通道的权重值,其中,第五图像区域为与第一位置对应的图像区域。

在该步骤中,直至达到步进阈值,在第二帧图像的第一颜色通道对应的子图像中没有与第一区块201之间的第二相似度大于第二阈值的区块,则第二帧图像中没有与第三图像区域在第一颜色通道相似的图像区域,认为从第一帧图像到第二帧图像,场景变化较大。

因此,参见图2,增加第二区块的权重值,第二区块包括第一颜色通道值,第二区块对应第五图像区域。

在本实施例中,根据第一帧图像的图像区域与相同位置及周围位置的图像区域在某个颜色通道的第二相似度,可以分析得到场景变化较大或者有拍摄对象正在移出画面,从而根据分析结果,增减相关图像区域在某个颜色通道的权重值,从而减小正在移出画面的拍摄对象所在图像区域对白平衡收敛速度的影响、增大新增加的场景所在图像区域对白平衡收敛速度的影响,使得白平衡收敛速度实时关系场景变化。

在本申请另一个实施例的图像处理方法的流程中,步骤130,还包括:

子步骤D1:分别计算与各颜色通道对应的图像区域中,调整权重的图像区域的数量。

在上一实施例中,记录每个被调整权重值的图像区域对应的位置和调整的数值,从而在本实施例中利用这些记录信息来对白平衡收敛速度进行调整。

在本实施例中,针对每个颜色通道,计算被调整权重值的图像区域的数量。例如,调整了一个图像区域在第一颜色通道的权重值,则第一颜色通道的图像区域中,调整权重的图像区域的数量加一,以此类推。

其中,与三个颜色通道对应的图像区域中,调整权重的图像区域的数量分别为第一数量、第二数量和第三数量。

子步骤D2:根据调整权重的图像区域的数量,调整第二帧图像的各颜色通道的白平衡收敛速度。

其中,若三个颜色通道的白平衡收敛速度相同,则表示为:rgain(ggain、bgain)=rgain(ggain、bgain)*收敛速度adjust。其中,gain用于表示通道增益值,adjust用于表示调整值。

在一种情况下,判断第一数量、第二数量和第三数量是否超过某个阈值,如果超过,则增加对应颜色通道的白平衡收敛速度。例如,R颜色通道对应的数量超过了阈值,其它两个颜色通道对应的数量没有超过了阈值,则Radjust=2*Radjust,其它两个颜色通道的白平衡收敛速度计算式子保持不变。

在又一种情况下,判断第一数量、第二数量和第三数量的总和是否超过某个阈值,如果超过,则略微增加三个颜色通道的白平衡收敛速度,如RGBadjust=1.5*RGBadjust。

在又一种情况下,对于任一颜色通道,计算调整前后的权重值的差值(即调整的数值)的平均值,再计算平均值与调整数量的乘积,如果结果超过了某个阈值,则认为对应通道变化较大,增加对应颜色通道的白平衡收敛速度,以R颜色通道为例,如Radjust=1.5*Radjust。

在本实施例中,通过调整图像区域的权重值,间接影响颜色收敛,进一步地,调整三个颜色通道的白平衡增益的收敛速度,从而达到直接影响最终颜色收敛的效果。例如,增加了R颜色通道的白平衡收敛速度后,最终的白平衡增益会更偏向红色,相当于直接加快了颜色往红色方向的收敛。

在本申请另一个实施例的图像处理方法的流程中,步骤130,包括:

子步骤E1:在第二颜色通道对应的第一相似度最小的情况下,将第二颜色通道对应的白平衡收敛速度调整为最大值。

在该步骤中,将变化最大的颜色通道(第二颜色通道)的白平衡收敛速度调整为最大值。例如R颜色通道的前后两帧的整体相似度最小(即R颜色通道的变化最大),则rgain=rgain*2*adjust,bgain=bgain*(adjust/2),ggain=ggain*(adjust/2)。

子步骤E2:在各颜色通道的第一相似度的差值小于第三阈值,且各颜色通道对应的第一相似度均大于第四阈值的情况下,减小各颜色通道的白平衡收敛速度。

在该步骤中,各颜色通道的第一相似度比较接近,且均较大,说明前后两帧的比较相似,则将各颜色通道的白平衡收敛速度调整为较小。例如,RGB三个颜色通道的第一相似度分别为“0.8、0.85、0.9”,三个第一相似度之间的差值小于第三阈值(表示三个颜色通道的变化程度差不多),并且三个第一相似度都大于第四阈值(表示三个颜色通道的变化都比较小),则白平衡收敛速度调整为较小的值,如rgain=rgain*(adjust/2),ggain=ggain*(adjust/2),bgain=bgain*(adjust/2)。

子步骤E3:在各颜色通道的第一相似度的差值小于第五阈值,且各颜色通道对应的第一相似度均小于第六阈值的情况下,增大各颜色通道的白平衡收敛速度。

在该步骤中,各颜色通道的第一相似度比较接近,且均较小,说明前后两帧不相似,则将各颜色通道的白平衡收敛速度调整为较大。例如,RGB三个颜色通道的第一相似度分别为“0.2、0.25、0.15”,三个第一相似度之间的差值小于第五阈值(表示三个颜色通道的变化程度差不多),并且三个第一相似度都小于第六阈值(表示三个颜色通道的变化都比较大),则白平衡收敛速度调整为较小的值,如rgain=rgain*2*adjust,ggain=ggain*2*adjust,bgain=bgain*2*adjust。

其中,当某颜色通道的对比度或者结构的相似度体现出该颜色通道前后两帧不相似时,对该颜色通道的白平衡收敛速度进行调整,如果前后两帧只有亮度的相似度体现出该颜色通道前后两帧不相似,则维持该颜色通道的白平衡收敛速度不变。

在本实施例中,根据两帧图像的各颜色通道的相似度来调整各颜色通道的白平衡收敛速度,从而达到直接影响最终颜色收敛的效果。

在本申请中,可优先通过步骤E1至步骤E3来调整各颜色通道的白平衡收敛速度,在完成大致调整后,再通过步骤D1和步骤D2来调整各颜色通道的白平衡收敛速度,以实现微调。

综上,本申请的目的在于提供一种基于图像相似算法,利用预览前后多帧的三颜色通道数据的相似度来调整图像区域在颜色通道的权重值,从而达到调整各颜色通道的白平衡收敛速度的方法,以达到加快颜色收敛的目的。在本申请中,第一,利用预览前后多帧的三颜色通道数据的相似度,分别调整对各颜色通道的白平衡收敛速度;第二,根据各图像区域的数据的变化趋势与图像整体数据的不同,给予各图像区域数据不同的权重值,通过增减图像区域在某颜色通道的权重值,调整该图像区域的对应颜色通道对整体白平衡增益的影响;第三,提前预测画面上颜色变化的方向,减少该方向上的图像区域数据的权重值。本申请为自动白平衡提供了一种增加稳定性、加快收敛速度的方式,增加了调试空间,对场景变化时的色彩变化情况略有益处。

本申请实施例提供的图像处理方法,执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。

图3示出了本申请一个实施例的图像处理装置的框图,该装置包括:

获取模块10,用于获取第一帧图像以及第一帧图像的下一第二帧图像,其中,第一帧图像和第二帧图像均包括至少两个图像区域;

计算模块20,用于计算第一帧图像与第二帧图像在各颜色通道的相似度,得到第一相似度;以及计算第一帧图像的各图像区域与第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度;

第一调整模块30,用于基于第一相似度和第二相似度调整第二帧图像的各颜色通道的白平衡收敛速度。

在本申请的实施例中,针对相邻的第一帧图像和第二帧图像,计算第一帧图像与第二帧图像在各颜色通道的相似度,得到第一相似度,第一相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的整体变化,从而根据第一相似度实现分别对各颜色通道的白平衡收敛速度的调整;同时,计算第一帧图像的各图像区域与第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度,第二相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的局部变化,从而根据第二相似度实现分别对各颜色通道的白平衡收敛速度的调整。可见,本申请实施例中,分别计算各颜色通道的整体相似度和局部相似度,并基于整体相似度和局部相似度对各个颜色通道的白平衡收敛速度单独进行调整,从而利于在场景变化中加速各个颜色通道的白平衡收敛。

在一些实施例中,第一调整模块30,包括:

第一调整单元,用于在第一相似度大于第一阈值,各图像区域中的第一图像区域的第二相似度小于第二阈值的情况下,增加或降低第二帧图像中第一图像区域对应的权重值;

第二调整单元,用于在各图像区域中第二图像区域的各颜色通道的数值在第一预设范围的情况下,降低第二帧图像中第二图像区域的权重值。

在一些实施例中,计算模块20,包括:

第一计算单元,用于在各颜色通道的第一相似度均大于第一阈值的情况下,计算第一帧图像的第三图像区域,与第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的第二相似度,其中,第一位置为与第三图像区域对应的位置;

该装置还包括:

第二调整模块,用于根据第一帧图像的第三图像区域,与第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的第二相似度,调整第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的权重值。

在一些实施例中,第二调整模块,包括:

确定单元,用于在第三图像区域与第四图像区域在第一颜色通道的第二相似度大于第二阈值的情况下,根据第一位置和第四图像区域对应的第二位置,确定第二位置相对于第一位置的第一方向;

第三调整单元,用于在第二帧图像中,降低位于第一方向上各图像区域在第一颜色通道的权重值;

第四调整单元,用于在第三图像区域与任意图像区域在第一颜色通道的第二相似度均小于或者等于第二阈值的情况下,在第二帧图像中,增加第五图像区域在第一颜色通道的权重值,其中,第五图像区域为与第一位置对应的图像区域。

在一些实施例中,第一调整模块30,包括:

第二计算单元,用于分别计算与各颜色通道对应的图像区域中,调整权重的图像区域的数量;

第五调整单元,用于根据调整权重的图像区域的数量,调整第二帧图像的各颜色通道的白平衡收敛速度。

在一些实施例中,第一调整模块30,包括:

第六调整单元,用于在第二颜色通道对应的第一相似度最小的情况下,将第二颜色通道对应的白平衡收敛速度调整为最大值;

第七调整单元,用于在各颜色通道的第一相似度的差值小于第三阈值,且各颜色通道对应的第一相似度均大于第四阈值的情况下,减小各颜色通道的白平衡收敛速度;

第八调整单元,用于在各颜色通道的第一相似度的差值小于第五阈值,且各颜色通道对应的第一相似度均小于第六阈值的情况下,增大各颜色通道的白平衡收敛速度。

本申请实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例的图像处理装置可以为具有动作系统的装置。该动作系统可以为安卓(Android)动作系统,可以为iOS动作系统,还可以为其他可能的动作系统,本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程,达到相同的技术效果,为避免重复,这里不再赘述。

在一些实施例中,如图4所示,本申请实施例还提供一种电子设备100,包括处理器101,存储器102,存储在存储器102上并可在处理器101上运行的程序或指令,该程序或指令被处理器101执行时实现上述任一图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,本申请实施例的电子设备包括上述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、摄像头1011等部件。

本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

其中,处理器1010,用于获取第一帧图像以及所述第一帧图像的下一第二帧图像,其中,所述第一帧图像和所述第二帧图像均包括至少两个图像区域;计算所述第一帧图像与所述第二帧图像在各颜色通道的相似度,得到第一相似度;以及计算所述第一帧图像的各图像区域与所述第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度;基于所述第一相似度和所述第二相似度调整所述第二帧图像的各颜色通道的白平衡收敛速度。

在本申请的实施例中,针对相邻的第一帧图像和第二帧图像,计算第一帧图像与第二帧图像在各颜色通道的相似度,得到第一相似度,第一相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的整体变化,从而根据第一相似度实现分别对各颜色通道的白平衡收敛速度的调整;同时,计算第一帧图像的各图像区域与第二帧图像的各图像区域在各颜色通道的相似度,得到第二相似度,第二相似度可以体现出第一帧图像和第二帧图像在三个颜色通道的局部变化,从而根据第二相似度实现分别对各颜色通道的白平衡收敛速度的调整。可见,本申请实施例中,分别计算各颜色通道的整体相似度和局部相似度,并基于整体相似度和局部相似度对各个颜色通道的白平衡收敛速度单独进行调整,从而利于在场景变化中加速各个颜色通道的白平衡收敛。

在一些实施例中,处理器1010,还用于在所述第一相似度大于第一阈值,所述各图像区域中的第一图像区域的所述第二相似度小于第二阈值的情况下,增加或降低所述第二帧图像中所述第一图像区域对应的权重值;在所述各图像区域中第二图像区域的各颜色通道的数值在第一预设范围的情况下,降低所述第二帧图像中第二图像区域的权重值。

在一些实施例中,处理器1010,还用于在各颜色通道的第一相似度均大于第一阈值的情况下,计算所述第一帧图像的第三图像区域,与所述第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的第二相似度,其中,所述第一位置为与所述第三图像区域对应的位置;根据所述第一帧图像的第三图像区域,与所述第二帧图像的第一位置及周围位置的图像区域在第一颜色通道的第二相似度,调整所述第二帧图像的所述第一位置及周围位置的图像区域在所述第一颜色通道的权重值。

在一些实施例中,处理器1010,还用于在所述第三图像区域与第四图像区域在所述第一颜色通道的第二相似度大于第二阈值的情况下,根据所述第一位置和所述第四图像区域对应的第二位置,确定所述第二位置相对于所述第一位置的第一方向;在所述第二帧图像中,降低位于所述第一方向上各图像区域在所述第一颜色通道的权重值;在所述第三图像区域与任意图像区域在所述第一颜色通道的第二相似度均小于或者等于所述第二阈值的情况下,在所述第二帧图像中,增加第五图像区域在所述第一颜色通道的权重值,其中,所述第五图像区域为与所述第一位置对应的图像区域。

在一些实施例中,处理器1010,还用于分别计算与各颜色通道对应的图像区域中,调整权重的图像区域的数量;根据所述调整权重的图像区域的数量,调整所述第二帧图像的各颜色通道的白平衡收敛速度。

在一些实施例中,处理器1010,还用于在第二颜色通道对应的所述第一相似度最小的情况下,将所述第二颜色通道对应的白平衡收敛速度调整为最大值;在各颜色通道的所述第一相似度的差值小于第三阈值,且所述各颜色通道对应的所述第一相似度均大于第四阈值的情况下,减小所述各颜色通道的白平衡收敛速度;在各颜色通道的所述第一相似度的差值小于第五阈值,且所述各颜色通道对应的所述第一相似度均小于第六阈值的情况下,增大所述各颜色通道的白平衡收敛速度。

综上,本申请的目的在于提供一种基于图像相似算法,利用预览前后多帧的三颜色通道数据的相似度来调整图像区域在颜色通道的权重值,从而达到调整各颜色通道的白平衡收敛速度的方法,以达到加快颜色收敛的目的。在本申请中,第一,利用预览前后多帧的三颜色通道数据的相似度,分别调整对各颜色通道的白平衡收敛速度;第二,根据各图像区域的数据的变化趋势与图像整体数据的不同,给予各图像区域数据不同的权重值,通过增减图像区域在某颜色通道的权重值,调整该图像区域的对应颜色通道对整体白平衡增益的影响;第三,提前预测画面上颜色变化的方向,减少该方向上的图像区域数据的权重值。本申请为自动白平衡提供了一种增加稳定性、加快收敛速度的方式,增加了调试空间,对场景变化时的色彩变化情况略有益处。

应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频图像捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频图像的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、动作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和动作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理动作系统、用户页面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元;可选地,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

相关技术
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法、装置、电子设备及计算机可读存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法、图像处理装置、电子设备和可读存储介质
  • 图像处理方法、图像处理装置、电子设备及可读存储介质
技术分类

06120116508074