掌桥专利:专业的专利平台
掌桥专利
首页

图像的白平衡处理方法、装置、电子设备和存储介质

文献发布时间:2023-06-19 11:27:38


图像的白平衡处理方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术,尤其是一种图像的白平衡处理方法、装置、电子设备和存储介质。

背景技术

白平衡(White Balance,WB),是描述图像中白色精确度的一项指标。白平衡是随着电子影像再现色彩而产生的。

实践中,许多用户在使用图像拍摄装置拍摄图像的过程中,都会遇到这样的问题:在日光灯的房间里拍摄的影像会显得发绿,在室内钨丝灯光下拍摄出来的景物就会偏黄,而在日光阴影处拍摄到的照片则莫名其妙地偏蓝,其原因就在于白平衡算法的处理方式上。

现有技术中,单帧照片的白平衡算法由来已久。然而,在一些特殊的场景中,例如,三维建模、VR(虚拟现实,Virtual Reality)看房等应用场景中,如果将各帧图像单独进行性白平衡处理,或者,仅考虑单光源对图像的影响,则往往难以确保最终呈现出来的全局白平衡的处理效果,比如相邻照片之间出现冷暖色温跳变等等。因此,在上述场景中,如何提高图像白平衡处理的白平衡处理的全局一致性,是一个值得关注的技术问题。

发明内容

本公开实施例提供一种图像的白平衡处理方法、装置、电子设备和存储介质,以提高图像白平衡处理的全局一致性。

根据本公开实施例的第一个方面,提供的一种图像的白平衡处理方法,包括:

获取待处理图像,其中,所述待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内;

基于所述光源组,确定所述光源组中的光源之间的光源影响信息,其中,所述光源影响信息表征所述光源组中的光源之间的影响关系;

基于所述光源影响信息,对所述待处理图像进行白平衡处理,生成白平衡处理后图像。

可选地,在本公开任一实施例的方法中,所述基于所述光源组,确定所述光源组中的光源之间的光源影响信息,包括:

基于所述光源组中的光源之间的距离以及所述光源组中的光源之间是否存在光照影响中的至少一项,确定所述光源组中的光源的光源影响信息。

可选地,在本公开任一实施例的方法中,所述基于所述光源组中的光源之间的距离以及所述光源组中的光源之间是否存在光照影响中的至少一项,确定所述光源组中的光源的光源影响信息,包括:

基于所述光源组中的光源之间的距离以及所述光源组中的光源之间是否存在光照影响中的至少一项,确定表征所述光源组中的光源之间的影响关系的权重矩阵,将所确定的权重矩阵作为光源影响信息。

可选地,在本公开任一实施例的方法中,所述获取待处理图像,包括:

针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,拍摄至少一张图像,将所拍摄的图像作为待处理图像。

可选地,在本公开任一实施例的方法中,所述针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,拍摄至少一张图像,将所拍摄的图像作为待处理图像,包括:

针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,采用旋转拍摄的拍摄方式,拍摄预定数量张图像,将所拍摄的每张图像作为待处理图像。

可选地,在本公开任一实施例的方法中,所述采用旋转拍摄的拍摄方式,拍摄预定数量张图像,将所拍摄的每张图像作为待处理图像,包括:

采用旋转拍摄的拍摄方式,每间隔预设角度拍摄一张图像,得到预定数量张图像,将所拍摄的每张图像作为待处理图像,其中,所述预设角度与所述预定数量的乘积大于或等于360度。

可选地,在本公开任一实施例的方法中,所述基于所述光源影响信息,对所述待处理图像进行白平衡处理,包括:

针对所述光源组中的每个光源,对与该光源相对应的每张待处理图像进行光源估计,得到针对该待处理图像的光源信息,其中,与该光源相对应的待处理图像为:在针对该光源设置的至少一个拍摄位置拍摄得到的待处理图像;

基于与所述光源组中的每个光源相对应的多张待处理图像的光源信息,确定该光源的光源信息;

基于所确定的各个光源的光源信息,对所述待处理图像进行白平衡处理。

可选地,在本公开任一实施例的方法中,所述基于所确定的各个光源的光源信息,对所述待处理图像进行白平衡处理,包括:

基于所确定的各个光源的光源信息,以及表征所述光源组中的光源之间的影响关系的权重矩阵,对所得到的待处理图像进行白平衡处理。

可选地,在本公开任一实施例的方法中,所述基于所确定的各个光源的光源信息,对所述待处理图像进行白平衡处理,包括:

针对所述光源组中的每个光源,基于该光源的光源信息,确定与该光源相对应的第一转换矩阵,得到与该光源相对应的待处理图像对应的第一转换矩阵,其中,第一转换矩阵用于将与该光源相对应的待处理图像转换为待处理图像的白平衡处理后图像;

基于与所述光源组中的每个光源相对应的每张待处理图像的光源信息,确定该待处理图像对应的第二转换矩阵,其中,第二转换矩阵用于将该待处理图像转换为该待处理图像的白平衡处理后图像;

针对所得到的每张待处理图像,基于该待处理图像对应的第一转换矩阵和第二转换矩阵,对该待处理图像进行白平衡处理。

根据本公开实施例的第二个方面,提供的一种图像的白平衡处理装置,包括:

获取单元,被配置成获取待处理图像,其中,所述待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内;

确定单元,被配置成基于所述光源组,确定所述光源组中的光源之间的光源影响信息,其中,所述光源影响信息表征所述光源组中的光源之间的影响关系;

生成单元,被配置成基于所述光源影响信息,对所述待处理图像进行白平衡处理,生成白平衡处理后图像。

可选地,在本公开任一实施例的装置中,所述确定单元包括:

第一确定子单元,被配置成基于所述光源组中的光源之间的距离以及所述光源组中的光源之间是否存在光照影响中的至少一项,确定所述光源组中的光源的光源影响信息。

可选地,在本公开任一实施例的装置中,所述第一确定子单元包括:

第一确定模块,被配置成基于所述光源组中的光源之间的距离以及所述光源组中的光源之间是否存在光照影响中的至少一项,确定表征所述光源组中的光源之间的影响关系的权重矩阵,将所确定的权重矩阵作为光源影响信息。

可选地,在本公开任一实施例的装置中,所述获取单元包括:

拍摄子单元,被配置成针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,拍摄至少一张图像,将所拍摄的图像作为待处理图像。

可选地,在本公开任一实施例的装置中,所述拍摄子单元包括:

拍摄模块,被配置成针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,采用旋转拍摄的拍摄方式,拍摄预定数量张图像,将所拍摄的每张图像作为待处理图像。

可选地,在本公开任一实施例的装置中,所述拍摄模块包括:

拍摄子模块,被配置成采用旋转拍摄的拍摄方式,每间隔预设角度拍摄一张图像,得到预定数量张图像,将所拍摄的每张图像作为待处理图像,其中,所述预设角度与所述预定数量的乘积大于或等于360度。

可选地,在本公开任一实施例的装置中,所述生成单元包括:

第一处理子单元,被配置成针对所述光源组中的每个光源,对与该光源相对应的每张待处理图像进行光源估计,得到针对该待处理图像的光源信息,其中,与该光源相对应的待处理图像为:在针对该光源设置的至少一个拍摄位置拍摄得到的待处理图像;

第二确定子单元,被配置成基于与所述光源组中的每个光源相对应的多张待处理图像的光源信息,确定该光源的光源信息;

第二处理子单元,被配置成基于所确定的各个光源的光源信息,对所述待处理图像进行白平衡处理。

可选地,在本公开任一实施例的装置中,所述第二处理子单元包括:

第一处理模块,被配置成基于所确定的各个光源的光源信息,以及表征所述光源组中的光源之间的影响关系的权重矩阵,对所得到的待处理图像进行白平衡处理。

可选地,在本公开任一实施例的装置中,所述第二处理子单元包括:

第二确定模块,被配置成针对所述光源组中的每个光源,基于该光源的光源信息,确定与该光源相对应的第一转换矩阵,得到与该光源相对应的待处理图像对应的第一转换矩阵,其中,第一转换矩阵用于将与该光源相对应的待处理图像转换为待处理图像的白平衡处理后图像;

第三确定模块,被配置成基于与所述光源组中的每个光源相对应的每张待处理图像的光源信息,确定该待处理图像对应的第二转换矩阵,其中,第二转换矩阵用于将该待处理图像转换为该待处理图像的白平衡处理后图像;

第二处理模块,被配置成针对所得到的每张待处理图像,基于该待处理图像对应的第一转换矩阵和第二转换矩阵,对该待处理图像进行白平衡处理。

根据本公开实施例的第三个方面,提供的一种电子设备,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述第一方面的图像的白平衡处理方法中任一实施例的方法。

根据本公开实施例的第四个方面,提供的一种计算机可读介质,该计算机程序被处理器执行时,实现如上述第一方面的图像的白平衡处理方法中任一实施例的方法。

根据本公开实施例的第五个方面,提供的一种计算机程序,该计算机程序包括计算机可读代码,当该计算机可读代码在设备上运行时,使得该设备中的处理器执行用于实现如上述第一方面的图像的白平衡处理方法中任一实施例的方法中各步骤的指令。

基于本公开上述实施例提供的图像的白平衡处理方法、装置、电子设备和存储介质,可以获取待处理图像,其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内,然后,基于光源组,确定光源组中的光源之间的光源影响信息,其中,光源影响信息表征光源组中的光源之间的影响关系,最后,基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。由此,可以基于光源组中的光源之间的影响关系,参考多个光源对待处理图像的影响,对待处理图像进行白平衡处理,从而提高了多光源场景下图像白平衡处理的全局一致性。

下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例,并且连同描述一起用于解释本公开的原理。

参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:

图1为本公开图像的白平衡处理方法的第一个实施例的流程图。

图2为本公开图像的白平衡处理方法的第二个实施例的流程图。

图3为本公开图像的白平衡处理方法的第三个实施例的流程图。

图4为本公开图像的白平衡处理方法的一个实施例的应用场景示意图。

图5为本公开图像的白平衡处理装置的一个实施例的结构示意图。

图6是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。

还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。

还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。

另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。

还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统和服务器中的至少一种电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统和服务器中的至少一种电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。

终端设备、计算机系统和服务器中的至少一种电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

请参考图1,示出了根据本公开的图像的白平衡处理方法的第一个实施例的流程100。该图像的白平衡处理方法,包括:

101,获取待处理图像。

在本实施例中,图像的白平衡处理方法的执行主体(例如服务器、终端设备、具有图像处理功能的图像处理单元等)可以通过有线连接方式或者无线连接方式从其他电子设备或者本地,获取待处理图像。其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内。待处理图像可以是待对其进行白平衡处理的图像。示例性的,该待处理图像可以是原始图像(例如raw图像文件),也可以是基于原始图像得到的图像,还可以是经过腐蚀操作等处理后得到的图像。

上述光源组中的光源可以是处于发光状态的任何物体。示例性的,上述光源组可以包括但不限于以下至少一项:太阳、路灯、位于卧室的灯、位于客厅的灯、位于厨房的灯、位于卫生间的灯、烛光等等。

在本实施例的一些可选的实现方式中,上述执行主体可以采用如下方式执行上述101,以获取待处理图像:

针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,拍摄至少一张图像,将所拍摄的图像作为待处理图像。

其中,针对光源设置的拍摄位置,可以是能够拍摄到该光源的光照范围内的物体对象的任何位置。作为示例,针对光源设置的拍摄位置可以是地平线上的该光源的正下方,也可以是与该光源的相距预定距离的位置。

作为示例,上述执行主体可以在同一个拍摄位置的同一个方向拍摄一张或多张待处理图像,也可以在同一个拍摄位置的不同方向分别拍摄一张或多张待处理图像。

可以理解,上述可选的实现方式可以针对每个光源,拍摄得到与该光源相对应的至少一张待处理图像,从而可以通过后续步骤,基于不同光源对不同位置的待处理图像的影响,更具针对性地对各张待处理图像进行白平衡处理,从而可以提高白平衡处理的全局一致性。

在上述可选的实现方式的一些应用场景下,上述执行主体可以采用如下方式,获得待处理图像:

针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,采用旋转拍摄的拍摄方式,拍摄预定数量张图像,将所拍摄的每张图像作为待处理图像。其中,上述预定数量可以是任何正整数,作为示例,预定数量可以是2、4、6、8等等。

作为示例,上述执行主体可以进行随机旋转,从而在旋转的过程中进行拍摄。

可以理解,采用旋转拍摄的拍摄方式所得到的一组待处理图像,其所受到的光源的影响往往较为接近,因此,同一拍摄位置所旋转拍摄得到的一组待处理图像可以彼此作为参照,从而使得后续的白平衡处理更准确。

在上述应用场景的一些情况下,上述执行主体可以采用如下方式,获得待处理图像:

采用旋转拍摄的拍摄方式,每间隔预设角度拍摄一张图像,得到预定数量张图像,将所拍摄的每张图像作为待处理图像。其中,预设角度与预定数量的乘积大于或等于360度。

作为示例,上述执行主体可以在水平方向旋转,每旋转70度拍摄一张图像,总共拍摄6张,使得相邻两次拍摄的待处理图像两两重叠,涵盖水平方向360度全景。

可以理解,上述情况中,可以涵盖水平方向360度全景的图像,因而,有助于实现对全景图像的白平衡处理。

102,基于光源组,确定光源组中的光源之间的光源影响信息。

在本实施例中,上述执行主体可以基于光源组,确定光源组中的光源之间的光源影响信息。其中,光源影响信息表征光源组中的光源之间的影响关系。

作为示例,光源影响信息可以表征两个光源之间的以下至少一项光照影响关系:有光照影响、无光照影响、光照影响强、光照影响弱等等。

在这里,上述执行主体可以基于光源组中的各个光源的光照强度,确定光源组中的每两个光源之间的光源影响信息。

103,基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

在本实施例中,上述执行主体可以基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

作为示例,上述执行主体可以将光源影响信息和待处理图像输入至预先训练的白平衡处理模型,从而对待处理图像进行白平衡处理,生成白平衡处理后图像。其中,上述白平衡处理模型可以是基于预先确定的训练样本集合,训练得到的卷积神经网络。上述训练样本集合中的训练样本可以包括:相对应的样本光源影响信息、样本待处理图像和样本白平衡处理后图像。

本公开的上述实施例提供的图像的白平衡处理方法,可以获取待处理图像,其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内,然后,基于光源组,确定光源组中的光源之间的光源影响信息,其中,光源影响信息表征光源组中的光源之间的影响关系,最后,基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。由此,可以基于光源组中的光源之间的影响关系,参考多个光源对待处理图像的影响,对待处理图像进行白平衡处理,从而提高了多光源场景下图像白平衡处理的全局一致性。

进一步参考图2,图2是本公开的图像的白平衡处理方法的第二个实施例的流程图。该图像的白平衡处理方法的流程200,包括:

201,获取待处理图像。

在本实施例中,图像的白平衡处理方法的执行主体(例如服务器、终端设备、具有图像处理功能的图像处理单元等)可以通过有线连接方式或者无线连接方式从其他电子设备或者本地,获取待处理图像。其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内。

在本实施例中,201与图1对应实施例中的101基本一致,这里不再赘述。

202,基于光源组中的光源之间的距离以及光源组中的光源之间是否存在光照影响中的至少一项,确定光源组中的光源的光源影响信息。

在本实施例中,上述执行主体可以基于光源组中的光源之间的距离以及光源组中的光源之间是否存在光照影响中的至少一项,确定光源组中的光源的光源影响信息。其中,光源影响信息表征光源组中的光源之间的影响关系。

作为示例,在光源影响信息表征两个光源之间的光照影响强弱的情况下,两个光源之间的距离越大,可以确定两个光源之间的光源影响越弱;两个光源之间的距离越小,可以确定两个光源之间的光源影响越强。

此外,可以通过判断光源的发光强度的强弱、光源之间是否存在遮光物、光源之间的遮光物能否完全遮住光源之间的光照等因素,判断出光源之间是否存在光照影响。

在这里,可以基于预先建立的对应关系表,来实现上述202。其中,该对应关系表可以记录有光源组中的光源之间的距离和/或光源组中的光源之间是否存在光照影响(也即光源组中的光源之间的距离,以及光源组中的光源之间是否存在光照影响中的至少一项),与光源组中的光源的光源影响信息之间的对应关系。

在本实施例的一些可选的实现方式中,上述执行主体可以采用如下方式执行上述202,以基于光源组中的光源之间的距离以及光源组中的光源之间是否存在光照影响中的至少一项,确定光源组中的光源的光源影响信息:

基于光源组中的光源之间的距离以及光源组中的光源之间是否存在光照影响中的至少一项,确定表征光源组中的光源之间的影响关系的权重矩阵,将所确定的权重矩阵作为光源影响信息。

作为示例,在光源组中包括光源A、光源B、光源C、光源D和光源E,共5个光源,并且,上述5个光源中的每个光源所在的位置均在其他4个光源的光照范围之内,其中,光源A和光源B之间存在光照影响,光源B和光源D之间存在光照影响,光源C和光源D之间存在光照影响,光源D和光源E之间存在光照影响,其他不同光源之间无光照影响(例如两光源之间通过墙壁将光线隔绝,导致其间无光照影响)的情况下,可以通过下表表征上述光源影响信息:

其中,标志为1,表示两光源之间存在光照影响。

然后,可以根据上表来设计权重矩阵。

具体而言,若两光源之间存在光照影响,则根据其间距离来确定权重。例如,在图像采集设备包括摄像头和激光雷达的情况下,可以对两光源之间的距离进行测量。这里,假设距离衰减权值W

这样,对应到上表,可以进一步形成下表:

也即,可以得到矩阵权重:

需要说明的是,在实际使用中不限定为5个光源,可以根据实际光源情况定义对应的矩阵,此处仅作为示例。

可以理解,上述可选的实现方式中,将表征光源组中的光源之间的影响关系的权重矩阵作为光源影响信息,从而可以通过权重矩阵将光源组中的两两光源之间的光照影响作用于后续白平衡处理,使得白平衡处理结果更为准确。

203,基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

在本实施例中,上述执行主体可以基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像

在本实施例中,步骤203与图1对应实施例中的步骤103基本一致,这里不再赘述。

需要说明的是,除上面所记载的内容外,本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果,在此不再赘述。

从图2中可以看出,本实施例中的图像的白平衡处理方法的流程200可以基于光源组中的光源之间的距离,和/或,其间是否存在光照影响,来确定光源组中的光源的光源影响信息,这样,可以确定出更为准确的光源影响信息,进而实现更为准确的白平衡处理。

请继续参考图3,图3是本公开的图像的白平衡处理方法的第三个实施例的流程图。该图像的白平衡处理方法的流程300,包括:

301,获取待处理图像。

在本实施例中,图像的白平衡处理方法的执行主体(例如服务器、终端设备、具有图像处理功能的图像处理单元等)可以通过有线连接方式或者无线连接方式从其他电子设备或者本地,获取待处理图像。其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内。

在本实施例中,步骤301与图1对应实施例中的步骤101基本一致,这里不再赘述。

302,基于光源组,确定光源组中的光源之间的光源影响信息。

在本实施例中,上述执行主体可以基于光源组,确定光源组中的光源之间的光源影响信息。其中,光源影响信息表征光源组中的光源之间的影响关系。

在本实施例中,步骤302与图1对应实施例中的步骤102基本一致,这里不再赘述。

303,针对光源组中的每个光源,对与该光源相对应的每张待处理图像进行光源估计,得到针对该待处理图像的光源信息。

在本实施例中,上述执行主体可以针对光源组中的每个光源,对与该光源相对应的每张待处理图像进行光源估计,得到针对该待处理图像的光源信息。其中,与该光源相对应的待处理图像为:在针对该光源设置的至少一个拍摄位置拍摄得到的待处理图像。

其中,上述执行主体可以采用多种方式,对与该光源相对应的每张待处理图像进行光源估计,例如,Gray world(灰度世界算法),Gray edge(灰度边缘检测算法),WhitePatch(白色斑块检测算法)等等。光源信息可以为对该待处理图像进行光源估计的结果。作为示例,光源信息可以采用RGB(红绿蓝,Red Green Blue)色值表征。

304,基于与光源组中的每个光源相对应的多张待处理图像的光源信息,确定该光源的光源信息。

在本实施例中,上述执行主体可以基于与光源组中的每个光源相对应的多张待处理图像的光源信息,确定该光源的光源信息。

作为示例,针对光源组中的每个光源,上述执行主体可以将与该光源相对应的各张待处理图像的光源信息的平均值或者加权求和的结果,确定为该光源的光源信息。

具体而言,在针对该光源设置一个拍摄位置,且在该拍摄位置每间隔预设角度拍摄一次待处理图像,总计在该拍摄位置拍摄6张待处理图像的场景下,可以采用如下公式,确定光源的光源信息L

其中,N为在该拍摄位置拍摄的待处理图像的数量,上述示例中为6。i用于标识光源,j用于标识在该拍摄位置拍摄的待处理图像。

305,基于所确定的各个光源的光源信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

在本实施例中,上述执行主体可以基于所确定的各个光源的光源信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

在本实施例的一些可选的实现方式中,上述执行主体可以采用如下方式执行上述305,以对待处理图像进行白平衡处理:

基于所确定的各个光源的光源信息,以及表征光源组中的光源之间的影响关系的权重矩阵,对所得到的待处理图像进行白平衡处理。

作为示例,在光源组中包括5个光源的情况下,上述执行主体可以采用如下方式,对所得到的待处理图像进行白平衡处理:

首先,基于所确定的各个光源的光源信息,以及如上所描述的表征光源组中的光源之间的影响关系的权重矩阵,确定光源的混合光源信息

其中,L

然后,根据计算好的光源的混合光源信息

其中,i用于标识光源组中的光源,j用于标识在单个拍摄位置拍摄的待处理图像。

最后,可以基于计算得到的

可以理解,上述可选的实现方式既可以保证光源在各待处理图像中的一致性,又保留了单张待处理图像的个性化和多样性。

在本实施例的一些可选的实现方式中,上述执行主体可以采用如下方式执行上述305,以对待处理图像进行白平衡处理:

首先,针对光源组中的每个光源,基于该光源的光源信息(例如上述混合光源信息

作为示例,如果光源的光源信息采用包含三个元素的矩阵

其中,

由此,采用如上转换方式,可以得到第i个光源的全局光源

然后,基于与光源组中的每个光源相对应的每张待处理图像的光源信息,确定该待处理图像对应的第二转换矩阵。其中,第二转换矩阵用于将该待处理图像转换为该待处理图像的白平衡处理后图像。

假设根据以上方法得到的第i个光源的第j张待处理图像的光源

最后,针对所得到的每张待处理图像,基于该待处理图像对应的第一转换矩阵和第二转换矩阵,对该待处理图像进行白平衡处理。

具体而言,可以对每张待处理图像用一个对角矩阵

根据

可以理解,上述可选的实现方式可以为每张待处理图像确定出用于将该待处理图像转换为该待处理图像的白平衡处理后图像的第二转换矩阵,从而保留了单张待处理图像的个性化和多样性。

作为本公开的图像的白平衡处理方法的一个实施例的应用场景,该图像的白平衡处理方法可以应用于VR(Virtual Reality,虚拟现实)看房场景中。通常,要完成在线VR看房需要涉及到整合应用多种技术,而最后呈现给用户的看这一环,必然离不开对照片的处理(例如ISP(Image Signal Processing,图像信号处理))。虽然相机、手机等设备已经普及,也涉及到各种相关的照片处理技术,但对于VR拍房定制化设备存在各种挑战。首先,拍房设备是高度集成各种传感器设备的定制化硬件,只能自主研发。其次,这种设备通常无法达到手机那样大的出货量,因此,很难得到成熟的ISP厂商的支持,所以,同时需要自建ISP能力。最后,由于仅限于拍房的特殊场景,ISP处理上也有别于其他ISP厂商的处理方法。

实践中,单帧照片的白平衡算法由来已久,然而,发明人发现,VR看房的应用场景中不但需要考虑单个点位的360度全景白平衡的一致性,同时需要考虑观看点位(即拍摄位置)切换时白平衡的一致性问题,不具备一致性的情况下在观看点位切换照片时会出现明显的突变。

本公开中的实施例,由于可以实现图像的多光源估计,因而可以提高多光源场景下图像白平衡处理的全局一致性。适合应用于VR看房场景中,例如,可以直接应用到室内拍照场景的ISP处理流程中。

具体而言,可以采用如上所描述的方式来达到上述技术效果,在此不再赘述。

可以理解,上述示例中的待处理图像可以取自构建好的三维模型(例如房屋),例如,如图4所示,图4为本公开图像的白平衡处理方法的一个实施例的应用场景示意图。在图4中,光源组中包括光源401、光源402、光源403、光源404和光源405,共5个光源,并且,上述5个光源中的每个光源所在的位置均在其他4个光源的光照范围之内,其中,光源401和光源402之间存在处于开启状态的门411和处于开启状态的门412,其间存在光照影响;光源412和光源414之间存在处于开启状态的门412,其间存在光照影响;光源413和光源414之间存在处于开启状态的门413,其间存在光照影响;光源413和光源415之间存在处于开启状态的门413和处于开启状态的门415,其间存在光照影响,其他不同光源之间无光照影响(例如两光源之间通过墙壁将光线隔绝,导致其间无光照影响)。进一步地,可以采用如上所描述的方式对三维模型中的图像(即待处理图像)进行白平衡处理。

将本公开所描述的实施例应用于上述应用场景中,可以确保单个拍摄位置的360度全景白平衡的一致性,同时克服了三维模型的观看点位切换时白平衡的一致性问题,一定程度上避免了在观看点位切换时的突变现象。

需要说明的是,除上面所记载的内容外,本申请实施例还可以包括与图1-图2对应的实施例相同或类似的特征、效果,在此不再赘述。

从图3中可以看出,本实施例中的图像的白平衡处理方法的流程300中,可以得到每张待处理图像的光源信息,实现了对待处理图像进行更精细化的白平衡处理,从而提高了多光源场景下白平衡处理的全局一致性。

进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种图像的白平衡处理装置的一个实施例,该装置实施例与图1-图3所示的方法实施例相对应,除下面所记载的特征外,该装置实施例还可以包括与图1-图3所示的方法实施例相同或相应的特征,以及产生与图1-图3所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图5所示,本实施例的图像的白平衡处理装置500包括:获取单元501、确定单元502和生成单元503。其中,获取单元501,被配置成获取待处理图像,其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内;确定单元502,被配置成基于光源组,确定光源组中的光源之间的光源影响信息,其中,光源影响信息表征光源组中的光源之间的影响关系;生成单元503,被配置成基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

在本实施例中,图像的白平衡处理装置500的获取单元501可以获取待处理图像。其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内。

在本实施例中,确定单元502可以基于光源组,确定光源组中的光源之间的光源影响信息。其中,光源影响信息表征光源组中的光源之间的影响关系。

在本实施例中,上述生成单元503可以基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。

在本实施例的一些可选的实现方式中,确定单元502包括:

第一确定子单元(图中未示出),被配置成基于光源组中的光源之间的距离以及光源组中的光源之间是否存在光照影响中的至少一项,确定光源组中的光源的光源影响信息。

在本实施例的一些可选的实现方式中,第一确定子单元包括:

第一确定模块(图中未示出),被配置成基于光源组中的光源之间的距离以及光源组中的光源之间是否存在光照影响中的至少一项,确定表征光源组中的光源之间的影响关系的权重矩阵,将所确定的权重矩阵作为光源影响信息。

在本实施例的一些可选的实现方式中,获取单元501包括:

拍摄子单元(图中未示出),被配置成针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,拍摄至少一张图像,将所拍摄的图像作为待处理图像。

在本实施例的一些可选的实现方式中,拍摄子单元包括:

拍摄模块(图中未示出),被配置成针对预先确定的光源组中的至少一个光源,在针对该光源设置的至少一个拍摄位置,采用旋转拍摄的拍摄方式,拍摄预定数量张图像,将所拍摄的每张图像作为待处理图像。

在本实施例的一些可选的实现方式中,拍摄模块包括:

拍摄子模块(图中未示出),被配置成采用旋转拍摄的拍摄方式,每间隔预设角度拍摄一张图像,得到预定数量张图像,将所拍摄的每张图像作为待处理图像,其中,预设角度与预定数量的乘积大于或等于360度。

在本实施例的一些可选的实现方式中,生成单元503包括:

第一处理子单元(图中未示出),被配置成针对光源组中的每个光源,对与该光源相对应的每张待处理图像进行光源估计,得到针对该待处理图像的光源信息,其中,与该光源相对应的待处理图像为:在针对该光源设置的至少一个拍摄位置拍摄得到的待处理图像;

第二确定子单元(图中未示出),被配置成基于与光源组中的每个光源相对应的多张待处理图像的光源信息,确定该光源的光源信息;

第二处理子单元(图中未示出),被配置成基于所确定的各个光源的光源信息,对待处理图像进行白平衡处理。

在本实施例的一些可选的实现方式中,第二处理子单元包括:

第一处理模块(图中未示出),被配置成基于所确定的各个光源的光源信息,以及表征光源组中的光源之间的影响关系的权重矩阵,对所得到的待处理图像进行白平衡处理。

在本实施例的一些可选的实现方式中,第二处理子单元包括:

第二确定模块(图中未示出),被配置成针对光源组中的每个光源,基于该光源的光源信息,确定与该光源相对应的第一转换矩阵,得到与该光源相对应的待处理图像对应的第一转换矩阵,其中,第一转换矩阵用于将与该光源相对应的待处理图像转换为待处理图像的白平衡处理后图像;

第三确定模块(图中未示出),被配置成基于与光源组中的每个光源相对应的每张待处理图像的光源信息,确定该待处理图像对应的第二转换矩阵,其中,第二转换矩阵用于将该待处理图像转换为该待处理图像的白平衡处理后图像;

第二处理模块(图中未示出),被配置成针对所得到的每张待处理图像,基于该待处理图像对应的第一转换矩阵和第二转换矩阵,对该待处理图像进行白平衡处理。

本公开的上述实施例提供的图像的白平衡处理装置中,获取单元501可以获取待处理图像,其中,待处理图像的拍摄对象位于预先确定的光源组中的至少一个光源的光照范围内,之后,确定单元502可以基于光源组,确定光源组中的光源之间的光源影响信息,其中,光源影响信息表征光源组中的光源之间的影响关系,最后,生成单元503可以基于光源影响信息,对待处理图像进行白平衡处理,生成白平衡处理后图像。由此,可以基于光源组中的光源之间的影响关系,参考多个光源对待处理图像的影响,对其进行白平衡处理,从而提高了多光源场景下图像白平衡处理的全局一致性。

下面,参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。

图6图示了根据本公开实施例的电子设备的框图。

如图6所示,电子设备6包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器601可以运行所述程序指令,以实现上文所述的本公开的各个实施例的图像的白平衡处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中,电子设备还可以包括:输入装置603和输出装置604,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如,在该电子设备是第一设备或第二设备时,该输入装置603可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置603可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。

此外,该输入装置603还可以包括例如键盘、鼠标等等。该输出装置604可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然,为了简化,图6中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像的白平衡处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

另外,本公开的实施例还可以是计算机程序,该计算机程序可以包括计算机可读代码。当上述计算机可读代码在设备上运行时,该设备中的处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像的白平衡处理方法中的步骤。

以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

相关技术
  • 图像的白平衡处理方法、装置、电子设备和存储介质
  • 图像的白平衡处理方法、装置、电子设备和存储介质
技术分类

06120112934914