面向多光源的图像白平衡校正方法、装置、设备及存储介质

技术领域

本发明涉及相机白平衡校正技术领域，具体涉及一种面向多光源的图像白平衡校正方法、装置、设备及存储介质。

背景技术

人眼视觉系统具有色适应调节的能力，可以根据适应光环境的颜色和亮度调节视锥细胞的敏感曲线，从而在不同光源下保持物体色貌的相对稳定。数码相机信号处理流程中的白平衡模块承担了色适应参考光源作为校正目标调节的功能，使得白平衡校正后的图像与人眼对真实场景的视觉感知相一致。相机的白平衡校正算法包括光源估计和色适应调整：基于图像颜色信息，光源估计模块能够预估出适应环境中的光源颜色和亮度；根据预估出的光源信息，色适应调整模块计算得到每个通道的增益系数，并使用该系数对原图像的三通道响应值做独立线性调节。

区别于理想的单光源环境，真实适应环境中可能存在多种不同的光源。但目前的白平衡算法主要针对单一光源的适应环境，对于多光源的复杂适应场，白平衡算法中的色适应调整方法存在一系列问题和挑战：(1)光源颜色的空间分布对于适应状态的影响未知。在沃克里斯色适应变换的理论框架下，增益系数计算所用的测试光源即为估计所得的环境光源。但对于多光源环境，目前的白平衡算法并没有考虑不同光源之间的相互影响，因此测试光源的计算方法仍然未知；(2)现有的白平衡算法假设人眼达到了完全适应的状态，并没有考虑多光源环境的颜色空间分布、亮度空间分布、适应场大小等因素对于适应程度的影响，导致颜色还原结果偏离人眼感知。

发明内容

有鉴于此，本申请实施例提供一种面向多光源的图像白平衡校正方法、装置、设备及存储介质，能够适用于多光源环境。

第一方面，本申请一实施例提供了一种面向多光源的图像白平衡校正方法，具体步骤包括：

计算不同位置环境光源对拍摄图像中每一像素位置的影响权重，基于所述影响权重与多光源的视锥细胞响应值，计算等效于所述多光源的等效光源视锥细胞响应值；

计算等效光源对于图像上每一像素位置的影响因子，基于所述影响因子计算等效光源的适应程度；

基于所述适应程度、等效光源和参考光源的视锥细胞响应值，计算每一视锥通道的增益系数；

利用所述增益系数计算拍摄图像在参考光源下的对应色，将所述对应色转换成校正图像的RGB输出，实现拍摄图像的白平衡校正。

可选的，基于图像相邻像素对应的实际间距、水平和垂直方向高斯分布函数，设定不同位置光源对拍摄图像中每一像素位置的影响权重。

可选的，针对拍摄图像中某一像素(i,j)，所述影响权重设定为w

其中，d

基于图像采集设备的特性化矩阵和锥体响应变换矩阵，获得多光源锥体细胞响应值

可选的，所述计算等效光源对于图像上每一像素位置的影响因子，基于所述影响因子计算等效光源的适应程度为：

计算等效光源对于图像上每一像素点的色度因子和亮度因子，计算等效光源的尺度因子；将所述色度因子、亮度因子及尺度因子的乘积作为等效光源的适应程度。

可选地，所述基于所述适应程度、等效光源和参考光源的视锥细胞响应值，计算每一视锥通道的增益系数为：

其中，

可选的，所述利用所述增益系数计算拍摄图像在参考光源下的对应色为：

基于图像采集设备的特性化矩阵和锥体响应变换矩阵，获得拍摄图像锥体细胞响应值，将所述增益系数与拍摄图像锥体细胞响应值相乘，计算出拍摄图像在参考光源下的对应色；

/>

其中，

所述将所述对应色转换成校正图像的RGB为：

通过锥体响应变换逆矩阵和相机特性化逆矩阵，将图片在参考光源下对应色的锥体细胞响应值重新转换到所用相机的RGB空间：

其中，A

可选的，所述参考光源为等能白光源，通过对其三刺激值进行缩放，使得其亮度与相应位置的等效光源相同，获得参考光源的三刺激值，利用锥体响应变换矩阵将其转换为锥体细胞响应值。

第二方面，本申请一实施例提供了面向多光源的图像白平衡校正装置，包括：等效光源模块、适应程度模块、增益系数模块及校正模块；

等效光源模块，用于计算不同位置环境光源对拍摄图像中每一像素位置的影响权重，基于所述影响权重与多光源的视锥细胞响应值，计算等效于所述多光源的等效光源视锥细胞响应值；

适应程度模块，用于计算等效光源对于图像上每一像素位置的影响因子，基于所述影响因子计算等效光源的适应程度；

增益系数模块，用于基于所述适应程度、等效光源和参考光源的视锥细胞响应值，计算每一视锥通道的增益系数；

校正模块，利用所述增益系数计算拍摄图像在参考光源下的对应色，实现拍摄图像的白平衡校正。

第三方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。

第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

有益效果

第一，本申请实施例基于多光源的位置信息，设定其对应与拍摄图像中每一像素的影响权重，利用所述影响权重将多光源等效为一个等效光源，从而保证该方法可以适用于环境中具有多个光源的情形。

第二，本申请实例基于色适应状态主要受中心视场影响的研究结果，用二维空间高斯分布函数模拟不同位置光源对于等效光源的影响权重，从而保证该方法和人眼视觉感知保持一致。

第三，本申请实施例充分考虑光源颜色、亮度、大小等因素对于适应程度的影响，利用光源颜色、亮度、大小及环境因子的乘积来计算增益系数，可以避免白平衡矫正后的图像与人眼视觉之间存在偏差。

第四，本申请可以应用于不同的成像电子设备中，具有很好的适用前景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明方法流程图。

图2为本发明方法中的具体特性化流程示意图。

图3为本发明实施例中，参数σ在不同数值下，等效光源计算公式中的位置权重与光源相对位置在水平/垂直方向上距离之间的对应关系示意图。

图4为本发明实施例中，以位于图像(1000,1000)位置的像素点为参考对象，拍摄所得图片的光源位置权重与二维空间像素坐标之间的对应关系示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

本申请的设计思想为：(1)针对存在多光源的拍摄环境，基于光源位置设定影响权重，将不同位置的多光源等效为一个等效光源，基于等效光源的相关信息进行白平衡校正，从而使得该方法可以适用于存在多个光源的拍摄环境中；(2)将拍摄图像转换到LMS空间中进行，处理过程更贴近人眼视锥细胞光谱敏感度在不同光环境下的变化过程；(3)增益系数的计算引入了一个新变量——适应程度D，用来量化光环境颜色、亮度、大小等参数对于适应程度的影响，形成了一个准确、全面、应用范围广的适应程度评估模型，并结合相机颜色特性化模型和光源估计算法；基于上述三种设计思想实现了对多光源环境拍摄图像的白平衡校正，且符合人眼真实感知的彩色相机白平衡矫正。

本申请实施例不考虑光源估计问题，假设实际拍摄场景中的光源颜色已经由现有光源估计模块计算得出。

如图1所示，本申请一实施例，一种面向多光源环境的白平衡校正方法，具体过程为：

设定不同位置环境光源对拍摄图像中每一像素位置的影响权重，基于所述影响权重与多光源的视锥细胞响应值，计算等效于所述多光源的等效光源视锥细胞响应值；计算等效光源对于图像上每一像素位置的影响因子，基于所述影响因子计算等效光源的适应程度；基于所述适应程度、等效光源和参考光源的视锥细胞响应值，计算每一视锥通道的增益系数；利用所述增益系数计算拍摄图像在参考光源下的对应色(即图像LMS视锥响应)，将所述对应色转换成校正图像的RGB输出，实现拍摄图像的白平衡校正。

本实施例基于多光源的位置信息，设定其对应与拍摄图像中每一像素的影响权重，利用所述影响权重将多光源等效为一个等效光源，从而保证该方法可以适用于环境中具有多个光源的情形。

结合上述实施例可选的，基于图像相邻像素对应的实际间距、水平和垂直方向高斯分布函数，设定不同位置光源对拍摄图像中每一像素位置的影响权重。

本申请实例基于色适应状态主要受中心视场影响的研究结果，用二维空间高斯分布函数模拟不同位置光源对于等效光源的影响权重，从而保证该方法和人眼视觉感知保持一致。

结合上述实施例可选的，针对拍摄图像中某一像素(i,j)，所述影响权重设定为w

其中，d

基于图像采集设备的特性化矩阵和锥体响应变换矩阵，获得多光源锥体细胞响应值

结合上述实施例可选的，计算等效光源对于图像上每一像素位置的影响因子，基于所述影响因子计算等效光源的适应程度为：

计算等效光源对于图像上每一像素点的色度因子和亮度因子，计算等效光源的尺度因子；将所述色度因子、亮度因子及尺度因子的乘积作为等效光源的适应程度。

本实施例充分考虑光源颜色、亮度、大小等因素对于适应程度的影响，利用光源颜色、亮度、大小及环境因子的乘积来计算增益系数，可以避免白平衡矫正后的图像与人眼视觉之间存在偏差，合形成了一个准确、全面、适用于各种多光源环境的色适应调整方法，实现了与人眼真实感知一致的彩色相机白平衡校正。

结合上述实施例可选的，基于所述适应程度、等效光源和参考光源的视锥细胞响应值，计算每一视锥通道的增益系数为：

其中，

结合上述实施例可选的，所述利用所述增益系数计算拍摄图像在参考光源下的对应色为：

基于图像采集设备的特性化矩阵和锥体响应变换矩阵，获得拍摄图像锥体细胞响应值值，将所述增益系数与拍摄图像锥体细胞响应值相乘，计算出拍摄图像在参考光源下的对应色；

其中，

所述将所述对应色转换成校正图像的RGB为：

通过锥体响应变换逆矩阵和相机特性化逆矩阵，将图片在参考光源下对应色的锥体细胞响应值重新转换到所用相机的RGB空间：

其中，A

本实施例中利用图像采集设备的特性化矩阵和锥体响应变换矩阵，预先获得多光源环境下每一光源的锥体细胞响应值，结合影响权重来获得与多光源等效的一个等效光源的锥体细胞响应值，保证所获得的等效光源锥体细胞响应值可以准确的表示环境中多光源的特性。本实施例利用利用图像采集设备的特性化矩阵和锥体响应变换矩阵将拍摄图像转换到LMS空间中进行校正，相比于现有技术在基于设备相关的RGB空间或者R/G,B/G空间进行，本实施例能够更精准的解决锥细胞光谱敏感度随光环境变化导致的问题，的从而保证颜色校正结果与人眼的感知一致。

结合上述实施例可选的，所述参考光源为等能白光源，通过对其三刺激值进行缩放，使得其亮度与相应位置的等效光源相同，获得参考光源的三刺激值，利用锥体响应变换矩阵将其转换为锥体细胞响应值。

实例：

本实施例图像采集设备为数码相机，通过对数码相机采集的图像进行白平衡校正。

(1)利用模拟D65光源，获取相机的特性化矩阵A；

如图2所示，该步骤的具体过程如下：

101，对于光谱功率分布为P(λ)的模拟D65光源，使用颜色匹配函数(colormatching functions)

其中，R

102，使用待标定数码相机获取D65光源下标准色卡中各个色块的RGB响应值，其中第i个色块的响应值记为R

103，拓展相机响应值矩阵到N×11，记为V，其中s≥3，代表所选取的多项式项数，在s＝11时，其中第i行对应：

104，计算相机的特性化矩阵：

A＝(V

其中，上角标T表示转置矩阵，上角标-1表示逆矩阵。

(2)基于所述相机的特性化矩阵和锥体响应变换矩阵，获得多个环境光源的锥体细胞响应值和拍摄图像的锥体细胞响应值；本步骤的具体过程为：

基于所述相机的特性矩阵，将实际环境中的光源色度值和所拍摄图像的相机响应值转化到XYZ颜色空间上：

[X

其中，V

实际环境中的光源色度值可以采用上述方式进行转换，转换得到三刺激值

基于锥体响应变换矩阵，将环境光源空间分布和拍摄图像的XYZ三刺激值转换到LMS空间上，得到多个环境光源的锥体细胞响应值和拍摄图像的锥体细胞响应值：

其中，M

(3)基于将多个环境光源等效为一个等效光源的设计思想，利用设定的光源位置权重及多个环境光源的锥体细胞响应值，计算等效光源的锥体细胞响应值，并将其转换值XYZ色度空间上；具体过程如下：

其中，M,N分别代表图像在水平和垂直方向上的像素数目，0≤i≤M,0≤j≤N；

将等效光源的锥体细胞响应值

(4)获取参考光源的色度三刺激值，并将其转换值LMS空间上，获得参考光源的锥体细胞响应值；本步骤的具体过程为：

对作为参考光源的等能白的三刺激值进行缩放，使得其亮度与相应(i,j)位置等效光源相同，参考光源色度三刺激值为

接下来将参考光源色度三刺激值转换到LMS空间上：

(5)基于所述等效光源的锥体细胞响应值和参考光源的锥体细胞响应值，计算每个视锥通道的增益系数；本步骤的具体过程为：

首先，基于等效光源对应的XYZ色度空间上的三刺激值，计算对于空间坐标为(i,j)图像像素点的色度因子和亮度因子；获取等效光源的适应光环境的视场角作为尺度因子，将所述色度因子(f

其中，fov指适应光环境的视场角。D(i,j)的变化范围从0(没有适应)到1(完全适应)每个视锥通道的增益系数：

其中，

(6)利用步骤(5)计算出的增益系数计算图片在参考光源下的对应色：

其中，

(7)通过锥体响应变换逆矩阵和相机特性化逆矩阵，将图片在参考光源下对应色的锥体细胞响应值重新转换到所用相机的RGB空间：

其中，

本实施例中，采用二元高斯分布计算不同位置的光源对于适应状态的影响权重，通过光源空间分布的加权积分计算等效光源的三刺激值，结合等效光源的亮度和适应场大小计算人眼视觉系统对于等效光源的适应程度。本实施例创新性的提出了等效光源的概念，解决了多光源环境下色适应调整的难题，对提升白平衡算法的处理效果、拓展其应用范围具有重要意义。

基于与上述面向多光源环境的白平衡校正方法相同的发明构思，本申请实施例还提供了一种面向多光源环境的白平衡校正装置，包括：等效光源模块、适应程度模块、增益系数模块及校正模块；

等效光源模块，用于计算不同位置环境光源对拍摄图像中每一像素位置的影响权重，基于所述影响权重与多光源的视锥细胞响应值，计算等效于所述多光源的等效光源视锥细胞响应值；

适应程度模块，用于计算等效光源对于图像上每一像素位置的影响因子，基于所述影响因子计算等效光源的适应程度；

增益系数模块，用于基于所述适应程度、等效光源和参考光源的视锥细胞响应值，计算每一视锥通道的增益系数；

校正模块，利用所述增益系数计算拍摄图像在参考光源下的对应色，实现拍摄图像的白平衡校正。

本申请实施例面向多光源环境的白平衡校正装置与上述面向多光源环境的白平衡校正方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。

基于与上述面向多光源环境的白平衡校正方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备可以为手机、数码相机、平板电脑等，该电子设备包括存储器和处理器。

处理器可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备执行本申请各个实施例所述方法的全部或部分。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。