Bayer图像的高亮恢复装置、方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种Bayer图像的高亮恢复装置、方法及系统。

背景技术

RAW格式图像是图像传感器(即Image Sensor，比如CMOS或者CCD图像传感器)将捕捉到的光源信号转化为数字信号的原始数据(RAW的原意就是“未经加工”)，是无损的，包含了物体原始的颜色信息等。彩色滤波阵列(Color Filter Array，简称CFA)是图像传感器上方覆盖的一层滤波阵列覆盖层，用于采集图像的色彩信息。一般的光电传感器只能感应光的强度，不能区分光的波长，因此图像传感器需要通过彩色滤波阵列来获取像素点上的色彩信息，其中最常见的是Bayer Filter(拜耳滤波器)，它提供了关于红色波长区域、绿色波长区域和蓝色波长区域中光强度的信息，图像传感器通过Bayer Filter获得像素点上的红色(Red)、绿色(Green)和蓝色(Blue)光的强度信息，再依据色彩还原算法推算像素点的色值，得到的图像称为RGB Bayer图像或者Bayer图像。以数码相机为例，Bayer图像就是数码相机内部的原始图片，一般后缀名为.RAW。通常，图像系统具有图像处理流水线(ISPpipeline，或称Image Signal Processing pipeline)，该图像处理流水线(ISP pipeline)能够对RAW格式图像执行多种图像处理操作以生成可被显示在显示设备(例如监视器)上以供观看的全彩图像。

在ISP pipeline算法中，通过自动白平衡(Auto White Balance，简称AWB)处理可以解决色彩还原和色调处理的一系列问题——白平衡的目的就是让物体从在不同光源下所呈现出来的颜色，恢复到物体的固有色，以达到减少色偏或者无色偏的效果。由于ISPpipeline涉及大量的数据和严格的实时性要求，所以ISP(图像信号处理器)通常采用硬件方案实现。在采用专用硬件处理ISP流水线时，为了省硬件资源，每一个数据的存储通常都有位宽限制，比如ISPPipeline算法中会根据硬件资源配置RAW数据位宽范围。

白平衡算法为全局域算法，对传感器输出的三个颜色通道数据(包括R通道、G通道和B通道)上分别乘以一个增益系数，这三个增益系数即被定义为白平衡增益(AWB gain)；对图像施加了白平衡增益后，图像即获得了正常的白平衡——即通过白平衡增益对该图像进行补偿，得到其在标准白光下的显示效果。然而，对于图像中的较高亮区域，在经过白平衡处理后，可能因乘完白平衡增益值而导致超出ISP Pipeline定义的RAW数据位宽范围。对于超出定义的位宽范围的数据，通常处理方式为截位(Clipping，或称裁切)处理，把超出范围内的数据一并截位成最高位宽的定义值。作为举例，比如配置的图像源数据的最高位宽为12bit(比特)，对应的图像亮度范围为[0，4095]，当某个高亮区域经过白平衡增益处理后的亮度值超过4095时，溢出4095的亮度值都会被截位为4095(可以采用的亮度最高值)，参见图1所示，此时该高亮区域具有统一的亮度值，会导致高亮区细节丢失(发生过曝)和图像颜色偏色，作为举例，比如截位处理可能会导致图像中的天空呈现紫色，且丢失原有云彩等细节。

针对图像高亮区域细节丢失的现象，现有技术中提出了高亮恢复技术，高亮恢复技术就是指通过在图像的截位区域中恢复颜色信息来校正高亮裁切的技术。现有的高亮恢复技术中，常用的主要有以下三种方法。

第一种是采用基于双色反色模型的高光去除方法。双色反射模型认为图像是由漫反射分量与镜面反射分量组成。在非均匀光照条件下，物体表面通常会出现块状的强反射区域，即为高光区域，该区域可以被认为是镜面反射分量。因此利用空域分析或颜色空间分析等方法去除镜面反射分量，从而获取去除高光区域的图像。

第二种是采用色调映射方法。色调映射方法是将HDR(High—DynamicRange，高动态范围图像)图像的亮度进行压缩，进而映射到LDR(Low-Dynamic Range，低动态范围图像)显示设备的显示范围之内，同时，在映射的过程中要尽量保持原HDR图像的细节与颜色等重要信息。该算法能够将图像亮度进行压缩，包括图像的所有亮度范围都可以调整，能够保持图像细节与颜色。

第三种是颜色传播高亮恢复方法。为了执行颜色传播高亮恢复，将尚未被截位且与截位区域相邻的像素的颜色值被传播到截位区域，因此，未截位像素的颜色值旨在“渗出(bleed over)”以校正截位区域。颜色传播高亮恢复技术参考专利申请CN202080066899.0用于图像处理流水线的高亮恢复中的描述。

然而，前两种方法都是针对整幅图像的高光抑制算法，主要算法复杂度较高，运算时间较长，在RAW域的白平衡处理模块中难以适用；同时，由于高光抑制算法涉及整幅图像，会影响整幅图像的处理结果，无法做到仅调试高亮区，调试不够灵活。而第三种方法则要求图像处理器必须在存储器中保留多个像素值，对于每个截位区域，图像像素数据的光栅扫描顺序可能需要将整个截位区域缓存在SRAM中以便恢复该区域中截位像素的色调，这无疑会增加缓冲区大小，增加了硬件的大小、成本和复杂性。

综上所述，在恢复/校正因白平衡处理后的截位操作导致的高亮区域细节丢失及偏色问题时，如何根据数据位宽限制，针对高亮区过曝提供一种复杂度低易于实现、调试更灵活且副作用较少的高亮细节恢复装置，是当前亟需解决的技术问题。

发明内容

本发明的目的在于：克服现有技术的不足，提供了一种Bayer图像的高亮恢复装置、方法及系统。所述高亮恢复装置能够校正因白平衡处理后高亮区过曝导致的细节丢失和偏色问题，能较好地保持原有高亮区的细节，并使颜色过度更平滑，显著改善高亮区的偏色现象；同时，结合白平衡增益，可自适应调整每帧图像过曝区的亮度范围，保留原图最大亮度值的同比压缩。本发明具有简单易于实现、调试灵活且副作用少的特征，尤其适用于RAW域数据的白平衡处理。

为实现上述目标，本发明提供了如下技术方案：

一种Bayer图像的高亮恢复装置，包括高亮控制模块，所述高亮控制模块的输入端连接白平衡增益控制模块的输出端，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块中；

所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max

获取预设的高亮区最小值lum

G

其中，

进一步，所述高亮区最小值lum

进一步，所述RAW域数据位宽范围由ISP Pipeline定义，RAW域数据的最大位宽为8bit、10bit、12bit、14bit或16bit。

进一步，对于每帧图像，在获取该帧图像多通道的白平衡增益后，同步根据所述白平衡增益自适应更新对应的高亮区最大值lum

本发明还提供了另一种Bayer图像的高亮恢复装置，包括并联的截位模块和高亮控制模块，所述截位模块和高亮控制模块的输入端均连接白平衡增益控制模块的输出端；

所述高亮恢复装置具有截位模式和高亮控制模式，在截位模式下，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述截位模块；在高亮控制模式，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块；

所述截位模块，用于获取Bayer图像的图像源数据位宽值，并根据前述图像源数据位宽值对白平衡增益处理后超出位宽范围的颜色通道的值做截位操作；

所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max

获取预设的高亮区最小值lum

G

其中，

进一步，所述高亮区最小值lum

本发明还提供了一种Bayer图像的高亮恢复方法，包括如下步骤：

获取经白平衡增益控制模块处理后输出的乘完白平衡增益的图像数据信息；

对于每帧图像执行高亮恢复操作，其中，高亮恢复操作如下：获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max

获取预设的高亮区最小值lum

G

其中，

进一步，所述高亮区最小值lum

本发明还提供了一种图像处理系统，包括具有多个流水线处理模块的ISPPipeline，每个流水线处理模块被配置为处理输入图像数据以生成更新的图像数据后输出到下一级流水线处理模块；

所述流水线处理模块包括白平衡增益控制模块和高亮控制模块，所述高亮控制模块的输入端连接白平衡增益控制模块的输出端，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块中；

所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max

获取预设的高亮区最小值lum

G

其中，

进一步，还包括截位模块，所述截位模块和高亮控制模块并联设置，截位模块和高亮控制模块的输入端均连接白平衡增益控制模块的输出端；

此时，图像处理系统被配置为具有截位模式和高亮控制模式，在截位模式下，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述截位模块；在高亮控制模式，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块；

所述截位模块，用于获取Bayer图像的图像源数据位宽值，并根据前述图像源数据位宽值对白平衡增益处理后超出位宽范围的颜色通道的值做截位操作。

本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：

一方面，所述高亮恢复装置能够校正因白平衡处理后高亮区过曝导致的细节丢失和偏色问题，能较好地保持原有高亮区的细节，并使颜色过度更平滑，色彩过渡更自然，显著改善高亮区的偏色现象。方法简单易于实现，调试灵活，副作用少。

另一方面，结合白平衡增益，输入图像每帧可自适应调整过曝区的亮度范围，保留原图最大亮度值的同比压缩。

本发明提供的技术方案，在高亮区能较好地恢复原图像中的细节，能够显著改善高亮呈现紫色现象。同时，本发明运算方法简单，除了自定义调试高亮区亮度范围以外的图像数据均保持不变，不会影响正常亮度的细节，处理后的图像数据色彩过渡自然没有副作用。

附图说明

图1为现有技术中截位(Clipping)处理前后的亮度区映射曲线对比图。

图2为本发明提供的高亮恢复装置中高亮控制模块的连接示例图。

图3为本发明提供的高亮控制模块的信息处理逻辑框图。

图4为本发明提供的经高亮控制模块处理后的亮度区映射曲线与截位处理操作后的亮度区映射曲线的对比图。

图5为本发明实施例提供的高亮控制处理后的显示效果示例图。

图6为本发明实施例提供的图像处理流水线(ISP Pipeline)的信息处理逻辑框图。

具体实施方式

以下结合附图和具体实施例对本发明公开的Bayer图像的高亮恢复装置、方法及系统作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例

一种Bayer图像的高亮恢复装置，包括高亮控制(Highlight control)模块，所述高亮控制模块的输入端连接白平衡增益控制(AWB Gain control，或称自动白平衡控制)模块的输出端，参见图2所示。具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后，输入到前述高亮控制模块中。

所述高亮控制模块用于校正因白平衡处理后高亮区过曝，具体的，是通过获取白平衡增益(AWB gain)，比较R，G，B三个通道的增益的大小，确定最大增益值；以及计算映射曲线，在白平衡处理后的结果数据上映射该映射曲线，得到最终高亮控制(高亮压缩)后的数据。本发明提出的映射曲线，涉及高亮区最小值和高亮区最大值等参数，参数高亮区最小值lum

具体的，参见图3所示，所述高亮控制模块被配置执行如下操作：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

所述映射曲线如下：

G

其中，

在优选的实施方式中，所述高亮区最小值lum

所述RAW域数据位宽范围是由ISP Pipeline定义的，RAW域数据的最大位宽可以为8bit、10bit、12bit、14bit或16bit。

对于每帧图像，在获取该帧图像多通道的白平衡增益后，同步根据所述白平衡增益自适应更新对应的高亮区最大值lum

下面以ISP Pipeline定义的RAW域数据位宽范围为12bit为例详细描述本发明的技术方案。

此时，RAW域数据范围为[0，4095]，即a＝4095。

高亮区最小值lum

高亮区最大值lum

映射曲线中的幂n的计算公式如下：

映射曲线的计算公式如下：

G

其中，R

R

G

B

其中，R

也就是说，对于乘完白平衡增益的R颜色通道数据R

上述方案中，参数高亮区最小值lum

本发明的另一实施例，还提供了一种Bayer图像的高亮恢复方法。所述方法包括如下步骤。

S100，获取经白平衡增益控制模块处理后输出的乘完白平衡增益的图像数据信息。

S200，对于每帧图像执行高亮恢复操作。

其中，步骤S200中进行高亮恢复操作的步骤具体可以如下：

S210，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

S220，获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max

S230，获取预设的高亮区最小值lum

所述映射曲线如下：

G

其中，

本实施例中，优选的，所述高亮区最小值lum

其它技术特征参见在前实施例的描述，在此不再赘述。

本发明的另一实施例，还提供了另一种Bayer图像的高亮恢复装置。

所述Bayer图像的高亮恢复装置包括并联的截位模块和高亮控制模块，所述截位模块和高亮控制模块的输入端均连接白平衡增益控制模块的输出端。

所述高亮恢复装置具有截位模式和高亮控制模式，在截位模式下，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述截位模块；在高亮控制模式，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块。

所述截位模块，用于获取Bayer图像的图像源数据位宽值，并根据前述图像源数据位宽值对白平衡增益处理后超出位宽范围的颜色通道的值做截位操作。

作为举例而非限制，比如Bayer图像的图像源数据位宽值为12bit(比特)，对应的图像亮度范围即为[0，4095]。在截位模式下，图像源数据乘完白平衡增益后进入截位模块，截位模块对超出位宽范围的值做截位操作。该截位模块可以不受预定的RAW数据位宽范围的限制。

白平衡增益控制模块对输入的图像源数据进行白平衡处理，图像源数据乘以白平衡增益的计算公式如下：

R

G

B

截位模块获取输入的、乘完白平衡增益的三个颜色通道数据R

R

G

B

其中，CLIP表示截取函数。CLIP[R

所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

获取预定的RAW域数据位宽范围，根据最高位宽值对应的亮度值a和前述最大增益值Max

获取预设的高亮区最小值lum

G

其中，

其它技术特征参见在前实施例的描述，在此不再赘述。

参见图6所示，为本发明的另一实施例，还提供了一种图像处理系统。

所述图像处理系统包括具有多个流水线处理模块的ISP Pipeline(图像处理流水线)，每个流水线处理模块被配置为处理输入图像数据以生成更新的图像数据后输出到下一级流水线处理模块。

所述流水线处理模块包括白平衡增益控制模块和高亮控制模块，所述高亮控制模块的输入端连接白平衡增益控制模块的输出端，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块中。

所述高亮控制模块被配置为：对于每帧图像，获取R、G和B三个颜色通道的白平衡增益，比较R、G和B三个颜色通道的白平衡增益以确定最大增益值Max

所述映射曲线如下：

G

其中，

优选的，所述流水线处理模块还可以包括截位模块，所述截位模块和高亮控制模块并联设置，截位模块和高亮控制模块的输入端均连接白平衡增益控制模块的输出端。

此时，图像处理系统被配置为具有截位模式和高亮控制模式，在截位模式下，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述截位模块；在高亮控制模式，具有R、G和B三个颜色通道的Bayer图像经白平衡增益控制模块进行白平衡增益处理后输入到前述高亮控制模块。

所述截位模块，用于获取Bayer图像的图像源数据位宽值，并根据前述图像源数据位宽值对白平衡增益处理后超出位宽范围的颜色通道的值做截位操作。

其它技术特征参见在前实施例的描述，在此不再赘述。

在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。