一种利用光照先验对照度不均匀人脸图像进行增强的方法

技术领域

本发明涉及图像处理，更具体地，涉及用于对人脸图像进行增强的方法和装置。

背景技术

人脸图像是人类的身份验证的重要标志，也是人脸识别应用的重要素材，但不同光照下拍摄的人脸图片，特别是光线较暗的情况下的人脸图片往往会隐藏或丢失部分人脸信息而导致人脸识别准确率下降，因此，许多针对人脸图像的预处理技术应运而生。对于整体偏暗的人脸图像而言，通过简单的直方图均衡算法或是伽玛校正，即可获得亮度正常的人脸图像。然而，现实生活中，我们获取到的多数是照度不均匀的人脸图像。此类图像增强相对复杂，因为统一拉伸图像的亮度反而会导致原本亮度正常的人脸部分过度曝光。为此，许多学者提出基于Retinex理论的方法，将图像分解为照度图像和反射图像，通过调整估计照度图像的亮度来达到人脸图像的亮度增强。但往往无法准确估计出真实的照度，且照度调整的幅度没有统一的标准，以至于增强后的人脸虽然亮度提升了，却也放大了噪声，进而影响了人脸识别的准确率。

中国专利申请CN106056076A公开了一种确定复杂光照人脸图像的光照不变量的方法。为了提升人脸识别率，提出了一种提取更加鲁棒的光照不变量的方法，其是在研究经典朗伯模型的基础上，从图像的成像原理出发，估计人脸图像的光照。通过分析朗伯模型，设计两种光照估计模型，最后推导出光照不变量。这种方法可以有效地消除原始图像的光照差异，而且所述光照不变量R的数值范围介于0和1之间，与人脸本征的数值范围一致。但对于人脸部分明暗变化强烈的区域，其推导出的光照不变量仍然存在明显的分界线，这样的图像用于人脸识别中显然会干扰识别的准确率。

中国专利申请CN108647620A公开了一种基于伽马变换的韦伯人脸的光照归一化方法。首先对人脸图像进行线性变换，然后对线性变换后的图像进行伽马变换，接着利用高斯函数对伽马变换后的图像进行求导，对求导后的图像进行邻域积分，并将积分结果图像进行归一化，得到最后的光照归一化的图像。该发明提供的基于伽马变换的韦伯人脸的光照归一化方法，通过伽马变换使得假设条件更加完善和具有普适性，得到的结果光照归一化的效果较好，但对于人脸光照变化强烈的区域，光照变化的边缘因为求导再积分而被放大，这种非轮廓区域的边缘放大显然会影响人脸识别效果。

上述两个专利申请中的一个是去除光照获取光照不变量，一个是归一化光照，两者都是为了获得不受非均匀光照影响的人脸图像，从而提高人脸识别的准确率。但这两个专利都存在同样的问题，即，人脸光照变化强烈的区域在处理后仍存在明显的分界线。专利申请“一种确定复杂光照人脸图像的光照不变量的方法(CN106056076A)”虽然消除了原始图像的光照差异，但忽略了光照变化强烈的区域。专利申请“一种基于伽马变换的韦伯人脸的光照归一化方法(CN108647620A)”对图像求导再积分的操作放大了光照变化强烈的边缘。

相应地，本领域中存在对于对照度不均匀的人脸图像进行增强的改进的技术的需要。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

鉴于以上描述的现有技术中的缺陷，本发明的目的在于，克服已有的人脸图像增强技术噪声放大严重、光照估计不准确的问题。

根据本发明的第一方面，提供了一种用于对人脸图像进行增强的方法，该方法可以包括：获得人脸图像；对人脸图像进行颜色空间变换，以将人脸图像从红-绿-蓝RGB色彩空间转换到色调-饱和度-亮度HSV色彩空间，HSV色彩空间中的人脸图像包括色调通道图像、饱和度通道图像和亮度通道图像；对亮度通道图像进行边缘保留的联合双边滤波以估计照度图像；统计正常光照下人脸图像的第一亮度范围；确定亮度通道图像中的人脸区域的第二亮度范围；基于第一亮度范围和第二亮度范围来计算照度调整因子；基于亮度通道图像、照度图像和照度调整因子来获得反射图像；拉伸反射图像的亮度，以得到经增强的亮度通道图像；以及将经增强的亮度通道图像与色调通道图像和饱和度通道图像相结合，再转换到RGB色彩空间，以得到最终增强的人脸图像。

根据本发明的第二方面，提供了一种用于对人脸图像进行增强的装置，该装置可以包括：存储器；以及耦合至该存储器的处理器，其中该处理器被配置成：获得人脸图像；对人脸图像进行颜色空间变换，以将人脸图像从红-绿-蓝RGB色彩空间转换到色调-饱和度-亮度HSV色彩空间，HSV色彩空间中的人脸图像包括色调通道图像、饱和度通道图像和亮度通道图像；对亮度通道图像进行边缘保留的联合双边滤波以估计照度图像；统计正常光照下人脸图像的第一亮度范围；确定亮度通道图像中的人脸区域的第二亮度范围；基于第一亮度范围和第二亮度范围来计算照度调整因子；基于亮度通道图像、照度图像和照度调整因子来获得反射图像；拉伸反射图像的亮度，以得到经增强的亮度通道图像；以及将经增强的亮度通道图像与色调通道图像和饱和度通道图像相结合，再转换到RGB色彩空间，以得到最终增强的人脸图像。

根据本发明第三方面，提供了一种用于对人脸图像进行增强的装置，该装置可以包括：人脸图像获得模块，其配置成获得人脸图像；颜色空间变换模块，配置成对人脸图像进行颜色空间变换，以将人脸图像从红-绿-蓝RGB色彩空间转换到色调-饱和度-亮度HSV色彩空间，HSV色彩空间中的人脸图像包括色调通道图像、饱和度通道图像和亮度通道图像；照度图像估计模块，其配置成对亮度通道图像进行边缘保留的联合双边滤波以估计照度图像；照度调整因子计算模块，其配置成统计正常光照下人脸图像的第一亮度范围，确定亮度通道图像中的人脸区域的第二亮度范围，以及基于第一亮度范围和第二亮度范围来计算照度调整因子；反射图像获得模块，其配置成基于亮度通道图像、照度图像和照度调整因子来获得反射图像；以及反射图像亮度拉升模块，其配置成拉伸反射图像的亮度，以得到经增强的亮度通道图像；其中颜色空间变换模块被进一步配置成将经增强的亮度通道图像与色调通道图像和饱和度通道图像相结合，再转换到RGB色彩空间，以得到最终增强的人脸图像。

根据本发明的第四方面，提供了一种存储计算机程序的计算机可读介质，该计算机程序在由处理器执行时执行本发明的方法。

通过采用本发明提供的技术方案，能够获得照度均匀的人脸图像，从而提高人脸识别准确率。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1解说了根据本发明的一个实施例的用于对人脸图像进行增强的方法的流程图。

图2解说了根据本发明的一个实施例的应用效果图。

图3解说了根据本发明的一个实施例的用于对人脸图像进行增强的装置的框图。

图4解说了根据本发明的一个实施例的用于对人脸图像进行增强的装置的框图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

为了克服已有的人脸图像增强技术噪声放大严重，光照估计不准确的问题，本发明提出一种基于Retinex理论的利用光照先验的照度不均匀人脸图像增强算法。根据Retinex理论，利用联合双边滤波的方法估计出照度图像，接着统计现有光照正常的人脸图像的照度信息，并结合人脸图像中光照正常的部分，作为参考，来调整估计的照度图像亮度，最后利用Retinex模型计算出反射图像。为了获得更自然的人脸图像，本发明利用对数图像处理减法模型来补偿反射分量的光照，从而获得照度均匀的人脸图像。本发明还对反射图像利用对数图像处理模型进行处理，给予反射图像一定的光照，以提升图像的自然性。

图1解说了根据本发明的一个实施例的用于对人脸图像进行增强的方法100的流程图。在一些示例中，方法100可由图3中解说的装置300和/或图4中解说的装置400来执行。在一些示例中，方法100可由用于执行下述功能或算法的任何合适的设备或装置来执行。

在框110，方法100可以包括获得人脸图像。在一个示例中，人脸图像可以直接从拍摄人脸的摄像头提供。在另一个示例中，由摄像头拍摄的人脸图像可以首先存储在存储设备中，然后在需要时从存储设备中读取。在又一个示例中，可以从包括多张人脸的图像中提取出需要识别的特定人脸。一般来说，人脸区域应当占据人脸图像的中央区域并且占据人脸图像的大部分区域。因此，还可以构想调整所获得的人脸图像，以使得人脸区域位于人脸图像的中央区域并且占据大部分人脸图像。由于光照不均匀，所获得的人脸图像往往在某些区域内偏暗，从而可能影响人脸识别的准确率。

在框120，方法100可以包括对人脸图像进行颜色空间变换，以将人脸图像从红-绿-蓝RGB色彩空间转换到色调-饱和度-亮度HSV色彩空间，HSV色彩空间中的人脸图像包括色调通道图像H、饱和度通道图像S和亮度通道图像V。RGB色彩空间与HSV色彩空间之间的相互转换是已知的，例如，可以通过下式来将人脸图像从RGB色彩空间转换到HSV色彩空间：

max＝max(R，G，B)

min＝min(R，G，B)

V＝max

在本发明中，仅处理亮度通道图像V，而不改变色调通道图像H和饱和度通道图像S，以避免增强结果出现色彩失真问题。

在框130，方法100可以包括对亮度通道图像V进行边缘保留的联合双边滤波以估计照度图像L。根据Retinex模型，原始图像可被看作由反射分量和光照分量组成。反射分量代表物体的反射性质，其特性取决于物体的本质属性。照度分量表现为频域中的低频分量。一般来说，传统的Retinex图像增强算法是将照度分量从原始图像中去除，只保留反射分量作为增强结果。因此，准确地估计照度分量至关重要。在本发明的一个实施例中，对亮度通道图像V进行边缘保留的联合双边滤波以估计照度图像L可以包括：以特定图像块(例如，7*7图像块)内光照最大值作为局部光照，估计初始照度图像L

在本发明中，边缘保留的联合双边滤波是通过引导图像对输入图像进行滤波来实现的，其公式为：

其中p是局部邻域Ω的中心点，q是邻域中的任一像素点，W

其中(x,y)是邻域Ω中的一个点，邻域块大小为15×15，L(x,y)为引导图像像素值，V(x,y)是原图像V通道像素值，T取值20。

在框140，方法100可以包括统计正常光照下人脸图像的第一亮度范围，确定亮度通道图像V中的人脸区域的第二亮度范围，以及基于第一亮度范围和第二亮度范围来计算照度调整因子w。

在本发明中，统计正常光照下人脸图像的第一亮度范围是指：针对在室外无遮挡、光照均匀的情况下拍摄的人脸图像，统计此类图像的人脸的亮度范围，作为光照先验。为此，可以对光照均匀的情况下拍摄的人脸图像进行超像素分割。假设人脸区域在图像的中央区域，以例如图像中间四分之三的区域(距图像上下左右各八分之一)作为人脸区域，计算人脸区域各像素块的亮度均值。例如，可以统一人脸图像的尺寸为200x200px，各像素块的大小为25x25px。随后，将最小亮度块的第一均值I

另外，可以对亮度通道图像V进行超像素分割，统计其中人脸区域的第二亮度范围。类似地，计算人脸区域各像素块的亮度均值。各像素块的大小可以为25x25px。取出亮度均值在第一亮度范围(I

在确定了第一亮度范围(I

其中T

其中l为亮度。

在框150，方法100可以包括基于亮度通道图像V、照度图像L和照度调整因子w来获得反射图像R。根据改进的中心环绕Retinex模型，可以从原始图像中去除调整后的照度图像L，以获得反射图像R，其计算公式为：

log(R)＝log(V)-w·log(L)。

在框160，方法100可以包括拉伸反射图像R的亮度，以得到经增强的亮度通道图像E。在框150处获得的反射图像亮度被压缩在较小的亮度范围内。为了拉伸它的亮度，可以采用对数图像处理减法模型来模拟光照。首先，对反射图像的像素亮度进行升序排序。因为反射图像亮度被压缩在较小的范围内，为了消除反射图像中极少数离散亮点的影响，取排序后的前99％的像素中最大的亮度值作为对数图像处理减法模型的参数C。例如，假设排序后的像素亮度值为：{0，1，2，2，2，3，4，5，10，10，12，13，14，14，…，20，21，21，25，100，200}，共计200个像素，像素值主要集中在0～25的范围内，极少数值超过25，则取25作为参数C。随后，可以采用对数图像处理减法模型，通过下式来获得经增强的亮度通道图像E：

其中E表示经增强的亮度通道图像，R表示反射图像，并且C表示对数图像处理减法模型的参数。

在框170，方法100可以包括将经增强的亮度通道图像E与色调通道图像H和饱和度通道图像S相结合，再转换到RGB色彩空间，以得到最终增强的人脸图像。即，首先将经增强的亮度通道图像E替代原来的亮度通道图像V，然后将其与框120处获得的HSV色彩空间中的色调通道图像H和饱和度通道图像S相组合，通过已知的HSV色彩空间到RGB色彩空间的转换公式来转换到RGB色彩空间，从而得到最终的经过增强的人脸图像。

本发明与现有技术相比，其显著优点主要表现为：

(1)没有色彩失真，本发明将人脸图像从RGB空间转到HSV空间，只对V通道进行亮度处理，不影响其色调和饱和度，对V通道进行亮度调整后再转到RGB色彩空间；

(2)没有光晕现象，通过边缘保留的联合双边滤波估计照度，包括初始照度估计和最终照度估计，得到的照度图像非边缘区域足够平滑，边缘细节得以保持，计算得到的反射图像细节更多，边缘处没有出现光晕；

(3)没有过度增强，本发明结合正常光照的人脸亮度范围和人脸亮区域的亮度，调整照度分量，而不是没有参考，无限制的调整照度图像的亮度，得到的结果暗区域没有噪声放大，亮区域没有过度曝光；

(4)没有放大光照强烈变化的边缘，增强人脸图像中光照强烈变化的区域交平滑，没有明显的轮廓现象；

(5)增强人脸图像的结果较自然，因为对估计得到的反射图像做对数图像处理减法拉伸其对比度，一方面提升其亮度，另一方面给予反射图像以照度补偿，使得其增强结果更自然。

图2解说了根据本发明的一个实施例的应用效果图200。图2中的第一行图像是光照不均匀的原始人脸图像。图2中的第二行图像是在采用了根据本发明的方法100来对原始人脸图像进行增强之后得到的人脸图像。可见，在采用了方法100之后，人脸图像的增强效果非常自然，而没有色彩失真、没有光晕现象、没有过度增强、也没有放大光照强烈变化的边缘。

图3解说了根据本发明的一个示例性实施例的用于对人脸图像进行增强的装置300的框图。装置300的所有功能块(包括在装置300中的各种单元或模块，无论是否在附图中示出)可以通过硬件、软件、或硬件和软件的组合来实现以执行本发明的原理。本领域技术人员应理解，图3中描述的功能块可以被组合或者分割成子块以实现如上所述的本发明的原理。因此，本文中的描述可以支持本文中描述的功能块的任何可能的组合或分割或进一步定义。

如图3中所示，根据本发明的一个示例性实施例，装置300可以包括通过总线305彼此耦合的多个模块，其中该多个模块可以包括：人脸图像获得模块310，其配置成获得人脸图像；颜色空间变换模块320，配置成对人脸图像进行颜色空间变换，以将人脸图像从红-绿-蓝RGB色彩空间转换到色调-饱和度-亮度HSV色彩空间，HSV色彩空间中的人脸图像包括色调通道图像、饱和度通道图像和亮度通道图像；照度图像估计模块330，其配置成对亮度通道图像进行边缘保留的联合双边滤波以估计照度图像；照度调整因子计算模块340，其配置成统计正常光照下人脸图像的第一亮度范围，确定亮度通道图像中的人脸区域的第二亮度范围，以及基于第一亮度范围和第二亮度范围来计算照度调整因子；反射图像获得模块350，其配置成基于亮度通道图像、照度图像和照度调整因子来获得反射图像；以及反射图像亮度拉升模块360，其配置成拉伸反射图像的亮度，以得到经增强的亮度通道图像；其中颜色空间变换模块320被进一步配置成将经增强的亮度通道图像与色调通道图像和饱和度通道图像相结合，再转换到RGB色彩空间，以得到最终增强的人脸图像。

图4解说了根据本发明的一个实施例的用于对人脸图像进行增强的装置400的硬件实现的示例的框图。装置400可使用包括一个或多个处理器404的处理系统414来实现。处理器404的示例包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、选通逻辑、分立的硬件电路、以及配置成执行本公开通篇描述的各种功能性的其他合适硬件。在各个示例中，装置400可被配置成执行本文中所描述的功能中的任一者或多者。即，如在装置400中利用的处理器404可被用于实现以上参照图1描述的方法100。

在该示例中，处理系统414可被实现成具有由总线402一般化地表示的总线架构。取决于处理系统414的具体应用和总体设计约束，总线402可包括任何数目的互连总线和桥接器。总线402将包括一个或多个处理器(由处理器404一般化地表示)、存储器405和计算机可读介质(由计算机可读介质406一般化地表示)的各种电路通信地耦合在一起。总线402还可链接各种其他电路，诸如定时源、外围设备、稳压器和功率管理电路，这些电路在本领域中是众所周知的，且因此将不再进一步描述。总线接口408提供总线402与收发机410之间的接口。收发机410提供用于在传输介质上与各种其他设备进行通信的通信接口或装置。取决于该设备的特性，还可提供用户接口412(例如，按键板、显示器、扬声器、话筒、操纵杆)。当然，此类用户接口412是可任选的，且可在一些示例中被省略。

在一些方面，处理器404可被配置成：获得人脸图像；对人脸图像进行颜色空间变换，以将人脸图像从红-绿-蓝RGB色彩空间转换到色调-饱和度-亮度HSV色彩空间，HSV色彩空间中的人脸图像包括色调通道图像、饱和度通道图像和亮度通道图像；对亮度通道图像进行边缘保留的联合双边滤波以估计照度图像；统计正常光照下人脸图像的第一亮度范围；确定亮度通道图像中的人脸区域的第二亮度范围；基于第一亮度范围和第二亮度范围来计算照度调整因子；基于亮度通道图像、照度图像和照度调整因子来获得反射图像；拉伸反射图像的亮度，以得到经增强的亮度通道图像；以及将经增强的亮度通道图像与色调通道图像和饱和度通道图像相结合，再转换到RGB色彩空间，以得到最终增强的人脸图像。

处理器404负责管理总线402和通用处理，包括对存储在计算机可读介质406上的软件的执行。软件在由处理器404执行时使处理系统414执行针对任何特定设备描述的各种功能。计算机可读介质406和存储器405还可被用于存储由处理器404在执行软件时操纵的数据。

处理系统中的一个或多个处理器404可以执行软件。软件应当被宽泛地解释成意为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行的线程、规程、函数等，无论其是用软件、固件、中间件、微代码、硬件描述语言、还是其他术语来述及皆是如此。软件可驻留在计算机可读介质406上。计算机可读介质406可以是非瞬态计算机可读介质。作为示例，非瞬态计算机可读介质包括磁存储设备(例如，硬盘、软盘、磁带)、光盘(例如，压缩碟(CD)或数字多用碟(DVD))、智能卡、闪存设备(例如，卡、棒或钥匙型驱动器)、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器、可移除盘、以及用于存储可由计算机访问和读取的软件和/或指令的其他任何合适介质。计算机可读介质406可驻留在处理系统414中、在处理系统414外部、或跨包括处理系统414的多个实体分布。计算机可读介质406可被实施在计算机程序产品中。作为示例，计算机程序产品可包括封装材料中的计算机可读介质。本领域技术人员将认识到如何取决于具体应用和加诸于整体系统的总体设计约束来最佳地实现本公开通篇给出的所描述的功能性。

在一个或多个示例中，计算机可读存储介质406可包括被配置成用于各种功能(包括例如用于对人脸图像进行增强的功能)的软件。该软件可包括指令，这些指令可将处理系统414配置成执行参照图1所描述的一个或多个功能。

在本发明的描述中，需要理解的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本领域普通技术人员应领会，本发明的各个实施例可提供为方法、装置、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用一个或多个其中存储有计算机可执行程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置、系统和计算机程序产品的流程图和/或框图来描述的。应理解，可由计算机程序指令实现流程图和/或框图中的每一个流程和/或方框、以及流程图和/或框图中的流程和/或方框的组合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中的一个或多个流程和/或框图中的一个或多个方框中指定的功能的装置。

尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。对本公开的各种修改对于本领域技术人员将是显而易见的，并且本文中所定义的普适原理可被应用于其他变形而不会脱离本公开的范围。由此，本公开并非被限定于本文中所描述的示例和设计，而是应被授予与本文所公开的原理和新颖特征相一致的最广范围。