基于变化光源人脸图像的人脸本质参数确定方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于变化光源人脸图像的人脸本质参数确定方法及系统。

背景技术

图像本质分解在计算机视觉和计算机图形学领域当中都有着非常广泛的应用。对人脸图像进行本质分解，同样可以对人脸的颜色，纹理进行合理的编辑，而分解得到的shading部分可以对人脸几何进行进一步的优化，得到含有人脸细节信息的几何结果。在之前的图像本质分解中，更加强调对单张图片的本质分解。然而，分解工作本身在数学上是病态的，需要将一个像素的值合理的分解为几个数值。虽然单张图片易于获取，且对拍摄的环境要求比较低，然而单张图片的本身存在信息缺失，这是通过各种约束无法解决的。如何准确地估计人脸的各项本质参数是一个有重大实际意义的课题。

发明内容

本发明的目的是提供一种基于变化光源人脸图像的人脸本质参数确定方法及系统，以实现准确地估计人脸的各项本质参数。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于变化光源人脸图像的人脸本质参数确定方法，所述人脸本质参数包括人脸的法向量参数、反射率参数和反射比例系数；所述确定方法包括如下步骤：

固定相机视角，获取不同光照条件下的多张人脸图像；

根据多张所述人脸图像，确定人脸的法向量参数初始值；

建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数；

将第一优化目标函数中的人脸的法向量参数固定为所述法向量参数初始值，求解所述第一优化目标函数，确定人脸的反射率参数估计值、反射比例系数估计值和每张人脸图像的光照参数估计值；

建立包括人脸本质参数的强力约束、平滑约束和基线约束的第二优化目标函数；

将第二优化目标函数中的人脸的光照参数固定为所述光照参数估计值，将第二优化目标函数中的人脸的反射率参数固定为所述反射率参数估计值，将第二优化目标函数中的人脸的反射比例系数固定为所述反射比例系数估计值，求解所述第二优化目标函数，确定人脸的法向量参数估计值。

可选的，所述根据多张所述人脸图像，确定人脸的法向量参数初始值，具体包括：

分别对每张所述人脸图像进行裁剪，获得多张裁剪后的人脸图像；

将裁剪后的人脸图像输入eos软件，利用3DMM算法确定人脸的法向量参数初始值。

可选的，所述分别对每张所述人脸图像进行裁剪，获得多张裁剪后的人脸图像，具体包括：

分别对每张所述人脸图像进行关键点检测，获得每张所述人脸图像的关键点；

以每张所述人脸图像的关键点的位置为对齐指标，对每张所述人脸图像进行裁剪。

可选的，所述建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数，之前还包括包括：

采用Blinn-Phong模型对人脸图像的高光反射部分进行建模，采用郎伯体模型对人脸图像的漫反射部分进行建模，获得人脸图像的人脸反射模型；

根据所述人脸反射模型确定人脸本质参数的强力约束为：

E

其中，I`

确定人脸本质参数的先验约束为：

其中，C(x)表示人脸的第x个像素点位置的被约束参数，A(x)、n(x)和ρ

确定人脸本质参数的平滑约束为：

其中，n(p)和n(q)分别是在人脸的第p个像素点位置和第q个像素点位置的法向量，w

确定人脸本质参数的基线约束为：

可选的，所述第一优化目标函数为：

可选的，所述第二优化目标函数为：

其中，λ

一种基于变化光源人脸图像的人脸本质参数确定系统，所述人脸本质参数包括人脸的法向量参数、反射率参数和反射比例系数；所述确定系统包括：

人脸图像获取模块，用于固定相机视角，获取不同光照条件下的多张人脸图像；

法向量参数初始值确定模块，用于根据多张所述人脸图像，确定人脸的法向量参数初始值；

第一优化目标函数建立模块，用于建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数；

第一优化目标函数求解模块，用于将第一优化目标函数中的人脸的法向量参数固定为所述法向量参数初始值，求解所述第一优化目标函数，确定人脸的反射率参数估计值、反射比例系数估计值和每张人脸图像的光照参数估计值；

第二优化目标函数建立模块，用于建立包括人脸本质参数的强力约束、平滑约束和基线约束的第二优化目标函数；

第二优化目标函数求解模块，用于将第二优化目标函数中的人脸的光照参数固定为所述光照参数估计值，将第二优化目标函数中的人脸的反射率参数固定为所述反射率参数估计值，将第二优化目标函数中的人脸的反射比例系数固定为所述反射比例系数估计值，求解所述第二优化目标函数，确定人脸的法向量参数估计值。

可选的，所述人脸图像获取模块包括相机、多个面光源和控制器；

所述控制器分别与所述相机的控制端和多个所述面光源的控制端连接，所述控制器用于进行所述相机和多个所述面光源的自动化联控。

可选的，法向量参数初始值确定模块，具体包括：

人脸图像裁剪子模块，用于分别对每张所述人脸图像进行裁剪，获得多张裁剪后的人脸图像；

法向量参数初始值确定子模块，用于将裁剪后的人脸图像输入eos软件，利用3DMM算法确定人脸的法向量参数初始值。

可选的，所述确定系统还包括包括：

人脸反射模型建立模块，用于采用Blinn-Phong模型对人脸图像的高光反射部分进行建模，采用郎伯体模型对人脸图像的漫反射部分进行建模，获得人脸图像的人脸反射模型；

强力约束确定模块，用于根据所述人脸反射模型确定人脸本质参数的强力约束为：

E

其中，I`

先验约束确定模块，用于确定人脸本质参数的先验约束为：

其中，C(x)表示人脸的第x个像素点位置的被约束参数，A(x)、n(x)和ρ

平滑约束确定模块，用于确定人脸本质参数的平滑约束为：

其中，n(p)和n(q)分别是在人脸的第p个像素点位置和第q个像素点位置的法向量，w

基线约束确定模块，用于确定人脸本质参数的基线约束为：

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于变化光源人脸图像的人脸本质参数确定方法，所述确定方法包括如下步骤：固定相机视角，获取不同光照条件下的多张人脸图像；

根据多张所述人脸图像，确定人脸的法向量参数初始值；建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数；将第一优化目标函数中的人脸的法向量参数固定为所述法向量参数初始值，求解所述第一优化目标函数，确定人脸的反射率参数估计值、反射比例系数估计值和每张人脸图像的光照参数估计值；建立包括人脸本质参数的强力约束、平滑约束和基线约束的第二优化目标函数；将第二优化目标函数中的人脸的光照参数固定为所述光照参数估计值，将第二优化目标函数中的人脸的反射率参数固定为所述反射率参数估计值，将第二优化目标函数中的人脸的反射比例系数固定为所述反射比例系数估计值，求解所述第二优化目标函数，确定人脸的法向量参数估计值。本发明采用不同光源下的多张人脸图像进行人脸的本质参数的估计，克服了单张人脸图像估计的局限性，能够更加准确的对人脸的各个本质参数进行估计。

而且对人脸反射模型的高光部分和漫反射部分分别建模，借助不同光源下的人脸图像的信息互为补充，从而更加准确的估计人脸的反射率信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于变化光源人脸图像的人脸本质参数确定方法的流程图；

图2为本发明具体实施例提供的基于变化光源人脸图像的人脸本质参数确定的原理示意图，图2(a)为人脸图像实例图，图2(b)为裁剪后的人脸图像实例图，图2(c)为人脸的法向量参数初始值实例图，图2(d)为人脸的法向量参数估计值实例图；

图3为本发明具体实施例提供的面光源和相机的架构图；

图4为本发明具体实施例提供的人脸反射模型的原理图，图4(a)为高光部分反射模型原理图，图4(b)为漫反射部分反射模型原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于变化光源人脸图像的人脸本质参数确定方法及系统，以实现准确地估计人脸的各项本质参数。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

针对现有的单张人脸图像反射率和几何参数估计存在的问题，本发明着重于更加准确的估计人脸的反射率(纹理信息)以及几何参数。相比于一些实验室需要昂贵且耗费较多的设备，本发明搭建的设备简单，易于操作。在算法本身上，对人脸反射模型的高光部分和漫反射部分分别建模，借由不同光源下的人脸信息互为补充，从而更加精确的估计人脸的反射率(纹理)信息。因为单张人脸图像，优化目标方程时约束过少，且在特定光源下，存在部分信息缺失，通常为了让分解效果符合常理，平滑项约束会过强，最终导致人脸反射率(纹理)趋于平滑，细节信息丢失。

如图1所示，本发明提供本发明提供一种基于变化光源人脸图像的人脸本质参数确定方法，所述人脸本质参数包括人脸的法向量参数、反射率参数和反射比例系数；所述确定方法包括如下步骤：

步骤101，固定相机视角，获取不同光照条件下的多张人脸图像.

步骤101的实现需要一台相机，三盏相同的面光源，各个面光源和相机通过自动化控制装备连接起来，自定义每次面光源打开几面以及为哪几面光源打开，每变换一次光源，拍摄一幅图像，在此期间，尽量维持人脸部不动。

步骤102，根据多张所述人脸图像，确定人脸的法向量参数初始值。

裁剪时为了保证图像的对齐，需要对人脸进行关键点检测。检测出关键点后，每张图像以关键点位置为对齐指标，对所有图像统一化标准进行裁剪。因为本发明算法本身就需要对人脸几何信息进行细节恢复，因此只需要对人脸几何参数进行粗初始化即可。本发明采用开源的eos软件对人脸的几何模型初始化。而初始化的法向量n，既作为参数重建人脸图像，同时在对法向量进行优化时也作为基线模型约束法向量。

具体的，步骤102所述根据多张所述人脸图像，确定人脸的法向量参数初始值，具体包括：

分别对每张所述人脸图像进行裁剪，获得多张裁剪后的人脸图像，具体的，分别对每张所述人脸图像进行关键点检测，获得每张所述人脸图像的关键点；以每张所述人脸图像的关键点的位置为对齐指标，对每张所述人脸图像进行裁剪。

将裁剪后的人脸图像输入eos软件，利用3DMM算法确定人脸的法向量参数初始值。

步骤103，建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数。

步骤103所述建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数，之前还包括包括：

采用Blinn-Phong模型对人脸图像的高光反射部分进行建模，采用郎伯体模型对人脸图像的漫反射部分进行建模，获得人脸图像的人脸反射模型。

根据所述人脸反射模型确定人脸本质参数的强力约束为：

E

其中，I`

确定人脸本质参数的先验约束为：

其中，C(x)表示人脸的第x个像素点位置的被约束参数，A(x)、n(x)和ρ

确定人脸本质参数的平滑约束为：

其中，n(p)和n(q)分别是在人脸的第p个像素点位置和第q个像素点位置的法向量，w

确定人脸本质参数的基线约束为：

步骤104，将第一优化目标函数中的人脸的法向量参数固定为所述法向量参数初始值，求解所述第一优化目标函数，确定人脸的反射率参数估计值、反射比例系数估计值和每张人脸图像的光照参数估计值。

步骤105，建立包括人脸本质参数的强力约束、平滑约束和基线约束的第二优化目标函数；

步骤106，将第二优化目标函数中的人脸的光照参数固定为所述光照参数估计值，将第二优化目标函数中的人脸的反射率参数固定为所述反射率参数估计值，将第二优化目标函数中的人脸的反射比例系数固定为所述反射比例系数估计值，求解所述第二优化目标函数，确定人脸的法向量参数估计值。

其中步骤103和步骤104是反射率参数和光照参数的估计阶段。其中，图像本质参数估计公式如下：I＝S+A*D，本发明将一个像素的值分为高光的值(S)和漫反射(A*D)的值，其中A为反射率，D为漫反射，S为高光反射。首先我本发明对高光部分和漫反射部分分别建模。对于高光建模，因为Blinn-Phong模型非常简洁，且应用最为广泛，所以本发明采用Blinn-Phong模型对高光反射进行建模。其模型公式如下：

S＝∫f

其中，σ是法向量n和半角向量H之间的夹角；ρ

E

同时本发明还对反射率A，n，ρ

先验约束数据来自于MERL数据集。先验约束均采用GMM。

最终得到第一优化目标函数如下：

步骤105和步骤106法向量估计阶段，因为在建模过程中，几何参与的部分是法向量。此时本发明优化的几何参数也为法向量。在反射率参数和光照参数的估计阶段中并未对法向量进行优化，这是因为法向量可以通过3DMM算法估计出粗略的较为准确的值，而其他参数则不行。当本发明将反射率和光照球谐参数估计出后，此时固定反射率和光照球谐参数，继续优化目标函数得到第二优化目标函数为：

一种基于变化光源人脸图像的人脸本质参数确定系统，所述人脸本质参数包括人脸的法向量参数、反射率参数和反射比例系数；所述确定系统包括：

人脸图像获取模块，用于固定相机视角，获取不同光照条件下的多张人脸图像；

法向量参数初始值确定模块，用于根据多张所述人脸图像，确定人脸的法向量参数初始值；

第一优化目标函数建立模块，用于建立包括人脸本质参数的强力约束、先验约束、平滑约束和基线约束的第一优化目标函数；

第一优化目标函数求解模块，用于将第一优化目标函数中的人脸的法向量参数固定为所述法向量参数初始值，求解所述第一优化目标函数，确定人脸的反射率参数估计值、反射比例系数估计值和每张人脸图像的光照参数估计值；

第二优化目标函数建立模块，用于建立包括人脸本质参数的强力约束、平滑约束和基线约束的第二优化目标函数；

第二优化目标函数求解模块，用于将第二优化目标函数中的人脸的光照参数固定为所述光照参数估计值，将第二优化目标函数中的人脸的反射率参数固定为所述反射率参数估计值，将第二优化目标函数中的人脸的反射比例系数固定为所述反射比例系数估计值，求解所述第二优化目标函数，确定人脸的法向量参数估计值。

可选的，所述人脸图像获取模块包括相机、多个面光源和控制器；

所述控制器分别与所述相机的控制端和多个所述面光源的控制端连接，所述控制器用于进行所述相机和多个所述面光源的自动化联控。

可选的，法向量参数初始值确定模块，具体包括：

人脸图像裁剪子模块，用于分别对每张所述人脸图像进行裁剪，获得多张裁剪后的人脸图像；

法向量参数初始值确定子模块，用于将裁剪后的人脸图像输入eos软件，利用3DMM算法确定人脸的法向量参数初始值。

可选的，所述确定系统还包括包括：

人脸反射模型建立模块，用于采用Blinn-Phong模型对人脸图像的高光反射部分进行建模，采用郎伯体模型对人脸图像的漫反射部分进行建模，获得人脸图像的人脸反射模型；

强力约束确定模块，用于根据所述人脸反射模型确定人脸本质参数的强力约束为：

E

其中，I`

先验约束确定模块，用于确定人脸本质参数的先验约束为：

其中，C(x)表示人脸的第x个像素点位置的被约束参数，A(x)、n(x)和ρ

平滑约束确定模块，用于确定人脸本质参数的平滑约束为：

其中，n(p)和n(q)分别是在人脸的第p个像素点位置和第q个像素点位置的法向量，w

基线约束确定模块，用于确定人脸本质参数的基线约束为：

为了说明本发明的方法及系统的技术效果，本发明提供了如下具体的实施例。

根据图2中所示的步骤来对整个流程进行讲解。

变光源人脸图像采集，通过对三面面光源和相机进行自动化联控，得到不同光源下的固定视角人脸图像。面光源和相机的架构图可见图3，采集的人脸图像可见图2(a)。

人脸图像裁剪与人脸图像几何模型初始化，得到法向量参数初始值如图2(b)。

人脸反射率与光照估计：此时对人脸高光部分和漫反射部分分别建模，其建模模型如下。图4(a)高光反射模型，可以看出，当法向量n和半角向量H的夹角σ越小时，进入视野的高光越强，符合对于高光反射的认知。图4(b)为漫反射模型，朗伯体反射出的光照强度与法向量和入射光的夹角的余弦值成正比。

人脸法向量优化：法向量的优化以及反射率和球谐光系数的优化，其目标函数可以很明显看出为非凸函数。因而需要先优化反射率和光照球谐参数，再优化几何参数法向量。因为非凸函数要想得到较好的优化结果，初始值要较为准确。结果在图2(c)和图2(d)中可见。本发明中因为目标函数时非凸函数，因此采用pytorch对目标函数进行优化。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于变化光源人脸图像的人脸本质参数确定方法，所述确定方法，首先，固定相机视角，获取不同光照条件下的多张人脸图像；然后，由于反射率和光照球谐系数无法得到事先粗略估计，因而先固定法向量，对反射率和光照进行估计。再固定光照参数和人脸反射率，对法向量进行优化。本发明采用不同光源下的多张人脸图像进行人脸的本质参数的估计，克服了单张人脸图像估计的局限性，能够更加准确的对人脸的各个本质参数进行估计。

而且对人脸反射模型的高光部分和漫反射部分分别建模，借助不同光源下的人脸图像的信息互为补充，从而更加准确的估计人脸的反射率信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。