一种人脸影像映射方法及系统

技术领域

本发明涉及面部重建技术领域，具体涉及一种人脸影像映射方法及系统。

背景技术

人脸3D重建是从一张或多张2D图像中重建出人脸的3D模型。传统的3D人脸重建方法，大多是立足于图像信息，如基于图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等一种或多种信息建模技术进行3D人脸重建。但由于不同的人脸姿态容易受光照、图像扭曲等因素的影响，传统的3D人脸重建方法重建出的3D人脸无法有效确保真实度。虽然近些年，基于模型的3D人脸重建方法用三角网格或点云来表示3D人脸模型，并利用深度学习算法等3D人脸重建算法重建出的3D人脸相较于传统的3D人脸重建方法重建出的3D人脸的真实度有了极大提升，但在源脸姿态与目标人脸姿态不一致时(比如将正视的源脸重建为侧视的目标人脸，重建后的人脸保留目标人脸的姿势和源脸的脸部特征)，通过源脸重建出的人脸容易出现边界丢失，导致重建出的3D人脸不自然。

发明内容

本发明的目的在于提供一种人脸影像映射方法及系统，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种人脸影像映射方法，具体步骤包括：

1)获取源脸图像和目标人脸图像；

2)计算所述源脸图像上的顶点与所述目标人脸图像上的顶点的对应关系，人脸上不同区域的边界由多个所述顶点围合形成；

3)计算描述所述源脸图像上的人脸区域的区域边界的描述符，并提取所述源脸图像上的各人脸区域的人脸特征；

4)将描述所述源脸图像的各所述区域边界的所述描述符重建到所述目标人脸图像上的对应区域边界处；

5)将步骤3)从所述源脸图像上提取的各所述人脸区域的人脸特征填充到所述目标人脸图像上的对应的目标人脸区域中；

6)将完成步骤1)-步骤5)后的二维坐标空间下的所述目标人脸图像映射到三维坐标空间，得到三维目标人脸模型。

作为本发明的一种优选方案，步骤2)中，计算所述源脸图像上的所述顶点与所述目标人脸图像上的所述顶点的对应关系的方法步骤具体包括：

2.1)对所述源脸图像和目标人脸图像进行人脸区域识别、分类，得到所述源脸图像上的各人脸区域与所述目标人脸图像上的对应人脸区域的匹配关系；

2.2)提取所述源脸图像和所述目标人脸图像上的各所述人脸区域的边界；

2.3)将所述源脸图像和所述目标人脸图像从笛卡尔坐标空间转换到极坐标空间；

2.4)以人脸的鼻尖点为极坐标空间的原点，计算所述源脸图像和所述目标人脸图像上的各所述顶点的极坐标；

2.5)设定所述源脸图像和所述目标人脸图像上的各所述人脸区域的质心点，并计算人脸区域边界上的各所述顶点距离其所在的所述人脸区域的所述质心点的距离；

2.6)计算所述源脸图像和所述目标人脸图像上的各所述人脸区域的区域半径；

2.7)计算所述源脸图像和所述目标人脸图像上的每个所述人脸区域的顶点-质心距离与其区域半径的比值；

2.8)根据所述顶点相对于与其所在人脸区域的所述质心点的位置方向，以及关联各所述顶点的所述比值，获得所述源脸图像上的所述顶点与所述目标人脸图像上的所述顶点的对应关系。

作为本发明的一种优选方案，步骤3)中，计算描述所述源脸图像上的所述区域边界的所述描述符的具体方法步骤包括：

3.1)从二维的所述源脸图像上提取不同的所述人脸区域的区域图像；

3.2)提取出各所述区域图像的边界；

3.3)将各所述区域图像从笛卡尔坐标空间转换到极坐标空间；

3.4)对极坐标空间下的各所述区域图像的边界进行傅立叶变换，得到各所述区域边界分别对应的初始变换系数数列；

3.5)去除各所述初始变换系数数列中的相位信息，得到各所述区域边界分别对应的变换系数数列；

3.6)对各所述变换系数数列进行尺度归一化，取归一化后的向量作为对应的所述区域边界的所述描述符。

本发明还提供了一种人脸影像映射系统，可实现所述的人脸影像映射方法，所述人脸影像映射系统包括：

图像获取模块，用于获取源脸图像和目标人脸图像；

顶点对应关系计算模块，连接图像获取模块，用于计算源脸图像上的顶点与目标人脸图像上的顶点的对应关系，人脸上不同区域的边界由多个顶点围合形成；

区域边界描述符计算模块，用于计算描述源脸图像上的人脸区域的区域边界的描述符；

人脸特征提取模块，用于提取源脸图像上的各人脸区域的人脸特征；

区域边界重建模块，连接区域边界描述符计算模块，用于将描述源脸图像的各区域边界的描述符重建到目标人脸图像上的对应区域边界处；

人脸特征填充模块，连接人脸特征提取模块，用于将从源脸图像上提取的各人脸区域的人脸特征填充到目标人脸图像上的对应的目标人脸区域中；

三维人脸模型映射模块，用于将经区域边界重建和人脸特征填充后的二维坐标空间下的目标人脸图像映射到三维坐标空间，得到三维目标人脸模型。

作为本发明的一种优选方案，所述顶点对应关系计算模块中包括：

人脸区域识别单元，用于对所述源脸图像和所述目标人脸图像进行人脸区域识别、分类，得到所述源脸图像上的各所述人脸区域与所述目标人脸图像上的对应所述人脸区域的匹配关系；

人脸区域边界提取单元，连接所述人脸区域识别单元，用于提取所述源脸图像和所述目标人脸图像上的各所述人脸区域的边界；

坐标空间转换单元，用于将所述源脸图像和所述目标人脸图像从笛卡尔坐标空间转换到极坐标空间；

顶点极坐标计算单元，用于以人脸的鼻尖点为极坐标空间的原点，计算所述源脸图像和所述目标人脸图像上的各所述顶点的极坐标；

质心点设定单元，用于设定所述源脸图像和所述目标人脸图像上的各所述人脸区域的质心点；

质心点极坐标计算单元，连接所述质心点设定单元，用于计算所述质心点的极坐标；

顶点-质心距离计算单元，分别连接所述顶点极坐标计算单元和所述质心点极坐标计算单元，用于计算人脸区域边界上的各所述顶点距离其所在的所述人脸区域的所述质心点的距离；

人脸区域半径计算单元，用于计算所述源脸图像和所述目标人脸图像上的各所述人脸区域的区域半径；

比值计算单元，分别连接所述顶点-质心距离计算单元和所述人脸区域半径计算单元，用于计算所述源脸图像和所述目标人脸图像上的每个所述人脸区域的顶点-质心距离与其区域半径的比值；

顶点位置方向计算单元，用于计算所述源脸图像和所述目标人脸图像上的各所述顶点相对于与其所在的所述人脸区域的所述质心点的位置方向；

顶点对应关系确定单元，分别连接所述比值计算单元和所述顶点位置方向计算单元，用于根据所述顶点相对于与其所在的所述人脸区域的所述质心点的位置方向，以及关联各所述顶点的所述比值，确定所述源脸图像上的所述顶点与所述目标人脸图像上的所述顶点的对应关系。

作为本发明的一种优选方案，所述区域边界描述符计算模块中包括：

人脸区域图像提取单元，用于从二维的所述源脸图像上提取出不同所述人脸区域的区域图像；

区域图像边界提取单元，连接所述人脸区域图像提取单元，用于提取出各所述区域图像的边界；

图像空间转换单元，用于将各所述区域图像从笛卡尔坐标空间转换到极坐标空间；

傅立叶变换单元，用于对极坐标空间下的各所述区域图像的边界进行傅立叶变换，得到各区域边界分别对应的初始变换系数数列；

变换系数处理单元，连接所述傅立叶变换单元，用于去除各所述初始变换系数数列中的相位信息而保留系数的幅值，从而得到各所述区域边界分别对应的变换系数数列；

变换系数归一化单元，连接所述变换系数处理单元，用于对各所述变换系数数列进行尺度归一化，取归一化后的向量作为对应的所述区域边界的所述描述符。

本发明通过计算源脸图像上的顶点与目标人脸图像上的顶点间的对应关系，并利用傅里叶描述符具有的平移、旋转和尺度不变的特性，将源脸图像上的区域边界重建到目标人脸图像上，并将源脸图像上的人脸区域特征填充到目标人脸图像上的对应人脸区域中，最终将二维的目标人脸图像映射为三维目标人脸模型。本发明能够适用不同人脸姿态的目标人脸映射，所形成的三维目标人脸模型能够在保留目标人脸姿态的基础上，较好地还原源脸图像上的人脸特征信息，确保了人脸重建的真实度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的人脸影像映射方法的实现步骤图；

图2是计算源脸图像上的顶点与目标人脸图像上的顶点的对应关系的方法步骤图；

图3是计算描述源脸图像上的区域边界的描述符的方法步骤图；

图4是将源脸图像上的人脸映射到目标人脸图像上的原理图；

图5是本发明一实施例提供的人脸影像映射系统的结构示意图；

图6是人脸影像映射系统中的顶点对应关系计算模块的内部结构示意图；

图7是人脸影像映射系统中的区域边界描述符计算模块的内部结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明一实施例提供的人脸影像映射方法，如图1和图4所示，包括如下步骤：

步骤1)获取源脸图像和目标人脸图像；

步骤2)计算源脸图像上的顶点与目标人脸图像上的顶点的对应关系，人脸上不同区域(指人脸上的口、鼻、眼睛、眉毛、额头等区域)的边界由多个顶点围合形成；

步骤3)计算描述源脸图像的人脸区域的区域边界的描述符，并提取源脸图像上的各人脸区域的人脸特征；

步骤4)将描述源脸图像的各区域边界的描述符重建到目标人脸图像上的对应区域边界处；

步骤5)将步骤3)提取的各人脸区域的人脸特征填充到目标人脸图像上的对应的目标人脸区域中；

步骤6)将完成步骤1)-步骤5)后的二维坐标空间下的目标人脸图像映射到三维坐标空间，得到三维目标人脸模型。

步骤2)中，如图2所示，计算源脸图像上的顶点与目标人脸图像上的顶点的对应关系的方法步骤具体包括：

步骤2.1)对源脸图像和目标人脸图像进行人脸区域识别分类(首先通过提取源脸图像和目标人脸图像上的人脸区域特征，然后根据人脸区域特征对人脸区域的类型进行匹配分类)，得到源脸图像上的各人脸区域与目标人脸图像上的对应人脸区域的匹配关系；

步骤2.2)提取源脸图像和目标人脸图像上的各人脸区域的边界(比如可通过深度学习技术提取人脸区域边界)；

步骤2.3)将源脸图像和目标人脸图像从笛卡尔坐标空间转换到极坐标空间；

步骤2.4)以人脸的鼻尖点为极坐标空间的原点，计算源脸图像和目标人脸图像上的各个顶点的极坐标；

步骤2.5)设定源脸图像和目标人脸图像上的各人脸区域的质心点(比如对于眼部区域，可将眼球中心点设定为眼部区域的质心点)，并计算人脸区域边界上的各顶点距离其所在人脸区域的质心点的距离；顶点-质心距离可根据顶点的极坐标和质心的极坐标计算而得。

步骤2.6)计算源脸图像和目标人脸图像上的各人脸区域的区域半径(为便于后续的比值计算，这里的区域半径优选为人脸区域的长轴半径，比如人眼区域呈现左右宽上下窄的特点，可以将人眼区域的左右角连线视为人眼区域的长轴，将人眼区域的上下最长连线视为人眼区域的短轴)；

步骤2.7)计算源脸图像和目标人脸图像上的每个人脸区域的顶点-质心距离与其区域半径的比值；

步骤2.8)根据顶点相对于与其所在人脸区域的质心点的位置方向，以及关联各顶点的比值，获得源脸图像上的顶点与目标人脸图像上的顶点的对应关系。具体地，比如源脸图像上的某个人脸区域上的某个顶点与其所在人脸区域的质心点的距离为L1，该人脸区域的区域半径为R1，则该顶点与质心点的距离与其所在人脸区域的区域半径的比值为P1＝L1/R1。目标人脸图像上与源脸图像上的该人脸区域具有匹配关系的人脸区域上具有10个顶点，关联每个顶点的比值分别为P2-P11。本发明通过比值的差值阈值判断方法确定具有匹配关系的人脸区域上的各顶点的对应关系，首先计算P1分别与P2-P11间的差值，然后间该10个差值分别与一预设阈值进行大小比对，若差值小于预设阈值，则判定源脸图像上的该顶点与目标人脸图像上的顶点具有对应关系，否则则判定两个顶点间没有对应关系。但是通过比值差值阈值判断方法判断顶点间是否具有对应关系存在一定的误判率，比如同个人眼区域边界存在多个与质心点距离相同的顶点，这些顶点与人眼区域长轴半径的比值相同，所以通过比值差值阈值判断方法可能将源脸图像的人眼区域的上眼睑上的某一顶点判定为与目标人脸图像的人眼区域的下眼睑上的某一顶点具有对应关系，这显然是错误的，所以为了解决这个问题，本发明还通过计算各顶点相对于其所在人脸区域的质心点的位置方向，结合比值差值阈值判断方法判断顶点间的对应关系。

步骤3)中，如图3所示，计算描述源脸图像上的区域边界的描述符的具体方法步骤包括：

步骤3.1)从二维的源脸图像上提取不同人脸区域的区域图像(可通过预先训练的卷积神经网络提取不同人脸区域的区域图像)；

步骤3.2)提取出给区域图像的边界(可根据区域图像上各像素的明暗度、灰度值等图像信息提取出区域图像边界)；

步骤3.3)将各区域图像从笛卡尔坐标空间转换到极坐标空间；

步骤3.4)对极坐标空间下的各区域图像的边界进行傅立叶变换，得到各区域边界分别对应的初始变换系数数列；比如极坐标空间下的区域边界上的每个顶点可用复数x(t)+jy(t)表示，则构成区域边界的曲线可表示为s(t)＝x(t)+jy(t)，本发明对s(t)进行傅立叶变换得到傅立叶变换系数(即区域边界对应的初始变换系数数列)；

步骤3.5)去除初始变换系数数列中的相位信息，得到各区域边界分别对应的变换系数数列；由于源脸图像和目标人脸图像的拍摄角度可能并不一致，为了获得人脸旋转后描述符的不变性，本发明对初始变换系数数列作了相位去除，仅保留了系数的幅值，得到最终的变换系数数列；

步骤3.6)对各变换系数数列进行尺度归一化，取归一化后的向量作为对应的区域边界的描述符。对变化系数数列进行尺度归一化是为了统一描述符的表达方式，便于后续将源脸图像上的描述符重建到目标人脸图像上。

综上，本发明通过计算源脸图像上的顶点与目标人脸图像上的顶点间的对应关系，并利用傅里叶描述符具有的平移、旋转和尺度不变的特性，将源脸图像上的区域边界重建到目标人脸图像上，并将源脸图像上的人脸区域特征填充到目标人脸图像上的对应人脸区域处，最终将二维的目标人脸图像映射为三维目标人脸模型。本发明能够适用不同人脸姿态的目标人脸映射，所形成的三维目标人脸模型能够在保留目标人脸姿态的基础上，较好地还原源脸图像上的人脸特征信息，确保了人脸重建的真实度。

本发明还提供了一种人脸影像映射系统，如图5所示，该系统包括：

图像获取模块，用于获取源脸图像和目标人脸图像；

顶点对应关系计算模块，连接图像获取模块，用于计算源脸图像上的顶点与目标人脸图像上的顶点的对应关系，人脸上不同区域的边界由多个顶点围合形成；

区域边界描述符计算模块，用于计算描述源脸图像上的人脸区域的区域边界的描述符；

人脸特征提取模块，用于提取源脸图像上的各人脸区域的人脸特征；

区域边界重建模块，连接区域边界描述符计算模块，用于将描述源脸图像的各区域边界的描述符重建到目标人脸图像上的对应区域边界处；

人脸特征填充模块，连接人脸特征提取模块，用于将从源脸图像上提取的各人脸区域的人脸特征填充到目标人脸图像上的对应的目标人脸区域中；

三维人脸模型映射模块，用于将经区域边界重建和人脸特征填充后的二维坐标空间下的目标人脸图像映射到三维坐标空间，得到三维目标人脸模型。

具体地，如图6所示，顶点对应关系计算模块中包括：

人脸区域识别单元，用于对源脸图像和目标人脸图像进行人脸区域识别、分类，得到源脸图像上的各人脸区域与目标人脸图像上的对应人脸区域的匹配关系；

人脸区域边界提取单元，连接人脸区域识别单元，用于提取源脸图像和目标人脸图像上的各人脸区域的边界；

坐标空间转换单元，用于将源脸图像和目标人脸图像从笛卡尔坐标空间转换到极坐标空间；

顶点极坐标计算单元，用于以人脸的鼻尖点为极坐标空间的原点，计算源脸图像和目标人脸图像上的各顶点的极坐标；

质心点设定单元，用于设定源脸图像和目标人脸图像上的各人脸区域的质心点；

质心点极坐标计算单元，连接质心点设定单元，用于计算质心点的极坐标；

顶点-质心距离计算单元，分别连接顶点极坐标计算单元和质心点极坐标计算单元，用于计算人脸区域边界上的各顶点距离其所在的人脸区域的质心点的距离；

人脸区域半径计算单元，用于计算源脸图像和目标人脸图像上的各人脸区域的区域半径；

比值计算单元，分别连接顶点-质心距离计算单元和人脸区域半径计算单元，用于计算源脸图像和目标人脸图像上的每个人脸区域的顶点-质心距离与其区域半径的比值；

顶点位置方向计算单元，用于计算源脸图像和目标人脸图像上的各顶点相对于与其所在的人脸区域的质心点的位置方向；

顶点对应关系确定单元，分别连接比值计算单元和顶点位置方向计算单元，用于根据顶点相对于与其所在的人脸区域的质心点的位置方向，以及关联各顶点的比值，确定源脸图像上的顶点与目标人脸图像上的顶点的对应关系。

具体地，如图7所示，区域边界描述符计算模块中包括：

人脸区域图像提取单元，用于从二维的源脸图像上提取出不同人脸区域的区域图像；

区域图像边界提取单元，连接人脸区域图像提取单元，用于提取出各区域图像的边界；

图像空间转换单元，用于将各区域图像从笛卡尔坐标空间转换到极坐标空间；

傅立叶变换单元，用于对极坐标空间下的各区域图像的边界进行傅立叶变换，得到各区域边界分别对应的初始变换系数数列；

变换系数处理单元，连接傅立叶变换单元，用于去除各初始变换系数数列中的相位信息而保留系数的幅值，从而得到各区域边界分别对应的变换系数数列；

变换系数归一化单元，连接变换系数处理单元，用于对各变换系数数列进行尺度归一化，取归一化后的向量作为对应的区域边界的描述符。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。