人脸纹理重建方法、装置、电子设备及存储介质

技术领域

本申请涉及人脸纹理重建技术领域，特别涉及一种人脸纹理重建方法、装置、电子设备及存储介质。

背景技术

人脸三维重建就是建立人脸的三维模型，它相对于二维人脸图像多了一个维度，在电影，游戏等领域应用广泛。目前获取人脸三维模型的方法主要包括三种，软件建模，仪器采集与基于图像的建模。

目前人脸纹理的数据库一直相当匮乏，而使用重投影的方式，对单张人脸图片的纹理进行重建的方法则会很明显地受到遮挡的影响，并且由于单张图片缺少有效信息，很难通过单张图片重建图片的细节信息。

发明内容

本申请提供一种人脸纹理重建方法、装置、电子设备及存储介质，以解决相关技术中使用重投影的方式对单张人脸图像的纹理进行重建的方法会受到遮挡的影响等问题。

本申请第一方面实施例提供一种人脸纹理重建方法，包括以下步骤：获取待重建人脸的单张人脸图像；将所述单张人脸图像输入预先训练的生成模型，所述生成模型输出所述待重建人脸在多个视角下的人脸图像；根据所述多个视角下的人脸图像重建所述待重建人脸的人脸纹理。

可选地，在将所述单张人脸图像输入预先训练的生成模型之前，包括：获取人脸数据集；利用所述人脸数据集训练styleGAN，利用所述styleGAN中GAN网络结构的隐变量生成人脸图像，其中，生成的人脸图像的目标点与人脸姿态对应，且所述生成的人脸图像中人脸的身份与原人脸图像的身份一致；在满足训练停止条件时，得到所述生成模型。

可选地，所述styleGAN具有第一损失函数和第二损失函数，其中，

所述第一损失函数为：

其中，n是人脸关键点的数量，p

所述第二损失函数为：

其中，I

可选地，在将所述单张人脸图像输入预先训练的生成模型之前，还包括：三维重建所述单张人脸图像得到三维人脸模型。

本申请第二方面实施例提供一种人脸纹理重建装置，包括：获取模块，用于获取待重建人脸的单张人脸图像；输出模块，用于将所述单张人脸图像输入预先训练的生成模型，所述生成模型输出所述待重建人脸在多个视角下的人脸图像；第一重建模块，用于根据所述多个视角下的人脸图像重建所述待重建人脸的人脸纹理。

可选地，所述人脸纹理重建装置还包括：训练模块，用于在将所述单张人脸图像输入预先训练的生成模型之前，获取人脸数据集；利用所述人脸数据集训练styleGAN，利用所述styleGAN中GAN网络结构的隐变量生成人脸图像，其中，生成的人脸图像的目标点与人脸姿态对应，且所述生成的人脸图像中人脸的身份与原人脸图像的身份一致；在满足训练停止条件时，得到所述生成模型。

可选地，所述styleGAN具有第一损失函数和第二损失函数，其中，

所述第一损失函数为：

其中，n是人脸关键点的数量，p

所述第二损失函数为：

其中，I

可选地，所述人脸纹理重建装置还包括：第二重建模块，用于在将所述单张人脸图像输入预先训练的生成模型之前，三维重建所述单张人脸图像得到三维人脸模型。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的人脸纹理重建方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的人脸纹理重建方法。

由此，本申请至少具有如下有益效果：

本申请实施例可以直接从单张图片中得到完整的人脸的纹理图，不易受到遮挡的影响等有益效果。由此，解决了相关技术中使用重投影的方式对单张人脸图片的纹理进行重建的方法会受到遮挡的影响等技术问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的人脸纹理重建方法的流程图；

图2为根据本申请实施例提供的人脸纹理重建装置的方框示意图；

图3为根据本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的人脸纹理重建方法、装置、电子设备及存储介质。针对上述背景技术中提到的目前人脸纹理的数据库一直相当匮乏，而使用重投影的方式，对单张人脸图片的纹理进行重建的方法则会很明显地受到遮挡的影响的问题，本申请提供了一种人脸纹理重建方法，在该方法中，基于StyleGAN和3DMM的单图人脸纹理重建算法，可以从单张人脸图片得到完整的人脸纹理图，并且不容易受到遮挡的影响。由此，解决了相关技术中使用重投影的方式对单张人脸图像的纹理进行重建的方法会受到遮挡的影响等问题。

具体而言，图1为本申请实施例所提供的一种人脸纹理重建方法的流程示意图。

如图1所示，该人脸纹理重建方法包括以下步骤：

在步骤S101中，获取待重建人脸的单张人脸图像。

在步骤S102中，将单张人脸图像输入预先训练的生成模型，生成模型输出待重建人脸在多个视角下的人脸图像。

由于单张人脸图像可能无法恢复全脸的纹理，因此本申请实施例可以将单张人脸图像输入预先训练完成的生成模型，利用生成模型输出待重建人脸在多个视角下的人脸图像，使得该张人脸图像的全脸都有图像覆盖到。

在本申请实施例中，在将单张人脸图像输入预先训练的生成模型之前，包括：获取人脸数据集；利用人脸数据集训练styleGAN，利用styleGAN中GAN网络结构的隐变量生成人脸图像，其中，生成的人脸图像的目标点与人脸姿态对应，且生成的人脸图像中人脸的身份与原人脸图像的身份一致；在满足训练停止条件时，得到生成模型。

其中，人脸数据集可以为CelebA。

可以理解的是，本申请实施例可以通过人脸数据集训练styleGAN，利用styleGAN中GAN网络结构的隐变量生成人脸图像，生成的人脸图像的关键点符合对应的人脸姿态，并且生成图片对应的人脸的身份对符合原人脸图像的人脸的身份，在训练满足条件时停止训练。

需要说明的是，StyleGAN是一种基于GAN的模型，它可以将隐变量映射为图片。它据有生成图片质量高和生成多样性丰富的特点，目前已有在人脸数据集上预训练的styleGAN模型。

在本申请实施例中，styleGAN具有第一损失函数和第二损失函数，其中，

第一损失函数为：

其中，n是人脸关键点的数量，p

第二损失函数为：

其中，I

第一损失函数Landmarkloss用于约束生成的人脸图像的人脸姿态和预期的人脸姿态一致，第二损失函数Identityloss用于约束生成的人脸图像和原人脸图像的人脸的身份一致。其中，第一损失函数中的人脸关键点的数量n可以依据具体情况进行设定，对此不做限定，比如可以设置为68个。

在本申请实施例中，在将单张人脸图像输入预先训练的生成模型之前，还包括：三维重建单张人脸图像得到三维人脸模型。

其中，三维重建的方法有很多，比如可以使用DECA或者是3DDFA这样的预训练网络，直接从单张人脸图像回归3DMM的参数化表达，3DMM可以使用FLAME或者BFM，对此不作具体限定。

可以理解的是，本申请实施例在将单张人脸图像输入预先训练的生成模型之前，可以三维重建单张人脸图像得到三维人脸模型，以便后续将三维人脸图像输入预先训练的生成模型，生成不同视角下的多张人脸图像。

需要说明的是，3DMM是一种用统计模型表达的人脸三维模型，一般来说，它通过控制shape参数控制人脸的identity信息，如胖瘦；通过expression参数控制人脸的表情信息。

在步骤S103中，根据多个视角下的人脸图像重建待重建人脸的人脸纹理。

可以理解的是，本申请实施例可以基于上述步骤获得的多个视角下的多张人脸图像重建待重建人脸的人脸纹理，可以直接从单张人脸图像中得到完整的人脸纹理图。

举例而言，以单张人脸图像作为输入，人脸纹理重建的步骤包括：

1、使用3DMM对人脸图像进行重建，得到三维模型。

2、对三维人脸进行旋转，使用landmark loss和identity loss控制styleGAN生成其他视角的该人物的人脸图像。

3、根据可见性，从多视角的人脸图像，得到人脸的完整纹理图。

根据本申请实施例提出的人脸纹理重建方法，可以直接从单张图片中得到完整的人脸纹理图，不易受到遮挡的影响。

其次参照附图描述根据本申请实施例提出的人脸纹理重建装置。

图2是本申请实施例的人脸纹理重建装置的方框示意图。

如图2所示，该人脸纹理重建装置10包括：获取模块100、输出模块200和第一重建模块300。

其中，获取模块100用于获取待重建人脸的单张人脸图像；第一重建模块200用于将单张人脸图像输入预先训练的生成模型，生成模型输出待重建人脸在多个视角下的人脸图像；第一重建模块300用于根据多个视角下的人脸图像重建待重建人脸的人脸纹理。

在本申请实施例中，本申请实施例的装置10还包括：训练模块。

其中，训练模块用于在将单张人脸图像输入预先训练的生成模型之前，获取人脸数据集；利用人脸数据集训练styleGAN，利用styleGAN中GAN网络结构的隐变量生成人脸图像，其中，生成的人脸图像的目标点与人脸姿态对应，且生成的人脸图像中人脸的身份与原人脸图像的身份一致；在满足训练停止条件时，得到生成模型。

在本申请实施例中，styleGAN具有第一损失函数和第二损失函数，其中，

第一损失函数为：

其中，n是人脸关键点的数量，p

第二损失函数为：

其中，I

在本申请实施例中，本申请实施例的装置110还包括：第二重建模块。

其中，第二重建模块用于在将单张人脸图像输入预先训练的生成模型之前，三维重建单张人脸图像得到三维人脸模型。

需要说明的是，前述对人脸纹理重建方法实施例的解释说明也适用于该实施例的人脸纹理重建装置，此处不再赘述。

根据本申请实施例提出的人脸纹理重建装置，可以直接从单张图片中得到完整的人脸的纹理图，不易受到遮挡的影响。

图3为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。

处理器302执行程序时实现上述实施例中提供的人脸纹理重建方法。

进一步地，电子设备还包括：

通信接口303，用于存储器301和处理器302之间的通信。

存储器301，用于存放可在处理器302上运行的计算机程序。

存储器301可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。

处理器302可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的人脸纹理重建方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。