人脸重建方法、装置、电子设备及存储介质

技术领域

本申请属于三维人脸重建技术领域，具体涉及一种人脸重建方法、装置、电子设备及存储介质。

背景技术

人脸重建一直是计算机图形学领域的重要研究方向，其目的是重建出和图像中人脸最相似的人脸模型，在游戏，影视和社交娱乐等领域人脸重建技术都起着关键的作用。相关的人脸重建方法，在进行人脸重建时，将形状重建和纹理生成分开，导致整体的人脸重建效果不好。

发明内容

鉴于上述问题，本申请提出了一种人脸重建方法、装置、电子设备以及存储介质，以实现改善上述问题。

第一方面，本申请实施例提供了一种人脸重建方法，所述方法包括：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息；将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图；基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

第二方面，本申请实施例提供了一种人脸重建装置，所述装置包括：数据获取单元，用于获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息；贴图生成单元，用于将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图；图像生成单元，用于基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供了一种人脸重建方法、装置、电子设备及存储介质。首先获取待重建人脸图像，以及与待重建人脸图像对应的人脸三维形状信息，然后将待重建人脸图像和人脸三维形状信息输入到贴图生成模型中，获取贴图生成模型输出的三维人脸纹理贴图，最后基于人脸三维形状信息和三维人脸纹理贴图，生成待重建人脸图像对应的三维重建图像。通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种人脸重建方法的应用场景示意图；

图2示出了本申请一实施例提出的一种人脸重建方法的应用场景示意图；

图3示出了本申请一实施例提出的一种人脸重建方法的流程图；

图4示出了本申请一实施例中步骤S110-步骤S130实施的示意图；

图5示出了本申请一实施例中生成的三维重建图像的示意图；

图6示出了本申请另一实施例提出的一种人脸重建方法的流程图；

图7示出了本申请另一实施例中步骤S210-步骤S250实施的的示意图；

图8示出了本申请另一实施例中步骤S210-步骤S250实施的的示意图；

图9示出了本申请再一实施例提出的一种人脸重建方法的流程图；

图10示出了本申请再一实施例中步骤S310-步骤S350实施的的示意图；

图11示出了本申请又一实施例提出的一种人脸重建方法的流程图；

图12示出了本申请又一实施例中步骤S410的流程图；

图13示出了本申请又一实施例中步骤S411-步骤S414实施的示意图；

图14示出了本申请又一实施例中步骤S410-步骤S460实施的示意图；

图15示出了本申请另一实施例提出的一种人脸重建方法的流程图；

图16示出了本申请另一实施例中步骤S510-步骤S560实施的示意图；

图17示出了本申请再一实施例提出的一种人脸重建方法的流程图；

图18示出了本申请再一实施例中步骤S610-步骤S670实施的示意图；

图19示出了本申请实施例提出的一种人脸重建装置的结构框图；

图20示出了本申请中的用于执行根据本申请实施例的人脸重建方法的电子设备或服务器的结构框图；

图21示出了本申请中的用于保存或者携带实现根据本申请实施例的人脸重建方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在计算机视觉和计算机图形学领域，三维人脸重建是一个热度逐渐上升的话题，由于它能广泛地应用于人脸识别、人脸编辑、人机交互、表情驱动的动画、增强现实、虚拟现实等领域。而基于单张RGB图像的三维人脸重建—即利用单张RGB图像重建出三维人脸形状和纹理，更是一个经久不衰的话题。

但是，发明人在对相关的人脸重建方法的研究中发现，当前基于单张RGB图像的三维人脸重建中的纹理生成方法，通过将形状重建和三维人脸纹理贴图生成分开，在三维人脸纹理贴图生成过程中缺少形状信息，导致生成的三维人脸纹理贴图中人脸的侧脸区域的效果不好。此外，将形状重建和三维人脸纹理贴图生成两个过程分开，易导致形状重建结果和三维人脸纹理贴图生成结果的不一致，导致整体的人脸重建结果效果不好。

因此，发明人提出了本申请中的人脸重建方法、装置、电子设备及存储介质。首先获取待重建人脸图像，以及与待重建人脸图像对应的人脸三维形状信息，然后将待重建人脸图像和人脸三维形状信息输入到贴图生成模型中，获取贴图生成模型输出的三维人脸纹理贴图，最后基于人脸三维形状信息和三维人脸纹理贴图，生成待重建人脸图像对应的三维重建图像。通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

在本申请实施例中，所提供的人脸重建方法可以由电子设备执行。在由电子设备执行的这种方式中，本申请实施例提供的人脸重建方法中所有步骤可以均由电子设备执行。例如，如图1所示，通过电子设备100的数据获取装置可以获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息，然后将获取到的待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息传输给处理器，使得处理器可以实时的将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图；基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

再者，本申请实施例提供的人脸重建方法也可以由服务器(云端)进行执行。对应的，在由服务器执行的这种方式中，可以由电子设备获取获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息，并将待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息同步发送给服务器，然后由服务器实时的将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图；基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

另外，还可以由电子设备和服务器协同执行。在由电子设备和服务器协同执行的这种方式中，本申请实施例提供的人脸重建方法中的部分步骤由电子设备执行，而另外部分的步骤则由服务器来执行。

示例性的，如图2所示，电子设备100可以执行人脸重建方法包括的：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息，然后由服务器200来执行将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图；基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

需要说明的是，在由电子设备和服务器协同执行的这种方式中，电子设备和服务器分别执行的步骤不限于上述示例中所介绍的方式，在实际应用中，可以根据实际情况动态的调整电子设备和服务器分别执行的步骤。

需要说明的是，该电子设备100除了可以为图1和图2中所示的智能手机外，还可以为车机设备、可穿戴设备、平板电脑、笔记本电脑、智能音箱等。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。

下面将结合附图具体描述本申请的各实施例。

请参阅图3，本申请实施例提供的一种人脸重建方法，应用于如图1或图2所示的电子设备或服务器，所述方法包括：

步骤S110：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

在本申请实施例中，待重建人脸图像可以为包括有需要进行三维人脸重建的人脸图像。人脸三维形状信息可以包括人脸外形信息、人脸表情信息以及人脸中每个顶点的三维坐标信息等。

作为一种方式，可以通过图像采集装置采集RGB、YUV、RAW等格式的人脸图像。当通过图像采集装置采集到RGB、YUV、RAW等格式的人脸图像后，可以对RGB、YUV、RAW等格式的人脸图像进行预处理，得到预处理后的人脸图像，将经过预处理后的人脸图像作为待重建人脸图像。在获取到待重建人脸图像后，获取与该待重建人脸图像中包括的人脸的人脸三维形状信息。其中，图像采集装置可以为带有摄像头的智能设备，比如智能手机、相机等。

在获取人脸三维形状信息时，可以通过硬件采集设备获取人脸三维形状信息，比如，可以通过3D点云设备或者多摄系统来获取人脸三维形状信息。可选的，也可以通过人脸三维形状获取模型来获取待重建人脸图像中包括的人脸的人脸三维形状信息。

作为另一种方式，待重建人脸图像也可以为从云服务器或者预设存储区域(比如智能手机的相册)中获取的图像。响应于触发获取待重建人脸图像的操作，从云服务器或者预设存储区域中获取待重建人脸图像。其中，触发获取待重建人脸图像的操作可以为检测到指定应用程序启动的操作，也可以为对指定应用程序的预设触控操作等，在此不做具体限定。

步骤S120：将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图。

在本申请实施例中，贴图生成模型可以为预先训练好的基于卷积神经网络算法的模型，比如Unet、StarGAN、StyleGAN等模型。基于该类算法的模型通常可以包括Encoder纹理编码模块和Decoder贴图生成模块。Encoder纹理编码模块用于获取待重建人脸图像和人脸三维形状信息的纹理特征；Decoder贴图生成模块用于基于Encoder纹理编码模块提取的纹理特征生成三维人脸纹理贴图。

作为一种方式，得到贴图生成模型的步骤可以包括：获取图像训练数据集；基于所述图像训练数据集和预设损失函数对待训练模型进行训练，直至满足训练结束条件，得到所述贴图生成模型。其中，图像训练数据集中可以包括多张人脸图像以及每张人脸图像对应的UV坐标下的纹理贴图或风格化纹理贴图；预设损失函数可以为基于L1损失函数、L2损失函数以及生成对抗ADV损失函数进行加权求和后得到的总损失函数；训练结束条件可以为损失值满足预设损失值(损失值不再变化)或者训练迭代次数达到预设迭代次数，其中，预设损失值和预设迭代次数可以为预先设置的。

步骤S130：基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

在本申请实施例中，在获得三维人脸形状信息和三维人脸纹理贴图后，可以基于三维人脸形状信息和三维人脸纹理贴图，生成与待重建人脸图像对应的三维重建图像，其中，与待重建人脸图像对应的三维重建图像包括基于该三维人脸纹理贴图生成的纹理信息，即，生成的三维重建图像为带纹理的三维人脸图像。

作为一种方式，在得到获得三维人脸形状信息和三维人脸纹理贴图后，可以将三维人脸形状信息和三维人脸纹理贴图进行组合，生成待重建人脸图像对应的三维重建图像。具体的，将生成的三维人脸纹理贴图按照预设格式对应到人脸三维形状信息上，可以得到带纹理信息的三维人脸重建图像。其中，预设格式可以为UV坐标格式。

上述步骤S110-步骤S130实施的示意图可以如图4所示，首先人脸图像，以及人脸三维形状信息；然后对人脸图像进行预处理，得到待重建人脸图像；将待重建人脸图像和人脸三维形状信息输入到贴图生成模型的融合模块(为上述的Encoder纹理编码模块)中，通过融合模块获取纹理特征，进而将纹理特征输入到贴图生成模型的贴图生成模块(为上述的Decoder贴图生成模块)中，生成三维人脸纹理贴图；最后基于三维人脸纹理贴图和人脸三维形状信息，生成三维重建图像，如图5所示，图5中的“+”号左边的图像为人脸三维形状信息，图5中的“+”号右边的图像为人脸三维纹理贴图，图5中的箭头右边的图像为三维重建图像。

本申请提供的一种人脸重建方法，首先获取待重建人脸图像，以及与待重建人脸图像对应的人脸三维形状信息，然后将待重建人脸图像和人脸三维形状信息输入到贴图生成模型中，获取贴图生成模型输出的三维人脸纹理贴图，最后基于人脸三维形状信息和三维人脸纹理贴图，生成待重建人脸图像对应的三维重建图像。通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

请参阅图6，本申请实施例提供的一种人脸重建方法，应用于如图1或图2所示的电子设备或服务器，所述方法包括：

步骤S210：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

步骤S220：基于所述人脸三维形状信息，生成UV坐标形式的图。

作为一种方式，所述基于所述人脸三维形状信息，生成UV坐标形式的图的步骤，包括：基于所述人脸三维形状信息，生成对应的法向图；将所述法向图展开为UV坐标形式的图；或者，将所述人脸三维形状信息展开为UV坐标形式的图。

在本申请实施例中，在生成UV坐标格式的图时，可以选择先通过人脸三维形状信息，生成对应的法向图，然后再将法向图展开为UV坐标格式的图，也就是说，先基于人脸三维形状信息中的每个顶点的三维坐标信息计算每个顶点的法向量，确定对应的法向图，然后再将法向图转换为UV坐标格式的二维坐标信息；也可以直接将人脸三维形状信息展开为UV坐标格式的图，也就是说将人脸三维形状信息中的每个顶点的三维坐标信息转换为UV坐标格式的二维坐标信息。其中，法向图为三通道法向图像。

其中，先通过人脸三维形状信息，生成对应的法向图，然后再将法向图展开为UV坐标格式的图的方式，得到的UV坐标格式的图更为精确；直接将人脸三维形状信息展开为UV坐标格式的图的方式，可以更快速的得到UV坐标格式的图。因此，在选择通过哪种方式来得到UV坐标格式的图时，可以根据实际需求进行选择，如果需要更快速的得到UV坐标格式的图，则直接将人脸三维形状信息展开为UV坐标格式的图；如果需要得到精度更高的UV坐标格式的图，则先通过人脸三维形状信息，生成对应的法向图，然后再将法向图展开为UV坐标格式的图。

步骤S230：将所述UV坐标形式的图与所述待重建人脸图像进行拼接或相加操作，得到融合后的待重建人脸图像。

在本申请实施例中，待重建人脸图像为三通道图像(RGB图像/YUV图像/RAW图像)，UV坐标格式的图也是三通道图像(x/y/z三通道)。将UV坐标形式的图与待重建人脸图像进行拼接或相加操作，指的是将UV坐标形式的图与待重建人脸图像的通道进行相加或拼接，也就是说，得到的融合后的待重建人脸图像为六通道图像。

步骤S240：将所述融合后的待重建图像输入到所述纹理编码模块中，获取所述纹理编码模块输出的三维人脸纹理特征。

其中，所述贴图生成模型包括纹理编码模块和贴图生成模块。

步骤S250：将所述三维人脸纹理特征输入到所述贴图生成模块中，获取所述贴图生成模块输出的三维人脸纹理贴图。

作为一种方式，步骤S210-步骤S250实施的示意图，可以如图7所示，首先获取待重建人脸图像和人脸三维形状信息，然后基于人脸三维形状信息计算法向图，得到对应的法向图，再将法向图展开为UV坐标格式的图像，然后将待重建人脸图像和UV坐标格式的图进行图像通道拼接或者相加操作，得到融合后的待重建人脸图像，进而可以将融合后的待重建人脸图像输入到纹理编码模块中进行特征提取。

作为另一种方式，步骤S210-步骤S250实施的示意图，也可以如图8所示，首先获取待重建人脸图像和人脸三维形状信息，然后直接将人脸三维形状信息展开为UV坐标格式的图像，再将待重建人脸图像和UV坐标格式的图进行图像通道拼接或者相加操作，得到融合后的待重建人脸图像，进而可以将融合后的待重建人脸图像输入到纹理编码模块中进行特征提取。

可选的，在得到UV坐标格式的图后，若UV坐标格式的图的尺寸比待重建人脸图像的尺寸不同，则需要先将UV坐标格式的图的尺寸缩放到与待重建人脸图像的尺寸相同，然后再将缩放尺寸后的UV坐标格式的图像和待重建人脸图像进行图像通道相加或拼接操作。

步骤S260：基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

本申请提供的一种人脸重建方法，首先获取待重建人脸图像和与待重建人脸图像对应的人脸三维形状信息，基于人脸三维形状信息生成UV坐标格式的图，然后将UV坐标形式的图与待重建人脸图像进行拼接或相加操作，得到融合后的待重建人脸图像，再将融合后的待重建图像输入到纹理编码模块中，获取纹理编码模块输出的三维人脸纹理特征，然后再将三维人脸纹理特征输入到贴图生成模块中，获取贴图生成模块输出的三维人脸纹理贴图，最后基于人脸三维形状信息和三维人脸纹理贴图，生成待重建人脸图像对应的三维重建图像。通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

请参阅图9，本申请实施例提供的一种人脸重建方法，应用于如图1或图2所示的电子设备或服务器，所述方法包括：

步骤S310：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

步骤S320：基于所述人脸三维形状信息，生成UV坐标形式的图。

作为一种方式，所述基于所述人脸三维形状信息，生成UV坐标形式的图的步骤，包括：基于所述人脸三维形状信息，生成对应的法向图；将所述法向图展开为UV坐标形式的图；或者，将所述人脸三维形状信息展开为UV坐标形式的图。

步骤S330：将所述待重建人脸图像输入到所述第一纹理编码模块中，获取所述第一纹理编码模块输出的第一纹理特征。

其中，所述贴图生成模型包括第一纹理编码模块、第二纹理编码模块和贴图生成模块。

在本申请实施例中，贴图生成模型中可以包括有两个纹理编码模块，每个纹理编码模块用于提取不同的特征。其中，第一纹理编码模块用于提取待重建人脸图像的纹理特征，第二纹理编码模块用于提取UV坐标格式的图的纹理特征，其中，第一纹理特征和第二纹理特征来源于不同类型的图像，第一纹理编码模块和第二纹理编码模块输出的纹理特征的通道数相同，特征图的大小也相同。因此，在训练第一纹理编码模块和第二纹理编码模块时，会通过不同的训练图像数据集来训练第一纹理编码模块和第二纹理编码模块。

步骤S340：将所述UV坐标形式的图输入到所述第二纹理编码模块中，获取所述第二纹理编码模块输出的第二纹理特征。

步骤S350：将所述第一纹理特征和所述第二纹理特征进行拼接或相加操作，得到第三纹理特征。

在本申请实施例中，步骤S310-步骤S350实施的示意图，可以如图10所示，首先获取待重建人脸图像和人脸三维形状信息，然后先基于人脸三维形状信息，计算得到对应的法向图，然后将法向图展开为UV坐标格式的图像。

然后分别将待重建人脸图像输入到第一纹理编码模块中，将UV坐标格式的图输入到第二纹理编码模块中，通过第一纹理编码模块和第二纹理编码模块分别提取第一纹理特征和第二纹理特征。

进而可以先将第一纹理特征和第二纹理特征进行图像通道拼接或相加操作，得到第三纹理特征。

步骤S360：将所述第三纹理特征输入到所述贴图生成模块中，获取所述贴图生成模块输出的三维人脸纹理贴图。

步骤S370：基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

本申请提供的一种人脸重建方法，先通过第一纹理编码模块和第二纹理编码模块分别对待重建人脸图像和UV坐标格式的图进行特征提取，得到第一纹理特征和第二纹理特征，然后将第一纹理特征和第二纹理特征进行拼接操作，实现形状信息的融合，然后将融合后的第三纹理特征输入到贴图生成模块中生成三维人脸纹理贴图，并根据三维人脸纹理贴图和人脸三维形状信息，生成三维重建结果，提升了单视图人脸侧脸区域的纹理生成效果，增强了三维形状信息和三维人脸纹理贴图的一致性，从而提升了三维人脸重建的整体效果。

请参阅图11，本申请实施例提供的一种人脸重建方法，应用于如图1或图2所示的电子设备或服务器，所述方法包括：

步骤S410：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

在本申请实施例中，如图12所示，步骤S410的具体步骤可以包括：

步骤S411：获取初始人脸图像。

在本申请实施例中，初始人脸图像为还未进行预处理的原始人脸图像。其中，初始人脸图像可以为图像采集装置实时采集到的，也可以为从云服务器或预设存储区域中获取的原始人脸图像，在此不做具体限定。

步骤S412：根据人脸方向，对所述初始人脸图像进行图像旋转操作，得到旋转后的初始人脸图像。

在本申请实施例中，人脸方向为预先设置的人脸方向。

由于有时候初始人脸图像中的包括的人脸的方向和预先设置的人脸方向不同，因此，需要根据预先设置的人脸方向对初始人脸图像进行图像旋转操作，将初始人脸图像中的人脸方向调整为预先设置的人脸方向相同。

步骤S413：对所述旋转后的初始人脸图像进行人脸检测，获取包含人脸区域的预设大小的初始人脸图像。

在本申请实施例中，可以通过人脸检测模型对旋转后的初始人脸图像进行人脸检测，获取只包含人脸区域的初始人脸图像，然后将只包含人脸区域的初始人脸图像进行尺寸缩放操作，得到预设大小的初始人脸图像。

步骤S414：对所述包含人脸区域的预设大小的初始人脸图像进行归一化处理，得到所述待重建人脸图像。

在本申请实施例中，归一化处理为将包含人脸区域的预设大小的初始人脸图像中的每个像素点的RGB三通道的值，进行先减均值(通常取值127.5)，后除方差(通常取值127.5)的操作，计算式如下：(X-127.5)/127.5，其中，X为像素点的RGB三通道的值。其中，均值和方差可以为预先设置的，或者基于经验得到的。

可选的，也可以采用其他方式进行归一化处理，如直接将每个像素点的RGB三通道的值除以255。

上述步骤S411-步骤S414实施的示意图可以如图13所示。

步骤S420：基于所述人脸三维形状信息，生成UV坐标形式的图。

步骤S430：将所述待重建人脸图像输入到所述第一纹理编码模块中，获取所述第一纹理编码模块输出的第一纹理特征。

步骤S440：将所述UV坐标形式的图输入到所述第二纹理编码模块中，获取所述第二纹理编码模块输出的第二纹理特征。

步骤S450：将所述第一纹理特征和所述第二纹理特征进行拼接或相加操作，得到第三纹理特征。

步骤S460：将所述第三纹理特征输入到所述第三纹理编码模块中，获取所述第三纹理编码模块输出的第四纹理特征。

在本申请实施例中，步骤S410-步骤S460实施的示意图，可以如图14所示，首先获取待重建人脸图像和人脸三维形状信息，然后先基于人脸三维形状信息，计算得到对应的法向图，然后将法向图展开为UV坐标格式的图像。

然后分别将待重建人脸图像输入到第一纹理编码模块中，将UV坐标格式的图输入到第二纹理编码模块中，通过第一纹理编码模块和第二纹理编码模块分别提取第一纹理特征和第二纹理特征。

进而可以先将第一纹理特征和第二纹理特征进行图像通道拼接或相加操作，得到第三纹理特征，最后将第三纹理特征输入到第三纹理编码模块中进行特征提取。

步骤S470：将所述第四纹理特征输入到所述贴图生成模型中，获取所述贴图生成模块输出的三维人脸纹理贴图。

步骤S480：基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

本申请提供的一种人脸重建方法，通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

请参阅图15，本申请实施例提供的一种人脸重建方法，应用于如图1或图2所示的电子设备或服务器，所述方法包括：

步骤S510：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

步骤S520：基于所述人脸三维形状信息，生成UV坐标形式的图。

步骤S530：将所述第一纹理编码模块和所述第二纹理编码的网络参数进行相加或交换，得到更新参数后的第一纹理编码模块和更新参数后的第二纹理编码模块。

在本申请实施例中，第一纹理编码模块和第二纹理编码模块由于是通过不同的训练图像数据集进行训练的，因此，第二纹理编码模块和第二纹理编码模块的网络参数不同。

为了进一步的增强形状特征的融合，可以将第一纹理编码模块和第二纹理编码模块的网络参数进行相加或者交换操作，从而得到更新参数后的第一纹理编码模块和更新参数后的第二纹理编码模块。

由于更新参数后的第一纹理编码模块中包含有第二纹理编码模块的网络参数，因此更新参数后的第一纹理编码模块提取的第一纹理特征同时也具有第二纹理特征的特点；同样的，由于更新参数后的第二纹理编码模块中包含有第一纹理编码模块的网络参数，因此更新参数后的第二纹理编码模块提取的第二纹理特征同时也具有第一纹理特征的特点。

步骤S540：将所述待重建人脸图像输入到所述更新参数后的第一纹理编码模块中，获取所述更新参数后的第一纹理编码模块输出的第一纹理特征。

步骤S550：将所述UV坐标形式的图输入到所述更新参数后的第二纹理编码模块中，获取所述更新参数后的第二纹理编码模块输出的第二纹理特征。

步骤S560：将所述第一纹理特征和所述第二纹理特征进行拼接或相加操作，得到第三纹理特征。

在本申请实施例中，步骤S510-步骤S560实施的示意图，可以如图16所示，首先获取待重建人脸图像和人脸三维形状信息，然后先基于人脸三维形状信息，计算得到对应的法向图，然后将法向图展开为UV坐标格式的图像。

然后分别将待重建人脸图像输入到更新参数后的第一纹理编码模块中，将UV坐标格式的图输入到更新参数后的第二纹理编码模块中，通过更新参数后的第一纹理编码模块和更新参数后的第二纹理编码模块分别提取第一纹理特征和第二纹理特征。

进而可以先将第一纹理特征和第二纹理特征进行图像通道拼接或相加操作，得到第三纹理特征。

步骤S570：将所述第三纹理特征输入到所述贴图生成模块中，获取所述贴图生成模块输出的三维人脸纹理贴图。

步骤S580：基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

本申请提供的一种人脸重建方法，通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

请参阅图17，本申请实施例提供的一种人脸重建方法，应用于如图1或图2所示的电子设备或服务器，所述方法包括：

步骤S610：获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

步骤S620：基于所述人脸三维形状信息，生成UV坐标形式的图。

步骤S630：将所述第一纹理编码模块和所述第二纹理编码的网络参数进行相加或交换，得到更新参数后的第一纹理编码模块和更新参数后的第二纹理编码模块。

步骤S640：将所述待重建人脸图像输入到所述更新参数后的第一纹理编码模块中，获取所述更新参数后的第一纹理编码模块输出的第一纹理特征。

步骤S650：将所述UV坐标形式的图输入到所述更新参数后的第二纹理编码模块中，获取所述更新参数后的第二纹理编码模块输出的第二纹理特征。

步骤S660：将所述第一纹理特征和所述第二纹理特征进行拼接或相加操作，得到第三纹理特征。

步骤S670：将所述第三纹理特征输入到所述第三纹理编码模块中，获取所述第三纹理编码模块输出的第四纹理特征。

在本申请实施例中，步骤S610-步骤S670实施的示意图，可以如图18所示，首先获取待重建人脸图像和人脸三维形状信息，然后先基于人脸三维形状信息，计算得到对应的法向图，然后将法向图展开为UV坐标格式的图像。

然后分别将待重建人脸图像输入到更新参数后的第一纹理编码模块中，将UV坐标格式的图输入到更新参数后的第二纹理编码模块中，通过更新参数后的第一纹理编码模块和更新参数后的第二纹理编码模块分别提取第一纹理特征和第二纹理特征。

进而可以先将第一纹理特征和第二纹理特征进行图像通道拼接或相加操作，得到第三纹理特征，进而将第三纹理特征输入到第三纹理编码模块中进行纹理特征提取。

步骤S680：将所述第四纹理特征输入到所述贴图生成模型中，获取所述贴图生成模块输出的三维人脸纹理贴图。

步骤S690：基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

本申请提供的一种人脸重建方法，通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

请参阅图19，本申请实施例提供的一种人脸重建装置700，所述装置700包括：

数据获取单元710，用于获取待重建人脸图像，以及与所述待重建人脸图像对应的人脸三维形状信息。

作为一种方式，数据获取单元710具体用于获取初始人脸图像；根据人脸方向，对所述初始人脸图像进行图像旋转操作，得到旋转后的初始人脸图像；对所述旋转后的初始人脸图像进行人脸检测，获取包含人脸区域的预设大小的初始人脸图像；对所述包含人脸区域的预设大小的初始人脸图像进行归一化处理，得到所述待重建人脸图像。

贴图生成单元720，用于将所述待重建人脸图像和所述人脸三维形状信息输入到贴图生成模型中，获取所述贴图生成模型输出的三维人脸纹理贴图。

作为一种方式，贴图生成单元720，具体用于基于所述人脸三维形状信息，生成UV坐标形式的图；将所述UV坐标形式的图与所述待重建人脸图像进行拼接或相加操作，得到融合后的待重建人脸图像；将所述融合后的待重建图像输入到所述纹理编码模块中，获取所述纹理编码模块输出的三维人脸纹理特征；将所述三维人脸纹理特征输入到所述贴图生成模块中，获取所述贴图生成模块输出的三维人脸纹理贴图。

作为另一种方式，贴图生成单元720，具体用于基于所述人脸三维形状信息，生成UV坐标形式的图；将所述待重建人脸图像输入到所述第一纹理编码模块中，获取所述第一纹理编码模块输出的第一纹理特征；将所述UV坐标形式的图输入到所述第二纹理编码模块中，获取所述第二纹理编码模块输出的第二纹理特征；将所述第一纹理特征和所述第二纹理特征进行拼接或相加操作，得到第三纹理特征；将所述第三纹理特征输入到所述贴图生成模块中，获取所述贴图生成模块输出的三维人脸纹理贴图。

可选的，贴图生成单元720，还具体用于将所述第三纹理特征输入到所述第三纹理编码模块中，获取所述第三纹理编码模块输出的第四纹理特征；将所述第四纹理特征输入到所述贴图生成模型中，获取所述贴图生成模块输出的三维人脸纹理贴图。

可选的，贴图生成单元720，还具体用于将所述第一纹理编码模块和所述第二纹理编码的网络参数进行相加或交换，得到更新参数后的第一纹理编码模块和更新参数后的第二纹理编码模块；将所述待重建人脸图像输入到所述更新参数后的第一纹理编码模块中，获取所述更新参数后的第一纹理编码模块输出的第一纹理特征；将所述UV坐标形式的图输入到所述更新参数后的第二纹理编码模块中，获取所述更新参数后的第二纹理编码模块输出的第二纹理特征。

可选的，贴图生成单元720，还具体用于基于所述人脸三维形状信息，生成对应的法向图；将所述法向图展开为UV坐标形式的图；或者，将所述人脸三维形状信息展开为UV坐标形式的图。

图像生成单元730，用于基于所述人脸三维形状信息和所述三维人脸纹理贴图，生成所述待重建人脸图像对应的三维重建图像。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图20对本申请提供的一种电子设备或服务器进行说明。

请参阅图20，基于上述的人脸重建方法、装置，本申请实施例还提供的另一种可以执行前述人脸重建方法的电子设备或服务器800。电子设备或服务器800包括相互耦合的一个或多个(图中仅示出一个)处理器802、存储器804以及网络模块806。其中，该存储器804中存储有可以执行前述实施例中内容的程序，而处理器802可以执行该存储器804中存储的程序。

其中，处理器802可以包括一个或者多个处理核。处理器802利用各种接口和线路连接整个服务器800内的各个部分，通过运行或执行存储在存储器804内的指令、程序、代码集或指令集，以及调用存储在存储器804内的数据，执行服务器800的各种功能和处理数据。可选地，处理器802可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器802可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器802中，单独通过一块通信芯片进行实现。

存储器804可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器804可用于存储指令、程序、代码、代码集或指令集。存储器804可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备或服务器800在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所述网络模块806用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块806可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块806可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块806可以与基站进行信息交互。

请参考图21，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。

本申请提供的一种人脸重建方法、装置、电子设备以及存储介质，首先获取待重建人脸图像，以及与待重建人脸图像对应的人脸三维形状信息，然后将待重建人脸图像和人脸三维形状信息输入到贴图生成模型中，获取贴图生成模型输出的三维人脸纹理贴图，最后基于人脸三维形状信息和三维人脸纹理贴图，生成待重建人脸图像对应的三维重建图像。通过上述方法，在贴图生成过程中，融合了人脸三维形状信息，避免了三维形状重建结果与纹理贴图的不一致，优化了三维人脸纹理贴图生成的效果，进而提升了三维人脸重建的效果。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。