三维人脸风格化方法及风格化三维人脸图像

技术领域

本发明涉及图像处理、人脸风格化技术领域，尤其是涉及三维人脸风格化方法及风格化三维人脸图像。

背景技术

图像风格化是非真实感绘制技术的一个分支，具有广泛的应用和市场前景，在数字娱乐行业如影视制作、家庭娱乐、数字游戏、广告宣传等多方面将产生巨大的经济价值；其中的人脸风格化是指将人脸变成指定风格的人脸，常见的风格有二次元、古装等，要求得到的风格化人脸图像具有指定风格的纹理并保留人脸的大致轮廓。根据输入的人脸维度不同，可以分为二维人脸风格化和三维人脸风格化，当前三维人脸风格化方法通常采用多视图重建或基于模板手动调节参数的方式，存在生成时间久或调节复杂等问题。

发明内容

本发明的目的在于解决更高效地将任意风格引入到三维人脸外观中的问题，提供一种三维人脸风格化方法及风格化三维人脸图像。

为实现上述目的，本发明采用以下技术方案：

一种三维人脸风格化方法，包括以下步骤：

S1:分离指定风格的参考图像代表的内容和外观，编码所述指定风格的参考图像，得到对应的风格化潜码；

S2:从标准高斯分布得到未风格化的原始人脸外观潜码和原始人脸几何潜码；

S3:将所述风格化潜码与所述原始人脸外观潜码进行融合，得到原始人脸外观风格化后的潜码；

S4:将所述原始人脸外观风格化后的潜码和所述原始人脸几何潜码输入到基于潜码的神经辐射场中，得到风格化三维人脸图像。

在一些实施例中，步骤S4之后还包括以下步骤：

S5:使用原始人脸判别器和风格化人脸判别器对所述风格化三维人脸进行判别计算训练，以将引入的风格迁移到三维人脸上并保持三维人脸一致性。

在一些实施例中，步骤S5中，所述原始人脸判别器将得到的所述风格化三维人脸图像和对应的未风格化人脸图像进行判别损失计算，风格化判别器将得到的所述风格化三维人脸图像和指定风格的参考图像进行判别损失计算，所述原始判别器用于保证三维人脸图像的几何一致性，所述风格化判别器用于将引入的风格迁移到三维人脸图像上。

在一些实施例中，使用编码器将所述指定风格的参考图片进行编码得到风格化潜码。

在一些实施例中，步骤S1具体包括：编码器首先将图像降采样为512x374x3大小的图像，并通过三层卷积，其中第一层卷积输入3通道，输出64通道，卷积大小为4x4；第二层卷积输入64通道，输出128通道，卷积大小为4x4；第三层卷积输入128通道，输出256通道，卷积大小为4x4，得到3x4x256大小的特征，然后通过输入3x4x256的线性层重塑输出256维度特征，最后分别通过两个线性层得到128维度的风格潜码。

在一些实施例中，步骤S3中，使用风格化潜码融合网络将所述原始人脸外观潜码和所述风格化潜码融合得到原始人脸外观风格化后的潜码，所述风格化潜码融合网络为多层感知机网络。

在一些实施例中，步骤S4中还包括：从三维空间中任意采样位置点，然后将所述原始人脸几何潜码和所述位置点一起输入到神经辐射场中。

在一些实施例中，步骤S4具体包括：所述神经辐射场首先分别对所述人脸几何潜码和所述位置点分别进行位置编码，然后输入到256维度的线性层中，经过6个线性层后，输出该位置点的密度，该密度即为人脸的几何密度，然后将所述原始人脸外观风格化后对应的人脸外观潜码和视角方向同时输入到所述神经辐射场中，一起输入到128维度的线性层中，经过3层线性层，得到最终该位置点的颜色。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明还提供一种风格化三维人脸图像，使用上述方法生成。

本发明具有如下有益效果：

本发明通过对指定风格的参考图像进行编码，得到对应的风格化潜码，并对所述人脸外观潜码和所述风格化潜码融合，从而实现将风格引入到人脸外观中，基于辐射神经场进行三维人脸图像生成，得到的三维人脸具有任意视角查看的优点，对比现有技术的采用多视图重建或基于模板手动调节参数生成三维人脸图像的方式，本发明的生成效率及精度更高。

在一些实施例中，生成的风格化三维人脸图像通过双判别器的方式进行训练，可将任意风格引入到三维人脸外观中，并保持三维人脸一致性；其中原始判别器将生成的三维人脸和对应的原始人脸进行判别损失计算，可保持三维人脸的一致性；风格化判别器将生成的三维人脸和指定风格的参考图像进行判别损失计算，可将引入的风格迁移到三维人脸上。

在一些实施例中，基于编码器可以对任意参考的风格化图像进行编码，提取参考风格嵌入到三维人脸外观空间，所以可以指定任意风格图片来进行三维人脸生成。

附图说明

图1为本发明实施例中的三维人脸风格化方法流程图；

图2为本发明实施例中的三维人脸风格化方法具体流程图；

图3为本发明实施例中的编码器的结构示意图；

图4为本发明实施例中的风格化潜码融合网络示意图；

图5为本发明实施例中的基于潜码的神经辐射场的结构示意图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参考图1，本发明实施例中的三维人脸风格化方法包括以下步骤：

S1:分离指定风格的参考图像代表的内容和外观，编码所述指定风格的参考图像，得到对应的风格化潜码；

S2:从标准高斯分布得到未风格化的原始人脸外观潜码和原始人脸几何潜码；

S3:将所述风格化潜码与所述原始人脸外观潜码进行融合，得到原始人脸外观风格化后的潜码；

S4:将所述原始人脸外观风格化后的潜码和所述原始人脸几何潜码输入到基于潜码的神经辐射场中，得到风格化三维人脸图像。

近年在神经渲染迅速发展的背景下，神经辐射场作为三维场景表征的新方式，通过隐式函数学习三维场景表示，使用可微渲染技术显式映射到二维图像，从而实现通过拟合2D图像生成复杂可控三维场景的目的。相比于体素或网格的三维表征方式，表达空间连续且不受拓扑结构限制，可对场景内容和视角控制。

在进行三维人脸风格化的过程中，如何将任意风格引入到三维人脸外观中，并保持三维人脸一致性是实现三维人脸风格化的关键。针对这个问题，基于编码器的方式对风格化图像进行编码，得到代表风格的潜码，通过风格化潜码融合网络对人脸外观潜码和风格化潜码融合，从而实现将风格引入到人脸外观中；本实施例还引入双判别器的方式对整体网络进行训练，原始人脸判别器用来保持三维人脸一致性，风格化判别器用来将引入的风格迁移到三维人脸上(将风格引入到人脸外观)。基于辐射神经场进行三维人脸生成，得到的三维人脸具有任意视角查看的优点；基于风格化编码器，可以对任意参考的风格化图像进行编码，提取参考风格嵌入到三维人脸外观空间，所以可以指定任意风格图片来进行三维人脸生成。

具体的，如图2所示，本实施例提供的技术方案包括以下步骤：

S1:给定指定风格的参考图像，经过编码器进行编码分别得到其内容潜码z

S2:通过分离人脸几何和人脸外观，实现不改变人脸几何情况下改变人脸外观。从指定高斯分布中采样得到未风格化的原始人脸外观潜码z

S3：通过多层感知机网络(即风格化潜码融合网络)将风格化潜码z

S4：原始人脸外观风格化后的潜码z

S5:生成的风格化三维人脸通过双判别器的方式进行训练，其中原始人脸判别器将生成的三维人脸和对应的原始人脸进行判别损失计算，用于保持三维人脸的一致性。具体损失函数计算方式如下式：

L

其中D

风格化人脸判别器将生成的三维人脸和指定风格的参考图像进行判别损失计算，用于将引入的风格迁移到三维人脸上。具体损失函数计算方式如下式：

L

其中D

总的来说，生成的风格化人脸通过原始人脸判别器和风格化人脸判别器进行判别共同计算训练，总的损失函数计算方式如下式：

L＝D

具体框架如图2所示，原始人脸判别器将生成的三维人脸和对应的未风格化人脸进行判别损失计算，风格化人脸判别器将生成的三维人脸和指定风格的参考图像进行判别损失计算，原始人脸判别器保证了三维人脸的几何一致性，风格化人脸判别器保证了可以从指定风格的参考风格图像得到的风格迁移到三维人脸外观上。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。