一种人脸风格化方法、系统、装置及介质

技术领域

本申请涉及虚拟社交领域，特别涉及一种人脸风格化方法、系统、装置及介质。

背景技术

现有的人脸风格化技术基本都是基于StyleGAN模型，具体地，通过输入少量的风格化人脸数据对真实人脸StyleGAN模型进行训练，以得到风格化人脸StyleGAN模型，进而根据真实人脸数据和风格化人脸StyleGAN模型得到与真实人脸对应的风格化人脸。

在实际训练得到风格化人脸StyleGAN模型时，若输入的风格化人脸数据较少，则会导致数据多样性不够，进而限制了风格化人脸StyleGAN模型的属性表达能力。若输入的风格化人脸数据较多，则需要设计师投入大量的人力人为设计，成本太高。

发明内容

本申请的目的是提供一种人脸风格化方法、系统、装置及介质，通过属性编辑增强数据多样性，进而增加了风格化人脸图像的多样性，提高了通过风格化人脸StyleGAN模型得到的风格化人脸图像的属性表达能力，从而生成更加多样化属性的风格化人脸图像。同时，还可以减小训练过程中的样本量。

为解决上述技术问题，本申请提供了一种人脸风格化方法，包括：

根据预设风格化图像对真实人脸StyleGAN模型进行训练，得到风格化人脸StyleGAN模型；

获取至少一个人脸属性方向向量，将与真实人脸图像对应的初始向量与所述人脸属性方向向量叠加，得到目标向量；

将所述目标向量输入至所述风格化人脸StyleGAN模型，得到目标风格化人脸图像。

优选地，获取至少一个人脸属性方向向量，包括：

预先获取多个真实人脸图像；

根据人脸属性类别对多个所述真实人脸图像进行分类处理；

根据各所述人脸属性类别对应的真实人脸图像确定与各所述人脸属性类别对应的所述人脸属性方向向量。

优选地，根据各所述人脸属性类别对应的真实人脸图像确定与各所述人脸属性类别对应的所述人脸属性方向向量，包括：

将与所述人脸属性类别对应的真实人脸图像投影至真实人脸StyleGAN空间中以训练人脸属性分类器；

根据所述人脸属性分类器在所述真实人脸StyleGAN空间中确定与所述人脸属性类别对应的所述人脸属性方向向量。

优选地，所述人脸属性分类器为二分类器。

优选地，将所述目标向量输入至所述风格化人脸StyleGAN模型，得到目标风格化人脸图像之后，还包括：

构建多个所述真实人脸图像和所述目标风格化人脸图像的数据对；

根据所述数据对训练出属性增强的风格化人脸StyleGAN模型，以向所述属性增强的风格化人脸StyleGAN模型输入所述真实人脸图像时，得到所述目标风格化人脸图像。

优选地，构建多个所述真实人脸图像和所述目标风格化人脸图像的数据对之后，还包括：

根据所述数据对训练出属性增强的移动端模型，以将所述移动端模型部署在终端设备上，以向所述属性增强的移动端模型输入所述真实人脸图像时，得到所述目标风格化人脸图像；

所述属性增强的移动端模型的结构小于所述属性增强的风格化人脸StyleGAN模型的结构。

为解决上述技术问题，本申请还提供了一种人脸风格化系统，包括：

风格化模型生成单元，用于根据预设风格化图像对真实人脸StyleGAN模型进行训练，得到风格化人脸StyleGAN模型；

目标向量确定单元，用于获取至少一个人脸属性方向向量，将与真实人脸图像对应的初始向量与所述人脸属性方向向量叠加，得到目标向量；

目标风格化人脸图像生成单元，将所述目标向量输入至所述风格化人脸StyleGAN模型，得到目标风格化人脸图像。

为解决上述技术问题，本申请还提供了一种人脸风格化装置，包括：

存储器，用于存储计算机程序；

处理器，用于在存储计算机程序时，实现如上述所述的人脸风格化方法的步骤。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的人脸风格化方法的步骤。

本申请提供了一种人脸风格化方法、系统、装置及介质，涉及虚拟社交领域。该方案中，根据预设风格化图像对真实人脸StyleGAN模型进行训练，得到风格化人脸StyleGAN模型；获取至少一个人脸属性方向向量，将与真实人脸图像对应的初始向量与人脸属性方向向量叠加，得到目标向量；将目标向量输入至风格化人脸StyleGAN模型，得到目标风格化人脸图像。本申请中，通过属性编辑增强数据多样性，进而增加了风格化人脸图像的多样性，提高了通过风格化人脸StyleGAN模型得到的风格化人脸图像的属性表达能力，从而生成更加多样化属性的风格化人脸图像。同时，还可以减小训练过程中的样本量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种人脸风格化方法的流程示意图；

图2为本申请提供的一种生成风格化人脸StyleGAN模型的示意图；

图3为本申请提供的一种生成目标风格化人脸图像的示意图；

图4为本申请提供的一种确定方向向量的示意图；

图5为本申请提供的一种人脸风格化系统的结构框图；

图6为本申请提供的一种人脸风格化装置的结构框图。

具体实施方式

本申请的核心是提供一种人脸风格化方法、系统、装置及介质，通过属性编辑增强数据多样性，进而增加了风格化人脸图像的多样性，提高了通过风格化人脸StyleGAN模型得到的风格化人脸图像的属性表达能力，从而生成更加多样化属性的风格化人脸图像。同时，还可以减小训练过程中的样本量。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于输入的风格化人脸数据较少会限制风格化人脸模型的属性表达能力，因此需要寻找更多有效的数据来进行训练。但是如何选择可靠有效的训练数据仍然是一个挑战。

请参照图1，图1为本申请提供的一种人脸风格化方法的流程示意图，该方法包括：

S11：根据预设风格化图像对真实人脸StyleGAN模型进行训练，得到风格化人脸StyleGAN模型；

具体地，如图2所示，图2为本申请提供的一种生成风格化人脸StyleGAN模型的示意图。StyleGAN模型是一种基于生成对抗网络的图像生成模型，它通过随机向量作为输入，生成逼真的图像。在S11中，将真实人脸StyleGAN模型与预设的风格化图像相结合，进行有监督学习，以得到具有目标风格的风格化人脸StyleGAN模型。保存训练好的风格化人脸StyleGAN模型，以备后续使用。

如图3所示，图3为本申请提供的一种生成目标风格化人脸图像的示意图。

S12：获取至少一个人脸属性方向向量，将与真实人脸图像对应的初始向量与人脸属性方向向量叠加，得到目标向量；

本实施例的设计思路为：通过获取至少一个人脸属性方向向量，并将其与初始向量叠加，得到目标向量。这种设计思路不仅可以实现对人脸属性的控制，还可以提供更多的样本来训练模型。

因此，本实施例中可以使用一些已知或者通过计算得到的人脸属性方向向量，例如年龄、性别、表情、长短发、是否戴眼镜等，以及自定义的属性来控制生成的风格化人脸。通过将这些方向向量与初始向量叠加，可以生成具有目标属性的风格化输入向量(也即目标向量)，然后，将目标向量输入到风格化人脸StyleGAN模型中，生成具有目标属性的风格化人脸。

上述过程中可以使用已知的人脸属性方向向量，也可以通过一些算法或者技术来获取人脸属性。例如，可以使用面部识别技术来获取性别、年龄、表情等属性。

通过对人脸属性的控制，可以获得具有不同特征的风格化人脸，从而提高模型的多样性和泛化能力。

S13：将目标向量输入至风格化人脸StyleGAN模型，得到目标风格化人脸图像。

本实施例的设计思路为：通过将目标向量输入到风格化人脸StyleGAN模型中，生成与预设风格相似的风格化人脸。由于目标向量中除了包括初始向量之外，还包括人脸属性方向向量，因此，得到的目标风格化人脸图像相比于直接基于风格化人脸StyleGAN模型得到的初始目标风格化人脸图像而言，属性增强。

可见，本申请采用预设风格化图像和人脸属性方向向量的加入训练风格化人脸GAN网络，并通过该网络生成目标向量生成目标风格化人脸，在不需要大量人力和精力设计风格化人脸数据的情况下，生成具有多样化属性的风格化人脸。此外，该方法可以灵活选择多个不同的人脸属性方向向量，生成不同属性的目标风格化人脸，从而增强生成效果和多样性，提高了风格化人脸StyleGAN模型的属性表达能力。

在上述实施例的基础上：

作为一种优选的实施例，获取至少一个人脸属性方向向量，包括：

预先获取多个真实人脸图像；

根据人脸属性类别对多个真实人脸图像进行分类处理；

根据各人脸属性类别对应的真实人脸图像确定与各人脸属性类别对应的人脸属性方向向量。

具体地，在人脸风格化中，获取人脸属性方向向量既可以提高生成图像的质量，又可以增加图像的多样性。但是如何准确、高效地获取人脸属性方向向量是一个难题。

为了准确、全面地提取人脸属性信息，可以利用机器学习算法进行分类处理。首先，预先准备多个真实人脸图像，并对其进行分类处理。其次，对于每个人脸属性类别，选取足够多的样本进行训练，得到一个对应的属性方向向量。最后，根据输入的真实人脸图像，在已有的属性方向向量基础上，计算得到其对应的属性方向向量。

具体实现时，需要选择一个合适的深度学习算法(如二分类算法中的逻辑斯蒂回归算法等，但不限于此算法)，并根据需要的人脸属性类别进行分类处理。在训练分类模型时，需要充分利用已有的数据，并进行数据增强等操作以提高模型的泛化能力。在计算属性方向向量时，可以设置权重系数以平衡不同样本对应的影响。

其中，获取真实人脸数据时需要保证数据的多样性和代表性，以避免导致偏差或者过拟合。此外，对多个真实人脸数据进行分类处理时，需要选取适当的人脸属性类别，如属性包括睁闭眼、长短发、是否戴眼镜、年龄大小等。在实际应用中，需要根据具体的场景和需求来选择合适的人脸属性方向向量，本申请在此不做特别的限定。

本实施例中，该实现方式可以帮助人脸风格化算法更加准确、高效地提取人脸属性信息，从而提高生成图像的质量和多样性。此外，该方法还可扩展到其他领域，如人脸识别、人脸表情识别、人脸年龄识别等。

作为一种优选的实施例，根据各人脸属性类别对应的真实人脸图像确定与各人脸属性类别对应的人脸属性方向向量，包括：

将与人脸属性类别对应的真实人脸图像投影至真实人脸StyleGAN空间中以训练人脸属性分类器；

根据人脸属性分类器在真实人脸StyleGAN空间中确定与人脸属性类别对应的人脸属性方向向量。

具体地，在人脸风格化的过程中，需要对真实人脸图像进行分类处理，从而确定与不同属性类别对应的人脸属性方向向量。而传统的人脸属性分类器往往只能处理特定的属性，如年龄、性别等，难以覆盖所有可能的属性类别，造成了算法的局限性。

为了解决传统算法的局限性，本方法采取了一种全局属性分类和局部属性分类相结合的方式，具体地，采用StyleGAN模型和人脸属性分类器技术，通过对真实人脸图像进行投影，并结合人脸属性分类器，在真实人脸StyleGAN空间中进行分类处理，得到不同属性类别对应的人脸属性方向向量。

具体过程可以为：将真实人脸图像投影至真实人脸StyleGAN空间中，得到每个真实人脸图像对应的初始向量。利用已训练好的人脸属性分类器，对真实人脸StyleGAN空间中的每个初始向量进行分类处理，确定其所属的属性类别。针对每个属性类别，对该类别对应的真实人脸图像进行平均，得到该属性类别对应的平均向量。根据平均向量和初始向量计算该属性类别对应的方向向量。重复上述步骤，直至计算出每个属性类别对应的方向向量。在一个具体实施例中，可以是在得到多个不同属性类别对应的方向向量后，将这些向量拼接在一起，得到最终的人脸属性方向向量。

如图4所示，图4为本申请提供的一种确定方向向量的示意图。以睁闭眼这个人脸属性为例，首先将人脸图片投影到真实人脸StyleGAN的空间中，通过二分类的方法(如逻辑斯蒂回归算法，但不限于该算法)找到一个超平面(图2中的虚线)对睁眼人脸和闭眼人脸进行划分，那么与该超平面正交的方向即为该属性的方向向量。

此外，还可以包括：对真实人脸图像进行预处理，包括人脸检测、对齐、归一化等操作，得到对应的初始向量。

除了采用以上方式之外，还可以考虑采用特征提取网络结合GAN模型进行生成，从而提高生成效果。

本方法也可以进一步通过引入更多的真实人脸图像和属性分类器进行迭代训练，提高属性分类器的准确性。

本实施例中，通过本方法实现的人脸风格化，可以有效地保留原有的人脸特征，同时进行风格化处理，生成的风格化图像具有更好的可视化效果，并且算法的覆盖属性类别更全面，具有更好的实用价值。相比传统手动标注和计算的方法，本方法具有更高的准确性和效率。

作为一种优选的实施例，人脸属性分类器为二分类器。

传统的人脸属性分类方法需要手动提取特征并构建分类器，缺乏普适性和效率。本方法利用真实人脸图像和StyleGAN模型，通过训练一个人脸属性分类器(二分类器)，来实现人脸属性的快速自动分类。同时，为了增强分类器在StyleGAN空间中的表达能力，引入了人脸属性方向向量，以实现更加准确的分类。

作为一种优选的实施例，将目标向量输入至风格化人脸StyleGAN模型，得到目标风格化人脸图像之后，还包括：

构建多个真实人脸图像和目标风格化人脸图像的数据对；

根据数据对训练出属性增强的风格化人脸StyleGAN模型，以向属性增强的风格化人脸StyleGAN模型输入真实人脸图像时，得到目标风格化人脸图像。

在人脸风格化的过程中，不同的人脸属性方向对应的风格化效果可能存在较大的差异，因此如何有效地训练出属性增强的风格化人脸StyleGAN模型是一个关键的技术问题。

本实施例的设计思路是构建多个真实人脸图像和目标风格化人脸图像的数据对，从而训练出属性增强的风格化人脸StyleGAN模型。在上述实施例的基础上，具体实现中，可以通过对不同的人脸属性方向进行研究，提取属性方向向量，并将属性方向向量叠加到真实人脸图像的初始向量中，得到目标向量。通过将目标向量输入到风格化人脸StyleGAN模型中，可以得到对应属性风格化的人脸图像。然后将真实人脸图像和目标风格化人脸图像构建成数据对，来训练出属性增强的风格化人脸StyleGAN模型。

在具体实现中，可以通过获取人脸属性方向向量来构建数据对。首先选择一个人脸属性(例如年龄、性别、脸型等)，通过控制人脸属性方向向量的大小与方向，可以得到一系列不同风格的人脸图像。然后，将这些人脸图像与对应属性改变的真实人脸图像构成数据对，用于训练属性增强的风格化人脸StyleGAN模型。

本实施例中，通过在属性方向上进行训练，可以让模型学习到更丰富的通用性特征，此外，通过属性增强能够让风格化效果更加多样化，并且可以很好地应用于实际场景中，例如虚拟人脸的生成、美颜、变妆等应用。

作为一种优选的实施例，构建多个真实人脸图像和目标风格化人脸图像的数据对之后，还包括：

根据数据对训练出属性增强的移动端模型，以将移动端模型部署在终端设备上，以向属性增强的移动端模型输入真实人脸图像时，得到目标风格化人脸图像；

属性增强的移动端模型的结构小于属性增强的风格化人脸StyleGAN模型的结构。

本实施例主要要解决的技术问题为：如何提高移动端模型的速度和存储效率。

本实施例的设计思路为：移动端模型结构小于风格化人脸StyleGAN模型结构，因此将属性增强的风格化人脸StyleGAN模型移植到移动端设备上，并进行适当的简化和优化，以降低模型的存储和计算资源需求。

得到移动端模型的一种实现方式可以为：直接根据真实人脸图像和目标风格化人脸图像的数据对，训练出一个轻量化级别的移动端模型，将其移植到移动端设备上。得到移动端模型的另一种实现方式可以为：根据真实人脸图像和目标风格化人脸图像的数据对，训练出属性增强的风格化人脸StyleGAN模型，然后对风格化人脸StyleGAN模型的结构进行简化，以得到属性增强的移动端模型，将其移植到移动端设备上。虽然移动端模型的结构小于风格化人脸StyleGAN模型，但仍然可以实现有效的风格化效果，以便于在终端设备上进行快速的模型推理，快速的目标风格化人脸图像，无需依赖于云端或高性能主机。

其中，针对不同的终端设备和应用场景，可以采用适当的模型结构和技术手段进行简化。移动端模型生成时，可以将多个属性方向向量组合起来，或者引入更多的属性信息，以进一步增强模型的属性增强能力。

综上，本实施例中，移动端模型可以直接在移动设备上进行推理，无需将数据上传到云端进行处理，提高了数据隐私和安全性。移动端模型的存储和计算资源需求较低，可以运行在更多的终端设备上，包括一些计算能力较弱的设备。移动端模型的推理速度快，可以实时对人脸图像进行风格化处理，满足实时性要求。

为解决上述技术问题，本申请还提供了一种人脸风格化系统，请参照图5，图5为本申请提供的一种人脸风格化系统的结构框图，该系统包括：

风格化模型生成单元51，用于根据预设风格化图像对真实人脸StyleGAN模型进行训练，得到风格化人脸StyleGAN模型；

目标向量确定单元52，用于获取至少一个人脸属性方向向量，将与真实人脸图像对应的初始向量与人脸属性方向向量叠加，得到目标向量；

目标风格化人脸图像生成单元53，将目标向量输入至风格化人脸StyleGAN模型，得到目标风格化人脸图像。

对于人脸风格化系统的介绍请参照上述实施例，本申请在此不再赘述。

为解决上述技术问题，本申请还提供了一种人脸风格化装置，请参照图6，图6为本申请提供的一种人脸风格化装置的结构框图，该装置包括：

存储器61，用于存储计算机程序；

处理器62，用于在存储计算机程序时，实现如上述的人脸风格化方法的步骤。

对于人脸风格化装置的介绍请参照上述实施例，本申请在此不再赘述。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的人脸风格化方法的步骤。对于计算机可读存储介质的介绍请参照上述实施例，本申请在此不再赘述。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。