智能人脸编辑方法、装置、存储介质及设备

技术领域

本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。

背景技术

人脸合成技术是数字图像处理领域重要的课题之一，围绕高质量人脸合成有许多相关技术。基于深度学习的人脸合成技术主要有以下两类：通过高斯采样，使用生成式对抗网络（GAN），合成新的人脸；使用条件生成式对抗网络，输入语义标记图、草图、属性标签等信息，合成相应的人脸。通过草图合成真实人脸虽然已有许多技术，但是其大多无法控制生成的人脸的外观，或者人脸合成的效果较差。

对于人脸编辑，一些现有技术使用带标签的人脸属性标记数据，对GAN的隐空间进行解耦。通过操作隐空间的投影编码，对人脸属性进行编辑。但是，这些技术只能编辑特定属性，无法修改属性标签以外的内容，自由度较低。一些技术使用语义标记图编辑人脸，但由于其输入缺少几何信息，因此无法编辑如皱纹、发型走向等人脸几何信息。一些技术使用草图编辑人脸，但是其基于图像补全技术，有较多局限性。

Portenier等人于2018年发表于ACM Transactions on Graphics的“Faceshop:Deep Sketch-Based Face Image Editing”中提出了基于草图的人脸编辑系统，使用遮盖标记、草图、颜色笔触，对人脸进行编辑。Jo等人于2019年发表于Proceedings of theIEEE/CVF International Conference on Computer Vision的“SC-FEGAN: Face EditingGenerative Adversarial Network With User’s Sketch and Color.”使用了风格损失，生成了更高质量、更鲁棒的结果。但是，现有技术无法编辑人脸的整体外观，当以纯草图作为输入时，也无法生成真实逼真的人脸。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种智能人脸编辑方法、装置、存储介质及设备。

本发明所采用的技术方案是：一种智能人脸编辑方法，其特征在于：

将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；

局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；

通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

所述几何特征图像为人脸草图或人脸真实图像，所述局部解耦模块包括草图编码器

所述从几何特征图像中提取人脸各部位对应的几何特征，包括：

训练由草图编码器

令

通过预训练的草图编码器

训练图像编码器

当

所述局部解耦模块的几何特征提取训练，包括：

首先，训练

然后训练网络

其中，

所述外观编码器

所述外观编码器及图像合成生成器采用交换训练策略；

使用人脸几何特征图像

使用

采用以下损失函数训练局部解耦模块，包括：

a、自重建损失：

其中：

b、循环交换损失：

其中

c、对抗损失：

采用多尺度鉴别器D来限制生成图像的分布，以匹配真实图像的分布：

权重值

一种智能人脸编辑装置，其特征在于，包括：

特征提取单元，用于将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；

图像生成单元，用于局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；

图像融合单元，用于通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述智能人脸编辑方法的步骤。

一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述智能人脸编辑方法的步骤。

本发明的有益效果是：本发明为基于草图的人脸合成与编辑技术，草图所表征的几何信息较为丰富，可以对人脸几何细节进行控制，其相较于现有技术更为灵活。同时，通过解耦技术，可以替换人脸对应的外观，对肤色、发色等信息进行编辑。

本发明将将人脸分成了左眼、右眼、鼻子、嘴巴、背景五个部分，结合局部解耦模块与全局融合模块，可分别编辑局部几何和外观特征，合成结果在局部细节处质量较高。

本发明中局部解耦模块，将图像和草图编码到同一空间，保证信息的解耦。训练过程中，使用交换操作，组合不同图像的几何和外观，生成中间结果，并对该结果分别进行几何和外观约束，从而可从人脸或真实图像提取几何信息，与其他图像的外观组合生成新的局部合成结果。

本发明中局部解耦模块生成中间特征图，全局融合模块将中间特征图按固定位置拼接，再使用下采样网络、残差网络、上采样网络，通过GAN中判别器与相关损失函数优化网络，融合分块拼接的结果。通过局部解耦模块合成的中间特征图，拼接生成高真实感的人脸。

附图说明

图1为实施例的网络框架结构图（示出了结构化的局部到全局的训练策略，同时示出局部解耦模块的交换、循环重建的训练策略）。

图2为实施例中几何编码器的结构及训练策略示意图（将草图几何和真实图像编码到同一个潜在空间，可以从真实图像和草图中提取几何信息）。

图3为实施例中几何和外观交换的人脸生成结果（第一行提供外观信息，第一列提供几何信息）。

图4为实施例中利用草图进行局部编辑的结果（输入的草图进行了序列化的编辑，系统生成了对应的人脸编辑结果，该系统为用户提供了较高的自由度和创意性）。

图5为实施例中局部外观编辑的结果（固定图像的几何特征，通过替换眼睛和嘴巴的外观参考图像，生成了局部外观编辑的结果）。

图6为实施例中对几何和外观进行插值的结果（左上角与右下角的图像为真实图像，其余为插值生成结果）。

具体实施方式

如图1所示，本实施例使用图像解耦技术，采用局部到全局的方法，提出一种智能人脸编辑方法。

本例中将人脸分成了5个部分：左眼、右眼、鼻子、嘴巴、背景，在完成图像分块后，设计局部解耦模块分别对每个部分的图像进行解耦特征提取与生成；在获取到每个部分的生成结果后，通过全局融合模块将分块的结果进行拼接融合，得到具有全局一致性的人脸图像结果。

本实施例的网络结构包括了5个局部解耦模块用于解耦几何和外观信息，1个全局融合模块实现局部特征的融合并生成高质量的、具有全局一致性的结果。在网络训练的过程中，使用交换的策略，并设计循环一致的特征约束，保证网络框架的鲁棒性与泛化性。

本实施例中智能人脸编辑方法的具体步骤如下：

1）局部解耦：将人脸几何特征图像（图像中包含人脸的几何特征）和人脸外观特征图像（图像中包含人脸的外观特征）根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征，几何特征图像为人脸草图或人脸真实图像。

几何特征主要包括两方面的内容：1. 外形信息，例如五官的形状、人物脸型、头发长短等；2. 几何细节，即人脸的几何特征的细节的表达，例如人物脸部的皱纹、头发的走向等。

外观特征主要包括三个内容：1. 颜色信息，例如人脸的发色、肤色、唇色等色彩信息；2. 材质信息，即人脸的头发和皮肤的质感，例如皮肤的光滑程度等；3. 光照信息，即光照条件对人脸的明暗的影响，例如光线的亮暗、阴影的变化等信息。在某些情况下，以上因素对外观的影响是相互的，如光照变化可能会影响肤色的表达，外观特征并未对以上每个因素之间做明确的划分。

针对每一个局部分块，局部解耦模块先提取其几何和外观信息，再融合生成局部特征图。因此，局部解耦模块包括几何编码器与外观编码器，分别获取几何和外观特征。

1a）几何编码器：草图是真实图像的单色轮廓，可以提取几何信息。因此，自编码器网络从输入草图直接提取几何信息。从真实图像中直接提取几何特征较为困难，当真实人脸局部图像作为输入时，提取其几何特征的一种直观方法是使用一个预先训练好的图像到草图转换网络将真实图像转换成草图，然后将生成的草图应用到草图的几何编码器中。

为了简化网络，本实施例提出一种从草图和真实图像中提取几何信息的统一方法，通过训练两个自编码器来实现这一点，草图编码器

首先训练由草图编码器

令

然后，需要训练编码器

为了保证

1b）外观编码器：外观是人脸图像的另一个重要属性。人脸几何草图和真实人脸图像之间的映射是一对多的，通过指定外观，可解决这种模糊性。

本实施例使用外观编码器

由于外观特征是针对局部区域提取的，因此删除空间信息不会造成有用信息的显著损失。通过对人脸外观和几何特征的插值实验，如图6，证明

2）图像生成：局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图。

局部解耦模块还包括图像合成生成器

图像合成生成器：输入独立的几何和外观特征，生成重建或几何、外观交换的结果。为了控制生成人脸图像的外观，本实施例在人脸图像合成生成网络中采用了自适应实例归一化（AdaIN）。

本实施例中图像合成生成器包括4个残差块和4个上采样层：首先，将外观特征注入到每个残差块中；然后，通过4次上采样操作得到特征图，每个特征图与输入图像具有相同的分辨率，但有64个通道；最后，通过一个卷积层生成与输入几何和外观特征一致的图像。

3）全局融合：通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

为了将局部图像特征图转换成完整且自然的面部图像，一种可行的方法是直接组合局部解耦生成的局部图像块（如图2中生成

本实施例中不是直接组合局部图像块，而是将局部解耦模块生成的中间特征图输入到图像生成网络进行组合，使网络融合了更多的信息流，生成高质量的图像。

本例中全局融合模块包括三个单元：编码器、残差块和解码器。在给定背景部分的特征图的基础上，使用其他分块对应生成的特征图，按“嘴”、“鼻子”、“左眼”和“右眼”的顺序，替换背景特征图中的对应分块，减少分块间重叠的影响。融合后的特征图送入全局融合模块，生成具有输入指定的外观和几何特征的全新人脸。

以下对本实施例中局部解耦模块和全局融合模块的训练过程进行介绍，本例中分步地训练整个网络框架，先训练局部解耦模块，然后固定局部解耦模块的参数，训练全局融合模块。

A-1）训练数据集：本实施例需要大规模的草图与图像相匹配的数据集训练网络。同时，草图图像对中的草图要求有较高质量，与手绘草图相似。传统的边缘提取技术，如HED和Canny，通常无法产生理想的边缘映射。因此，本实施例使用Photoshop中的影印滤镜获得边缘图像，然后简化边缘图像获得草图，构建训练数据集，使用CelebA HQ作为训练数据，图像和草图的分辨率都设置为512×512。

A-2）解耦训练，局部解耦模块的训练过程包括三个步骤：

首先，训练

然后，训练网络

其中，

固定

将草图的几何特征

本实施例中外观编码器及图像合成生成器采用交换训练策略，并利用循环一致性损失项解耦真实人脸图像的外观和几何结构；还采用多尺度鉴别器和对抗性损失确保生成图像的真实感。

本例中交换训练策略举例说明如下：给定训练集中的两张图像

通过将

使用

本实施例还包括自重建损失：当

本实施例中采用以下损失函数训练局部解耦模块：

自重建损失：

当几何特征和外观特征来自同一张图像时，即

自重构损失函数包含三项：1）感知损失

其中

循环交换损失：

为彻底地解耦几何特征和外观特征，本实施例采用交换的方法从不同图像的几何特征和外观特征生成人脸图像，即

为彻底解耦人脸图像的几何特征和外观特征，将

网络使用了循环一致性损失项保证交换图像

循环交换损失为：

对抗损失：

本实施例中采用多尺度鉴别器D来限制生成图像的分布，以匹配真实图像的分布：

权重值

本实施例中局部解耦模块的优化目标

A-3）全局融合训练：局部解耦模块训练完成后，需训练全局融合模块，融合局部解耦模块生成的特征图，生成最终结果。与前一阶段类似，使用了对抗损失、特征匹配损失和感知损失作为全局融合模块的损失函数，该阶段不使用交换策略，因为其不涉及任何解耦操作。

本实施例还提供一种智能人脸编辑装置，包括特征提取单元、图像生成单元和图像融合单元，其中特征提取单元用于将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；图像生成单元用于局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及中间特征图；图像融合单元用于通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本实施例中智能人脸编辑方法的步骤。

本实施例还提供一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本实施例中智能人脸编辑方法的步骤。