一种基于身份保持的跨风格人脸原型重建技术

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于身份保持的跨风格人脸原型重建技术。

背景技术

在刑事侦察中，目标嫌疑人照片可能拍摄自红外摄像头而呈现近红外风格，或者是基于目击证人的口头描述由专业画师手绘提供的素描图。由于这些近红外或者素描人脸图片与注册数据库中的可见光人脸证件照存在显著风格差异，因此大大增加了目标人脸的识别难度。此外，嫌疑人在被拍摄或者被目击过程中可能带有面部表情、存在大角度的头部姿态、或部分面部被遮挡，这些复杂的面部变化也将对目标人脸识别带来严重干扰。

近年来，深度卷积神经网络在很多图像处理任务上均取得了蓬勃的进展，其中生成对抗网络(GAN)技术鉴于其强大的生成能力被广泛应用于图片生成任务。GAN于2014年被蒙特利尔大学Ian Goodfellow等学者提出，并被图灵奖得主Yann LeCun赞誉为“机器学习这二十年来最酷的想法”。GAN的主要结构包括一个生成器G和一个判别器D，通过让生成器和判别器以相互博弈的方式进行交替学习，促使生成器生成以假乱真的图片。具体来说，生成器从特征空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成器输出的虚拟样本，其目的是区分真实样本和虚拟样本。生成器和判别器相互对抗、不断调整网络参数，最终使判别器无法判断生成器的输出结果是真实样本或是生成样本，从而达到一种“纳什均衡”状态。

循环生成对抗网络(Cycle-GAN)是GAN的改进模型，它在GAN的前向映射基础上加入一个反向映射过程，从而构建了一个循环结构网络。Cycle-GAN认为图片到图片的翻译生成过程应该保持“循环一致性”，也即约束一张图片经过前向和反向两次映射后仍能在图片内容上与原图保持一致。现有的跨风格人脸生成方法大多基于Cycle-GAN结构，它们专注于如何对人脸图片进行风格迁移并同时保留面部细节不变。因此当输入人脸图片带有面部变化时，上述这些方法无法重建跨域跨风格的人脸原型图片(即正脸的、去遮挡的、均匀光照下的标准人脸照片)。

因此，为了方便刑侦专家对上述不同风格(或模态)且带有面部变化的人脸图片进行精确匹配和识别，本发明提供一种基于身份保持的跨风格人脸原型重建技术可以同时对目标人脸风格进行迁移并消除面部变化，还原其可见光风格的原型图片。

发明内容

本发明的主要目的在于克服现有跨风格人脸生成方法无法同时处理风格迁移和面部变化消除的缺点，提出一种基于身份保持的跨风格人脸原型重建技术。

一种基于身份保持的跨风格人脸原型重建技术，包括以下步骤：

S1：建立基于GAN的跨风格人脸原型重建模型，该模型包括一个生成器和两个多任务判别器，其中生成器由两个对称编码-解码结构子网络构成用来生成域A和域B两种风格人脸原型图片，两个多任务判别器分别作用于域A和域B用来预测所在域图片的身份标签和判定图片是否为真实原型；

S2：建立模型的损失函数引导模型的训练过程，最终使得生成器在转换不同域的人脸图片风格的同时能够比较好地保留图片的原有身份特征；

S3：将来自域A和域B的带有身份标签的人脸图片训练集输入到模型中进行模型训练，并构建测试集，查看训练好的模型在测试人脸图片上的人脸原型重建效果。

作为优选的，所述步骤S1的具体过程是：

S11：构建生成器G：G包含两个对称的编码-解码结构子网络，即G

S12：构建判别器D和

作为优选的，所述步骤S2的具体过程是：

S21：构建模型的原型对抗损失函数，设计一个原型对抗损失函数，即L

式中

S22：构建模型的身份保持损失函数，利用训练数据集的身份标签信息设计一个身份保持损失函数，即L

式中

S23：构建模型原型学习循环损失函数，设计一个原型学习循环损失函数，即L

式中

S24：构建模型最终损失函数，通过结合上述三个损失函数，模型的最终损失函数L及其优化如下所示：

式中λ和μ为平衡超参数，分别代表L

作为优选的，所述步骤S3的具体过程是：

S31：给定一组包含来自域A和域B的带有身份标签的人脸图片训练集，其中域A的每张训练图片x服从P

S32：构建测试集，查看训练好的模型对来自域A的测试人脸图片x

作为优选的，所述步骤S31中，如果x包含任意面部变化，那么

本发明的有益效果为：

(1)本发明克服了现有跨风格人脸生成方法无法同时处理风格迁移和面部变化消除的缺点，可以实现跨光谱(如从近红外到可见光)和跨艺术风格(如从素描到照片)的人脸原型重建。

(2)不同于以往人脸原型重建研究过度关注人脸面部变化的类别以及如何对其进行精确数学建模，本发明针对通用面部变化移除的端到端生成网络，通过结合输入人脸样本的身份信息和目标域的风格信息直接生成身份保持的目标域标准人脸原型图片，避免了面部变化建模困难的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为模型生成器G示意图；

图2为模型判别器D示意图；

图3为模型判别器

图4为原型学习循环网络示意图；

图5为判别器D与

图6为生成器G中编码器Enc

图7为生成器G中解码器Dec

图8为近红外域与可见光域之间相互原型重建效果展示；

图9为可见光域与近红外域之间相互原型重建效果展示；

图10为素描域与照片域之间相互原型重建效果展示；

图11为照片域与素描域之间相互原型重建效果展示。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

一种基于身份保持的跨风格人脸原型重建技术，包括以下步骤：

S1：建立基于GAN的跨风格人脸原型重建模型，该模型包括一个生成器和两个多任务判别器，其中生成器由两个对称编码-解码结构子网络构成用来生成域A和域B两种风格人脸原型图片，两个多任务判别器分别作用于域A和域B用来预测所在域图片的身份标签和判定图片是否为真实原型；

S11：构建生成器G：G包含两个对称的编码-解码结构子网络，即G

S12：构建判别器D和

S2：建立模型的损失函数引导模型的训练过程，最终使得生成器在转换不同域的人脸图片风格的同时能够比较好地保留图片的原有身份特征；

S21：构建模型的原型对抗损失函数，为了使得生成器G生成逼真的原型图片，设计一个原型对抗损失函数，即L

式中

S22：构建模型的身份保持损失函数，为了在跨风格原型重建过程中尽可能保留原有人脸图片的身份信息，利用训练数据集的身份标签信息设计一个身份保持损失函数，即L

式中

S23：构建模型原型学习循环损失函数，为了防止G中的编码-解码子网络G

式中

S24：构建模型最终损失函数，通过结合上述三个损失函数，模型的最终损失函数L及其优化如下所示：

式中λ和μ为平衡超参数，分别代表L

S3：将来自域A和域B的带有身份标签的人脸图片训练集输入到模型中进行模型训练，并构建测试集，查看训练好的模型在测试人脸图片上的人脸原型重建效果。

S31：给定一组包含来自域A和域B的带有身份标签的人脸图片训练集，其中域A的每张训练图片x服从P

S32：构建测试集，查看训练好的模型对来自域A的测试人脸图片x

具体实施例如下：

S1：实验数据集配置。本发明是针对不同风格人脸图片进行跨风格的人脸原型重建，我们使用的数据集是包含近红外与可见光图片的CASIA NIR-VIS v2.0数据集与包含素描图与真实照片的CUFSF数据集。CASIA NIR-VIS v2.0是目前最大的跨近红外和可见光域的公开数据集，它采集了725位志愿者的17580张图片，每一个志愿者各有5-50张近红外人脸图片与1-22张可见光人脸图片，该数据集中的图片包含不同的面部变化，包括姿势、表情、光照、以及遮挡(如戴眼镜)等。在实验中，我们选取了360个志愿者包含大约6100张近红外图片和2500张可见光图片作为训练集，并选取另外358个志愿者的近红外和可见光图片作为测试集。CUFSF数据集是一个常用的跨素描和照片域的公开数据集，它包含了FERET数据集中的1194个志愿者的1194张照片以及相应的1194张由艺术家依据照片绘制的素描图。随机选取200个志愿者的200张素描图和200张照片进行评估，然后从FERET的5个子集(bd、bf、bg、bj和bk)中借用带有表情和姿态的人脸图片来扩充照片集合，从而使每个志愿者拥有1张素描图和6张真实照片。在实验中，随机选择100个志愿者包含600张照片和100张素描图用作训练集，并选取其余100个志愿者包含的图片为测试集。在模型训练和测试过程中，上述两个数据集的所有图片均先被转换为128×128像素的灰度图。

S2：模型实现细节和参数设置。模型生成器G如图1所示。

模型判别器D如图2所示，模型判别器

对于G的编码器Enc

损失函数L的平衡超参数λ和μ分别设为2和0.1。基于损失函数L，我们使用小批量梯度下降(Mini-Batch Gradient Descent)算法对模型进行优化，其中批大小设置为5。所有G、D、和

S3：模型测试效果。模型训练好后，我们将模型中的生成器G对来自域A的随机测试人脸图片x

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。