基于人脸三维形状的换脸伪造检测方法、系统及设备

技术领域

本发明属于人脸交换图像、计算机视觉与图像取证领域，具体涉及了一种基于人脸三维形状的换脸伪造检测方法、系统及设备。

背景技术

近年来，随着深度学习，特别是生成对抗网络(GAN)的蓬勃发展，人脸图像的面部篡改技术也展现出了快速的进展。而随着近几年 GAN的发展，一些人眼很难分辨的高质量伪造图像可以被轻而易举的生成出来。其中，人脸交换是当前最为常见的伪造生成方法。一些不法分子可以利用人脸交换的伪造生成技术来达到一些恶意的目的。因此这也是数字图像取证领域的重要研究课题之一。

在数字图像取证领域，已经有一些深度伪造检测的方法被提出。当前的方法主要可分为基于图像像素级伪影的方法和基于特定线索的方法。对于基于图像像素级伪影的方法，将伪造检测当作一个真假二分类问题，针对于换脸问题，就是令网络自己学到换脸的伪造痕迹[1][2]。对于基于特定线索的方法，针对换脸问题，包含眨眼检测，头部姿态，面部表情运动模式等方法[3][4][5]。

然而，当前基于像素级伪影的方法，虽然能够得到很好的检测准确率，但是却很容易受到一些后处理操作的攻击，比如增加噪声以及模糊图像，都会使得检测性能受到影响，特别是对于训练数据中未包含的伪造方法所生成的伪造数据(与训练数据非同源伪造数据)，甚至有可能完全失效，从而模型的鲁棒性和泛化性不高。

以下文献是与本发明相关的技术背景资料：

[1]Andreas Rossler,Davide Cozzolino,Luisa Verdoliva, Christian Riess,Justus Thies,and Matthias Niessner,“Faceforensics++: Learning to detectmanipulated facial images”,in The IEEE International Conference on ComputerVision(ICCV),2019.

[2]Brian Dolhansky,Russ Howes,Ben Pflaum,Nicole Baram, and CristianCanton Ferrer,“The deepfake detection challenge(dfdc) preview dataset”,2019.

[3]Li,Y.,Chang,M.C.,Lyu,S.:In ictu oculi,“Exposing AI created fakevideos by detecting eye blinking”,in IEEE International Workshop onInformation Forensics and Security,2018.

[4]X.Yang,Y.Li,and S.Lyu,“Exposing deep fakes using inconsistent headposes”,in ICASSP 2019-2019IEEE International Conference on Acoustics,Speechand Signal Processing(ICASSP),2019.

[5]Shruti Agarwal,Tarek El-Gaaly,Hany Farid,and Ser-Nam Lim,“Detecting deep-fake videos from appearance and behavior”,2020.

发明内容

为了解决现有技术中的上述问题，即现有技术易受后处理操作与非同源人脸伪造方法的攻击，模型鲁棒性和和泛化性不高，从而人脸伪造检测准确性较低甚至无法检测的问题，本发明提供了一种基于人脸三维形状的换脸伪造检测方法，该方法包括：

步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；

步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；

步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；

步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。

在一些优选的实施例中，所述面部形状模板注册的参考集，其注册方法为：

步骤A10，获取各待保护人物的大于设定数量的真实人脸图像集；

步骤A20，分别通过人脸三维形变统计模型提取所述真实人脸集中每一张图像的面部三维形状特征；

步骤A30，将所述真实人脸集对应的属于同一待注册人物的面部三维形状特征作为该待注册人物的面部形状特征模板，获得各待保护人物的面部形状模板注册的参考集。

在一些优选的实施例中，所述面部三维形状特征，其获取方法为：

F

其中，F

在一些优选的实施例中，所述面部三维形状S，其表示为：

其中，S代表提取的面部三维形状，

在一些优选的实施例中，所述真假判定阈值，其训练和优化方法为：

步骤B10，随机设定初始真假判定阈值，并基于获取的训练图像集中每一个图像的人物面部外观，确定各训练图像的人物身份；所述训练图像集包括真实人脸图像集和换脸伪造人脸图像集；

步骤B20，基于所述各训练图像的人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述训练图像集中每一个图像的面部三维形状特征；

步骤B30，随机选取所述真实人脸图像集和所述换脸伪造人脸图像集中数量相同的一批训练图像，计算其对应的面部三维形状特征模板和面部三维形状特征的马氏距离；

步骤B40，基于所述马氏距离和初始真假判定阈值，判断所述一批训练图像中每一个训练图像的真伪；

步骤B50，基于所述每一个训练图像的真伪，结合训练图像对应的真实类别，计算所述一批训练图像的检测的真阳率TPR和真阴率 TNR；

步骤B60，若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR小于真阴率TNR，则将所述初始真假判定阈值按照设定步长调大；若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率 TPR大于真阴率TNR，则将所述初始真假判定阈值按照设定步长调小；

步骤B70，以调大或调小后的真假判定阈值作为当前真假判定阈值，并跳转步骤B30，直至所述真阳率TPR和真阴率TNR的差值小于或等于设定阈值，获得最终的真假判定阈值。

本发明的另一方面，提出了一种基于人脸三维形状的换脸伪造检测系统，基于上述的基于人脸三维形状的换脸伪造检测方法，该系统包括以下模块：

人物身份确认模块，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；

模板选择模块，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；

面部三维形状提取模块，通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；

距离度量模块，用于计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；

输出模块，若所述马氏距离小于真假判断阈值，则输出所述待检测图像为真实人脸图像；否则，输出所述待检测图像为换脸伪造图像。

本发明的第三方面，提出了一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于人脸三维形状的换脸伪造检测方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于人脸三维形状的换脸伪造检测方法。

本发明的有益效果：

本发明基于人脸三维形状的换脸伪造检测方法，利用3DMM 来提取待保护人物的面部三维形状信息，提取特征，作为待保护人物的模板数据注册至参考集中。在检测过程中，通过待检测样本的面部外观确定其身份，从参考集中查询相应的面部三维形状模板，同时，利用 3DMM提取待检测样本的面部三维形状，将其与模板数据相比对，并利用马氏距离度量二者之间的距离，从而进行真伪判别。一方面，本发明利用了换脸伪造样本面部外观和面部三维形状之间的不一致性这一语义相关的线索，使得所提出的检测方法具有更好的可解释性；另一方面，由于利用3DMM方法提取面部三维形状信息并不过于依赖图像质量，因此对多种后处理操作具有更好的鲁棒性，同时提取面部三维形状信息的过程并不受限于伪造生成方法，因此该方法对非同源伪造生成数据也能维持很好的检测性能

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于人脸三维形状的换脸伪造检测方法的流程示意图；

图2是本发明基于人脸三维形状的换脸伪造检测方法一种实施例的换脸伪造检测示意图；

图3是本发明基于人脸三维形状的换脸伪造检测方法一种实施例的同源和非同源不同后处理方式的伪造数据与真实样本对比图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于人脸三维形状的换脸伪造检测方法，本方法可以有效地提升模型对换脸伪造数据的后处理操作及与训练集非同源的换脸伪造数据的鲁棒性。

本发明的出发点是当前基于图像像素级伪影的检测方法鲁棒性差，对于一些常见的后处理操作，会使得检测性能明显下降，而目前换脸伪造的生成方法种类繁多，对于与训练数据非同源的伪造数据，这些方法几乎不起作用，因此鲁棒的伪造检测方法变得越来越重要。

本发明采用了一种基于人脸三维形状的换脸伪造检测方法，该工作首先利用3DMM来提取待保护人物的面部三维形状信息，提取特征，作为待保护人物的模板数据注册至参考集中。在检测过程中，通过待检测样本的面部外观确定其身份，从参考集中查询相应的面部三维形状模板，同时，利用3DMM提取待检测样本的面部三维形状，将其与模板数据相比对，并利用马氏距离度量二者之间的距离，从而进行真伪判别。该发明利用了换脸伪造样本面部外观和面部三维形状之间的不一致性这一语义相关的线索，使得所提出的检测方法具有更好的可解释性。同时，由于利用3DMM方法提取面部三维形状信息并不过于依赖图像质量，因此对多种后处理操作具有更好的鲁棒性，同时提取面部三维形状信息的过程并不受限于伪造生成方法，因此该方法对非同源伪造生成数据也能维持很好的检测性能。

本发明的一种基于人脸三维形状的换脸伪造检测方法，该方法包括：

步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；

步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；

步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；

步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。

为了更清晰地对本发明基于人脸三维形状的换脸伪造检测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的基于人脸三维形状的换脸伪造检测方法，具体包括了待保护人物面部三维形状注册阶段、真假判定阈值训练和优化阶段、测试及应用阶段，各阶段详细描述如下：

(一)待保护人物面部三维形状注册阶段

面部形状模板注册的参考集，其注册方法为：

步骤A10，获取各待保护人物的大于设定数量的真实人脸图像集。本发明一个实施例中，每个人物获取不少于100张图像。

本发明在注册阶段就为后续的训练、测试及应用提前准备好了数据，选用FaceForesics++数据库中提供的CRF23以及CRF40数据中的真实数据，FaceSwap数据，Deepfakes数据，并对这三种数据基于CRF23 进行多种后处理操作。其中CRF23数据中的真实数据用作注册参考集D

步骤A20，分别通过人脸三维形变统计模型提取所述真实人脸集中每一张图像的面部三维形状特征。

步骤A30，将所述真实人脸集对应的属于同一待注册人物的面部三维形状特征作为该待注册人物的面部形状特征模板，获得各待保护人物的面部形状模板注册的参考集。

利用人脸三维形变统计模型(3DMM)提取所有待保护人物人脸图像的面部三维形状，将同一人物的面部三维形状注册为该人物的面部形状模板，所有人物模板构成参考集D

(二)真假判定阈值训练和优化阶段

真假判定阈值，其训练和优化方法为：

步骤B10，随机设定初始真假判定阈值，并基于获取的训练图像集中每一个图像的人物面部外观，确定各训练图像的人物身份；所述训练图像集包括真实人脸图像集和换脸伪造人脸图像集。

训练图像集为上述待保护人物面部三维形状注册阶段提前准备的数据集D

步骤B20，基于所述各训练图像的人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述训练图像集中每一个图像的面部三维形状特征。

步骤B30，随机选取所述真实人脸图像集和所述换脸伪造人脸图像集中数量相同的一批训练图像，计算其对应的面部三维形状特征模板和面部三维形状特征的马氏距离。

步骤B40，基于所述马氏距离和初始真假判定阈值，判断所述一批训练图像中每一个训练图像的真伪。

步骤B50，基于所述每一个训练图像的真伪，结合训练图像对应的真实类别，计算所述一批训练图像的检测的真阳率TPR和真阴率 TNR。

步骤B60，若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR小于真阴率TNR，则将所述初始真假判定阈值按照设定步长调大；若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率 TPR大于真阴率TNR，则将所述初始真假判定阈值按照设定步长调小。

步骤B70，以调大或调小后的真假判定阈值作为当前真假判定阈值，并跳转步骤B30，直至所述真阳率TPR和真阴率TNR的差值小于或等于设定阈值，获得最终的真假判定阈值。

(三)测试及应用阶段

步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份。

待检测图像为上述待保护人物面部三维形状注册阶段提前准备的测试及应用集D

步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征。

步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离。

步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。

如图2所示，为本发明基于人脸三维形状的换脸伪造检测方法一种实施例的换脸伪造检测示意图，输入图像经过两个处理分支，一个分支是采用人脸三维形变统计模型(3DMM)提取图像的面部三维形状，另一个分支是提取图像中的面部外观，基于该面部外观获取人脸身份，并在模板数据集(包括相应人物模板的三维人脸形状)中进行查询，获取目标的形状特征，并提取形状特征分布，计算这两个分支获取的面部三维形状和形状特征分布的马氏距离，结合真假判定阈值训练和优化阶段获取的固定的真假判定阈值进行图像真伪判断，若马氏距离＜阈值，图像为真实样本，若马氏距离≥阈值，图像为伪造样本。

上述三个阶段中，均涉及通过人脸三维形变统计模型 (3DMM)提取图像的面部三维形状特征的过程，其方法如式(1)所示：

F

其中，F

面部三维形状S，其表示如式(2)所示：

其中，S代表提取的面部三维形状，

如图3所示，为本发明基于人脸三维形状的换脸伪造检测方法一种实施例的同源和非同源不同后处理方式的伪造数据与真实样本对比图，从上至下分别为不同后处理方式：CRF23、CRF40、高斯噪声 (var＝0.001)、高斯噪声(var＝0.01)、高斯平滑(std＝1.4)以及高斯平滑(std＝2.3)；从左至右分别为：真实样本、与训练数据同源的伪造样本(由FaceSwap 生成)以及与训练数据非同源的伪造样本(由Deepfakes生成)。

本发明一个实施例中，在面部人脸形状注册过程中，仅采用 CRF23的真实样本进行注册，训练优化时同样仅采用CRF23的真实数据和FaceSwap生成的数据进行。

为了测试方法的鲁棒性和泛化性，在后处理后的数据以及与训练数据非同源的数据所构成的测试集进行测试，以准确率(Accuracy) ACC、真阳率(True Postive Rate)TPR和真阴率(True Negative Rate) TNR作为测试结果的三个性能指标，测试结果如表1所示：

表1

其中，GN表示添加高斯噪声(Gaussian Noise)，GS表示进行高斯模糊(GaussianSmoothing)，性能指标排列为ACC(TPR/TNR)。

从表1中1-6行的数据可以看到，本发明方法能够抵抗不同种类不同强度的后处理方法，维持较好的性能。同时将表1中1-6行分别与7-12行数据进行比较可以看出，本发明方法对于与训练数据非同源的测试数据有很好的泛化性，检测性能并没有发生很大的波动。

从表1横向对比可以看出，虽然以往的方法在与训练数据同分布的数据上表现良好，但是鲁棒性很差，一旦受到后处理的干扰或者来自于非同源伪造数据的攻击，检测性能会大幅下降，甚至失效，而相比之下本发明方法在对抗这些攻击的情况下，依然可以维持较好的性能，相较于以往的方法，检测性能上有了明显的优势。

表1的横向纵向对比结果，表明了本发明提出的基于人脸三维形状的换脸伪造检测方法可以有效抵抗后处理和非同源伪造方法的攻击，具有良好的鲁棒性和泛化性。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的基于人脸三维形状的换脸伪造检测系统，基于上述的基于人脸三维形状的换脸伪造检测方法，该系统包括以下模块：

人物身份确认模块，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；

模板选择模块，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；

面部三维形状提取模块，通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；

距离度量模块，用于计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；

输出模块，若所述马氏距离小于真假判断阈值，则输出所述待检测图像为真实人脸图像；否则，输出所述待检测图像为换脸伪造图像。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于人脸三维形状的换脸伪造检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于人脸三维形状的换脸伪造检测方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于人脸三维形状的换脸伪造检测方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。