一种基于骨架特征学习的人脸欺诈检测方法及系统

技术领域

本发明涉及计算机视觉与深度学习、网络安全的技术领域，更具体地，涉及一种基于骨架特征学习的人脸欺诈检测方法及系统。

背景技术

随着人工智能、机器学习和深度学习的快速发展，多媒体篡改也拥有了新技术和各种工具。虽然多媒体篡改主要用于娱乐和教育等合法领域，但也有恶意用户处于非法目的来使用这项技术。例如，人脸欺诈视频会传播错误信息，煽动仇恨，甚至骚扰和勒索大众百姓。这些经过篡改、高质量的视频被称为“深度伪造视频”。若这些视频中篡改的是人脸，则被称为“人脸欺诈”。

人脸欺诈检测方法从特征提取手段的角度，可分为基于传统手工特征的方法和基于深度学习的方法。在计算机视觉中，深度学习模型由于其特征提取和选择机制，可以直接从数据中提取或学习特征，从而得到了广泛的应用。在深度学习人脸欺诈研究中，目前常见以下基于深度学习的模型：卷积神经网络(CNN)模型(如：Xception、VGG、ResNet)、循环神经网络(RNN)模型(如：LSTM、FaceNet)、双向循环神经网络模型等。

如现有技术中公开了一种基于Xception网络的假脸检测方法及装置，该方案基于深度神经网络，优化改进了Xception网络结构，构建了人脸检测模型，实现了视频中较为准确的人脸欺诈检测，但这种技术通常仅在视频质量较高的情况下实现，并未对视频质量较差的情况进行考虑，然而，视频质量较差给卷积神经网络提取人脸特征带来了一定的困难，导致检测准确率降低，因此，视频质量影响是能否正确检测人脸欺诈的关键因素之一。

非对称卷积结构(AsymmetricConvolution Structure)是一种创新性的可以直接替换标准方框卷积(如3*3对称卷积)的结构。具体而言，对于d×d卷积，非对称卷积结构构建了一个三个并行的卷积：d×d、1×d、d×1，三个分支的输出通过相加的方式丰富特征空间。这种结构易于在主流CNN框架上实现、提升标准卷积核的表达能力、提升通用模型性能。

注意力机制的本质是定位到感兴趣的信息，抑制无用信息。它可以帮助我们更多地关注局部信息，局部通常是指有意义的和相互关联的区域。然而，注意力机制有极大的概率错误地去掉有价值的信息或保留毫无价值的信息。设置全局权重阈值(Global weightthreshold)作为获得注意力权重矩阵后的附加处理，不考虑其内容信息的意义，可以增加有价值信息的影响，并降低保留无价值信息的概率。

因此，研究如何基于非对称卷积结构和设置全局权重阈值进行人脸欺诈检测是有效并有意义的。

发明内容

为解决现有人脸欺诈检测方法在面向低质量视频的人脸欺诈检测时，检测效果差的问题，本发明提出了一种基于骨架特征学习的人脸欺诈检测方法及系统，提高人脸欺诈检测准确率。

为了达到上述技术效果，本发明的技术方案如下：

一种基于骨架特征学习的人脸欺诈检测方法，所述方法包括：

S1.从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；

S2.对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；

S3.以多尺度的方式使用编码器和解码器以构建人脸重构模型；

S4.基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；

S5.将训练集输入至S4中得到的人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；

S6.从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。

优选地，步骤S1所述的篡改方式包括：Deepfakes、FaceSwap、Face2Face和Neural-Textures。

优选地，对原始视频和人脸欺诈视频进行处理的过程包括：

S21.对原始视频和人脸欺诈视频进行分帧，采用MTCNN算法对分帧后的视频进行人脸检测，然后将人脸剪裁为统一大小，并按不同视频归类至不同的文件夹中；

S22.分别从原始视频和人脸欺诈视频中按一定间隔抽取出剪裁的人脸样本，从原始视频抽取的人脸样本数量与从人脸欺诈视频中抽取的人脸样本数量相同。

优选地，步骤S3所述构建的人脸重构模型以Xception卷积神经网络为基础，其中，Xception卷积神经网络的前7个模块用作编码器，后7个模块用作解码器，并在解码器后引入多尺度图推理模块，以有效利用解码器中捕获的人脸欺诈线索进行最终分类。

在此，构建的人脸重构模型在对人脸的特征进行解码时，解码器中嵌入了分离原始视频人脸图像和伪造视频人脸图像的有用信息。

优选地，在人脸样本图像输入人脸重构模型之前，对人脸样本图像随机进行白噪声添加操作，以学习原始视频中人脸的鲁棒特征表示。

优选地，在步骤S4中，可分离的非对称卷积结构为并行的三个卷积结构，分别为：3×3卷积结构、1×3卷积结构、3×1卷积结构，在对人脸重构模型进行改进时，将Xception中的第8个模块中所有的3×3卷积层替换为非对称卷积结构，以提取骨架特征，且引用重构引导注意模块以关注可能的伪造区域，并在重构引导注意模块中采用全局权重阈值处理重构引导注意模块中的注意权重矩阵。

在此，非对称卷积结构易于迁移，能提升标准卷积核的表达能力、提升通用模型性能，全局权重阈值增加有价值信息的影响，并降低保留无价值信息的概率，整体提升了高压缩率低质量视频的人脸欺诈检测准确率；然后，考虑人脸重构模型的约束，重构的伪造视频人脸在视觉外观上与输入的人脸欺诈视频中的人脸有较大的不同，引用重构引导注意模块以关注可能的伪造区域，便于之后的检测分类；在重构引导注意模块中采用全局阈值处理注意权重矩阵可以增加有价值信息，减少无价值信息的影响。

优选地，步骤S5所述训练人脸重构模型的方法为梯度下降法，在训练人脸重构模型的过程中，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型。

优选地，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型的过程为：

S51.将二值分类的交叉熵损失记为L

S52.计算训练集中输入的人脸样本图像与输入步骤S3所述的人脸重构模型之后得到的重建图像之间的重建损失L

其中，X

S53.使用度量学习损失使重建图像接近输入的人脸样本图像，编码器或解码器的输出特征表示为

其中，R,F分别表示训练集对应原始视频中的人脸样本图像和伪造视频中的人脸样本图像，N

S54.引入中心损失L

其中，

S55.构建总损失函数L来训练整个人脸重构模型，总损失函数L的表达式为：

L＝L

其中，θ,λ

优选地，利用训练好的人脸重构模型判断测试集中的待检测人脸是否经过欺诈时，人脸重构模型输出待检测人脸是原始视频人脸样本图像和人脸欺诈视频人脸样本图像的概率，根据输出的概率与设置的概率阈值大小比较，确定待检测人脸是否经过欺诈。

本申请还提出一种基于骨架特征学习的人脸欺诈检测系统，所述系统包括：

视频数据选取单元，用于从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；

视频处理单元，用于对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；

人脸重构模型构建单元，以多尺度的方式使用编码器和解码器以构建人脸重构模型，

人脸重构模型改进单元，基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；

训练单元，将训练集输入至人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；

测试单元，从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出一种基于骨架特征学习的人脸欺诈检测方法及系统，首先从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；然后对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；以多尺度的方式使用编码器和解码器以构建人脸重构模型，基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型，利用训练集和验证集训练整个人脸重构模型，包括人脸重构和分类学习，再将待测试的视频剪裁出的人脸输入进训练好的网络模型进行分类，判断待测试视频是否经过人脸欺诈。本申请构建的人脸重构模型中应用的非对称卷积结构易于迁移，能提升标准卷积核的表达能力、提升通用模型性能，全局权重阈值增加有价值信息的影响，并降低保留无价值信息的概率，整体提升了高压缩率低质量视频的人脸欺诈检测准确率。

附图说明

图1表示本发明实施例1中提出的基于骨架特征学习的人脸欺诈检测方法的流程示意图；

图2表示本发明实施例1中提出的对原始视频和人脸欺诈视频进行处理的过程流程图；

图3表示本发明实施例2中提出的基于骨架特征学习的人脸欺诈检测系统的结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；

对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；

实施例1

本实施例提出了一种基于骨架特征学习的人脸欺诈检测方法，该方法的流程示意图如图1所示，参见图1，该方法包括以下步骤：

S1.从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；在本实施例中，篡改方式包括：Deepfakes、FaceSwap、Face2Face和Neural-Textures。

S2.对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；

S3.以多尺度的方式使用编码器和解码器以构建人脸重构模型；

S4.基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；

S5.将训练集输入至S4中得到的人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；

S6.从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。

在本实施例中，如图2所示，对原始视频和人脸欺诈视频进行处理的过程包括：

S21.对原始视频和人脸欺诈视频进行分帧，采用MTCNN算法对分帧后的视频进行人脸检测，然后将人脸剪裁为统一大小，并按不同视频归类至不同的文件夹中；在本实施例中将人脸剪裁为299×299大小。

S22.分别从原始视频和人脸欺诈视频中按一定间隔抽取出剪裁的人脸样本，从原始视频抽取的人脸样本数量与从人脸欺诈视频中抽取的人脸样本数量相同。在本实施例中，从原始视频抽取的人脸样本数量与从人脸欺诈视频中抽取的人脸样本数量相同均为80张，之后按6:2:2的比例构建出训练集、验证集和测试集。

以多尺度的方式使用编码器和解码器以构建人脸重构模型以Xception卷积神经网络为基础，其中，Xception卷积神经网络的前7个模块用作编码器，后7个模块用作解码器，解码器中嵌入了分离原始视频人脸图像和伪造视频人脸图像的有用信息，并在解码器后引入多尺度图推理模块，以有效利用解码器中捕获的人脸欺诈线索进行最终分类。

在人脸样本图像输入人脸重构模型之前，对人脸样本图像随机进行白噪声添加操作，以学习原始视频中人脸的鲁棒特征表示，在本实施例中，概率为50％。

在本实施例中，可分离的非对称卷积结构为并行的三个卷积结构，分别为：3×3卷积结构、1×3卷积结构、3×1卷积结构，在对人脸重构模型进行改进时，将Xception中的第8个模块中所有的3×3卷积层替换为非对称卷积结构，以提取骨架特征，且引用重构引导注意模块以关注可能的伪造区域，并在重构引导注意模块中采用全局权重阈值处理重构引导注意模块中的注意权重矩阵。

非对称卷积结构易于迁移，能提升标准卷积核的表达能力、提升通用模型性能，全局权重阈值增加有价值信息的影响，并降低保留无价值信息的概率，整体提升了高压缩率低质量视频的人脸欺诈检测准确率；然后，考虑人脸重构模型的约束，重构的伪造视频人脸在视觉外观上与输入的人脸欺诈视频中的人脸有较大的不同，引用重构引导注意模块以关注可能的伪造区域，便于之后的检测分类；在重构引导注意模块中采用全局阈值处理注意权重矩阵可以增加有价值信息，减少无价值信息的影响，在本实施例中，权重阈值选取为0.6。

在本实施例中，训练人脸重构模型的方法为梯度下降法，在训练人脸重构模型的过程中，引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型。

引入最小化分类损失、重建损失、度量学习损失和中心损失来训练整个人脸重构模型的过程为：

S51.将二值分类的交叉熵损失记为L

S52.计算训练集中输入的人脸样本图像与输入步骤S3所述的人脸重构模型之后得到的重建图像之间的重建损失L

其中，X

S53.使用度量学习损失使重建图像接近输入的人脸样本图像，编码器或解码器的输出特征表示为

其中，R,F分别表示训练集对应原始视频中的人脸样本图像和伪造视频中的人脸样本图像，N

S54.引入中心损失L

其中，

S55.构建总损失函数L来训练整个人脸重构模型，总损失函数L的表达式为：

L＝L

其中，θ,λ

利用训练好的人脸重构模型判断测试集中的待检测人脸是否经过欺诈时，人脸重构模型输出待检测人脸是原始视频人脸样本图像和人脸欺诈视频人脸样本图像的概率，根据输出的概率与设置的概率阈值大小比较，确定待检测人脸是否经过欺诈。

实施例2

本实施例共进行了两组实验，包括：本发明提出的方案库内实验的AUC指标和本方案的跨方法实验的检测准确率。AUC指标是一种模型评估指标，取值范围[0,1]，它更直观地反映了模型地分类能力，值越大，模型分类能力越强。

第一组：在高压缩率低质量视频下的四种篡改方法的库内实验，实验结果如表1所示：

表1：本发明所提出的方案库内实验AUC值

第二组：在高压缩率低质量视频下的跨方法实验的检测准确率，实验结果如表2所示：

表2：跨方法实验的检测准确率

上述两组实验表明，本申请提出的方案在高压缩率低质量下有极大优势，表1中的库内实验，AUC值能够达到1，同时表2中当训练集和测试集一致时，准确率依然很高。当面临跨方法(即训练集和测试集不一致)考验时，本方法依然体现出了极高的优势。

实施例3

如图3所示，本实施例提出了一种基于骨架特征学习的人脸欺诈检测系统，该系统包括：

视频数据选取单元，用于从数据库中选取原始视频和利用不同篡改方式篡改的人脸欺诈视频；

视频处理单元，用于对原始视频和人脸欺诈视频进行处理，得到人脸样本，将人脸样本划分为训练集、验证集和测试集；

人脸重构模型构建单元，以多尺度的方式使用编码器和解码器以构建人脸重构模型，

人脸重构模型改进单元，基于可分离的非对称卷积结构和全局权重阈值对人脸重构模型进行改进，以提取骨架特征以及分类学习，得到改进后的人脸重构模型；

训练单元，将训练集输入至人脸重构模型中，训练人脸重构模型，利用验证集验证人脸重构模型的性能，保存验证集下人脸欺诈检测准确度最佳时对应的人脸重构模型的参数，以作为训练好的人脸重构模型的参数；

测试单元，从测试集中提取出待检测人脸，并输入至训练好的人脸重构模型中，判断测试集中的待检测人脸是否经过欺诈。

显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。