基于双流网络的伪造人脸检测方法、系统及存储介质

技术领域

本发明属于人脸识别的技术领域，具体涉及一种基于双流网络的伪造人脸检测方法系统及存储介质。

背景技术

在人类所使用的众多生物学特征中，人脸是最具代表性和辨识度的特征之一，因此，人脸特征被用于各个领域中。随着人脸相关应用技术的快速发展，人脸伪造所带来的安全威胁在不断加剧。人脸伪造是指通过使用深度学习等技术手段生成一个虚假的人脸或篡改人脸的一种技术。它可以生成一个虚拟的人脸，也可以在视频或图像中将原始的人脸替换成目标人物的人脸，或者改变目标人物的表情和外观属性。因此，人脸伪造技术可以使目标人物在视频或图像中根据伪造者的需求去做特定的动作或说一些特定的话。虽然这项技术可用于在电影制作中创建虚拟角色，并在视频中复活历史数据或死亡亲戚和朋友。但总的来说，它的负面影响远大于它的正面影响。人脸伪造往往包含虚假的人物、动作和语音信息，这些虚假信息可以导致假新闻的传播、互联网诈骗、谣言的制造和传播等，对本申请的日常生活产生负面影响。人脸伪造技术的滥用为个人隐私和社会安全带来了巨大威胁，因此对伪造人脸进行检测具有重要意义。

近年来，研究人员提出了大量的人脸伪造检测方法，人脸伪造检测已成为最活跃的研究领域之一，现有工作主要有传统的方法和基于卷积神经网络的方法。

传统方法：Fridrich和Kodovsky提出了基于隐藏分析技术的伪造检测方法，该方法将噪声分量模型集合成多个不同子模型的联合，形成量化图像噪声残差相邻样本的联合分布。Lyu等人提出了一种通过全局噪声和局部噪声之间的不一致来检测伪造的方法，该基于来自不同源的图像具有传感器或后处理步骤的不同噪声特性。另一种有效的检测方法是利用色彩滤镜矩阵(color filter array，CFA)模式分析，该方法可以区分篡改区域和真实区域。压缩伪影也是伪造检测的一种关键解决方案，该方法可以根据所关注的特征进行检测。Fan等人将伪影网格(block artifact grid,BAG)应用于伪造检测中，该网格利用JPEG块处理形成易于检测的网格模式。随后，一些研究者也提出了基于伪影网格的方法。传统的检测方法中，研究者通过设计一些手工特征或图像特征来检测是否存在伪造人脸。此类方法具有设计较为复杂、检测精度相对较低、鲁棒性较差等缺点。

基于深度学习的方法：由于深度学习在计算机视觉取得丰硕的成果，研究人员开始将深度学习应用于伪造人脸检测领域。Zhou等人提出了一种了综合考虑了篡改伪像和局部噪声残差及相机特性的伪造人脸检测方法。现有的基于深度学习的方法主要关注传统的面部特征，没有更多地关注所生成的伪造人脸各部位的位置和角度的不合理性及不协调性，因此对检测准确率有一定的影响。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于双流网络的伪造人脸检测方法系统及存储介质，该方网络中采用胶囊网络获取人脸各部位的位置和角度特征，采用深度卷积神经网络获取深度人脸特征，然后对两流的进行融合，预测所测人脸的真伪。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于双流网络的伪造人脸检测方法，包括下述步骤：

获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；

构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；

将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；

将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。

作为优选的技术方案，对所述样本图像集进行预处理的具体步骤为：

通过人脸检测算法对输入的样本图像集中的人脸图像进行检测，然后将检测出来的人脸图像裁剪为仅包含人脸区域的图像。

作为优选的技术方案，得到仅含人脸区域的图像后，还包括下述步骤：

采用迁移学习的方法，在VGGFACE2人脸识别数据集上预先训练部分深度卷积神经网络作为初始特征提取器，减少过拟合和训练时间。

作为优选的技术方案，所述深度卷积神经网络采用Inception ResNet V1网络，所述Inception ResNet V1网络由包括Inception-Reset的多个块组成。

作为优选的技术方案，所述胶囊网络由多个主胶囊和两个输出胶囊组成，所述多个主胶囊具有相同的结构，每个主胶囊分为三个部分:二维卷积部分、统计池化层和一维卷积部分，统计池化层作用于中间部分，所述两个输出胶囊分别为真胶囊和假胶囊，所述真胶囊和假胶囊对应于伪造人脸检测的二分类任务。

作为优选的技术方案，采用动态路由算法计算主胶囊和输出胶囊之间的权重，所述输出胶囊实时地将所述主胶囊链接到输出胶囊上，因此，输出胶囊用于表达低级胶囊特征的一致性，假设u

其中W

其中b

为了减少过拟合，还添加了随机噪声，然后使用dropout操作。

作为优选的技术方案，将深度卷积神经网络和胶囊网络进行融合，得到训练好的双流网络，具体为：

对于深度卷积神经网络的网络流，首先采用Sigmoid函数进行归一化输出，然后采用二值交叉熵函数作为该网络流的损失函数，其定义如下：

其中

对于胶囊网络的胶囊网络流，胶囊网络流的损失函数定义如下：

其中T

L＝L

作为优选的技术方案，所述胶囊网络流的损失函数使得一个输出胶囊的输出大于等于0.9，其他输出小余等于0.1。

本发明另一方面提供了一种基于双流网络的伪造人脸检测系统，应用于所述的基于双流网络的伪造人脸检测方法，包括预处理模块、双流网络构建模块、融合模块和检测模块；

所述预处理模块，用于获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；

所述双流网络构建模块，用于构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；

所述融合模块，用于将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；

所述检测模块，用于将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。

本发明又一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于双流网络的伪造人脸检测方法。

本发明与现有技术相比，具有如下优点和有益效果：

本发明采用了深度卷积神经网络与胶囊网络相结合的双流网络进行特征提取，不仅考虑了传统的深度特征，而且还考虑了面部各部分层次结构关系特征，然后采用改进的损失函数对两流的进行训练，最后利用训练后的模型对输入的人脸图像进行预测。另外，本发明在传统的卷积神经网络方法的基础上，添加了胶囊网络流，考虑了面部各部分的位置关系，能够捕获伪造人脸图像中错误的位置关系伪影。

附图说明

图1是本发明实施例基于双流网络的伪造人脸检测方法示意图；

图2是本发明实施例Inception ResNet的结构示意图；

图3是本发明实施例胶囊网络流的结构示意图；

图4是本发明实施例所述一种基于双流网络的伪造人脸检测系统的结构示意图；

图5是本发明实施例所述存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

本申请是一种综合考虑传统特征和面部各部分层次结构关系的双流网络决方案，称为IR-Capsule，网络中采用胶囊网络获取人脸各部位的位置和角度特征，采用InceptionResnet获取深度人脸特征，然后对两流的进行融合，预测所测人脸的真伪，其目的是为了在检测系统中更有效地检测伪造人脸。

如图1所示，基于双流网络的伪造人脸检测方法，包括下述步骤：

S1、获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；

具体的，通过人脸检测算法对输入的样本图像集中的人脸图像进行检测，然后将检测出来的人脸图像裁剪为仅包含人脸区域的图像。

S2、构建双流网络IR-Capsule；

IR-Capsule由两个流网络组成，其中一个是初始化Inception ResNet网络来提取传统面部特征，另一个是胶囊网络，以捕获脸各部位的位置和角度关系。IR-Capsule的第一步是通过MTCCN人脸检测方法对输入图像进行人脸检测，然后将输入图像裁剪为仅包含人脸区域的图像传输到下一环节。与直接传入完整图像中的其他方法不同，此过程旨在加快训练速度并提高检测性能。

为了确保裁剪图像足够大以提供足够的信息，本实施例采用了300×300的图像尺寸，然后将裁剪后的图像输入Inception Reset V1的部分网络中，该网络已在VGGFace2人脸识别数据集上进行了预先训练，因此可以提供更有效的面部特征提取，并可以减少训练时间以及过拟合。

进一步的，对双流网络中的Inception ResNet流和胶囊网络流做具体阐述：

S3.1、Inception ResNet流；

对于Inception ResNet流，在初始特征提取器之后完整的Inception ResNet V1网络被用于提取深层常规卷积特征。本申请选择Inception ResNet V1网络，因为它在Inception ResNet系列网络中的性能和速度之间具有更好的平衡。Inception ResNet流的细节如图2所示，可以看出，Inception ResNet V1由包括Inception-Reset的多个块组成，其兼具Inception和Reset的优点。特别的，部分的预训练Inception Reset V1网络采用了最初的几层，因此可以提取足够的浅层特征，且对后续训练和预测没有显著的影响。

S3.2、胶囊网络流；

胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量表示出现在图像中的特定对象的不同属性，胶囊网络使用向量输出而不是标量输出，可以识别对象类别，同时保留其分层姿势关系和角度信息。此外，本申请采用动态路由算法将权值从低级更新到高级，而不是采用池化操作，避免了信息丢失。对于伪造人脸，在脸部的各个部分之间的分层姿势关系和角度可能存在一些异常。因此，与传统的神经网络相比，胶囊网络可以有效地检测伪造的痕迹，胶囊网络流设计在预先训练的网络之后，因此可以提取更深的特征，例如分层姿势特征和角度特征。如图3所示，胶囊网络流主要由十个主胶囊和两个输出胶囊组成，十个主胶囊具有相同的结构，统计池化(statistical pooling)作用于中间部分。对于网络的下一部分，本申请使用真正的胶囊和假胶囊作为输出胶囊，对应于伪造人脸检测的二分类任务。动态路由算法用于更新主胶囊和输出胶囊之间的权重。最后经归一化过程输出胶囊网络流预测结果。

进一步的，动态路由算法用于计算主胶囊和输出胶囊之间的权重，该输出胶囊实时地将这些主胶囊链接到输出胶囊上；因此，输出胶囊可用于表达低级胶囊特征的一致性。假设u

其中W

其中b

为了减少过拟合，本申请还添加了随机噪声，然后使用dropout操作。本申请综合考虑了性能和速度，在动态路由算法中设置了三轮迭代。

S3、将深度卷积神经网络和胶囊网络进行融合；

IR-Capsule网络将Inception ResNet流和胶囊网络流结合来检测伪造人脸，对于Inception ResNet流，Sigmoid函数用于归一化其输出。随后，采用二值交叉熵函数作为该流的损失函数，其定义如下：

其中

对于胶囊网络流，本申请改进了传统的胶囊损失，为了适用于IR-Capsule网络，本申请只采用了边缘损失。该损失函数可以使一个输出胶囊输出0.9或更大的矢量幅度，并且在训练过程期间，其他输出等于或小于0.1，胶囊网络流的损失函数定义如下：

其中T

L＝L

如图4所示，在另一个实施例中，提供了一种基于双流网络的伪造人脸检测系统，该系统

包括预处理模块、双流网络构建模块、融合模块和检测模块；

所述预处理模块，用于获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；

所述双流网络构建模块，用于构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；

所述融合模块，用于将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；

所述检测模块，用于将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。

如图5所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述实施例的一种基于双流网络的伪造人脸检测方法，具体为：

S1、获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；

S2、构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；

S3、将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；

S4、将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。