一种基于身份识别概率分布的伪造换脸图像检测方法和装置

技术领域

本发明属于深度伪造检测技术领域，具体涉及一种基于身份识别概率分布的伪造换脸图像检测方法和装置。

背景技术

近年来，随着生成对抗网络(GAN)等深度生成技术的发展，换脸图像的生成效果变得更加真实、生成过程变得更加简便，因此对舆论安全的威胁变得更加严重，亟需研究可靠的伪造换脸图像检测方法。

现有的伪造换脸图像检测方法大多将伪造换脸图像检测建模为一个真伪二分类问题，收集大量伪造换脸图像和真实人脸图像训练分类深度神经网络，用于检测待测图像的真伪，例如专利文献CN115100128A公开的一种联合多尺度特征的深度伪造图像检测方法，再例如专利文献CN115240243A公开的一种人脸伪造检测方法。这类方法容易在训练集中的换脸伪造图像上过度拟合，对训练集中不包含的换脸方法生成的图像检测准确率降低，因此难以应对迅速更新迭代的换脸生成技术。

另一类方法通过研究和提取换脸伪造过程造成的通用伪造痕迹来提升检测方法在不同换脸技术上的泛化性，例如检测脸部混合边界痕迹等，但这类痕迹容易被图像压缩、模糊等操作破坏，因此这类方法难以用于经过网络传播而质量降低的换脸图像检测。

此外，现有的伪造换脸图像检测研究很少针对换脸生成者已知检测方法并试图绕过的灰盒攻击场景对检测方法进行防御，因此存在被换脸生成者绕过的风险。

发明内容

鉴于上述，本发明的目的是提供一种基于身份识别概率分布的伪造换脸图像检测方法和装置，在防御攻击的同时，提升伪造换脸图像的检测准确性。

为实现上述发明目的，实施例提供的一种基于身份识别概率分布的伪造换脸图像检测方法，包括以下步骤：

步骤1，构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；

步骤2，采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；

步骤3，将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像；

步骤4，采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；

步骤5，重复步骤3和步骤4，直到训练结束，提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。

优选地，所述平滑操作是指将身份标签的独热码标签和均匀分布结合，平滑的身份标签向量表示为：

其中，y

优选地，所述标签平滑的超参数α取值为0.5。

优选地，所述身份识别模型用于基于输入图像预测输出身份识别概率分布，当采用真实图像对当前身份识别模型进行多轮基于身份标签的监督学习时，以预测输出的身份识别概率分布与身份标签的独热码编码的交叉熵作为损失函数l

其中，z

优选地，所述基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像，包括：

计算真实图像在拷贝模型中的身份识别概率分布，并从身份识别概率分布中提取身份标签对应的概率值进行反向传播以计算梯度后，选取梯度值最大的N个目标像素点，并提取以每个目标像素点为中心的矩形区域，将N个矩形区域的像素值置为零以实现遮挡，得到遮挡图像。

优选地，当采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习时，以预测输出的身份识别概率分布与平滑的身份标签向量的交叉熵作为损失函数l

其中，z

优选地，所述身份识别模型包括用于图像特征提取的特征提取单元和用于预测身份识别概率分布的识别单元；

其中，特征提取单元采用ArcFace模型，识别单元采用全连接网络。

为实现上述发明目的，实施例提供一种基于身份识别概率分布的伪造换脸图像检测装置，包括标签处理模块、预优化模块、遮挡图像构建模块、再优化模块、检测模块；

所述标签处理模块用于构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；

所述预优化模块用于采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；

所述遮挡图像构建模块用于将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的分类结果中贡献最大的像素区域进行遮挡以构建遮挡图像；

所述再优化模块用于采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；

所述检测模块用于提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。

为实现上述发明目的，实施例还提供了一种基于身份识别概率分布的伪造换脸图像检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于身份识别概率分布的伪造换脸图像检测方法。

与现有技术相比，本发明具有的有益效果至少包括：

利用了换脸伪造图像的身份特征融合了参与换脸的两个不同身份这一共性本质特征，只需要使用真实图像训练身份识别模型，不需要现有伪造换脸图像训练真伪分类模型，因此对不同换脸方法的泛化性好；同时身份特征不容易被压缩等图像操作破坏，因此本发明对不同质量图像的泛化性好；同时设计训练策略扩大了身份识别模型注意的区域，因此增强了对灰盒攻击的鲁棒性。

本发明特别针对已知需要检测伪造图像的保护人物集合的场景，利用保护人物的真实人脸训练身份识别模型，根据换脸伪造图像与真实图像的身份识别概率分布的差异进行真伪检测；本发明针对伪造图像生成者已知本发明的检测方法、但无法获得具体模型参数的灰盒攻击场景，利用了灰盒攻击依赖相似模型注意区域的性质，通过遮挡图像中对模型分类贡献最大的区域再进行训练的策略，扩大了身份识别模型注意的区域，从而降低灰盒攻击的成功率；同时，在遮挡的图像的损失计算中使用平滑标签防止过拟合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于身份识别概率分布的伪造换脸图像检测方法的流程图；

图2是实施例提供的身份识别模型的训练过程图；

图3是实施例提供的利用身份识别模型进行伪造换脸图像的检测流程图；

图4是实施例提供的基于身份识别概率分布的伪造换脸图像检测装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供了一种基于身份识别概率分布的伪造换脸图像检测方法，核心创新点是利用了伪造换脸图像的身份特征融合了参与换脸的两个不同身份这一共性特征进行检测，从而达到超过现有方法的换脸检测泛化性，并针对灰盒攻击场景防御设计了基于注意力的图像遮挡和标签平滑结合的身份识别模型训练策略，在换脸生成者已知检测方法并试图绕过的灰盒场景下达到了较好的防御效果。

通过身份识别模型输出的概率分布表征伪造换脸图像的身份融合共性特征，从而对伪造换脸图像和真实人脸图像进行区分，即身份识别模型对伪造换脸图像的身份不确定度高于真实人脸图像，因而概率分布的最大概率值低于真实人脸图像。其中，身份识别模型的训练中设计了基于注意力的图像遮挡和标签平滑两种训练策略以检测经过灰盒攻击的伪造换脸图像。

如图1所示，实施例提供的基于身份识别概率分布的伪造换脸图像检测方法，包括以下步骤：

步骤1，构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签。

实施例中，获取需要检测伪造图像的真实图像以及对应的身份标签，具体以伪造换脸图像数据集CelebDF为例，其包含59个不同身份的真实视频和取其中任意两个身份进行换脸得到的伪造视频。对每一个身份，在其所有真实视频取得的帧中随机选取10帧，共获得590张真实人脸图像作为身份识别模型的样本数据。

标签平滑操作是指将独热码标签和均匀分布结合，作用是使身份识别模型尽量均匀地注意整个人脸区域，避免身份识别模型对遮挡后剩余人脸部分过拟合，平滑后的身份标签向量表示为：

其中，y

步骤2，采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数。

实施例中，身份识别模型f是用于图像特征提取的特征提取单元和用于预测身份识别概率分布的识别单元构成，该身份识别模型f在被应用之前需要进行参数优化。

其中，特征提取单元将输入人脸图像编码为身份特征向量，经过在大量真实人脸数据集上预训练，其提取的身份特征向量具有相同身份人脸的特征距离近、不同身份人脸的特征距离远的性质；识别单元是输入维度与特征提取单元的输出特征维度相同，输出维度与确定的需要检测伪造图像的保护人物集合中的人物数量相同。

具体地，特征提取单元以开源模型ArcFace为例，其网络结构为IR_SE50，使用ArcFace损失函数在大规模人脸识别数据集上预训练，预训练参数公开可获得。输入为112×112的对齐人脸图像，输出为512维的身份特征向量；识别单元采用FC层接在ArcFace最后一层的输出端，输入为512维的身份特征向量，输出维度为身份标签类别数量的身份识别概率分布，在本例输出维度为59。

利用真实图像对身份识别模型进行训练之前，对真实图像进行数据处理，包括：使用MTCNN识别人脸区域，并根据人脸特征点的坐标对图像进行仿射变换对齐人脸，以一定的缩放比例裁剪人脸区域并缩放尺寸为ArcFace的输入尺寸(112×112)；加载ArcFace的预训练参数，随机初始化FC层的参数。

对身份识别模型进行多轮(例如10轮)预训练时，固定ArcFace参数，只更新FC层参数，使用真实图像的身份标签的独热码编码与预测输出的身份识别概率分布计算交叉熵损失l

其中，z

步骤3，将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像。

实施例中，如图2所示，在对身份识别模型经过多轮参数优化后，将当前参数优化的身份识别模型拷贝作为拷贝模型f’，该拷贝模型f’用于根据梯度计算遮挡区域。具体地，将真实图像输入至拷贝模型f’，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像，包括：

计算真实图像在拷贝模型的FC层的输出身份识别概率分布，并从身份识别概率分布中提取身份标签y

步骤4，采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数。

实施例中，利用遮挡图像对当前参数优化的身份识别模型进行多轮(例如5轮)基于平滑的身份标签的监督学习时，计算预测输出的身份识别概率分布与平滑的身份标签向量的交叉熵损失l

其中，z

步骤5，重复步骤3和步骤4，直到训练结束，提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。

经过步骤4，利用遮挡图像对身份识别模型进行多轮训练后，用新身份识别模型的参数更新拷贝模型，即提取经过步骤4参数优化的身份识别模型作为拷贝模型，继续步骤3和4，重复多次，直到迭代结束，迭代结束条件可以为身份识别模型的损失函数l

在训练结束后，提取最终参数优化的身份识别模型用于伪造换脸图像检测，基于换脸图像融合了用于换脸的两个不同身份这一性质，身份识别模型对换脸图像身份的不确定度高于真实人脸图像，导致换脸图像的最大概率值低于真实人脸图像，因而根据身份识别概率分布中的最大概率值大小识别伪造换脸图像，如图3所示，包括：

首先，将待测图像输入训练好的身份识别模型，获取FC层输出的logits向量，通过Softmax计算身份识别概率分布，公式表示为：

其中，x表示待测图像，p(x)

然后，从身份识别模型输出的身份识别概率分布中识别最大概率值p

最后，将最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像，否则为真实图像。其中，阈值是通过测试得到的，具体为：收集真实和伪造的测试样本，输入训练完成的身份识别模型，获得身份识别概率分布中的最大概率值，根据最大概率值以及测试样本的真实标签，确定真伪分类的最佳阈值。

为了测试本发明的实施效果，参照上述具体实施示例的步骤在部分换脸伪造数据集上进行了测试，用AUC(Area Under Curve)作为评估指标，AUC越接近1.0，检测效果越好。表1示出了在FaceForensics++、Celeb-DF、DeeperForensics-1.0三种数据集上的测试结果，其中FaceForensics++仅包含其中的三种换脸伪造部分：DeepFakes、FaceSwap、FaceShifter，不包含表情活化伪造部分，且FaceForensics++进行了不同程度的压缩。

表1真伪检测测试结果

从表1的测试结果可见，本发明的检测结果均为95％以上，在FaceForensics++换脸伪造数据集的不同压缩率下达到了98.9％和97.9％，检测性能高。

为了测试本发明的实施效果，在CelebDF换脸伪造数据集上进行了灰盒攻击防御效果测试，用攻击成功率ASR(Attack Success Rate)作为评估指标，ASR越接近0，防御效果越好。

具体地，灰盒攻击是指攻击者已知检测方法，但无法获取检测用身份识别模型的具体参数和/或训练数据集，于是利用其他可获得模型和/或数据修改换脸伪造图像，以期被检测方法识别为真实图像。作为示例，本实例模拟的灰盒攻击实施方法为，换脸伪造图像生成完成后，攻击者获取公开的预训练人脸身份特征提取模型，例如ArcFace，将换脸伪造图像和换脸伪造的目标人物的真实图像分别输入ArcFace，可以得到两个512维的身份特征向量，使用投影梯度下降法在换脸伪造图像上添加对抗噪声，使得添加噪声后的换脸伪造图像经过ArcFace得到的身份特征向量与目标真实图像的身份特征向量之间的余弦距离减小。表2示出了对CelebDF数据集的伪造图像实施上述攻击后的ASR，作为对比，示出了不采取本发明步骤3至步骤4所述训练策略，直接使用步骤2得到的ArcFace固定、仅训练FC层的身份识别模型的ASR。

表2抗灰盒攻击测试结果

从表2的测试结果可见，本发明步骤3至4所述训练策略将ASR从97％下降到了39％，同时保持了较高的AUC，防御效果好。

基于同样的发明构思，实施例还提供的基于身份识别概率分布的伪造换脸图像检测装置，如图4所示，包括标签处理模块、预优化模块、遮挡图像构建模块、再优化模块、检测模块；

其中，标签处理模块用于构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；预优化模块用于采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；遮挡图像构建模块用于将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的分类结果中贡献最大的像素区域进行遮挡以构建遮挡图像；再优化模块用于采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；检测模块用于提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。

需要说明的是，上述实施例提供的伪造换脸图像检测装置在进行伪造换脸图像检测时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的伪造换脸图像检测装置与伪造换脸图像检测方法实施例属于同一构思，其具体实现过程详见伪造换脸图像检测方法实施例，这里不再赘述。

上述实施例提供的伪造换脸图像检测装置，在伪造换脸图像检测中应用了身份特征，利用换脸图像都会融合用于换脸的两个不同身份这一共性特征，通过身份识别模型输出的概率分布区分伪造换脸图像和真实人脸图像，并在身份识别模型的训练策略上进行了抗灰盒攻击设计。本发明获取需要检测伪造图像的人物集合的真实图像以及对应的身份标签，作为训练集；获取预训练的人脸身份特征提取模型，在最后添加全连接层，作为身份识别模型；采用基于注意力的图像遮挡和标签平滑结合的策略训练身份识别模型；将待检测真伪的图像输入身份识别模型，得到身份识别概率分布；根据身份识别概率分布中的最大概率值大小识别伪造换脸图像，由于换脸图像融合了用于换脸的两个不同身份，身份识别模型对换脸图像身份的不确定度高于真实人脸图像，因而换脸图像的最大概率值低于真实人脸图像。本发明训练步骤中只使用真实图像，不依赖现有伪造换脸图像进行训练，因此对不同换脸方法的泛化性好；同时身份特征不容易被压缩等图像操作破坏，因此对不同质量图像的泛化性好；同时设计训练策略扩大了身份识别模型注意的区域，因此增强了对灰盒攻击的鲁棒性。

基于同样的发明构思，实施例还提供了一种基于身份识别概率分布的伪造换脸图像检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序所述处理器执行所述计算机程序时实现上述伪造换脸图像检测方法，包括以下步骤：

步骤1，构建真实图像和对应的身份标签，对身份标签进行平滑操作以构建平滑的身份标签；

步骤2，采用真实图像对身份识别模型进行多轮基于身份标签的监督学习以优化参数；

步骤3，将当前参数优化的身份识别模型拷贝作为拷贝模型，基于真实图像在拷贝模型的预测结果中贡献最大的像素区域进行遮挡以构建遮挡图像；

步骤4，采用遮挡图像对当前参数优化的身份识别模型进行多轮基于平滑的身份标签的监督学习以优化参数；

步骤5，重复步骤3和步骤4，直到训练结束，提取最终参数优化的身份识别模型用于伪造换脸图像检测，包括：将身份识别模型输出的最大预测概率值与阈值进行比较，当最大预测概率值小于阈值则检测为伪造换脸图像。

实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于身份识别概率分布的伪造换脸图像检测方法的步骤。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。