掌桥专利:专业的专利平台
掌桥专利
首页

伪造人脸识别方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 18:46:07


伪造人脸识别方法、装置、电子设备及存储介质

技术领域

本公开涉及人脸识别技术领域,具体地,涉及一种伪造人脸识别方法、装置、电子设备及存储介质。

背景技术

相关技术中,在进行伪造人脸图像的识别时,针对某种特定的图像伪造方法,训练得到对应的识别模型,以便通过该识别模型进行伪造人脸图像的识别,但这种方法的有效性限于它们专门训练针对的图像伪造方法。当应用于不确定的图像伪造方法产生的伪造人脸图像时,这种检测方法的识别准确率显著降低。

发明内容

本公开的目的是提供一种伪造人脸识别方法、装置、电子设备及存储介质,考虑到伪造人脸图像会包含来源不同的图像区域,来源不同的图像区域会存在不同的图像噪声,通过伪造人脸识别模型中的第一网络对目标图像进行识别得到人脸噪声边界识别结果,从而能够根据人脸噪声边界识别结果来判断目标图像是否为伪造图像,对于所有的图像伪造方法得到的伪造人脸图像均有较好的识别效果。

为了实现上述目的,本公开实施例第一方面提供一种伪造人脸识别方法,包括:

获取目标图像,所述目标图像包含人脸区域;

通过伪造人脸识别模型中的第一网络对所述目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,所述人脸噪声边界为所述目标图像中不同图像噪声所形成的边界线;

通过伪造人脸识别模型中的第二网络对所述人脸噪声边界识别结果进行处理,得到伪造人脸识别结果。

可选地,所述第一网络包括人脸区域检测网络和人脸噪声边界检测网络;

所述通过伪造人脸识别模型中的第一网络对所述目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,包括:

通过所述人脸区域检测网络对所述目标图像进行处理,得到目标人脸特征图;

通过人脸噪声边界检测网络对所述目标人脸特征图进行处理,得到所述人脸噪声边界识别结果。

可选地,所述人脸区域检测网络包括第一区域检测网络、第二区域检测网络和第三区域检测网络;

所述通过所述人脸区域检测网络对所述目标图像进行处理,得到目标人脸特征图,包括:

通过第一区域检测网络对所述目标图像进行人脸检测,得到M个预测窗口对应的人脸特征图像;

通过第二区域检测网络对所述M个第一预测窗口对应的人脸特征图像进行过滤,得到N个预测窗口对应的人脸特征图像,其中,N小于M;

通过第三区域检测网络对所述N个预测窗口对应的人脸特征图像进行优化处理,得到所述目标人脸特征图。

可选地,所述通过第三区域检测网络对所述N个预测窗口对应的人脸特征图像进行优化处理,得到所述目标人脸特征图,包括:

对所述N个预测窗口对应的人脸特征图像进行合并处理,得到原始人脸特征图;

对所述原始人脸特征图进行关键点检测,得到人脸关键点;

根据所述人脸关键点,对所述原始人脸特征图进行校正,得到所述目标人脸特征图。

可选地,所述伪造人脸识别模型通过以下步骤得到:

获取多个人脸图像样本,每个所述人脸图像样本均携带第一标签和第二标签,所述第一标签表征该人脸图像样本的真实人脸噪声边界,所述第二标签表征该人脸图像样本的真实识别结果;

根据所述多个人脸图像样本,对原始伪造人脸识别网络进行多轮迭代训练;

在每一轮迭代训练之后,获取本轮训练输出的人脸噪声边界识别结果和伪造人脸识别结果;

根据本轮训练输出的人脸噪声边界识别结果和本轮训练中的人脸图像样本携带的第一标签,得到人脸噪声边界识别损失;

根据本轮训练输出的伪造人脸识别结果和本轮训练中的人脸图像样本携带的第二标签,得到伪造人脸识别损失;

根据所述人脸噪声边界识别损失和所述伪造人脸识别损失,对所述原始伪造人脸识别网络进行优化;

当所述原始伪造人脸识别网络满足预设条件时,停止训练,得到所述伪造人脸识别模型。

可选地,所述人脸图像样本包括真实人脸图像样本和伪造人脸图像样本,所述伪造人脸图像样本通过以下步骤得到:

获取第一人脸图像和第二人脸图像;

在第一人脸图像中确定目标掩模区域;

根据所述目标掩模区域,对所述第一人脸图像进行抠图处理,得到抠图图像;

对所述抠图图像和所述第二人脸图像进行合成处理,得到合成图像;

将所述抠图图像的边界标注为所述合成图像的第一标签,将伪造人脸文本标注为所述合成图像的第二标签,得到所述伪造人脸图像样本。

可选地,所述在第一人脸图像中确定目标掩模区域,包括:

确定第一人脸图像的多个目标人脸关键点;

根据所述多个目标人脸关键点,确定第一人脸图像中的原始掩模区域;

根据随机偏移参数,对所述原始掩模区域进行随机变换,得到所述目标掩模区域。

本公开实施例第二方面提供一种伪造人脸识别装置,包括:

第一获取模块,被配置为获取目标图像,所述目标图像包含人脸区域;

第一获得模块,被配置为通过伪造人脸识别模型中的第一网络对所述目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,所述人脸噪声边界为所述目标图像中不同图像噪声所形成的边界线;

第二获得模块,被配置为通过伪造人脸识别模型中的第二网络对所述人脸噪声边界识别结果进行处理,得到伪造人脸识别结果。

可选地,所述第一网络包括人脸区域检测网络和人脸噪声边界检测网络;

所述第一获得模块,包括:

第一获得子模块,被配置为通过所述人脸区域检测网络对所述目标图像进行处理,得到目标人脸特征图;

第二获得子模块,被配置为通过人脸噪声边界检测网络对所述目标人脸特征图进行处理,得到所述人脸噪声边界识别结果。

可选地,所述人脸区域检测网络包括第一区域检测网络、第二区域检测网络和第三区域检测网络;

所述第一获得子模块,包括:

第一获得单元,被配置为通过第一区域检测网络对所述目标图像进行人脸检测,得到M个预测窗口对应的人脸特征图像;

第二获得单元,被配置为通过第二区域检测网络对所述M个第一预测窗口对应的人脸特征图像进行过滤,得到N个预测窗口对应的人脸特征图像,其中,N小于M;

第三获得单元,被配置为通过第三区域检测网络对所述N个预测窗口对应的人脸特征图像进行优化处理,得到所述目标人脸特征图。

可选地,所述第三获得单元,包括:

第一获得子单元,被配置为对所述N个预测窗口对应的人脸特征图像进行合并处理,得到原始人脸特征图;

第二获得子单元,被配置为对所述原始人脸特征图进行关键点检测,得到人脸关键点;

第三获得子单元,被配置为根据所述人脸关键点,对所述原始人脸特征图进行校正,得到所述目标人脸特征图。

可选地,所述装置还包括:

第二获取模块,被配置为获取多个人脸图像样本,每个所述人脸图像样本均携带第一标签和第二标签,所述第一标签表征该人脸图像样本的真实人脸噪声边界,所述第二标签表征该人脸图像样本的真实识别结果;

训练模块,被配置为根据所述多个人脸图像样本,对原始伪造人脸识别网络进行多轮迭代训练;

第三获取模块,被配置为在每一轮迭代训练之后,获取本轮训练输出的人脸噪声边界识别结果和伪造人脸识别结果;

第三获得模块,被配置为根据本轮训练输出的人脸噪声边界识别结果和本轮训练中的人脸图像样本携带的第一标签,得到人脸噪声边界识别损失;

第四获得模块,被配置为根据本轮训练输出的伪造人脸识别结果和本轮训练中的人脸图像样本携带的第二标签,得到伪造人脸识别损失;

优化模块,被配置为根据所述人脸噪声边界识别损失和所述伪造人脸识别损失,对所述原始伪造人脸识别网络进行优化;

第五获得模块,被配置为当所述原始伪造人脸识别网络满足预设条件时,停止训练,得到所述伪造人脸识别模型。

可选地,所述人脸图像样本包括真实人脸图像样本和伪造人脸图像样本,所述装置还包括:

第四获取模块,被配置为获取第一人脸图像和第二人脸图像;

确定模块,被配置为在第一人脸图像中确定目标掩模区域;

抠图模块,被配置为根据所述目标掩模区域,对所述第一人脸图像进行抠图处理,得到抠图图像;

合成模块,被配置为对所述抠图图像和所述第二人脸图像进行合成处理,得到合成图像;

第六获得模块,被配置为将所述抠图图像的边界标注为所述合成图像的第一标签,将伪造人脸文本标注为所述合成图像的第二标签,得到所述伪造人脸图像样本。

可选地,所述确定模块,包括:

第一确定子模块,被配置为确定第一人脸图像的多个目标人脸关键点;

第二确定子模块,被配置为根据所述多个目标人脸关键点,确定第一人脸图像中的原始掩模区域;

第三获得子模块,被配置为根据随机偏移参数,对所述原始掩模区域进行随机变换,得到所述目标掩模区域。

本公开实施例第三方面提供一种电子设备,包括:

存储器,其上存储有计算机程序;

处理器,用于执行所述存储器中的所述计算机程序,以实现本公开实施例第一方面所述伪造人脸识别方法的步骤。

本公开实施例第四方面提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开实施例第一方面所述伪造人脸识别方法的步骤。

通过上述技术方案,获取目标图像,该目标图像包含人脸区域,通过伪造人脸识别模型中的第一网络对该目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,该人脸噪声边界为目标图像中不同图像噪声所形成的边界线,通过伪造人脸识别模型中的第二网络对人脸噪声边界识别结果进行处理,得到伪造人脸识别结果。考虑到伪造人脸图像会包含来源不同的图像区域,来源不同的图像区域会存在不同的图像噪声,通过伪造人脸识别模型中的第一网络对目标图像进行识别得到人脸噪声边界识别结果,从而能够根据人脸噪声边界识别结果来判断目标图像是否为伪造图像,对于所有的图像伪造方法得到的伪造人脸图像均有较好的识别效果。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1是根据一示例性实施例示出的一种伪造人脸识别方法的流程图。

图2是根据一示例性实施例示出的一种人脸噪声边界识别结果的示意图。

图3是根据一示例性实施例示出的一种得到人脸噪声边界识别结果的方法的流程图。

图4是根据一示例性实施例示出的一种伪造人脸识别模型的训练方法的流程图。

图5是根据一示例性实施例示出的一种伪造人脸图像样本的获取方法的流程图。

图6是根据一示例性实施例示出的一种伪造人脸识别装置框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

图1是根据一示例性实施例示出的一种伪造人脸识别方法的流程图,如图1所示,该方法包括以下步骤:

在步骤S101中,获取目标图像,该目标图像包含人脸区域。

在本实施方式中,目标图像为待检测识别其是否为伪造的图像,该目标图像可为单独的一张图像,也可为从视频中获取的图像。该目标图像包含人脸区域,以便根据人脸区域确定该目标图像是否为伪造人脸图像。

在一种可能的实施方式中,当检测目标为视频时,可获取待识别视频,并对待识别视频进行拆分,得到多帧原始图像。然后从多帧原始图像中获取包含人脸区域的目标图像。示例地,可将多帧原始图像中人脸区域最完整的图像确定为目标图像,其中,人脸区域最完整的图像可为包含人脸特征点最多的图像。

在步骤S102中,通过伪造人脸识别模型中的第一网络对目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,人脸噪声边界为目标图像中不同图像噪声所形成的边界线。

在本实施方式中,可将目标图像输入伪造人脸识别模型,输出人脸噪声边界识别结果以及伪造人脸识别结果。其中,伪造人脸识别模型可基于多个人脸图像样本训练原始伪造人脸识别网络得到。其中,伪造人脸识别模型可包括第一网络和第二网络,第一网络可对目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,该人脸噪声边界为目标图像中不同图像噪声所形成的边界线。该人脸噪声边界识别结果可包含多个人脸噪声边界的坐标点,也可为空,当人脸噪声边界识别结果为空时,表征该识别结果为该目标图像中不存在不同的图像噪声。

由于每一张图像都有一个来自于硬件或软件的特殊噪声标记,这些噪声就像指纹一样,每个都是独一无二的。通过确定图像是否包含两种不同的噪声,就能判定一张人脸图像为合成图像的机率。每个图像具有其自身的独特标记或底层统计,其主要来自两个方面,第一方面为硬件,例如滤色器阵列(CFA)内插引入周期性模式,摄像机响应函数对于每个颜色通道应该是相似的,传感器噪声包括一系列处理,例如量化和白平衡。第二方面为软件,例如引入一致性阻塞伪像的有损压缩方案,可留下独特印记的基于GAN的合成算法。所有上述因素都有助于图像数字化处理,留下倾向于周期性或同质性的特定签名,其可能在人工伪造的图像中受到干扰。因此,可通过使用边界上的底层图像统计的不一致来覆盖混合边界来检测伪造的人脸图像。

图2是根据一示例性实施例示出的一种人脸噪声边界识别结果的示意图,如图2所示,第一排为输入的目标图像,第二排为对应于输出的目标图像的人脸噪声边界识别结果,其中,第一排的目标图像经过了打码处理,第二排中的白色部分为人脸噪声边界。

在步骤S103中,通过伪造人脸识别模型中的第二网络对人脸噪声边界识别结果进行处理,得到伪造人脸识别结果。

在本实施方式中,人脸噪声边界识别结果通过第二网络处理,即可输出伪造人脸识别结果,该伪造人脸识别结果可为该目标图像为真实图像或伪造图像的概率。

在本实施例中,考虑到伪造人脸图像会包含来源不同的图像区域,来源不同的图像区域会存在不同的图像噪声,通过伪造人脸识别模型中的第一网络对目标图像进行识别得到人脸噪声边界识别结果,从而能够根据人脸噪声边界识别结果来判断目标图像是否为伪造图像,对于所有的图像伪造方法得到的伪造人脸图像均有较好的识别效果。

图3是根据一示例性实施例示出的一种得到人脸噪声边界识别结果的方法的流程图,如图3所示,在一种可能的实施方式中,第一网络可包括人脸区域检测和人脸噪声边界检测网络。通过伪造人脸识别模型中的第一网络对目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,可包括以下步骤:

在步骤S301中,通过人脸区域检测网络对目标图像进行处理,得到目标人脸特征图。

在本实施方式中,可通过人脸区域检测网络对目标图像进行人脸区域识别以及特征提取,得到目标人脸特征图。

在一种可能的实施方式中,人脸区域检测网络包括第一区域检测网络、第二区域检测网络和第三区域检测网络。通过人脸区域检测网络对目标图像进行处理,得到目标人脸特征图的方法可为:通过第一区域检测网络对目标图像进行人脸检测,得到M个预测窗口对应的人脸特征图像;通过第二区域检测网络对M个第一预测窗口对应的人脸特征图像进行过滤,得到N个预测窗口对应的人脸特征图像,其中,N小于M;通过第三区域检测网络对N个预测窗口对应的人脸特征图像进行优化处理,得到目标人脸特征图。

其中,人脸区域检测网络可为级联结构的卷积神经网络,该级联结构的卷积神经网络可由3个网络构成,分别为第一区域检测网络、第二区域检测网络和第三区域检测网络。该级联结构的卷积神经网络可先将目标图像进行不同尺度的变换,构建图像金字塔,以适应不同大小的人脸的检测,可在不同环境下检测人脸,以便适应环境变化和人脸不全等问题,且具有较快的检测速度。

级联结构的卷积神经网络规避了传统方法无法有效回归得到准确的人脸区域的劣势的同时,兼具时间和性能两个优势。一张图片中绝大部分区域容易区分出为非人脸区域,只有少部分区域包含人脸和难以区分的非人脸区域。为加快检测速度,我们设计使用三级分类器,即第一区域检测网络、第二区域检测网络和第三区域检测网络,使得性能逐级提高。

一般算法中只包含一个回归器,如果候选框与真实人脸框相差较大,则无法进行有效的回归,其中,候选框为推测出的人脸区域,真实人脸是真实人脸区域。我们使用多级回归器,每一级回归器皆可让结构更接近真实人脸框,在多级回归后结果更准确。

为实现对人脸/非人脸分类、人脸框回归、人脸关键点回归等预测,设计出基于多任务的深度学习模型。多任务学习提升了各个子任务的性能,达到一加一大于二的效果。在实现多任务共享深度学习模型参数的同时,较大地减少模型运算量,大幅提高人脸区域检测速度。

在通过第一区域检测网络对目标图像进行人脸检测之前,可先对目标图像进行不同尺度的变换,构建图像金字塔,以适应不同大小的人脸的进行检测,以便在不同环境下检测人脸。

其中,第一区域检测网络可为P-Net,全称为Proposal Network,其基本的构造是一个全连接网络。对上一步构建完成的图像金字塔,通过一个FCN(Fully ConvolutionalNetworks,全卷积神经网络)进行初步特征提取与标定边框,并进行边框回归调整候选框与NMS(Non Maximum Suppression,非极大抑制)进行大部分候选框的过滤,得到M个预测窗口对应的人脸特征图像。其中,候选框即为预测窗口。

第二区域检测网络可为R-Net,全称为Refine Network,其基本的构造是一个卷积神经网络,相对于第一层的P-Net来说,增加了一个全连接层,因此对于输入数据的筛选会更加严格。在目标图像经过P-Net后,会留下许多预测窗口,我们将所有的预测窗口送入R-Net,这个网络会滤除大量效果比较差的候选框,最后对选定的候选框进行边框回归和NMS进一步优化预测结果,得到N个预测窗口对应的人脸特征图像,其中,N小于M。

第三区域检测网络可为O-Net,全称为Output Network,基本结构是一个较为复杂的卷积神经网络,相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别面部的区域,可对N个预测窗口对应的人脸特征图像进行合并处理,得到原始人脸特征图,并对原始人脸特征图进行关键点检测,得到人脸关键点,再根据人脸关键点,对原始人脸特征图进行校正,得到目标人脸特征图。其中,人脸关键点可为五个人脸面部特征点,该五个人脸面部特征点可为两眼中点、鼻尖中点和嘴角两点。通过人脸关键点,对原始人脸特征图进行校正,可得到更加准确的目标人脸特征图。

在步骤S302中,通过人脸噪声边界检测网络对目标人脸特征图进行处理,得到人脸噪声边界识别结果。

在本实施方式中,通过人脸噪声边界检测网络对目标人脸特征图进行人脸噪声边界识别,即可输出人脸噪声边界识别结果。

图4是根据一示例性实施例示出的一种伪造人脸识别模型的训练方法的流程图,如图4所示,在一种可行的实施方式中,伪造人脸识别模型通过以下步骤得到:

在步骤S401中,获取多个人脸图像样本,每个人脸图像样本均携带第一标签和第二标签,第一标签表征该人脸图像样本的真实人脸噪声边界,第二标签表征该人脸图像样本的真实识别结果。

在本实施方式中,获取多个人脸图像样本,该人脸图像样本可为真实人脸图像样本和伪造人脸图像样本,每个人脸图像样本均携带第一标签和第二标签,第一标签表征该人脸图像样本的真实人脸噪声边界,第二标签表征该人脸图像样本的真实识别结果。

在步骤S402中,根据多个人脸图像样本,对原始伪造人脸识别网络进行多轮迭代训练。

在本实施方式中,可使用多个人脸图像样本对原始伪造人脸识别网络进行多轮迭代训练,每一轮迭代训练,均可得到对应的人脸噪声边界识别结果和伪造人脸识别结果。多个人脸图像样本得到训练数据集,设训练数据集为D={I,P,q},其中I表示人脸图像样本,P表示对应的真实人脸噪声边界,q是一个二进制标量,用于指定人脸图像样本I是真实的还是伪造的。由于深度学习具有非常强大的表示学习能力,我们采用了一个基于卷积神经网络的框架。该框架以人脸图像样本I为输入,输出对应的预测的人脸噪声边界识别结果,然后基于预测的人脸噪声边界识别结果,输出输入的人脸图像样本的伪造人脸识别结果,即输入的人脸图像样本为真实或伪造的概率。

在步骤S403中,在每一轮迭代训练之后,获取本轮训练输出的人脸噪声边界识别结果和伪造人脸识别结果。

在步骤S404中,根据本轮训练输出的人脸噪声边界识别结果和本轮训练中的人脸图像样本携带的第一标签,得到人脸噪声边界识别损失。

在本实施方式中,让

人脸噪声边界识别损失的计算公式可为:

其中,N为人脸图像样本对应的特征图所包含的像素总数,P

在步骤S405中,根据本轮训练输出的伪造人脸识别结果和本轮训练中的人脸图像样本携带的第二标签,得到伪造人脸识别损失。

在本实施方式中,伪造人脸识别损失的计算公式可为:

在步骤S406中,根据人脸噪声边界识别损失和伪造人脸识别损失,对原始伪造人脸识别网络进行优化。

在本实施方式中,可根据人脸噪声边界识别损失和伪造人脸识别损失得到整体损失,整体损失可为

在步骤S407中,当原始伪造人脸识别网络满足预设条件时,停止训练,得到伪造人脸识别模型。

在本实施方式中,预设条件可为训练轮数阈值,例如50万次,或者,预设条件可为原始伪造人脸识别网络,在每一轮训练之后,均可对原始伪造人脸识别网络进行优化,当原始伪造人脸识别网络满足预设条件时,停止训练,即可得到伪造人脸识别模型。

图5是根据一示例性实施例示出的一种伪造人脸图像样本的获取方法的流程图,如图5所示,在一种可能的实施方式中,人脸图像样本可包括真实人脸图像样本和伪造人脸图像样本,伪造人脸图像样本通过以下步骤得到:

在步骤S501中,获取第一人脸图像和第二人脸图像。

在本实施方式中,可获取第一人脸图像和第二人脸图像,其中,第一人脸图像和第二人脸图像可分别作为前景图像和背景图像。

在一种可能的实施方式中,第一人脸图像和第二人脸图像相匹配,例如,可确定任意一张包含人脸的图像为第一人脸图像,然后,以面部特征点为匹配准则,根据特征点间的欧氏距离从其余的多张包含人脸的图像中确定出多张满足预设距离条件的图像。为了增加随机性,可取前100个最近邻的图像,并从中随机选择一个作为第二人脸图像。

在步骤S502中,在第一人脸图像中确定目标掩模区域。

在本实施方式中,可从第一人脸图像中的人脸区域确定目标掩模区域,在一种可能的实施方式中,可确定第一人脸图像的多个目标人脸关键点,然后根据多个目标人脸关键点,确定第一人脸图像中的原始掩模区域,再根据随机偏移参数,对原始掩模区域进行随机变换,得到目标掩模区域。

例如,可生成一个掩模来划分被操纵的区域。原始掩模区域可定义为前景图像中多个目标人脸关键点的凸包,即由多个目标人脸关键点连成一圈的范围。由于人脸伪造方法不一定总是集中在面部的同一区域,因此在伪造的人脸图像中存在各种不同形状的操作区域,例如,有些可能只在口腔区域周围进行操作。为了覆盖尽可能多的掩模形状,可首先使用从原始16点(从4×4网格中选择)到目标16点进行随机形状变形(即随机偏移参数,对所述原始掩模区域进行随机变换),然后应用随机核大小的高斯模糊,得到最终的目标掩模区域。

在步骤S503中,根据目标掩模区域,对第一人脸图像进行抠图处理,得到抠图图像。

在步骤S504中,对抠图图像和第二人脸图像进行合成处理,得到合成图像。

在本实施方式中,对抠图图像和第二人脸图像进行合成处理的方式可为使用抠图图像对第二人脸图像的相应部位进行替换,得到合成图像。还可在进行替换得到替换图像之后,将颜色校正技术(分别对齐RGB通道的平均值)应用于替换图像,以匹配人脸背景的颜色,得到合成图像。

在步骤S505中,将抠图图像的边界标注为合成图像的第一标签,将伪造人脸文本标注为合成图像的第二标签,得到伪造人脸图像样本。

其中,将伪造人脸文本标注为合成图像的第二标签的方式可为:确定将伪造人脸文本对应的标注值,将该标注值标注为合成图像的第二标签,以表征该合成图像为伪造图像。

通过上述方法,可人为制造大量伪造部位不同的伪造人脸图像样本,从而提高训练的到的伪造人脸识别模型的识别准确性。

图6是根据一示例性实施例示出的一种伪造人脸识别装置框图。参照图6,该装置600包括第一获取模块601、第一获得模块602和第二获得模块603。

该第一获取模块601,被配置为获取目标图像,所述目标图像包含人脸区域;

该第一获得模块602,被配置为通过伪造人脸识别模型中的第一网络对所述目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,所述人脸噪声边界为所述目标图像中不同图像噪声所形成的边界线;

该第二获得模块603,被配置为通过伪造人脸识别模型中的第二网络对所述人脸噪声边界识别结果进行处理,得到伪造人脸识别结果。

可选地,所述第一网络包括人脸区域检测网络和人脸噪声边界检测网络;

所述第一获得模块602,包括:

第一获得子模块,被配置为通过所述人脸区域检测网络对所述目标图像进行处理,得到目标人脸特征图;

第二获得子模块,被配置为通过人脸噪声边界检测网络对所述目标人脸特征图进行处理,得到所述人脸噪声边界识别结果。

可选地,所述人脸区域检测网络包括第一区域检测网络、第二区域检测网络和第三区域检测网络;

所述第一获得子模块,包括:

第一获得单元,被配置为通过第一区域检测网络对所述目标图像进行人脸检测,得到M个预测窗口对应的人脸特征图像;

第二获得单元,被配置为通过第二区域检测网络对所述M个第一预测窗口对应的人脸特征图像进行过滤,得到N个预测窗口对应的人脸特征图像,其中,N小于M;

第三获得单元,被配置为通过第三区域检测网络对所述N个预测窗口对应的人脸特征图像进行优化处理,得到所述目标人脸特征图。

可选地,所述第三获得单元,包括:

第一获得子单元,被配置为对所述N个预测窗口对应的人脸特征图像进行合并处理,得到原始人脸特征图;

第二获得子单元,被配置为对所述原始人脸特征图进行关键点检测,得到人脸关键点;

第三获得子单元,被配置为根据所述人脸关键点,对所述原始人脸特征图进行校正,得到所述目标人脸特征图。

可选地,所述装置600还包括:

第二获取模块,被配置为获取多个人脸图像样本,每个所述人脸图像样本均携带第一标签和第二标签,所述第一标签表征该人脸图像样本的真实人脸噪声边界,所述第二标签表征该人脸图像样本的真实识别结果;

训练模块,被配置为根据所述多个人脸图像样本,对原始伪造人脸识别网络进行多轮迭代训练;

第三获取模块,被配置为在每一轮迭代训练之后,获取本轮训练输出的人脸噪声边界识别结果和伪造人脸识别结果;

第三获得模块,被配置为根据本轮训练输出的人脸噪声边界识别结果和本轮训练中的人脸图像样本携带的第一标签,得到人脸噪声边界识别损失;

第四获得模块,被配置为根据本轮训练输出的伪造人脸识别结果和本轮训练中的人脸图像样本携带的第二标签,得到伪造人脸识别损失;

优化模块,被配置为根据所述人脸噪声边界识别损失和所述伪造人脸识别损失,对所述原始伪造人脸识别网络进行优化;

第五获得模块,被配置为当所述原始伪造人脸识别网络满足预设条件时,停止训练,得到所述伪造人脸识别模型。

可选地,所述人脸图像样本包括真实人脸图像样本和伪造人脸图像样本,所述装置600还包括:

第四获取模块,被配置为获取第一人脸图像和第二人脸图像;

确定模块,被配置为在第一人脸图像中确定目标掩模区域;

抠图模块,被配置为根据所述目标掩模区域,对所述第一人脸图像进行抠图处理,得到抠图图像;

合成模块,被配置为对所述抠图图像和所述第二人脸图像进行合成处理,得到合成图像;

第六获得模块,被配置为将所述抠图图像的边界标注为所述合成图像的第一标签,将伪造人脸文本标注为所述合成图像的第二标签,得到所述伪造人脸图像样本。

可选地,所述确定模块,包括:

第一确定子模块,被配置为确定第一人脸图像的多个目标人脸关键点;

第二确定子模块,被配置为根据所述多个目标人脸关键点,确定第一人脸图像中的原始掩模区域;

第三获得子模块,被配置为根据随机偏移参数,对所述原始掩模区域进行随机变换,得到所述目标掩模区域。

关于上述实施例中的装置600,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备700可以被提供为一服务器。参照图7,电子设备700包括处理器722,其数量可以为一个或多个,以及存储器732,用于存储可由处理器722执行的计算机程序。存储器732中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器722可以被配置为执行该计算机程序,以执行上述的伪造人脸识别方法。

另外,电子设备700还可以包括电源组件726和通信组件750,该电源组件726可以被配置为执行电子设备700的电源管理,该通信组件750可以被配置为实现电子设备700的通信,例如,有线或无线通信。此外,该电子设备700还可以包括输入/输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统。

在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的伪造人脸识别方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器732,上述程序指令可由电子设备700的处理器722执行以完成上述的伪造人脸识别方法。

在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的伪造人脸识别方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

技术分类

06120115686754