一种基于图像处理的人脸反欺诈方法及系统

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于图像处理的人脸反欺诈方法及系统。

背景技术

随着技术的飞速发展，人脸识别系统的安全漏洞在3D人脸重建的快速下逐渐暴露，因此兴起人脸反欺骗技术的发展，目前对人脸反欺诈的发展主要分为传统方法和机器学习的方法。

传统方法包括：

1)感测器，使用感测器来检测信号中实时特征的任何模式特征；

2)专用的硬件模块，例如3D摄像机来检测生命迹象，但并不推广；

3)资质响应，通过请求客户以特定的方式与系统进行交互来呈现攻击。

机器学习的方法包括：

1)镜面预测：通过表征真假图像对应的镜面特征空间，学习真假数据和伪数据在此基础上的投影。对应于真实投影，3D面具投影来训练SVM模型，然后将打印的照片投影用作检测假冒行为的反欺诈模型；

2)通过深入研究人脸图像颜色特征信息对人脸检测的重要性，利用深度卷积神经网络ResNet和SENet构建了深度特征融合网络结构，有效地训练了涉及的人脸反欺诈数据.

3)图像质量评估：该方法是基于图像质量指标的结合，将原始图像与处理后的图像进行比较.

但机器学习中基于无监督的人脸反欺骗技术在目标场景中具有良好的性能而越来越受到关注。

目前对基于无监督的人脸反欺诈方法通常通过对语义高层特征的分布进行对齐，讲训练后的模型与目标域进行拟合，但这种方法会对未标记的目标域的监控不足和对底层特征对比的忽视降低现有的性能。并伴随的源模型训练的人脸数据集缺乏公开的，高质量的数据集包括密密集得多角摄像机捕获和被捕获对象丰富的面部特征，使得人脸识别领域受到一定的限制。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种通过图像转换将目标数据风格转化为源域风格，并将风格化的数据传到经过训练好的源模型中进行分类接着采用高质量的、对象丰富的、多视角的MultiFace人脸数据集进行源模型训练的基于图像处理的人脸反欺诈方法。

本发明公开了一种基于图像处理的人脸反欺诈方法，包括如下步骤：通过域内频谱混合在连续频率空间中对目标数据的原始图像进行多样化以生成增强图像；通过生成器将所述原始图像和所述增强图像的未标记的目标域风格转换为源模型的源样式域风格的源样式图像，以将所述目标数据的原始图像拟合到所述源模型中；期间：获取所述源样式图像的生成统计信息，采用域间神经统计一致性处理将所述源样式图像的生成统计信息与所述源模型的预训练中存储的源统计信息进行匹配，以弥合域间差距；并且进行特征级别和图像级别的双级语义一致性处理；对源模型采用多视角的高分辨率的人脸数据集进行训练得到人脸反欺诈模型。

优选的，所述域间神经统计一致性处理包括：以通道方式对小批量中的每个输入特征进行归一化，使得输出具有零均值和单位方差。

优选的，所述以通道方式对小批量中的每个输入特征进行归一化，使得输出具有零均值和单位方差包括：在所述源模型的训练过程中，第n+1步的源统计量

优选的，所述双级语义一致性处理包括：在特征层面，给定生成的源样式图像

优选的，所述对ImageNet数据集中预训练的VGG模块φ的潜在特征施加感知损失L

优选的，所述域内频谱混合包括：单独计算每个通道的图像的傅里叶变换，以获得相应的幅度和相位分量。

优选的，所述域内频谱混合包括：若仅在目标域的可见训练子集上进行训练并在目标域的不可见测试子集上进行测试，则计算目标图像x

幅度A(x

优选的，所述对源模型采用多视角的高分辨率的人脸数据集进行训练得到人脸反欺诈模型还包括通过分类器和深度估计器计算熵损失：L

优选的，所述对源模型采用多视角的高分辨率的人脸数据集进行训练得到人脸反欺诈模型还包括计算总损失：L

本发明还公开了一种基于图像处理的人脸反欺诈系统，生成域适应模块以及源模型：在所述生成域适应模块内通过域内频谱混合在连续频率空间中对目标数据的原始图像进行多样化以生成增强图像；在所述生成域适应模块内通过生成器将所述原始图像和所述增强图像的未标记的目标域风格转换为源模型的源样式域风格的源样式图像，以将所述目标数据的原始图像拟合到所述源模型中；期间：获取所述源样式图像的生成统计信息，采用域间神经统计一致性处理将所述源样式图像的生成统计信息与所述源模型的预训练中存储的源统计信息进行匹配，以弥合域间差距；并且进行特征级别和图像级别的双级语义一致性处理；对源模型采用多视角的高分辨率的人脸数据集进行训练得到人脸反欺诈模型。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.本发明提出了域间神经统计一致性来指导生成器生成源样式域；引入了双级语义一致性来防止语义失真的产生；设计了一个域内频谱混合来减少域内间隙。现有技术的反人脸欺诈方法不考虑跨域学习域不变表示，并且表现出不太理想的性能；此外，几乎所有基于域的人脸反欺诈方法都缺乏明确的泛化目标方向，导致目标域的性能不理想。相比之下，本方案中充分利用预训练模型中存储的源领域知识，足以进行特征对齐，并很大程度上加强了目标域本身的域内差距，考虑在目标内的不同环境变化下学习更鲁棒不变表示。

附图说明

图1为本发明提供的基于图像处理的人脸反欺诈方法的流程图；

图2为本发明提供的生成域适应框架。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

基于手工制作的特征和深度学习的特征，几种方法在数据集内场景中取得了可观的性能。然而，由于不同域之间的域差距，它们在适应现实世界场景中的目标域时都会出现性能下降。为了提高泛化能力，在跨域场景中提出了基于域泛化和无监督域自适应的人脸反欺诈方法。然而，基于域泛化的人脸反欺诈方法仅在训练阶段利用所见数据，未能利用目标数据的信息，从而导致目标域的性能不理想。尽管基于无监督的人脸反欺诈方法同时利用标记的源域和未标记的目标域来弥合域差距，但它们中的大多数通常通过对齐模型的分布来将模型拟合到目标域语义高级特征，一方面，由于对目标域的监督不足，对其进行拟合可能不可避免地影响源模型的判别能力。另一方面，低级特征对于人脸反欺诈任务尤其重要。

在本方案中，将基于无监督的人脸反欺诈重新表述为一个领域风格化问题，旨在在不更改模型的情况下将目标数据拟合到训练有素的模型上。提出生成域适应(GDA)框架。通过图像转换将目标数据风格转化为源域风格，并将风格化的数据传到经过训练好的源模型中进行分类。人脸数据将采用高质量的、对象丰富的、多视角的MultiFace人脸数据集进行源模型训练。

MultiFace人脸数据集是一个新的多视图、高分辨率人脸数据集，该数据集从Reality Labs Research的13个身份中收集，用于神经人脸渲染。

傅里叶变换表示能将满足一定条件的某个函数表示成三角函数(正弦和余弦函数)或者它们的积分的线性组合，具备典型的还原论和分析主义的特征。

具体的，参见附图1，本发明公开了一种基于图像处理的人脸反欺诈方法，首先将未标记的目标域风格化为源样式域，使未标记的目标数据适合源模型，这样训练好的模型就不需要更改。其中，为了减轻域内差距以进一步扩展目标数据分布以确保泛化，首先通过域内频谱混合在连续频率空间中对输入图像进行多样化以生成增强图像。

接着，通过生成器将原始图像和增强图像的未标记的目标域风格转换为源模型的源样式域风格的源样式图像。其中，为了提取源样式信息以指导翻译，将源样式图像的生成统计信息与预训练中存储的源统计信息相匹配，通过域间神经统计一致性建立模型，从而弥合域间差距；并且，为了在生成过程中保留目标内容(在图像翻译过程中保留语义内容)并防止表单语义失真，在特征级和图像级上保持双级语义一致性算法来约束内容，在实际图像翻转和检测过程中达到不损失原有的图像语义信息，极大的保留原始图像信息。

参见附图2，源训练模型的参数在适应期间是固定的。鉴于未标记的目标数据，仅优化生成器G的参数。首先通过域内频谱混合生成多样化的目标图像，从而增强生成器G在弥合域内差距方面的泛化能力。然后，域间神经统计一致性将生成的特征统计信息与存储的高级和低级特征统计信息完全匹配，从而减少域间差距。因此，翻译后的图像可以保留源样式。

较佳的，域间神经统计一致性处理包括以通道方式对小批量中的每个输入特征进行归一化，使得输出具有零均值和单位方差。令B和{zi}B

在源模型的训练过程中，第n+1步的源统计量

较佳的，双级语义一致性处理包括在特征层面，给定生成的源样式图像

但仅仅在空间中使用这种感知损失并不足以确保语义一致性。这主要是因为潜在特征被深度编码，一些重要的语义线索可能会丢失。考虑通过确保在图像翻译前后保留相位来明确惩罚语义不一致。具体的，对于单通道图像x，通过最小化差异损失L

由于差异损失L

较佳的，域内频谱混合包括单独计算每个通道的图像的傅里叶变换，以获得相应的幅度和相位分量，使得在训练过程中保留的极高的图像质量。

若仅在目标域的可见训练子集上进行训练并在目标域的不可见测试子集上进行测试，则可能不太需要源样式域的图像质量，可以直接计算目标图像x

优选的，对源模型采用多视角的高分辨率的人脸数据集进行训练得到人脸反欺诈模型还包括通过分类器和深度估计器计算熵损失：L

优选的，在生成域自适应过程中，源模型F，H，R和VGG模块φ的参数是固定的，我们只优化生成器G的参数。总损失：L

本发明还公开了一种基于图像处理的人脸反欺诈系统，生成域适应模块(参见附图2)以及源模型。

在生成域适应模块内通过域内频谱混合在连续频率空间中对目标数据的原始图像进行多样化以生成增强图像；在生成域适应模块内通过生成器将原始图像和增强图像的未标记的目标域风格转换为源模型的源样式域风格的源样式图像，以将目标数据的原始图像拟合到源模型中。

期间：获取源样式图像的生成统计信息，采用域间神经统计一致性处理将源样式图像的生成统计信息与源模型的预训练中存储的源统计信息进行匹配，以弥合域间差距；并且进行特征级别和图像级别的双级语义一致性处理；对源模型采用多视角的高分辨率的人脸数据集进行训练得到人脸反欺诈模型。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。