一种人脸识别的方法、装置和红外相机

技术领域

本申请涉及人脸识别技术领域，更具体地，涉及一种人脸识别的方法、装置和红外相机。

背景技术

近年来基于深度学习的人脸识别系统得到了广泛的应用。然而现有的人脸识别系统存在诸多安全隐患。由于人脸信息的易获取性，冒名顶替者可以简单地通过呈现合法用户的面部伪装来骗过人脸识别系统，该行为称为人脸欺诈攻击。因此研发具有反欺诈攻击能力的安全可信的人脸识别系统是十分必要的。基于传统手工特征的活体检测方法依赖于人工设计的特征提取，所以具有对深度特征的不敏感和高维信息易缺失的缺点，应对三维头套面具攻击的人脸欺诈效果不好。而基于深度学习的活体检测方法通常将人脸识别与活体检测分为两个单独的步骤来进行，这会对内存和芯片的计算能力有较高的要求，在资源受限的边缘端以及实时性要求高的场景中的应用受到限制。

针对上述问题，业内一般通过压缩活体检测模型来解决，该方案主要包括以下步骤/模块：将经过对齐后待识别图像输入独立的活体检测网络模型进行判断直接区分活体与非活体后，将判断为活体的待识别图像再输入到独立的人脸识别网络模型中进行人脸识别。其中，为了降低活体检测模型对内存和芯片的要求，活体检测模型研发采用了轻量级模型的同时，也对模型进行了压缩。

然而，采用压缩活体检测模型在仍然存在着一些问题：这种方法还是把人脸识别和活体检测分开来，各自做了一个独立的模型，这不但需要对各个模型进行单独训练浪费时间精力，而且对内存和芯片的计算能力有较高的要求，在资源受限的边缘端以及实时性要求高的场景中的应用受到限制。同时，由于尽可能地会用轻量级的活体检测模型及压缩等原因，活体检测的准确率也有一定程度的影响。而把活体检测模块加入到人脸检测模型的方案，由于人脸检测模型输入的是未对齐校正的图像，这意味着输入的图像除了人脸还有与活体检测无关的背景图等，这部分输入到网络中只会产生无用的特征图，对活体检测的准确度产生负面作用；且检测模型对每一帧输入的图像都需要进行检测，这增加了算力和功耗。

另外，现有一般利用灰度图(RGB)图进行活体检测，这种活体检测方法对于打印攻击和屏幕攻击都有较好的效果，但是大多数都对3D头套攻击束手无策，难点在于头套攻击不但具有打印攻击和屏幕攻击所没有的深度信息，而且在RGB色彩信息上也具有如同真脸一般的丰富的纹理信息和颜色信息。同时，RGB图很容易受到光源影响，增加活体检测判断难度。

发明内容

提供了本申请以解决现有技术中存在的上述缺陷，一种人脸识别的方法、装置和红外相机，能够有效提升人脸识别和活体检测的运行速度，降低模型的复杂度，从而显著降低对内存和算力的要求，降低了功耗。

根据本申请的第一方案，提供了一种人脸识别的方法，所述方法包括：获取包含要进行人脸识别的对象的红外图像；基于所述对象的红外图像，由处理器，利用人脸识别主干网络来提取面部嵌入特征；共同基于所提取的面部嵌入特征，由所述处理器，分别利用人脸分类分支和活体检测分支一并确定人脸和活体检测结果。

根据本申请的第二方案，提供了一种人脸识别的装置，所述装置包括：接口，其配置为获取经由红外采集装置所采集的要进行人脸识别的对象的红外图像。存储器，其配置为存储神经网络模型，所述神经网络模型包括人脸识别主干网络、人脸分类器分支和活体检测器分支。处理单元，其配置为执行所述的人脸识别的方法。

根据本申请的第三方案，提供了一种红外相机，所述红外相机包括红外图像采集构件、处理单元和显示器。所述红外图像采集构件配置为获取红外图像，并将红外图像传输给所述处理单元。所述处理单元配置为获取红外图像，并对所述红外图像利用所述的人脸识别的方法进行人脸活体检测，并输出人脸活体检测的结果给所述显示器。

本申请各个实施例提供的人脸识别的方法、装置和红外相机，基于真实人脸和3D头套攻击的虚假人脸的红外图像在纹理上有着显著不同，所以利用神经网络模型处理得到的人脸和活体检测结果，能够更好的3D头套攻击的效果；活体检测分支和人脸识别分支并列设置于一个神经网络模型中，方法具体包括先基于红外图像提取面部特征，然后基于面部嵌入特征分别进行活体检测和人脸识别，一并获得人脸和活体检测结果，能够有效提升人脸识别和活体检测的运行速度，降低模型的复杂度，从而显著降低对内存和算力的要求，降低了功耗。

附图说明

下面将参照附图描述本发明的示例性实施例的特征、优势以及技术和工业意义，其中相同的附图标记表示相同的元件，并且其中：

图1示出根据本申请实施例的人脸识别的方法的流程图；

图2示出根据本申请实施例的神经网络模型的训练的流程图；

图3示出根据本申请实施例的不同核函数在测试集上的表现的示意图；

图4示出根据本申请实施例的人脸识别的装置的结构示意图；以及

图5示出根据本申请实施例的红外相机的结构示意图。

具体实施方式

为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。

本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。

图1示出根据本申请实施例的人脸识别的方法的流程图。所述方法包括步骤101，获取包含要进行人脸识别的对象的红外图像。所述红外图像是通过红外光源发出的红外光线来照射物体得到的图像，与热红外不同。比如通过红外相机获取的红外图像。相比于普通的灰度图(RGB图)，由于红外图像的成像原理，所以红外成像几乎不受光源的影响，而且红外图像能够呈现人脸的纹理特征，由于真实人脸和虚假人脸在纹理上有着显著的不同，所以基于红外图像的活体检测能够更好的应对3D头套攻击，降低活体检测的判断难度。

在步骤102，基于所述对象的红外图像，由处理器，利用人脸识别主干网络来提取面部嵌入特征。人脸识别主干网络对红外图像中的人脸进行识别和特征提取，得到包含纹理特征信息的面部嵌入，以便人脸分类分支和活体检测分支能够识别真实人脸和虚假人脸。在一些实施例中，先对红外图像进行图像增强，对齐等预处理，将预处理后的红外图像再输入到人脸识别主干网络中进行处理。

在步骤103，共同基于所提取的面部嵌入特征，由所述处理器，分别利用人脸分类分支和活体检测分支一并确定人脸和活体检测结果。其中，人脸分类分支和活体检测分支作为人脸识别主干网络的分支，并非独立的模型。由于在红外图像提取的包含纹理信息的面部嵌入特征的基础上，人脸识别和活体检测的原理具有高度统一的特性，所以能够将人脸分类分支和活体检测分支分别作为人脸识别主干网络的分支，融合在一个神经网络模型，能够有效提升人脸识别和活体检测的运行速度，降低模型的复杂度，所以能够降低内存和芯片的计算能力的要求，降低功耗。另外，基于人脸分类分支和活体检测分支的分类原理具有高度相似性，人脸识别主干网络作为神经网络模型的一部分，可以根据不同的需求选择不同的人脸识别主干网络的类型进行替换，人脸分类分支和活体检测分支不需要更改，这样替换后的人脸识别主干网络和人脸分类分支和活体检测分支形成一个新的神经网络模型。这个新的神经网络模型，不仅具有更新之前的人脸分类分支和活体检测分支的功能，还具有替换后的人脸识别主干网络的功能。使新的神经网络模型能够更适应变化的红外图像处理需求。

通过人脸分类和活体检测各自独立的分类处理过程，可以同时并非先后得到人脸相似度和活体检测分类的结果，这样能够减少人脸识别和活体检测在先后处理图像时分别需要处理额外的图像的算力和功耗。而且得到的人脸相似度和活体检测分类的结果，不仅能够应对打印攻击和屏幕攻击，还能应对3D头套攻击，提高结果的精度和准确性。

在一些实施例中，经过训练的人脸识别主干网络，能够习得红外图像中的纹理特征相关的高维度特征信息。比如128维的面部嵌入，能够拥有更多的纹理特征相关的高维信息。在高维空间里，人脸分类分支利用不同真实人脸的高维度特征图具有类内聚敛和类外分离的特点，在提取不同真实人脸的高维度特征图后，可以进行人脸分类，得到人脸相似度结果。而且，在高维空间里，真实人脸和虚假人脸之间也是能够被线性可分的，即有类内聚敛和类外分离的特性，所以人脸分类分支和活体检测分支的分类原理具有高度相似性，这样人脸分类分支和活体检测分支能够结合在一个神经网络模型中。有利于降低模型的复杂度，所以能够降低内存和芯片的计算能力的要求。通过对红外图像的高维度特征信息的分类处理，有利于活体检测中对3D头套攻击的更好的识别和人脸分类的准确性。

在一些实施例中，所述方法配置为在片上系统上实现，所述处理器为所述片上系统上的处理单元，所述人脸识别主干网络、所述人脸分类分支和所述活体检测分支作为模型存储在所述片上系统上自带的存储器内。由于人脸分类分支和活体检测分支融合在一个神经网络模型中，内存和芯片的计算能力的要求可以较低，这样人脸识别的方法可以通过SOC(片上系统)来实现。例如，可以利用从ARM公司等购买的各种RISC(精简指令集计算机)处理器IP来作为SOC的处理单元来执行对应的功能，从而可以实现为嵌入式系统。具体说来，在市场上可购买到的模组(IP)上具有很多模块，例如但不限于存储器、缓存器等等，所述存储器上可以存储神经网络模型，所述神经网络模型包括人脸识别主干网络、人脸分类分支和活体检测分支。在一些实施例中，芯片制造商也可以在现成的IP上自主开发出这些模块的定制版本。用户可以通过基于购买的IP或自主研发的模块构建ASIC(特定用途集成电路)，来实现存储器、缓存器等，以便降低功耗和成本。例如，用户也可以利用FPGA(现场可编程门阵列)来实现各种存储器、缓存器等，可以用于对硬件设计的稳定性进行验证。通过片上系统存储神经网络模型，以便能够在资源受限的边缘端完成实时活体检测和人脸识别的任务。

在一些实施例中，所述对象包括3D对象，所述人脸识别主干网络包括卷积神经网络(Convolutional Neural Networks,CNN)，所述活体检测分支能够利用深度学习二分类器构成。能够对3D对象进行人脸识别一并得到人脸相似度的结果和是否为活体的结果。其中卷积神经网络包括AlexNet、VGG net(Visual Geometry Group)等。深度学习二分类器可以包括支持向量机、softmax二分类器、sigmoid二分类器和adaboost算法分类器中的任一种。

图2示出根据本申请实施例的神经网络模型的训练的流程图。先构建正负样本平衡的红外图数据集201(包含大量的真实人脸和虚假人脸)，然后将红外图数据集201进行图像增强，对齐等预处理，再将预处理后的红外图数据集201输入到人脸识别主干网络202经过批量归一化层后的面部嵌入特征。接下来，将面部嵌入特征分别输入到人脸分类分支203和活体检测分支204进行逻辑回归分类，得到结果205，结果205包括活体检测结果和人脸分类结果。

同图2所示，在一些实施例中，所述人脸识别的方法还包括：基于人脸分类的损失函数结合交叉熵损失函数项，对所述人脸识别主干网络202、所述人脸分类分支203和所述活体检测分支204进行联合训练。结果205反馈给损失函数206。然后利用损失函数206分别对人脸识别主干网络207和活体检测分支208进行训练。相比于各自独立的模型，能够节省分别进行单独的训练的时间和精力，有助于降低对内存和芯片的计算能力方面的要求。其中，基于真实人脸和虚假人脸在高维空间里的特征图具有类内聚敛和类外分离的特性，人脸识别和活体检测的原理的高度相似性，活体检测分支204可以利用人脸分类的损失函数结合交叉熵损失函数项进行训练，以提高活体检测的准确性。人脸分类分支203通过训练能够提高人脸识别的准确性。

在一些实施例中，所述联合训练使用的损失函数206(Loss Function)包括所述人脸分类的损失函数(ArcFace loss)和所述交叉熵损失函数项目(Cross Entropy Loss)的和，所述人脸分类分损失函数如公式(1)所示，交叉熵损失函数项如公式(2)所示：

/>

其中，公式(1)中，i表示预测注册人脸的序号，j表示其他注册人脸的序号，y

公式(2)中，i表示预测注册人脸的序号，j表示其他注册人脸的序号，y

其中，多分类的话y

联合训练的损失函数206可以表示为Loss Function＝ArcFace loss+EntropyLoss。利用所述损失函数206对活体检测分支204和人脸分类分支203进行训练收敛，以提高活体检测和人脸分类的识别精度。

同图2所示，在一些实施例中，所述联合训练对于所述人脸识别主干网络202和所述活体检测分支204利用不同的学习率，其中，所述人脸识别主干网络202的学习率低于所述活体检测分支204的学习率。如图2所示，针对人脸识别主干网络的第一学习率207与针对活体检测分支的第二学习率208不同，如果人脸分类分支203和活体检测分支204使用同一学习率，可能会影响人脸分类的准确率。所以基于人脸分类分支203和活体检测分支204的分类原理的相似性，在联合训练的过程中，可以在同一损失函数的基础上，对学习率进行调整，使人脸分类分支203和活体检测分支204具有不同的收敛速度。比如调低人脸识别主干网络202的学习率，调高活体检测分支204的学习率，这样就可以在几乎不影响人脸分类准确率的前提下，大大提高了活体检测分类的收敛速度，能够提高活体检测分类的准确率。

利用包括真实人脸和虚假人脸的红外图像测试数据集利用不同核函数进行测试，将包括真实人脸和虚假人脸的红外图像输入到人脸识别主干网络直接输出的面部嵌入特征，不加任何处理后直接利用支持向量机(SVM)在训练集上进行训练，利用不同的核函数在测试集上进行测试，结果如图3所示。图3中分别展示了高斯核函数(Gaussian Kernel withγ＝0.5)、高斯核函数(Gaussian Kernel withγ＝0.1)、线性核函数(Linear Kernel)、多项式核函数(Polynomial Kernel with Degree＝3)在测试集上的ROC曲线，各个ROC曲线的AUC值均超过0.9，在AUC值等于0.98和0.99时，接近于1，说明检测方法真实性较高；各个ROC曲线均靠近左上角，说明模型的准确性较高，最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。同时能够说明在高维空间里真实人脸和虚假人脸的特征具有类内聚敛，类间分类的特性，这样就能够在高维空间中分别进行活体检测分类和人脸相似分类。

图4示出根据本申请实施例的人脸识别的装置的结构示意图。所述人脸识别的装置400包括，接口410，其配置为获取经由红外采集装置所采集的要进行人脸识别的对象的红外图像。红外采集装置可以任何通过红外光线来照射物体而得到红外图像的装置。接口410传输红外图像给处理单元420，以便处理单元420执行人脸识别的过程。人脸识别的装置还包括，存储器440，其配置为存储神经网络模型431，所述神经网络模型431包括人脸识别主干网络4311、人脸分类器分支4312和活体检测器分支4313。基于人脸识别和活体检测的原理具有高度相似性，人脸分类器分支4312和活体检测器分支4313分别作为人脸识别主干网络4311的分支，融合在一个神经网络模型431，这样存储在存储器430中，能够降低存储器430的内存的要求。人脸识别的装置还包括，处理单元，其配置为执行所述的人脸识别的方法。所述人脸识别的方法包括获得面部嵌入特征和基于面部嵌入特征进行分类处理的过程。

图5示出根据本申请实施例的红外相机的结构示意图。所述红外相机500包括红外图像采集构件501、处理单元502和显示器503。所述红外图像采集构件501配置为获取红外图像，并将红外图像传输给所述处理单元。所述处理单元502配置为获取红外图像，并对所述红外图像利用所述的人脸识别的方法进行人脸活体检测，并输出人脸活体检测的结果给所述显示器503，用户可以直接通过显示器503看到人脸识别的结果。这样可以提高用户进行人脸识别的便捷性，而不必先获取红外图像，再输送到另一装置中进行处理的复杂过程。如图5所示，红外相机500提供了可以直接获取红外图像，处理红外图像并得到人脸分类结果和活体检测结果，并能够显示出来的一体的设备。这样在实际的使用中，可以通过在具有图像采集功能的红外相机上，配置处理单元即可得到具有人脸识别的红外相机500。并且这种具有人脸识别的红外相机500，由于内存和芯片的计算能力的要求不高，所以能够几乎不影响红外相机500的运行。

此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的申请的特征对于任一权利要求是必要的意图。相反，本申请的主题可以少于特定的申请的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本申请的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。