一种人脸活体检测模型的训练方法和相关装置

技术领域

本申请涉及图像处理与计算机视觉技术领域，尤其涉及一种人脸活体检测模型的训练方法和相关装置。

背景技术

随着人脸识别技术的快速发展，人们也逐步提高了对人脸识别技术的合理利用。比如，通过人脸识别技术实现付款，或者，通过人脸识别技术实现解锁等。为了进一步提高安全性，防止不法分子窃取并利用他人的照片或者视频实现付款或解锁等，在现有技术中提出了活体检测技术。

一般来说，市场上所广泛应用的活体检测技术与检测用户的指定动作有关，比如，通过检测眨眼、摇头、张嘴等动作实现人脸活体的检测。也就是说，不会采用训练好的人脸活体检测模型识别人脸图像来实现人脸活体的检测。这是因为现有的人脸活体检测模型其活体与非活体分类的准确性低，导致用户体验不好。

发明内容

本申请实施例提供了一种人脸活体检测模型的训练方法和相关装置，实施本申请实施例，提高了人脸活体检测模型活体与非活体分类的准确性，提升用户体验。

本申请第一方面提供了一种人脸活体检测模型的训练方法，包括：

获取M张样本人脸图像，M为大于0的整数；

从所述M张样本人脸图像中的每张样本人脸图像提取L个特征向量，以得到K个特征向量，K＝M*L，L为大于0且不大于K的整数；

对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量；

采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，N为大于0的整数；

根据所述第一损失函数值更新人脸活体检测模型。

本申请第二方面提供了一种人脸活体检测模型的训练装置，包括：

获取模块，用于获取M张样本人脸图像，M为大于0的整数；

提取模块，用于从所述M张样本人脸图像中的每张样本人脸图像提取L个特征向量，以得到K个特征向量，K＝M*L，L为大于0且不大于K的整数；

融合模块，用于对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量；

计算模块，用于采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，N为大于0的整数；

更新模块，用于根据所述第一损失函数值更新人脸活体检测模型。

可以看出，上述技术方案中，获取M张样本人脸图像，为提取特征向量做准备；从所述M张样本人脸图像中的每张样本人脸图像提取L个特征向量，以得到K个特征向量，为后续融合特征向量做准备；对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量，实现特征向量的融合，为后续采用多个损失函数对融合后的特征向量处理做准备；采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，采用多个损失函数对多个特征向量以及融合后的特征向量进行处理，提高了第一损失函数值的精确度；根据所述第一损失函数值更新人脸活体检测模型，在增大了同类别样本之间的距离以及缩小不同类样本之间的距离方面优化了人脸活体检测模型，提高了人脸活体检测模型活体与非活体分类的准确性，提升用户体验。同时，实现了在无用户配合下人脸活体的检测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1A为本申请实施例提供的一种人脸活体检测模型的训练方法的流程示意图；

图1B为本申请实施例提供的一种多层感知器自监督算法的示意图；

图1C为本申请实施例提供的又一种人脸活体检测模型的训练方法的流程示意图；

图2为本申请实施例提供的又一种人脸活体检测模型的训练方法的流程示意图；

图3为本申请实施例提供的一种人脸活体检测模型的训练装置的结构示意图；

图4为本申请实施例提供的又一种人脸活体检测模型的训练装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下分别进行详细说明。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，本申请实施例的执行主体例如可以是服务器，也可以是终端，还可以是芯片。其中，服务器例如可以是平板电脑、笔记本电脑、掌上电脑、MID、台式电脑或其他服务器设备。其中，终端例如可以是手机、平板电脑、笔记本电脑、掌上电脑、MID、台式电脑或其他设备。在本申请中不做限制。

参见图1A，图1A为本申请实施例提供的一种人脸活体检测模型的训练方法的流程示意图。其中，如图1A所示，本申请实施例提供的一种人脸活体检测模型的训练方法可以包括：

101、获取M张样本人脸图像，M为大于0的整数。

其中，M为大于0的偶数，M例如可以为2、4、6、8、10、12等数值。

可以理解的，所述M张样本人脸图像均是利用双目RGB-IR摄像头采集的。进一步的，所述M张样本人脸图像包括

102、从所述M张样本人脸图像中的每张样本人脸图像提取L个特征向量，以得到K个特征向量，K＝M*L，L为大于0且不大于K的整数；

其中，K例如可以为1、2、3、4、5、6、11、15等数值。

其中，L例如可以为1、2、3、4、5、6、11、15等数值。

可选的，在一种可能的实施方式中，样本人脸图像Q为所述M张样本人脸图像中的任意一张样本人脸图像，所述对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量，包括：采用多层感知器自监督算法对所述样本人脸图像Q对应的L个特征向量进行处理，以得到所述样本人脸图像Q对应的L个权重；采用所述样本人脸图像Q对应的L个权重对所述样本人脸图像Q对应的L个特征向量进行归一化处理，以得到所述样本人脸图像Q对应的第一特征向量。

其中，所述归一化处理为将所述样本人脸图像Q对应的L个特征向量输入预设第一公式。该预设第一公式为：

进一步的，所述多层感知器自监督算法包括至少一个全连接层和分类器。其中，该分类器例如可以为softmax。

参见图1B，图1B为本申请实施例提供的一种多层感知器自监督算法的示意图。如图1B所示，所述L个权重是将所述L个特征向量输入所述多层感知器自监督算法包括的至少一个全连接层和分类器得到的。即，将样本人脸图像Q对应的L个特征向量输入全连接层1至全连接层n后得到输出结果，再将该输出结果输入分类器中，即可得到L个权重。再将L个权重和样本人脸图像Q对应的L个特征向量输入预设第一公式，以得到样本人脸图像Q对应的第一特征向量。

进一步的，所述样本人脸图像Q对应的L个特征向量包括所述样本人脸图像Q对应的第二特征向量，所述样本人脸图像Q对应的第二特征向量是采用关键点检测算法对所述样本人脸图像Q进行处理得到的。

其中，关键点检测算法是采用包括人体关键点的样本图像进行训练得到的。人体关键点例如可以为颈部、肩部等，在本申请中不做限制。进一步的，样本人脸图像Q对应的第二特征向量包括样本人脸图像Q中的人体关键点的位置和概率。

另外，参见图1C，图1C为本申请实施例提供的又一种人脸活体检测模型的训练方法的流程示意图。如图1C所示，所述样本人脸图像Q对应的第二特征向量是神经网络A的输出数据，该神经网络A的输入数据为由所述样本人脸图像Q中的人体关键点的位置和概率构成的特征向量，该神经网络A为一维神经网络，该神经网络A用于提升由样本人脸图像Q中的人脸关键点的位置和概率构成的特征向量的鲁棒性。

进一步的，所述样本人脸图像Q对应的L个特征向量还包括样本人脸图像Q对应的第三特征向量。所述样本人脸图像Q对应的第三特征向量是根据所述样本人脸图像Q中的人脸部位确定的。人脸部位例如可以包括眼睛和鼻子。进一步的，所述样本人脸图像Q对应的第三特征向量是神经网络B的输出数据，神经网络B的输入数据为所述样本人脸图像Q对应的融合图像。其中，神经网络B用于提取所述样本人脸图像Q对应的第三特征向量，所述样本人脸图像Q对应的融合图像是根据所述样本人脸图像Q和所述样本人脸图像Q对应的mask(掩膜)图像确定的，所述样本人脸图像Q对应的mask图像是对所述样本人脸图像Q中的人脸部位进行标注得到的。进一步的，所述样本人脸图像Q对应的mask图像中与人脸部位对应的区域为1，其他区域为0。

进一步的，所述样本人脸图像Q对应的L个特征向量还包括样本人脸图像Q对应的第四特征向量根据光流信息确定。该光流信息是从光流图中获取的，该光流图是根据连续的两张图像帧确定的，其中，两张图像帧中的一张图像帧为样本人脸图像Q，两张图像帧中的另一张图像帧与样本人脸图像Q包括的人脸相同。进一步的，所述样本人脸图像Q对应的第四特征向量是神经网络C的输出数据，神经网络C的输入数据是按照预设第二公式对该光流图进行计算得到的。神经网络C为一维神经网络，神经网络C用于提升神经网络C输入数据的鲁棒性。

其中，所述预设第二公式为：

其中，EntroQy为交叉熵损失值，Q为所述样本人脸图像Q对应的光流图的区间个数。假设，以30度为一个区间，那么，所述样本人脸图像Q对应的光流图可以划分为12个区间，即Q为12。进一步的，H

103、对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量；

104、采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，N为大于0的整数；

其中，N例如可以为1、2、3、4、5、6、11、15等数值。

105、根据所述第一损失函数值更新人脸活体检测模型。

可以看出，上述技术方案中，获取M张样本人脸图像，为提取特征向量做准备；从所述M张样本人脸图像中的每张样本人脸图像提取L个特征向量，以得到K个特征向量，为后续融合特征向量做准备；对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量，实现特征向量的融合，为后续采用多个损失函数对融合后的特征向量处理做准备；采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，采用多个损失函数对多个特征向量以及融合后的特征向量进行处理，提高了第一损失函数值的精确度；根据所述第一损失函数值更新人脸活体检测模型，在增大了同类别样本之间的距离以及缩小不同类样本之间的距离方面优化了人脸活体检测模型，提高了人脸活体检测模型活体与非活体分类的准确性，提升用户体验。同时，实现了在无用户配合下人脸活体的检测。

可选的，在一种可能的实施方式中，所述方法还包括：获取人脸图像；将所述人脸图像输入更新后的人脸活体检测模型，以确定所述人脸图像中的人脸是否来自于活体。

其中，该人脸图像是利用双目RGB-IR摄像头采集的。

进一步的，在一种可能的实施方式中，所述将所述人脸图像输入更新后的人脸活体检测模型，以确定所述人脸图像中的人脸是否来自于活体，包括：根据所述人脸图像，确定人体关键点信息、人脸部位信息和光流信息；从所述人体关键点信息、所述人脸部位信息和所述光流信息中分别提取出所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量；对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量进行融合处理，得到融合特征向量；通过所述更新后的人脸活体检测模型中的损失函数对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量、所述人脸图像对应的第三特征向量和所述融合特征向量进行计算，并根据计算结果判断所述人脸图像中的人脸是否来自于活体。

其中，人体关键点信息包括该人脸图像中人体关键点的位置和概率，人体关键点例如可以为颈部、肩部等。人脸部位信息包括该人脸图像中的眼睛和鼻子。光流信息是根据连续的至少2张包括该人脸图像中人脸的图像帧确定的。

需要说明的，所述人脸图像对应的第一特征向量是采用关键点检测算法对人体关键点信息进行处理得到的；所述人脸图像对应的第二特征向量是神经网络B对人脸部位信息进行处理得到的。另外，人脸部位信息是从所述人脸图像和所述人脸图像对应的mask图像确定的，所述人脸图像对应的mask图像是对所述人脸图像中的人脸部位进行标注得到的，所述人脸图像对应的mask图像中与人脸部位对应的区域为1，其他区域为0。

进一步的，所述对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量进行融合处理，得到融合特征向量，包括：采用所述多层感知器自监督算法对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量进行处理，以得到三个权重；采用所述三个权重对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量进行归一化处理，以得到所述融合特征向量。

其中，所述归一化处理为将所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量输入预设第三公式。该预设第三公式为：

可以看出，上述技术方案中，通过利用更新后的人脸活体检测模型来检测人脸图像中的人脸是否来自于活体，实现了在无用户配合下人脸活体的检测。同时，由于该人脸活体检测模型是基于第一损失函数值更新的，提高了该人脸活体检测模型活体与非活体分类的准确性，提升用户体验。参见图2，图2为本申请实施例提供的又一种人脸活体检测模型的训练方法的流程示意图。其中，如图2所示，所述N个损失函数包括第一损失函数、第二损失函数和第三损失函数，所述采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，包括：

201、采用所述第一损失函数分别对所述K个特征向量中的同一类特征向量以及所述M个第一特征向量进行处理，以得到L+1个第一损失函数值；

其中，所述第一损失函数为：

其中，L

其中，p

可以理解的，L+1个第一损失函数值包括第一损失函数值A、第一损失函数值B、第一损失函数值C和第一损失函数值D。第一损失函数值A是采用第一损失函数对M个第一特征向量进行处理得到的；第一损失函数值B是采用第一损失函数对M个第二特征向量进行处理得到的，M个第二特征向量与M张样本人脸图像一一对应；第一损失函数值C是采用第一损失函数对M个第三特征向量进行处理得到的，M个第三特征向量与M张样本人脸图像一一对应；第一损失函数值D是采用第一损失函数对M个第四特征向量进行处理得到的，M个第四特征向量与M张样本人脸图像一一对应。进一步的的，M个第二特征向量、M个第三特征向量和M个第四特征向量均包含于K个特征向量。

202、采用所述第二损失函数对所述K个特征向量进行处理，以得到L个第二损失函数值；

进一步的，所述第二损失函数为：

其中，L

其中，y

进一步的，第二损失函数值A为L个第二损失函数值中的任意一个第二损失函数值，第二损失函数值A是对

进一步的，在第一样本人脸图像对应的标签与第二样本人脸图像对应的标签相同时，y

其中，d为第一样本人脸图像对应的特征向量与第二样本人脸图像对应的特征向量之间的欧式距离。

其中，m为预设欧式距离阈值。

举例来说，第一样本人脸图像对应的特征向量为第二特征向量，第二样本人脸图像对应的特征向量为第三特征向量，那么，d为第一样本人脸图像对应的第二特征向量与第二样本人脸图像对应的第三特征向量之间的欧式距离。

又举例来说，第一样本人脸图像对应的特征向量为第二特征向量，第二样本人脸图像对应的特征向量为第四特征向量，那么，d为第一样本人脸图像对应的第二特征向量与第二样本人脸图像对应的第四特征向量之间的欧式距离。

又举例来说，第一样本人脸图像对应的特征向量为第三特征向量，第二样本人脸图像对应的特征向量为第四特征向量，那么，d为第一样本人脸图像对应的第三特征向量与第二样本人脸图像对应的第四特征向量之间的欧式距离。

203、采用所述第三损失函数对所述K个特征向量中的第二特征向量进行处理，以得到第三损失函数值。

其中，所述第三损失函数值与每组样本人脸图像对应的两个第二特征向量有关，所述两个第二特征向量中一个第二特征向量为每组样本人脸图像包括的第三样本人脸图像对应的第二特征向量，所述两个第二特征向量中另一个第二特征向量为每组样本人脸图像包括的第四样本人脸图像对应的第二特征向量。

其中，所述第三损失函数为：

其中，L

其中，y

进一步的，第三损失函数值是对

在第一样本人脸图像对应的标签与第二样本人脸图像对应的标签相同时，y

进一步的，n

204、根据所述L+1个第一损失函数值、所述L个第二损失函数值和所述第三损失函数值，确定所述第一损失函数值。

可以看出，上述技术方案中，实现了基于特征向量确定损失函数值，实现了基于第一损失函数值训练人脸活体检测模型的训练，为实现在无用户配合下人脸活体的检测做准备。

参见图3，图3为本申请实施例提供的一种人脸活体检测模型的训练装置的结构示意图。其中，如图3所示，该人脸活体检测模型的训练装置300可以包括：

获取模块301，用于获取M张样本人脸图像，M为大于0的整数；

提取模块302，用于从所述M张样本人脸图像中的每张样本人脸图像提取L个特征向量，以得到K个特征向量，K＝M*L，L为大于0且不大于K的整数；

融合模块303，用于对所述每张样本人脸图像的L个特征向量进行融合处理，以得到M个第一特征向量；

可选的，在一种可能的实施方式中，样本人脸图像Q为所述M张样本人脸图像中的任意一张样本人脸图像，所述融合模块，具体用于采用多层感知器自监督算法对所述样本人脸图像Q对应的L个特征向量进行处理，以得到所述样本人脸图像Q对应的L个权重；采用所述样本人脸图像Q对应的L个权重对所述样本人脸图像Q对应的L个特征向量进行归一化处理，以得到所述样本人脸图像Q对应的第一特征向量。

计算模块304，用于采用N个损失函数对所述K个特征向量以及所述M个第一特征向量进行处理，以得到第一损失函数值，N为大0的整数；

可选的，在一种可能的实施方式中，所述N个损失函数包括第一损失函数、第二损失函数和第三损失函数，计算模块304，具体用于采用所述第一损失函数分别对所述K个特征向量中的同一类特征向量以及所述M个第一特征向量进行处理，以得到L+1个第一损失函数值；采用所述第二损失函数对所述K个特征向量进行处理，以得到L个第二损失函数值；采用所述第三损失函数对所述K个特征向量中的第二特征向量进行处理，以得到第三损失函数值；根据所述L+1个第一损失函数值、所述L个第二损失函数值和所述第三损失函数值，确定所述第一损失函数值。

更新模块305，用于根据所述第一损失函数值更新人脸活体检测模型。

可选的，在一种可能的实施方式中，所述装置还包括确定模块306，所述获取模块301，还用于获取人脸图像；所述确定模块306，用于将所述人脸图像输入更新后的人脸活体检测模型，以确定所述人脸图像中的人脸是否来自于活体。

可选的，在一种可能的实施方式中，所述确定模块306，具体用于根据所述人脸图像，确定人体关键点信息、人脸部位信息和光流信息；从所述人体关键点信息、所述人脸部位信息和所述光流信息中分别提取出所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量；对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量和所述人脸图像对应的第三特征向量进行融合处理，得到融合特征向量；通过所述更新后的人脸活体检测模型中的损失函数对所述人脸图像对应的第一特征向量、所述人脸图像对应的第二特征向量、所述人脸图像对应的第三特征向量和所述融合特征向量进行计算，并根据计算结果判断所述人脸图像中的人脸是否来自于活体。

参见图4，图4为本申请实施例提供的又一种人脸活体检测模型的训练装置的结构示意图。如图4所示，该装置400包括至少一个处理器401，至少一个存储器402以及至少一个通信接口403。所述处理器401、所述存储器402和所述通信接口403通过所述通信总线连接并完成相互间的通信。

处理器401可以是通用中央处理器(CQU)，微处理器，特定应用集成电路(aQQlication-sQecific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。

存储器402可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Qrogrammable Read-Only Memory，EEQROM)、只读光盘(ComQact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，所述存储器402用于存储执行一种人脸活体检测模型的训练方法的一个或多个程序，并由处理器401来控制执行。所述处理器401用于执行所述存储器402中存储的一个或多个程序。

通信接口403，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种人脸活体检测模型的训练方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应所述知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应所述知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。