一种戴口罩人脸识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人脸识别领域，尤其涉及一种戴口罩人脸识别方法、装置、电子设备及存储介质。

背景技术

随着人们的卫生逐渐增强，对流行疾病的防范意识有显著提高，越来越多人在出入各种公共场合时会选择佩戴口罩，然而佩戴口罩会导致人脸识别准确率大大下降，因此有必要对现有的人脸识别模型进行改进以适应戴口罩人脸检测场景。

当前，由于戴口罩会导致人脸可用的像素区域减少，目前业内公开的真实的戴口罩人脸的人脸识别数据集较少，无法直接作为模型训练的数据使用，需要重新采集大量的数据来对模型进行训练，而这样不仅训练过程慢，同时也大大增加工作量。

发明内容

有鉴于此，本发明实施例提供了一种戴口罩人脸识别方法、装置、电子设备及存储介质，以解决现有戴口罩人脸识别训练过程慢，且工作量大的问题。

在本发明实施例的第一方面，提供了一种戴口罩人脸识别方法，包括：

将开源的arcface人脸识别模型拆分成主干网络和教师网络；

将主干网络输出特征的下半部分置为零，模拟人脸戴口罩后特征减少的特征图；

构建学生网络，将人脸戴口罩后特征减少的特征图输入学生网络得到掩膜处理后的人脸特征向量；

定义距离损失和三元组损失作为联合损失函数对学生模型进行训练；

输入未戴口罩人脸至训练好的人脸识别模型中，将教师网络和学生网络得到特征向量分别存入人脸识别数据库中；

根据待识别人脸是否佩戴口罩，将教师网络的人脸特征向量或学生网络的人脸特征向量与待识别人脸特征进行比对，输出人脸识别结果。

在本发明实施例的第二方面，提供了一种用于戴口罩人脸识别的装置，包括：

拆分单元，用于将开源的arcface人脸识别模型拆分成主干网络和教师网络；

模拟单元，用于将主干网络输出特征的下半部分置为零，模拟人脸戴口罩后特征减少的特征图；

构建单元，用于构建学生网络，将人脸戴口罩后特征减少的特征图输入学生网络得到掩膜处理后的人脸特征向量；

训练单元，用于定义距离损失和三元组损失作为联合损失函数对学生模型进行训练；

输入单元，用于输入未戴口罩人脸至训练好的人脸识别模型中，将教师网络和学生网络得到特征向量分别存入人脸识别数据库中；

比对单元，用于根据待识别人脸是否佩戴口罩，将教师网络的人脸特征向量或学生网络的人脸特征向量与待识别人脸特征进行比对，输出人脸识别结果。

在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，通过对现有开源的人脸识别模型拆分，将主干网络输出特征置为0，模拟戴口罩后特征减少后的人脸，构建学生网络，定义距离损失和三元组损失作为联合损失函数进行模型训练，基于教师网络和学生网络，从而可以对戴口罩和未戴口罩人脸分别进行特征比对，识别人脸。省略了传统的softmax分类层，减少大量模型参数，并基于掩膜模拟戴口罩人脸特征丢失，方便使用人脸数据集进行模型训练，减少样本采集标注的工作量在已有的人脸检测模型基础上，同时提取戴口罩和未戴口罩人脸特征，相对于现有采集样本训练的方法，减少了模型参数和计算量，训练过程简单高效，由此，解决了现有戴口罩人脸识别训练过程慢，且工作量大的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的一种戴口罩人脸识别方法的流程示意图；

图2为本发明的一个实施例提供的一种戴口罩人脸识别模型的结构示意图；

图3为本发明的一个实施例提供的一种用于戴口罩人脸识别的装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。

请参阅图1，图1为本发明一个实施例提供的一种戴口罩人脸识别方法的流程示意图，包括：

S101、将开源的arcface人脸识别模型拆分成主干网络和教师网络；

具体的，使用开源的arcface人脸识别模型做为基线，从中间的特征层开始，选择上半部分作为arcface模型主干，下半部分作为教师网络。教师网络可以输出512维度的特征向量。

S102、将主干网络输出特征的下半部分置为零，模拟人脸戴口罩后特征减少的特征图；

示例性的，取主干网络输出的特征层为特征f，将特征图f的下3/7区域的特征值置为0，用于模拟带口罩后导致的人脸特征减少，记为f

S103、构建学生网络，将人脸戴口罩后特征减少的特征图输入学生网络得到掩膜处理后的人脸特征向量；

在已有的人脸特征图上，增加掩膜，将特征减少后的人脸特征作为学生网络的输入。

S104、定义距离损失和三元组损失作为联合损失函数对学生模型进行训练；

定义距离损失为：

定义三元组损失为：

所述联合损失函数为：L＝L

其中，挑选锚定人脸，以及与其类别相同的人脸和类别不同的人脸作为合适的三元组，形成同一批次的图像输入到网络中。

可以理解的是，本发明实施例中使用已经训练好的arcface模型作为基线，因此联合损失函数计算得到的梯度只用于训练学生网络。

S105、输入未戴口罩人脸至训练好的人脸识别模型中，将教师网络和学生网络得到特征向量分别存入人脸识别数据库中；

对于训练后的模型，输入一张未戴口罩的人脸图像，可以通过教师模型和学生模型获得两个特征向量，将两个特征向量分别存入人脸识别数据库

S106、根据待识别人脸是否佩戴口罩，将教师网络的人脸特征向量或学生网络的人脸特征向量与待识别人脸特征进行比对，输出人脸识别结果。

具体的，通过开源的retinaface人脸检测模型检测判断待识别人脸是否佩戴口罩；

若未佩戴口罩，将检测到的人脸图像输入模型中，得到教师模型向量，将其与数据库中教师模型对应的人脸特征向量进行比对，选择相似度最大且超过预设阈值的人脸作为识别结果，其中，人脸特征相似度通过余弦距离衡量；

若佩戴口罩，则将检测到的人脸图像输入模型中得到学生网络模型向量，并与数据库中学生模型对应的人脸特征向量进行比对，选择相似度最大且超过预设阈值的人脸作为识别结果。

在一个实施例中，如图2所示，对于输入的人脸图像，通过arcface模型的主干网络提取人脸特征图，将其输入教师网络中，可以得到未戴口罩的人脸特征向量。在人脸特征图中增加掩膜(mask)后，输入学生网络，可以得到戴口罩人脸特征向量。由此，可以分别对人脸戴口罩和未戴口罩进行检测识别。

本实施例提供的方法，省略了传统的softmax分类层，减少了大量的模型参数。针对真实的戴口罩人脸识别数据集较少的问题，使用掩膜来模拟戴口罩导致的人脸特征的丢失，使用已有的人脸识别训练数据集即可完成训练，训练速度快、流程简单，减少工作量。同时，可以实现对戴口罩人脸和未戴口罩人脸特征向量的提取，仅增加一小部分的参数和计算量。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3为本发明实施例提供的一种用于戴口罩人脸识别的装置的结构示意图，该装置包括：

拆分单元310，用于将开源的arcface人脸识别模型拆分成主干网络和教师网络；

模拟单元320，用于将主干网络输出特征的下半部分置为零，模拟人脸戴口罩后特征减少的特征图；

构建单元330，用于构建学生网络，将人脸戴口罩后特征减少的特征图输入学生网络得到掩膜处理后的人脸特征向量；

训练单元340，用于定义距离损失和三元组损失作为联合损失函数对学生模型进行训练；

其中，所述联合损失函数为L＝L

进一步的，挑选锚定人脸，以及与锚定人脸类别相同的人脸和类别不同的人脸作为合适的三元组，形成同一批次的图像输入至学生网络中。

输入单元350，用于输入未戴口罩人脸至训练好的人脸识别模型中，将教师网络和学生网络得到特征向量分别存入人脸识别数据库中；

比对单元360，用于根据待识别人脸是否佩戴口罩，将教师网络的人脸特征向量或学生网络的人脸特征向量与待识别人脸特征进行比对，输出人脸识别结果。

具体的，所述比对单元360包括：

判断模块，用于通过开源的retinaface人脸检测模型检测判断待识别人脸是否佩戴口罩；

第一比对模块，若未佩戴口罩，将检测到的人脸图像输入教师模型中，并与数据库中教师模型对应的人脸特征向量进行比对，选择相似度最大且超过预设阈值的人脸作为识别结果，其中，人脸特征相似度通过余弦距离衡量；

第二比对模块，若佩戴口罩，则将检测到的人脸图像输入学生模型中，并与数据库中学生模型对应的人脸特征向量进行比对，选择相似度最大且超过预设阈值的人脸作为识别结果。

可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序执行如实施例一中步骤S101～S106，处理器执行所述计算机程序时实现戴口罩人脸识别模型的训练，以及对输入人脸的识别。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101～S106，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。