一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备

技术领域

本发明涉及人脸质量评估和深度学习领域，具体涉及一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备。

背景技术

目前，在智慧城市、智慧安防等领域，人脸相关的智能技术是一项重要的技术。其在公共交通站的应用，大大的便利了人们的生活，对于保障公民安全和社会安全也有重要的意义。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的人脸检测技术和关键点检测技术在实现上是相对割裂的。其人脸算法流程，尤其是在终端使用的人脸算法流程中，为了同时保证检测的速度和精度，最大化的利用终端资源，人脸检测和关键点检测是串联的，这是实现上的割裂。在这种串联的结构上，人脸检测模型与关键点检测模型训练过程也是完全割裂的，没有针对性的匹配训练策略。最新的人脸检测算法有一些可以同时输出人脸检测和关键点，但是它们无法保证在低性能终端的检测精度和速度。

发明内容

为了克服现有技术的不足，本公开实施例提供了一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备，提高了人脸检测模型的位置预测精度。技术方案如下：

第一方面，提供了一种人脸检测和关键点检测的模型串联训练方法，所述方法包括：

步骤1，获取数据集；

收集各种人脸数据集，统一其人脸检测框标注格式，根据实际需求，选取人脸检测模型，人脸关键点检测模型；并对数据集中的人脸做人脸关键点检测标注；

步骤2，训练；

(1)模型单独训练阶段

对人脸检测模型进行单独训练，训练至其训练损失函数收敛或者接近收敛状态。

(2)人脸检测模型和人脸关键点检测模型串联训练阶段

在串联训练阶段，一个批次的人脸检测训练样本pics的图片经过人脸检测模型，产生该批次的人脸检测框预测结果；若人脸检测框预测结果中包含人脸的40～70％以上的人脸关键点，则将截取人脸检测框所对应的原图片中的区域作为人脸关键点检测的训练样本，即可得该批次的人脸关键点检测训练样本faces；

在人脸检测模型和人脸关键点检测模型串联训练过程中，人脸检测模型给人脸关键点检测模型提供了困难样本输入，在检测过程中，使得后级的人脸关键点检测模型对于前级的人脸检测模型的输出有很好的预测效果。

优选的，步骤1的人脸检测模型为一阶段的人脸检测模型。

优选的，步骤1人脸关键点模型为五个人脸关键点的人脸关键点模型，五个人脸关键点分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角。

优选的，步骤2中模型单独训练阶段还包括：对人脸关键点检测模型进行预训练，对人脸关键点检测模型进行单独训练，训练至其训练损失函数收敛或者接近收敛。

进一步的，步骤2的(2)中若人脸检测框预测结果中包含人脸的50％以上的人脸关键点，则将截取人脸检测框所对应的原图片中的区域作为人脸关键点检测的训练样本，即可得该批次的人脸关键点检测训练样本faces。

优选的，人脸关键点检测样本pic_i_j，经由人脸关键点检测模型的产生的损失loss

α为参数，用于调节人脸关键点产生的损失对于人脸检测的影响程度，loss

与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：

通过任意人脸检测模型和人脸关键点检测模型的串联训练方法，设计了人脸关键点检测增强人脸检测位置回归的损失函数，把人脸检测和关键点检测有机结合起来，提高了人脸检测模型的位置预测精度。同时由于是共同训练，关键点检测的模型以人脸检测的输出为输入时，达到了更好的检测效果。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面将对本公开实施方式做进一步的详细描述。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请的说明书和权利要求书中的术语“步骤1”、“步骤2”、“步骤3”等类似描述(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里描述的那些以外的顺序实施。

第一方面，本公开实施例提供了一种人脸检测和关键点检测的模型串联训练方法，所述方法包括：

步骤1，获取数据集；

收集各种人脸数据集，统一其人脸检测框标注格式，根据实际需求，选取人脸检测模型，人脸关键点检测模型；并对数据集中的人脸做人脸关键点检测标注；

优选的，步骤1人脸检测模型为一阶段(one-stage)的人脸检测模型，一阶段的人脸检测模型速度较快；

优选的，步骤1人脸关键点模型为五个人脸关键点的人脸关键点模型，五个人脸关键点分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角，一方面便于标注，另一方面五个人脸关键点满足后续的人脸校正的需求。

步骤2，训练；

(1)模型单独训练阶段

对人脸检测模型进行单独训练，训练至其训练损失函数收敛或者接近收敛状态。

优选的，模型单独训练阶段还包括：对人脸关键点检测模型进行预训练，对人脸关键点检测模型进行单独训练，训练至其训练损失函数收敛或者接近收敛。在常规的训练方法中就是仅仅对两种模型分别进行单独训练。

(2)人脸检测模型和人脸关键点检测模型串联训练阶段

在串联训练阶段，一个批次(batch)的人脸检测训练样本pics(图片分别为pic_1,pic2…)的图片经过人脸检测模型，产生该批次的人脸检测框预测结果；若人脸检测框预测结果中包含人脸的40～70％(优选为50％)以上的人脸关键点，则将截取人脸检测框所对应的原图片中的区域作为人脸关键点检测的训练样本，即可得该批次的人脸关键点检测训练样本faces；(pic_1_1,pic_1_2,pic_2_1…，pic_1_1表示来源于pic1)故而人脸关键点检测模型的批次量(batch size)不是固定的，而是根据前面人脸检测模型的预测结果来确定的。

由于人脸关键点检测训练样本faces中有类似人脸图片不完整(取决于人脸检测模型的预测效果，部分人脸检测框不能完整的包含人脸)等情形，给人脸关键点检测模型提供了一些该人脸检测模型产生的困难样本。在人脸检测模型和人脸关键点检测模型串联训练过程中，人脸检测模型给人脸关键点检测模型提供了困难样本输入，在检测过程中，使得后级的人脸关键点检测模型对于前级的人脸检测模型的输出有很好的预测效果。通过把人脸检测模型和人脸关键点检测模型串联训练的过程，正是由于困难样本的存在，使得检测应用过程中，后级的人脸关键点检测模型对于前级的人脸检测模型的输出有很好的预测效果。由于人脸关键点检测训练样本faces中的部分人脸图片不完整，不包含完整的人脸关键点，但是在最原始的图片关键点标注中，该人脸的关键点标注信息是完整的。虽然输入的人脸图片样本不完整，不包含完整的人脸关键点，但是人脸关键点的位置信息标注是完整的，存在缺失的人脸关键点的相对位置。这种样本有利于提高人脸关键点检测模型对于不完整人脸图片输入来预测缺失人脸关键点位置的能力。

优选的，人脸关键点检测样本(如pic_1_1)经由人脸关键点检测模型的产生的损失(如loss

α为参数，用于调节人脸关键点产生的损失对于人脸检测的影响程度，loss

如果人脸检测模型预测的人脸框型不准，可能会导致后续的人脸关键点检测模型的关键点预测不准，进而通过人脸关键点模型损失加权到人脸检测模型损失的设定，促使人脸检测模型产生更大的损失，强化人脸检测模型对于这种样本的检测能力。而人脸检测框型不准，人脸关键点检测准确的情形，无需进一步扩大人脸检测模型损失，因为人脸关键点准确，已满足后续的人脸校正，人脸识别需求。通过人脸关键点损失加权到人脸检测模型损失的方式，使得人脸检测模型的输出更有利于人脸关键点检测模型预测更为准确的人脸关键点。

第二方面，本公开实施例提供了一种人脸检测和关键点检测的模型串联训练装置，

基于相同的技术构思，该装置包括获取单元、训练单元；

所述获取单元，用于执行所有可能的实现方式中任一项所述的一种人脸检测和关键点检测的模型串联训练方法的步骤1的步骤；

所述训练单元，用于执行所有可能的实现方式中任一项所述的一种人脸检测和关键点检测的模型串联训练方法的步骤2的步骤。

需要说明的是，上述实施例提供的一种人脸检测和关键点检测的模型串联训练装置在执行一种人脸检测和关键点检测的模型串联训练方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外上述实施例提供的一种人脸检测和关键点检测的模型串联训练装置与一种人脸检测和关键点检测的模型串联训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

第三方面，本公开实施例提供了一种终端设备，该终端设备包括所有可能的实现方式中任一项所述一种人脸检测和关键点检测的模型串联训练装置。

以上对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。