一种人脸检测与识别方法及系统

技术领域

本发明涉及人工智能领域，特别涉及一种人脸检测与识别方法及系统。

背景技术

随着科技的发展与进步，人脸识别在打击犯罪、防止欺诈、确保公共安全以及广泛改善各行业的客户体验等方面有着十分广泛的应用。如识别犯罪嫌疑人，寻找失踪儿童、智慧门店、人脸支付等。人脸识别是使用面部信息进行识别或验证一个人身份的过程，它通常包含三个步骤，步骤1：人脸检测，它是其中必不可少的一个步骤，因为它可以检测并定位图像或视频中的人脸；步骤2：对检测得到的人脸进行对齐，然后利用人脸特征提取技术将一张人脸转化成一串向量；步骤3：对得到的特征向量计算人脸相似度来判断两个人脸是否属于同一个人。

现有的人脸识别都是以串联形式来执行这三个步骤，通过分布设计人脸检测网络和人脸识别网络来实现这两个功能，并且在人脸识别过程中，提取特征向量的时间与检测到的人脸框数目成正比，人脸数目越多提取特征向量所消耗的时间也越多，因此，这种形式的人脸识别方法存在着耗时的缺陷。

发明内容

为了解决现有技术中的缺陷，本发明设计了一种可同时进行人脸检测和人脸识别两个任务的人脸识别的方法，提高了人脸检测与识别的效率且节约了计算机资源。

本发明的技术方案如下：

一种人脸检测与识别方法，其特征在于：包括以下步骤：

S1：对标注了人脸框的图像进行预处理生成训练样本；

S2：构建人脸检测与识别网络，所述人脸检测与识别网络采用深度学习网络，并将网络高层次特征和低层次特征相融合；

S3：将训练样本输入构建好的人脸检测与识别网络进行训练，直至训练损失值小于预设阈值时完成训练，获得可输出人脸检测和人脸识别结果的深度学习网络；

所述深度学习网络进行人脸检测包括以下步骤：

S31：生成人脸中心点热力图、人脸中心点偏移量图、人脸宽高图；

S32：对人脸中心点热力图执行非极大值抑制算法，提取峰值点后分别计算其热力响应值，选取热力响应值大于阈值的点作为候选人脸中心点，然后在上述人脸中心点偏移量图的对应位置提取人脸中心点偏移量，相加后获得人脸中心点位置，最后在上述人脸宽高图对应位置提取人脸宽高值，生成人脸框；

所述深度学习网络进行人脸识别包括以下步骤：

S33：在执行步骤S31时，同时提取整张图像的图像特征向量；

S34：从图像特征向量中选取上述人脸框位置对应的特征向量作为人脸特征向量，用上述人脸特征向量与数据库存储的每个人脸特征向量进行匹配，得出人脸识别结果；

所述训练损失值由人脸中心点热力图损失、人脸中心点偏移量图损失、人脸宽高图损失以及人脸识别损失叠加而成。

优选的，令图像上第i个人脸框用其左上和右下两个点的方式表示为

其中，N表示图像上人脸框的数目，σ

则所述人脸中心点热力图的损失表示为：

其中，α、β为调制系数；

优选的，令图像上第i个人脸框用其左上和右下两个点的方式表示为：

其中，

令图像上第i个人脸框的人脸中心点表示为

其中，

优选的，令图像上第i个人脸框在人脸中心点热力图上的目标中心点为

其中，N为人脸框数目，K为类别数；p

优选的，所述人脸检测与识别网络采用resnet34或Googlenet作为骨干网络。

一种人脸检测与识别系统，包括：

图像预处理模块，用于对标注了人脸框的图像进行预处理生成训练样本；

人脸特征提取模块，用于生成人脸中心点热力图、人脸中心点偏移量图、人脸宽高图，以及提取整张图像的图像特征向量；

训练损失计算模块，用于计算人脸中心点热力图损失、人脸中心点偏移量图损失、人脸宽高图损失以及人脸识别损失，并进行叠加计算，直至训练损失值小于预设阈值时完成训练，获得可输出人脸检测和人脸识别结果的深度学习网络；

人脸检测模块，用于对人脸中心点热力图执行非极大值抑制算法，提取峰值点后分别计算其热力响应值，选取热力响应值大于阈值的点作为候选人脸中心点，然后在上述人脸中心点偏移量图的对应位置提取人脸中心点偏移量，相加后获得人脸中心点位置，最后在上述人脸宽高图对应位置提取人脸宽高值，生成人脸框；

人脸识别模块，用于从图像特征向量中选取上述人脸框位置对应的特征向量作为人脸特征向量，用上述人脸特征向量与数据库存储的每个人脸特征向量进行匹配，得出人脸识别结果。

采用上述技术方案，与现有技术相比，本发明具有如下有益效果：

本发明通过设计了人脸检测与识别网络，将人脸检测视为人脸中心点问题，通过将人脸中心点检测与人脸特征向量提取联合起来进行学习，在得到人脸框的同时，可获取到人脸框对应的人脸特征向量，再执行人脸特征向量的比对得出人脸识别结果，从而网络输出人脸检测与人脸识别结果。本发明人脸检测与人脸识别共用一个网络，减少了推理时间，且前向时间与待检测图片中的人脸数目无关，提高了人脸识别的效率，再者，多任务学习能够对学习互相督促，有利于网络性能的提升；另一方面，由于将人脸检测视为人脸中心点问题，克服了现有技术中多个人脸先眼框负责同一人脸的身份信息容易引起歧义的技术难点。

附图说明

图1为本发明人脸检测与识别方法流程框图；

图2为本发明人脸检测与识别方法整体工作流程图；

图3为本发明人脸检测与识别网络结构图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

参见图1所示，本发明的人脸检测与识别方法，包括以下步骤：

S1：对标注了人脸框的图像进行预处理生成训练样本；

S2：构建人脸检测与识别网络，所述人脸检测与识别网络采用深度学习网络，并将网络高层特征和低层特征相融合；

参见图3，本实施例中，人脸检测与识别网络采用resnet34网络作为骨干网络，网络通过多个跳跃连接，将网络高层次和低层次特征融合，使得其特征更鲁棒；

S3：将训练样本输入构建好的人脸检测与识别网络进行训练，直至训练损失值小于预设阈值时完成训练，获得可输出人脸检测和人脸识别结果的深度学习网络；

参见图1及图2，所述深度学习网络进行人脸检测包括以下步骤：

S31：生成人脸中心点热力图、人脸中心点偏移量图、人脸宽高图；

本实施例中，步长设为4，输入C×H×W的图像，C表示通道数，H和W分别表示图像的高和宽，通过resnet34网络后，最终得到形状为C×H/4×W/4的特征图；

参见图2及图3，网络包括实现人脸检测功能部分，第一个分支用于预测人脸中心点热力图，由一个256×3×3的卷积和一个1×1×1的卷积组成，最终得到1×H/4×W/4的热力图

S32：对人脸中心点热力图执行非极大值抑制算法，提取峰值点后分别计算其热力响应值，选取热力响应值大于阈值的点作为候选人脸中心点，然后在上述人脸中心点偏移量图的对应位置提取人脸中心点偏移量，相加后获得人脸中心点位置，最后在上述人脸宽高图对应位置提取人脸宽高值，生成人脸框；

参见图2及图3，所述深度学习网络进行人脸识别包括以下步骤：

S33：在执行步骤S31时，同时提取整张图像的图像特征向量；

S34：从图像特征向量中选取上述人脸框位置对应的特征向量作为人脸特征向量，用上述人脸特征向量与数据库存储的每个人脸特征向量进行匹配，得出人脸识别结果；

人脸识别需要得到人脸的特征向量，其本质是一个分类任务，仅需要一个分支，本实施例中，网络由一个256×3×3的卷积、一个128×1×1的卷积(用于得到人脸特征向量)，一个K×1×1的卷积层组成，K表示人脸id数，即分类的类别数，采用对应的人脸特征向量作为人脸ID的标识。

参见图2，本发明的一种实施例中，人脸检测与识别方法包括以下步骤：

制作特征向量数据库：

将数据库中每个id的人脸图像作为网络输入，提取对应的特征向量

人脸检测与特征提取：

使用3×960×720的图像作为输入，得到1×240×180的人脸中心点热力图、2×240×180的人脸中心点偏移量图及2×240×180人脸的宽高图、128×240×180的图像特征向量。对1×240×180的人脸中心点热力图执行非极大值抑制算法，提取峰值人脸中心点，得到热力响应值大于T

人脸匹配：

将人脸特征向量集合

本实施例中取T

本发明实施例中，所述训练损失值由人脸中心点热力图损失、人脸中心点偏移量图损失、人脸宽高图损失以及人脸识别损失叠加而成。

进一步的，令图像上第i个人脸框用其左上和右下两个点的方式表示为

其中，N表示图像上人脸框的数目，σ

则所述人脸中心点热力图的损失表示为：

其中，α、β为调制系数，本实施例中，分别设为1，2；

进一步的，令图像上第i个人脸框用其左上和右下两个点的方式表示为：

其中，

本实施例中，令图像上第i个人脸框的人脸中心点表示为

其中，

本实施例中，n值为4，对于标注框

进一步的，令图像上第i个人脸框在人脸中心点热力图上的目标中心点为

其中，N为人脸框数目，K为类别数；p

本实施例中，K值取10000，当第i个人脸框属于第1个id，则L

本发明提供的实施例中，所述人脸检测与识别网络采用resnet34或Googlenet作为骨干网络。

本发明还提供一种人脸检测与识别系统，包括：

图像预处理模块，用于对标注了人脸框的图像进行预处理生成训练样本；

人脸特征提取模块，用于生成人脸中心点热力图、人脸中心点偏移量图、人脸宽高图，以及提取整张图像的图像特征向量；

训练损失计算模块，用于计算人脸中心点热力图损失、人脸中心点偏移量图损失、人脸宽高图损失以及人脸识别损失，并进行叠加计算，直至训练损失值小于预设阈值时完成训练，获得可输出人脸检测和人脸识别结果的深度学习网络；

人脸检测模块，用于对人脸中心点热力图执行非极大值抑制算法，提取峰值点后分别计算其热力响应值，选取热力响应值大于阈值的点作为候选人脸中心点，然后在上述人脸中心点偏移量图的对应位置提取人脸中心点偏移量，相加后获得人脸中心点位置，最后在上述人脸宽高图对应位置提取人脸宽高值，生成人脸框；

人脸识别模块，用于从图像特征向量中选取上述人脸框位置对应的特征向量作为人脸特征向量，用上述人脸特征向量与数据库存储的每个人脸特征向量进行匹配，得出人脸识别结果。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。