一种人脸预警效率提升方法及装置

技术领域

本发明涉及人脸预警技术领域，具体涉及一种人脸预警效率提升方法及装置。

背景技术

目前市面上常规的人脸预警技术通常是提取人脸特征值，然后通过特征值向目标特征库中人脸特征进行比对，如果超过对应的人脸阈值，则进行相关的预警。该方法如果在数据流很大的情况下，且目标特征人脸库很大的情况下，每一个人脸特征都和目标特征人脸库里面的人脸进行逐个比对，这个操作是十分耗时的，且无法做到实时性，并且，目标特征库中的特征可以因为光线等问题存在误差，导致比对的准确率降低的问题。

因此，急需提出一种人脸预警效率提升方法及装置，解决现有技术中存在的目标特征库中的特征可能存在误差导致比对的准确率降低，同时无法在数据流很大的情况下，且目标特征人脸库很大的情况下，快速的对人脸进行对比的技术问题。

发明内容

有鉴于此，有必要提供一种人脸预警效率提升方法及装置，用以解决现有技术中存在的目标特征库中的特征可能存在误差导致比对的准确率降低，同时无法在数据流很大的情况下，且目标特征人脸库很大的情况下，快速的对人脸进行对比的技术问题。

一方面，本发明提供了一种人脸预警效率提升方法，包括：

获取待比对人脸图像和人脸检测图像；

对所述待比对人脸图像进行特征提取和比对，更新流水队列，对所述人脸检测图像进行特征提取和比对，更新人脸预警库；所述流水队列和所述人脸预警库中包含有每个特征及对应的标签；

对所述人脸检测图像进行截图和特征提取，得到第一人脸特征，将所述第一人脸特征与所述流水队列中的所有特征进行比对，得到第一标签；

基于哈希算法对所述第一标签和所述人脸预警库中的所有特征的所有标签进行计算，得到目标人脸图像，并对所述人脸检测图像和所述目标人脸图像进行比对，得到相似度，根据所述相似度进行预警。

在一些可能的实现方式中，所述对所述待比对人脸图像进行特征提取和比对，更新流水队列，包括：

创建第一级特征缓存库、第二级特征缓存库和流水队列；

对所述待比对人脸图像进行特征提取，得到第二人脸特征；

获取历史人脸特征库，通过键值对的方式将所述历史人脸特征库缓存至所述二级特征缓存库；

根据所述第一级特征缓存库和所述第二级特征缓存库的人脸阈值对所述第二人脸特征进行判断，得到判断结果，根据所述判断结果，对所述第一级特征缓存库、所述第二级特征缓存库和所述流水队列进行更新。

在一些可能的实现方式中，所述根据所述第一级特征缓存库和所述第二级特征缓存库的人脸阈值对所述第二人脸特征进行判断，得到判断结果，根据所述判断结果，对所述第一级特征缓存库、所述第二级特征缓存库和所述流水队列进行更新，包括：

将所述第二人脸特征与所述第一级特征缓存库中的所有特征进行比对，得到第一比对结果，并判断所述第一比对结果是否大于第一人脸阈值；

若否，则根据所述第二级特征缓存库的第二人脸阈值对所述第二人脸特征进行判断，得到判断结果，根据所述判断结果，对所述第二级特征缓存库和所述流水队列进行更新；

若是，则根据所述第一比对结果和所述第二人脸特征对所述第一级特征缓存库进行更新。

在一些可能的实现方式中，所述根据所述第一比对结果和所述第二人脸特征对所述第一级特征缓存库进行更新，包括：

根据所述第一比对结果确定所述第一级特征缓存库中与所述第二人脸特征匹配的第三人脸特征；

确定所述第三人脸特征的第二标签，将所述第二标签确定为所述第二人脸特征的标签；

将所述第二人脸特征和所述第二标签存储至所述第一级特征缓存库，对所述第一级特征缓存库进行更新。

在一些可能的实现方式中，所述根据所述第二级特征缓存库的第二人脸阈值对所述第二人脸特征进行判断，得到判断结果，根据所述判断结果，对所述第二级特征缓存库和所述流水队列进行更新，包括：

将所述第二人脸特征与所述第二级特征缓存库中的所有特征进行分段多线程的比对，得到第二比对结果，并判断所述第二比对结果是否大于所述第二人脸阈值；

若是，则根据所述第二比对结果，确定所述第二级特征缓存库中与所述第二人脸特征匹配的第四人脸特征，并确定所述第四人脸特征的第三标签，将所述第三标签确定为所述第二人脸特征的标签，将所述第二人脸特征和所述第三标签存储至所述第二级特征缓存库，对所述第二级特征缓存库进行更新；

若否，则对所述第一级特征缓存库、所述第二级特征缓存库和所述流水队列进行更新。

在一些可能的实现方式中，所述对所述第一级特征缓存库、所述第二级特征缓存库和所述流水队列进行更新，包括：

根据所述第一级特征缓存库和所述第二级特征缓存库中的所有标签，生成与所述所有标签不同的第四标签；

将所述第四标签确定为所述第二人脸特征的标签；

将所述第二人脸特征和所述第四标签存储至所述第一级特征缓存库、所述第二级特征缓存库和所述流水队列，从而对所述第一级特征缓存库、所述第二级特征缓存库和所述流水队列进行更新。

在一些可能的实现方式中，所述根据所述相似度进行预警，包括：

判断所述相似度所处的相似度等级；

根据所述相似度等级输出对应的警告信息。

在一些可能的实现方式中，所述获取待比对人脸图像，包括：

对所述电子设备获取的视频流进行人脸分析，得到至少一个数据帧；

根据所述至少一个数据帧对所述视频流进行裁剪，得到人脸图像集，从所述人脸图像集中确定待比对人脸图像。

在一些可能的实现方式中，所述对所述待比对人脸图像进行特征提取和比对，更新流水队列之后，还包括：

判断所述人脸图像集中是否存在未进行特征提取和比对的人脸图像；

若是，则重新确定待比对人脸图像，对所述待比对人脸图像进行特征提取和比对，更新所述流水队列。

另一方面，本发明还提供了一种人脸预警效率提升装置，包括：

图像获取模块，用于获取待比对人脸图像和人脸检测图像；

队列更新模块，用于对所述待比对人脸图像进行特征提取和比对，更新流水队列，对所述人脸检测图像进行特征提取和比对，更新人脸预警库；所述流水队列和所述人脸预警库中包含有每个特征及对应的标签；

特征提取模块，用于对所述人脸检测图像进行截图和特征提取，得到第一人脸特征，将所述第一人脸特征与所述流水队列中的所有特征进行比对，得到第一标签；

特征计算模块，用于基于哈希算法对所述第一标签和所述人脸预警库中的所有特征的所有标签进行计算，得到目标人脸图像，并对所述人脸检测图像和所述目标人脸图像进行比对，得到相似度，根据所述相似度进行预警。

采用上述实施例的有益效果是：本发明提供的人脸预警效率提升方法，通过对电子设备获取的待比对人脸图像对流水队列进行更新，然后再对人脸检测图像进行特征提取和对比之后，进行了截图，并再次进行了特征提取，与更新后的流水队列进行了比对，从而可以避免因为电子设备光线等原因，造成误差，提高特征提取和比对的准确率。进一步的，还通过哈希算法对第一标签和人脸预警库中的所有特征的所有标签进行计算，从而在人脸预警库中存在大量的特征数据的情况下，快速的对人脸预警库中的所有特征进行处理，得到目标人脸图像，提高了人脸预警的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的人脸预警效率提升方法的一个实施例流程示意图；

图2为本发明提供的更新第一级特征缓存库、第二级特征缓存库和流水队列的一个实施例结构示意图；

图3为本发明提供的人脸预警效率提升装置的一个实施例结构示意图；

图4为本发明提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。

本发明实施例提供了一种人脸预警效率提升方法及装置，以下分别进行说明。

图1为本发明提供的人脸预警效率提升方法的一个实施例流程示意图，如图1所示，人脸预警效率提升方法包括：

S101、获取待比对人脸图像和人脸检测图像；

S102、对待比对人脸图像进行特征提取和比对，更新流水队列，对人脸检测图像进行特征提取和比对，更新人脸预警库；流水队列和人脸预警库中包含有每个特征及对应的标签；

S103、对人脸检测图像进行截图和特征提取，得到第一人脸特征，将第一人脸特征与流水队列中的所有特征进行比对，得到第一标签；

S104、基于哈希算法对第一标签和人脸预警库中的所有特征的所有标签进行计算，得到目标人脸图像，并对人脸检测图像和目标人脸图像进行比对，得到相似度，根据相似度进行预警。

与现有技术相比，本发明提供的人脸预警效率提升方法，通过对电子设备获取的待比对人脸图像对流水队列进行更新，然后再对人脸检测图像进行特征提取和对比之后，进行了截图，并再次进行了特征提取，与更新后的流水队列进行了比对，从而可以避免因为电子设备光线等原因，造成误差，提高特征提取和比对的准确率。进一步的，还通过哈希算法对第一标签和人脸预警库中的所有特征的所有标签进行计算，从而在人脸预警库中存在大量的特征数据的情况下，快速的对人脸预警库中的所有特征进行处理，得到目标人脸图像，提高了人脸预警的效率。

应当理解的是：步骤S101中获取的待比对人脸图像的方式可为根据电子设备获取的人脸图像，比如，摄像机，也可为从存储介质中调用历史存储的人脸图像。

在本发明的具体实施例中，待比对人脸图像可以是通过电子设备获取到的图像，电子设备可以为摄像机，人脸检测图像可以是用户登录系统之后，在系统上输入的需要进行检测的图像，摄像机可以通过抓拍的方式获取多张人脸图像，得到人脸图像集，然后从中选择待比对人脸图像，对待比对人脸图像进行特征提取和比对，更新流水队列之后，可以重新再从人脸图像集中确定待比对人脸图像，直到人脸图像集中的图像处理完成。

需要说明的是：电子设备可以为录像的设备，可以获取视频流，在本发明的一些实施例中，步骤S101包括：

对电子设备获取的视频流进行人脸分析，得到至少一个数据帧；

根据至少一个数据帧对视频流进行裁剪，得到人脸图像集，从人脸图像集中确定待比对人脸图像。

在本发明的具体实施例中，电子设备可以获取视频流，然后对视频流进行人脸分析，得到视频流里面人脸所处的至少一个数据帧，再对至少一个数据帧进行裁剪，则可以得到每个数据帧对应的人脸图像，从而可以得到人脸图像集，然后从人脸图像集中确定待比对人脸图像。

在本发明的一些实施例中，步骤S102包括：

创建第一级特征缓存库、第二级特征缓存库和流水队列；

对待比对人脸图像进行特征提取，得到第二人脸特征；

获取历史人脸特征库，通过键值对的方式将历史人脸特征库缓存至二级特征缓存库；

根据第一级特征缓存库和第二级特征缓存库的人脸阈值对第二人脸特征进行判断，得到判断结果，根据判断结果，对第一级特征缓存库、第二级特征缓存库和流水队列进行更新。

需要说明的是，第一级特征缓存库、第二级特征缓存库和流水队列是在进行待比对人脸图像进行特征提取之前进行创建了，然后每次的图像处理都是对第一级特征缓存库、第二级特征缓存库和流水队列中的特征数据进行更新。历史人脸特征库可以是一段时间进行特征提取存储的特征数据，一段时间可以为30天、100天等，本方法实施例在此不加以限制。

在本发明的具体实施例中，可以通过目标检测算法(Cascaded CNN)对待比对人脸图像进行人脸识别，然后再通过ResNet-50网络模型提取人脸特征，从而可以得到第二人脸特征，后续过程中进行特征提取的过程是一样的。还可以通过键值对的方式将历史人脸特征库缓存至二级特征缓存库，从而可以提升特征数据的比对的速度。

在本发明的一些实施例中，根据第一级特征缓存库和第二级特征缓存库的人脸阈值对第二人脸特征进行判断，得到判断结果，根据判断结果，对第一级特征缓存库、第二级特征缓存库和流水队列进行更新，包括：

将第二人脸特征与第一级特征缓存库中的所有特征进行比对，得到第一比对结果，并判断第一比对结果是否大于第一人脸阈值；

若否，则根据第二级特征缓存库的第二人脸阈值对第二人脸特征进行判断，得到判断结果，根据判断结果，对第二级特征缓存库和流水队列进行更新；

若是，则根据第一比对结果和第二人脸特征对第一级特征缓存库进行更新。

在本发明的一些实施例中，根据第一比对结果和第二人脸特征对第一级特征缓存库进行更新，包括：

根据第一比对结果确定第一级特征缓存库中与第二人脸特征匹配的第三人脸特征；

确定第三人脸特征的第二标签，将第二标签确定为第二人脸特征的标签；

将第二人脸特征和第二标签存储至第一级特征缓存库，对第一级特征缓存库进行更新。

在本发明的一些实施例中，根据第二级特征缓存库的第二人脸阈值对第二人脸特征进行判断，得到判断结果，根据判断结果，对第二级特征缓存库和流水队列进行更新，包括：

将第二人脸特征与第二级特征缓存库中的所有特征进行分段多线程的比对，得到第二比对结果，并判断第二比对结果是否大于第二人脸阈值；

若是，则根据第二比对结果，确定第二级特征缓存库中与第二人脸特征匹配的第四人脸特征，并确定第四人脸特征的第三标签，将第三标签确定为第二人脸特征的标签，将第二人脸特征和第三标签存储至第二级特征缓存库，对第二级特征缓存库进行更新；

若否，则对第一级特征缓存库、第二级特征缓存库和流水队列进行更新。

在本发明的一些实施例中，对第一级特征缓存库、第二级特征缓存库和流水队列进行更新，包括：

根据第一级特征缓存库和第二级特征缓存库中的所有标签，生成与所有标签不同的第四标签；

将第四标签确定为第二人脸特征的标签；

将第二人脸特征和第四标签存储至第一级特征缓存库、第二级特征缓存库和流水队列，从而对第一级特征缓存库、第二级特征缓存库和流水队列进行更新。

在本发明的一些实施例中，步骤S102之后还包括：

判断人脸图像集中是否存在未进行特征提取和比对的人脸图像；

若是，则确定第三人脸图像，对第三人脸图像进行特征提取和比对，更新流水队列。

在本发明的具体实施例中，如图2所示，在从人脸图像集中确定待比对人脸图像，并进行特征提取得到第二人脸特征之后，可以将第二人脸特征与第一级特征缓存库中的所有特征进行比对，得到第一比对结果，从而可以判断第一比对结果是否大于第一人脸阈值，如果第一比对结果大于第一人脸阈值，则可以根据第一比对结果确定第一级特征缓存库中与第二人脸特征匹配的第三人脸特征，还可以确定第三人脸特征的第二标签，将第二标签确定为第二人脸特征的标签；从而可以将第二人脸特征和第二标签存储至第一级特征缓存库，起到对第一级特征缓存库进行更新的作用。如果第一比对结果不大于第一人脸阈值，则可以将第二人脸特征与第二级特征缓存库中的所有特征进行分段多线程的比对，得到第二比对结果，其中，分段多线程的比对可以为人脸识别程序对待比对人脸图像识别出的年龄为20岁左右，则可以设置误差为正负15岁，则可以将5岁到35岁之间的人脸特征，开30个线程对每一个年龄进行比对，如果数据量还是很大的话，则还可以根据男女来开60个线程进行比对等，最后将比对的结果进行合并，可以大大的提高效率，具体的分段多线程的比对参数特征可以根据实际情况进行设置，本发明实施例在此不加以限制。

还可以判断第二比对结果是否大于第二人脸阈值，如果第二比对结果大于第二人脸阈值，则可以根据第二比对结果，确定第二级特征缓存库中与第二人脸特征匹配的第四人脸特征，从而可以确定第四人脸特征的第三标签，将第三标签确定为第二人脸特征的标签，还可以将第二人脸特征和第三标签存储至第二级特征缓存库，从而可以达到第二级特征缓存库进行更新的目的。如果第二比对结果不大于第二人脸阈值，则可以根据第一级特征缓存库和第二级特征缓存库中的所有标签，生成新标签，新标签是与所有标签不同的标签，可以将新标签确定为第四标签；还可以将第四标签确定为第二人脸特征的标签；可以将第二人脸特征和第四标签存储至第一级特征缓存库、第二级特征缓存库和流水队列，从而可以达到对第一级特征缓存库、第二级特征缓存库和流水队列进行更新的目的。

在对第一级特征缓存库和/或第二级特征缓存库和/或流水队列进行更新之后，当人脸图像集中有多个人脸图像时，可以判断人脸图像集中是否存在未进行特征提取和比对的人脸图像，如果是，则在对待比对人脸图像进行特征提取，更新流水队列之后，可以从人脸图像集中确定第三人脸图像，循环对待比对人脸图像进行特征提取和比对，更新流水队列的操作。如果不是，则更新完成，进行后续步骤。

需要说明的是，在第一次进行人脸检测图像进行特征提取时，可能因为摄像头角度光线的原因，会有一些误差，所以可以对人脸检测图像进行人脸识别，如果有匹配上的人脸，则进行截图，再对截到的图片进行特征提取，得到第一人脸特征，然后可以将第一人脸特征与更新后的流水队列中的所有特征进行比对，得到匹配的特征数据的第一标签，然后可以通过哈希算法对第一标签和人脸预警库中的所有特征的所有标签进行计算，得到目标人脸图像，哈希算法的过程原理就可以为计算出一个很大的数，然后对数组长度取模，从而得到索引，得到索引后则可以通过索引来访问数组，具体的过程可以根据实际情况进行设置，本发明实施例在此不加以限制。还可以将人脸检测图像和目标人脸图像进行比对，从而可以得到相似度。

在本发明的一些实施例中，步骤S104包括：

判断相似度所处的相似度等级；

根据相似度等级输出对应的警告信息。

在本发明的具体实施例中，可以设置相似度等级，可以判断得到相似度所处的相似度等级，得到对应的警告信息，还可以将相似度存储至相关告警数据库，从而使工作人员根据相关告警数据库查看人脸预警信息。

为了更好实施本发明实施例中的人脸预警效率提升方法，在人脸预警效率提升方法基础之上，对应地，本发明实施例还提供了一种人脸预警效率提升装置，如图3所示，人脸预警效率提升装置包括：

图像获取模块301，用于获取待比对人脸图像和人脸检测图像；待比对人脸图像为根据电子设备获取得到的图像；人脸检测图像为用户输入的图像；

队列更新模块302，用于对待比对人脸图像进行特征提取和比对，更新流水队列，对人脸检测图像进行特征提取和比对，更新人脸预警库；流水队列和人脸预警库中包含有每个特征及对应的标签；

特征提取模块303，用于对人脸检测图像进行截图和特征提取，得到第一人脸特征，将第一人脸特征与流水队列中的所有特征进行比对，得到第一标签；

特征计算模块304，用于基于哈希算法对第一标签和人脸预警库中的所有特征的所有标签进行计算，得到目标人脸图像，并对人脸检测图像和目标人脸图像进行比对，得到相似度，根据相似度进行预警。

上述实施例提供的人脸预警效率提升装置可实现上述人脸预警效率提升方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述人脸预警效率提升方法实施例中的相应内容，此处不再赘述。

如图4所示，本发明还相应提供了一种电子设备400。该电子设备400包括处理器401、存储器402及显示器403。图4仅示出了电子设备400的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

存储器402在一些实施例中可以是电子设备400的内部存储单元，例如电子设备400的硬盘或内存。存储器402在另一些实施例中也可以是电子设备400的外部存储设备，例如电子设备400上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，存储器402还可既包括电子设备400的内部储存单元也包括外部存储设备。存储器402用于存储安装电子设备400的应用软件及各类数据。

处理器401在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器402中存储的程序代码或处理数据，例如本发明中的人脸预警效率提升方法。

显示器403在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器403用于显示在电子设备400的信息以及用于显示可视化的用户界面。电子设备400的部件401-403通过系统总线相互通信。

在本发明的一些实施例中，当处理器401执行存储器402中的人脸预警效率提升程序时，可实现以下步骤：

获取待比对人脸图像和人脸检测图像；待比对人脸图像为根据电子设备获取得到的图像；人脸检测图像为用户输入的图像；

对待比对人脸图像进行特征提取和比对，更新流水队列，对人脸检测图像进行特征提取和比对，更新人脸预警库；流水队列和人脸预警库中包含有每个特征及对应的标签；

对人脸检测图像进行截图和特征提取，得到第一人脸特征，将第一人脸特征与流水队列中的所有特征进行比对，得到第一标签；

基于哈希算法对第一标签和人脸预警库中的所有特征的所有标签进行计算，得到目标人脸图像，并对人脸检测图像和目标人脸图像进行比对，得到相似度，根据相似度进行预警。

应当理解的是：处理器401在执行存储器402中的人脸预警效率提升程序时，除了上面的功能之外，还可实现其他功能，具体可参见前面相应方法实施例的描述。

进一步地，本发明实施例对提及的电子设备400的类型不做具体限定，电子设备400可以为手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备400也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。

相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的人脸预警效率提升方法步骤或功能。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件(如处理器，控制器等)来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上对本发明所提供的人脸预警效率提升方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。