一种人脸图像评估方法、装置、电子设备及存储介质

技术领域

本发明属于图像识别技术领域，具体地说，涉及一种人脸图像评估方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的兴起，人脸图像的特征和属性开始发挥着越来越多的作用。如智能监控、人脸支付和人脸美颜等应用环境。在这些应用环境中，人脸图像处理时，不可避免的要对人脸中目标人物的姿势进行评估，以达到剔除低头图片或针对低头行为进行优化的目的，从而提升系统的使用体验。

如中国专利公开号为CN110598521A，公开了一种基于人脸图像智能分析的行为与生理状态识别方法，包括以下步骤：(1)建立人脸检测与跟踪模型；(2)获取当前人类目标的人脸图像，并对该人脸图像进行预处理；(3)在人脸图像中精确定位双眼、口部、耳部区域位置；(4)利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理；(5)判断当前人类目标是否困乏以及是否存在吸烟和打电话行为。该方案是一种高效的、可以满足在低功耗嵌入式设备场景下，对当前人类目标生理状态及行为进行检测的方法，检测生理类型包括是否疲劳，检测的行为包括是否在吸烟及打电话。

上述或者现存的检测方法中，均存在着一定的问题和不足：

(1)基于穿戴传感器(如含低头感应器的帽子，耳机，震动报警器等)的方法，需要额外购买和穿戴设备，不易实现；(2)使用深度学习模型直接对行人图片进行低头行为检测的方法，需要提供大量的图片进行训练，且识别效率有待提高。

发明内容

1、要解决的问题

针对目前在人脸识别中，通过特征匹配提取的方法，人物行为识别复杂且识别的准确率低的问题，本发明提供了一种人脸图像评估方法，通过人脸区域框和人脸多个特征点，来评估人低头分数，依据该低头分数，来判断人脸的低头或者抬头程度，以此提升相关场景应用的性能；无需用样本长时间训练和构建深度学习人脸模型，也无需通过人脸模型进行复杂的运算，进而降低了运算难度，提高了识别速度。

2、技术方案

为解决上述问题，本发明采用如下的技术方案。

本发明第一方面提供一种人脸图像评估方法，所述方法包括：

S202：获取人脸图像，对所述人脸图像进行特征检测，获得评估特征点，所述评估特征点包括左嘴角特征点、右嘴角特征点以及鼻子特征点；

S204：在所述人脸图像上构建平面坐标系，获取左嘴角特征点、右嘴角特征点以及鼻子特征点的坐标；

S206：在所述人脸图像中选取标定点，计算左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值，确定评估偏移量；

S208：根据所述评估偏移量确定人脸图像中的目标人物的低头分数，根据所述目标人物的低头分数判断目标人物的行为。

在一些实施例中，所述人脸图像通过下列步骤获取：

获取包含人类脸部信息的图像，并将所述图像转换成RGB格式；

将所述图像输入已训练的人脸检测模型中，截取人脸图像。

在一些实施例中，还包括对所述人脸图像进行预处理，所述预处理步骤包括：对所述人脸图像进行降噪，亮度增强，对比度增强以及直方图均衡化操作。

在一些实施例中，所述在人脸图像中选取标定点步骤包括：

将人脸图像截取为矩形框图，获取所述矩形框图中任意一条对角线的两端点坐标；

分别计算所述对角线中两个端点到左嘴角特征点或右嘴角特征点的欧式距离，在两个端点中选取距离左嘴角特征点或右嘴角特征点最近的端点，作为标定点。

在一些实施例中，所述确定人脸图像中的目标人物的低头分数的步骤包括：

将左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值累加，作为评估偏移量；

根据所述评估偏移量计算低头分数公式为：

其中，dl为评估偏移量；Sl为低头分数；h表示矩形框图中任意一条对角线的两端点纵坐标的差值。

在一些实施例中，根据所述目标人物的低头分数判断目标人物低头行为步骤包括：

当所述低头分数低于第一阈值时，确定所述人脸图像中目标人物为低头行为；

当所述低头分数高于第二阈值时，确定所述人脸图像中目标人物为抬头行为。

在一些实施例中，将人脸图像通过面部五特征点识别算法，获得评估特征点；当所述评估特征点未全部包括左嘴角特征点、右嘴角特征点以及鼻子特征点时，重新截取该人脸图像。

本发明第二方面提供一种人脸图像评估装置，包括：

特征获取模块，其用于获取人脸图像，对所述人脸图像进行特征检测，获得评估特征点，所述评估特征点包括左嘴角特征点、右嘴角特征点以及鼻子特征点；

坐标构建模块，其用于在所述人脸图像上构建平面坐标系，获取左嘴角特征点、右嘴角特征点以及鼻子特征点的坐标；

计算模块，其用于在所述人脸图像中选取标定点，计算左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值，确定评估偏移量；及

检测模块，其用于根据所述评估偏移量确定人脸图像中的目标人物的低头分数，根据所述目标人物的低头分数判断目标人物低头行为。

本发明第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。

本发明第四方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。

3、有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明通过识别人脸区域框图中多个特征点，来评估人脸图像中目标人物低头分数，依据该低头分数，来判断人脸的低头或者抬头程度，以此提升相关场景应用的性能；无需用样本长时间训练和构建深度学习人脸模型，也无需通过人脸模型进行复杂的运算，降低了运算难度，提高了识别速度。

(2)本发明通过已经训练的人脸检测模型截取人脸区域框图，用人脸五个特征点来评估人脸的侧脸朝向和侧脸分数，依据该侧脸分数，来判断人脸的侧脸程度，从而提升相关人脸场景应用的性能，无需用样本长时间训练和构建深度学习人脸模型，也无需通过人脸模型进行复杂的运算，进而降低了侧脸识别的运算难度，提高了识别速度，而且可以识别左侧脸、右侧脸、等多个角度的侧脸图像，提高侧脸识别的准确率；

(3)本发明中评估低头分数的方法，得到的分数与正脸程度成正比，分数值越大，人的正脸质量越高，分数值越小，低头程度越严重，实际使用中，可根据具体使用场景灵活设置正脸阈值。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：

图1是本发明实施例提供的一种侧脸评估方法流程图；

图2是本发明实施例提供的一种人脸图像评估装置框图；

图3是本发明实施例提供的人脸图像示意图a；

图4是本发明实施例提供的电子设备的框图；

图5是本发明实施例提供的一种人脸图像评估方法流程图；

图6是本发明实施例提供的人脸图像示意图b。

具体实施方式

下面，将参考附图详细地描述根据本申请的实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的实施例的限制。

实施例1

如图5和图6所示，本实施例提供一种人脸图像评估方法，包括以下步骤：

S202：获取人脸图像，对所述人脸图像进行特征检测，获得评估特征点，所述评估特征点包括左嘴角特征点、右嘴角特征点以及鼻子特征点。

具体的，可以在照片或者视频中获取包含人类脸部信息的原始图像，例如，通过摄像头读取图像，使用摄像头读取Api直接读取当前图像流的帧；也可以在本地磁盘加载图像以及通风网络协议接收包含人类脸部信息的原始图像。然后，通过预先的算法或者训练好的人脸检测模型提取包含人类脸部信息的原始图像中人脸目标，对其截取，例如SSD和YOLO等深度学习检测器等，获取人脸图像框图。本示例中，所截取的图像为矩形。但是本领域技术人员应当理解，此处截取的人脸照片还可以是圆形、椭圆形等，不以此为限。

本示例中获取到的人脸图像应为包含RGB三通道信息的光学图像，包含RGB通道相同的灰度图，或仅含有一个通道信息的图像。为便于人脸检测和关键点检测得到更好的效果，可进行对图像的降噪，亮度增强，对比度增强和直方图均衡化等一系列预处理步骤。

S204：在所述人脸图像上构建平面坐标系，获取左嘴角特征点、右嘴角特征点以及鼻子特征点的坐标。

具体的，在所述人脸图像上所在矩形的中点构建平面坐标系，据此平面坐标获取所述左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标。

本示例将人脸图像通过面部五特征点识别算法，获得评估特征点；当所述评估特征点不包括左嘴角特征点、右嘴角特征点以及鼻子特征点时，重新截取该人脸图像。如图3所示，在一种可能的实施方式中，评估特征点分别为鼻子特征点p

本领域技术人员应当理解，此处人脸图像评估特征点的获取，还可以通过手工特征信息分类器，如haar特征或LBP特征与级联检测器结合识别人脸，并对特征点进行信息标注。需要说明的是，此处所指的人脸特征点检测方法还可以是64点人脸特征点检测方法等，不以此为限。

S206：在所述人脸图像中选取标定点，计算左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值，确定评估偏移量。

具体的，当所述人脸图像为矩形照片时，获取所述矩形框图中任意一条对角线的两端点坐标。如图3所示，人脸区域框图B的中具有左上角顶点b1和右下角顶点b2，其中顶点b1和顶点b2为矩形框图中一对角线的两个端点；人脸区域框图B中宽为w，高度为h。若人脸区域框的宽或高等于0，作为检测失败来处理。分别计算所述对角线中两个端点到左嘴角特征点或右嘴角特征点的欧式距离，在两个端点中选取距离左嘴角特征点或右嘴角特征点最近的端点，作为标定点。本示例中，顶点b2到到左嘴角特征点或右嘴角特征点的欧式距离最短，因此选择b2作为标定点。

将左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值累加，作为评估偏移量。具体计算方式为：

1)计算鼻子特征点p

2)计算左嘴角特征点p

3)计算右嘴角特征点p

则评估偏移量dl＝d

S208：根据所述评估偏移量确定人脸图像中的目标人物的低头分数，根据所述目标人物的低头分数判断目标人物的行为。

将左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值累加，作为评估偏移量；

根据所述评估偏移量计算低头分数公式为：

其中，dl为评估偏移量；Sl为低头分数；h表示矩形框图中任意一条对角线的两端点纵坐标的差值。

当所述低头分数低于第一阈值时，确定所述人脸图像中目标人物为低头行为；

当所述低头分数高于第二阈值时，确定所述人脸图像中目标人物为抬头行为。

具体的，本示例中第一阈值可以选择为0-0.85之间，低头行为发生时，会常出现小于1的情况，但是有可能接近于0.1。当一个人严重低头时，嘴角的特征点几乎和人脸框重叠，鼻子特征点与人脸下边框的特征点距离很小，因此第一阈值的选取应大于等于0。本示例中第二阈值的取值范围可以是0.85-1之间。本领域技术人员应当理解，第一阈值和第二阈值的选取，可以根据具体应用场景进行选取，在此不做限定。

在实际的人行为应用场景中，可以根据场景要求的不同，通过不同的规则来选取具有不同低头分值的人脸图像。从而达到优化系统性能的目的。在实际的人脸应用场景中，可以根据场景要求的不同，通过不同的规则来选取具有不同侧脸分值的人脸图像,从而达到优化系统性能的目的。由于人脸图像框的高度h和dl都会正比于人脸区域面积的变化，因此低头分数值不会因为人脸的区域面积的变化而发生变化，也即具有尺度不变性。

实施例2

如图1和3所示，本实施例在一种人脸图像评估方法的基础上，还提供一种侧脸评估方法，包括以下步骤：

S102：获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；

本示例中获取到的人脸图像应为包含RGB三通道信息的光学图像，包含RGB通道相同的灰度图，或仅含有一个通道信息的图像。为便于人脸检测和关键点检测得到更好的效果，可进行对图像的降噪，亮度增强，对比度增强和直方图均衡化等一系列预处理步骤。

S104：在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标。

具体的，在所述人脸图像所在矩形的中点构建平面坐标系，据此平面坐标获取获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标。

本示例将人脸图像通过面部五特征点识别算法，获得评估特征点；当所述评估特征点不包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点时，重新截取该人脸图像。如图3所示，在一种可能的实施方式中，评估特征点分别为左眼特征点p1，右眼特征点p2，鼻子特征点p3，左嘴角特征点p4，右嘴角特征点p5。此处所指的人脸特征点检测方法不限实现方式，包括人为提供标注信息，最终得出的结果为人脸的五个特征点的坐标。

S106：在所述平面坐标上选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值，获取第二偏移量。

如图3所示，具体的，当所述人脸图像为矩形照片时，在所述人脸图像的第一边缘L1选取第一参考点b1，在所述人脸图像的第二边缘L2选取第二参考点b2，其中所述第一边缘L1与第二边缘L2平行；将左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值累加，作为第一偏移量；将所述右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值累加，作为第二偏移量。

在具体计算过程中：

1)计算左眼特征点p

2)计算鼻子特征点p

3)计算左嘴角特征点p

4)计算右眼特征点p

5)计算鼻子特征点p

6)计算右嘴角特征点p

7)计算第一偏移量d7＝d1+d2+d3；计算第二偏移量d8＝d4+d5+d6。

S108：根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。

具体的，确定侧脸方向步骤包括：

当所述第一偏移量大于所述第二偏移量时(即d7>d8)，确定所述人脸照片中脸部向第二边缘偏移；

当所述第二偏移量大于所述第一偏移量时(即d7

比较d7和d8，值较小的为d

其中，S为侧脸分数；d

对于人脸分数值S，值越小，说明侧脸程度越大。因此，根据人脸侧脸分数值S的大小，可以判定侧脸程度的不同。在实际的人脸应用场景中，可以根据场景要求的不同，通过不同的规则来选取具有不同侧脸分值的人脸图像,从而达到优化系统性能的目的。由于人脸图像框的宽度w和dmin都会正比于人脸区域面积的变化，因此侧脸分数值不会因为人脸的区域面积的变化而发生变化，也即具有尺度不变性。

实施例3

如图2所示，本实施例提供一种人脸图像评估装置，包括：

特征获取模块，其用于获取人脸图像，对所述人脸图像进行特征检测，获得评估特征点，所述评估特征点包括左嘴角特征点、右嘴角特征点以及鼻子特征点；

坐标构建模块，其用于在所述人脸图像上构建平面坐标系，获取左嘴角特征点、右嘴角特征点以及鼻子特征点的坐标；

计算模块，其用于在所述人脸图像中选取标定点，计算左嘴角特征点、右嘴角特征点以及鼻子特征点的纵坐标分别与标定点的纵坐标的差值，确定评估偏移量；及

检测模块，其用于根据所述评估偏移量确定人脸图像中的目标人物的低头分数，根据所述目标人物的低头分数判断目标人物低头行为。

实施例4

下面，参考图4来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送组合图像信息。

图4图示了根据本申请实施例的电子设备的框图。

如图4所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策方法以及/或者其他期望的功能。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如摄像头、视频播放器等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

实施例5

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。