一种基于人脸特征点修正人脸裁剪框的方法

技术领域

本发明涉及智能视频处理技术领域，特别涉及一种基于人脸特征点修正人脸裁剪框的方法。

背景技术

目前人脸识别技术广泛应用于身份认证、安检、门禁等系统。人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。其中人脸图像采集及检测这个环节裁剪的人脸会直接影响人脸识别的结果，因为如果裁剪的人脸与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了表情都有可能引起比对失败。因此为了增加人脸识别精度，识别的人脸会裁剪掉无关的背景信息以及易变化的特征(发型等)。

现有的人脸识别网络一般要求输入的人脸图像为固定尺寸(例如：[112,112,3]或[96,96,3]，其中[W,H,C]分别表示图像的宽、高、通道数)，因此在人脸检测结果基础上，需要对检测的人脸进行裁剪，使图像满足宽高相等；目前的裁剪方案：在宽大于高时，会选择等量裁剪掉图像左右两边；在高到大于宽时，会直接裁剪掉上边多余部分，从而使图片宽高相等。这种简单的裁剪策略很容易将人脸的重要特征(眉毛、眼睛、下巴等)部位裁剪，导致人脸不完整，从而影响人脸识别精度。例如附图3所示，当脸型较长时，为了获得宽高相等的人脸，裁剪人脸上半部分时，会导致眼睛被裁掉。

发明内容

为了解决上述问题，本发明的目的在于：为了使人脸裁剪过程中，重要特征部位(眉毛、眼睛、下巴、鼻子等)不被裁剪；在裁剪前需要结合人脸的五点特征对原先的人脸裁剪框进行修正。

具体地，本发明提供一种基于人脸特征点修正人脸裁剪框的方法，所述方法包括以下步骤：

S1，初步确定人脸裁剪框；

S2，根据五点特征距离扩展人脸位置；

S3，修正人脸裁剪框:

S3.1,将裁剪上限扩展至眉毛上方；

S3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；

S3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。

其中，

S1，初步确定人脸裁剪框，包括：

S1.1人脸位置检测

假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示,记为B

S1.2人脸裁剪框定位

由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等，输入模型的人脸裁剪框也用两点坐标表示，记为B’

S2，根据五点特征距离扩展人脸位置，包括：

S2.1人脸特征点检测

在进行人脸检测时，将检测出的人脸区域进行特征点检测，输出人脸五点特征位置，即左眼，右眼，鼻子，左嘴角，右嘴角坐标，五点分别表示为p

S2.2计算鼻子与其他四点，即左右眼、左右嘴角的y轴最大距离,计算方式为：ds＝max(y

S2.3确定扩展因子k，以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离为y

S3，修正人脸裁剪框，包括：

S3.1如果y

S3.2如果y

S3.3令kw＝((y’

如果kw>2.0，则x’

还包括步骤S3.4填充黑边:

由于修正的人脸裁剪框不能保证图像的宽高相等，因此对修正框进行黑边填充处理。

所述的S1.2中B’

令w＝x

ifΔw≥0 then x’

el se

其中

所述的步骤S2.3中扩展因子k取值1.8-2.0。

所述的步骤S2.3中扩展k·ds的距离，具体扩展方式如下所示：

y

y

所述的步骤S3.4填充黑边的具体方法为：

S3.4.1，如果宽大于高，则在图像的下边缘填充黑边，黑边宽度为宽高差值；

S3.4.2，如果宽小于高，则在图像的右边缘填充黑边，黑边宽度为宽高差值；

S3.4.3，如果宽高相等，不需要进行黑边填充。

所述的在裁剪比例不合适包括高大于宽一定阈值。

由此，本申请的优势在于：由于脸型等原因，如果只按照初步确定的人脸裁剪框将眼睛、眉毛等人脸特征裁剪掉，从而导致人脸识别错误或不识别；经过本申请的修正方法，即修正人脸裁剪框后，由于满足条件，将裁剪上限扩展至眉毛上方，保留了眼睛等特征信息，增加了人脸裁剪的准确度，有效提升识别精度。扩展裁剪下限，保证嘴角、下巴等特征信息在裁剪框内。在人脸裁剪比例不合适时(高大于宽一定阈值)，适当扩展左右裁剪边界。这样就保证了人脸适当地裁剪，避免了误检测。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明方法的示意流程图。

图2是本发明方法涉及的人脸坐标及五点位置的示意图。

图3是本发明方法涉及的人脸裁剪框的示意图。

图4是本发明方法涉及的人脸裁剪框修正后的最终示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。

如图1所示，本发明涉及一种基于人脸特征点修正人脸裁剪框的方法，所述方法包括以下步骤：

步骤S1，初步确定人脸裁剪框；

步骤S2，根据五点特征距离扩展人脸位置；

步骤S3，修正人脸裁剪框:

S3.1,将裁剪上限扩展至眉毛上方；

S3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；

S3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。

具体地，进一步可以完整描述为以下：

步骤S1.初步确定人脸裁剪框

S1.1人脸位置检测

假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴(本专利涉及所有坐标均以此坐标轴为基准)。将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示；如附图2所示，B

S1.2人脸裁剪框定位

由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等。如附图3所示，B’

令w＝x

ifΔw≥0 then x’

el se

其中，

步骤S2.根据五点特征距离扩展人脸位置

S2.1人脸特征点检测

在进行人脸检测时，将检测出的人脸区域进行特征点检测，输出人脸五点特征位置，即左眼，右眼，鼻，左嘴角，右嘴角坐标；如附图2所示，五点分别表示为p

S2.2计算鼻子与其他四点(眼、嘴角)的y轴最大距离，计算方式如下：

ds＝max(y

S2.3确定扩展因子k(一般取值1.8～2.0)，以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离，具体扩展方式如下所示：

y

y

步骤S3.修正人脸裁剪框

S3.1如果y

S3.2如果y

S3.3令kw＝((y’

如果kw>2.0，则x’

S3.4填充黑边

由于修正的人脸裁剪框不能保证图像的宽高相等，因此需要对修正框进行黑边填充处理，具体的方法如下：

(1)如果宽大于高，则在图像的下边缘填充黑边，黑边宽度为宽高差值；

(2)如果宽小于高，则在图像的右边缘填充黑边，黑边宽度为宽高差值；

(3)如果宽高相等，不需要进行黑边填充。

最终，如图4所示，修正人脸裁剪框后，可以满足人脸的眼睛，鼻子，嘴巴被包含在裁剪框内。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。