基于彩色图像和近红外图像的活体人脸识别方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于彩色图像和近红外图像的活体人脸识别方法。

背景技术

目前，人脸识别技术已日趋成熟，并广泛应用在无人值守的场合，常见的人脸识别系统有活体人脸检测和基于人脸三维信息的检测等。

但是，在实际的使用过程中，人脸识别技术仍然有很多难以逾越的困难，其中，大多数的困难来自于作为识别特征的人脸的复杂性，即对环境的影响较为敏感，同时，周围的环境如光照的强度、光源的方向和环境颜色等，都会使人脸的图像也会有较大的变化，这些因素导致人脸难以检测和识别人脸面部表情的复杂性和多变性，还有，不同的图像中的人脸的表情等因素有很大的不同，所以呈现出来的人脸姿态有很大的不确定性，以及遮挡等问题，也给人脸检测构成了非常人的困难。

发明内容

为了解决上述问题，本发明提供一种基于彩色图像和近红外图像的活体人脸识别方法，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。

本发明所采用的技术方案是：

一种基于彩色图像和近红外图像的活体人脸识别方法，包括如下步骤：

S1、将近红外相机和彩色相机进行立体匹配，根据所述近红外相机和彩色相机之间的相对姿势获得两相机之间的旋转矩阵和平移矩阵；

S2、读入彩色图像和近红外图像并对所述彩色图像和近红外图像分别进行人脸识别，获得人脸识别结果；

S3、在所述人脸识别结果上检测五官的位置，并将所述近红外图像检测的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上，根据投影结果判断是否为活体人脸。

优选地，所述S2具体包括如下步骤：

S21、读入彩色图像和近红外图像；

S22、通过递归卷积神经网络算法对所述彩色图像和近红外图像进行第一次人脸识别，若识别成功，则获得第一次人脸识别结果，反之，则返回S21；

S23、通过支持向量机对所述第一次人脸识别结果进行第二次人脸识别，若识别成功，获得第二次人脸识别结果，反之，则返回S21。

优选地，所述S23中，所述第二次人脸识别具体为进行人脸和非人脸的二分类人脸识别。

优选地，所述S3具体包括如下步骤：

S31、在所述人脸识别结果上检测五官的位置；

S32、将所述近红外图像检测到的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上；

S33、判断所述近红外图像检测的五官坐标投影在彩色图像检测的五官坐标的误差是否小于预设阈值，若是，则判断为活体人脸，反之，则报警提示并返回S2。

优选地，所述S32中，将所述近红外图像检测到的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上的具体计算公式为：

AR+T＝A’

其中，A为所述近红外图像上的坐标，A’为投影到所述彩色图像上的坐标，R为所述近红外相机和彩色相机的旋转矩阵，T为所述近红外相机和彩色相机的平移矩阵。

优选地，所述S33中，所述近红外图像检测的五官坐标投影在彩色图像检测的五官坐标的误差的计算公式为：

其中，Δx

优选地，所述S33中，所述预设阈值为30个像素值。

优选地，所述五官包括两个眼睛、一个鼻子和一个嘴巴。

优选地，所述S3中，在所述人脸识别结果上采用开源计算机视觉函数库检测五官的位置。

优选地，所述S1中，采用开源计算机视觉函数库将所述近红外相机和彩色相机进行立体匹配。

与现有技术相比，本发明的基于彩色图像和近红外图像的活体人脸识别方法，通过首先获得近红外相机和彩色相机之间的旋转矩阵和平移矩阵，然后将彩色图像和近红外图像分别进行人脸识别图像，最后将近红外图像检测五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。

附图说明

图1是本发明实施例提供的一种基于彩色图像和近红外图像的活体人脸识别方法的流程图；

图2是本发明实施例提供的一种基于彩色图像和近红外图像的活体人脸识别方法的具体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于彩色图像和近红外图像的活体人脸识别方法，如图1-2所示，包括如下步骤：

S1、将近红外相机和彩色相机进行立体匹配，根据所述近红外相机和彩色相机之间的相对姿势获得两相机之间的旋转矩阵和平移矩阵；

S2、读入彩色图像和近红外图像并对所述彩色图像和近红外图像分别进行人脸识别，获得人脸识别结果；

S3、在所述人脸识别结果上检测五官的位置，并将所述近红外图像检测的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上，根据投影结果判断是否为活体人脸。

这样，通过首先获得近红外相机和彩色相机之间的旋转矩阵和平移矩阵，然后将彩色图像和近红外图像分别进行人脸识别图像，最后将近红外图像检测五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。

其中，所述S3中，在所述人脸识别结果上采用开源计算机视觉函数库(即Opencv函数库)检测五官的位置。所述S1中，采用开源计算机视觉函数库(即Opencv函数库)将所述近红外相机和彩色相机进行立体匹配。

其中，OpenCV函数库是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

所述S2具体包括如下步骤：

S21、读入彩色图像和近红外图像；

S22、通过递归卷积神经网络算法对所述彩色图像和近红外图像进行第一次人脸识别，若识别成功，则获得第一次人脸识别结果，反之，则返回S21；

S23、通过支持向量机对所述第一次人脸识别结果进行第二次人脸识别，若识别成功，获得第二次人脸识别结果，反之，则返回S21。

这样，通过首先读入带有人脸的彩色图像和近红外图像，然后通过递归卷积神经网络算法(即Faster-RCNN算法)对所述彩色图像和近红外图像进行第一次人脸识别，获得第一次人脸识别结果，若没有识别到人脸，则返回S21；然后通过支持向量机对所述第一次人脸识别结果进行第二次人脸识别，获得第二次人脸识别结果，若没有识别到人脸，则返回S21；其中，所述第二次人脸识别具体为进行人脸和非人脸的二分类人脸识别，该次识别主要是用于提高人脸识别的精度。

其中，Faster-RCNN算法是一种选择性搜索算法，完成目标候选区域的提取，降低时间和空间的开销，实现快速准确的检测，实现端到端的目标(人脸)检测。

所述S3具体包括如下步骤：

S31、在所述人脸识别结果上检测五官的位置；

S32、将所述近红外图像检测到的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上；

S33、判断所述近红外图像检测的五官坐标投影在彩色图像检测的五官坐标的误差是否小于预设阈值，若是，则判断为活体人脸，反之，则报警提示并返回S2。

这样，通过首先在所述人脸识别结果(包括近红外人脸识别结果和彩色人脸识别结果)上检测五官的位置，然后将所述近红外图像检测到的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上，最后判断所述近红外图像检测的五官坐标投影在彩色图像检测的五官坐标的误差是否小于预设阈值，若是，则判断为活体人脸，反之，则报警提示并返回S2。

其中，所述S32中，将所述近红外图像检测到的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上的具体计算公式为：

AR+T＝A’

其中，A为所述近红外图像上的坐标，A’为投影到所述彩色图像上的坐标，R为所述近红外相机和彩色相机的旋转矩阵，T为所述近红外相机和彩色相机的平移矩阵。

这样，通过将所述近红外图像检测到的五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上具体计算公式即可量化投影结果，更加准确地判断近红外图像检测到的五官坐标是否投影到彩色图像检测到的五官坐标上。

理想情况下，从近红外相机投影到彩色相机的点，如眼睛、鼻子和嘴的坐标与彩色图像上计算出的坐标点重合。然而，在实际计算中一般存在一定的误差。所以S33中，近红外图像检测的五官坐标投影在彩色图像检测的五官坐标的误差的计算公式为：

其中，Δx

当ε小于阈值时，则认为彩色图像上检测到的人脸和近红外图像上检测到的人脸是同一张人脸，则带有温度的人脸即为活体人脸，反之，则不是，在此经验值：ε的阈值为30个像素值。

所述五官包括两个眼睛、一个鼻子和一个嘴巴。

这样，通过五官包括两个眼睛、一个鼻子和一个嘴巴，来检测对应的人脸，同时，在后期更加精确的人脸识别过程中，还可以检测眉毛、耳朵等其他脸部特征。

本发明的基于彩色图像和近红外图像的活体人脸识别方法，通过首先获得近红外相机和彩色相机之间的旋转矩阵和平移矩阵，然后将彩色图像和近红外图像分别进行人脸识别图像，最后将近红外图像检测五官坐标通过旋转矩阵和平移矩阵投影到彩色图像检测到的五官坐标上，从而根据投影结果判断是否为活体人脸，减弱人脸识别时周围环境的影响，提高人脸识别的可靠性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。