一种结合心率检测的人脸认证系统及方法

技术领域

本发明属于人脸认证技术领域，具体涉及一种结合心率检测的人脸认证系统及方法。

背景技术

目前已经存在了很多人脸认证登录系统，基本原理就是通过视频扫描来确认使用者的身份。用户在进入登录界面时，终端将自动通过摄像头将用户图像传入人脸识别系统，系统对人脸特征进行分析鉴定后，确定用户是否合法。

在活体认证方案上，目前主流分为两种。第一种是结合ToF的人脸认证，该方案是通过通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。然后构建3d人脸模型进行认证。第二种是双目摄像头的人脸认证方案，双目摄像头同时拍摄两张人脸照片，通过两张照片中的景深关系，可以构建人脸的3d模型进行人脸认证。

当前的人脸认证都是通过手机前置摄像头拍照获取的照片提取照片中的人脸特征做登录认证，这种方法有一个缺陷，它无法判断当前摄像头获取的照片是不是真人还是3d打印出来的模型。虽然基于ToF和双目摄像头的人脸认证方案在一定程度上能够解决活体人脸认证问题，但是当我们通过3d打印技术有1比1得到一个人脸模型的时候，上面两种方案都会存在一定的错误识别概率。同时这两种方案都需要额外的硬件设备辅助人脸认证，成本高，不利于在低端手机设备上推广成为通用的人脸认证方案。

发明内容

针对上述当前的人脸认证需要额外的硬件设备辅助人脸认证、成本高的技术问题，本发明提供了一种成本低、无需额外辅助、安全性高的结合心率检测的人脸认证系统及方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种结合心率检测的人脸认证系统，包括前置摄像头模块、心率特征提取模块、人脸识别模块和人脸认证模块，所述前置摄像头模块连接有心率特征提取模块，所述摄像头模块连接有人脸识别模块，所述心率特征提取模块、人脸识别模块均连接在人脸认证模块上。

所述人脸识别模块包括图像预处理子模块、特征提取子模块、降维子模块，所述图像预处理子模块连接有特征提取子模块，所述特征提取子模块连接有降维子模块，所述图像预处理子模块连接在前置摄像头模块上，所述降维子模块连接在人脸认证模块上。

所述人脸认证模块连接有系统存储模块。

所述前置摄像头模块采用720P×15FPS的摄像头，所述前置摄像头模块的像素参数在200w以上。

一种结合心率检测的人脸认证方法，包括下列步骤：

S1、前置摄像头模块用于采集人脸，自动录一段2s的视频；

S2、逐帧处理2s的视频帧，提取有用的心率变化特征，作为活体检测的标准；

S3、在多帧的视频提取人脸特征，输出特征向量；

S4、人脸认证，处理心率特征提取模块的输出结果判断视频帧中获取的是否为活体，如果不是活体，就输出认证失败的结果，如果是活体，进行人脸识别模块输出的特征向量与系统存储模块的登录用户人脸特征进行匹配，输出认证成功的结果。

所述S2中处理获取的人脸视频帧，调整视频中的每一帧到224x224分辨率，提取前置摄像头模块捕获的视频中每一帧的绿色通道并进行归一化；拼接连续的绿色通道视频帧成多通道图像，检测完整的心跳周期；输入25通道堆叠的输入图像到多层卷积神经网络模型中，进行卷积、池化和全连接层的处理，根据堆叠图像上光强微弱变化拟合出人的心率变化波形图，重建CNN心率波形。

所述S3中提取人脸特征的方法为：包括下列步骤：

S3.1、通过光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化获取人脸视频帧，使得检测到的人脸分割成一定大小的图片；

S3.2、根据视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征得到人脸上具有代表性的特征进行特征提取；

S3.3、采用降维子模块进行降维。

本发明与现有技术相比，具有的有益效果是：

本发明通过结合前置摄像头获取的连续多帧照片，可以提取真人的PPG心率，能够判断当前检测的人脸真实性，增强人脸认证的安全性。并且本发明通过合成一张多通道图像，减少了输出，降低模型复杂度，叠加成的多通道图像使得在深度方面表达了图像的时序特征，实现了只用一个2D卷积就可以从图像中提取脉搏信息。

附图说明

图1为本发明的结构示意图；

图2为本发明的工作流程图；

图3为本发明的CNN心率波形重建流程图；

图4为本发明的多层卷积神经网络模型示意图。

其中：1为前置摄像头模块，2为心率特征提取模块，3为人脸识别模块，4为人脸认证模块，5为系统存储模块，301为图像预处理子模块，302为特征提取子模块，303为降维子模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种结合心率检测的人脸认证系统，如图1所示，包括前置摄像头模块1、心率特征提取模块2、人脸识别模块3和人脸认证模块4，前置摄像头模块1连接有心率特征提取模块2，摄像头模块连接有人脸识别模块3，心率特征提取模块2、人脸识别模块3均连接在人脸认证模块4上。

进一步，人脸识别模块3包括图像预处理子模块301、特征提取子模块302、降维子模块303，图像预处理子模块301连接有特征提取子模块302，特征提取子模块302连接有降维子模块303，图像预处理子模块301连接在前置摄像头模块1上，降维子模块303连接在人脸认证模块4上。

进一步，人脸认证模块4连接有系统存储模块5。

进一步，前置摄像头模块1采用720P×15FPS的摄像头，前置摄像头模块1的像素参数在200w以上。

一种结合心率检测的人脸认证方法，如图2所示，包括下列步骤：

步骤1、前置摄像头模块1用于采集人脸，自动录一段2s的视频。

步骤2、逐帧处理2s的视频帧，提取有用的心率变化特征，作为活体检测的标准。

步骤3、在多帧的视频提取人脸特征，输出特征向量。

步骤4、人脸认证，处理心率特征提取模块2的输出结果判断视频帧中获取的是否为活体，如果不是活体，就输出认证失败的结果，如果是活体，进行人脸识别模块3输出的特征向量与系统存储模块的登录用户人脸特征进行匹配，输出认证成功的结果。

进一步，如图3所示，步骤2中处理获取的人脸视频帧，调整视频中的每一帧到224x224分辨率，提取智能手机的前置摄像头模块1捕获的视频中每一帧的绿色通道并进行归一化。拼接连续的绿色通道视频帧成多通道图像，检测完整的心跳周期。使用绿色通道的关键原理是血液比身体周围组织吸收更多的光，吸收水平与血液体积成正比。这种现象会导致人类皮肤上出现微妙的颜色变化，人眼看不见，但相机图像可以捕捉到。RGB相机捕捉到的绿色通道在检测这些颜色变化方面比红色和蓝色通道更好。这是因为血液中的两种主要成分--血红蛋白(Hb)和氧合血红蛋白(HBO2)的吸收光谱在520到580纳米的光谱中达到峰值--该光谱落在绿色光谱的中间。因此，与其他颜色相比，使用绿色通道信息将更容易检测到由心跳等引起的血容量的任何变化。我们将连续的绿色通道视频帧拼接成一张多通道图像，该图像包含25个样本，对应15fps视频流中的1.67s中的变化。这段时间足够让我们从一张图像中检测到完整的心跳周期，即使心率低至每分钟36次。合成一张多通道图像有三个主要目的：减少了输出，降低模型复杂度；叠加成的多通道图像使得在深度方面表达了图像的时序特征；这种方法能够使我们只用一个2D卷积就可以从图像中提取脉搏信息。输入25通道堆叠的输入图像到如图4所示的多层卷积神经网络模型中，进行卷积、池化和全连接层的处理，根据堆叠图像上光强微弱变化拟合出人的心率变化波形图，重建CNN心率波形。提取出来心率变化波形图就可以用于人脸认证模块的输入。这个多层卷积神经网络模型需要采用强监督的方式进行训练，训练方法具体如下：首先使用智能手机的前置摄像头录制视频，同时使用Zephr BioHarness 3心电图带采集真实参考脉冲信号。Zephr BioHarness3的采样频率是250HZ，能够和前置摄像头同步记录下心电信号。使用智能手机前置摄像头录制的视频作为模型的特征输入，使用心电图带的脉冲信号采样作为输入标签训练神经网络模型。该模型放在英伟达显卡上进行训练，优化出良好的参数。将训练好的模型从电脑中导出，可以部署在智能手机上，封装进心率特征提取模块中。

进一步，步骤3中提取人脸特征的方法为：包括下列步骤：

步骤3.1、通过光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化获取人脸视频帧，使得检测到的人脸分割成一定大小的图片，便于识别和处理。

步骤3.2、根据视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征得到人脸上具有代表性的特征进行特征提取。

步骤3.3、采用降维子模块进行降维。不同的特征表达方法与维数大小会直接影响人脸识别的识别率，通常在同样的特征表达方式下，维数越高其识别率也将越高。目前广泛使用的降维算法有PCA算法等。目前成熟的解决方案有云飞科技、科大讯飞以及百度开放云等方案，本发明优选采用的是可达讯飞的人脸识别SDK，方便进行离线部署。

上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。