一种基于面部表情单元和眼动的双模态活体检测方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于面部表情单元和眼动的双模态活体检测方法。

背景技术

人脸识别作为当今最流行的人工智能技术已经在众多领域广泛落地，例如刷脸乘车，刷脸签到，刷脸支付等。这项技术在带来很多便利的同时，也存在着很多隐患。日常生活中人脸肖像很容易遭到泄露，人脸识别很容易通过照片人脸，视频人脸片段，或者3D打印的人脸面具进行破解。为了拥有鲁棒性更高，更加实用的人脸检测系统，需要设计能够抵御伪造人脸威胁的活体检测系统。常规的活体检测方法有如下几个缺点1)需要用户根据指令做出一些动作，例如眨眼，张嘴，摇头等，来判断用户是不是一个真实的人。这种方法在用户体验方面不是很好，容易使用户产生厌烦的情绪。2)计算代价高且需要额外的设备，例如采用3D深度信息或者光流法去追踪人脸面部表情变化。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于面部表情单元和眼动的双模态活体检测方法，无需引入额外的设备，只需用户正对摄像头几秒钟，通过比较连续帧图片之间面部表情单元的变化，追踪眼球动态，无需按照指令做出任何动作，即可高效地完成活体检测，用户体验友好。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于面部表情单元和眼动的双模态活体检测方法，包括以下步骤：

S1.通过摄像头从连续视频流中搜索每帧图片，检测人脸图像的存在，若存在人脸，截取若干帧含有人脸的图片，并定位人脸区域；

S11.根据人脸以及人脸关键点标注数据，利用dlib训练人脸以及人脸68个关键点的识别模型；当用户正对摄像头进行人脸识别时，该模型可以从连续若干帧中提取人脸部分；计算两眼连线与水平线的夹角，然后通过角度得到对应的旋转矩阵，对图片进行相应的变换，完成人脸对齐；

S2.从获取的人脸图像中提取面部表情单元以及眼动信息，分别表征为面部表情特征向量以及眼动特征向量；

S21.从人脸图像提取面部表情单元特征向量的具体步骤为：

(1)按照步骤S1识别出来的人脸特征点为中心选取16*16邻域作为特征窗口，对每一个16*16的patch的每一个像素点进行LBP运算；

LBP的运算流程如下：

(1)将检测窗口划分成n*n的patch；

(2)对与每个patch中的每个像素，比较与其相邻的8个像素；

(3)如果中心像素的值比相邻像素的值大，则数值置为0，否则置为1，这样就构造了一个8位的二进制编码，例10101000，换算成10进制编码为176，则该中心像素的LBP值为176；

(2)对每一个patch的LBP值进行取平均值操作，如果连续帧内LBP的变化值超过了阈值，则认为有显著表情变化，进而判断用户为真人；

S22.从眼动信息中提取眼动特征向量的具体步骤为：

(1)根据眼部的人脸特征点，获取眼部的roi区域，对于眼部图像而言，在越靠近眼球的区域灰度值越低，就会有更多的梯度方向集中于那个区域；通过计算眼部区域每个点的梯度，通过寻找梯度方向上直线相交最多的点，即可定位眼球位置；

(2)根据上一步定位眼球位置，采集的眼动信息；将采集到的眼动信息按照眼动时间、眼动方向、左右眼动距离、上下眼动距离，注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；

(3)根据眼动轨迹绘制眼球轨迹图，并存储眼球轨迹图；通过分析瞳孔直径变化，眼球轨迹图分析用户注意力的变化，进而判断用户是否为真人；

S3.对从步骤S2中提取的面部表情单元特征向量和眼动特征向量进行定性分析，获取其在步骤S1截取的若干帧范围内的表情变化；

S4.根据定性分析的结果确定多帧人脸面部表情单元强度的变化范围和眼动变化范围，若强度变化范围(强度峰值-强度谷值)大于确定是否为真实的人脸。

与现有技术相比，本发明的有益效果如下：

本发明提出了一种基于人脸面部表情单元以及眼动信息的活体检测方法，无需引入额外的设备，只需用户正对摄像头几秒钟，通过比较连续帧图片之间面部表情单元的变化，追踪眼球动态，无需按照指令做出任何动作，即可高效地完成活体检测，用户体验友好，结合了双模态信息，相比于传统静默式活体检测方法，鲁棒性更好，有效避免了假冒者通过照片或者模型进行欺诈。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的流程示意图；

图2是本发明的人面部特征关键点的结构示意图；

图3是本发明的LBP的运算流程实施例示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1-3所示，本发明提供一种基于面部表情单元和眼动的双模态活体检测方法，包括以下步骤：

S1.通过摄像头从连续视频流中搜索每帧图片，检测人脸图像的存在，若存在人脸，截取若干帧含有人脸的图片，并定位人脸区域；

S11.根据人脸以及人脸关键点标注数据，利用dlib训练人脸以及人脸68个关键点的识别模型；当用户正对摄像头进行人脸识别时，该模型可以从连续若干帧中提取人脸部分；计算两眼连线与水平线的夹角，然后通过角度得到对应的旋转矩阵，对图片进行相应的变换，完成人脸对齐；

S2.从获取的人脸图像中提取面部表情单元以及眼动信息，分别表征为面部表情特征向量以及眼动特征向量；

S21.从人脸图像提取面部表情单元特征向量的具体步骤为：

(1)按照步骤S1识别出来的人脸特征点为中心选取16*16邻域作为特征窗口，对每一个16*16的patch的每一个像素点进行LBP运算；

面部表情单元提取是本发明中最重要的一部分，动作单元序列(actionunit)是面部表情编码(FACS中的概念)，在FACS中一共定义了55个动作单元来表征人脸微表情的运动特征，其中AU0代表无表情的脸(neutralface)，AU1代表眉毛内侧向上卷(innerbrowraiser)等；局部二值模式(LocalbinarypatternsLBP)是计算机视觉领域里用于分类的视觉算子；

LBP的运算流程如下：

(1)将检测窗口划分成n*n的patch；

(2)对与每个patch中的每个像素，比较与其相邻的8个像素；

(3)如果中心像素的值比相邻像素的值大，则数值置为0，否则置为1，这样就构造了一个8位的二进制编码，例10101000，换算成10进制编码为176，则该中心像素的LBP值为176(如图3所示)；

(2)对每一个patch的LBP值进行取平均值操作，如果连续帧内LBP的变化值超过了阈值，则认为有显著表情变化，进而判断用户为真人；

S22.从眼动信息中提取眼动特征向量的具体步骤为：

(1)根据眼部的人脸特征点，获取眼部的roi区域，对于眼部图像而言，在越靠近眼球的区域灰度值越低，就会有更多的梯度方向集中于那个区域；通过计算眼部区域每个点的梯度，通过寻找梯度方向上直线相交最多的点，即可定位眼球位置；

(2)根据上一步定位眼球位置，采集的眼动信息；将采集到的眼动信息按照眼动时间、眼动方向、左右眼动距离、上下眼动距离，注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；

(3)根据眼动轨迹绘制眼球轨迹图，并存储眼球轨迹图；通过分析瞳孔直径变化，眼球轨迹图分析用户注意力的变化，进而判断用户是否为真人；

S3.对从步骤S2中提取的面部表情单元特征向量和眼动特征向量进行定性分析，获取其在步骤S1截取的若干帧范围内的表情变化；

S4.根据定性分析的结果确定多帧人脸面部表情单元强度的变化范围和眼动变化范围，若强度变化范围(强度峰值-强度谷值)大于确定是否为真实的人脸。

与现有技术相比，本发明的有益效果如下：

本发明提出了一种基于人脸面部表情单元以及眼动信息的活体检测方法，无需引入额外的设备，只需用户正对摄像头几秒钟，通过比较连续帧图片之间面部表情单元的变化，追踪眼球动态，无需按照指令做出任何动作，即可高效地完成活体检测，用户体验友好，结合了双模态信息，相比于传统静默式活体检测方法，鲁棒性更好，有效避免了假冒者通过照片或者模型进行欺诈。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。