一种基于人眼的身份识别方法及系统

技术领域

本发明涉及人脸识别技术领域，尤其是涉及一种基于人眼的身份识别方法及系统。

背景技术

身份识别是指对人的身份信息进行认证。随着人工智能技术的不断成熟，智能生物识别技术开始成为一种普遍的身份识别方法。智能生物识别技术通过对生命体指纹、声纹、虹膜、面部信息等生物特征信息的分析比对，可以准确、快速地进行身份识别。

在通过面部信息进行身份识别时，通常需要获取到人的完整面部，才能够较为准确的识别出对应的身份信息，然而，目前在出行中常需要佩戴口罩，导致不能露出完整的面部，从而使得难以利用面部信息对人的身份进行识别。

发明内容

为了便于在人佩戴口罩时利用面部信息对人的身份进行识别，本申请提供了一种基于人眼的身份识别方法及系统。

第一方面，本申请提供的一种基于人眼的身份识别方法，采用如下的技术方案：

一种基于人眼的身份识别方法，包括将人眼图像输入至目标检测模型中，生成人眼图像的预测框以及视觉特征；

判断预测框是否识别正确，若是，则基于预测框，获取人眼的基本特征；

将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征；

根据人眼融合特征，识别对应的身份信息。

通过采用上述技术方案，利用目标检测模型生成预测框以及视觉特征，判断生成的预测框是否正确，若是，则基于预测框，获取人眼的基本特征，若预测框不准确则无需进行人眼基本特征的获取，节约了程序，将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征，使得人眼融合特征具有多种特征的组合，从而在利用人眼融合特征识别对应的身份时，准确性较高，进而便于在人佩戴口罩时利用面部信息中的人眼信息对人的身份进行识别。

可选的，所述目标检测模型包括平均池化层以及全连接层；

所述平均池化层，连接于目标检测模型的主干网络，用于对主干网络提取出的特征进行压缩，得到多个特征点；

所述全连接层，连接于所述平均池化层，用于对平均池化层输出的所有特征点进行组合，得到视觉特征。

通过采用上述技术方案，利用平均池化层从目标检测模型的主干网络中提取出多个特征点，利用全连接层将提取出的多个特征点进行组合，从而得到视觉特征。

可选的，所述预测框包括预测框的坐标信息以及预测框的类别信息，所述判断预测框是否识别正确，具体包括：

判断预测框的类别信息是否为人眼类别；

若不是人眼类别，则判定预测框错误；

若是人眼类别，则根据预测框坐标信息，判断视觉特征是否位于预测框内，若是，则判定预测框正确，若否，则判定预测框错误。

通过采用上述技术方案，通过判断预测框的类别信息是否为人眼类别，若是说明人眼图像中存在人眼部位，此时再判断视觉特征是否位于预测框内，以确定预测框的位置和范围是否正确，若视觉特征位于预测框内，则判定预测框正确。

可选的，所述判断预测框是否识别正确之后，还包括：

若预测框错误，则选择损失函数，对目标检测模型进行训练。

通过采用上述技术方案，在预测框错误时，则说明目标检测模型的输出结果存在误差，此时则需要对目标检测模型进行训练，以提高目标检测模型识别的准确性。

可选的，所述则基于预测框，获取人眼的基本特征，具体包括：

在预测框的范围内，获取人眼的灰度以及人眼的面积；

在预测框的范围内，获取人眼的关键点特征；

利用人眼的灰度、人眼的面积以及人眼的关键点特征组成人眼的基本特征。

通过采用上述技术方案，在预测框的范围内获取人眼的灰度、人眼的面积以及人眼的关键点特征，减小了需要处理的图像的面积，且组成的人眼的基本特征较为准确。

可选的，所述获取人眼的关键点特征，具体包括：

将预设的标准人眼特征点定位至预测框中的预设框内；

以每个标准人眼特征点的坐标为中心，获取预设距离内响应值最大的点作为人眼图像中的关键点；

将所有关键点进行组合，得到关键点特征。

通过采用上述技术方案，将标准的人眼特征点定位至预测框中，以每个标准人眼特征点的坐标为中心，获取预设距离内响应值最大的点作为人眼图像中的关键点，能够较为准确的获取到人眼图像中的每个关键点，将所有关键点进行组成，得到较为准确的关键点特征。

第二方面，本申请提供一种基于人眼的身份识别系统，采用如下技术方案：

一种基于人眼的身份识别方法身份识别系统，包括：

特征提取单元，用于将人眼图像输入至目标检测模型中，生成人眼图像的预测框以及视觉特征；

特征核对单元，用于判断预测框是否识别正确，若是，则基于预测框，获取人眼的基本特征；

特征融合单元，用于将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征；

身份识别单元，用于根据人眼融合特征，识别对应的身份信息。

通过采用上述技术方案，利用特征提取单元生成人眼图像的预测框以及视觉特征，利用特征核对单元判断预测框是否识别正确，若是，则基于预测框，获取人眼的基本特征，利用特征融合单元将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征，利用身份识别单元，根据人眼融合特征识别对应的身份信息。

可选的，所述特征核对单元包括：

类别核对子单元，用于判断预测框的类别信息是否为人眼类别；若不是人眼类别，则判定预测框错误；

特征核对子单元，用于在预设框是人眼类别时，根据预测框坐标信息，判断视觉特征中的特征点是否均位于预测框内，若是，则判定预测框正确，若否，则判定预测框错误。

通过采用上述技术方案，利用类别核对单元判断预测框的类别信息是否为人眼类别，利用特征核对子单元在预设框是人眼类别时，根据预测框坐标信息，判断视觉特征中的特征点是否均位于预测框内，即从类别和特征位置两个角度判断预测框是否正确，使得判断的结果更加准确。

第三方面，本申请提供一种计算机设备，采用如下技术方案：

一种计算机设备，包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如第一方面中任一所述的一种基于人眼的身份识别方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：

一种计算机可读存储介质，包括存储有能够被处理器加载并执行如第一方面中任一所述的一种基于人眼的身份识别方法的计算机程序。

附图说明

图1是本申请其中一实施例的身份识别方法的流程图。

图2是本申请其中一实施例判断预测框是否正确的方法流程图。

图3是本申请其中一实施例获取人眼基本特征的方法流程图。

图4是本申请其中一实施例获取关键特征点的方法流程图。

图5是本申请其中一实施例身份识别系统的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-5及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例公开一种基于人眼的身份识别方法。参照图1，一种基于人眼的身份识别方法包括：

步骤S101：将人眼图像输入至目标检测模型中，生成人眼图像的预测框以及视觉特征；

其中，目标检测模型可以采用yolo3模型，即目标检测模型的主干网络由6个卷积核大小为3×3的卷积层和23个残差模块组成，卷积层的步长设为2，用于对人眼图像进行下采样。

另外，为了使输出的预测框更加准确，在目标检测模型的主干网络后连接特征金字塔，再将特征金字塔中尺寸最小的分类层中的特征，通过通道注意力机制，添加至特征金字塔中的其他分类层中。具体地，在目标检测模型的主干网络还连接输出为13×13×21的第一卷积层组、输出为26×26×21的第二卷积层组以及输出为52×52×21的第三卷积层组，并且通过通道注意力机制将第一卷积层组连接于第二卷积层组以及第三卷积层组，再将第一卷积层组、第二卷积层组以及第三卷积层组的输出进行融合，使得目标检测模型既具有更加精确的识别精度，又具有较大的感受野（感受野是指卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小）。

其中，预测框至少包括预测框的坐标信息以及预测框的类别信息；预测框坐标信息包括四个坐标x、y、w以及h，坐标x和坐标y代表预测框的左上角坐标，坐标w代表预测框的宽度，坐标h代表预测框的高度。预测框类别信息包括类别以及置信度C，类别即代表预测框中所识别出的类别，例如眼睛类别则说明预测框中所识别出的物体类型为眼睛，置信度C代表识别出的类别的匹配程度，例如，眼睛类别的置信度为0.9，则说明在误差允许范围以内的预测框中的物体是眼睛的概率为90%。

步骤S102：判断预测框是否识别正确，若是，则执行步骤S103；

需要说明的是，若预测框错误，则选择损失函数，对目标检测模型进行训练。损失函数可以选择置信度损失函数、分类损失函数以及定位损失函数中的一种或多种。在判定预测框错误时，停止执行后续步骤。

步骤S103：基于预测框，获取人眼的基本特征；

应当理解，在预测框判定为正确后，才会获取人眼的基本特征，而预测框判定为正确后则说明预测框中是包含人眼的， 此时只需要在预测框内获取人眼的基本特征即可，对于预测框外的区域无需进行处理，提高了处理效率。

步骤S104：将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征；

其中，视觉特征、预测框以及人眼的基本特征可按照预设权重进行融合。

步骤S105：根据人眼融合特征，识别对应的身份信息。

需要说明的是，可建立包含有身份信息和人眼融合特征的数据库，当生成人眼融合特征后，将人眼融合特征在数据库中进行匹配，以选择出与人眼融合特征相对应的身份信息，从而完成对人的身份的识别。

应当理解，由于人眼融合特征融合了视觉特征、预测框以及人眼的基本特征多个角度的特征，所以此时仅通过人眼融合特征能够得到较为准确的识别结果。

还需要说明的是，作为本申请的一种使用场景，本申请可以使用在防疫电子哨兵上，目前的防疫电子哨兵可通过识别用户的健康码、身份证等获取用户健康状态，从而判定用户的通行权限。而采用本申请的技术方案，通过获取用户的眼部信息，得到人眼融合特征，再根据人眼融合特征即能够识别出用户的身份信息，再根据身份信息，获取对应的健康码信息；判断对应的健康码是否为绿码，若是，则判定为允许通行。从而实现了通过眼部信息，就能够判定出用户的通行权限，在整个过程中，无需摘取口罩，验证过程方便快捷。

上述实施方式中，利用目标检测模型生成预测框以及视觉特征，判断生成的预测框是否正确，若是，则基于预测框，获取人眼的基本特征，若预测框不准确则无需进行人眼基本特征的获取，节省了程序，将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征，使得人眼融合特征具有多个特征，从而在利用人眼融合特征识别对应的身份时，准确性较高，进而便于在人佩戴口罩时利用面部信息中的人眼信息对人的身份进行识别。

作为目标检测模型的一种实施方式，目标检测模型包括平均池化层以及全连接层；

平均池化层，连接于目标检测模型的主干网络，用于对主干网络提取出的特征进行压缩，得到多个特征点；

全连接层，连接于所述平均池化层，用于对平均池化层输出的所有特征点进行组合，得到视觉特征。

其中，全连接层通过softmax函数进行输出结果。

其中，利用平均池化层从目标检测模型的主干网络中提取出多个特征点，利用全连接层将提取出的多个特征点进行组合，从而得到视觉特征。

参照图2，作为步骤S102的一种实施方式，判断预测框是否识别正确，具体包括：

步骤S1021：判断预测框的类别信息是否为人眼类别；若不是人眼类别，则执行步骤S1024；若是人眼类别，则执行步骤S1022。

具体地，判断预测框的类别信息中的类别是否为人眼类别，若否，则执行步骤S1024，若是，则判断预测框的类别信息中的置信度是否大于预设置信度，若大于，则判定是人眼类别。其中，预设置信度可设置为0.5或0.6。

步骤S1022：根据预测框坐标信息，判断视觉特征是否位于预测框内，若是，则执行步骤S1023；若否，则执行步骤S1024。

应当理解，视觉特征从人眼区域提取出，预测框的范围应当覆盖全部的人眼区域，若视觉特征和预测框所处区域不一致，则说明预测框的生成可能存在错误。

步骤S1023：判定预测框正确。

应当理解，预测框正确说明预测框中包含置信度较高的人眼类别且视觉特征的位置也处于预测框内。

步骤S1024：判定预测框错误。

需要说明的是，当由于预测框的类别信息的类别不是人眼类别而导致的预测框错误时，则选择分类损失函数对目标检测模型进行训练；当由于预测框的类别信息的置信度较低而导致的预测框错误时，则选择置信度损失函数对目标检测模型进行训练；当由于视觉特征的位置不在预测框内而导致的预测框错误时，则选择定位损失函数对目标检测模型进行训练。

上述实施方式中，通过判断预测框的类别信息是否为人眼类别，若是说明人眼图像中存在人眼部位，此时再判断视觉特征是否位于预测框内，以确定预测框的位置和范围是否正确，若视觉特征位于预测框内，则判定预测框正确。

参照图3，作为S103的一种实施方式，基于预测框，获取人眼的基本特征，具体包括：

步骤S1031：在预测框的范围内，获取人眼的灰度以及人眼的面积；

具体地，人眼的面积的获取可采用轮廓检测的方法，即选择合适的阈值对人眼图像进行灰度处理；对灰度处理后的人眼图像进行形态学处理，以消除灰度处理后的人眼图像中残留的眉毛、鼻子等部分；在形态学处理后的人眼图像中定位出眼睛的轮廓，并根据眼睛的轮廓得到人眼的面积；再根据眼睛的轮廓获取轮廓内的人眼图像对应区域的灰度，即为人眼的灰度。

步骤S1032：在预测框的范围内，获取人眼的关键点特征；

应当理解，从预测框的范围内提取人眼关键点特征，减少了需要处理的图像尺寸，从而加快了运行速度。同时，预测框相当于给人眼的关键点特征提供了先验知识，便于关键点特征在预测框的基础上更加准确的提取。

步骤S1033：利用人眼的灰度、人眼的面积以及人眼的关键点特征组成人眼的基本特征。

参照图4，作为步骤S1032的一种实施方式，步骤S1032具体包括：

步骤S10321：将预设的标准人眼特征点定位至预测框中的预设框内；

其中，标准人眼特征点有多个，通常标准人眼特征点设置在每只眼睛的轮廓处，每只眼睛设置八到十二个标准人眼特征点。另外，标准人眼特征点还可以设置在眉毛以及眼睛外侧的脸的轮廓处，用于辅助确定眼睛的位置。

其中，所有的标准人眼特征点组成人眼特征点组，人眼特征点组构成了人眼的轮廓形状，在将标准人眼特征点组定位至预测框中时，应作为一个整体定位至预测框中。例如，可将人眼特征点组的中心定位至预测框的中心处。

应当理解，由于需要定位的人眼已位于预测框内，所以直接将预设的标准人眼特征点定位至预设框内即能够较为准确的找到人眼图像中的人眼位置。

步骤S10322：以每个标准人眼特征点的坐标为中心，获取预设距离内响应值最大的点作为人眼图像中的关键点；

其中，预设距离内是指5*5或7*7或9*9等尺寸的像素格所覆盖的范围内，且像素格所覆盖的范围的中心为标准人眼特征点。

其中，响应值是指像素灰度值的变化值，响应值越大则灰度变化越明显，则说明该点最有可能是眼睛的边界点，所以将响应值最大的点作为人眼图像的关键点便于定位人眼的边缘轮廓。

步骤S10323：将所有关键点进行组合，得到关键点特征。

其中，在组合关键点时应按照预设的标准人眼特征点的顺序进行组合，即利用关键点对相应的标准人眼特征点进行替换，使得关键点特征即能够保留标准人眼特征点的组合形状，又能够根据每个人眼睛的不同进行对应的调整，使得得到的关键点特征更加贴近所识别的人眼的形状。

上述实施方式中，将标准的人眼特征点定位至预测框中，以每个标准人眼特征点的坐标为中心，获取预设距离内响应值最大的点作为人眼图像中的关键点，能够较为准确的获取到人眼图像中的每个关键点，将所有关键点进行组成，得到较为准确的关键点特征。

本申请实施例公开一种基于人眼的身份识别方法身份识别系统。参照图5，一种基于人眼的身份识别方法身份识别系统包括：

特征提取单元，用于将人眼图像输入至目标检测模型中，生成人眼图像的预测框以及视觉特征；

特征核对单元，用于判断预测框是否识别正确，若是，则基于预测框，获取人眼的基本特征；

特征融合单元，用于将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征；

身份识别单元，用于根据人眼融合特征，识别对应的身份信息。

上述实施方式中，利用特征提取单元生成人眼图像的预测框以及视觉特征，利用特征核对单元判断预测框是否识别正确，若是，则基于预测框，获取人眼的基本特征，利用特征融合单元将视觉特征、预测框以及人眼的基本特征进行融合，得到人眼融合特征，利用身份识别单元，根据人眼融合特征识别对应的身份信息。

作为特征核对单元的一种实施方式，特征核对单元包括：

类别核对子单元，用于判断预测框的类别信息是否为人眼类别；若不是人眼类别，则判定预测框错误；

特征核对子单元，用于在预设框是人眼类别时，根据预测框坐标信息，判断视觉特征中的特征点是否均位于预测框内，若是，则判定预测框正确，若否，则判定预测框错误。

上述实施方式中，利用类别核对单元判断预测框的类别信息是否为人眼类别，利用特征核对子单元在预设框是人眼类别时，根据预测框坐标信息，判断视觉特征中的特征点是否均位于预测框内，即从类别和特征位置两个角度判断预测框是否正确，使得判断的结果更加准确。

本申请提供的一种基于人眼的身份识别方法身份识别系统能够实现上述一种基于人眼的身份识别方法，且一种基于人眼的身份识别系统的具体工作过程可参考上述方法实施例中的对应过程。

需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

基于同一技术构思，本发明还公开一种计算机设备，一种计算机设备包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序，处理器执行如上述任一种基于人眼的身份识别方法方法。

本发明还公开一种计算机可读储存介质，一种计算机可读存储介质，其特征在于，包括存储有能够被处理器加载并执行如上述任一种基于人眼的身份识别方法的计算机程序。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。