非接触式掌静脉手势动作识别方法及门禁系统

技术领域

本申请属于生物特征识别技术领域，更具体地说，是涉及一种非接触式掌静脉手势动作识别方法及门禁系统。

背景技术

生物特征识别技术与传统的基于密码等的身份认证技术不同，生物特征识别技术越来越得到人们的关注。生物识别技术已经在我们的日常生活中广泛的推广开，如人脸支付、指纹登陆、静脉识别等关系着我们生活日常安全的方方面面。静脉识别是一种通过静脉识别仪在近红外光下取得个人静脉分布图，依据专用比对算法从静脉分布图提取特征值进行匹配认证的非接触式方法，现在主流的静脉识别主要指掌静脉识别，也即掌心区域的静脉识别。

在现有技术的一些高安全等级的场景中，例如银行、海关、边检、监狱等场景，静脉识别虽然能克服大多假体攻击，但依然存在潜在的安全风险，例如利用人体在昏迷、眩晕、醉酒等无意识形态下的攻击手段，或者利用暴力的方式胁迫用户进行识别，不仅影响运用场景的安防风险，还可能影响用户人身安全。

发明内容

本申请实施例的目的在于提供一种非接触式掌静脉手势动作识别方法及门禁系统，以解决现有技术对掌静脉运用过程中存在的安全性不足的技术问题。

为实现上述目的，本申请采用的技术方案是：提供一种非接触式掌静脉手势动作识别方法，包括：

获取用户的掌静脉图像并进行掌静脉识别；

掌静脉识别通过后，随机生成手势动作指令；

获取用户的手势动作图像，将所述手势动作图像输入至手势动作多分类神经网络进行类别预测，输出所述手势动作指令对应的类别概率与报警手势动作的类别概率；

若手势动作指令对应的类别概率大于第一阈值，则验证用户身份通过，发送解锁命令；若手势动作指令对应的类别概率小于第一阈值，且存在报警手势动作的类别概率大于第二阈值，则发送报警信息。

优选地，若手势动作指令对应的类别概率小于第一阈值，且报警手势动作的类别概率小于第二阈值，则重新随机生成手势动作指令。

优选地，所述获取用户的掌静脉图像并进行掌静脉识别的方法，包括步骤：

于红外光下获取用户的掌静脉图像；

对获取的用户的掌静脉图进行编码以生成第一特征向量；

将第一特征向量与用户权限备案库进行匹配，生成第一匹配分数；

判断第一匹配分数是否大于第三阈值。

优选地，所述用户权限备案库包括第二特征向量，其中所述第二特征向量由预采集的有权限用户的掌静脉备案图像进行编码生成。

优选地，所述用户权限备案库包括第三特征向量，其中所述第三特征向量由所述有权限用户的掌静脉备案图像进行提取分割获得掌静脉目标分割图像，对掌静脉目标分割图像进行膨胀处理，并对膨胀处理后的备案掌静脉图像进行编码生成。

优选地，若第一匹配分数为第一特征向量与用户权限备案库的第三特征向量匹配获得，则调高所述第一阈值的数值。

优选地，若第一匹配分数为第一特征向量与用户权限备案库的第三特征向量匹配获得，则降低所述第二阈值的数值。

优选地，所述报警手势动作包括不解锁报警手势动作与解锁报警手势动作，在发送报警信息后，若识别到所述报警手势动作为不解锁报警手势动作，则重新随机生成手势动作指令，若识别到所述报警手势动作为解锁报警手势动作，则还发送解锁命令。

优选地，在发送报警信息后，还包括步骤：

获取用户所在区域的监控视频。

本申请还提供一种门禁系统，包括门禁设备、掌静脉识别终端以及后台监控设备，所述掌静脉识别终端能够基于如上所述非接触式掌静脉手势动作识别方法，根据识别结果发送解锁命令至所述门禁设备或发送报警信息至所述后台监控设备。

本申请提供的非接触式掌静脉手势动作识别方法，与现有技术相比，通过将掌静脉识别与手势动作识别相结合，提升了身份识别认证的抗攻击能力；采用手势动作多分类神经网络进行类别预测，输出所述手势动作指令对应的类别概率与报警手势动作的类别概率，一方面提升手势动作识别的流畅性，另一方可以通过隐蔽的手势动作快捷发出报警信息，保障用户人身安全。

本申请提供的门禁系统，与现有技术相比，当所述门禁设备配备所述掌静脉识别终端后，通过所述后台监控设备可以同时监控多个门禁设备以及掌静脉识别终端，工作人员通过后台监控设备可以远程监控，提升了门禁设备的安全性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的非接触式掌静脉手势动作识别方法的流程示意图；

图2为本申请实施例提供的非接触式掌静脉手势动作识别方法另一形式的流程示意图；

图3为本申请实施例提供的手势动作多分类神经网络的结构示意图；

图4为本申请实施例提供的第一特征向量与用户权限备案库进行匹配的示意框图；

图5为本申请实施例提供的第二特征向量对应的掌静脉目标分割图像；

图6为本申请实施例提供的第三特征向量对应的掌静脉目标分割图像；

图7为本申请实施例提供的门禁系统的示意图。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请一并参阅图1至图3，现对本申请实施例提供的非接触式掌静脉手势动作识别方法进行说明。所述非接触式掌静脉手势动作识别方法，包括：

步骤S1，获取用户的掌静脉图像并进行掌静脉识别。

可以理解的是，掌静脉图像可以用红外摄像头进行采集，例如红外摄像头旁边设置激光感应装置以及红外补光灯，当用户的手掌放置于红外摄像头上时，激光感应装置触发，红外补光灯对手掌进行补光，红外摄像头可以采集到清晰的掌静脉图像，以识别认证该用户是否具有权限。

步骤S2，掌静脉识别通过后，随机生成手势动作指令。

可以理解的是，掌静脉识别通过后，可以通过显示屏、文字或者语音随机生成手势动作指令，以提示用户模仿该手势动作。如此，可以防利用用户无意识形态下的攻击，提升掌静脉识别的安全性。

步骤S3，获取用户的手势动作图像，将所述手势动作图像输入至手势动作多分类神经网络进行类别预测，输出所述手势动作指令对应的类别概率与报警手势动作的类别概率。

步骤S4，若手势动作指令对应的类别概率大于第一阈值，则验证用户身份通过，发送解锁命令；若手势动作指令对应的类别概率小于第一阈值，且存在报警手势动作的类别概率大于第二阈值，则发送报警信息。

可以理解的是，用户根据手势动作指令作出相应的手势动作后，可以通过同一个红外摄像头或者独立的可见光摄像头获取手势动作图像。所述手势动作多分类神经网络的主干网络优选为EfficientNet-b3，包括与全部手势动作指令对应的类别以及报警手势动作的类别，即随机生成的每个手势动作指令都有对应的一个类别。

若用户处于正常状态下，根据手势动作指令作出相应的手势动作后，输出的所述手势动作指令对应的类别概率大于第一阈值，则验证用户身份通过，发送解锁命令。

若用户处于被威胁状态下，用户可以作出报警手势动作，进而导致手势动作指令对应的类别概率小于第一阈值，且报警手势动作的类别概率大于第二阈值，则发送报警信息。如此，可以通过隐蔽的手势动作快捷发出报警信息，保障用户人身安全。

当然，所述报警信息包括用户信息以及位置信息，用户信息可以通过步骤S1中的掌静脉识别结果获取，因此，收到报警信息的后台人员可以更好的作出安防措施。

与常规多分类神经网络不同的是，所述手势动作多分类神经网络不直接输出预测结果，而是输出所述手势动作指令对应的类别概率与报警手势动作的类别概率。如此，可以使得所述手势动作多分类神经网络的输出结果不受全部分类影响，不需要与全部类别的概率进行比较，只需要将该手势动作指令对应的类别概率与第一阈值进行比较即可，即使所述手势动作指令对应的类别概率不是最高的，只要该手势动作指令对应的类别概率大于第一阈值，则就可以验证用户身份通过，发送解锁命令。同理，只要该手势动作指令对应的类别概率小于第一阈值，且存在报警手势动作的类别概率大于第二阈值，则就可以发送报警信息。这是因为手势动作指令的目的主要是防利用用户无意识形态下的攻击，只需要用户作出与手势动作指令近似的动作即可排除该攻击方式，如此，可以解决不同用户手部肢体差异引起的频繁手势动作识别不通过的问题，提升识别效率与用户体验。

此外，掌静脉识别通过后，还可以保持对用户的手部目标进行追踪，直至获取到用户的手势动作图像，防止中途手部目标发生更换。

本申请提供的非接触式掌静脉手势动作识别方法，与现有技术相比，通过将掌静脉识别与手势动作识别相结合，提升了身份识别认证的抗攻击能力；采用手势动作多分类神经网络进行类别预测，输出所述手势动作指令对应的类别概率与报警手势动作的类别概率，一方面提升手势动作识别的流畅性，另一方可以通过隐蔽的手势动作快捷发出报警信息，保障用户人身安全。

在本申请另一个实施例中，若手势动作指令对应的类别概率小于第一阈值，且报警手势动作的类别概率小于第二阈值，则重新随机生成手势动作指令。

可以理解的是，若手势动作指令对应的类别概率小于第一阈值，且报警手势动作的类别概率小于第二阈值，则判断该手势动作既不与手势动作指令近似，又不是报警手势动作，通过重新随机生成手势动作指令，提示用户重新作出手势动作。

在本申请另一个实施例中，请一并参阅图4，所述获取用户的掌静脉图像并进行掌静脉识别的方法，包括步骤：

于红外光下获取用户的掌静脉图像；

对获取的用户的掌静脉图进行编码以生成第一特征向量；

将第一特征向量与用户权限备案库进行匹配，生成第一匹配分数；

判断第一匹配分数是否大于第三阈值。

可以理解的是，对获取的用户的掌静脉图进行编码之前，还可以包括预处理步骤，例如对掌静脉图的图像增强、裁剪、亮度调整、二值化处理等，如此生成的第一特征向量更具有代表性。用户权限备案库为全部有权限用户的掌静脉特征的合集，若当前用户为有权限的用户，则第一匹配分数会大于第三阈值，掌静脉识别通过，反之不通过。

进一步地，请一并参阅图4，所述用户权限备案库包括第二特征向量，其中所述第二特征向量由预采集的有权限用户的掌静脉备案图像进行编码生成。

可以理解的是，通过预先采集有权限用户的掌静脉备案图像,再对有权限用户的掌静脉备案图像进行编码生成第二特征向量，第二特征向量可以包括人员ID、掌静脉特征、人脸、身份信息等，存储于所述用户权限备案库。在运用过程中，将第一特征向量与用户权限备案库的第二特征向量进行匹配，确定当前用户是否有权限。

进一步地，请一并参阅图5及图6，所述用户权限备案库包括第三特征向量，其中所述第三特征向量由所述有权限用户的掌静脉备案图像进行提取分割获得掌静脉目标分割图像，对掌静脉目标分割图像进行膨胀处理，并对膨胀处理后的备案掌静脉图像进行编码生成。

可以理解的是，由于人体处于情绪激动或剧烈运动过后等情况下，会处于心跳急剧加速的状态，心脏收缩力加强，血液循环加快，静脉回心血量随之增加，因而出现静脉扩张，也即我们常说的“青筋”暴起的表现，这种现象在人体手部与脚部会更加明显。

而掌静脉识别即通过识别人体掌部的静脉特征，但是由于静脉扩张现象一般情况下采集不到，因此，本申请先通过所述第三特征向量由所述有权限用户的掌静脉备案图像进行提取分割，获得去除干扰的掌静脉目标分割图像，再对掌静脉目标分割图像进行膨胀处理，使得细微静脉特征加粗，生成静脉扩张下的掌静脉备案图像，再对膨胀处理后的备案掌静脉图像进行编码生成第三特征向量，因此，第三特征向量的掌静脉特征可以包含更多细微静脉特征。

如此，在运用过程中，第一特征向量可以同时与用户权限备案库的第二特征向量、第三特征向量进行匹配，若第一特征向量是处于静脉扩张状态下获取的，则也能够通过匹配第三特征向量通过掌静脉识别，进而提高掌静脉识别的成功率。

进一步地，若第一匹配分数为第一特征向量与用户权限备案库的第三特征向量匹配获得，则调高所述第一阈值的数值。

可以理解的是，由于人体处于胁迫等危险情况下，会处于心跳急剧加速的状态，引起静脉扩张生理现象。因此，当通过前置的掌静脉识别发现用户的第一匹配分数为第一特征向量与用户权限备案库的第三特征向量匹配获得时，在算法层面可以理解为人体处于胁迫等危险情况的概率增加，因为第一匹配分数为最高的特征向量匹配分数，则调高所述第一阈值的数值，提高发送解锁命令所需要的手势动作指令对应的类别概率。

进一步地，若第一匹配分数为第一特征向量与用户权限备案库的第三特征向量匹配获得，则降低所述第二阈值的数值。

可以理解的是，同理，当通过前置的掌静脉识别发现用户的第一匹配分数为第一特征向量与用户权限备案库的第三特征向量匹配获得时，在算法层面可以理解为人体处于胁迫等危险情况的概率增加，则降低所述第二阈值的数值，降低发送报警信息所需要的报警手势动作的类别概率。

在本申请另一个实施例中，请一并参阅图3，所述报警手势动作包括不解锁报警手势动作与解锁报警手势动作，在发送报警信息后，若识别到所述报警手势动作为不解锁报警手势动作，则重新随机生成手势动作指令，若识别到所述报警手势动作为解锁报警手势动作，则还发送解锁命令。

可以理解的是，在用户处于胁迫等危险情况下，用户可以根据实际情况做出不解锁报警手势动作或解锁报警手势动作，也即当解锁后可能造成不可估量的危害时，用户可以选择做出不解锁报警手势动作，仅发送报警信息，拖延时间并等待解救，若不解锁人身安全可能遭遇不测时，用户可以选择做出解锁报警手势动作，发送报警信息后，还发送解锁命令，保障人身安全。

在本申请另一个实施例中，在发送报警信息后，还包括步骤：获取用户所在区域的监控视频。

可以理解的是，后台工作人员接到报警信息后，还可以通过用户所在区域的监控视频进行分析现场情况，根据实际情况作出相应对策。

请一并参阅图7，本申请还提供门禁系统，包括门禁设备、掌静脉识别终端以及后台监控设备，所述掌静脉识别终端能够基于如上所述非接触式掌静脉手势动作识别方法，根据识别结果发送解锁命令至所述门禁设备或发送报警信息至所述后台监控设备。

本申请提供的门禁系统，与现有技术相比，当所述门禁设备配备所述掌静脉识别终端后，通过所述后台监控设备可以同时监控多个门禁设备以及掌静脉识别终端，工作人员通过后台监控设备可以远程监控，提升了门禁设备的安全性。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。