一种基于融合局部与全局特征网络的指静脉识别方法

技术领域

本发明属于生物特征识别和计算机视觉领域，特别涉及到一种基于融合局部与全局特征网络的指静脉识别方法。

背景技术

指静脉识别是一种新兴的生物识别技术，由于其特征存在于手指内部难以复制、安全性高且识别迅速等特性，使其在医疗、军工、教育、金融等安全领域的应用越来越广泛。在实际使用的过程，为了考虑用户体验，指静脉图像采集设备并非严格固定用户手指，用户在放置手指时难免会出现平移、旋转等姿态变化，导致采集到的同类手指静脉图像之间的差异性相对较大，这使得提取的同类指静脉特征相似度降低，影响指静脉识别技术在实际应用场景中的识别性能。因此，对于如何提高指静脉特征对手指姿态变化的鲁棒性的研究是至关重要的。

在指静脉识别领域，目前大多数还是传统的基于人工特征的方法，主要包括基于指静脉纹理以及基于指静脉纹理特征等方法，Miura等在指静脉图像中随机初始化一批点，随后通过重复线追踪获取整幅图像中的指静脉纹路，该方法可以较为准确地获取出指静脉纹路的骨架，但算法本身需要重复进行迭代，以至于较为耗时；Yang等首先使用八方向的Gabor滤波器获取指静脉图像中的纹路信息，随后使用重建算法融合并导出指静脉纹路图像；基于指静脉纹理特征的方法最为典型的方法为基于LBP的方法。这些人工特征通常对指静脉图像成像质量和手指放置姿态变化比较敏感，表征能力有限。

随着深度学习的兴起，神经网络也被广泛应用于识别领域。利用神经网络的强大学习能力来自动学习并获取紧凑的指静脉特征。戴庆华等提出基于siamese卷积神经网络的指静脉识别算法，该算法采用三元组损失函数定义目标函数来约束网络学习到更加具有区分力的指静脉特征。包晓安等提出基于改进残差网络的指静脉识别算法，该算法采用中心损失用于约束指静脉的类内距离，同时采用softmax loss用于约束类间距离，提高了指静脉特征的识别力。但以上方法提取的都是指静脉图像的全局特征，当手指放置出现平移、旋转等姿态变化时，同类指静脉图像之间的出现某些局部静脉差异较大，导致提取的全局特征相似度较低，而其他局部区域指静脉相似度较高，这些局部区域的静脉特征更加有利于识别。

因此，为了提高指静脉特征对于手指放置姿态变化的鲁棒性，本文提出了一种基于融合局部与全局特征网络的指静脉识别方法。

发明内容

本发明的目的在于解决经典Resnet50模型提取的全局指静脉特征对于手指放置姿态变化鲁棒性不佳的问题，提出一种基于融合局部与全局特征网络的指静脉识别方法。

本发明所采用的技术方案为：

一种基于融合局部与全局特征网络的指静脉识别方法，包括以下步骤：

S1、构造训练数据集，采集若干个用户手指图像I

由于现实中很难采集到足够多包含各种姿态的指静脉图像，无法满足充分训练网络的需要。因此，针对基础训练集I

S1-1:采集若干个用户手指图像I

S1-2:利用平移、平面旋转、放缩操作对I

S2、设计基于融合局部与全局特征的指静脉特征提取网络；

S2-1:基于改进残差模块的基础网络

基于改进残差模块的基础网络包含五层结构，如图3(a)所示，第一层由卷积核大小为5*5、步长为1的卷积层。第二到五层均由改进的BasicBlock模块组成，如图3(b)所示。相比于Bottleneck 模块，BasicBlock模块均采用卷积核大小为3*3的卷积层，能够更好的提取指静脉图像的空间特征。每层的IR-BasicBlock模块个数依次为3、4、14、3，在每个IR-BasicBlock模块中引入了SENet (Squeeze-and-Excitation Networks)注意力机制模块，此时每个 IR-BasicBlock模块的结构包括两层卷积核大小为3*3卷积层以及 SENet，SENet能通过学习的方式来自动获取到每个特征通道的重要程度，从而提升有用特征的权重并抑制对当前任务贡献度不大的特征，使得网络能够更加准确的提取指静脉特征。在第五层结构中每个 IR-BasicBlock模块设置3*3卷积步长为1，即在第五层结构中图像大小不改变，避免提取的指静脉图像的Feature Map尺寸过小，不利于进行分割提取局部特征；

第一层到第五层的激活函数均替换为Mish激活函数，相比于 ReLU激活函数，Mish激活函数是一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化能力，避免了ReLU激活函数使得一部分神经元彻底死亡的情况，其定义为：

f(x)＝x*tanh (ln(1+e

式中，x为Mish激活函数的输入，f(x)为输入x时Mish激活函数的输出；

指静脉图像经过基于改进残差模块的基础网络得到指静脉图像的 Feature Map,其大小为C*H*W，C、H、W分别为特征图的通道数、高以及宽；

S2-2:指静脉全局特征提取延伸网络，如图4所示；

由于全局平均池化层保留的指静脉信息更丰富，更合适作为全局特征向量。因此，将Feature Map通过全局平均池化层得到输出向量并归一化作为全局特征向量，维度大小为C*1*1，如下公式(2)：

式中，F表示全局平均池化层得到输出向量；GAP(*)为全局平均池化层，F

S2-3:指静脉局部特征提取延伸网络，如图4所示；

以Feature Map分为四块为例。首先将Feature Map从竖直方向分割成四个区域分别为M1,M2,M3,M4,其大小均为C*H*W/4，其次，最大池化层能更多的保留局部静脉纹理信息，利用全局最大池化层提取各局部区域最显著的静脉特征，公式如下：

pi＝GMP(Mi),i＝1,2,3,4 (3)

式中，GMP表示全局最大池化层，Mi表示第i个局部区域，pi表示Mi对应的局部特征向量，其维度为C*1*1。

仅提取各个局部区域对应的局部特征向量来进行识别，会导致具有相似局部静脉的不同类指静脉图像之间出现误识。因此，在提取某一局部区域对应的局部特征向量的同时，应当融合其他局部区域的静脉信息，使得具有相似局部静脉的不同类指静脉图像的局部特征向量也具有良好的区分度。

以提取M1对应的局部特征向量q1为例：首先通过1*1卷积对p1进行降维得到

式中，Conv

然后将

式中，Conv

最后将该关系特征向量

此时，局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1 与M2,M3,M4之间的全局联系。即使当手指出现平移、旋转等姿态变化，导致同类指静脉图像之间出现局部静脉差异时，由于对应局部特征向量也包含了其他局部区域的静脉特征，使得对应局部特征向量也具有较高的相似度，同时避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力。

局部区域M2,M3,M4对应的局部特征向量q2，q3，q4提取过程如上，故不再赘述。将提取的局部特征q1，q2，q3，q4的进行维度拼接作为指静脉局部特征Q

Q

为了提高局部特征的鲁棒性，同时提取6分块，4分块以及2分块的局部特征融合并归一化成最终的指静脉局部特征Q

S3、设计网络损失函数；

通过Softmax Loss来指导网络学习，能够使得提取的指静脉特征具有良好的类间距离，即不同类别的指静脉特征具有较高的可分性，但同时类内距离也很大。因此，特征的区分力不足，无法直接用欧氏距离进行识别。ArcFace Loss损失函数是Softmax Loss损失函数改进版，其通过在角度空间减小特征的类内距离来最大化分类边界，使得网络学习到的指静脉特征不仅具有较大的类间距离，同时还具有较小的类内距离，从而提高模型的泛化能力。

ArcFace loss的定义如下：

式中，m为训练集中一个批次图像的数量，n为训练集中用户的类别数，y

S4、训练整个模型，如图5，直至迭代训练整个训练集若干次；

S5、将测试集图像输入训练好的模型中提取指静脉特征，采用欧式距离进行1：1比对识别。

本发明方法采用欧式距离作为衡量静脉特征相似度的标准，欧式距离越小，说明两个静脉特征的相似度越高，反之，两个静脉特征的相似度越低。将测试集指静脉特征全局特征与局部特征进行分别进行1：1不同类比对，获取全局特征阈值T1和局部特征阈值T2，同理测试集指静脉特征全局特征与局部特征进行分别进行1：1同类比对，当全局特征比对结果和局部特征比对结果有一个小于对应阈值，即视为比对成功，反之，则比对失败。

本发明有益效果如下：

本发明提出一种基于融合局部与全局特征网络的指静脉识别方法，首先针对用户实际放置手指时可能出现的平移、旋转等姿态，利用图像平移、旋转、以及放缩来扩充指静脉图像的各种姿态，形成训练集，以获取泛化性更强的特征提取模型，解决了现实采集指静脉图像样本姿态少的训练集所获取的模型泛化性弱的问题；其次，提出基于融合局部与全局特征的指静脉特征，当手指出现平移、旋转等姿态变化，导致同类指静脉图像之间出现局部静脉差异时，同类指静脉图像的全局特征差异较大，导致识别性能下降，而本发明方法提取的局部特征向量不仅包含了其对应局部区域的静脉特征，也包含了其他局部区域的静脉特征，使得出现差异的局部区域对应的局部特征向量也具有较高的相似度，同时避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力，解决了全局特征对于手指放置姿态变化鲁棒性不佳的问题。基于融合局部与全局特征网络的指静脉识别方法较经典的基于Resnet50网络以及SE-Resnet50网络提取的指静脉全局特征，本发明方法提取的指静脉特征对于放置手指姿态变化的鲁棒性更强，识别性能性能更高，充分说明了本发明提出的基于融合局部与全局特征网络的指静脉识别方法的有效性，进一步提升了指静脉识别技术在现实环境下的应用性能。

附图说明

图1为本发明基于融合局部与全局特征网络的指静脉识别方法的步骤图；

图2为本发明基于改进Resnet50的基础网络框图；

图3为本发明基于融合局部与全局特征的指静脉特征提取框图；

图4为本发明基于融合局部与全局特征的指静脉特征提取模型结构图；

图5(a)、5(b)、5(c)为采集的测试集图像在不同特征提取模型下平均识别性能；

具体实施方式

下面结合附图对本发明的具体实施例作进一步的说明。

本实施例的基于一种基于融合局部与全局特征网络的指静脉识别方法，包括以下步骤：

S1、构造训练数据集；

S1-1:采集4000根手指图像，每根手指采集6张图像，图像大小为500*200；

S1-2:利用平移(上下平移量为：-30：5：30，左右平移量为-20： 5：20)、平面旋转(左右旋转角度为-4：2：4)、放缩(采用双线性差值进行放缩，放缩倍数为0.95：0.01：1.05)操作进行手指放置姿态的扩充，扩充后图像数量为4000*6*131＝3144000张，将扩充的图像归一化到192*192得到训练数据集I

S2、设计基于融合局部与全局特征的指静脉特征提取网络；

S2-1:基于改进残差模块的基础网络

基于改进残差模块的基础网络包含五层结构,如图3(a)所示，第一层由卷积核大小为5*5、步长为1的卷积层。第二到五层均由改进的BasicBlock模块组成，如图3(b)所示。相比于Bottleneck 模块，BasicBlock模块均采用卷积核大小为3*3的卷积层，能够更好的提取指静脉图像的空间特征。每层的IR-BasicBlock模块个数依次为3，4，14，3，在每个IR-BasicBlock模块中引入了SENet (Squeeze-and-Excitation Networks)注意力机制模块，此时每个 IR-BasicBlock模块的结构为两层卷积核大小为3*3卷积层以及 SENet，SENet能通过学习的方式来自动获取到每个特征通道的重要程度，从而提升有用特征的权重并抑制对当前任务贡献度不大的特征，使得网络能够更加准确的提取指静脉特征。在第五层结构中每个 IR-BasicBlock模块设置3*3卷积步长为1，即在第五层结构中图像大小不改变，避免提取的指静脉图像的Feature Map尺寸过小，不利于进行分割提取局部特征；

第一层到第五层的激活函数均替换为Mish激活函数，相比于 ReLU激活函数，Mish激活函数是一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化能力，避免了ReLU激活函数使得一部分神经元彻底死亡的情况，其定义为：

f(x)＝x*tanh (ln(1+e

式中，x为Mish激活函数的输入，f(x)为输入x时Mish激活函数的输出；

指静脉图像经过基于改进残差模块的基础网络得到指静脉图像的 Feature Map，其大小为512*24*24；

S2-2:指静脉全局特征提取延伸网络，如图4所示；

由于全局平均池化层保留的指静脉信息更丰富，更合适作为全局特征向量。因此，将Feature Map通过全局平均池化层得到输出向量并归一化作为全局特征向量，维度大小为512*1*1，如下公式(2)：

式中，GAP(*)为全局平均池化层，F

S3-2:指静脉局部特征提取延伸网络，如图4所示；

以Feature Map分为四块为例。首先将Feature Map从竖直方向分割成四个区域分别为M1,M2,M3,M4,其大小均为512*24*6，其次，最大池化层能更多的保留局部静脉纹理信息，利用全局最大池化层提取各局部区域最显著的静脉特征，公式如下：

pi＝GMP(Mi),i＝1,2,3,4 (3)

式中，GMP表示全局最大池化层，Mi表示第i个局部区域，pi表示Mi对应的局部特征向量，其维度为512*1*1。

仅提取各个局部区域对应的局部特征向量来进行识别，会导致具有相似局部静脉的不同类指静脉图像之间出现误识。因此，在提取某一局部区域对应的局部特征向量的同时，应当融合其他局部区域的静脉信息，使得具有相似局部静脉的不同类指静脉图像的局部特征向量也具有良好的区分度。

以提取M1对应的局部特征向量q1为例，首先通过1*1卷积对p1进行降维得到

式中，Conv

然后将

式中，Conv

最后将该关系特征向量与

此时，局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1 与M2,M3，M4之间的全局联系。即使当手指出现平移、旋转等姿态变化，导致同类指静脉图像之间出现局部静脉差异时，由于对应局部特征向量也包含了其他局部区域的静脉特征，使得对应局部特征向量也具有较高的相似度，同时避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力。

局部区域M2，M3，M4对应的局部特征向量q2，q3，q4提取过程如上，故不再赘述。将提取的局部特征q1，q2，q3，q4的进行维度拼接作为指静脉局部特征Q

Q

为了提高局部特征的鲁棒性，同时提取6分块，4分块以及2分块的局部特征融合并归一化成最终的指静脉局部特征Q

S3、设计网络损失函数；

通过Softmax Loss来指导网络学习，能够使得提取的指静脉特征具有良好的类间距离，即不同类别的指静脉特征具有较高的可分性，但同时类内距离也很大。因此，特征的区分力不足，无法直接用欧氏距离进行识别。ArcFace Loss损失函数是Softmax Loss损失函数改进版，其通过在角度空间减小特征的类内距离来最大化分类边界，使得网络学习到的指静脉特征不仅具有较大的类间距离，同时还具有较小的类内距离，从而提高模型的泛化能力。

ArcFace loss的定义如下：

式中，m为训练集中一个批次图像的数量，n为训练集中用户的类别数，y

S4、训练整个模型，如图5(a)、5(b)、5(c)所示，直至迭代训练整个训练集若干次；

S5、将测试集图像输入训练好的模型中提取指静脉特征并进行比对识别。

本发明方法采用欧式距离作为衡量静脉特征相似度的标准，欧式距离越小，说明两个静脉特征的相似度越高，反之，两个静脉特征的相似度越低。将测试集指静脉特征全局特征与局部特征进行分别进行1：1不同类比对，获取全局特征阈值T1和局部特征阈值T2，同理，测试集指静脉特征全局特征与局部特征进行分别进行1：1同类比对，当全局特征比对结果和局部特征比对结果有一个小于对应阈值，即视为比对成功，反之，则比对失败。

本发明实验所用服务器GPU为NVIDIA TITAN RTX，训练所使用的深度学习框架是Pytorch，批次大小为16，迭代次数为10次，初始学习率为0.001，在迭代次数分别为3，6时衰减为原来的1/10，通过ADAM优化器进行优化。

以下是基于图像数据库对本发明所提算法的实验数据分析，本发明方法与经典Resnet50模型以及SE-Resnet50模型在采集的不同姿态指静脉图像上进行测试比对。

为了验证本发明方法提取的指静脉特征对手指放置姿态变化的鲁棒性，采集了112根手指图像，每根手指10张图像，采集图像大小为500*200，归一化尺寸为192*192，包括正常放置姿态NORM-FV、上下左右平移放置姿态TRANS-FV以及旋转放置姿态ROTATION-FV三个指静脉图像库。

利用本发明方法特征提取模型与经典Resnet50模型以及SE-Resnet50模型分别对NORM-FV、TRANS-FV、ROTATION-FV进行特征提取并进行识别。

图5(a)为手指正常放置时，在不同算法下识别的ROC曲线，在0误识下，相比于Resnet50模型以及SE-Resnet50模型，本发明方法拒识率分别下降了3.64％，2.52％。

图5(b)为手指上下左右平移放置时，在不同算法下识别的ROC曲线，在0误识下，相比于Resnet50模型以及SE-Resnet50模型，本发明方法拒识率分别下降了7.56％，6.35％

图5(c)为手指旋转放置时，在不同算法下识别的ROC曲线，在0误识下，相比于Resnet50模型以及SE-Resnet50模型，本发明方法拒识率分别下降了6.83％，5.92％。

本发明方法在不同手指放置姿态下均有不同程度的提升。因此，本发明方法有效提高了指静脉特征对手指姿态变化的鲁棒性，进一步提升了指静脉识别技术在现实环境下的应用性能。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。