手掌检测和感兴趣区域提取方法、装置、存储介质及设备

技术领域

本申请涉及生物特征识别领域，特别是指一种手掌检测和感兴趣区域提取方法、装置、存储介质及设备。

背景技术

在掌纹识别或掌静脉识别中，需要对手掌轮廓、指尖点和谷点等关键点进行定位，通过定位的结果截取感兴趣区域，并提取特征进行识别。关键点定位的准确性会直接的影响截取的感兴趣区域的准确性，进而影响提取的掌纹特征或掌静脉特征的准确性。

现有的提取感兴趣区域方法多采用数字图像处理和统计的方法，该方法依据手掌区域与背景区域的灰度或颜色不同的特性，对手部图像进行二值化分割，并进行空洞填充后，描述二值化后手部图像的边缘点。然后根据手部图像边缘点的特点计算食指与中指相交的谷点以及无名指与小拇指相交的谷点，由这两个谷点截取感兴趣区域。

前述的数字图像处理和统计的方法存在如下缺陷：

1、手掌关键点检测的准确性依赖手掌二值分割的结果，图像的二值分割容易受到光照等外界环境变化的影响，因此该方法鲁棒性较差，对光照、噪声等变化比较敏感，使得该检测方法容易不稳定。

2、二值化分割和描述手部图像的边缘点通常依赖于专家系统的经验总结，专家系统对各类型数据的经验总结存在片面性，泛化性较差，对新的数据分割的结果较差。

3、该方法步骤较为复杂，通常包括图像二值分割，空洞填充，手掌区域提取，二值图像修正，图像边缘的点定位等步骤，无法实现端到端的检测定位效果。

4、该方法只是通过既定的操作过程(即包括二值分割在内的一系列手段)找到默写边界，但是无法判断该边界是否是真实的手掌边界，即无法真正的判断手掌是否存在。因为无法真正的判断手掌是否存在，所以无论手掌是否存在，都需要进行后续的特征提取和识别过程，造成了计算资源的浪费并延长了认证时间。

发明内容

为解决现有技术的缺陷，本申请提供一种手掌检测和感兴趣区域提取方法、装置、存储介质及设备，其鲁棒性和泛化性好，实现了端到端的手掌检测和手部关键点定位，提高了感兴趣区域的准确性，减少了计算资源的消耗，提高了认证效率。

本申请提供技术方案如下：

第一方面，本申请提供一种手掌检测和感兴趣区域提取方法，所述方法包括：

获取待检测图像；

通过第一神经网络对所述待检测图像同时进行手掌检测和关键点粗定位，其中，所述关键点至少包括食指与中指相交的谷点以及无名指与小拇指相交的谷点；

当手掌检测的结果为所述待检测图像存在手掌时，分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数量相同的预设大小的图像块；

通过第二神经网络对所有图像块进行关键点精定位；

根据关键点精定位得到的所述食指与中指相交的谷点的精定位坐标以及所述无名指与小拇指相交的谷点的精定位坐标从所述待检测图像上截取得到感兴趣区域。

进一步的，所述通过第一神经网络对所述待检测图像同时进行手掌检测和关键点粗定位，包括：

对所述待检测图像进行图像处理操作，得到符合所述第一神经网络的输入要求的输入图像；

将所述输入图像输入所述第一神经网络，通过所述第一神经网络的一系列的特征层进行特征提取操作；

从所述第一神经网络的若干个设定的特征层抽取特征图；

根据所抽取的特征图判断所述待检测图像是否存在手掌，当判断存在手掌时，根据所抽取的特征图计算每个关键点的粗定位坐标。

进一步的，所述通过第二神经网络对所有图像块进行关键点精定位，包括：

将所有图像块按照通道叠加在一起，得到输入数据；

将所述输入数据输入所述第二神经网络，通过所述第二神经网络的一系列的特征层进行特征提取操作，在所述第二神经网络的最后一个特征层输出特征向量；

根据所述特征向量确定每个关键点的精定位坐标。

进一步的，所述根据关键点精定位得到的所述食指与中指相交的谷点的精定位坐标以及所述无名指与小拇指相交的谷点的精定位坐标从所述待检测图像上截取得到感兴趣区域，包括：

将关键点精定位得到的所述食指与中指相交的谷点的精定位坐标与所述无名指与小拇指相交的谷点的精定位坐标连接得到基准线段；

从所述基准线段的中点沿所述基准线段的中垂线向手掌一侧设定距离，得到所述感兴趣区域的中心点；

以所述感兴趣区域的中心点为基准，从所述待检测图像上截取设定边长的正方形区域，得到所述感兴趣区域。

进一步的，所述设定距离为0.9d，所述设定边长为1.4d，其中d为所述基准线段的长度。

进一步的，所述分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数量相同的预设大小的图像块，包括：

分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，在所述待检测图像上向上、下、左、右方向上各扩充设定数量的像素，截取得到所述图像块。

进一步的，所述关键点包括：一只手掌的所有相邻两根手指相交的谷点、大拇指的外侧指根点和小拇指的外侧指根点。

第二方面，本申请提供一种手掌检测和感兴趣区域提取装置，所述装置包括：

图像获取模块，用于获取待检测图像；

手掌检测和关键点粗定位模块，用于通过第一神经网络对所述待检测图像同时进行手掌检测和关键点粗定位，其中，所述关键点至少包括食指与中指相交的谷点以及无名指与小拇指相交的谷点；

图像块截取模块，用于当手掌检测的结果为所述待检测图像存在手掌时，分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数量相同的预设大小的图像块；

关键点精定位模块，用于通过第二神经网络对所有图像块进行关键点精定位；

感兴趣区域确定模块，用于根据关键点精定位得到的所述食指与中指相交的谷点的精定位坐标以及所述无名指与小拇指相交的谷点的精定位坐标从所述待检测图像上截取得到感兴趣区域。

进一步的，所手掌检测和关键点粗定位模块包括：

第一预处理单元，用于对所述待检测图像进行图像处理操作，得到符合所述第一神经网络的输入要求的输入图像；

第一操作单元，用于将所述输入图像输入所述第一神经网络，通过所述第一神经网络的一系列的特征层进行特征提取操作；

特征图抽取单元，用于从所述第一神经网络的若干个设定的特征层抽取特征图；

计算单元，用于根据所抽取的特征图判断所述待检测图像是否存在手掌，当判断存在手掌时，根据所抽取的特征图计算每个关键点的粗定位坐标。

进一步的，所述关键点精定位模块包括：

第二预处理单元，用于将所有图像块按照通道叠加在一起，得到输入数据；

第二操作单元，用于将所述输入数据输入所述第二神经网络，通过所述第二神经网络的一系列的特征层进行特征提取操作，在所述第二神经网络的最后一个特征层输出特征向量；

精定位坐标确定单元，用于根据所述特征向量确定每个关键点的精定位坐标。

进一步的，所述感兴趣区域确定模块包括：

基准线段确定单元，用于将关键点精定位得到的所述食指与中指相交的谷点的精定位坐标与所述无名指与小拇指相交的谷点的精定位坐标连接得到基准线段；

中心点获取单元，用于从所述基准线段的中点沿所述基准线段的中垂线向手掌一侧设定距离，得到所述感兴趣区域的中心点；

感兴趣区域确定单元，用于以所述感兴趣区域的中心点为基准，从所述待检测图像上截取设定边长的正方形区域，得到所述感兴趣区域。

进一步的，所述设定距离为0.9d，所述设定边长为1.4d，其中d为所述基准线段的长度。

进一步的，所述图像块截取模块用于：分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，在所述待检测图像上向上、下、左、右方向上各扩充设定数量的像素，截取得到所述图像块。

进一步的，所述关键点包括：一只手掌的所有相邻两根手指相交的谷点、大拇指的外侧指根点和小拇指的外侧指根点。

第三方面，本申请提供一种用于手掌检测和感兴趣区域提取的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的手掌检测和感兴趣区域提取方法的步骤。

第四方面，本申请提供一种用于手掌检测和感兴趣区域提取的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的手掌检测和感兴趣区域提取方法的步骤。

本申请具有以下有益效果：

1、与现有技术的根据数字图像处理和统计的方法不同，本申请是基于深度学习的方法获取感兴趣区域。本申请获取感兴趣区域不需要进行二值分割，感兴趣区域的提取不依赖手掌二值分割的结果，也依赖于专家系统的经验总结，鲁棒性和泛化性好，且步骤简单，实现了端到端的手掌检测和手部关键点定位。

2、本申请采取由粗到精的关键点定位方法，采用深度学习方法进行粗定位，在每个粗定位的关键点坐标位置附近获取图像块，并采用深度学习方法精确定位关键点的位置，使关键点定位结果更加精确，进而提高了感兴趣区域的准确性。感兴趣区域用于掌纹识别和掌静脉识别时，可以获得更好的纹理特征和更准确的比对效果。

3、本申请中通过判断图像中是否有手掌来决定是否进行后续的关键点精定位以及提取感兴趣区域的过程，只有当存在手掌时，才进行后续过程，进行关键点精定位、提取感兴趣区域、特征提取和特征比对。可见，本申请相比现有技术减少了一部分后续操作，特征提取和特征比对的次数更少，减少了计算资源的消耗、减少了能耗、提高了认证效率。

附图说明

图1为本申请的手掌检测和感兴趣区域提取方法的流程图；

图2为待检测图像的示意图；

图3为粗定位得到的关键点的示意图；

图4为精定位得到的关键点的示意图；

图5为感兴趣区域的示意图；

图6为本申请的手掌检测和感兴趣区域提取装置的示意图。

具体实施方式

为使本申请要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种手掌检测和感兴趣区域提取方法，该方法可以用于掌纹识别和掌静脉识别等领域，如图1所示，该方法包括：

S100：获取待检测图像。

本步骤中，可以通过采集设备采集待检测图像，还可以直接获取已采集并存储的待检测图像，采集设备可以为掌纹采集设备或掌静脉采集设备等等。待检测图像可以是包括手掌的手掌图像，也可以是不包括手掌的图像。待检测图像(包括手掌)的一个示例如图2所示。

S200：通过第一神经网络对待检测图像同时进行手掌检测和关键点粗定位，其中，关键点至少包括食指与中指相交的谷点以及无名指与小拇指相交的谷点。

第一神经网络为多监督模型，采用多监督的方法，使用第一神经网络同时进行手掌检测和关键点粗定位。本步骤以一种端到端的方法，以二维的待检测图像为输入，使用一个第一神经网络同时分类是否存在手掌、回归手掌的位置和尺度(手掌的位置和尺度可以以手掌检测框表示)、回归手掌关键点的位置(即粗定位坐标)。

待检测图像是3通道的图像(即RGB图像)，其输入第一神经网络前需要调整到符合第一神经网络的输入要求的大小。

手掌关键点应至少包括食指与中指相交的谷点(谷点也可以称为指根点)以及无名指与小拇指相交的谷点，为后续截取感兴趣区域的操作提供基础。

在其中另一些示例中，关键点除包括食指与中指相交的谷点以及无名指与小拇指相交的谷点外，还包括其他所有相邻两根手指相交的谷点、大拇指的外侧指根点和小拇指的外侧指根点，一共6个关键点。示例性的，6个关键点的粗定位结果如图3所示，图3中将6个关键点从大拇指到小拇指方向顺序编号0-5，其粗定位坐标为(x

第一神经网络在使用前需要预先通过训练样本进行训练，训练时，训练样本中的正样本为真实手掌图像，并标注出手掌检测框和关键点位置，训练样本中的负样本为非手掌图像。训练后的第一神经网络即可在输入待检测图像后输出：是否存在手掌、手掌的位置和尺度、手掌关键点的粗定位坐标。

S300：当手掌检测的结果为待检测图像存在手掌时，分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从待检测图像上截取得到与关键点数量相同的预设大小的图像块。

由于S200中第一神经网络的主要的目的是确定是否存在手掌，以及确定手掌的位置、尺度，所以手掌关键点的定位不准确，得到的只是手掌关键点的粗定位坐标。从图3可以看出，经过第一神经网络多监督方法粗定位得到的6个关键点并不准确，这将严重影响后续感兴趣区域的提取以及特征提取、比对的精度。为了解决该问题，获得更加精确的结果，当手掌检测的结果为待检测图像存在手掌时，需要在手掌关键点粗定位的基础上进行精定位，以获得更加准确的关键点的位置。

关键点精定位基于关键点粗定位坐标周围一定大小的区域进行，因此需要以关键点的粗定位坐标为中心，截取预设大小的图像块。截取时，分别以关键点粗定位得到的每个关键点的粗定位坐标(x

当手掌检测的结果为待检测图像不存在手掌时，直接结束，返回最开始等待下一次业务触发，而不进行后续的关键点精定位以及提取感兴趣区域的过程。

S400：通过第二神经网络对所有图像块进行关键点精定位。

第二神经网络是在第一神经网络的粗定位基础上进行精确定位，第二神经网络在使用前也需要预先通过训练样本进行训练。训练时，训练样本中的正样本为S300中截取的真实手掌图像的图像块，并标注出关键点位置，负样本为经过第一神经网络和第二神经网络后均错误判断为正样本的样本，并且正负样本的比例为3：7。训练后的第二神经网络即可在输入图像块后输出手掌关键点的精定位坐标，关键点的精定位结果的示例如图4所示。

S500：根据关键点精定位得到的食指与中指相交的谷点的精定位坐标以及无名指与小拇指相交的谷点的精定位坐标从待检测图像上截取得到感兴趣区域。

获取了手掌关键点的精定位坐标后，即可根据食指与中指相交的谷点的精定位坐标以及无名指与小拇指相交的谷点的精定位坐标，向手掌掌心一侧截取一定的区域，作为感兴趣区域，感兴趣区域的一个示例如图5所示。感兴趣区域可以用于掌纹识别和掌静脉识别。

本申请首先采用多监督的方法，通过第一神经网络对待检测图像同时分类是否存在手掌、回归手掌的位置和尺度、回归手掌关键点的粗定位坐标；当存在手掌时，根据关键点的粗定位坐标截取图像块；然后通过第二神经网络对图像块进行关键点精定位，并根据关键点的精定位坐标确定感兴趣区域。

本申请具有如下有益效果：

1、与现有技术的根据数字图像处理和统计的方法不同，本申请是基于深度学习的方法获取感兴趣区域。本申请获取感兴趣区域不需要进行二值分割，感兴趣区域的提取不依赖手掌二值分割的结果，也依赖于专家系统的经验总结，鲁棒性和泛化性好，且步骤简单，实现了端到端的手掌检测和手部关键点定位。

2、本申请采取由粗到精的关键点定位方法，采用深度学习方法进行粗定位，在每个粗定位的关键点坐标位置附近获取图像块，并采用深度学习方法精确定位关键点的位置，使关键点定位结果更加精确，进而提高了感兴趣区域的准确性。感兴趣区域用于掌纹识别和掌静脉识别时，可以获得更好的纹理特征和更准确的比对效果。

3、现有技术因为无法真正的判断手掌是否存在，所以无论图像中是否包含手掌图像都会进行后续的阈值分割、特征提取和特征比对过程，若比对成功，则认证通过，如果比对失败则重复进行，直到通过认证，造成了计算资源的浪费并延长了认证时间。

本申请中通过判断待检测图像中是否有手掌来决定是否进行后续的关键点精定位以及提取感兴趣区域的过程，只有当待检测图像存在手掌时，才进行后续过程，进行关键点精定位、提取感兴趣区域、特征提取和特征比对。可见，本申请相比现有技术减少了一部分后续操作，特征提取和特征比对的次数更少，减少了计算资源的消耗、减少了能耗、提高了认证效率。

作为本申请实施例的一种改进，前述的S200包括：

S210：对待检测图像进行图像处理操作，得到符合第一神经网络的输入要求的输入图像。

示例性的，将二维的三通道待检测图像缩放到宽和高均为192像素的图像，然后进行归一化，得到归一化后的宽和高均为192像素的3通道的归一化图像，将该归一化图像作为第一神经网络的输入图像。

归一化方法可以为：将缩放后的图像的每一个像素均减去127.5，再除以127.5。

S220：将输入图像输入第一神经网络，通过第一神经网络的一系列的特征层进行特征提取操作。

本申请不限制第一神经网络的一系列的特征层的具体执行过程，其中的一个示例如下：

1、对宽和高均为192像素的3通道的输入图像，使用空洞率为1×1，大小为5×5的空洞卷积核，以步长2，输出通道数为32，进行卷积操作，得到大小为96×96×32的特征图，接着对上述特征图使用PReLU激活函数激活，得到输出大小为96×96×32的特征图f

2、对特征图f

3、对特征图f

4、对特征图f

5、对特征图f

6、对特征图f

7、对特征图f

8、对特征图f

9、对特征图f

10、对特征图f

11、对特征图f

12、对特征图f

13、对特征图f

14、对特征图f

15、对特征图f

16、对特征图f

17、对特征图f

18、对特征图f

19、对特征图f

20、对特征图f

21、对特征图f

22、对特征图f

23、对特征图f

24、对特征图f

25、对特征图f

26、对特征图f

27、对特征图f

28、对特征图f

29、对特征图f

30、对特征图f

31、对特征图f

32、对特征图f

33、对特征图f

34、对特征图f

35、对特征图f

36、对特征图f

37、对特征图f

38、对特征图f

39、对特征图f

40、对特征图f

41、对特征图f

42、对特征图f

43、对特征图f

44、对特征图f

45、对特征图f

S230：从第一神经网络的若干个设定的特征层抽取特征图。

基于前述的第一神经网络的具体执行过程，可以抽取大小为12×12×108的特征图f

其中，f

S240：根据所抽取的特征图判断待检测图像是否存在手掌，当判断存在手掌时，根据所抽取的特征图计算每个关键点的粗定位坐标。

同时，当判断存在手掌时，本步骤还可以计算出手掌的位置和尺度，即计算得到手掌定位框，对手掌进行定位，供后续掌纹和掌静脉识别时使用。

本步骤的一个具体实现方式包括：

1、定义四个步长strides＝[8,16,16,16]，最小尺度min_scale＝0.1484375，最大尺度max_scale＝0.75。计算每一个步长下的尺度如下：

其中，i＝0，1，2，3。

则每一个位置，每种步长对应的anchor尺度计算公式如下：

其中，i＝0，1，2，3；scale

由此可见每种步长可以计算得到2种大小的anchor。

2、计算每个特征图的中心点。

中心补偿量offset＝0.5，输入图像宽度为width，高度为height。

每个步长输出的特征图大小为：

其中，i＝0，1，2，3。

计算anchor中心点：

3、判断是否存在手掌，并且定位手掌位置和关键点位置。

特征图f

第i个特征图的一点，判断S

/>

根据手掌中心点横坐标x

计算手掌的关键点粗定位坐标：

其中，j＝0，1，2，3，4，5，第j个关键点的粗定位横纵坐标分别为x

至此，使用第一卷积神经网络多监督方法可以获得手掌的位置和尺度、手掌0-5号关键点的粗定位坐标，如图3所示。

作为本申请实施例的另一种改进，前述的S400包括：

S410：将所有图像块按照通道叠加在一起，得到输入数据。

本步骤中，必要时，还可以在叠加之前对每个图像块通过插值操作进行图像放大。例如将6个大小为24×24的3通道图像块分别插值成6个48×48的3通道数据，将插值后的6个图像数据按通道叠加在一起，获得18通道的大小为48×48的输入数据。

S420：将输入数据输入第二神经网络，通过第二神经网络的一系列的特征层进行特征提取操作，在第二神经网络的最后一个特征层输出特征向量。

本步骤的一个具体实现方式包括：

1、对大小为48×48的18通道的输入数据，使用大小为3×3的卷积核，以1为步长，进行24个通道的卷积，接着以2为步长进行3×3的Max Pooling(MP)，对上述特征图使用ReLU激活函数，输出为23×23×24的特征图。

2、对上述大小为23×23×24的特征图，使用大小为3×3的卷积核，以1为步长，进行48个通道的卷积，接着以2为步长进行3×3的Max Pooling(MP)，对上述特征图使用ReLU激活函数，输出为10×10×48的特征图。

3、对上述大小为10×10×48的特征图，使用大小为3×3的卷积核，以1为步长，进行96个通道的卷积，接着以2为步长进行3×3的Max Pooling(MP)，对上述特征图使用ReLU激活函数，输出为4×4×96的特征图。

4、对上述大小为4×4×96的特征图，使用大小为2×2的卷积核，以1为步长，进行192个通道的卷积，对上述特征图使用ReLU激活函数，输出为3×3×192的特征图。

5、对上述大小为3×3×192的特征图，使用大小为3×3的卷积核，以1为步长，进行192个通道的卷积，输出为1×1×192的特征图，对上述特征图使用ReLU激活函数，获得的192维向量。

6、对上述192维向量使用12全连接操作，输出1×1×12的特征向量，用于预测6个关键点的精定位坐标。

S430：根据特征向量确定每个关键点的精定位坐标。

1×1×12的特征向量的值即为6个关键点的精定位坐标的横坐标值和纵坐标值，精定位后的6个关键点如图4所示。

基于前述得到的关键点的精定位坐标，本申请的S500包括：

S510：将关键点精定位得到的食指与中指相交的谷点的精定位坐标与无名指与小拇指相交的谷点的精定位坐标连接得到基准线段。

如图5所示，将2号点和4号点连线，得到基准线段，该基准线段的长度为d。

S520：从基准线段的中点沿基准线段的中垂线向手掌一侧设定距离，得到感兴趣区域的中心点。

本步骤中，以基准线段为横轴x，以其中点为原点建立直角坐标系，从原点(即基准线段的中点)沿基准线段的中垂线(即纵轴y)向下(即向手掌一侧)设定距离(例如0.9d)，确定感兴趣区域的中心点。

S530：以感兴趣区域的中心点为基准，从待检测图像上截取设定边长的正方形区域，得到感兴趣区域。

例如，以感兴趣区域的中心点为中心点，以1.4d为边长，截取一个大小为1.4d×1.4d的正方形，并且正方形的边与直角坐标系的横轴和纵轴平行，得到的感兴趣区域如图5所示。

本申请通过上述过程获取了有效的手掌感兴趣区域，用于特征提取和比对，提高掌纹识别和掌静脉识别的精度。

本申请实施例还提供一种手掌检测和感兴趣区域提取装置，如图6所示，该装置包括：

图像获取模块1，用于获取待检测图像。

手掌检测和关键点粗定位模块2，用于通过第一神经网络对待检测图像同时进行手掌检测和关键点粗定位，其中，关键点至少包括食指与中指相交的谷点以及无名指与小拇指相交的谷点。

图像块截取模块3，用于当手掌检测的结果为待检测图像存在手掌时，分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从待检测图像上截取得到与关键点数量相同的预设大小的图像块。

关键点精定位模块4，用于通过第二神经网络对所有图像块进行关键点精定位。

感兴趣区域确定模块5，用于根据关键点精定位得到的食指与中指相交的谷点的精定位坐标以及无名指与小拇指相交的谷点的精定位坐标从待检测图像上截取得到感兴趣区域。

本申请首先采用多监督的方法，通过第一神经网络对待检测图像同时分类是否存在手掌、回归手掌的位置和尺度、回归手掌关键点的粗定位坐标；当存在手掌时，根据关键点的粗定位坐标截取图像块；然后通过第二神经网络对图像块进行关键点精定位，并根据关键点的精定位坐标确定感兴趣区域。

本申请具有如下有益效果：

1、与现有技术的根据数字图像处理和统计的方法不同，本申请是基于深度学习的方法获取感兴趣区域。本申请获取感兴趣区域不需要进行二值分割，感兴趣区域的提取不依赖手掌二值分割的结果，也依赖于专家系统的经验总结，鲁棒性和泛化性好，且步骤简单，实现了端到端的手掌检测和手部关键点定位。

2、本申请采取由粗到精的关键点定位方法，采用深度学习方法进行粗定位，在每个粗定位的关键点坐标位置附近获取图像块，并采用深度学习方法精确定位关键点的位置，使关键点定位结果更加精确，进而提高了感兴趣区域的准确性。感兴趣区域用于掌纹识别和掌静脉识别时，可以获得更好的纹理特征和更准确的比对效果。

3、本申请中通过判断图像中是否有手掌来决定是否进行后续的关键点精定位以及提取感兴趣区域的过程，只有当存在手掌时，才进行后续过程，进行关键点精定位、提取感兴趣区域、特征提取和特征比对。可见，本申请相比现有技术减少了一部分后续操作，特征提取和特征比对的次数更少，减少了计算资源的消耗、减少了能耗、提高了认证效率。

作为本申请实施例的一种改进，所手掌检测和关键点粗定位模块包括：

第一预处理单元，用于对待检测图像进行图像处理操作，得到符合第一神经网络的输入要求的输入图像。

第一操作单元，用于将输入图像输入第一神经网络，通过第一神经网络的一系列的特征层进行特征提取操作。

特征图抽取单元，用于从第一神经网络的若干个设定的特征层抽取特征图。

计算单元，用于根据所抽取的特征图判断待检测图像是否存在手掌，当判断存在手掌时，根据所抽取的特征图计算每个关键点的粗定位坐标。

作为本申请实施例的另一种改进，关键点精定位模块包括：

第二预处理单元，用于将所有图像块按照通道叠加在一起，得到输入数据。

第二操作单元，用于将输入数据输入第二神经网络，通过第二神经网络的一系列的特征层进行特征提取操作，在第二神经网络的最后一个特征层输出特征向量。

精定位坐标确定单元，用于根据特征向量确定每个关键点的精定位坐标。

基于前述确定的关键点的精定位坐标，所述感兴趣区域确定模块包括：

基准线段确定单元，用于将关键点精定位得到的食指与中指相交的谷点的精定位坐标与无名指与小拇指相交的谷点的精定位坐标连接得到基准线段。

中心点获取单元，用于从基准线段的中点沿基准线段的中垂线向手掌一侧设定距离，得到感兴趣区域的中心点。

感兴趣区域确定单元，用于以感兴趣区域的中心点为基准，从待检测图像上截取设定边长的正方形区域，得到感兴趣区域。

其中，设定距离可以取值为0.9d，设定边长可以取值为1.4d，其中d为基准线段的长度。

前述的图像块截取模块进一步用于：分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，在待检测图像上向上、下、左、右方向上各扩充设定数量的像素，截取得到图像块。

在其中一个示例中，关键点包括：一只手掌的所有相邻两根手指相交的谷点、大拇指的外侧指根点和小拇指的外侧指根点。

本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

本申请提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书方法实施例所描述方案的效果。因此，本申请实施例还提供用于手掌检测和感兴趣区域提取的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括前述实施例的手掌检测和感兴趣区域提取方法的步骤。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的存储介质根据方法实施例的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例相同，具体可以参照相关方法实施例的描述，在此不作一一赘述。

本申请实施例还提供一种用于手掌检测和感兴趣区域提取的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述手掌检测和感兴趣区域提取的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个所述手掌检测和感兴趣区域提取方法的步骤。

上述所述的设备根据方法实施例的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例相同，具体可以参照相关方法实施例的描述，在此不作一一赘述。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。