一种具有对齐功能的非同源双目相机

技术领域

本发明涉及刷掌识别相机领域，具体地，涉及一种具有对齐功能的非同源双目相机。

背景技术

由于人的手掌的纹路更加稳定，因此，刷掌识别是一种比刷脸识别更加稳定和安全的生物识别技术，因而可以通过刷掌对人身份进行识别，进而用于安检、支付、身份识别等领域。刷掌识别是一种具有广阔应用前景的技术。

在现有技术中，部分刷掌系统采用掌托固定手掌，以确定手掌位置，但实际应用不方便。部分刷掌系统采用p-sensor预估手掌深度，然后根据p-sensor对第一图像和第二图像进行像素级对齐。在实际中，由于一般为了测量范围和测量距离的考虑，一般需要在近距离处能对手掌进行完整拍摄，在远距离处需要对手掌也能清晰成像。这就需要相机的FOV足够大，相机FOV大，在远距离手掌在图像中的占比就会不是非常大，此时如果继续使用p-sensor进行两图对齐，那需要的p-sensor数量会比较大，则存在相互干扰，难以兼容设计的问题，同时成本也会升高很多。

现有技术中的双目系统均采用同源双目，可以获得目标对象的清晰的深度数据，但该双目系统计算量大，需要单独的片上系统处理相关的数据，从而导致传输延迟、识别滞后等一系列问题。

发明内容

为此，本发明利用第一相机和第二相机组成的非同源双目系统，直接对第一图像和第二图像进行处理，节省p-sensor，利用边缘深度和视差，计算手掌中心视差，并对第一图像和第二图像进行对齐，使得刷掌识别计算量大大减小，依赖的设备更少，更易节省设备空间，并且具有更好的兼容性，降低成本，有利于刷掌应用的推广。

第一方面，本发明提供一种具有对齐功能的非同源双目相机，其特征在于，包括：

第一相机，用于拍摄手掌的原始第一图像；

第二相机，用于拍摄手掌的原始第二图像；其中，所述第一相机与所述第二相机为非同源相机，并且同时拍摄；

处理器，用于对所述原始第一图像和所述第二图像进行处理，获取手掌边缘，进而获得手掌边缘的深度和视差，计算得到手掌中心信息，再进行对齐。

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，所述处理器包括：

校正模块，用于对所述原始第一图像和所述原始第二图像分别畸变校正，再进行极线校正，得到校正后的第一图像I

检测模块，用于对所述第一图像I

提取模块，用于对所述第一图像I

配准模块，用于对所述第一图像I

深度模块，用于计算手掌边缘的深度和手掌中心深度；

对齐模块，用于对所述第一图像I

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，所述提取模块包括：

分割单元，用于分别对所述第一图像I

新图像单元，用于在提取模块1得到的图像上，对所述第一图像I

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，所述配准模块包括：

配准单元，用于对所述第一图像I

校验单元，用于对所述配准进行校验，剔除错误匹配；

视差单元，用于计算得到所述第一图像I

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，所述深度模块包括：

边缘深度单元，用于根据所述视差d计算手掌边缘的深度；

手掌中心单元，用于根据所述第一图像I

平均深度单元，用于根据所述手掌边缘的深度和所述手掌中心的位置，计算所述手掌中心的平均深度。

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，所述对齐模块包括：

中心视差单元，用于根据所述手掌中心深度计算所述第一图像I

平移单元，用于沿极平面对图像进行平移，使所述第一图像I

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，在对图像的处理前，对第一图像I

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，对第一图像I

可选地，所述的一种具有对齐功能的非同源双目相机，其特征在于，对新的图像E

第二方面，本发明提供一种刷掌设备，其特征在于，包含上述任一项所述的一种具有对齐功能的非同源双目相机。

与现有技术相比，本发明具有如下的有益效果：

本发明采用第一图像和第二图像作为原始数据，不需要p-sensor等装置判断距离，使得对刷掌识别的输入条件减少，从而可以使得相应的硬件设备简化，体积更小，容易集成化，有利于设备的小型化。

本发明采用的图像可以与其他手掌识别功能共用，使得一幅图像可以用于多个功能，从而使得一幅图像功能的最大化，节省了设备空间。比如第一图像为红外图像时，不仅用可以用于对齐与重建，还可以用于活体检测；第二图像为彩色图像时，不仅可以用于对齐与重建，还可以用于掌纹识别，而本发明通过将两种不同类型的图像进行对齐，使得手掌检测、手掌分割、边缘提取、边缘匹配、深度重建等步骤更加便捷，节省了后续图像的处理步骤，提高了处理效率。

本发明使用第一相机和第二相机对手掌进行成像，实现没有深度图时两图的像素级对齐。本文提出使用第一相机和第二相机组成双目，根据双目成像理论对手掌的边缘进行三维重建，然后根据手掌边缘的深度信息实现第一图像和第二图像的像素级对齐。

本发明把非同源的第一相机和第二相机构成双目系统，但由于其非同源，现有技术中无法有效解决其匹配等问题。本发明实现了对非同源双目系统的匹配与三维重建。比如，第一相机为近红外相机，第二相机为彩色相机时，在拍摄手掌图像，由于静脉对红外光具有一定的吸收作用，会造成静脉处比较暗；而第二图像同时拍摄手掌图像时主要对手掌表面纹理进行成像，会导致第一图像与第二图像差异更大，从而无法利用现有技术进行有效处理。

本发明不需要对整幅手掌进行处理，只需要处理图像中手掌边缘，使得处理的数据量大大减少，从而降低了对于芯片等的要求，并且不再需要单独的片上系统进行处理，可以集成于相机自带的芯片中，使得相机的结构更加简单，并降低成本，实现低成本的刷掌应用，有利于商业推广。

本发明利用深度信息获得手掌中心的视差，再进行平移，获得的数据更加准确，平移效果好于其他方法，从而使得对齐质量较高，尤其对于实际应用中存在的数据缺失等情况下，可以保证数据的对齐精度，具有更好的适应性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种具有对齐功能的非同源双目相机的结构示意图；

图2为本发明实施例中一种处理器结构示意图；

图3为本发明实施例中一个手掌检测图；

图4为本发明实施例中一个手掌边缘图；

图5为本发明实施例中一个手掌边缘配准图；

图6为本发明实施例中一个手掌边缘深度图；

图7为本发明实施例中一种提取模块结构示意图；

图8为本发明实施例中一种配准模块结构示意图；

图9为本发明实施例中一个手掌边缘视差图；

图10为本发明实施例中一种深度模块结构示意图；

图11为本发明实施例中一种对齐模块结构示意图；

图12为本发明实施例中一组手掌对齐图像；

图13为本发明实施例中一种刷掌设备的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例提供的一种具有对齐功能的非同源双目相机，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中一种具有对齐功能的非同源双目相机的结构示意图。如图1所示，一种具有对齐功能的非同源双目相机，包括：

第一相机，用于拍摄手掌的原始第一图像；

第二相机，用于拍摄手掌的原始第二图像；其中，所述第一相机与所述第二相机为非同源相机，并且同时拍摄；

处理器，用于对所述原始第一图像和所述第二图像进行处理，获取手掌边缘，进而获得手掌边缘的深度和视差，计算得到手掌中心信息，再进行对齐。

具体地说，拍摄时，第一相机与第二相机同时获取目标对象的信息。第一相机与第二相机获取的目标对象是同一时刻的对象，因此可以利用第一相机与第二相机组成双目系统。处理器将第一图像和第二图像进行处理，识别出手掌的边缘，从而可以获得边缘的深度信息和视差，再计算手掌中位位置，得到手掌中心的视差，从而实现第一图像和第二图像的对齐。

图2为本发明实施例中一种处理器结构示意图。如图2所示，区别于前述实施例，本发明实施例中处理器包括：

校正模块100，用于对所述原始第一图像和所述原始第二图像分别畸变校正，再进行极线校正，得到校正后的第一图像I

具体地说，所述原始第一图像和所述原始第二图像是非同源图像，即采用不同的技术获得的图像。对原始第一图像进行畸变校正，再进行极线校正，得到校正后的第一图像I

本模块使得畸变较大的图像也可以得到较好的处理，从而使得手掌距离拍摄设备较近，即FOV较大时，也可以获得准确的结果，提升了对于手掌的有效识别距离范围。

检测模块200，用于对所述第一图像I

具体地说，采用手掌检测模型对于所述第一图像I

提取模块300，用于对所述第一图像I

具体地说，根据边缘提取算法，对手掌的边缘进行提取，并分别生成新的图像E

配准模块400，用于对所述第一图像I

具体地说，在新的图像E

深度模块500，用于计算手掌边缘的深度和手掌中心深度。

具体地说，在计算得到所述第一图像I

对齐模块600，用于对所述第一图像I

具体地说，根据前述模块获取的数据对第一图像I

在部分实施例中，在执行任一模块中对图像的处理前，对第一图像I

图7为本发明实施例中一种提取模块结构示意图。如图7所示，不同于前述实施例，本发明实施例中一种提取模块包括：

分割单元310，用于分别对所述第一图像I

具体地说，除了对图像进行分割外，还对非手掌区域置零，以提高后续边缘提取算法的提取效果，并能够应对更加复杂的场景。当手掌佩带戒指、手饰等各类装饰物时，会使得场景更加复杂，因此将非手掌区域置零，可以使得后续的处理更加容易。

新图像单元320，用于在提取模块1得到的图像上，对所述第一图像I

具体地说，只需要对手掌区域进行处理，并提取手掌边缘，从而使得处理的区域更小，处理速度更快。新的图像E

图8为本发明实施例中一种配准模块结构示意图。如图8所示，不同于前述实施例，本发明实施例中一种配准模块包括：

配准单元410，用于对所述第一图像I

具体地说，先对两幅图像中的手掌边缘进行配准。根据先验知识、ROI

校验单元420，用于对所述配准进行校验，剔除错误匹配。

具体地说，根据先验知识，剔除错误的匹配；如视差需要具有一致性、拓扑关系等。相比于现有技术中匹配方案，本实施例所匹配的两幅图像是不同技术获取的，所以会存在由于不同技术特点产生的错误匹配，但这些通常表现为具有一定的规律性。剔除错误匹配时，也可以根据不同的技术特点采用相应的过滤模型。

视差单元430，用于计算得到所述第一图像I

具体地说，对所述第一图像I

本实施例通过对手掌区域的手掌边缘进行配准，并剔除错误匹配，计算得到两幅图像的视差，从而可以提高配准的质量，使得视差的计算更加准确，使得后续的数据也更加准确。

图10为本发明实施例中一种深度模块结构示意图。如图10所示，不同于前述实施例，本发明实施例中一种深度模块包括：

边缘深度单元510，用于根据所述视差d计算手掌边缘的深度。

具体地说，利用双目原理，结合视差d计算手掌边缘的深度。

手掌中心单元520，用于根据所述第一图像I

具体地说，根据手掌区域的形状确定中心点，即为手掌中心。由于两幅图像上的手掌已经经过配准，计算任一图像上的中心点即可得到手掌中心。

平均深度单元530，用于根据所述手掌边缘的深度和所述手掌中心的位置，计算所述手掌中心的平均深度。

具体地说，根据手掌边缘的深度以及手掌中心的位置，加权计算手掌中心的平均深度，距离手掌中心越近权重越高。需要注意的是，计算手掌中心的平均深度时，只需要利用手掌边缘的深度和手掌中心的位置，而不需要手掌内部的深度值，这与现在技术中存在不同。由于手掌的形状的不规则性，手掌边缘各点距离中心点并不相同，因此根据各点与手掌中心的距离采用不同的权重值进行计算。权重值的分配并不是固定不变的，而是可以根据手掌中心位于手掌的位置及手掌的姿态进行调整的。本实施例计算获得的手掌中心的平均深度与手掌中心的实际深度值存在差异，但这并不影响对手掌的对齐操作，相反，使得后续的对齐操作更加简单、准确。

本实施例通过手掌边缘的深度和手掌中心的位置，计算手掌中心的平均深度，从而使得不需要对手掌内部进行计算，即可以得到手掌中心的深度值，规避了手掌内部难以匹配和计算的问题，在保证了数据精度的同时，使得数据计算量更小，提高了效率。

图11为本发明实施例中一种对齐模块结构示意图。如图11所示，不同于前述实施例，本发明实施例中一种对齐模块包括：

中心视差单元610，用于根据所述手掌中心深度计算所述第一图像I

具体地说，获得手掌中心深度处的视差b。手掌中心的视差b的计算方式与手掌边缘的视差d的计算方式相同。

平移单元620，用于沿极平面对图像进行平移，使所述第一图像I

具体地说，利用双目系统中的极平面对图像进行平移，具体地是利用手掌中心所在的极平面对图像进行平移，使得所述第一图像I

本实施例利用极平面对图像进行平移，使得图像的移动更加可控，有利于操作的一致性，保证得到的对齐图像的质量。

图13为本发明实施例中一种刷掌设备的结构示意图。下面参照图13来描述根据本发明的这种实施方式的刷掌设备700。图13显示的刷掌设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图13所示，刷掌设备700包括刷掌区域710、非同源双目相机720、显示屏730和按键区740。

刷掌区域710是用于放置手掌的区域。刷掌区域710通常表现为透光区域，以使得非同源双目相机720的光线可以透过，进而获得手掌信息。刷掌区域既可以与其他区域是一个平面，也可以与其他区域不为同一个平面，而呈现一定的角度。刷掌区域710内部通常为一个玻璃板或塑料板，在透光的同时，还可以起到保护非同源双目相机720的作用。

非同源双目相机720是前述实施例中的任一种，用于获取手掌的信息，并对图像进行对齐。非同源双目相机720位于刷掌区域710底部，并且非同源双目相机720的光线通过刷掌区域720照射在手掌上，从而可以接收手掌的反射信号，获得手掌信息。

显示屏730通常为液晶显示屏，用于显示按键区740和非同源双目相机720的识别结果。显示屏730是刷掌设备700的核心显示内容。显示屏730可以为静态驱动(Static)、单纯矩阵驱动(Simple Matrix)或主动矩阵驱动(Active Matrix)三种中的任意一种。由于显示屏730面积较小，通常为一块完整的显示屏。

按键区740包含多个物理按键，用于向刷掌设备700输入信息，比如输入需支付金额。按键区740包含数字“0”-“9”，并包含“.”、“清除”键和“确认”键。按键既可以采用触点式开关按键，如机械式开关、导电橡胶式开关灯，又可以采用无触点式开关按键，如电气式按键，磁感应按键等。前者造价低，后者寿命长。

在部分实施例中，如果显示屏730采用触控屏，则可以将显示屏730和按键区740合并。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。