掌桥专利:专业的专利平台
掌桥专利
首页

非接触式生物特征标识系统

文献发布时间:2023-06-19 09:57:26


非接触式生物特征标识系统

优先权

本申请要求2018年6月21日提交的标题为“NON-CONTACT BIOMETRICIDENTIFICATION SYSTEM”的美国专利申请16/014,843的优先权。该先前提交的申请的全部内容据此以引用方式并入本文。

背景技术

诸如商店、图书馆、医院、办公室等设施可能需要用于标识设施中的用户的能力。

附图说明

参考附图来阐述详细描述。在图中,附图标记的最左边的数字表示附图标记第一次出现的图。不同的图中使用相同的附图标记指示类似或相同的项或特征。各图不一定按比例绘制,并且在一些图中,比例或其他方面可被放大以促进对特定方面的理解。

图1示出了根据一些实现方式的用于标识设施处的用户的系统。

图2示出了根据一些实现方式的用于采集用户的手的原始图像数据的扫描仪的实现方式。

图3示出了根据一些实现方式的使用具有第一偏振的光获得的经处理的第一模态图像和使用具有第二偏振的光获得的经处理的第二模态图像。

图4是根据一些实现方式的标识系统的框图。

图5示出了根据一些实现方式的比较数据,该比较数据包括与第一模态图像和第二模态图像相关联的置信度值以及与特定的子图像位置相关联的模态权重的使用。

图6示出了根据一些实现方式的基于由扫描仪获得的图像来确定用户标识符的过程的流程图。

图7示出了根据一些实现方式的基于第二模态图像和第一模态图像的子图像的置信度值的排序来对特定候选用户标识符进行排序和选择的过程的流程图。

图8示出了根据一些实现方式的基于子图像的排序来对特定候选用户标识符进行排序和选择的过程的流程图。

图9示出了根据一些实现方式的通过将当前鲜明特征(signature)与一个或多个参考鲜明特征进行比较来对特定候选用户标识符进行排序和选择的过程的流程图。

图10是示出根据一些实现方式的使用该系统的物料搬运设施(设施)的框图。

图11是示出根据一些实现方式的设施的附加细节的框图。

图12是根据一些实现方式的支持设施的操作的服务器的框图。

虽然在本文中通过示例来描述实现方式,但是本领域技术人员将认识到,实现方式并不限于所描述的示例或附图。应理解附图和对其的详细描述并非意图将实现方式限于所公开的特定形式,而是相反地,其意图在于涵盖落入由所附权利要求所界定的精神和范围内的所有修改、等同物以及替代方案。本文中使用的标题仅用于组织目的,并且并不意图用于限制说明书或权利要求的范围。如贯穿本申请所使用的,词语“可以”是以允许意义(即,意味着有可能)而不是强制意义(即,意味着必须)使用的。类似地,词语“包括(include、including和includes)”意味着包括但不限于此。

具体实施方式

准确、快速地标识用户可提供有用的信息,可以多种方式使用这些信息。例如,可以基于用户身份来控制进入物料搬运设施(设施)、办公室、运输设施或其他位置。在另一个示例中,关于用户身份的信息也可以用于将由特定用户进行的特定动作与关联账户相关联。

设施可以包括或可以访问设施管理系统。设施管理系统可以被配置为至少部分地基于由一个或多个传感器获得的传感器数据来保持关于物品、用户、设施状况等的信息。设施管理系统可以使用传感器数据来确定交互数据。交互数据可以包括关于交互中涉及的物品的类型、交互中涉及的数量、交互是拣选还是放置、进行交互的人等的信息。交互可以包括用户从库存位置拣选物品、将物品放置在库存位置、触摸库存位置处的物品、翻找库存位置处的物品,等等。例如,设施管理系统可以生成交互数据,该交互数据指示用户从货架上的特定巷道拣选的物品是什么,然后使用该交互数据来调整在该巷道上存放的库存数量。

当用户进入设施时,可以使用本文所述的装置和技术来对其进行标识。一旦被标识,就可以在他们处于设施中时进行定位。由设施中的其他传感器(诸如重量传感器、相机等)获得的信息可用于确定交互数据。然后,该交互数据可以与先前已经被标识的特定用户相关联并且随后用于计费或其他目的。例如,交互数据和标识数据可以用于针对所拣选的物品对与所标识的用户相关联的账户计费。

用于标识用户的传统系统存在若干重大缺陷,包括易受欺诈、速度、准确度和操作方面的限制。例如,除授权用户之外,其他人也可以使用通过呈现令牌(诸如标识卡)来标识用户的传统系统。因此,仅使用“您所拥有的东西”的系统很容易被不当使用。生物特征标识系统通过使用特定个体的难以或者无法复制或被传递的特性来解决这一问题。然而,传统的生物特征标识系统的操作会带来操作问题,并且在频繁使用的环境中也可能表现出严重的延迟。例如,传统的基于手掌的生物特征标识系统要求用户的手与扫描装置之间的物理接触。这种物理接触可被认为不卫生并且对于一些用户而言可能难以实现。现有系统在收集和处理信息方面也相对较慢。这些因素和其他因素导致现有系统不适合用于需要快速标识用户而不显著阻碍用户流量的情况。例如,由现有系统引入的延迟将产生严重的负面影响,诸如在给定日期进入向数以万计的用户提供服务的设施时的延迟。

在本公开中描述的是一种提供用户的非接触式生物特征标识的系统。扫描仪装置用于获得在扫描仪的视野内的用户手掌的原始图像。扫描仪获得使用具有第一偏振的红外光的第一组一个或多个原始图像和使用具有第二偏振的红外光的第二组一个或多个原始图像。第一组图像描绘了外部特性,诸如用户手掌中的皱纹和皮纹,而第二组图像描绘了内部解剖结构,诸如静脉、骨、软组织或皮肤表皮下的其他结构。

原始图像经过初始处理以提供使用第一偏振和第二偏振获得的包含手的一组图像,这些图像被很好地照明、聚焦、以特定取向显示手、以特定规范姿势显示手、经过校正、指示所呈现的是哪只手(左手或右手),等等。然后将这组图像中的图像划分为子图像或“小块”。例如,描绘外部特性的图像可以被分成一组15×15的子图像。在一些实现方式中,每个子图像可以与相邻的子图像重叠,而在其他实现方式中,子图像可以表现出不重叠。继续该示例,描绘第二模态特征的图像可以被划分为一组7×7的子图像,其中每个子图像与相邻的子图像重叠。在一些实现方式中,可以使用附加的图像处理。例如,图像变换可应用于描绘弯曲表面的子图像,以将该弯曲表面表示为平坦表面。然后,处理子图像以确定表示该子图像中存在的图像特征的特征向量。

神经网络可用于确定特征向量。例如,可以训练神经网络以辨识子图像中的特征。一旦经过训练,神经网络就可以接受子图像作为输入,并且产生特征向量作为输出,该特征向量表征子图像中存在的一个或多个特征。在一些实现方式中,可以使用不同的神经网络为第二模态图像的子图像和第一模态图像的子图像产生相应的特征向量。然后可以使用表示来自不同模态的子图像中的特征的所得特征向量来生成当前鲜明特征,该当前鲜明特征指示用户已呈现的手的至少一部分的特征。例如,可以联接从不同模态获得的特征向量以产生用作当前鲜明特征的线性向量,或者另一个神经网络可以访问特征向量作为输入并且产生当前鲜明特征。在另一实现方式中,可以对来自相同模态的多个图像的特征向量求平均,然后可以使用所得的平均特征向量来确定鲜明特征。该平均可以减少与特征向量的值相关联的噪声的影响。

在另一实现方式中,可以用神经网络处理具有第一维度的特征向量,以产生具有小于第一维度的第二维度的输出特征向量。然后,可以使用输出特征向量来生成鲜明特征。

对向扫描仪呈现手的用户的标识可涉及与先前存储的数据的一个或多个比较,诸如根据在注册过程中获得的图像的特征向量产生的参考鲜明特征。例如,可以将当前鲜明特征与先前存储的参考鲜明特征进行比较。参考鲜明特征与用户标识符相关联。在一个实现方式中,可以基于在向量空间中与当前鲜明特征最接近的参考鲜明特征来确定身份。在另一实现方式中,可以通过随时间处理原始图像数据来确定身份。例如,可以确定与若干不同用户标识符相关联的置信度值,并且在处理连续的原始图像数据时,可以使用高于阈值的置信度值来登记对特定用户标识符的投票。当特定用户标识符达到阈值数量的投票时,与该用户标识符相关联的身份可以被认为是用户的身份。

注册过程可以包括采集和处理用户的原始图像并且如上所述确定鲜明特征。然后可以将鲜明特征存储为与特定身份相关联的参考鲜明特征。例如,可以使用一个或多个神经网络来处理在注册过程中获得的原始图像以确定子图像的特征向量。这些特征向量然后可以用于确定表示手掌的参考鲜明特征。例如,可以基于每只手的特征向量来确定左手参考鲜明特征和右手参考鲜明特征,并且针对每个用户进行存储。通过利用上述扫描仪,可以快速且容易地采集第一模态特征和第二模态特征的原始图像。这些原始图像彼此密切对准。例如,扫描仪可以利用以每秒30帧的速率操作的一个或多个相机,其中图像在第一模态图像和第二模态图像之间交替。这些密切对准的图像通过减少或消除对附加的对准处理的需求来促进图像的处理。这些第一模态图像和第二模态图像的采集提供了一组丰富特征,这些特征提高了标识的准确度。

通过将图像划分为子图像并且确定每个图像的相应的特征向量,系统能够更快地处理图像数据并且容忍差异。例如,子图像的使用允许使用更为紧凑的神经网络,所述神经网络在计算上更简单且快速地执行生成特征向量。子图像也可以并行地处理,从而进一步提高系统速度。

通过使用和在相应的子图像的特征向量与先前存储的数据之间的匹配相关联的置信度值,该系统更能容忍特征中的局部变化。例如,如果用户在他们的手掌上有新的茧或新的瘀伤,则可以减小包括该特征的子图像的置信度值。然而,其他子图像中的置信度值可能足以断言身份。

常规系统相对无法容忍用户的手的姿势、位置和距离的变化。因此,这些系统通常需要使用用户需要将他们的手放在上面的引导件或表面。本文所述的扫描仪设计和子图像的使用消除了用户的手与传感器平台或引导件接触的需要。例如,具有第二模态特征和第一模态特征的原始图像数据的快速采集结合子图像的使用允许采集更多的原始图像数据。继续该示例,可以采集许多图像,从而增加获得包括处于或接近期望的取向和姿势的手的第二模态图像和第一模态图像的机会。

子图像的使用允许应用更多的局部化、目标化和计算上更简单的变换以促进特征向量的生成。这样可以提高从用户的手的各种取向和姿势提取有意义的特征的能力。例如,如果手的姿势使得手掌的一部分弯曲或以其他方式进行关节运动,则可以将特定的变换应用于该特定部分的子图像,以重新映射和“平坦化”描绘该部分的子图像。然后可以将该“平坦化”的子图像用作神经网络的输入,并且为该子图像生成后续的特征向量。因此,该子图像的特征向量可以用于帮助标识用户,从而提高系统的整体准确度。

扫描仪可被放置在设施的一个或多个入口处、设施的出口处或设施内的指定区域。通过使用由标识系统产生的标识数据,设施管理系统能够在特定时间在特定扫描仪处确定特定用户的存在。此类信息可用于将所标识的用户的后续交互与该用户的账户相关联。例如,如果用户从库存位置拣选物品并且离开设施,则可以针对该物品向他们的账户计费。

通过使用本文所述的技术,改善了设施管理系统的整体操作。例如,本文所述的标识系统较之其他系统允许更准确地执行用户的标识,并且减少等待时间和计算资源。

说明性系统

图1示出了根据一些实现方式的用于标识设施处的用户102的系统100。

设施可以包括门104。在一些实现方式中,门104可以包括可移动屏障以控制用户102的移动。例如,门104可以包括计算机控制的面板,所述计算机控制的面板可被关闭以阻止用户102通过或者被打开以准许用户102通过。门104可以包括一个或多个扫描仪106。用户102可以接近门104并且将他们的手108放置在扫描仪106上方。

扫描仪106可以生成原始图像数据110。扫描仪106被配置为采集手108的图像,所述图像使用具有两个或更多个特定偏振、具有不同照明模式等的红外光来照明。下面参考图2更详细地描述扫描仪106。扫描仪106可以产生原始图像数据110。例如,在操作期间,用户102可以将他们的手108呈现为使手掌或手的侧区面向扫描仪106。因此,原始图像数据110属于手108的前部。在其他实现方式中,原始图像数据110可以包括手108的背部。

根据所使用的偏振,由扫描仪106产生的图像可以具有第一模态特征或第二模态特征。第一模态可以利用图像,在所述图像中手108被具有第一偏振的光照明,并且由具有偏振器的相机获得,该偏振器将光传递到也具有第一偏振的相机。第一模态特征可以包括接近或位于用户102的手108的表面上的特征。例如,第一模态特征可以包括至少在手108的表皮中的皮纹、褶皱、疤、乳突型皮嵴等等。

第二模态特征包括表皮下方的那些特征。第二模态可以利用图像,在所述图像中手108被具有第二偏振的光照明,并且由具有偏振器的相机获得,该偏振器将光传递到具有第一偏振的相机。例如,第二模态特征可以包括解剖结构,诸如静脉、骨、软组织等等。一些特征可在第一模态图像和第二模态图像两者中可见。例如,手掌中的皮纹可包括表面上的第一模态特征以及手掌内的更深的第二模态特征。

原始图像数据110可以包括以下类型的图像中的一个或多个。原始第一模态图像112(1)由具有偏振器的相机获得,该偏振器在手108被具有第一偏振的红外光的红外光在第一时间照明时使第一偏振的红外光通过。原始第二模态图像114(1)由具有偏振器的相机获得,该偏振器在手108被具有第二偏振的红外光在第二时间照明时使第一偏振的红外光通过。扫描仪106可以操作以产生多个图像。例如,扫描仪106可以产生在连续时间期间采集的图像流。在该图示中,原始图像数据110包括在第三时间使用第一偏振的红外光获得的另一原始第一模态图像112(2)。原始图像数据110还包括在第四时间使用第二偏振获得的另一原始第二模态图像114(2)。可以在扫描仪106的操作期间采集附加的原始第一模态图像112和原始第二模态图像114。

标识系统120使用原始图像数据110作为输入。初始处理模块122准备对原始图像数据110进行进一步处理。例如,初始处理模块122可以确定特定的原始图像是否包括人的手掌,确定原始图像是否在焦点上,确定原始图像是否被正确照明,确定原始图像中的手掌是否以预定方式定向和摆放,等等。初始处理模块122产生经处理的图像数据。

子图像模块124使用经处理的图像数据作为输入并且将相应的图像划分为子图像。子图像包括图像的一部分。例如,该部分可被表示为图像内的矩形区域。子图像的特性,诸如它们相对于彼此的相对位置、子图像的大小、与相邻子图像的重叠(如果有)等,可发生变化。例如,可以将第一模态图像的经处理的图像数据划分为一组400个子图像,每个子图像的大小为256×256个像素,而可以将第二模态图像的经处理的图像数据划分为16个子图像,每个子图像的大小为128×128个像素。

子图像模块124为经处理的图像数据的至少一部分的一个或多个子图像生成子图像特征数据126。在一个实现方式中,可以训练神经网络以生成表示输入图像中存在的一个或多个特征的特征向量。子图像可以由一个或多个神经网络处理以生成用于相应的子图像的特征向量。在一些实现方式中,不同的神经网络可以用于第二模态图像和第一模态图像。继续以上示例,可以训练用于生成第一模态图像的子图像的特征向量的第一神经网络,以处理大小为256×256个像素的输入图像。类似地,可以训练用于生成第二模态图像的子图像的特征向量的第二神经网络,以处理大小为128×128个像素的输入图像。在其他实现方式中,可以使用其他图像大小。例如,用于第一模态和第二模态的输入图像可以具有相同的大小,第一模态图像可以具有小于第二模态图像的大小,等等。

比较模块128使用子图像特征数据126和先前存储的用户特征数据130,以基于存在于用户102的手108的图像中的特征来确定用户身份。所存储的用户特征数据130可以在用户102向系统100注册期间生成。在一个实现方式中,注册过程可以包括采集和处理用户102的手108的原始图像数据110。然后可以如本文所述生成子图像特征数据126,并且将其用于生成所存储的用户特征数据130。例如,可以使用子图像模块124中的一个或多个神经网络来处理原始图像数据110。在一个实现方式中,可以使用多个图像来确定表示正在注册的用户102的参考鲜明特征。例如,可以基于从原始图像数据110中的不同图像获得的相同模态的子图像的特征向量的逐元素平均计算出平均特征向量。在另一实现方式中,可以通过将子图像特征数据126(诸如表示子图像中的特征的特征向量)联接为单个线性向量来生成鲜明特征。在又一个实现方式中,可以使用第一神经网络和第二神经网络的组合由第三神经网络等来确定鲜明特征。例如,第三神经网络可以被配置为基于原始图像数据110的输入来产生鲜明特征。

比较模块128可以将基于子图像特征数据126中的特征向量的当前鲜明特征与所存储的用户特征数据130中的参考鲜明特征进行比较。可以确定指示当前鲜明特征和参考鲜明特征之间的相似性的置信度值。例如,可以基于当前鲜明特征和参考鲜明特征之间在向量空间中的欧几里得距离来确定置信度值。在另一个示例中,神经网络可以接受子图像特征数据126的特征向量或当前鲜明特征作为输入,并且生成指示与所存储的用户特征数据130中的参考鲜明特征匹配的置信度值的数据。

比较模块128还可以利用基于投票的方法来确定用户102的身份。每个注册的用户102可能已经存储了用户特征数据130,该用户特征数据包括一个或多个特征向量或基于这些特征向量的参考鲜明特征。基于正在进行的原始图像数据110的采集,可以确定若干当前鲜明特征并且将其与参考鲜明特征进行比较。如果特定的当前鲜明特征在阈值内(诸如在向量空间中的阈值距离内)对应于参考鲜明特征,则生成与该参考鲜明特征相关联的投票。当继续确定和测试若干当前鲜明特征时,与不同参考鲜明特征相关联的投票数量可改变。当达到关于投票的一个或多个阈值时,可以断言与参考鲜明特征中的一个参考鲜明特征相关联的用户身份。

可以将与最相似的参考鲜明特征相关联的用户标识符确定为用户102的身份。比较模块128可产生标识数据132。例如,与参考鲜明特征相关联的用户标识符可以与用户102相关联。

标识数据132可以提供信息,诸如与用户102相关联的用户标识符中的一个或多个用户标识符,门104或扫描仪106中的一个或多个的位置或标识,指示获得扫描的日期和时间的数据,等等。在一些实现方式中,标识数据132可以随后用于执行各种动作。例如,如果用户102已经被授权访问设施,则标识系统120可以向门104发出命令以使其打开。在另一个示例中,标识数据132可以被传递到设施管理系统134。

当用户102在设施周围移动时,设施管理系统134可以使用标识数据132来将身份与该用户相关联。例如,设施管理系统134可以使用来自环境中的相机、智能地砖或其他传感器的数据来确定用户102的位置。在给定用户102从门104开始的已知路径的情况下,在标识数据132中指示的用户身份在用户102使用设施时可以与该用户相关联。

图2示出了根据一些实现方式的用于采集用户102的手108的原始图像数据110的扫描仪106的实现方式200。描绘了第一实现方式202和第二实现方式204。然而,应当理解,其他实现方式也是可能的。

第一实现方式202描绘了定位在扫描仪106上方的用户102的手108。扫描仪106可以包括一个或多个红外(IR)光源。例如,示出了第一组IR发光二极管(LED)206(1)、第二组IR LED 206(2)以及第三组IR LED 206(3)。在其他实现方式中,其他装置可用于生成红外光。在一些实现方式中,IR光210的波长可以是850纳米(nm)。

IR LED 206(1)被布置成与第一偏振器208(1)相邻,使得由IR LED 206(1)产生的IR光210穿过第一偏振器208(1)。穿过第一偏振器208(1)的IR光210(1)基本上表现出第一偏振。同样地,IR LED 206(3)被布置成与第一偏振器208(1)相邻。扫描仪106包括相机212,该相机也可以具有第一偏振器208(1),使得由相机212捕获的红外光基本上表现出第一偏振。在一个实现方式中,当用来自带有表现出第一偏振的第一偏振器208(1)的IR LED 206(1)的光来照射手108时,带有第一偏振器208(1)的相机212可以产生原始第一模态图像112。

在一些实现方式中,多个IR LED 206及其相应的偏振器208可以相对于相机212被布置在扫描仪106中的不同位置。例如,可以将带有第一偏振器208(1)的四个IR LED 206与一个IR LED 206一起布置在以相机212为中心的正方形的每个拐角处。在另一实现方式中,IR LED 206和偏振器208可以在相机212周围形成环。在操作期间,计算装置220或扫描仪106的控制器可以单独或成组地操作IR LED 206,以在不同时间产生均匀的或来自特定方向的照明。例如,在原始第一模态图像112的采集期间,可以将IR LED 206控制为在第一时间采集一个图像期间全部点亮。在第二时间,所选择的IR LED 206,诸如在正方形的特定拐角处的那些,可以被控制为在第二时间采集另一图像期间点亮。通过选择性地照射手108,手108的外部特性(诸如嵴或皮纹)可以由于阴影或其他影响而被增强。例如,扫描仪106的控制器可以被配置为使用具有第一偏振的所有IR LED 206采集一个图像,然后使用各自相对于相机212在不同位置的四个IR LED 206中的每个IR LED采集四个图像中的一个图像,随后用产生具有第二偏振的IR光210的IR LED 206采集图像。

扫描仪106包括被布置成与第二偏振器208(2)相邻的第二IR LED 206(2),使得由IR LED 206(2)产生的IR光210穿过基本上表现出第二偏振的第二偏振器208(2)。在一个实现方式中,当手108被来自表现出第二偏振的IR LED 206(2)的光照明时,相机212可以产生原始第二模态图像114。视野(FOV)214指示由IR LED 206照明的区域,并且可以从该区域获得来自相机212的图像。在涉及多个相机212的实现方式中,FOV 214包括相机212中的每个相机的单独FOV。例如,相机212中的每个相机的FOV重叠。

在操作期间,计算装置220或扫描仪106的控制器可以操作产生具有不同偏振的IR光210的IR LED 206和相机212来采集被不同偏振的光照明的手108的图像。例如,在第一时间,IR LED 206(1)可以是活动的,并且相机212采集原始图像数据110。继续该示例,在第二时间,IR LED 206(1)可以不活动,IR LED 206(2)可以活动,并且相机212采集原始图像数据110。然后,所得的原始图像数据110可以包括原始第一模态图像112(1)、原始第二模态图像114(1)、原始第一模态图像112(2)、原始第二模态图像114(2)等的流。

相机212包括至少响应于正在使用的IR光210的检测器。相机212可能能够以各种帧速率生成图像。例如,相机212可能能够每1/20秒或更快地生成一个图像,从而具有每秒20帧(FPS)的帧速率。相机212的积分时间(或曝光时间)指定检测器测量光子以生成单个图像的时间量。当积分时间减少时,系统可能不太容易由于手108的运动而模糊。

在一些实现方式中,可以使用偏振光源,并且省略与光源相邻的偏振器208。例如,量子点可以发射具有特定偏振的IR光。同样,在一些实现方式中,相机212可以包括对所捕获的光的偏振敏感或提供指示所捕获的光的偏振的信息的检测器,并且省略偏振器208。

偏振器208可以包括滤波器,该滤波器基本上透射特定偏振的光,同时基本上吸收或反射具有另一偏振的光。偏振可以是线性偏振或圆形偏振中的一种或多种。例如,第一偏振可以是线性的,而第二偏振可以是圆形的。在另一个示例中,第一偏振可以与第一角度成线性关系,并且第二偏振可以与第二角度成线性关系。当使用线性偏振时,第一偏振和第二偏振可以彼此垂直。例如,第一偏振可相对于特定的参考点表现出为0度的第一角度,而第二偏振可以表现出为90度的第二角度。

偏振器208可以包括使具有线性偏振的光穿过的二向色性材料或结构。例如,偏振器可以包括对准的聚次亚乙烯基链、嵌入透明基材(诸如玻璃)中的银纳米颗粒,等等。在其他实现方式中,可以使用其他偏振装置,包括但不限于线栅偏振器、分束偏振器、四分之一波片、液晶、光弹性调制器,等等。例如,光弹性调制器可以包括由电信号控制的装置,该电信号驱动压电换能器以振动半波谐振棒,诸如熔融石英。通过改变信号的频率,改变由换能器产生的振动的频率,并且可以选择穿过谐振棒的光的偏振。

第二实现方式204示出了使用光源(诸如一个或多个IR LED 206)和相机212的扫描仪106。转盘(wheel)包括具有偏振窗216的两个或更多个区段。例如,转盘可以包括第一区段和第二区段,第一区段带有第一偏振窗216(1),该第一偏振窗具有使具有第一极性的光穿过的第一偏振器208(1),并且第二区段带有第二偏振窗216(2),该第二偏振窗具有作为使第一极性的光穿过的第一偏振器208和使第二极性的光穿过的第二偏振器208(2)的部分。电动马达218使转盘旋转以在特定时间将特定的区段放置在IR LED 206和相机212的前面。例如,转盘的旋转可以与相机212的帧速率同步,使得在第一时间,来自IR LED 206的IR光210穿过第一偏振窗216(1),从而产生具有第一偏振的IR光210。该光与对象(诸如手108)相互作用,并且具有通过第一偏振窗216(1)的FOV的相机212检测穿过第一偏振窗216(1)的光并且产生原始第一模态图像112。因此,第一模态可涉及对红外光210和相机112使用相同的偏振。在第二时间(未示出),第二区段将第一偏振窗216(1)放置在相机112的前面,并且将第二偏振窗216(2)放置在IR LED 206的前面,并且相机212产生原始第二模态图像114。因此,第二模态可涉及使用与相机112不同的偏振的红外光210。

在另一实现方式中(在此未示出),可以使用电子控制的装置来使具有特定偏振的光穿过。例如,代替转盘,可以使用电子控制的偏振器208来在特定时间选择特定偏振。例如,可以将具有第一偏振的偏振膜208(1)放置在IR LED 206的前面,同时将电子控制的装置放置在相机212的前面,以控制哪种偏振光在特定时间到达相机212的检测器。

在一些实现方式中,代替或除了不同的偏振之外,可以使用不同波长的光。例如,IR LED206可以提供波长介于740nm和1000nm之间的照明。在一些实现方式中,不同的波长可以用于在不同的时间照射手108。

扫描仪106可以包括一个或多个控制器或计算装置220。计算装置220可以包括硬件处理器、存储器等。例如,计算装置220可以包括微控制器、片上系统(SoC)、单板计算机,等等。计算装置220可以被配置为操作扫描仪106的装置。例如,计算装置220可以操作IRLED 206、偏振器208(在电子控制的情况下)、相机212、驱动偏振器转盘的马达218,等等。例如,计算装置220可以控制扫描仪106,使得生成原始图像数据110,该原始图像数据包括在第一时间使用第一偏振的IR光210采集的原始第一模态图像112和在第二时间使用第二偏振的IR光210采集的原始第二模态图像114。

在一些实现方式中,标识系统120的功能中的一个或多个功能可以由一个或多个计算装置220执行。例如,扫描仪106可以使用一个或多个计算装置220来实现初始处理模块122。在该实现方式中,扫描仪106可以将经处理的图像数据发送至标识系统120。

在其他实现方式中,手108和扫描仪106的相对布置可以改变。例如,扫描仪106可以被定向成使得FOV 214指向下方。在使用期间,用户102可以将他们的手108定位在扫描仪106的下方,在FOV 214中将他们的手掌打开朝上。

虽然扫描仪106被描述为用于采集手108的手掌的图像,但是扫描仪106可以用于采集用户102的其他部分(诸如手108的背面、脸部,等等)的图像。例如,扫描仪106可以布置有FOV 214,使得当用户102接近门104时,获得他们的脸部的原始图像数据110,该原始图像数据包括脸部的原始第一模态图像112和脸部的原始第二模态图像114。

图3示出了300根据一些实现方式的使用具有第一偏振的光获得的经处理的第一模态图像302和使用具有第二偏振的光获得的经处理的第二模态图像304。可以由初始处理模块122确定经处理的图像。初始处理模块122的操作在下面关于图4更详细地讨论。

经处理的第一模态图像302描绘了各种第一模态特征306,诸如手掌皮肤的皮纹和褶皱。描绘了边界框308(1)。例如,初始处理模块122可以生成边界框308,该边界框指定认为存在手108的手掌的在图像内的区域。子图像模块124可以将边界框308(1)内的经处理的第一模态图像302的区域划分为多个子图像310或小块。在此描述的实现方式中,子图像310与相邻的子图像310重叠312。在其他实现方式中,子图像310可以不相交并且表现为不重叠312。如在此所描绘的,由子图像模块124确定的子图像310的大小可以相同。例如,每个子图像310可以表示256行与256列像素的区域。然而,在其他实现方式中,不同的子图像310可以具有不同的大小。例如,一个子图像310可以是256×256个像素,而另一个子图像310可以是128×128个像素。

经处理的第二模态图像304描绘了各种第二模态特征314,诸如皮肤下方的静脉。在一些实现方式中,经处理的第二模态图像304还可以描绘一些第一模态特征306,诸如皮纹。边界框308(2)被示出为指定认为存在手108的手掌的在图像内的区域。在边界框308(2)内,经处理的第二模态图像304被划分为子图像310。在其他实现方式中,边界框308可以包括整个手108或其另一部分,诸如手指。

在一些实现方式中,针对经处理的第一模态图像302或经处理的第二模态图像304中的任一者确定的边界框308的坐标可以用于另一个图像,从而不需要确定边界框308两次。例如,在给定在彼此的阈值时间内的第一时间和第二时间采集经处理的第一模态图像302和经处理的第二模态图像304的情况下,图像之间的图像数据中的手108的移动量可能很小。在另一个示例中,如果经处理的第一模态图像302和经处理的第二模态图像304相对于彼此对准,则针对一个图像确定的边界框308可以被其他图像重复使用,从而减少由系统100使用的计算资源。

第一模态图像被划分为的子图像310的数量可以不同于第二模态图像被划分为的子图像310的数量。例如,经处理的第一模态图像302可以被划分为36个子图像,而经处理的第二模态图像304可以被划分为16个子图像。

诸如第二模态或第一模态的特定类型的图像的子图像310可以包括为m行和n列的阵列,其中m和n为非零整数值。行数可能与列数不同。例如,原始第一模态图像112可以被划分为10列和20行。

用于解析第一模态特征306和第二模态特征314的分辨率可以变化。例如,第一模态特征306可以表现出高频组分,诸如手掌中的皮纹的清晰边缘。相比之下,由于介入组织造成的IR光210的散射,第二模态特征314(诸如静脉)可能模糊。该差异可用于减少计算机资源的消耗,并且还减少处理数据时的延迟。在一个实现方式中,经处理的第一模态图像302可以具有比经处理的第二模态图像304大的整体分辨率。初始处理模块122可以对原始第二模态图像114进行下采样以产生经处理的第二模态图像304。例如,线性下采样函数或双三次下采样函数可用于产生经处理的第二模态图像304。因此,经处理的第二模态图像304的分辨率可以小于经处理的第一模态图像302的分辨率。

还描绘了原始图像数据110已经被处理,使得经处理的第一模态图像302和经处理的第二模态图像304内的手108均与规范取向对准。例如,手108的图像已经被旋转到特定取向,在该特定取向中,手掌的长轴线沿图像的中心线延伸。

如图所示,经处理的第一模态图像302或经处理的第二模态图像304中的一个或多个可描绘整个手108,诸如从手腕到指尖。可以如下所述使用该信息。例如,整个手的图像可用于确定关于手108的几何形状的信息,诸如手108的整体姿势和取向。在一些实现方式中,可以如下所述处理整个手,并且可以确定和比较在手指和拇指上存在的特征。例如,可以将包括手指在内的用户的手的整个表面细分为子图像310。可以使用手指和拇指的外部特性和内部特性来代替手掌的特征或与之结合来标识用户102。

图4是根据一些实现方式的标识系统120的框图400。如上所述,由扫描仪106获得的原始图像数据110被提供给标识系统120。原始图像数据110包括使用具有第一偏振的光获得的一个或多个原始第一模态图像112和使用具有第二偏振的光获得的一个或多个原始第二模态图像114。

初始处理模块122可以包括一个或多个模块,诸如手掌检测模块402、图像选择模块404或图像变换模块406。初始处理模块122产生经处理的图像数据408作为输出。

手掌检测模块402可以被配置为确定在原始图像数据110的图像中是否存在手掌。如果确定手掌存在,则模块可以确定边界框308。在一个实现方式中,手掌检测模块402可以包括已经被训练为检测手掌的图像分类器。在另一实现方式中,手掌检测模块402可以包括人工神经网络。在一些实现方式中,初始处理模块122可以确定代替手掌或除手掌之外还存在手108。手掌检测模块402还可以产生指示用户102已呈现哪只手108的数据。例如,手掌检测模块402可以确定所描绘的是左手还是右手。在一个实现方式中,手掌检测模块402可以利用分类器来确定所描绘的是左手还是右手。在另一实现方式中,手掌检测模块402可以利用神经网络来确定所描绘的是左手还是右手。

图像选择模块404可以处理已经由手掌检测模块402确定为包括手掌的原始图像。图像选择模块404可以被配置为确定包括手掌的原始图像中的哪些适合于进一步处理。如果图像表现出手掌的特定取向、表现出手掌的特定姿态、表现出高于第一阈值的整体亮度、表现出低于第二阈值的整体模糊度等,则可以认为所述图像适合于进一步处理。例如,手掌的优选规范取向可以是手掌的长轴线相对于图像在阈值角度内。被认为合适的手掌的优选规范姿势可以包括这样的姿势,其中手掌基本上是平坦的,并且手指不遮挡手掌。

可以计算图像的平均亮度,并且可以使用该平均亮度来确定边界框308中过饱和或欠饱和区域的百分比。如果平均亮度高于第一阈值,则可认为图像足够明亮。

可以使用一种或多种技术来确定图像的整体模糊度。在一个实现方式中,边界框308内的区域可以被划分为较小的小块或子图像310。可以计算小块中的一个或多个小块中像素强度值的归一化平均值和对比度。可以使用一个或多个小块中的像素的强度值来计算傅立叶变换。使用来自傅立叶变换的数据,可以计算表示在指定频率范围内的强度的能量。如果能量小于阈值,则小块可被认为是模糊的或焦点不对准。通过针对整个手掌上的多个小块使用该能量测量的空间分布,系统还可以估计手掌的平坦度。例如,如果小块的能量值在彼此的阈值之内,则手108的姿势可以被认为是平坦化手掌的姿势。在其他实现方式中,可以使用其他技术来确定焦点。例如,边缘检测模块可以用于确定小块中一个或多个边缘的存在,并且确定表示相邻像素的强度变化有多快的边缘得分。如果边缘得分超出阈值,则小块可被认为焦点对准。如果阈值数量的小块被认为焦点对准,则整个图像可被认为焦点对准。

在其他实现方式中,初始处理模块122可以包括进一步滤波或处理原始图像数据110的其他模块。初始处理模块122还可以提供经由一个或多个输出装置(诸如显示器、灯、扬声器等)呈现给用户102的输出。初始处理模块122可以使用该输出来指导用户102相对于扫描仪106将他们的手108以特定取向、姿势或位置中的一个或多个进行放置。例如,门104处的显示装置可以向用户102提供视觉提示以将他们的手108以特定方式放置。

图像变换模块406可以处理原始图像数据110中已经确定适合于如上所述进一步处理的那些图像。图像变换模块406可以将一个或多个变换应用于图像,并且产生经处理的图像数据408。这些变换可以包括但不限于校正、平移、旋转、扭转、滤波,等等。例如,图像变换模块406可以应用校正变换,从而将一个或多个像素从原始图像中的一个位置映射到经处理的图像中的不同位置。作为校正的结果,手108的手掌的平面可能看起来在经处理的图像的平面内。在另一个示例中,图像变换模块406可以应用旋转功能,从而将手108的图像重新定向到特定的规范取向。继续该示例,规范取向可包括手被定向成使得手掌的长轴线相对于重新定向的图像以特定角度定向。

在一些实现方式中,图像变换模块406可以将第一模态图像和第二模态图像配准或对准到一个或多个公共点。例如,由于在由相机212采集原始图像之间手108的移动,因此手108的视位置可以在一对第一模态图像和第二模态图像之间稍微移动。图像变换模块406可以将相应图像中的像素平移或以其他方式映射到公共点,从而产生相对于彼此对准或配准的一对图像。

因此,经处理的图像数据408可以包含经处理的第一模态图像302和经处理的第二模态图像304,其中相应的图像包括手掌的图片、沿特定方向定向、表现出特定的规范姿势、足够明亮并且焦点充分对准以进行进一步处理。

在一个实现方式中,初始处理模块122可以逐步对原始图像数据110进行滤波和处理以产生经处理的图像数据408。例如,对于第二模态原始图像数据和第一模态原始图像数据110,初始处理模块122可以根据原始图像数据110确定表示人手掌的第一组图像。根据第一组图像可以确定表示人手掌的特定取向的第二组图像。根据第二组图像确定表示人手掌的特定姿势的第三组图像。可以将一个或多个变换应用于第三组图像中的图像,以产生经处理的图像数据408。

在一些实现方式中,初始处理模块122可以确定手108的模型。例如,模型可以表示手108相对于扫描仪106的取向、姿势或位置中的一个或多个。在一些实现方式中,模型可以表示手掌和一个或多个手指关节的关节运动。例如,手108的模型可以表示手掌并且不考虑远侧的手指关节。在一些实现方式中,可以通过分段仿射算法来表示相比于理想化平面的手掌变形。来自模型的信息可以由标识系统120的其他部分使用。例如,如下所述,子图像变换模块416可以使用关于手掌上的特定区域的曲率的模型信息。

子图像模块124接受经处理的图像数据408作为输入。子图像模块124包括将子图像布置数据412用作输入的子图像指示符模块410。子图像布置数据412可以针对特定类型的图像(诸如第二模态或第一模态)指定该类型的图像的子图像310的大小和位置。例如,子图像布置数据412可以指定第一模态图像的边界框308内的区域将被划分为400个子图像310,而第二模态图像的边界框308内的区域将被划分为100个子图像310。在另一个示例中,子图像布置数据412可以指定整个手108(包括手掌和手指)的子图像310。第一组子图像414可以包括经处理的第一模态图像302的子图像310和经处理的第二模态图像304的子图像310。

子图像变换模块416可以用于将一个或多个变换应用于子图像310以产生第二组子图像418。这些变换可以包括但不限于校正、平移、旋转、扭转、滤波,等等。例如,由于手108的模型所指示的手掌表面的弯曲,子图像变换模块416可以通过将像素从一个位置重新映射到另一位置以“平坦化”该子图像310来校正特定的子图像310。通过将一个或多个变换应用于特定子图像310,子图像变换模块416提高了标识系统120的准确度。例如,通过应用变换来校正特定的子图像310,系统能够更好地确定和利用关于该子图像310中存在的特征的信息。子图像变换模块416可以应用其他变换,诸如旋转、平移,等等。在一些实现方式中,子图像变换模块416可以将子图像310扭曲或变换到处于特定取向、姿势等的“参考手”或手108的规范模型。在一些实现方式中,可以省略子图像变换模块416。例如,卷积神经网络可以对子图像310进行操作,这使得不需要应用单独的变换。

第二组子图像418包括第一模态图像和第二模态图像的子图像310。特征提取模块420处理第二组子图像418并且生成子图像特征数据126。子图像特征数据126包括表示子图像310中存在的特征的特征向量。

一个或多个神经网络可用于处理子图像310并且产生特征向量作为输出。神经网络可被训练为检测子图像310中的稳定特征。子图像310由神经网络处理以产生k维特征向量或嵌入向量,其中k是非零整数值。在一些实现方式中,神经网络的配置可以定义k的值。

在一些实现方式中,在训练期间,神经网络可以实现三元组损失函数以进行训练。三元组损失函数导致网络抑制相同用户102的图像之间在向量空间中的距离,同时还增加来自不同用户102的图像之间在向量空间中的距离。例如,神经网络可以实现具有18层的残差网络(resnet),该残差网络在训练期间实现三元组损失函数。一旦被训练,神经网络就可以随后被用于处理子图像310并且生成特征向量。

可以使用不同的神经网络来处理第二模态图像和第一模态图像。这些神经网络中的每一个神经网络可以被训练和配置为使用输入(诸如具有特定大小的子图像310)进行操作。例如,第一模态图像的子图像310可以具有比第二模态图像的子图像310更高的分辨率。不同神经网络的使用可以通过更好地确定特定于特定模态的特征来改善整体性能,并且减少操作期间的等待时间。例如,与被配置和训练为处理多种分辨率和多种模态的神经网络相比,被配置和训练为处理特定分辨率和模态的子图像310的神经网络可能需要较少的计算资源并且需要更少的时间。

第一模态图像神经网络模块422可以用于处理第二组子图像418中的基于第一模态图像的子图像310。例如,可以使用来自第一模态图像的子图像310来训练第一模态图像神经网络模块422。来自经训练的第一模态图像神经网络模块422的输出可以包括在n维空间中表达的特征向量,其中n为非零整数值。

第二模态图像神经网络模块424可以用于处理第二组子图像418中的基于第二模态图像的子图像310。例如,可以使用来自第二模态图像的子图像310来训练第二模态图像神经网络模块424。来自经训练的第一模态图像神经网络模块422的输出可以包括在p维空间中表达的特征向量,其中p为非零整数值。在一些实现方式中,p可以小于n。

在一些实现方式中,第二组子图像418中的子图像310可以以不同的分辨率使用。例如,可以处理处于第一分辨率(精细)的第一模态的子图像310和处于小于第一分辨率的第二分辨率(粗略)的第一模态的子图像310。在一些实现方式中,这些不同的分辨率可以由被训练为以该分辨率进行操作的相应的神经网络进行处理。继续该示例,精细的第一模态图像神经网络模块可以处理处于第一分辨率的子图像310,而粗糙的第一模态图像神经网络模块可以处理处于第二分辨率的子图像310。

子图像特征数据126包括与特定类型的子图像310相关联的特征向量,并且可以指示子图像310的相对位置。例如,子图像特征数据126可以指示用于特定第一模态图像的特定子图像310(01)的特征向量值。继续该示例,可以为与经处理的图像数据408中的特定图像相关联的一个或多个子图像310生成特征向量。

比较模块128接受子图像特征数据126的至少一部分和所存储的用户特征数据130作为输入。在一个实现方式中,可以生成将子图像特征数据126中的特征向量与先前存储的用户特征数据130进行比较的比较数据426。在另一实现方式中,比较模块128可以基于特征向量生成当前鲜明特征428。然后可以将当前鲜明特征428与所存储的用户特征数据130中的一个或多个先前存储的参考鲜明特征430进行比较,以生成比较数据426。每个参考鲜明特征430可以与用户标识符432相关联。

比较模块128可以使用子图像特征数据126来生成当前鲜明特征428。可以使用从一个或多个图像获得的特征向量来生成当前鲜明特征428。例如,可以确定从处理原始第一模态图像112(1)得到的特征向量,并且可以确定从处理原始第二模态图像114(1)得到的特征向量。然后可以将这些特征向量组合以形成基于一对图像的当前鲜明特征428。在一个实现方式中,可以通过联接子图像特征数据126中的一个或多个特征向量来形成线性向量来生成当前鲜明特征428。在另一实现方式中,卷积神经网络可以接受特征向量作为输入,并且产生当前鲜明特征428作为输出。

在操作期间,比较模块128可以生成多个当前鲜明特征428,所述当前鲜明特征是基于对继续由扫描仪106采集的原始图像数据110的处理的。例如,子图像特征数据126可以包括来自20对原始第一模态图像112和原始第二模态图像114的特征向量。每一对可用于生成当前鲜明特征428。可以将这20个当前鲜明特征428中的每一个当前鲜明特征与一个或多个参考鲜明特征430进行比较。在一个实现方式中,可以利用投票系统,使得用户身份被认为是与最大数量的投票相关联的用户标识符432。例如,如果当前鲜明特征428在阈值内(诸如在向量空间中的阈值距离内)对应于参考鲜明特征430,则生成与该参考鲜明特征430相关联的投票。继续该示例,如果对于为“Alice”的用户标识符432有15票,并且对于为“Greg”的用户标识符432有5票,则标识数据132将指示为“Alice”的用户标识符432。

比较模块128可以生成比较数据426,该比较数据包括置信度值,所述置信度值指示当前鲜明特征428与所存储的与候选用户标识符432相关联的用户特征数据130中的参考鲜明特征430的对应程度如何。在一个实现方式中,可以基于当前鲜明特征428和参考鲜明特征430之间在向量空间中的欧几里得距离来确定置信度值。置信度值可以与距离成比例,使得较高的置信度值指示较小的距离,并且较低的置信度值指示较大的距离。

在一些实现方式中,搜索空间缩减数据可以用于减少所存储的用户特征数据130中的所述组参考鲜明特征430,将所述组参考鲜明特征与从子图像特征数据126产生的当前鲜明特征428进行比较。搜索空间缩减数据可以包括由在用户102的移动装置上执行的应用程序所提供的信息,诸如地理位置数据。例如,用户102可能已经在他们的智能电话上安装了应用程序。当智能电话经过在设施附近的预定地理边界(诸如地理围栏)时,与用户102相关联的用户标识符432可被添加到如存储在搜索空间缩减数据中的在门104处可能期望的候选用户标识符列表中。当用户102离开时,可以将它们从搜索空间缩减数据中的候选用户标识符列表中移除。搜索空间缩减数据还可以包括其他信息,诸如基于位置、日期、时间等的历史考勤数据。例如,搜索空间缩减数据可以指示在时间窗期间在每个工作日特定用户标识符432都出现在特定设施处。

比较模块128可以首先将当前鲜明特征428与搜索空间缩减数据中列出的那些用户标识符432的参考鲜明特征430进行比较。通过使用与搜索空间缩减数据相关联的参考鲜明特征430执行比较,可以提高系统的整体准确度。搜索空间缩减数据的使用还可以减少确定身份所需的时间和计算资源。如果没有找到合适的匹配,则系统可以搜索其余的所存储的用户特征数据130。

比较模块128使用比较数据426来生成标识数据132。例如,具有比较数据426的候选用户标识符可以被指定为与在门104处将手108呈现给扫描仪106的用户102相关联的用户标识符432,所述比较数据指示来自第一模态图像和第二模态图像的参考鲜明特征430和当前鲜明特征428之间的匹配的最高排序的置信度值。下面参考图6至图8讨论用于确定与用户102相关联的用户标识符432的其他技术。

作为说明而非限制,标识系统120被描述为实现上述各种模块和功能。在一些实现方式中,标识系统120的处理中的至少一些可以由扫描仪106的计算装置220执行。例如,计算装置220可以被配置为执行初始处理模块122的功能,并且将经处理的图像数据408发送至标识系统120。在另一个示例中,计算装置220可以被配置为执行子图像模块124的功能,并且将子图像特征数据126提供给标识系统120。

在一些实现方式中,可以为特定类型的图像的在特定位置处的子图像310分配不同的权重。例如,特定的第一模态子图像310可以被认为包含对于标识重要的特征,并且该第一模态子图像可以与特定的第一模态权重值相关联。通过将置信度值和相应的第一模态权重值相乘,可以为特定的第一模态图像确定第一模态得分。同样地,可以为特定的第二模态图像确定第二模态得分。第一模态图像和第二模态图像可以是在彼此的阈值时间期间获得的图像。例如,第一模态得分可以基于来自在第一时间获得的原始第一模态图像112(1)的第一模态子图像310,并且第二模态得分可以基于来自在第二时间获得的原始第二模态图像114(1)的第二模态子图像310。可以基于第一模态得分和第二模态得分来确定整体得分。关于图5更详细地讨论了该加权。

所描述的系统可以防止欺骗或伪造。在第一模态和第二模态中采集的图像的使用、正在进行中的图像采集以及在相近的时间以不同的模态采集这些图像显著降低了成功欺诈的可能性。例如,用户102的手108的图片将忽略内部特性,诸如静脉。另外,可以预期并且测试图像之间的差异。如果连续图像太过相似,则标识的可靠性可能降低。继续该示例,图片的呈现将导致非常相似或相同的特征向量。相比之下,活人的手108的呈现将包括由于运动等引起的一些变量。可以对根据相同模态的连续图像确定的特征值之间的最小变化阈值进行测试。可变性不足可导致后续标识的置信度值降低。

图5示出了500根据一些实现方式的包括与第一模态图像和第二模态图像相关联的置信度值的比较数据426,以及与特定的子图像位置相关联的模态权重的使用。

如上所述,一些子图像310可以与在确定用户身份时或多或少感兴趣的特征相关联。例如,第一模态图像中的特定子图像310可以类似于大量用户,从而使得该子图像310中的特征在区分一个用户102与另一个用户时几乎没有用。在另一个示例中,第二模态图像中的特定子图像310可以与在不同用户102之间差异巨大的特征相关联。

如上所述,比较模块128可以生成置信度值,该置信度值指示从原始图像数据110产生的特定子图像310的特征向量和与先前存储的用户特征数据130中的候选用户标识符相关联的特征向量之间的相似性。例如,可以基于相比较的特征向量之间在向量空间中的欧几里得距离来确定置信度值。置信度值可以与距离成比例,使得较高的置信度值指示较小的距离,并且较低的置信度值指示较大的距离。

因此可以为第一模态图像和第二模态图像两者确定置信度值的阵列。在该图示中,示出了用于特定的第一模态图像的第一模态置信度值502。还示出了先前定义的第一模态权重值504,所述第一模态权重值指示与特定子图像310相关联的相应权重。示出了第一模态得分506。在一个实现方式中,第一模态得分506可以被计算为第一模态置信度值502与对应的第一模态权重值504的乘积之和。在其他实现方式中,可以使用其他计算。

还示出了第二模态置信度值508和对应的第二模态权重值510。示出了第二模态得分512。在一个实现方式中,第二模态得分512可以被计算为第二模态置信度值508与对应的第二模态权重值510的乘积之和。在其他实现方式中,可以使用其他计算。

可以计算整体得分514。例如,整体得分514可以包括第一模态得分506和第二模态得分512之和。在其他实现方式中,可以使用其他计算来确定整体得分514。

在一个实现方式中,可以选择与最高整体得分514相关联的候选用户标识符,并且将其用于生成标识数据132。例如,如果第一候选用户标识符的整体得分为123.6,并且第二候选用户标识符的整体得分为101.3,则可以选择第一候选用户标识符。标识数据132然后将指示用户102是第一候选用户标识符。

虽然描绘了一组第一模态置信度值502和第二模态置信度值508,但可以使用用于第一模态或第二模态中的一个或多个的置信度值的其他实例。例如,基于原始图像数据110,可以采集五个单独的原始第一模态图像112,并且可以采集五个单独的原始第二模态图像114。可以确定每个图像的子图像310的置信度值,并且将各个模态得分用于生成整体得分514。

图6示出了根据一些实现方式的基于由扫描仪106获得的图像来确定用户标识符432的过程的流程图600。该过程可以至少部分地由标识系统120来实现。

在602处,使用扫描仪106,在第一时间采集第一原始图像数据110(1)。第一原始图像数据110(1)包括使用具有第一偏振的光获得的图像。

在604处,从第一原始图像数据110生成第一经处理的图像数据408(1)。例如,初始处理模块122可以处理第一原始图像数据110(1)并且生成经处理的图像数据408。

在606处,使用扫描仪106,在第二时间采集第二原始图像数据110(2)。第二原始图像数据110(2)包括使用具有第二偏振的光获得的图像。

在608处,根据第二原始图像数据110(2)生成第二经处理的图像数据408(2)。例如,初始处理模块122可以处理第二原始图像数据110(2)并且生成经处理的图像数据408(2)。

在610处,确定第一组子图像414。子图像310中的各个子图像对应于第一经处理的图像数据408(1)的一个或多个图像内的特定区域。例如,子图像指示符模块410可以使用子图像布置数据412将经处理的图像划分为子图像310。子图像310可以包括第一模态图像的子图像310。

在612处,为第一组子图像414中的一个或多个子图像310确定第一组特征向量。在一个实现方式中,特征提取模块420可以使用第一神经网络来确定第一组特征向量。例如,第一模态图像神经网络模块422可用于生成第一组特征向量。

在614处,确定第二组子图像418。子图像310中的各个子图像对应于第二经处理的图像数据408(2)的一个或多个图像内的特定区域。例如,子图像指示符模块410可以使用子图像布置数据412将经处理的图像划分为子图像310。子图像310可以包括第二模态图像的子图像310。

在616处,为第二组子图像418中的一个或多个子图像310确定第二组特征向量。在一个实现方式中,特征提取模块420可以使用第二神经网络来确定第二组特征向量。例如,第二模态图像神经网络模块424可以用于生成第二组特征向量。

在618处,基于第一组特征向量中的一个或多个特征向量和第二组特征向量中的一个或多个特征向量来确定当前鲜明特征428。当前鲜明特征428表示用户102在门104处呈现的特征。例如,第一组特征向量和第二组特征向量可以被联接为单个线性向量。在另一个示例中,可以将第一组特征向量和第二组特征向量作为输入提供给产生当前鲜明特征428的神经网络。继续该示例,卷积神经网络可以接受第一组特征向量的至少一部分和第二组特征向量的至少一部分作为输入,并且产生当前鲜明特征428。在一些实现方式中,当前鲜明特征428相比于特征向量可具有更低的维度。

在620处,基于先前存储的包括参考鲜明特征430的用户特征数据130来确定用户标识符432。在一个实现方式中,比较模块128可以确定指示在当前鲜明特征428和所存储的用户特征数据130中的参考鲜明特征430之间的相似性的置信度值。在另一实现方式中,比较模块128可以确定指示从原始图像数据110获得的特征向量与所存储的用户特征数据130中的特征向量之间的相似性的置信度值。可以基于鲜明特征、特征向量等之间在向量空间中的欧几里得距离来确定置信度值。置信度值可以与距离成比例,使得较高的置信度值指示较小的距离,并且较低的置信度值指示较大的距离。

图7示出了根据一些实现方式的基于第二模态图像和第一模态图像的子图像的置信度值的排序来对特定候选用户标识符进行排序和选择的过程的流程图700。该过程可以至少部分地由标识系统120来实现。

在702处,将基于经处理的图像数据408的第一组特征向量的至少一部分与所存储的用户特征数据130中的先前存储的特征向量的至少一部分进行比较。先前存储的特征向量与候选用户标识符相关联。例如,可以将基于原始第二模态图像114的特征向量与在用户102的注册期间获得的基于原始第二模态图像114的所存储的特征向量进行比较。

在704处,基于所述比较,确定第一置信度值,该第一置信度值指示第一组特征向量的至少一部分与先前存储的特征向量的至少一部分之间的对应性。例如,可以在第一组中的特征向量和先前存储的特征向量之间确定在向量空间中的欧几里得距离。在其他实现方式中,可以使用其他技术。

在706处,基于第一置信度值来确定候选用户标识符的第一排序。例如,排序可以包括降序排列。

在708处,将基于经处理的图像数据408的第二组特征向量的至少一部分与所存储的用户特征数据130中的先前存储的特征向量的至少一部分进行比较。先前存储的特征向量与候选用户标识符相关联。例如,可以将基于原始第一模态图像112的特征向量与在用户102的注册期间获得的基于原始第一模态图像112的所存储的特征向量进行比较。

在710处,基于比较,确定第二置信度值,该第二置信度值指示第二组特征向量的至少一部分与先前存储的特征向量的至少一部分之间的对应性。例如,可以在第二组中的特征向量和先前存储的特征向量之间确定在向量空间中的欧几里得距离。

在712处,基于第二置信度值来确定候选用户标识符的第二排序。例如,排序可以包括降序排列。

在714处,基于第一排序和第二排序来确定候选用户标识符的整体排序。例如,如果特定的候选用户标识符与第一排序和第二排序中的最高排序位置相关联,则该特定候选用户标识符将具有最高的整体排序。

在716处,将候选用户标识符中在整体排序中排序最高的一个候选用户标识符指定为与扫描仪106的用户102相关联的用户标识符432。

图8示出了根据一些实现方式的基于子图像310的排序来对特定候选用户标识符进行排序和选择的过程的流程图800。该过程可以至少部分地由标识系统120来实现。

在802处,确定第一组置信度值,该第一组置信度值指示从经处理的图像数据408获得的第一组特征向量的至少一部分和在所存储的用户特征数据130中的先前存储的特征向量的至少一部分之间的对应性。例如,将与由扫描仪106获得的第一模态图像相关联的特征向量和所存储的用户特征数据130中的先前存储的第一模态图像进行比较。先前存储的特征向量与候选用户标识符相关联。

在804处,确定第二组置信度值,该第二组置信度值指示从经处理的图像数据408获得的第二组特征向量的至少一部分和所存储的用户特征数据130中的先前存储的特征向量的至少一部分之间的对应性。例如,将与由扫描仪106获得的第二模态图像相关联的特征向量和所存储的用户特征数据130中的先前存储的第二模态图像进行比较。先前存储的特征向量与候选用户标识符相关联。

在806处,基于候选用户标识符中与第一组置信度值中的最大置信度值和第二组置信度值中的最大置信度值相关联的一个特定候选用户标识符来确定用户102的用户标识符432。在一些实现方式中,可以将预定权重应用于第一组置信度值或第二组置信度值中的一个或多个。

在808处,确定标识数据132,该标识数据指示与采集原始图像数据110时在扫描仪106处的用户标识符432相关联的用户102的存在。

图9示出了根据一些实现方式的使用当前鲜明特征428和参考鲜明特征430对特定候选用户标识符进行排序和选择的过程的流程图900。该过程可以至少部分地由标识系统120来实现。

在902处,根据基于经处理的图像数据408的第一组特征向量的至少一部分和基于经处理的图像数据408的第二组特征向量的至少一部分中的一者或多者来确定当前鲜明特征428。例如,第一组特征向量和第二组特征向量可以被组合到公共向量空间中以产生当前鲜明特征428。

在一个实现方式中,可以使用神经网络来确定当前鲜明特征428。例如,可以将第一组特征向量和第二组特征向量作为输入提供给卷积神经网络,该卷积神经网络先前已被训练为生成当前鲜明特征428,该当前鲜明特征包括表示手掌的统一嵌入向量。与各个特征向量相比,所得的当前鲜明特征428具有减小的整体尺寸。在一些实现方式中,可随后将统一嵌入向量与先前存储的数据(诸如,如下所述的参考鲜明特征430)进行比较,以确定候选用户标识符。

在904处,确定第一组置信度值,该第一组置信度值指示当前鲜明特征428与所存储的用户特征数据130中的先前存储的参考鲜明特征430的至少一部分之间的对应性。例如,置信度值可以基于在公共向量空间中当前鲜明特征428和特定参考鲜明特征430之间的欧几里得距离。如上所述,先前存储的参考鲜明特征430与候选用户标识符相关联。

在906处,基于与第一组置信度值中的最大置信度值相关联的候选用户标识符中的一个特定候选用户标识符来确定用户标识符432。在一些实现方式中,可以做出附加确定。例如,如果排序最高的候选用户标识符和排序第二的候选用户标识符的置信度值之间的差小于阈值,则无法确定身份。在另一个示例中,如果排序最高的候选用户标识符的置信度值小于阈值,则不能确定身份。同样,用户标识符432的确定可以基于满足先前阈值中的一个或两个的置信度值。

在908处,确定指示与扫描仪106处的用户标识符432相关联的用户102的存在的数据。

图10是示出根据一些实现方式的使用系统100的物料搬运设施(设施)1002的框图1000。设施1002包括一个或多个物理结构或区域,一个或多个物品1016(1)、1016(2)、……、1016(Q)可以容纳在其中。物品1016可以包括实物,诸如书籍、药品、维修零件、电子齿轮,等等。

设施1002可以包括指定用于关于库存处理的不同功能的一个或多个区域。在该图示中,设施1002包括接收区域1004、储存区域1006和过渡区域1008。

接收区域1004可以被配置为接受物品1016,诸如来自供应商的物品,以使其进入设施1002。例如,接收区域1004可以包括装载台,卡车或其他货物运输在该装载台处卸载物品1016。在一些实现方式中,物品1016可以在接收区域1004处被处理以生成物品数据的至少一部分。例如,可以对物品1016进行称重、成像或以其他方式扫描以在接收区域1004处对物品1016的参考图像或表示进行显影。

储存区域1006被配置为储存物品1016。可以以各种物理配置来布置储存区域1006。在一个实现方式中,储存区域1006可包括一个或多个过道1010。过道1010可以配置有在过道1010的一侧或两侧上的库存位置1018,或由库存位置限定。库存位置1018可包括平台、架子、盒、柜、箱、地板位置或用于容纳、支撑或储存物品1016的其他合适的储存机构中的一个或多个。例如,库存位置1018可以包括其中指定有诸如巷道的区域的货架。库存位置1018可以固定在设施1002的地板或另一部分结构上。库存位置1018也可以是可移动的,使得过道1010的布置可以是可重新配置的。在一些实现方式中,库存位置1018可以被配置为独立于外部操作者而移动。例如,库存位置1018可以包括带有电源和马达的架子,该架子可由计算装置操作以允许架子从设施1002内的一个位置移动至另一位置。

一个或多个用户102(1)、102(2)、......、102(U)和推车1012(1)、1012(2)、......、1012(T)或其他物料搬运设备可以在设施1002内移动。例如,用户102可以在设施1002内四处移动以在各种库存位置1018处拣选或放置物品1016,从而将它们放置在推车1012中以便于运输。推车1012被配置为运送或以其他方式运输一个或多个物品1016。例如,推车1012可包括篮子、推车、袋子、箱,等等。在其他实现方式中,其他物料搬运设备,诸如机器人、叉车、起重机、空中无人机等,可绕设施1002四处移动,以拣选、放置或以其他方式移动物品1016。例如,机器人可以从第一库存位置1018(1)拣选物品1016,并且将物品1016移动至第二库存位置1018(2)。

虽然储存区域1006被描绘为具有一个或多个过道1010、储存物品1016的库存位置1018、传感器1014等,但应当理解,接收区域1004、过渡区域1008或设施的其他区域1002可以类似地配备。此外,在功能上而非示意性地示出了设施1002内的各个区域的布置。例如,在一些实现方式中,多个不同的接收区域1004、储存区域1006和过渡区域1008可以在设施1002中彼此穿插而不是隔离。

设施1002可以包括或耦接到上述设施管理系统134。设施管理系统134被配置为与用户102或装置进行交互,诸如接收区域1004、储存区域1006或过渡区域1008中的一个或多个中的传感器1014、机器人、物料搬运装备、计算装置,等等。

在设施1002的操作期间,重量传感器1014(16)和其他传感器1014可以被配置为向设施管理系统134提供传感器数据或基于传感器数据的信息。除了从重量传感器1014(16)获得的数据之外,传感器数据还可以包括图像数据、非图像数据等。传感器1014可以包括但不限于重量传感器1014(16)、相机1014(1)等。相对于设施1002,传感器1014可以是固定的或可移动的。例如,设施1002可以包括相机1014(1),以获得用户102或设施1002中的其他对象的图像。在另一个示例中,库存位置1018可以包含:重量传感器1014(16),其用于采集存放在其中的物品1016的重量传感器数据;相机1014(1),其用于采集货架上的物品1016的拣选或放置的图像,等等。下面参考图11更详细地描述传感器1014。

设施管理系统134或其他系统可以使用传感器数据来跟踪设施1002内的对象的位置、对象的移动或提供其他功能。对象可以包括但不限于物品1016、用户102、推车1012,等等。例如,由相机1014(1)采集的一系列图像可以指示用户102从库存位置1018处的特定位置拿走物品1016,并且将物品1016放置在推车1012上或至少部分地放置在推车内。

设施1002可以被配置为从各种供应商接收不同种类的物品1016并且储存它们直到客户订购或取回物品1016中的一个或多个物品。物品1016经过设施1002的一般流程由图10的箭头指示。具体地,如本示例中所示,可以在接收区域1004处从一个或多个供应商(诸如制造商、分销商、批发商等)接收物品1016。在各种实现方式中,取决于操作设施1002的企业的性质,物品1016可以包括货物、商品、易腐品或任何合适类型的物品1016。

一旦在接收区域1004处从供应商处接收到物品1016,就可以准备好将其储存在储存区域1006中。例如,在一些实现方式中,物品1016可以被拆开包装或以其他方式重新布置。设施管理系统134可以包括在计算机系统上执行以提供库存管理功能的一个或多个软件应用程序。这些库存管理功能可以包括维护指示关于物品1016的类型、数量、状况、成本、位置、重量或任何其他合适参数的信息。物品1016可以以可计数单位、单个单位或多个单位(诸如,包装、纸箱、板条箱、货盘或其他合适的集合体)的方式进行库存、管理或分配。另选地,一些物品1016,诸如散装产品、商品等,可以以连续的或任意可分的量储存,而这些量可能不固有地组织成可计数单位。可以按照可测量的数量来管理此类物品1016,诸如以长度、面积、体积、重量、时间、持续时间或者以测量单位为特征的其他维度特性为单位。一般而言,物品1016的数量可适当地指物品1016的可计数数量的单个或总计单位或物品1016的可测量的量。

在穿过接收区域1004到达之后,物品1016可以被储存在储存区域1006内。在一些实现方式中,类似的物品1016可以被一起储存或陈列在库存位置1018中,诸如在箱中、在货架上、从钉板悬挂,等等。在该实现方式中,给定种类的所有物品1016被储存在一个库存位置1018中。在其他实现方式中,类似的物品1016可以被储存在不同的库存位置1018中。例如,为了优化在大型物理设施1002内频繁周转的某些物品1016的检索,可以将那些物品1016储存在若干不同库存位置1018中以减少可能在单个库存位置1018处发生的拥塞。

当接收到指定一个或多个物品1016的客户订单时,或者当用户102前进通过设施1002时,可以从包含那些物品1016的库存位置1018中选择或“拣选”对应的物品1016。在各种实现方式中,物品拣选的范围可以从手动拣选到全自动拣选。例如,在一个实现方式中,用户102可以具有他们想要的物品1016的列表,并且可以前进通过设施1002,从而从储存区域1006内的库存位置1018拣选物品1016,并且将那些物品1016放置在推车1012中。在其他实现方式中,设施1002的雇员可以使用从客户订单得到的书面或电子拣选列表来拣选物品1016。当雇员前进通过设施1002时,可以将这些拣选的物品1016放置在推车1012中。

在已经拣选物品1016之后,可以在过渡区域1008处对物品1016进行处理。过渡区域1008可以是设施1002内物品1016从一个位置过渡到另一位置或从一个实体过渡到另一实体的任何指定区域。例如,过渡区域1008可以是设施1002内的包装站。当物品1016到达过渡区域1008时,物品1016可以从储存区域1006过渡到包装站。关于过渡的信息可以由设施管理系统134维护。

在另一个示例中,如果物品1016正在离开设施1002,则物品1016的列表可被设施管理系统134获得并且使用,以将物品1016的责任或保管从设施1002过渡到另一实体。例如,运送者可以接受用于运输的物品1016,并且该运送者承担对列表中指示的物品1016的责任。在另一个示例中,用户102可以购买或租用物品1016,并且从设施1002拿走物品1016。在设施1002的使用期间,用户102可以绕设施1002四处移动以执行各种任务,诸如在库存位置1018中拣选或放置物品1016。

为了促进设施1002的操作,设施管理系统134被配置为使用标识数据132、传感器数据以及其他信息(诸如物品数据、物理布局数据等)来生成交互数据。

交互数据可提供关于交互的信息,诸如从库存位置1018拣选物品1016、将物品1016放置到库存位置1018、对库存位置1018处的物品1016的触摸、与库存位置1018处与物品1016相关联的手势,等等。交互数据可以包括交互类型、指示交互从库存位置1018发生的位置的交互位置标识符、物品标识符、物品1016的数量变化、用户标识符432等中的一种或多种。然后可以使用交互数据来进一步更新物品数据。例如,可以基于拣选或放置一个或多个物品1016的交互来改变在平台的特定巷道上的现有物品1016的数量。

如上所述,设施管理系统134可以执行其他操作,确定要补货的库存,确定用户计费数据,等等。

图11是示出根据一些实现方式的设施1002的附加细节的框图1100。设施1002可以连接到一个或多个网络1102,所述网络又连接到一个或多个计算装置,诸如服务器1104。网络1102可以包括专用网络(诸如机构或个人内部网)、公共网络(诸如互联网)或它们的组合。网络1102可以利用有线技术(例如,电线、光纤电缆等)、无线技术(例如,射频、红外、声学、光学等)或其他连接技术。网络1102表示任何类型的通信网络,包括数据网络或语音网络中的一个或多个。可以使用有线基础设施(例如,铜电缆、光纤电缆等)、无线基础设施(例如,蜂窝、微波、卫星等)或其他连接技术来实现网络1102。

服务器1104可以被配置为执行与设施管理系统134或其他系统相关联的一个或多个模块或软件应用程序。虽然服务器1104被示出为位于设施1002之外的位置,但在其他实现方式中,服务器1104的至少一部分可以位于设施1002处。下面参考图12更详细地讨论服务器1104。

用户102、推车1012、物品1016或设施1002中的其他对象可以配备有一个或多个标签1106。标签1106可以被配置为发射信号1108。在一个实现方式中,标签1106可以是射频标识(RFID)标签1106,该RFID标签被配置为在由第一模态信号激活时发射RF信号1108。例如,第一模态信号可包括被配置为激励或激活RFID标签1106的射频信号或磁场。在另一实现方式中,标签1106可以包括发射器和被配置为对发射器供电的电源。例如,标签1106可以包括蓝牙低功耗(BLE)发射器和电池。在其他实现方式中,标签1106可以使用其他技术来指示标签1106的存在。例如,声学标签1106可以被配置为生成由对应的声学接收器检测到的超声信号1108。在又一个实现方式中,标签1106可以被配置为发射光信号1108。

设施管理系统134可以被配置为将标签1106用于对象的标识、确定对象的位置等中的一者或多者。例如,用户102可以佩戴标签1106,推车1012可粘贴标签1106,物品1016可以在其包装上粘贴标签1106等等,标签可以被读取,并且至少部分地基于信号强度,用于确定一个或多个身份或位置。

一般来讲,设施管理系统134或与设施1002相关联的其他系统可以包括输入部件、输出部件和服务器1104的任何数量和组合。

一个或多个传感器1014可以被布置在设施1002内的一个或多个位置。例如,传感器1014可以安装在地板、墙壁、天花板、库存位置1018、推车1012上或安装在它们内部,或者由用户102携带或穿戴,等等。

传感器1014可以包括一个或多个相机1014(1)或其他成像传感器。一个或多个相机1014(1)可以包括被配置为采集场景的图像的成像传感器。相机1014(1)被配置为检测一种或多种波长的光,包括但不限于太赫兹波、红外光、可见光、紫外光,等等。相机1014(1)可以包括电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)装置、测微辐射热计,等等。设施管理系统134可以在设施1002的操作期间使用由相机1014(1)采集的图像数据。例如,设施管理系统134可以至少部分地基于它们在由相机1014(1)采集的图像数据内的外观来标识物品1016、用户102、推车1012,等等。相机1014(1)可以安装在设施1002内的各个位置。例如,相机1014(1)可以架空安装在库存位置1018上,可以由用户102穿戴或携带,可以被固定在推车1012上,等等。

传感器1014可以包括智能地板1014(2)。智能地板1014(2)能够提供关于对象(诸如用户102、推车1012等)的位置的信息。该信息可以包括标识对象、确定对象的位置、跟踪对象,等等。智能地板1014(2)可以利用智能地板装置,该智能地板装置包括从位于地板处或地板下方的天线辐射或接收电磁信号1108的发射器或接收器中的一个或多个发射器或接收器。基于关于哪个天线辐射信号1108以及哪个天线采集信号1108的信息,可以确定关于地板上或地板上方的对象的信息。例如,智能地板1014(2)可以包括感测元件或者区段。每个区段可以包括耦接到发射器或接收器中的一个或多个的天线。在操作期间,区段可以传输由天线辐射的电磁信号1108,接收由天线采集的电磁信号1108,或进行这两种操作。在一些实现方式中,智能地板1014(2)可以作为部署在地板水平的物理上较大的触摸传感器来操作。电磁信号1108提供关于在其上存在对象的信息。例如,区段可以电磁耦合到附近的对象,从而允许检测与地板接触或在地板上方的对象。在一些实现方式中,代替或除了对象的视觉跟踪之外,智能地板1014(2)可用于提供对象表示移动数据。例如,可以类似于图像数据的方式处理在特定时间窗期间获得的区段的输出。

一个或多个无线电接收器1014(3)也可以被包括为传感器1014。在一些实现方式中,无线电接收器1014(3)可以是收发器组件的一部分。无线电接收器1014(3)可以被配置为采集与RFID、Wi-Fi、蓝牙、ZigBee、2G、3G、4G、LTE或其他无线数据传输技术相关联的RF信号1108。无线电接收器1014(3)可以提供与经由射频发射的数据、RF信号1108的信号强度等相关联的信息。例如,设施管理系统134可以使用来自无线电接收器1014(3)的信息来确定RF源的位置,诸如由用户102携带的发射器、推车1012上的发射器、物品1016上的标签1106,等等。

一个或多个深度传感器1014(4)也可以被包括在传感器1014中。深度传感器1014(4)被配置为采集关于视野(FOV)内的对象的空间或三维(3D)数据,诸如深度信息。深度传感器1014(4)可以包括测距相机(range cameras)、激光雷达系统、声纳系统、雷达系统、结构光系统、立体视觉系统、光学干涉测量系统,等等。设施管理系统134可以使用由深度传感器1014(4)采集的3D数据来标识对象、确定对象在3D真实空间中的位置、标识用户102,等等。

一个或多个按钮1014(5)可以被配置为接受来自用户102的输入。按钮1014(5)可以包括机械机构、电容机构、光学机构或其他机构。例如,按钮1014(5)可以包括机械开关,所述机械开关被配置为接受来自用户102的触摸的施加力以生成输入信号。设施管理系统134可以使用来自按钮1014(5)的数据来接收来自用户102的信息。例如,推车1012可以配置有按钮1014(5)以接受来自用户102的输入并且将指示该输入的信息发送至设施管理系统134。

传感器1014可以包括一个或多个触摸传感器1014(6)。触摸传感器1014(6)可以使用电阻、电容、表面电容、投射电容、互电容、光学、内插式力感应电阻(IFSR)或其他机构来确定触摸或接近触摸的位置。例如,IFSR可以包括被配置为响应于所施加的力而改变电阻的材料。电阻变化在材料中的位置可以指示触摸的位置。设施管理系统134可以使用来自触摸传感器1014(6)的数据来接收来自用户102的信息。例如,触摸传感器1014(6)可以与推车1012集成在一起以提供触摸屏,用户102可以用该触摸屏从菜单中选择一个或多个特定物品1016进行拣选,输入库存位置1018处的物品的手动计数1016,等等。

一个或多个传声器1014(7)可以被配置为采集指示环境中存在的声音的信息。在一些实现方式中,可以使用传声器1014(7)的阵列。这些阵列可以实现波束成形技术以提供增益的方向性。设施管理系统134可以使用一个或多个传声器1014(7)从声学标签1106采集信息、接受来自雇员的语音输入,等等。例如,一个或多个说话者可以将可听见的指示呈现给雇员,然后该雇员可以进行口头响应。从传声器1014(7)获得的音频可以被处理以确定雇员的响应。

传感器1014可以包括仪器化的自动面对单元(IAFU)1014(8)。IAFU 1014(8)可以包括位置传感器,该位置传感器被配置为提供指示推动器的位移的数据。当从IAFU 1014(8)移除物品1016时,推动器移动,诸如在弹簧的作用下,并且将IAFU 1014(8)中的其余物品1016推动至库存位置1018的前面。通过使用来自位置传感器的数据以及给定的物品数据(诸如单个物品1016的深度),可基于位置数据的变化来确定计数。例如,如果每个物品1016的深度为1英寸,并且位置数据指示11英寸的变化,则IAFU 1014(8)持有的数量可能有11个物品1016的变化。该计数信息可用于确认或提供对通过其他方式获得的计数的交叉检查,诸如分析来自重量传感器1014(16)的传感器数据。

传感器1014可以包括一个或多个光学传感器1014(9)。光学传感器1014(9)可以被配置为提供指示照在其上的光的颜色或强度中的一者或多者的数据。例如,光学传感器1014(9)可包括光电二极管和相关联的电路,该光电二极管和相关联的电路被配置为生成指示光子的入射通量的信号1108或数据。如下所述,光学传感器阵列1014(14)可以包括多个光学传感器1014(9)。光学传感器1014(9)可以包括光电二极管、光敏电阻、光伏电池、量子点光电导体、辐射热计、热电红外检测器,等等。例如,光学传感器1014(9)可以使用锗光电二极管来检测红外光。

可以包括一个或多个射频标识(RFID)阅读器1014(10)、近场通信(NFC)系统等作为传感器1014。例如,RFID阅读器1014(10)可以被配置为读取RF标签1106。设施管理器134可以使用由RFID阅读器1014(10)采集的信息来标识与RF标签1106相关联的对象,诸如物品1016、用户102、推车1012,等等。例如,基于来自RFID阅读器1014(10)的检测到在特定库存位置处的RF标签1106的信息,可以确定放置或拣选的物品1016。

传感器1014可以包括一个或多个加速度计1014(11),该一个或多个加速度计可以由用户102穿戴或携带、安装到推车1012,等等。加速度计1014(11)可以提供信息,诸如所施加的加速度的方向和大小。可以使用加速度计1014(11)来确定数据,诸如加速率、方向变化的确定、速度,等等。

陀螺仪1014(12)可以提供指示固定到其上的对象的旋转的信息。例如,推车1012或其他对象可以配备有陀螺仪1014(12),以提供指示对象的取向变化的数据。

磁力计1014(13)可用于通过测量环境磁场(诸如地面磁场)来确定取向。磁力计1014(13)可以由用户102穿戴或携带、安装到推车1012,等等。例如,安装到推车1012的磁力计1014(13)可以充当指南针,并且提供指示推车1012被定向的方向的信息。

光学传感器阵列1014(14)可以包括一个或多个光学传感器1014(9)。光学传感器1014(9)可以以规则的、重复的或周期性的二维布置(诸如网格)布置。光学传感器阵列1014(14)可生成图像数据。例如,光学传感器阵列1014(14)可以被布置在库存位置1018之内或之下,并且获得关于物品1016的阴影,用户102的手108等的信息。

传感器1014可以包括用于确定对象(诸如用户102、手推车1012等)的存在的接近传感器1014(15)。接近传感器1014(15)可以使用光学、电、超声、电磁或其他技术来确定对象的存在。在一些实现方式中,接近传感器1014(15)可以使用光发射器和光检测器来确定接近度。例如,光发射器可以发射光,然后该光的一部分可以被对象反射回到光检测器,以提供该对象靠近接近传感器1014(15)的指示。在其他实现方式中,接近传感器1014(15)可以包括电容性接近传感器1014(15),该电容性接近传感器被配置为提供电场并且确定由于电场内对象的存在或不存在而引起的电容变化。

接近传感器1014(15)可以被配置为提供传感器数据,该传感器数据指示对象的存在或不存在、与对象的距离或对象的特性中的一者或多者。光学接近传感器1014(15)可以使用飞行时间(ToF)、结构化光、干涉测量法或其他技术来生成距离数据。例如,ToF确定来自光发射器或照明器的发射光的脉冲的传播时间(或“往返”时间),该发射光被反射或以其他方式返回到光检测器。通过将传播时间减半并且将结果乘以空气中的光速,可以确定与对象的距离。在另一实现方式中,光发射器可以提供结构化光图案。然后可以使用传感器1014(诸如相机1014(1))在对象上检测结构化光图案的一部分。基于结构化光图案的特征之间的视距离,可以计算与对象的距离。其他技术也可以用于确定与对象的距离。在另一个示例中,反射光的颜色可以用于表征对象,诸如皮肤、衣服、推车1012,等等。

一个或多个重量传感器1014(16)被配置为测量负载(诸如物品1016、推车1012或其他对象)的重量。重量传感器1014(16)可以被配置为测量库存位置1018中的一个或多个、推车1012、设施1002的地板等上的负载的重量。例如,库存位置1018的平台可以包括多个重量传感器1014(16)。重量传感器1014(16)可以包括一个或多个感测机构以确定负载的重量。这些感测机构可以包括压阻装置、压电装置、电容装置、电磁装置、光学装置、电位计装置、微机电装置,等等。重量传感器1014(16)的感测机构可以用作换能器,该换能器基于所施加的力(诸如由于重力引起的负载的力)生成一个或多个信号。例如,重量传感器1014(16)可以包括具有应变仪的负荷传感器和当施加重量时会轻微变形的结构构件。通过测量应变仪的电气特性的变化,诸如电容或电阻,可以确定重量。在另一个示例中,重量传感器1014(16)可以包括力感测电阻器(FSR)。FSR可包括在被压缩时改变一个或多个电特性的弹性材料。例如,当特定部分被压缩时,FSR的特定部分的电阻可降低。设施管理系统134可使用由重量传感器1014(16)采集的数据来标识对象,确定对象数量的变化,确定对象的位置,保持运送记录,等等。

传感器1014也可以包括其他传感器1014(S)。例如,其他传感器1014(S)可以包括光幕、超声测距仪、温度计、气压传感器、湿度计,等等。

在一些实现方式中,传感器1014可以包括硬件处理器、存储器以及被配置为执行各种功能的其他元件。例如,相机1014(1)可以被配置为生成图像数据,将图像数据发送至另一装置(诸如服务器1104),等等。

设施1002可以包括被配置为建立一个或多个无线网络的一个或多个接入点1110。接入点1110可以使用Wi-Fi、NFC、蓝牙或其他技术来建立装置与网络1102之间的无线通信。无线网络允许装置与传感器1014、设施管理系统134、标签1106、推车1012的通信装置或其他装置中的一个或多个通信。

输出装置1112也可以被设置在设施1002中。输出装置1112被配置为生成信号1108,所述信号可以由用户102感知或者由传感器1014检测。在一些实现方式中,输出装置1112可用于提供光学传感器阵列1014(14)的照明。

触觉输出装置1112(1)被配置为向用户102提供导致触觉的信号1108。触觉输出装置1112(1)可以使用一种或多种机制,诸如电刺激或机械位移来提供信号1108。例如,触觉输出装置1112(1)可以被配置为生成经调制的电信号1108,该经调制的电信号在用户102的一个或多个手指中产生明显的触感。在另一个示例中,触觉输出装置1112(1)可以包括被配置为提供振动的压电或旋转马达装置,用户102可以感觉到该振动。

一个或多个音频输出装置1112(2)可以被配置为提供声音输出。声音输出包括次声、可听声或超声中的一种或多种。音频输出装置1112(2)可以使用一个或多个机构来生成声音输出。这些机构可包括但不限于以下项:音圈、压电元件、磁致伸缩元件、静电元件,等等。例如,压电蜂鸣器或扬声器可用于提供声音输出。

显示装置1112(3)可以被配置为提供输出,该输出可以被用户102看到或者由感光传感器(诸如相机1014(1)或光学传感器1014(9))检测到。在一些实现方式中,显示装置1112(3)可以被配置为产生红外光、可见光或紫外光中的一者或多者的输出。输出可以是单色或彩色的。显示装置1112(3)可以是发射、反射、微机电等中的一种或多种。诸如使用LED的发射显示装置1112(3)被配置为在操作期间发光。相比之下,诸如使用电泳元件的反射型显示装置1112(3)依赖于环境光来呈现图像。背光或前灯可用于照明非发光显示装置1112(3),以在环境光水平低的条件下提供输出的可见性。

显示装置1112(3)可以位于设施1002内的各个点。例如,可寻址显示器可以位于库存位置1018、推车1012、设施1002的地板上,等等。

还可以存在其他输出装置1112(P)。例如,其他输出装置1112(P)可以包括气味/异味分配器、文档打印机、3D打印机或制造装备,等等。

图12示出了根据一些实现方式的被配置为支持设施1002的操作的服务器1104的框图1200。服务器1104可以在物理上存在于设施1002处,可以被网络1102访问,或者两者的组合。服务器1104不需要最终用户了解递送服务的系统的物理位置和配置。与服务器1104相关联的通用表达式可包括“按需计算”、“软件即服务(SaaS)”、“平台计算”、“网络可访问平台”、“云服务”、“数据中心”,等等。由服务器1104提供的服务可以跨一个或多个物理或虚拟装置分布。

一个或多个电源1202可以被配置为提供适合于操作服务器1104中的部件的电功率。一个或多个电源1202可包括电池、电容器、燃料电池、光伏电池、无线电力接收器、适于附接到诸如由电力公司提供的第一模态电源的导电耦接件等。服务器1104可以包括被配置为执行一个或多个所存储的指令的一个或多个硬件处理器1204(处理器)。处理器1204可包括一个或多个核心。一个或多个时钟1206可以提供指示日期、时间、滴答声等的信息。例如,处理器1204可以使用来自时钟1206的数据来将特定交互与特定时间点相关联。

服务器1104可以包括一个或多个通信接口1208,诸如输入/输出(I/O)接口1210、网络接口1212,等等。通信接口1208使服务器1104或其部件能够与其他装置或部件通信。通信接口1208可以包括一个或多个I/O接口1210。I/O接口1210可以包括集成电路总线(I2C)、串行外设接口总线(SPI)、通用串行总线(USB)开发者论坛发布的USB、RS-232,等等。

一个或多个I/O接口1210可以耦接到一个或多个I/O装置1214。I/O装置1214可以包括输入装置,诸如传感器1014、键盘、鼠标、扫描仪等中的一个或多个。I/O装置1214还可以包括输出装置1112,诸如显示装置1112(3)、打印机、音频扬声器等中的一个或多个。在一些实施方案中,I/O装置1214可以与服务器1104物理地结合或可以放置在外部。

网络接口1212可以被配置为提供服务器1104与其他装置(诸如推车1012、路由器、接入点1110等)之间的通信。网络接口1212可以包括被配置为耦接到个人局域网(PAN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)等的装置。例如,网络接口1212可以包括与以太网、Wi-Fi、蓝牙、ZigBee等兼容的装置。

服务器1104还可以包括允许在服务器1104的各种模块和部件之间传递数据的一个或多个总线或其他内部通信硬件或软件。

如图12所示,服务器1104包括一个或多个存储器1216。存储器1216可以包括一个或多个非暂时性计算机可读存储介质(CRSM)。CRSM可以是电子存储介质、磁存储介质、光存储介质、量子存储介质、机械计算机存储介质等中的任何一种或多种。存储器1216为服务器1104的操作提供计算机可读指令、数据结构、程序模块和其他数据的存储。一些示例性功能模块被示出为存储在存储器1216中,但相同的功能可以另选地在硬件、固件或片上系统(SoC)中实现。

存储器1216可以包括至少一个操作系统(OS)模块1218。OS模块1218被配置为管理硬件资源装置,诸如I/O接口1210、I/O装置1214、通信接口1208,并且向在处理器1204上执行的应用程序或模块提供各种服务。OS模块1218可以实现由FreeBSD项目所发布的FreeBSD操作系统的变体;其他UNIX或类似UNIX的变体;Linus Torvalds所发布的Linux操作系统的变体;美国华盛顿州雷德蒙德市微软公司的Windows操作系统;等等。

数据存储区1220和以下模块中的一个或多个模块也被存储在存储器1216中。这些模块可以作为前台应用、后台任务、守护程序等执行。数据存储区1220可以使用平面文件、数据库、链表、树、可执行代码、脚本或其他数据结构来存储信息。在一些实现方式中,数据存储区1220或数据存储区1220的一部分可以跨一个或多个其他装置分布,所述其他装置包括服务器1104、网络附接的存储装置,等等。

通信模块1222可以被配置为与推车1012、传感器1014、显示装置1112(3)、其他服务器1104或其他装置中的一个或多个建立通信。可以对通信进行身份验证、加密等。

存储器1216可以存储设施管理模块1224。设施管理模块1224被配置为提供如本文关于设施管理系统134所述的库存功能。例如,设施管理模块1224可以跟踪往返于推车1012的在不同库存位置1018之间的物品1016,生成补货命令,直接在设施内操作机器人,使用标识数据132将特定用户身份与设施1002中的用户102相关联,等等。在操作期间,设施管理模块1224可以访问传感器数据1230,诸如来自相机1014(1)的图像数据,来自重量传感器1014(16)的重量数据等中的一个或多个。

设施管理模块1224所使用的信息可以被存储在数据存储区1220中。例如,数据存储区1220可以用于存储物理布局数据1228、传感器数据1230、所存储的用户特征数据130、标识数据132、用户位置数据1232、交互数据1234,等等。传感器数据1230可以包括从设施1002中或与该设施相关联的一个或多个传感器1014获得的信息。

物理布局数据1228可以提供指示扫描仪106、相机1314(1)、重量传感器1014(16)、无线电接收器1014(3)的天线、库存位置1018等在设施1002中相对于彼此的位置的信息。例如,物理布局数据1228可以包括表示设施1002的地图或平面图以及门104与扫描仪106和库存位置1018的相对位置的信息。

设施管理模块1224可以生成指示用户102在设施1002内的位置的用户位置数据1232。例如,设施管理模块1224可以使用由相机1014(1)获得的图像数据来确定用户102的位置。在其他实现方式中,可以使用其他技术来确定用户位置数据1232。例如,来自智能地板1012(2)的数据可以用于确定用户102的位置。

用户身份可以基于标识数据132与跟踪数据相关联。例如,用户102进入设施1002并且使其手掌被扫描,从而产生标识数据132,该标识数据指示他们的进入时间,他们进入时通过的门104以及他们的用户标识符432。指示在进入时在门104处开始的用户102的轨迹的跟踪数据可以与标识数据132中的用户标识符432相关联。

基于用户位置数据1232和交互数据1234,可以将特定交互与特定用户102的账户相关联。例如,如果用户位置数据1232指示用户102在时间17:47:20出现在库存位置1018(492)前方,并且交互数据1234指示在17:47:27从库存位置1018(492)上的区域拣选的一种物品1016(D)的数量,则可以针对该拣选向用户102计费。

设施管理模块1224可以使用传感器数据1230来生成交互数据1234。交互数据1234可以包括关于所涉及的物品的类型、所涉及的数量、交互是拣选还是放置等的信息。交互可包括用户102从库存位置1018拣选物品1016,将物品1016放置在库存位置1018,触摸库存位置1018处的物品1016,翻找库存位置1018处的物品1016,等等。例如,设施管理模块1224可以生成交互数据1234,该交互数据指示用户102从货架上的特定巷道拣选了什么物品1016,然后使用该交互数据1234来调整在该巷道上存放的库存的计数。交互数据1234然后可以被用来对与用户标识符432相关联的账户计费,该用户标识符与拣选物品1016的用户102相关联。

设施管理模块1224可以处理传感器数据1230并且生成输出数据。例如,基于交互数据1234,在特定库存位置1018处的某种类型的物品1016的数量可以下降到阈值补货水平以下。该系统可以生成输出数据,该输出数据包括指示库存位置1018、面积以及将存货补充至预定水平所需的数量的补货命令。然后,可以使用补货命令来指示机器人对该库存位置1018进行补货。

存储器1216还可以存储标识模块1226。标识模块1226可以执行以上关于标识系统120描述的功能中的一个或多个功能。

其他模块1236以及数据存储区1220中的其他数据1238也可以存在于存储器1216中。例如,计费模块可以使用交互数据1234和标识数据132来对与特定用户102相关联的账户计费。

在本公开中描述的装置和技术可以在多种其他设置中使用。例如,系统可以与销售点(POS)装置结合使用。用户102可以将他们的手108呈现给扫描仪106,以提供对用与标识数据132相关联的账户进行支付的意图和授权的指示。在另一个示例中,机器人可以包含扫描仪106。机器人可以使用标识数据132来确定是否将包裹递送给用户102,并且基于标识数据132来确定递送哪件包裹。

本文所讨论的过程可以以硬件、软件或其组合来实现。在软件的上下文中,所描述的操作表示存储在一个或多个非暂时性计算机可读存储介质上的计算机可执行指令,当由一个或多个处理器执行时,所述指令执行所述操作。一般来说,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。本领域普通技术人员将容易认识到,可以以替代顺序消除、组合或执行以上附图中示出的某些步骤或操作。任何步骤或操作都可以串行或并行执行。此外,描述操作的顺序不意图被解释为是限制。

实施方案可作为包括其上存储有指令(以压缩或未压缩形式)的非暂时性计算机可读存储介质的软件程序或计算机程序产品来提供,这些指令可用于编程计算机(或其他电子装置)来执行本文所述的过程或方法。计算机可读存储介质可以是电子存储介质、磁存储介质、光存储介质、量子存储介质等中的一种或多种。例如,计算机可读存储介质可以包括但不限于硬盘驱动器、软盘、光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、磁卡或光卡、固态存储器装置或适用于存储电子指令的其他类型的物理介质。此外,实施方案也可作为包括暂时性机器可读信号(以压缩或未压缩形式)的计算机程序产品来提供。暂时性机器可读信号(无论是使用载波来调制还是未调制)的示例包括但不限于托管或运行计算机程序的计算机系统或机器可被配置来存取的信号,包括由一个或多个网络传送的信号。例如,暂时性机器可读信号可以包括通过互联网的软件传输。

这些程序的单独实例可以在任意数量的单独计算机系统上执行或分布在它们之间。因此,尽管已经将某些步骤描述为由某些装置、软件程序、过程或实体执行,但是不必如此,并且本领域普通技术人员将理解各种替代实现方式。

另外,本领域普通技术人员将容易认识到,上述技术可以在各种装置、环境和情况下使用。尽管已用特定于结构特征或方法动作的语言描述了主题,但是应理解,所附权利要求书中限定的主题不必限于所述特定特征或动作。相反,公开了特定特征和动作作为实现权利要求书的说明性形式。

条款

1.一种系统,其包括:

扫描仪,其包括:

第一红外光源,所述第一红外光源具有偏振器,所述偏振器具有第一偏振,其中所述第一红外光源在第一时间产生具有所述第一偏振的光;

第二红外光源,所述第二红外光源具有偏振器,所述偏振器具有第二偏振,其中所述第二红外光源在第二时间产生具有所述第二偏振的光;以及

第一相机,所述第一相机具有偏振器,所述偏振器具有第一偏振,其中所述第一相机:

在所述第一时间采集第一原始图像,并且

在所述第二时间采集第二原始图像;以及

计算装置,其包括:

存储器,所述存储器存储第一计算机可执行指令;以及

硬件处理器,所述硬件处理器用于执行所述第一计算机可执行指令以:

根据所述第一原始图像生成第一经处理的图像,其中所述第一经处理的图像以规范取向和规范姿势描绘了人手掌并且示出了所述人手掌的表面;

根据所述第二原始图像生成第二经处理的图像,其中所述第二经处理的图像以所述规范取向和所述规范姿势描绘了所述人手掌并且示出了所述人手掌的静脉图案;

确定第一组子图像,其中所述第一组子图像中的子图像对应于所述第一经处理的图像内的特定区域;

使用第一神经网络确定所述第一组子图像中的所述子图像中的一个或多个子图像的第一组特征向量;

确定第二组子图像,其中所述第二组子图像中的子图像对应于所述第二经处理的图像内的特定区域;

使用第二神经网络确定所述第二组子图像中的所述子图像中的一个或多个子图像的第二组特征向量;

使用所述第一组特征向量和所述第二组特征向量作为第三神经网络的输入来确定当前鲜明特征;

确定所述当前鲜明特征在公共向量空间中在参考鲜明特征的阈值距离内;以及

确定与所述参考鲜明特征相关联的用户标识符。

2.如条款1所述的系统,其中所述第二经处理的图像的生成包括用于对所述第二原始图像进行下采样的指令;并且

所述第一组特征向量在k维空间内表示,并且所述第二组特征向量在p维空间内表示,其中k大于p。

3.一种系统,其包括:

红外光源;

相机;

控制器,所述控制器用于:

在第一时间,用表现出第一偏振的第一红外光对场景进行照明;

操作所述相机以使用表现出所述第一偏振的入射光在所述第一时间采集第一图像数据;

在第二时间,用表现出第二偏振的第二红外光对所述场景进行照明;以及

操作所述相机以使用表现出所述第一偏振的入射光在所述第二时间采集第二图像数据;以及

计算装置,其包括:

存储器,所述存储器存储第一计算机可执行指令;以及

硬件处理器,所述硬件处理器用于执行所述第一计算机可执行指令以:

确定第一组子图像,其中所述第一组子图像中的每个子图像对应于所述第一图像数据内的特定区域;

确定所述第一组子图像中的所述子图像中的一个或多个子图像的第一组特征向量;

确定第二组子图像,其中所述第二组子图像中的每个子图像对应于所述第二图像数据内的特定区域;

确定所述第二组子图像中的所述子图像中的一个或多个子图像的第二组特征向量;

基于所述第一组特征向量和所述第二组特征向量,确定一个或多个当前鲜明特征;以及

基于所述一个或多个当前鲜明特征的至少一部分与一个或多个参考鲜明特征的比较来确定用户标识符。

4.如条款3所述的系统,其还包括:

所述红外光源,其包括:

第一红外光源,所述第一红外光源具有穿过具有第一偏振的第一偏振器的光输出,以及

第二红外光源,所述第二红外光源具有穿过具有第二偏振的第二偏振器的光输出;以及

所述相机,其包括具有所述第一偏振的第三偏振器。

5.如条款3或4中任一项所述的系统,其还包括:

响应于来自所述控制器的输入来选择性地对光进行滤波的偏振器,所述偏振器包括以下项中的一个或多个:

由电动马达驱动的转盘,所述转盘包括:

具有第一偏振窗的第一区段,所述第一偏振窗使具有所述第一偏振的光穿过,以及

具有第二偏振窗的第二区段,所述第二偏振窗使具有所述第二偏振的光穿过;

液晶;或者

光弹性调制器。

6.如条款3、4或5中任一项所述的系统,所述硬件处理器进一步执行所述第一计算机可执行指令以:

在用于确定所述第一组子图像的所述指令之前,用指令处理所述第一图像数据以:

根据所述第一图像数据确定表示人手掌的第三组图像,

根据所述第三组图像确定表示所述人手掌的特定取向的第四组图像,

根据所述第四组图像确定表示所述人手掌的特定姿势的第五组图像,其中所述第一图像数据包括所述第五组图像的至少一部分;以及

在用于确定所述第二组子图像的所述指令之前,用指令处理所述第二图像数据以:

根据所述第二图像数据确定表示所述人手掌的第六组图像,

根据所述第六组图像确定表示所述人手掌的所述特定取向的第七组图像,以及

根据所述第七组图像确定表示所述人手掌的所述特定姿势的第八组图像,其中所述第二图像数据包括所述第八组图像的至少一部分。

7.如条款3、4、5或6中任一项所述的系统,其中用于确定所述一个或多个当前鲜明特征的所述指令还包括用于执行以下操作的指令:

用神经网络处理所述第一组特征向量和所述第二组特征向量的至少一部分,以生成所述一个或多个当前鲜明特征。

8.如条款3所述的系统,其中用于确定所述一个或多个当前鲜明特征的所述指令还包括用于执行以下操作的指令:

联接所述第一组特征向量和所述第二组特征向量的至少一部分以生成所述一个或多个当前鲜明特征。

9.如条款3所述的系统,其中用于确定所述第一组特征向量的所述指令还包括用于执行以下操作的指令:

使用被训练为表征人手掌的表面的图像的第一神经网络处理所述第一组子图像中的所述子图像中的所述一个或多个子图像,其中来自所述第一神经网络的输出是在n维空间中表达的第一特征向量;并且

用于确定所述第二组特征向量的所述指令还包括用于执行以下操作的指令:

使用被训练为表征所述人手掌的内部解剖结构的图像的第二神经网络处理所述第二组子图像中的所述子图像中的所述一个或多个子图像,其中来自所述第二神经网络的输出是在p维空间中表示的第二特征向量,其中p小于n。

10.如条款3所述的系统,其中用于确定所述用户标识符的所述指令还包括用于执行以下操作的指令:

确定第一组置信度值,所述第一组置信度值指示所述当前鲜明特征的至少一部分与一个或多个先前存储的参考鲜明特征的至少一部分之间的对应性,其中所述先前存储的参考鲜明特征与候选用户标识符相关联;以及

基于所述候选用户标识符中与所述第一组置信度值中的最大置信度值相关联的一个特定候选用户标识符来确定所述用户标识符。

11.如条款3、4、5、6、7、8、9或10中任一项所述的系统,其中所述第一组子图像具有第一分辨率,并且所述系统还包括用于执行以下操作的指令:

对所述第二图像数据进行下采样,使得所述第二组子图像具有小于所述第一分辨率的第二分辨率。

12.一种方法,其包括:

访问由相机使用具有第一偏振的红外光获得的第一图像数据;

访问由所述相机用具有所述第一偏振的偏振器以及使用具有第二偏振的红外光进行的照明获得的第二图像数据;

确定第一组子图像,其中子图像对应于所述第一图像数据内的特定区域;

确定所述第一组子图像中的所述子图像中的一个或多个子图像的第一组特征向量;

确定第二组子图像,其中子图像对应于所述第二图像数据内的特定区域;

确定所述第二组子图像中的所述子图像中的一个或多个子图像的第二组特征向量;

基于所述第一组特征向量或所述第二组特征向量中的一个或多个来确定一个或多个当前鲜明特征;以及

基于所述一个或多个当前鲜明特征以及一个或多个先前存储的参考鲜明特征来确定用户标识符。

13.如条款12所述的方法,其中所述第一图像数据描绘了人手掌的表面的至少一部分,并且所述第二图像数据描绘了所述人手掌的内部解剖结构的至少一部分。

14.如条款12或13中任一项所述的方法,所述确定所述一个或多个当前鲜明特征包括:

联接所述第一组特征向量和所述第二组特征向量的至少一部分以生成所述一个或多个当前鲜明特征。

15.如条款12、13或14中任一项所述的方法,所述确定所述第一组特征向量包括:

使用被训练为表征人手掌的表面的图像的第一神经网络处理所述第一组子图像中的所述子图像中的所述一个或多个子图像,其中来自所述第一神经网络的输出是在n维空间中表达的第一特征向量;并且

所述确定所述第二组特征向量包括:

使用被训练为表征所述人手掌的内部解剖结构的图像的第二神经网络处理所述第二组子图像中的所述子图像中的所述一个或多个子图像,其中来自所述第二神经网络的输出是在p维空间中表示的第二特征向量,其中p小于n。

16.如条款12、13、14或15中任一项所述的方法,所述确定所述用户标识符包括:

确定所述一个或多个当前鲜明特征与所述先前存储的参考鲜明特征之间在向量空间中的第一组距离,其中所述先前存储的参考鲜明特征与候选用户标识符相关联;

基于所述向量空间中的所述第一组距离,确定所述一个或多个先前存储的参考鲜明特征中在所述向量空间中最接近所述一个或多个当前鲜明特征的一个参考鲜明特征;以及

基于所述候选用户标识符中与所述一个或多个先前存储的参考鲜明特征中的一个最接近参考鲜明特征相关联的一个特定候选用户标识符来确定所述用户标识符。

17.如条款12、13、14、15或16中任一项所述的方法,其还包括:

在确定所述第一组子图像之前:

访问由所述相机使用具有所述第一偏振的所述红外光获得的第一原始图像数据;

根据所述第一原始图像数据生成所述第一图像数据,其中所述第一图像数据包括一个或多个图像,所述一个或多个图像:

表示人手掌,

表现出所述人手掌的特定取向,

表现出所述人手掌的特定姿势,

表现出高于第一阈值的整体亮度,

表现出低于第二阈值的整体模糊度,并且

已校正;

在确定所述第二组子图像之前:

访问由所述相机使用具有所述第二偏振的所述红外光获得的第二原始图像数据;以及

根据所述第二原始图像数据生成所述第二图像数据,其中所述第二图像数据包括一个或多个图像,所述一个或多个图像:

表示所述人手掌,

表现出所述人手掌的所述特定取向,

表现出所述人手掌的所述特定姿势,

表现出高于第二阈值的整体亮度,

表现出低于第二阈值的整体模糊度,并且

已校正。

18.如条款12、13、14、15、16或17中任一项所述的方法,其中所述第一组子图像具有第一分辨率;并且所述方法还包括:

通过对所述第二图像数据进行下采样来生成所述第二组子图像,使得所述第二组子图像具有小于所述第一分辨率的第二分辨率。

19.如条款12、13、14、15、16、17或18中任一项所述的方法,其中所述第一组子图像中的所述子图像表示所述相机的视野中的第一区域并且所述第二组子图像中的所述子图像表示所述相机的所述视野中的第二区域,进一步地,其中,所述视野中的所述第二区域大于所述视野中的所述第一区域。

20.如条款12、13、14、15、16、17、18或19中任一项所述的方法,所述确定所述第一组子图像还包括:

将图像变换应用于所述第一组子图像中的所述子图像中的一个或多个子图像;并且

所述确定所述第二组子图像还包括:

将图像变换应用于所述第二组子图像中的所述子图像中的一个或多个子图像。

技术分类

06120112364448