用于人与虚拟对象交互的系统和方法

相关申请

本申请要求于2018年8月2日提交的美国临时申请第62/713,887号的优先权，其全部内容通过引用并入本文。

技术领域

本公开总体上涉及增强现实和虚拟现实的领域。具体地，本公开涉及人与虚拟对象的交互。

背景技术

用户与虚拟对象的交互是当前增强现实和虚拟现实领域广泛研究的热点。常用的交互方法通常可以分为直接交互方法和间接交互方法。直接交互方法跟踪用户的手势和姿势或者手持设备的空间位置，使得手持设备可以被准确地记录在虚拟空间中，并且虚拟空间本身可以被准确地覆盖或者显示在真实世界的顶部上。结果，用户可以直接与在其显示位置处的虚拟对象交互。间接交互方法通常包含与虚拟元素交互的指示器，并且用户经由输入设备来控制指示器的移动和动作。此外，指示器的移动可以相对于记录的输入运动被缩放或偏移，使得对于小的交互区域，用户可以与远离或分布在大空间中的虚拟对象交互。

直接交互方法可以采用诸如手跟踪、身体跟踪和六自由度手持式控制器的技术。该手跟踪方法典型地具有手势捕获和识别系统，其中可以通过图像采集传感器或配备有取向和弯曲传感器的手套来捕获手势以重建该手势。然后，类似于手与物理世界中的真实对象交互的情况，重建的手势或手及其空间位置和取向可以用于模拟与虚拟对象的交互。类似地，六自由度手持式控制器具有其平移和取向跟踪，使得其可以在虚拟空间中被记录，并用于在其显示位置处创建与虚拟对象的交互。

间接交互方法可以使用传统输入设备(例如触摸板、鼠标或键盘)的变体。用户可以与这些设备交互，以控制指示器在虚拟空间中的移动并且与虚拟元素交互。例如，使用鼠标或触摸板的交互系统可以在桌子或触摸板表面上记录用户的手移动或手指移动，使得虚拟指针根据所记录的移动而移动并且用于向虚拟元素施加动作。虚拟指针的移动可以被缩放，并且其位置可以相对于手或手指的位置偏移，使得用户可以在整个虚拟空间中导航指针，而不会跑出在输入设备的交互区域中的空间。另外，有时输入设备只记录相对移动，使得用户通过在输入设备上进行多个相对移动从而进一步扩展虚拟指针的移动范围。

当使用例如手跟踪或手持控制器的直接交互提供了控制虚拟对象的真实体验和高度自由度时，需要在空中不断地保持手和在物理世界中到处移动手可以快速地引入疲劳并防止长时间使用。此外，用相对低成本的传感器和流线型的用户设置体验来实现对手或身体的可靠且高保真的空间跟踪是具有挑战性的。使用例如键盘、鼠标或触摸板系统的间接交互提供了来自个人计算机/智能电话时代的熟悉体验，并允许用户容易地与虚拟内容交互，但它减少了由增强现实或虚拟现实系统所创造的沉浸感。

发明内容

公开了方法和系统，所述方法和系统允许用户查看并直接与准确地覆盖在触摸输入设备的交互区域之上的三维(3D)和二维(2D)虚拟内容交互。这样的系统通过允许用户直接与在其显示位置处的虚拟对象交互并且与所记录的精确输入运动交互来保持增强现实或虚拟现实系统的沉浸感。同时，触摸输入系统的集成提供了用于交互和手部休息的物理表面。因此，可以实现对输入运动的精确的、响应的、可靠的跟踪以及不费力的交互体验。

在本公开的一个方面中，一种用于人与虚拟对象交互的系统，所述系统包含：触敏表面，其被配置为检测在所述触敏表面上进行的接触的位置；参考层，其刚性地附接到所述触敏表面并且包含一个或多个图案；显示设备，其被配置为显示记录在相对于触敏表面固定的参考坐标中的虚拟对象；一个或多个图像传感器，其刚性地附接到所述显示设备，其被配置为捕获所述一个或多个图案的至少一部分的图像；以及至少一个处理器，其被配置为基于捕获的图像来确定所述显示设备相对于所述触敏表面的位置和取向，并且基于检测到的在所述触敏表面上进行的所述接触的位置来识别与所述虚拟对象的交互。

在本公开的一个方面中，虚拟对象可以是三维虚拟对象。在本公开的另一方面，虚拟对象可以是二维虚拟元素。在本公开的一个方面中，显示设备是透视显示设备。

在本公开的一个方面中，一个或多个图案包含一个或多个基准标记。在本公开的一个方面中，其中，所述一个或多个基准标记被配置为吸收红外光，并且所述一个或多个图像传感器被配置为感测红外光。在本公开的一个方面中，一个或多个基准标记中的每一个包含矩形，所述矩形包含二进制代码的内部网格表示。在本公开的一个方面中，一个或多个基准标记中的每一个包含具有已知位置的多个图像特征，其中，每个图像特征对应于唯一的特征描述符。

在本公开的一个方面中，一个或多个图案包含具有已知位置的多个光源。在本公开的一个方面中，所述多个光源是红外光源，并且所述一个或多个图像传感器被配置为感测红外光。在本公开的一个方面中，所述多个光源被配置为以预定顺序开启。

在本公开的一个方面中，所述一个或多个图案包含掩模和一个或多个光源，其中，从所述一个或多个光源发射并穿过所述掩模的光的至少一部分被所述一个或多个图像传感器捕获。在本公开的一个方面中，一个或多个图案还包含漫射体，所述漫射体被配置为漫射从一个或多个光源发射的光。在本公开的一个方面中，所述一个或多个图案进一步包含导光板，所述导光板被配置为接收由所述一个或多个光源从所述导光板的至少一侧发射的光并将所述光的至少一部分引导到所述导光板上方的所述掩模。

在本公开的一个方面中，触敏表面是至少部分透明的，并且参考层被布置在触敏表面下方。在本公开的一个方面中，参考层被布置为与触敏表面的至少一侧相邻。在本公开的一个方面中，参考层被布置在触敏表面上方。

在本公开的一个方面中，至少一个处理器被配置为：当检测到的所述接触的位置与虚拟对象的位置匹配时，识别与虚拟对象的交互。在本公开的一个方面中，虚拟对象从触敏表面被提升，并且至少一个处理器被配置为：当检测到的所述接触的位置与从虚拟对象到触敏表面上投影的虚拟足迹的位置匹配时，识别与虚拟对象的交互。在本公开的一个方面中，当所述交互被识别时，显示设备显示近似于虚拟足迹的虚拟二维菜单。

在本公开的一个方面中，一种用于人与虚拟对象交互的系统包含：触敏表面，其被配置为检测在所述触敏表面上进行的接触的位置；显示设备，其被配置为显示虚拟对象；一个或多个超声波发射器，其刚性地附接到所述触敏表面和所述显示设备之中的一个，其被配置为发射超声波信号；一个或多个超声波接收器，其刚性地附接到所述触敏表面和所述显示设备之中的另一个，其被配置为接收由所述超声波发射器发射的超声波信号；以及至少一个处理器，其被配置为至少基于所接收的超声波信号的飞行时间来确定所述显示设备相对于所述触敏表面的位置和取向，并且基于检测到的所述接触的位置来识别与所述虚拟对象的交互。

在本公开的一个方面中，所述系统还包含刚性地附接到所述触敏表面的惯性测量单元和/或刚性地附接到所述显示设备的惯性测量单元。

在本公开的一个方面中，一种用于人与虚拟对象交互的方法包含：检测在触敏表面上进行的接触的位置；利用显示设备显示记录在相对于所述触敏表面固定的参考坐标中的虚拟对象；利用刚性地附接到所述显示设备的一个或多个图像传感器来捕获刚性地附接到所述触敏表面的参考层上的一个或多个图案的至少一部分的图像；基于捕获的图像来确定所述显示设备相对于所述触敏表面的位置和取向；以及基于检测到的所述接触的位置来识别与所述虚拟对象的交互。

在本公开的一个方面中，一个或多个图案包含一个或多个基准标记。在本公开的一个方面中，一个或多个图案包含具有已知位置的多个光源。在本公开的一个方面中，所述一个或多个图案包含掩模和一个或多个光源，其中，从所述一个或多个光源发射并穿过所述掩模的光的至少一部分被所述一个或多个图像传感器捕获。

附图说明

图1示出了根据本公开的一个方面的示例性用户交互系统的结构图。

图2示出了根据本公开的一个方面的第一示例性触摸输入设备的结构图。

图3示出了根据本公开的一个方面的第二示例性触摸输入设备的结构图。

图4示出了根据本公开的一个方面的第三示例性触摸输入设备的结构图。

图5A示出了根据本公开的一个方面的第一示例性基准标记。

图5B示出了根据本公开的一个方面的第二示例性基准标记。

图5C示出了根据本公开的一个方面的第三示例性基准标记。

图6示出了示例性参考层的截面图。

图7示出了另一个示例性参考层的截面图。

图8示出了第三示例性参考层的截面图。

具体实施方式

图1示出了根据本公开的一个方面的允许用户与虚拟对象交互的示例性系统100的结构图。系统100可以包括：触摸输入设备101，其包含参考层102和交互表面103；显示设备105；位姿跟踪设备106；以及计算单元107，其与触摸输入设备101、显示设备105和位姿跟踪设备106无线地或经由一条或更多条电缆可操作地连接。在一些实施例中，触摸输入设备101可以包含触摸板，该触摸板包括触觉传感器，其中，交互表面103可以是触觉传感器的活动表面，其检测手指或物体(例如，手写笔)与该表面的接触。在一些实施例中，参考层102可以包含预定组的基准图案。在一些实施例中，参考层102可以包括布置成预定图案的多个光源，例如发光二极管(LED)。在一些实施例中，示例性虚拟对象108被记录在相对于触摸输入设备101固定的参考坐标104中，并且参考坐标104和交互表面103之间的相对位置和取向是已知的，使得检测到的触摸输入的位置和运动可以被直接映射到虚拟空间。在一些实施例中，位姿跟踪设备106可以包含刚性地附接到显示设备105的单个或多个图像传感器。在需要更宽视野的情况下或者在像用户的手这样的物体遮挡视野的一部分的情况下，多个图像传感器可以是有利的。在一些实施例中，每个图像传感器还可以包括滤光器，该滤光器允许具有预定波长范围的光通过，同时减弱具有其它波长的光的强度。

在一些实施例中，显示设备105可以是透视显示设备，通过该透视显示设备，观看者可以感知计算机生成的虚拟内容以及真实世界。结果，系统100能够用于增强现实应用中。在一些实施例中，显示设备105可以是不透明的，使得其可以阻挡来自真实世界的光并且仅显示计算机生成的虚拟内容。结果，系统100能够用于虚拟现实应用中。在一些实施例中，显示设备105可以是头戴式设备，其在使用时放置在观看者眼睛109的前方。

在一些实施例中，交互表面103能够检测和报告表面上的触摸事件的精确位置，其中，触摸事件可以由物体和表面之间的接触产生，其中，物体可以是用户的手指或手，或手写笔等。在一些实施例中，触摸输入设备101还可以检测并报告触摸事件的接触区域的形状。在一些实施例中，触摸输入设备101可以进一步检测并报告触摸事件的接触区域上的力分布。

在一些实施例中，参考层102能够由位姿跟踪设备106感知，以确定触摸输入设备101相对于位姿跟踪设备106的位置和取向。在一些实施例中，参考层102可以是基准图案层，其可以包含预定组的点、线或形状。在一些实施例中，参考层102可以包含以预定图案布置的发光二极管层。

在一些实施例中，交互表面103可以包含触觉传感器，该触觉传感器精确测量传感器与手指或物体之间的接触的位置。在一些实施例中，交互表面103可以是完全透明的或半透明的。结果，参考层102可以设置在交互表面103下方，同时仍然能够由位姿跟踪设备106感知。在一些实施例中，交互表面103可以是不透明的。结果，参考层102可以设置在交互表面103的顶部或者附接到交互表面103的一个或多个侧面。在一些实施例中，触觉传感器可以进一步测量接触的面积和/或力分布。在一些实施例中，上述触觉传感器可以是电阻感测或电容感测。触觉传感器可以是本领域技术人员认为适用于执行本文所述功能的任何类型。

如上所述，触摸输入设备101可以包含参考层102。在一些实施例中，参考层102可以包含预定组的基准图案，其中，基准图案包含预定组合的特征，所述特征包括形状、线和点，其中，这些特征的尺寸、位置或取向是已知的。结果，当基准图案的一部分或全部被一个或多个图像传感器捕获时，可以确定图案的位置和取向。在一些实施例中，例如可以用吸收可见光和/或红外光的材料在支撑衬底层上印刷或蚀刻基准图案。在一些实施例中，可以通过在漫射照明源上方应用不透明掩模并将其部分切除来创建基准图案。基准图案可以以本领域技术人员认为适用于执行本文所述功能的许多形式来制造。

图5、图6和图7示出了能够与本公开的实施例一起使用的基准标记的非限制性示例。

在一些实施例中，参考层可以包含以预定图案布置的多个光源，例如发光二极管(LED)，其中，每个LED的位置是已知的。结果，当LED的一部分或全部被一个或多个图像传感器捕获时，可以确定图案的位置和取向。在一些实施例中，顺序点亮LED，使得：在每个帧中，仅一个或几个LED被图像传感器捕获。因为如果所有LED同时点亮，则多个LED可能会在所捕获的图像帧中共享类似的特性，并且，当需要在每一个观察到的LED与每一个已知位置之间建立对应关系时，这可能会引起不确定性问题。因此，可以通过以预定顺序开启LED来解决不确定性问题。同时，因为不是所有的LED都需要一直开启以便位姿跟踪设备确定位置和取向，所以顺序点亮LED可以节省宝贵的电池电力。

在一些实施例中，位姿跟踪设备106可以包含单个或多个图像传感器。在一些实施例中，每个图像传感器还可以含有滤光器，该滤光器仅允许具有预定波长范围的光(例如，红外光)通过，同时减弱具有其它波长的光(例如，可见光)的强度，其中，预定范围可以取决于由上述图案反射或发射的光的波长。结果，图案可以被图像传感器清晰地捕获，而传感器的视场中的其它特征可以对于传感器部分地或完全地不可见。在一些实施例中，位姿跟踪设备106可以进一步包含照明设备，其中，照明设备可以包含单个或多个发光二极管。

计算单元107可以包含一个或多个处理器。尽管在图1所示的示例中计算单元107被结合到包含位姿跟踪设备106和显示设备105的头戴式设备中，但是计算单元107可以改为布置在单独的计算机中或者被结合到触摸输入设备101中。计算单元107可以生成包括虚拟内容的虚拟空间，其中，虚拟内容可以包括三维虚拟对象和/或二维虚拟元素。计算单元107还可以生成关于虚拟内容的信息，其中，该信息可以包括空间位置、取向、形状、运动学、动力学和图形渲染特性等。当检测到触摸事件时，被触摸输入设备101报告的触摸位置和覆盖在交互表面103顶部的虚拟对象的位置将允许计算单元107确定正在与哪个虚拟对象交互。此外，触摸事件的类型和虚拟对象的特性可以定义不同的交互和响应。同时，位姿跟踪设备106向计算单元107提供必要的测量数据，从而能够确定显示设备105与触摸输入设备101之间的相对空间关系。相对空间关系一般指两个实体之间的相对平移和旋转。因此，虚拟对象和由用户交互触发的响应可以从观看者的角度被适当地渲染和显示。

例如，可以在正在与虚拟对象交互时放大该虚拟对象，并且可以可选地显示与该特定对象相关联的文本信息。作为另一示例，可以通过触摸交互将虚拟对象从第一位置拖动到第二位置。

在一个实施例中，基准图案可以包含多个基于方形的基准标记，每个基准标记含有外部边界和二进制代码的内部网格表示。这样的基准标记的示例在图5A中示出。当被图像传感器捕获时，通过丢弃不是4顶点多边形、不具有有效二进制代码或不满足尺寸阈值的任何形状来提取在所捕获的帧中的该基准标记。通过拐角检测算法来检测每个有效基准标记的拐角。利用基准标记的拐角的已知位置，可以例如通过求解透视n点问题来估计该标记相对于图像传感器的相对位置和取向。因此，实现了基于基准图案的位姿估计。

在另一个实施例中，基准图案可以包含预定图像目标，该预定图像目标含有具有在图像目标中的已知位置和已知描述符的多个特征。计算机视觉或图像处理中的特征是在图像中发现的不同的局部结构，诸如“边缘”(图像中具有强梯度幅度的一组点)、“拐角/兴趣点”(梯度的方向在局部区域内迅速改变的一组点)、或局部图像补丁。描述符对特征的特性进行编码，例如，像素强度的局部梯度的幅度和取向、特征周围的一组像素对之间的强度比较向量。该描述符可以是多种形式，包含数值、数值向量或布尔变量向量。描述符能够用于唯一地识别图像中的对应特征。例如，在BRIEF(二进制鲁棒独立基本特征)描述符的情况下，计算已知描述符和候选特征的描述符之间的汉明距离，并且，如果该距离小于阈值，则确认匹配。

当图像目标被图像传感器捕获时，使用特征检测算法提取所捕获的帧内的所有候选特征点，并且为候选特征点计算对应的描述符。通过比较描述符，将一些候选特征点与图像目标中已知的特征点进行匹配。例如通过求解透视n点问题，匹配的对被用于估计图像目标相对于图像传感器的相对位置和取向。因此，实现了基于基准图案的位姿估计。

图2是第一示例性触摸输入设备的结构图。在图2所示的实施例中，交互层202设置在参考层201的顶部，其中，交互层202是完全或部分透明的。交互层202可以包括如上所述的触觉传感器。参考层201可以包含上述的预定组的基准图案。可替代地，参考层201可以包含如上所述的以预定图案布置的多个发光二极管(LED)。

图3是第二示例性触摸输入设备的结构图。在图3所示的实施例中，参考层301刚性地附接到交互层302的一侧，其中，交互层302可以是不透明的。交互层302可以包含如上所述的触觉传感器。参考层301可以包含上述的预定组的基准图案。可替代地，参考层可以包含如上所述的以预定图案布置的多个发光二极管(LED)。

作为可选的示例，如图1所示，参考层102可以围绕矩形交互表面103的四个侧面布置。

在一些实施例中，触摸输入设备可以包含以预定图案放置的多个超声波发射器，并且位姿跟踪设备可以包含多个超声波接收器。在一些实施例中，位姿跟踪设备可以包含以预定图案放置的多个超声波发射器，并且触摸输入设备可以包含多个超声波接收器。结果，发射器和接收器之间的距离可以通过测量超声波信号的传播时间来确定。因此，可以确定触摸输入设备的位置和取向。

图4是采用超声波发射器或接收器的第三示例性触摸输入设备的结构图。在图4所示的实施例中，支撑框架402附接到交互层401的四个侧面，并且四个超声波发射器403、404、405、406设置在支撑框架402的顶部上，并且分布在四个拐角处。交互层402可以包含如上所述的触觉传感器。可替代地，四个超声波接收器403、404、405、406可以设置在支撑框架402的顶部上。

各种方法可以用于使用超声波接收器和发射器跟踪虚拟对象的位置和取向。例如，在一种实施方式中，三个超声波接收器以非共线布置刚性地附接到显示设备和触摸输入设备之中的一个，三个发射器刚性地附接到显示设备和触摸输入设备之中的另一个，并且计算单元耦合到发射器和接收器。三个发射器分别产生三个不同频率的超声波脉冲。三个接收器中的每一个将接收到的具有三个不同频率的超声波分离成三个信号，得到总共九个信号。基于飞行时间(time-of-flight)原理，将九个信号处理为在三个发射器中的每一个与三个接收器中的每一个之间的九个距离。因此，能够估计发射器组件与接收器组件之间的相对取向和位置。

在另一个实施方式中，一个超声波发射器和9轴惯性测量单元(IMU)刚性地附接到显示设备和触摸输入设备之中的一个，三个超声波接收器和9轴IMU刚性地附接到显示设备和触摸输入设备之中的另一个，其中，接收器布置成非共线布置，并且计算单元耦合到发射器、接收器和IMU。可替代地，可以使用三个发射器和一个接收器。发射器产生已知频率的超声波声脉冲，而接收器将接收到的超声波脉冲转换为三个信号。基于飞行时间原理，信号在发射器和三个接收器之间分别产生三个距离。结果，可以计算发射器和接收器组件之间的相对位置。这些IMU测量该显示设备和该触摸输入设备的绝对取向，使得它们之间的相对取向可以被确定。

在一些实施例中，可以为被提升的虚拟对象显示足迹。因为用户交互是通过触摸输入设备来感测的，所以交互被限制在2D平面附近。然而，虚拟内容可以以不可忽略的垂直距离显示在触摸输入设备上方。为了克服这种限制，在一种实施方式中，通过显示设备显示从被提升的虚拟对象投影到交互层上的虚拟足迹。结果，用户可以使用各种触摸手势经由其虚拟足迹与被提升的虚拟对象交互。例如，用户可以对在虚拟足迹的区域上的触摸输入设备执行捏缩手势以缩放对应的虚拟对象，或者用户可以对虚拟足迹执行按压并拖动手势以移动对应的虚拟对象。此外，当用户触摸虚拟足迹的区域时，可以在虚拟足迹附近的交互层上显示虚拟二维菜单元素，以提供对对应的虚拟对象的附加操作。用户可以点击显示菜单项的交互层的不同区域，以激活相关功能。例如，附加操作可以包括但不限于：启动与对应虚拟对象相关联的动画，删除对应虚拟对象，或者改变对应的虚拟对象的属性。

图6是示例性参考层的截面图。在图6所示的实施例中，掩模层603布置在光源层601上方，并且可选的光漫射件602可以位于光源层601和掩模层603之间。掩模层603包含图示为亮色块的透光部分和图示为暗色块的遮光部分。由光源层601中的光源发射的光可以由光漫射件602漫射并且穿过掩模层603的透光部分，以在被图像传感器捕获时形成上述一个或多个图案。在一些实施例中，来自光源的光可以是红外光，并且透光部分和遮光部分响应于红外波长。

在一些实施例中，遮光部分可以包含具有遮光添加剂的聚合物。在一些实施例中，遮光部分可以包含沉积在衬底上的遮光涂料。在一些实施例中，透光部分简单地由空隙形成，或者缺少任何材料。掩模层603的材料可以是本领域技术人员认为适用于执行本文所述功能的任何类型。

在一些实施例中，交互表面位于掩模层603上方。在一些实施例中，交互表面位于掩模层603下方。在一些实施例中，遮光材料直接沉积在交互表面上以形成掩模层603。

图7是另一个示例性参考层的截面图。在图7所示的实施例中，掩模层703布置在导光板701上方，并且可以具有与如上所述的掩模层603相同的配置。光源702布置成从导光板的至少一侧向导光板701横向地发射光。从光源702发射的光被导光板701重定向到掩模层703，并且穿过掩模层703，以在被图像传感器捕获时形成上述的一个或多个图案。在一些实施例中，导光板701可以包含在底面上的微透镜阵列，并且来自光源702的光在内部被沿着导光板701的长度反射(例如，在图7中从右向左)，并且被微透镜阵列重定向，以穿过该板的顶面。导光板701可以是本领域技术人员认为适用于执行本文所述功能的任何类型。在一些实施例中，来自光源的光可以是红外光，并且掩模层703的透光部分和遮光部分响应于红外波长。

在一些实施例中，交互表面位于掩模层703上方。在一些实施例中，交互表面位于掩模层703下方。在一些实施例中，在触敏表面上直接沉积遮光材料，以形成掩模层703。

图8是第三示例性参考层的截面图。在图8所示的实施例中，导光板801位于包含一个或多个基准图案的基准层803上方。光源802布置成从导光板801的至少一侧向导光板801横向地发射光。由光源发射的光被前导光板重定向以照射基准层803，并在被图像传感器捕获时在图像帧中形成上述一个或多个基准图案。在一些实施例中，导光板801可以包含在顶表面上的微透镜阵列，并且，来自光源的光在内部被沿着导光板801的长度反射(例如，在图8中从右至左)，并被微透镜阵列重定向以穿过该板的底表面。导光板801可以是本领域技术人员认为适用于执行本文所述功能的任何类型。在一些实施例中，来自光源的光可以是红外光，并且，基准图案响应于红外波长。

在一些实施例中，交互表面位于导光板801上方。在一些实施例中，交互表面位于基准层803下方。在一些实施例中，交互表面位于导光板801和基准层803之间。

为了说明的目的，已经参考具体实施例描述了前面的说明。然而，上述说明性讨论并不旨在是穷尽的或将本发明限于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择和描述这些实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够最好地利用本发明以及具有适合于所设想的特定用途的各种修改的各种实施例。