虚拟、增强和混合现实系统和方法

版权声明

本专利文件的公开的一部分包含受限于版权保护的材料。版权所有者不反对任何人以其在专利和商标局专利文件或记录中出现的方式对专利文件或专利公开进行传真复制，但是保留其他所有版权。

技术领域

本公开涉及虚拟现实、增强现实和混合现实成像、可视化和显示系统和方法。特别地，本公开涉及用于确定观察者焦点的深度的虚拟现实、增强现实和混合现实成像、可视化和显示系统和方法。

背景技术

现代计算和显示技术促进了虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的发展。VR系统为用户创建模拟环境来体验。这可以通过头戴式显示器向用户呈现计算机生成的图像来完成。该图像创建了将用户沉浸在模拟环境中的感觉体验。VR场景通常涉及仅计算机生成的图像而不是还包括实际现实世界图像的呈现。

AR系统通常用模拟元素来补充现实世界环境。例如，AR系统可以经由头戴式显示器向用户提供周围现实世界环境的视图。然而，计算机生成的图像也可以呈现在显示器上以增强现实世界环境。该计算机生成的图像可以包括与现实世界环境上下文相关的元素。这样的元素可包括模拟文本、图像、对象等。MR系统还将模拟对象引入现实世界环境中，但这些对象通常具有比AR系统中更大程度的交互性。模拟元素经常可以实时交互。

图1描绘了示例AR/MR场景2，其中，用户看到了现实世界公园设置6，该设置以人、树、背景中的建筑物以及混凝土平台20为特征。除了这些项目之外，计算机生成的图像也被呈现给用户。计算机生成的图像可包括例如站在现实世界平台20上的机器人雕像10，以及飞行的卡通状的化身角色2，似乎是大黄蜂的化身，即使这些元素2、10在现实世界环境中实际上不存在。

各种光学系统生成不同深度处的图像，用于显示VR、AR或MR场景。

VR/AR/MR系统可以在各种显示模式下操作，包括混合光场模式和离散光场模式。在混合光场模式(“混合模式”)中，显示器呈现合成光场，其包括同时或几乎同时显示在两个或两个以上离散深度平面处的图像。在离散光场模式(“离散模式”)中，显示器呈现合成光场，其包括在单个深度平面处显示的图像。照明深度平面在离散模式下是可控的。一些VR/AR/MR系统包括用于确定观察者的焦点的眼睛跟踪子系统。这样的系统可以照射对应于观察者的焦点的深度平面。

由于人类视觉感知系统是复杂的，因而产生利于其他虚拟或现实世界影像元素中间的虚拟图像元素的舒适的、自然感觉的、丰富呈现的VR/AR/MR技术是具挑战性的。三维(“3D”)图像显示系统经历辐辏-调节(vergence-accommodation)冲突问题。当两个光学深度相关的生物过程向用户/观察者的大脑发送冲突的深度信号时，该问题发生。辐辏与观察者的眼睛旋转以将光轴(轴)与远处观察者注意的对象对准的趋势有关。在双目系统中，光轴相交的点可以称为“辐辏点”。观察者的眼睛在辐辏期间的旋转量由观察者的大脑解释为估计深度。调节与观察者眼睛的晶状体聚焦的趋势有关，使得观察者的注意力的对象在远处。观察者的眼睛在辐辏期间的焦点由观察者的大脑解释为另一估计深度。当辐辏和调节信号由观察者的大脑解释为相同或相似的估计深度时，3D观看体验对于观察者来说是自然而舒适的。另一方面，当辐辏和调节信号由观察者的大脑解释为基本上不同的估计深度时，3D观看体验对于观察者来说是次最佳的，并且可能导致不适(眼睛疲劳、头痛等)和疲劳。这样的问题被称为辐辏-调节冲突。

便携式VR/AR/MR系统还具有其他限制，诸如尺寸和便携性问题、电池寿命问题、系统过热问题、处理能力、存储器、带宽、数据源、组件延迟以及其他系统和光学挑战，这些可能对VR/AR/MR系统性能产生负面影响。在实现3D图像渲染技术用于自然辐辏和调节时，必须考虑这些其他限制。为了调节VR/AR/MR系统的这些硬件相关限制，确定用户/观察者的焦点通常很有用。虽然一些系统将用户/观察者的焦点映射到用户/观察者的辐辏点，但是眼睛跟踪硬件和快速用户/观察者眼睛运动的限制降低了使用该方法确定用户/观察者的焦点的准确度。确定用户/观察者的焦点允许VR/AR/MR系统有效地分配有限的硬件资源。特别地，确定用户/观察者焦点的深度允许VR/AR/MR系统将有限的硬件资源引导到与用户/观察者焦点重合的特定平面。

确定用户/观察者焦点深度的一种方法是使用深度感测生成整个视场的深度图，然后使用眼睛跟踪使用视场的深度图识别用户/观察者焦点的深度。深度感测是确定三维(“3D”)空间(例如传感器)中的已知点与对象表面上的兴趣点(“POI”)之间的距离。深度感测也称为纹理感测，因为确定表面上多个POI的相应距离确定了该表面的纹理。深度或纹理感测对于许多计算机视觉系统有用，包括混合现实系统。就硬件(例如红外相机和红外光投射器)和处理能力而言，生成深度图可能是一个要求很高的过程。对于移动的VR/AR/MR系统，深度图将需要以处理能力、存储器、通信信道等方面的代价不断更新。

需要用于处理图像数据和显示图像的改进的系统和技术，包括例如用于确定用户/观察者的焦点深度用于向观察者/用户渲染和显示3D图像同时最小化辐辏-调节冲突的系统和技术，以及用于最小化对便携式VR/AR/MR系统的有限图形处理能力的需求同时这样做的系统和技术。需要改进的系统和技术用于解决这些问题。本文所描述的系统和方法被配置为解决这些和其他挑战。

需要的是一种或多种技术来改进遗留技术和/或其他考虑的方法。本背景部分中描述的一些方法是可以追求的方法，但不一定是先前设想或追求的方法。

发明内容

在一个实施例中，一种用于确定三维(“3D”)显示设备的用户的焦点深度的方法包括跟踪用户的第一注视路径。该方法还包括分析3D数据以识别沿着所述用户的所述第一注视路径的一个或多个虚拟对象。所述方法还包括当仅一个虚拟对象与所述用户的所述第一注视路径相交时，将所述仅一个虚拟对象的深度识别为用户的焦点深度。

在一个或多个实施例中，一个或多个虚拟对象中的每一个在距所述用户的相应深度处显示。分析多个3D数据可包括分析对应于3D数据的深度分割数据。该方法还可包括对所述用户执行辐辏分析以生成所述用户的辐辏焦点深度，以及使用所述用户的所述辐辏焦点深度来改进所述用户的所述焦点深度的准确度。

在一个或多个实施例中，当多于一个虚拟对象与所述用户的所述第一注视路径相交时，该方法还可包括跟踪所述用户的第二注视路径。该方法还可包括分析所述3D数据以识别沿着所述用户的所述第二注视路径的一个或多个虚拟对象。该方法还可包括当仅一个虚拟对象与所述用户的所述第一注视路径和所述第二注视路径两者相交时，将所述仅一个2D图像帧的深度识别为所述用户的所述焦点深度。

在另一实施例中，一种用于确定三维(“3D”)显示设备的用户的焦点深度的方法包括跟踪所述用户的第一注视路径。该方法还包括分析由所述显示设备显示的多个二维(“2D”)图像帧以识别沿着所述用户的所述第一注视路径的一个或多个虚拟对象。该方法还包括，当多个2D图像帧中的仅一个2D图像帧包括沿着所述用户的所述第一注视路径的虚拟对象时，将所述仅一个2D图像帧的深度识别为所述用户的所述焦点深度。

在一个或多个实施例中，多个2D图像帧中的每一个在距所述用户的相应深度处显示。分析多个2D图像帧可包括分析对应于多个2D图像帧的深度分割数据。该方法还可包括对所述用户执行辐辏分析以生成所述用户的辐辏焦点深度；以及使用所述用户的所述辐辏焦点深度来改进所述用户的所述焦点深度的准确度。

在一个或多个实施例中，当多个2D图像帧中的多于一个2D图像帧包括沿着所述用户的所述第一注视路径的虚拟对象时，该方法还可包括跟踪所述用户的第二注视路径。该方法还可包括分析由所述显示设备显示的多个2D图像帧以识别沿着所述用户的所述第二注视路径的一个或多个虚拟对象。该方法还可包括当多个2D图像帧中的仅一个2D图像帧包括沿着所述用户的所述第一注视路径和所述第二注视路径的虚拟对象时，将所述仅一个2D图像帧的深度识别为所述用户的所述焦点深度。

附图说明

专利或者申请文件包含以彩色执行的至少一个附图。具有(一个或多个)彩色附图的本专利或专利申请的副本在请求并且支付必要费用时将由政府机关提供。

下文所描述的附图仅用于说明目的。附图不旨在限制本公开的范围。本专利或者申请文件包含以彩色执行的至少一个附图。具有彩色附图的本专利或专利申请的副本在请求并且支付必要费用时将由美国专利和商标局提供。

附图示出了本公开的各种实施例的设计和实用性。应当注意，附图不按比例绘制，并且相似结构或功能的元件在全部附图中由相同的参考标记表示。为了更好地理解如何获得本公开的各种实施例的记载和其他优点和目的，将参考附图中示出的其具体实施例提供对本公开的更详细的描述。理解这些附图仅描绘了本公开的典型实施例并且因此不应被认为是对其范围的限制，将通过使用附图以附加的具体性和细节来描述和解释本公开。

图1示出了使用示例AR系统的用户的AR/MR场景视图。

图2至图5示意性地描绘了根据一些实施例的使用VR/AR/MR系统的用户。

图6示意性地描绘了根据一些实施例的多平面聚焦系统的各平面。

图7示意性地描绘了根据一些实施例的VR/AR/MR系统。

图8A和图8B从侧面透视图(图8A)和后透视图(图8B)示意性地描绘了根据一些实施例的包括多个虚拟对象的3D图像。

图9A和图9B从侧面透视图(图9A)和后透视图(图9B)示意性地描绘了包括投射到单个深度平面上用于以离散模式显示的多个虚拟对象的3D图像。

图10A示意性地描绘了根据一些实施例的双平面混合模式显示系统的近和远调节区以及调节重叠区。

图10B示意性地描绘了距观察者的距离与屈光度之间的关系。

图11从侧面透视图示意性地描绘了包括投射到单个深度平面上用于以离散模式显示的多个虚拟对象的3D图像。

图12A从侧面透视图示意性地描绘了包括用于以离散模式显示的投射到单个深度平面上的多个虚拟对象的3D图像。

图12B从侧面透视图示意性地描绘了以混合模式显示的包括具有多个虚拟深度平面的多个虚拟对象的3D图像。

图13和图14示意性地描绘了根据一些实施例的用于从后透视图(图13)和侧透视图(图14)确定用户/观察者的焦平面的系统和方法。

图15示意性地描绘了根据一些实施例的包括多个虚拟对象的3D图像，该多个虚拟对象被模糊并投射到单个确定深度平面上用于从后透视图以离散模式显示。

图16是示出根据一些实施例的用于确定用户/观察者的焦平面的方法的流程图。

图17是示意性地描绘根据一些实施例的说明性计算系统的框图。

具体实施方式

本公开的各种实施例涉及单个实施例或多个实施例中的用于虚拟现实(VR)/增强现实(AR)/混合现实(MR)的系统、方法和制品。在详细描述、附图和权利要求中描述了本公开的其他目的、特征和优点。

现在将参考附图详细描述各种实施例，附图作为说明性示例提供以使得本领域技术人员能够实践本公开。值得注意的是，以下附图和实施例并不意指限制本公开的范围。在本公开的某些元素可以使用已知组件(或方法或过程)部分或全部实现的情况下，将仅描述这样的已知组件(或方法或过程)对于理解本公开所必需的那些部分，并且这样的已知组件(或方法或过程)的其他部分的详细描述将被省略以免混淆本公开。进一步地，各种实施例涵盖本文通过说明的方式提及的组件的当前和未来已知的等同物。

根据本公开的实施例解决了VR/AR/MR系统的实现通常依赖于现成组件和定制组件的组合的问题。在一些情况下，现成组件不具有实现待部署VR/AR/MR系统的某些期望方面所需的所有特征或性能特性。一些实施例涉及用于添加能力和/或重新利用资源以调节待部署的VR/AR/MR系统的期望特征或性能特性的方法。本文中的附图和讨论呈现了用于VR/AR/MR系统的示例环境、系统、方法和计算机程序产品。

头戴式视听显示系统和3D图像渲染系统可以独立于AR/MR系统来实现，但是下面的一些实施例仅出于说明性目的关于AR/MR系统来描述。本文所描述的3D图像渲染和显示系统也可以以类似的方式与VR系统一起使用。

如上文所描述的，VR/AR/MR系统具有限制，诸如尺寸和便携性、电池寿命、系统过热、处理能力、存储器、带宽、数据源、组件延迟以及其他系统和光学挑战，这些可能对VR/AR/MR系统性能产生负面影响。这些限制可能导致减少图形处理和图像显示需求变为改进3D图像渲染和显示的一个对抗挑战。VR/AR/MR系统可以通过识别对应于用户/观察者焦点的深度平面来更有效地部署有限的处理和显示资源。然而，仅使用辐辏来识别用户/观察者的焦平面可能不是足够准确的。另一方面，生成用于使用在识别用户/观察者的焦平面中的深度图可能增加对VR/AR/MR系统的处理和硬件需求。

例如，由于潜在的图形处理和尺寸/便携性问题，VR/AR/MR系统，尤其头戴式系统，可能仅包括足够的组件以能够以最小帧速率(例如60Hz)在每帧一个深度平面处渲染和显示彩色图像用于平滑显示移动的虚拟对象(即离散模式)。图8A至图9B中示出了以离散模式操作的这样的VR/AR/MR系统的示例。如图8A示意性所示，3D图像包括邻近各种深度平面(近立方体810邻近近深度平面0并且远立方体812和圆柱体814邻近远深度平面1)的三个虚拟对象(近和远立方体810、812和一个圆柱体814)。在一些实施例中，近深度平面0处于约1.96屈光度，以及远深度平面1处于约0.67屈光度。图8B是图8A所示的3D图像的观察者的透视图。在图8B中，跟踪用户/观察者的眼睛816指示观察者的眼睛趋向与近立方体810的位置重合的辐辏点818。在离散模式下，每帧(即图像渲染和显示)仅照射一个深度平面。如图9A示意性所示，由于辐辏点818与邻近近深度平面0的近立方体810的位置重合，因此3D图像的所有内容(即，近立方体和远立方体810、812和圆柱体814)被投射到近深度平面0上。图9B是在其已投射到近深度平面0上之后3D图像的观察者的透视图。仅近深度平面0被照射，并且观察者816的眼睛调节到近深度平面0。如上文所描述的，将用户/观察者的焦点与用户/观察者的辐辏点等同起来可能导致对该重要数据点的不太准确的确定。

在一些实施例中，将3D图像的所有内容投射到单个深度平面上仅触发最小的辐辏-调节冲突(例如，最小的用户不适、眼睛疲劳、头痛)。这是因为调节与辐辏之间存在松散耦合，使得人脑可以容忍调节与辐辏之间的最大约0.75屈光度失配。如图10A所示，该±0.75屈光度容差转化为近调节区1010和远调节区1012。由于距离与屈光度之间的反比关系，如图10B所示，远调节区1012大于近调节区1010。对于图10A中所描绘的实施例中的近深度平面0和远深度平面1，±0.75屈光度容差还导致调节区重叠1014，其中落入调节区重叠1014中的对象深度可在近深度平面0和远深度平面1处显示，例如，以不同的比例，具有不同的亮度和/或颜色值等。在3D图像的所有内容位于近调节区1010或远调节区1012中并且观察者816的眼睛趋向该深度平面的实施例中，将3D图像的所有内容投射到该深度平面上仅触发最小的辐辏-调节冲突。

在离散模式下操作允许VR/AR/MR系统在其硬件限制(例如，处理、显示、存储器、通信信道等)内运行时递送3D图像。然而，离散模式显示要求准确识别待照射的单个深度平面，同时最小化对系统资源的需求。在混合模式下操作的VR/AR/MR系统还可以通过将那些资源集中在对应于用户/观察者的焦点的深度平面上来减少对系统资源的需求。此外，用于混合模式显示的该资源节省方法要求准确识别用户/观察者的焦平面。

本文所描述的实施例包括用于各种VR/AR/MR系统的3D图像渲染和显示系统和方法。这些3D图像渲染和显示系统和方法识别对应于用户/观察者的焦点的深度平面，用于在离散模式和混合模式显示中使用，同时减少消耗的系统资源，从而解决许多上文所描述的问题。

下面的描述涉及可以实践各种3D图像渲染和显示系统的实施例的说明性VR、AR和/或MR系统。然而，应当理解，这些实施例还适用于其他类型的显示系统(包括其他类型的VR、AR和/或MR系统)中的应用，并且因此，实施例不仅限于本文所公开的说明性系统。

本文所公开的VR/AR/MR系统可包括向用户呈现计算机生成的图像(视频/图像数据)的显示器。在一些实施例中，显示系统是可佩戴的，其可以有利地提供更沉浸的VR/AR/MR体验。VR、AR和/或MR虚拟图像系统100的各种组件在图2至图5中描绘。虚拟图像生成系统100包括由终端用户50穿戴的框架结构102、由框架结构102承载的显示子系统110，使得显示子系统110位于终端用户50的眼睛前面，以及由框架结构102承载的扬声器106，使得扬声器106邻近终端用户50的耳道定位(可选地，另一个扬声器(未示出)邻近终端用户50的另一个耳道而定位以提供立体/可塑声音控制)。显示子系统110被设计为向终端用户50的眼睛呈现光图案，该光图案可以舒适地被感知为对物理现实的增强，具有高水平的图像质量和三维感知，以及能够呈现二维内容。显示子系统110以提供单个连贯场景的感知的高频呈现帧序列。

在所示的实施例中，显示子系统110采用“光学透视”显示器，通过该显示器，用户可以经由透明(或半透明)元件直接观看来自真实对象的光。透明元件，通常被称为“组合器”，将来自显示器的光叠加在用户的现实世界的视图上。为此目的，显示子系统110包括部分透明的显示器。

在一些实施例中，透明显示器可以是电子控制的。在一些实施例中，透明显示器可以包括分段调光以控制透明显示器的一个或多个部分的透明度。

在一些实施例中，透明显示器可以包括全局调光以控制整个透明显示器的透明度。显示器定位在终端用户50的眼睛与周围环境之间的终端用户50的视场中，使得来自周围环境的直接光通过显示器透射到终端用户50的眼睛。

在所示的实施例中，图像投射组件向部分透明的显示器提供光，从而与来自周围环境的直接光组合，并且从显示器透射到用户50的眼睛。投射子系统可以是基于光纤扫描的投射设备，并且显示器可以是基于波导的显示器，来自投射子系统的扫描光被注入其中以产生，例如，比无限远更近的单个光学观察距离处的图像(例如，手臂的长度)、多个离散光学观察距离或焦平面处的图像，和/或堆叠在多个观察距离或焦平面处的图像层以表示体积3D对象。光场中的这些层可以足够紧密地堆叠在一起，以使人类视觉系统看起来是连续的(即，一层在相邻层的混淆锥之内)。附加地或者替代地，图片元素(即，子图像)可以跨两个或两个以上层混合，以增加光场中的层之间的过渡的感知连续性，即使这些层更稀疏地堆叠(即，一层在相邻层的混淆锥之外)。显示子系统110可以是单目或双目。虽然图像投射系统可能能够生成混合模式，但是系统限制(例如，功率、热量、速度等)可能将图像投射系统限制为具有每帧单个观察距离的离散模式。

虚拟图像生成系统100还可包括安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和运动和/或终端用户50的眼睛位置和眼间距。这样的传感器可包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速计、罗盘、GPS单元、无线电设备和/或陀螺仪)。这些传感器中的许多传感器在其所固定的框架102进而基本上固定到用户的头部、眼睛和耳朵的假设下操作。虚拟图像生成系统100还可包括一个或多个面向用户的相机以跟踪用户的眼睛。

虚拟图像生成系统100还可包括用户取向检测模块。用户取向模块检测终端用户50的头部54的瞬时位置(例如，经由耦接到框架102的传感器)并且可以基于从传感器接收的位置数据来预测终端用户50的头部54的位置。检测终端用户50的头部54的瞬时位置促进确定最终用户50正在注视的具体实际对象，从而提供与该实际对象相关的待生成的具体虚拟对象的指示，并且进一步提供显示虚拟对象的位置的指示。用户取向模块还可以基于从传感器接收的跟踪数据来跟踪终端用户50的眼睛。

虚拟图像生成系统100还可包括可以采用各种形式中的任何一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其他集成电路控制器，诸如专用集成电路(ASIC)、显示桥芯片、显示控制器、可编程门阵列(PGA)，例如现场PGA(FPGA)，和/或可编程逻辑控制器(PLU)。

虚拟图像生成系统100的控制子系统可包括中央处理单元(CPU)、图形处理单元(GPU)、一个或多个帧缓冲器以及用于存储三维场景数据的三维数据库。CPU可以控制总体操作，而GPU可以从存储在三维数据库中的三维数据渲染帧(即将三维场景转换为二维图像)并且将这些帧存储在帧缓冲器中。一个或多个附加集成电路可以控制从帧缓冲器读取和/或读出帧以及显示子系统110的图像投射组件的操作。

虚拟图像生成系统100的各种处理组件可以物理地包含在分布式子系统中。例如，如图2至图5所示，虚拟图像生成系统100可包括本地处理和数据模块130，本地处理和数据模块130诸如通过有线引线或无线连接136可操作地耦接到本地显示桥142、显示子系统110和传感器。本地处理和数据模块130可以安装在多种配置中，诸如固定附接到框架结构102(图2)，固定附接到头盔或帽子56(图3)，可移除地附接到终端用户50的躯干58(图4)，或可移除地附接到终端用户50的臀部60，以带耦接方式的配置(图5)。虚拟图像生成系统100还可包括远程处理模块132和远程数据存储库134，远程处理模块132和远程数据存储库134诸如通过有线引线或无线连接138、140可操作地耦接到本地处理和数据模块130以及本地显示桥142，使得这些远程模块132、134可操作地彼此耦接，并且作为资源可用于本地处理和数据模块130和本地显示桥142。

本地处理和数据模块130和本地显示桥142可以各自包括功率高效的处理器或控制器，以及数字存储器，诸如闪存，其二者可以用于辅助从传感器捕获和/或使用远程处理模块132和/或远程数据存储库134获得和/或处理的数据的处理、高缓存和存储，可能用于在这样的处理或取得之后传送到显示子系统110。远程处理模块132可包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据存储库134可以包括相对大规模数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其他网络配置获得。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块130和本地显示桥142中执行，这允许来自任何远程模块的完全自主使用。

上文所描述的各种组件之间的耦接136、138、140可包括用于提供有线或光通信的一个或多个有线接口或端口，或用于提供无线通信的一个或多个无线接口或端口，诸如经由RF、微波和IR。在一些实施方式中，所有通信可以是有线的，而在其他实施方式中，所有通信可以是无线的。在更进一步的实施方式中，有线和无线通信的选择可以不同于图2至图5中所示的选择。因此，对有线或无线通信的特定选择不应被认为是限制性的。

在一些实施例中，用户取向模块包含在本地处理和数据模块130和/或本地显示桥142中，而CPU和GPU包含在远程处理模块中。在可替代实施例中，CPU、GPU或其部分可以包含在本地处理和数据模块130和/或本地显示桥142中。3D数据库可以与远程数据存储库134相关联或本地设置。

一些VR、AR和/或MR系统使用嵌入有深度平面信息的多个体积相位全息图、表面起伏全息图或光导光学元件来生成看起来源自相应深度平面的图像。换句话说，衍射图案或衍射光学元件(DOE)可嵌入在光导光学元件(LOE；例如，平面波导)内或压印/压纹在光导光学元件(LOE；例如平面波导)上，使得由于准直光(具有基本上平面波前的光束)基本上沿着LOE完全内反射，因此它在多个位置处与衍射图案相交并朝向用户的眼睛出射。DOE被配置为使得从LOE中出射的光被边缘化，使得它们看起来源自特定深度平面。准直光可以使用光学聚光透镜(“聚光器”)生成。

例如，第一LOE可以被配置为将准直光递送到眼睛，该准直光看起来源自光学无限远深度平面(0屈光度)。另一LOE可以被配置为递送看起来源自2米(1/2屈光度)距离的准直光。又一LOE可以被配置为递送看起来源自1米(1屈光度)距离的准直光。通过使用堆叠的LOE组件，可以理解可以创建多个深度平面，其中每个LOE被配置为显示看起来源自特定深度平面的图像。应当理解，堆叠可包括任何数量的LOE。然而，要求至少N个堆叠的LOE来生成N个深度平面。进一步地，N、2N或3N个堆叠LOE可用于在N个深度平面处生成RGB彩色图像。

为了向用户呈现3D虚拟内容，VR、AR和/或MR系统将虚拟内容的图像投射到用户的眼睛中，使得它们看起来以混合或离散模式源自Z方向上的各种深度平面(即，正交地远离用户的眼睛)。换句话说，虚拟内容不仅可以在X和Y方向上(即，在与用户眼睛的中心视轴正交的2D平面中)改变，而且可以看起来在Z方向上改变，使得用户可以感觉到对象非常近，或者在无限距离处，或者在两者之间的任何距离处。在其他实施例中，用户可以在不同的深度平面处同时感知多个对象。例如，用户可能同时看到远离用户3米的距离处的虚拟鸟和距用户一臂长度(约1米)的虚拟咖啡杯。可替代地，用户可能看到一条虚拟龙从无限远处出现并向用户跑去。

多平面聚焦系统通过以混合或离散模式将图像投射在位于Z方向上距用户眼睛的相应固定距离的多个深度平面中的一些或全部上，创建可变深度的感知。现在参考图6，应当理解，多平面聚焦系统可以在固定深度平面150(例如，图6中所示的六个深度平面150)处显示帧。尽管MR系统可包括任何数量的深度平面150，但是一个示例性多平面聚焦系统在Z方向上具有六个固定深度平面150。在生成虚拟内容时，六个深度平面150中的一个或多个，创建3D感知，使得用户在距用户眼睛的不同距离处感知一个或多个虚拟对象。考虑到人眼对距离较近的对象比看起来很远的对象更敏感，更靠近眼睛生成更多深度平面150，如图6所示。在其他实施例中，深度平面150可以彼此等距放置。

深度平面位置150可以以屈光度测量，屈光度是等于以米测量的焦距的倒数的屈光力单位。例如，在一些实施例中，深度平面DP1可以在1/3屈光度之外，深度平面DP2可以在0.3屈光度之外，深度平面DP3可以在0.2屈光度之外，深度平面DP4可以在0.15屈光度之外，深度平面DP5可以在0.1屈光度之外，以及深度平面DP6可以表示无限远(即，0屈光度之外)。应当理解，其他实施例可以在其他距离/屈光度处生成深度平面150。因此，在战略性放置的深度平面150处生成虚拟内容时，用户能够在三个维度上感知虚拟对象。例如，当显示在深度平面DP1中时，用户可能将第一虚拟对象感知为靠近他，而另一虚拟对象出现在深度平面DP6处的无限远处。可替代地，可以首先在深度平面DP6处显示虚拟对象，然后在深度平面DP5处显示虚拟对象等等，直到虚拟对象看起来非常靠近用户。应当理解，出于说明性目的，以上示例被显著简化。在另一实施例中，所有六个深度平面可以集中在远离用户的特定焦距上。例如，如果待显示的虚拟内容是距离用户半米远的咖啡杯，则可以在咖啡杯的不同剖面处生成所有六个深度平面，从而为用户给出咖啡杯的高度颗粒化3D视图。

在一些实施例中，VR、AR和/或MR系统可以作为多平面聚焦系统工作。换句话说，所有六个LOE几乎可以同时被照射，使得快速连续生成看起来源自六个固定深度平面的图像，其中光源将图像信息快速传送到LOE 1，然后是LOE 2，然后是LOE 3等等。例如，可以在时间1处注入期望图像的一部分，包括光学无限远的天空图像，并且可以利用保持光的准直的LOE(例如，来自图6的深度平面DP6)。然后，可以在时间2处注入较近树枝的图像，并且可以使用被配置为创建看起来源自10米之外的深度平面10(例如，来自图6的深度平面DP5)的图像的LOE；然后，可以在时间3处注入笔的图像，并且可以使用被配置为创建看起来源自1米之外的深度平面1的图像的LOE。这种类型的范例可以以快速的时间顺序方式重复，使得用户的眼睛和大脑(例如，视觉皮层)将输入感知为同一图像的所有部分。

在混合模式下，这样的多平面聚焦系统在显示和处理器速度方面具有系统要求，这在便携式VR、AR和/或MR系统中可能无法实现。为了克服这些系统限制，混合模式系统可以更清楚地显示邻近用户/观察者的焦深的图像，同时在显示和处理器速度方面以较低成本不太清楚地显示其他图像。在离散模式下，这样的多平面聚焦系统可以将所有3D图像内容投射到对应于用户/观察者焦点的单个深度平面，而不管光学深度如何。然而，所有离散模式显示系统要求识别用户/观察者的焦深。

VR、AR和/或MR系统可以投射看起来源自沿着Z轴(即，深度平面)的各种位置的图像(即，通过发散或会聚光束)以生成用于3D体验/场景的图像。如在本申请中使用的，光束包括但不限于从光源辐射的光能(包括可见光和不可见光能)的定向投射。生成看起来源自各种深度平面的图像符合用户眼睛对该图像的辐辏和调节，并且最小化或消除辐辏-调节冲突。

现在参考图7，示出了AR或MR系统700(在下文中称为“系统700”)的示例性实施例。系统700使用堆叠的光导光学元件(在下文中称为“LOE790”)。系统700通常包括一个或多个图像生成处理器710、一个或多个光源720、一个或多个控制器/显示桥(DB)730、一个或多个空间光调制器(SLM)740，以及一组或多组用作多平面聚焦系统的堆叠LOE 790。系统700还可包括眼睛跟踪子系统750。

图像生成处理器710被配置为生成待显示给用户的虚拟内容。图像生成处理器710可以将与虚拟内容相关联的图像或视频转换为可以以3D形式投射给用户的格式。例如，在生成3D内容时，可能需要对虚拟内容进行格式化，使得特定图像的部分显示在特定深度平面处，而其他部分显示在其他深度平面处。在一个实施例中，可以在特定深度平面处生成所有图像。在另一实施例中，图像生成处理器710可以被编程为向右眼和左眼提供稍微不同的图像，使得当一起观看时，虚拟内容对用户的眼睛来说显得连贯且舒适。

图像生成处理器710还可包括存储器712、GPU 714、CPU 716以及用于图像生成和处理的其他电路。图像生成处理器710可以被编程有待呈现给系统700的用户的期望的虚拟内容。应当理解，在一些实施例中，图像生成处理器710可以安置在系统700中。在其他实施例中，图像生成处理器710和其他电路可以安置在耦接到系统700的腰带(belt pack)中。在一些实施例中，图像生成处理器710或其一个或多个组件可以是本地处理和数据模块(例如，本地处理和数据模块130)的一部分。如上文所提到的，本地处理和数据模块130可以安装在多种配置中，诸如固定附接到框架结构102(图2)，固定附接到头盔或帽子56(图3)，可移除地附接到终端用户50的躯干58(图4)，或可移除地附接到终端用户50的臀部60，以带耦接方式的配置(图5)。

图像生成处理器710可操作地耦接到投射与期望的虚拟内容相关联的光的光源720和一个或多个空间光调制器740。光源720紧凑并且具有高分辨率。光源720可操作地耦接到控制器/DB 730。光源720可包括以各种几何配置布置的特定颜色的LED和激光器。可替代地，光源720可包括类似颜色的LED或激光器，每个LED或激光器连接到显示器的视场的特定区域。在另一实施例中，光源720可包括广域发射器，诸如具有用于分割发射区域和位置的掩模覆盖的白炽灯或荧光灯。尽管光源720在图2B中直接连接到系统700，但是光源720可以经由光纤(未示出)连接到系统700。系统700还可包括被配置为对来自光源720的光进行准直的聚光器(未示出)。

在各种示例性实施例中，SLM 740可以是反射的(例如，LCOS、FLCOS、DLP DMD或MEMS镜系统)、透射的(例如，LCD)或发射的(例如，FSD或OLED)。可以选择SLM 740的类型(例如，速度、尺寸等)以改进3D感知的创建。虽然以较高刷新率操作的DLP DMD可以容易地合并到固定系统700中，但是可穿戴系统700可以使用更小尺寸和功率的DLP。DLP的功率改变了如何创建3D深度平面/焦平面。图像生成处理器710可操作地耦接到SLM 740，SLM 740用期望的虚拟内容对来自光源720的光进行编码。来自光源720的光可以在其从SLM 740反射、发射或穿过SLM 740时与图像信息一起编码。

来自SLM 740的光被引导到LOE 790，使得由SLM 740用用于一个深度平面和/或颜色的图像数据而编码的光束沿着单个LOE 790有效地传播以递送到用户的眼睛。每个LOE790被配置为将看起来源自期望深度平面或FOV角位置的图像或子图像投射到用户的视网膜上。光源720和LOE790因此可以选择性地投射看起来源自各种深度平面或空间位置的图像(在控制器/DB 730的控制下由SLM 740同步编码)。通过使用光源720和LOE 790中的每一个以足够高的帧速率(例如，以60Hz的有效全体积帧速率对六个深度平面的360Hz)顺序投射图像，系统700可以在看起来同时存在于3D图像中的各种深度平面处生成虚拟对象的3D图像。

控制器/DB 730与图像生成处理器710、光源720和SLM 740通信并且可操作地耦接到图像生成处理器710、光源720和SLM 740，以通过指示SLM 740利用来自图像生成处理器710的适当图像信息对来自光源720的光束进行编码来协调图像的同步显示。虽然系统包括图像生成处理器710，但是在一些实施例中，控制器/DB 730还可以执行至少一些图像生成过程，包括例如存储器712、GPU 714和/或CPU 716的过程。在一些实施例中，控制器/DB 730可包括图像生成处理器710中所示的一个或多个组件，诸如，例如，存储器712、GPU 714和/或CPU 716。

系统700还可包括眼睛跟踪子系统750，该子系统被配置为跟踪用户的眼睛以确定用户的辐辏点和用户每只眼睛的方向。眼睛跟踪子系统750还可以被配置为识别对应于用户/观察者的焦点的深度平面，以便更有效地生成图像和/或以离散模式显示图像(例如，使用用户的辐辏点和/或用户每只眼睛的方向)。在一个实施例中，系统700被配置为基于来自眼睛跟踪子系统750的输入以离散模式照射LOE 790的子集，使得图像在与用户的焦点重合的期望深度平面处生成，如图9A和9B所示。例如，如果用户的焦点在无限远处(例如，用户的眼睛彼此平行，以及下文所描述的其他因素)，则系统700可以照射LOE 790，该LOE 790被配置为向用户的眼睛递送准直光，使得图像看起来源自光学无限远。在另一示例中，如果眼睛跟踪子系统750确定用户的焦点在1米之外，则被配置为约聚焦在该范围内的LOE 790可以相反被照射。在以混合模式同时(或几乎同时)照射近似整个深度范围的深度平面的实施例中，眼睛跟踪子系统750仍然可以通过识别用户的焦点来使能更有效的图像渲染。

图12A描绘了离散模式显示，其中近立方体810、远立方体812和圆柱体814投射到近深度平面0上，响应于跟踪观察者816到近立方体810的焦点，近立方体810与近深度平面0相邻。投射到近深度平面0导致观察者调节到近深度平面0，即使对于远立方体812和圆柱体814，它们比近深度平面0更靠近远深度平面1。为了在离散模式下操作，系统必须识别或获得对应于观察者816的焦点的深度平面(“焦平面”)。

图13和图14描绘了系统，并且图16描绘了用于确定观察者816的焦平面的方法。在步骤1612(参见图16)处，显示系统(例如，其眼睛跟踪子系统)跟踪观察者816的注视路径1350(参见图13和图14)。显示系统可以使用眼睛跟踪子系统(上文所描述的)来跟踪注视路径1350。在一些实施例中，显示系统跟踪一个或多个注视路径。例如，显示系统可以跟踪针对观察者816的仅左眼、仅右眼或双眼的注视路径。在步骤1614处，显示系统分析3D图像数据以识别沿着观察者816的注视路径的一个或多个虚拟对象。分析3D图像数据以识别沿着观察者816的注视路径的一个或多个虚拟对象可包括分析对应于3D数据的深度分割数据。如果存在仅一个与如在步骤1616处确定的观察者816的注视路径相交的虚拟对象，则在步骤1618处，显示系统将相交的虚拟对象在交点处的深度识别为观察者816的焦平面的深度。

特别地，图13和图14示出了观察者816的注视路径1350仅与近立方体810相交。图14示出了近立方体810具有1410的深度，远立方体812具有1412的深度，以及圆柱体814具有1414的深度。图14还示出了系统能够在一个或多个深度1408处投射图像。因为系统已经确定近立方体810是与观察者816的注视路径1305相交的仅有虚拟对象，所以系统将近立方体810的深度1410识别为观察者816的焦平面的深度。虽然不必要，但是当虚拟对象810、812、814已经被显示给观察者816时，用于确定观察者816的焦平面的该系统和方法更准确。在这样的实施例中，观察者816的注视路径1350指示观察者816可能聚焦于特定虚拟对象(例如，立方体810附近)。

在观察者的注视路径与多于一个虚拟对象相交的实施例中(即，在步骤1616处的“否”)，显示系统可以在步骤1620至1626处沿着可选方法进行。在步骤1620处，显示系统跟踪观察者的第二注视路径。在一些实施例中，第一注视路径与用户的第一眼睛相关联，以及第二注视路径与用户的第二眼睛相关联。在步骤1622处，显示系统分析3D图像数据以识别沿着观察者的第二注视路径的一个或多个虚拟对象。如果存在仅一个与如在步骤1624处确定的观察者的注视路径和第二注视路径相交的虚拟对象，则在步骤1626处，显示系统将相交的虚拟对象的深度识别为观察者的焦平面的深度。

在一些实施例中，显示系统可以使用眼睛跟踪子系统来确定观察者眼睛的辐辏点。然后，显示系统可以使用所确定的辐辏点来确认其对观察者的焦平面的深度的识别。

在离散显示模式实施例中，显示系统可以使用所识别的观察者的焦平面(例如，其深度)来显示对应于3D图像数据的虚拟对象。

图12B描绘了根据一些实施例的混合模式合成光场。在混合显示模式中，近和远立方体810、812和圆柱体814沿着系统的光轴(“Z轴”)被“虚拟投射”到邻近近和远立方体810、812和圆柱体814的相应位置的相应虚拟深度平面1210、1212、1214上。近和远立方体810、812和圆柱体814仅被虚拟投射，因为仅近和远深度平面0、1被实际照射。如上文所描述的，虚拟深度平面1210、1212、1214上的虚拟投射是通过投射到近和远深度平面0、1上的子图像的缩放混合来模拟的。要在虚拟深度平面1210、1212、1214中的每一个处投射的2D图像的渲染可以包括其中的对象的混合。

尽管在混合显示模式下显示对象不需要识别观察者的焦平面(例如其深度)，但是识别观察者的焦平面并允许混合模式显示系统在其硬件限制(处理、显示器、存储器、通信信道等)内操作。特别地，并且如果观察者的焦平面允许混合模式显示系统有效地分配系统资源用于在观察者的焦平面中显示虚拟对象。

对于混合显示模式系统，该方法可以被简化，因为取代分析3D数据以识别沿着观察者816的注视路径的一个或多个虚拟对象，显示系统可以仅分析混合模式显示的2D图像帧，以识别沿着观察者816的注视路径的一个或多个虚拟对象。这允许显示系统分析更少的数据，从而增加系统效率并减少系统资源需求。

上述实施例包括用于确定用户/观察者焦点的深度的各种不同方法。确定用户/观察者的焦深允许显示系统在该焦深处以离散显示模式投射对象，从而减少对显示系统的需求。这样的减少的需求包括显示器和处理器速度、功率和热发生。确定用户/观察者的焦深还允许显示系统在混合显示模式下投射对象，同时将系统资源分配给用户/观察者焦平面上的图像。进一步地，上文所描述的用户/观察者焦平面确定步骤比其他焦平面确定技术更有效，并且在速度、功率和热发生方面改进了系统性能。

图17是适合于实现本公开的实施例的说明性计算系统1700的框图。计算机系统1700包括总线1706或用于传递信息的其他通信机构，其互连子系统和设备，诸如处理器1707、系统存储器1708(例如RAM)、静态存储设备1709(例如ROM)、磁盘驱动器1710(例如磁性或光学)、通信接口1714(例如调制解调器或以太网卡)、显示器1711(例如CRT或LCD)、输入设备1712(例如键盘)和光标控制。

根据本公开的一个实施例，计算机系统1700通过处理器1707执行包含在系统存储器1708中的一个或多个指令的一个或多个序列来执行特定操作。这样的指令可以从另一计算机可读/可用介质(例如静态存储设备1709或磁盘驱动器1710)读取到系统存储器1708中。在可替代实施例中，硬连线电路可以代替或者组合软件指令使用来实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应意指用于实现本公开的全部或部分的软件或硬件的任何组合。

如本文所使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1707提供指令用于执行的任何介质。这样的介质可以采取多种形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光学或者磁盘，诸如磁盘驱动器1710。易失性介质包括动态存储器，诸如系统存储器1708。

计算机可读介质的常见形式包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔的图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如，NAND闪存、NOR闪存)、任何其他存储器芯片或磁带盒、或计算机可以从其读取的任何其他介质。

在本公开的实施例中，实践本公开的指令序列的执行由单个计算机系统1700执行。根据本公开的其他实施例，通过通信链路1715(例如，LAN、PTSN或无线网络)耦接的两个或两个以上计算机系统1700可以相互协调地执行实践本公开所需的指令序列。

计算机系统1700可以通过通信链路1715和通信接口1714发送和接收消息、数据和指令，包括程序，即应用代码。接收到的程序代码可以当其被接收时由处理器1707执行，和/或被存储在磁盘驱动器1710或其他非易失性存储装置中用于稍后执行。存储介质1731中的数据库1732可用于存储可由系统1700经由数据接口1733访问的数据。

虽然上文所描述的混合模式实施例包括两个深度平面(例如，近和远深度平面)，但是其他实施例可包括多于两个深度平面。增加深度平面的数量增加模拟虚拟深度平面的保真度。然而，该保真度的增加由硬件和处理需求的增加抵消，这可能超过当前便携式3D渲染和显示系统中可用的资源。

本文已经描述了本公开的某些方面、优点和特征。应理解到，所有这样的优点不必可以根据本公开的任何特定实施例实现。因此，本公开可以以实现或优化如本文中教导的一个优点或优点组的方式实现或执行而不必实现如本文中可以教导或建议的其他优点。

已经结合附图描述实施例。然而，应当理解，附图不按比例绘制。距离、角度等仅是说明性的，并且不一定与所示设备的实际维度和布局具有确切的关系。另外，上述实施例已经在细节层次上描述以允许本领域普通技术人员制造和使用本文所描述的设备、系统、方法等。各种各样的变化是可能的。可以改变、添加、移除或重新排列组件、元件和/或步骤。

本文所描述的设备和方法可以有利地至少部分地使用例如计算机软件、硬件、固件或软件、硬件和固件的任何组合来实现。软件模块可包括存储在计算机存储器中的计算机可执行代码，用于执行本文所描述的功能。在一些实施例中，计算机可执行代码由一个或多个通用计算机执行。然而，本领域技术人员将理解到，根据本公开，可以使用要在通用计算机上执行的软件来实现的任何模块也可以使用硬件、软件或固件的不同组合来实现。例如，这样的模块可以使用集成电路的组合完全在硬件中实现。替代地或附加地，这样的模块可以完全或部分地使用被设计为执行本文所描述的特定功能的专用计算机而不是通过通用计算机来实现。另外，在描述了至少部分由计算机软件执行或可以至少部分由计算机软件执行的方法的情况下，应当理解，可以在非暂态计算机可读介质上提供这样的方法，这些非暂态计算机可读介质当由计算机或其他处理设备读取时，使得其执行该方法。

虽然已经明确描述了某些实施例，但是基于本公开，其他实施例对于本领域普通技术人员将变得显而易见。

本文所描述的各种处理器和其他电子组件适合于与用于投射光的任何光学系统一起使用。本文所描述的各种处理器和其他电子组件也适合于与用于接收语音命令的任何音频系统一起使用。

本文描述了本公开的各种示例性实施例。以非限制性的意义对这些示例进行参考。它们被提供以示出本公开的更宽的适用方面。可以对所描述的本公开做出各种改变并且可以代替等效物而不脱离本公开的真实精神和范围。另外，可以做出许多修改以将特定情况、材料、物质的组成、过程、(一个或多个)过程动作或(一个或多个)步骤适于本公开的(一个或多个)目的、精神或范围。而且，如由本领域的技术人员将理解到的，本文中所描述和所示出的每个单独变型具有可以容易地与其他数个实施例中的任一个的特征分离或者组合的分立部件和特征，而不脱离本公开的范围或精神。所有这样的修改旨在在与本公开相关联的权利要求的范围内。

本公开包括可以使用主题设备执行的方法。方法可以包括提供这样的适合的设备的动作。这样的提供可以由终端用户执行。换句话说，“提供”动作仅要求终端用户获得、访问、接近、定位、设定、激活、加电或其他动作来提供本方法中的必要设备。本文中记载的方法可以以记载事件的逻辑上可能的任何次序以及以事件的记载次序执行。

上文已经阐述了本公开的示例性方面连同关于材料选择和制造的细节。至于本公开的其他细节，这些可以结合上文提到的专利和公开以及通常由本领域的技术人员已知或者理解的来理解。就如通常或者逻辑上使用的附加动作而言，相对于本公开的基于方法的方面可以同样适用。

另外，虽然已经参考可选地包含各种特征的数个示例描述了本公开，但是本公开将不限于如相对于本公开的每个变型预期的描述或指示的发明。可以对所描述的本公开做出各种改变并且可以代替等效物(无论是记载在本文中还是出于某种简洁的缘故未包括)，而不脱离本公开的真实精神和范围。另外，在提供值的范围的情况下，应当理解，该范围的上限与下限之间的每个中间值和该声称的范围中的任何其他声称的值或中间值涵盖在本公开中。

而且，应预期到，可以独立地或者与本文所描述的特征中的任何一个或多个组合来阐述并且要求保护所描述的变型的任何可选特征。对于单数项的引用包括存在多个相同项的可能性。更特别地，如在本文和与其相关联的权利要求中所使用的，除非特别另外说明，否则单数形式“一”、“一个”、“所述”和“该”包括复数指示物。换句话说，冠词的使用允许以上描述以及与本公开相关联的权利要求中的主题项中的“至少一个”。还应注意到，这样的权利要求可以被撰写为排除任何可选元素。如此，该语句旨在用作用于结合权利要求元素的记载来使用如“仅仅”、“仅”等这样的专用术语或者使用“否定”限制的先行基础。

在不使用这样的专用术语的情况下，与本公开相关联的权利要求中的术语“包括”应当允许包括任何附加元素—而不管给定数目的元素是否被列举在这样的权利要求中，或者特征的添加可以被认为是转换这样的权利要求中阐述的元素的性质。除了如本文特别定义之外，本文中使用的所有技术和科学术语将被给定为尽可能宽的通常理解的意义，同时维持权利要求有效性。

本公开的宽度将不限于所提供的示例和/或本说明书，而是相反仅通过与本公开相关联的权利要求语言的范围来限定。

在前述说明书中，本公开已经参考其特定实施例描述。然而，将明显的是，在本公开的较宽精神和范围的情况下，可以对其做出各种修改和改变。例如，参考过程动作的特定顺序来描述上文所描述的过程流程。然而，许多所描述的过程动作的顺序可以改变而不影响本公开的范围或操作。因此，说明书和附图将被认为是说明性而非限制性意义。