混合现实乐器

本申请是国际申请号为PCT/US2019/018366、国际申请日为2019年02月15日、中国国家申请号为201980012935.2、标题为“混合现实乐器”的专利申请的分案申请。

技术领域

本申请要求于2018年2月15日提交的美国临时专利申请号62/631,405的在35U.S.C.§119(e)下的权益，其内容通过引用以其整体加以合并。

本公开大体涉及用于呈现音频信号的系统和方法，并且特别地涉及用于呈现对应于混合现实环境中的乐器的音频信号的系统和方法。

背景技术

虚拟环境在计算环境中是普遍存在的，发现用于视频游戏(其中，虚拟环境可表示游戏世界)；地图(其中，虚拟环境可表示待导航的地形)；模拟(其中，虚拟环境可模拟真实环境)；数字讲故事(其中，虚拟角色可在虚拟环境中彼此交互)；和许多其他应用。现代计算机用户通常舒适感知虚拟环境并且与虚拟环境交互。然而，关于虚拟环境的用户体验可能受限于用于呈现虚拟环境的技术。例如，常规显示器(例如，2D显示屏)和音频系统(例如，固定扬声器)可能不能够以产生令人信服、现实并且沉浸式体验的方式实现虚拟环境。

虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)、和相关技术(统称为“XR”)共享向XR系统的用户呈现对应于由计算机系统中的数据表示的虚拟环境的感觉信息的能力。本公开预期了VR、AR和MR系统之间的区别(尽管在一方面中(例如，视觉方面)一些系统可被分类为VR，并且同时在另一方面中(例如，音频方面)被分类为AR或MR))。如本文所使用的，VR系统呈现了在至少一个方面中替换用户的真实环境的虚拟环境；例如，VR系统可以向用户呈现虚拟环境的视图，而同时模糊他或她的真实环境的视图，诸如利用光阻头戴式显示器。类似地，VR系统可以向用户呈现对应于虚拟环境的音频，而同时阻挡(衰减)来自真实环境的音频。

VR系统可能经历由用虚拟环境替换用户的真实环境导致的各种缺点。一个缺点是当用户在虚拟环境中的视场不再对应于他或她的内耳的状态时可能出现的晕动病的感觉，他或她的内耳的状态检测真实环境(非虚拟环境)中的个人的平衡和取向。类似地，用户可能经历他们自己的身体和四肢(用户依赖于其身体和四肢的视图来在真实环境中感觉“触地(grounded)”)不直接可见的VR环境中的混乱取向。另一个缺点是置于VR系统上的计算负担(例如，存储、处理能力)，该VR系统必须呈现全3D虚拟环境，特别地在试图使用户沉浸在虚拟环境中的实时应用中。类似地，这样的环境可能需要达到非常高标准的真实性以被认为是沉浸式的，因为用户倾向于对虚拟环境中的甚至较小的不完美敏感—其中的任何一个可能破坏虚拟环境中的用户的沉浸感。进一步地，VR系统的另一个缺点在于，系统的这样的应用不能利用真实环境中的广泛的感觉数据，诸如人们在真实世界中体验的各种视觉和声音。相关缺点在于，VR系统可能努力创建多个用户可以交互的共享环境，因为共享真实环境中的物理空间的用户可能不能够在虚拟环境中直接看到彼此或彼此交互。

如本文所使用的，在至少一个方面中，AR系统呈现重叠或覆盖真实环境的虚拟环境。例如，AR系统可以向用户呈现覆盖在用户的真实环境的视图上的虚拟环境的视图，诸如利用呈现显示的图像同时允许光穿过显示器到用户的眼睛中的透射式头戴式显示器。类似地，AR系统可以向用户呈现对应于虚拟环境的音频，而同时在来自真实环境的音频中混合。类似地，如本文所使用的，如AR系统那样，MR系统在至少一个方面中呈现重叠或覆盖真实环境的虚拟环境，并且可以附加地在至少一个方面中允许MR系统中的虚拟环境可以与真实环境交互。例如，虚拟环境中的虚拟角色可以切换真实环境中的灯开关，使得真实环境中的对应的灯泡接通或关断。作为另一个示例，虚拟角色可以对真实环境中的音频信号作出反应(诸如用面部表情)。通过维持真实环境的呈现，AR和MR系统可以避免VR系统的前述缺点中的一些缺点；例如，用户的晕动病减少，因为来自真实环境(包括用户自己的身体)的视觉线索可以保持可见，并且这样的系统不需要向用户呈现完全实现3D环境以便是沉浸式的。进一步地，AR和MR系统可以利用真实世界感觉输入(例如，场景、对象和其他用户的视图和声音)来创建增强该输入的新应用。

XR系统可向用户提供与虚拟环境交互的各种方式；例如，XR系统可包括用于检测用户的位置和取向、面部表情、语音和其他特性的各种传感器(例如，相机、麦克风等)；并将该信息作为输入呈现给虚拟环境。一些XR系统可包含配备传感器的输入设备，诸如虚拟“木槌”、真实木槌、接触传感器、手指传感器等，并且可以被配置为检测输入设备的位置、取向或其他特性。

XR系统可通过将虚拟视觉和音频线索与真实视觉和声音组合来提供独特地强化的沉浸感和真实性。因此，在一些XR系统中，期望呈现增强、改进或更改对应的真实环境的虚拟环境。本公开涉及包含交互式虚拟声源(诸如乐器)的XR系统，该XR系统向用户呈现对应于真实环境中的真实对象与虚拟环境中的虚拟对象之间的交互的音频信号。

发明内容

本公开的示例描述了用于将音频信号呈现给混合现实环境的用户的系统和方法。在一个示例中，一种方法可识别混合现实环境中的第一真实对象和第二真实对象。该方法可生成对应于第二真实对象的虚拟对象。该方法然后可在混合现实环境中识别第一真实对象与虚拟对象之间的碰撞。该方法可确定与碰撞相关联的第一属性，并且基于第一属性，确定对应于碰撞的第一音频信号。该方法然后可经由一个或多个扬声器向用户呈现第一音频信号。

附图说明

图1A-1C示出了示例混合现实环境。

图2A-2D示出了可用于生成并且与混合现实环境交互的示例混合现实系统的组件。

图3A示出了可用于向混合现实环境提供输入的示例混合现实手持式控制器。

图3B示出了可与示例混合现实系统一起使用的示例辅助单元。

图4示出了用于示例混合现实系统的示例功能框图。

图5示出了用于创建包括混合现实系统中的真实对象的混合现实乐器的过程的示例流程图。

图6A示出了混合现实系统的用户的示例真实环境。

图6B示出了混合现实系统中的真实对象的示例视图。

图6C示出了对应于示例混合现实系统中的真实对象的示例虚拟对象。

图7示出了混合现实系统中的虚拟对象的参数的示例表示。

图8示出了混合现实环境的示例呈现。

图9示出了用于操作混合现实系统中的混合现实乐器的示例流程图。

图10A-10C示出了识别用于混合现实系统中的混合现实乐器的碰撞参数的示例。

具体实施方式

在以下示例的描述中，对附图进行参考，该附图形成以下示例的描述的一部分，并且在附图中，通过图示可以实践的具体示例的方式示出。应理解，在不脱离所公开的示例的范围的情况下，可以使用其他示例并且可以做出结构改变。

混合现实环境

像所有人一样，混合现实系统的用户存在于真实环境中—即，“真实世界”的三维部分和可由用户感知的其所有内容。例如，用户使用个人的普通人类感觉(视觉、声音、触觉、味道、气味)感知真实世界，并且通过在真实环境中移动个人自己的身体与真实环境交互。真实环境中的位置可被描述为坐标空间中的坐标；例如，坐标可包括纬度、经度和相对于海平面的海拔；在三个正交维度上距参考点的距离；或其他适合的值。同样地，矢量可描述具有坐标空间中的方向和幅度的数量。

计算设备可例如在与设备相关联的存储器中维持虚拟环境的表示。如本文所使用的，虚拟环境是三维空间的计算表示。虚拟环境可包括任何对象、动作、信号、参数、坐标、矢量、或与该空间相关联的其他特性的表示。在一些示例中，计算设备的电路(例如，处理器)可以维持和更新虚拟环境的状态；即，处理器可以在第一时间t0处基于与虚拟环境相关联的数据和/或由用户提供的输入来确定第二时间t1处的虚拟环境的状态。例如，如果虚拟环境中的对象在时间t0处位于第一坐标处，并且具有某个编程的物理参数(例如，质量、摩擦系数)；以及从用户接收的输入指示力应当以方向矢量施加到该对象；则处理器可应用运动学定律来使用基础力学确定时间t1处的对象的位置。处理器可以使用关于虚拟环境已知的任何适合的信息和/或任何适合的输入来确定时间t1处的虚拟环境的状态。在维持和更新虚拟环境的状态时，处理器可执行任何适合的软件，包括与虚拟环境中的虚拟对象的创建和删除有关的软件；用于定义虚拟环境中的虚拟对象或角色的行为的软件(例如，脚本)；用于定义虚拟环境中的信号(例如，音频信号)的行为的软件；用于创建和更新与虚拟环境相关联的参数的软件；用于生成虚拟环境中的音频信号的软件；用于处理输入和输出的软件；用于实现网络操作的软件；用于应用资产数据(例如，随时间移动虚拟对象的动画数据)的软件；或许多其他可能性。

输出设备(诸如显示器或者扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如，虚拟环境可以包括可以呈现给用户的虚拟对象(其可包括无生命对象；人；动物；光；等的表示)。处理器可以确定虚拟环境的视图(例如，对应于具有坐标原点、视图轴和视锥的“相机”)；以及向显示器渲染对应于该视图的虚拟环境的可视场景。出于该目的，可以使用任何适合的渲染技术。在一些示例中，可视场景可以仅包括虚拟环境中的一些虚拟对象，并且不包括某些其他虚拟对象。类似地，虚拟环境可包括可作为一个或多个音频信号呈现给用户的音频方面。例如，虚拟环境中的虚拟对象可生成源于对象的位置坐标的声音(例如，虚拟角色可以说话或引起声音效果)；或者虚拟环境可以与音乐线索或环境声音相关联，音乐线索可以与或可以不与特定位置相关联。处理器可确定对应于“听者”坐标的音频信号—例如，对应于虚拟环境中的声音的复合并且被混合和处理以模拟将由听者坐标处的听者听到的音频信号—并且经由一个或多个扬声器将音频信号呈现给用户。

由于虚拟环境仅作为计算结构存在，所以用户不能使用个人的普通感觉直接感知虚拟环境。相反，用户可以仅间接地感知如呈现给用户的虚拟环境，例如通过显示器、扬声器、触觉输出设备等。类似地，用户不能直接接触、操控、或以其他方式与虚拟环境交互；但是可以经由输入设备或传感器将输入数据提供给可使用设备或传感器数据更新虚拟环境的处理器。例如，相机传感器可提供指示用户正试图移动虚拟环境中的对象的光学数据，并且处理器可使用该数据使得对象在虚拟环境中相应地作出反应。

混合现实系统可以向用户呈现组合真实环境和虚拟环境的方面的混合现实环境(“MRE”)，例如使用透射式显示器和/或一个或多个扬声器(其可以例如包含在可穿戴头部设备中)。在一些实施例中，一个或多个扬声器可以在头戴式可穿戴单元的外部。如本文所使用的，MRE是真实环境和对应的虚拟环境的同时表示。在一些示例中，对应的真实环境和虚拟环境共享单个坐标空间；在一些示例中，真实坐标空间和对应的虚拟坐标空间通过变换矩阵(或其他适合的表示)彼此相关。因此，单个坐标(在一些示例中，连同变换矩阵一起)可以定义真实环境中的第一位置，以及虚拟环境中的第二对应位置；反之亦然。

在MRE中，虚拟对象(例如，在与MRE相关联的虚拟环境中)可以对应于真实对象(例如，在与MRE相关联的真实环境中)。例如，如果MRE的真实环境包括位置坐标处的真实灯杆(真实对象)，则MRE的虚拟环境可包括对应的位置坐标处的虚拟灯杆(虚拟对象)。如本文所使用的，真实对象组合其对应的虚拟对象一起构成“混合现实对象”。不需要虚拟对象与对应的真实对象完美匹配或者对准。在一些示例中，虚拟对象可以是对应的真实对象的简化版本。例如，如果真实环境包括真实灯杆，则对应的虚拟对象可以包括具有与真实灯杆粗略地相同的高度和半径的圆柱体(反映该灯杆可以在形状方面是粗略地圆柱形的)。以这种方式简化虚拟对象可以允许计算效率，并且可以简化将在这样的虚拟对象上执行的计算。进一步地，在MRE的一些示例中，真实环境中的并非所有真实对象可以与对应的虚拟对象相关联。同样地，在MRE的一些示例中，虚拟环境中的并非所有虚拟对象可以与对应的真实对象相关联。即，一些虚拟对象可以仅在MRE的虚拟环境中而没有任何现实世界配对物。

在一些示例中，虚拟对象可以具有与对应的真实对象的特性不同(有时彻底不同)的特性。例如，虽然MRE中的真实环境可以包括绿色双臂仙人掌—多刺无生命对象—MRE中的对应的虚拟对象可以具有带有人面特征和粗暴行为的绿色双臂虚拟角色的特性。在该示例中，虚拟对象在某些特性(颜色、臂数)方面类似其对应的真实对象；但是在其他特性(面部特征、个性)方面与真实对象不同。以这种方式，虚拟对象具有以创造性、抽象、夸大、或想象的方式表示真实对象的潜在性；或者向其他无生命真实对象给予行为(例如，人类个性化)。在一些示例中，虚拟对象可以是纯想象创造而没有现实世界配对物(例如，虚拟环境中的虚拟怪物，也许在对应于真实环境中的空白空间的位置处)。

与向用户呈现虚拟环境同时模糊真实环境的VR系统相比，呈现MRE的混合现实系统提供当虚拟环境被呈现时真实环境保持可感知的优点。因此，混合现实系统的用户能够使用与真实环境相关联的视觉和音频线索来体验对应的虚拟环境并且与对应的虚拟环境交互。作为示例，当VR系统的用户可能努力感知虚拟环境中显示的虚拟对象或与虚拟环境中显示的虚拟对象交互时—因为如上所述，用户不能直接感知虚拟环境或与虚拟环境交互—MR系统的用户可以通过看、听和触摸他或她自己的真实环境中的对应的真实对象来发现其与虚拟对象直观并且自然的交互。该交互性水平可以提高用户与虚拟环境沉浸、连接和接合的感觉。类似地，通过同时呈现真实环境和虚拟环境，混合现实系统可以减少与VR系统相关联的负面心理感觉(例如，认知失调)和负面身体感觉(例如，晕动病)。混合现实系统进一步为可以增强或更改我们的现实世界的体验的应用提供许多可能性。

图1A示出了用户110使用混合现实系统112的示例真实环境100。混合现实系统112可以包括显示器(例如，透射式显示器)和一个或多个扬声器，以及一个或多个传感器(例如，相机)，例如如下文所描述的。示出的真实环境100包括用户110站立的矩形房间104A；以及真实对象122A(灯)、124A(桌子)、126A(沙发)和128A(油画)。房间104A还包括位置坐标106，其可以被称为是真实环境100的原点。如图1A所示，具有其点106(世界坐标)处的原点的环境/世界坐标系108(包括x轴108X、y轴108Y和z轴108Z)可以定义用于真实环境100的坐标空间。在一些实施例中，环境/世界坐标系108的原点106可以对应于混合现实环境112供电的位置。在一些实施例中，环境/世界坐标系108的原点106可以在操作期间重置。在一些示例中，用户110可以被认为是真实环境100中的真实对象；类似地，用户110的身体部分(例如，手、脚)可以被认为是真实环境100中的真实对象。在一些示例中，具有点115(例如，用户/听者/头部坐标)处的其原点的用户/听者/头部坐标系114(包括x轴114X、y轴114Y和z轴114Z)可以定义针对混合现实系统112所位于的用户/听者/头部的坐标空间。用户/听者/头部坐标系114的原点115可以相对于混合现实系统112的一个或多个组件来定义。例如，用户/听者/头部坐标系114的原点115可以相对于混合现实系统112的显示器来定义，诸如在混合现实系统112的初始校准期间。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征用户/听者/头部坐标系114空间与环境/世界坐标系108空间之间的变换。在一些实施例中，左耳坐标116和右耳坐标117可以相对于用户/听者/头部坐标系114的原点115来定义。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或者其他适合的表示可以表征左耳坐标116和右耳坐标117与用户/听者/头部坐标系114空间之间的变换。用户/听者/头部坐标系114可以简化相对于用户的头部或头戴式设备的位置的表示，例如，相对于环境/世界坐标系108。使用同时定位和地图创建(SLAM)、视觉里程计或其他技术，用户坐标系114与环境坐标系108之间的变换可以实时确定和更新。

图1B示出了对应于真实环境100的示例虚拟环境130。示出的虚拟环境130包括对应于真实矩形房间104A的虚拟矩形房间104B；对应于真实对象122A的虚拟对象122B；对应于真实对象124A的虚拟对象124B；以及对应于真实对象126A的虚拟对象126B。与虚拟对象122B、124B、126B相关联的元数据可以包括从对应的真实对象122A、124A、126A导出的信息。虚拟环境130附加地包括虚拟怪物132，该虚拟怪物132不对应于真实环境100中的任何真实对象。真实环境100中的真实对象128A不对应于虚拟环境130中的任何虚拟对象。具有点134(持久坐标)处的其原点的持久坐标系133(包括x轴133X、y轴133Y和z轴133Z)可以定义用于虚拟内容的坐标空间。持久坐标系133的原点134可以相对于/关于一个或多个真实对象来定义，诸如真实对象126A。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征持久坐标系133空间与环境/世界坐标系108空间之间的变换。在一些实施例中，虚拟对象122B、124B、126B和132中的每个虚拟对象可以具有相对于持久坐标系133的原点134的其自己的持久坐标点。在一些实施例中，可以存在多个持久坐标系，并且虚拟对象122B、124B、126B和132中的每个虚拟对象可以具有相对于一个或多个持久坐标系的其自己的持久坐标点。

相对于图1A和图1B，环境/世界坐标系108定义用于真实环境100和虚拟环境130二者的共享坐标空间。在示出的示例中，坐标空间具有在点106处的其原点。进一步地，坐标空间由相同三个正交轴(108X、108Y、108Z)定义。因此，真实环境100中的第一位置和虚拟环境130中的第二对应位置可以相对于相同坐标空间来描述。这简化了识别和显示真实环境和虚拟环境中的对应的位置，因为相同坐标可以用于识别这两个位置。然而，在一些示例中，对应的真实环境和虚拟环境不需要使用共享坐标空间。例如，在一些示例中(未示出)，矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵)或其他适合的表示可以表征真实环境坐标空间与虚拟环境坐标空间之间的变换。

图1C示出了经由混合现实系统112将真实环境100和虚拟环境130的各方面同时呈现给用户的示例MRE 150。在示出的示例中，MRE 150同时向用户110呈现来自真实环境100的真实对象122A、124A、126A和128A(例如，经由混合现实系统112的显示器的透射部分)；以及来自虚拟环境130的虚拟对象122B、124B、126B和132(例如，经由混合现实系统112的显示器的有源显示部分)。如上文，原点106充当用于对应于MRE 150的坐标空间的原点，并且坐标系108定义用于坐标空间的x轴、y轴和z轴。

在示出的示例中，混合现实对象包括占用坐标空间108中的对应位置的对应的真实对象和虚拟对象对(即，122A/122B、124A/124B、126A/126B)。在一些示例中，真实对象和虚拟对象二者可以对用户110同时可见。这可能在例如虚拟对象呈现被设计为增强对应真实对象的视图的信息的实例中(诸如在虚拟对象呈现古代损坏雕塑的丢失件的博物馆应用中)是期望的。在一些示例中，可以显示虚拟对象(122B、124B和/或126B)(例如，经由使用像素化遮挡快门的有源像素化遮挡)以便遮挡对应的真实对象(122A、124A和/或126A)。这可能在例如虚拟对象充当用于对应的真实对象的视觉替换的实例中(诸如在无生命真实对象变为“活的”角色的交互式讲故事应用中)是期望的。

在一些示例中，真实对象(例如，122A、124A、126A)可以与可以不必构成虚拟对象的虚拟内容或辅助数据相关联。虚拟内容或辅助数据可以促进混合现实环境中的虚拟对象的处理或处置。例如，这样的虚拟内容可以包括以下各项的二维表示：对应的真实对象；与对应的真实对象相关联的定制资产类型；或与对应的真实对象相关联的统计数据。该信息可以使能或者促进涉及真实对象的计算而不引起不必要的计算开销。

在一些示例中，上文所描述的呈现还可以包含音频方面。例如，在MRE 150中，虚拟怪物132可以与一个或多个音频信号相关联，诸如当怪物在MRE 150周围到处走时生成的脚步声效果。如下文进一步描述的，混合现实系统112的处理器可以计算对应于MRE 150中的所有此类声音的混合和处理的复合的音频信号，并且经由包括在混合现实系统112中的一个或多个扬声器和/或一个或多个外部扬声器将音频信号呈现给用户110。

示例混合现实系统

示例混合现实系统112可以包括可穿戴头部设备(例如，可穿戴增强现实或混合现实头部设备)，其包括：显示器(其可以包括可以是近眼显示器的左和右透射式显示器，以及用于将来自显示器的光耦合到用户的眼睛的相关联的组件)；左和右扬声器(例如，其分别邻近用户的左耳和右耳定位)；惯性测量单元(IMU)(例如，其安装到头部设备的支撑臂)；正交线圈电磁接收器(例如，其安装到左支撑件)；远离用户取向的左和右相机(例如，深度(飞行时间)相机)；以及朝向用户取向的左和右眼相机(例如，用于检测用户的眼运动)。然而，混合现实系统112可以包含任何适合的显示技术，以及任何适合的传感器(例如，光学、红外、声学、LIDAR、EOG、GPS、磁的)。另外，混合现实系统112可以包含网络特征(例如，Wi-Fi能力)，以与其他设备和系统(包括其他混合现实系统)通信。混合现实系统112还可以包括电池(其可以安装在辅助单元中，诸如被设计为穿戴在用户的腰部周围的腰带包)、处理器和存储器。混合现实系统112的可穿戴头部设备可以包括跟踪组件，诸如IMU或其他适合的传感器，其被配置为输出可穿戴头部设备相对于用户的环境的一组坐标。在一些示例中，跟踪组件可以向执行同时定位和地图创建(SLAM)和/或视觉里程计算法的处理器提供输入。在一些示例中，混合现实系统112还可以包括手持式控制器300和/或辅助单元320，其可以是可穿戴腰带包，如下文进一步描述的。

图2A-2D示出了可以用于将MRE(其可以对应于MRE 150)或其他虚拟环境呈现给用户的示例混合现实系统200(其可以对应于混合现实系统112)的组件。图2A示出了在示例混合现实系统200中包括的可穿戴头部设备2102的透视图。图2B示出了在用户的头部2202上穿戴的可穿戴头部设备2102的俯视图。图2C示出了可穿戴头部设备2102的前视图。

图2D示出了可穿戴头部设备2102的示例目镜2110的边视图。如图2A-2C所示，示例可穿戴头部设备2102包括示例左目镜(例如，左透明波导集目镜)2108和示例右目镜(例如，右透明波导集目镜)2110。每个目镜2108和2110可以包括：透射元件，通过该透射元件，真实环境可以是可见的；以及显示元件，其用于呈现重叠真实环境的显示(例如，经由成影像调制光)。在一些示例中，这样的显示元件可以包括用于控制成影像调制光的流动的表面衍射光学元件。例如，左目镜2108可以包括左耦入光栅集2112、左正交光瞳扩展(OPE)光栅集2120和左出射(输出)光瞳扩展(EPE)光栅集2122。类似地，右目镜2110可以包括右耦入光栅集2118、右OPE光栅集2114和右EPE光栅集2116。成影像调制光可以经由耦入光栅2112和2118、OPE 2114和2120、和EPE 2116和2122传递到用户的眼睛。每个耦入光栅集2112、2118可以被配置为朝向其对应的OPE光栅集2120、2114偏转光。每个OPE光栅集2120、2114可以被设计为朝向其相关联的EPE 2122、2116向下递增地偏转光，从而水平延伸形成的出射光瞳。每个EPE 2122、2116可以被配置为将从其对应的OPE光栅集2120、2114接收的光的至少一部分向外递增地重引导到限定在目镜2108、2110后面的用户眼盒(eyebox)位置(未示出)，从而垂直延伸在眼盒处形成的出射光瞳。可替代地，代替耦入光栅集2112和2118、OPE光栅集2114和2120、和EPE光栅集2116和2122，目镜2108和2110可以包括用于控制将成影像调制光耦合到用户的眼睛的光栅和/或折射和反射特征的其他布置。

在一些示例中，可穿戴头部设备2102可以包括左边撑臂2130和右边撑臂2132，其中，左边撑臂2130包括左扬声器2134并且右边撑臂2132包括右扬声器2136。正交线圈电磁接收器2138可以定位在左边撑件中，或者在可穿戴头部单元2102中的另一适合的位置。惯性测量单元(IMU)2140可以定位在右边撑臂2132中，或者在可穿戴头部设备2102中的另一适合的位置。可穿戴头部设备2102还可以包括左深度(例如，飞行时间)相机2142和右深度相机2144。深度相机2142、2144可以在不同方向上合适地取向以便一起覆盖更宽的视场。

在图2A-2D中示出的示例中，左成影像调制光源2124可以通过左耦入光栅集2112光学耦合到左目镜2108中，并且右成影像调制光源2126可以通过右耦入光栅集2118光学耦合到右目镜2110中。成影像调制光源2124、2126可以包括例如光纤扫描器；包括电子光调制器的投影仪，诸如数字光处理(DLP)芯片或硅上液晶(LCoS)调制器；或发射显示器，诸如微发光二极管(μLED)或微有机发光二极管(μOLED)面板，其使用每侧一个或多个透镜耦合到耦入光栅集2112、2118中。输入耦合光栅集2112、2118可以将来自成影像调制光源2124、2126的光偏转到大于针对目镜2108、2110的全内反射(TIR)的临界角的角。OPE光栅集2114、2120朝向EPE光栅集2116、2122递增地偏转通过TIR传播的光。EPE光栅集2116、2122将光递增地耦向用户的面部，包括用户的眼睛的瞳孔。

在一些示例中，如图2D所示，左目镜2108和右目镜2110中的每一个包括多个波导2402。例如，每个目镜2108、2110可以包括多个单独波导，每个波导专用于相应的颜色通道(例如，红色、蓝色和绿色)。在一些示例中，每个目镜2108、2110可以包括多个这样的波导集，其中，每个集被配置为向发射光赋予不同的波前曲率。波前曲率可以相对于用户的眼睛是凸的，例如以呈现定位在用户的前面一定距离(例如，通过对应于波前曲率的倒数的距离)的虚拟对象。在一些示例中，EPE光栅集2116、2122可以包括弯曲光栅凹陷，以通过改变跨每个EPE的出射光的坡印廷(Poynting)矢量实现凸波前曲率。

在一些示例中，为了创建所显示的内容是三维的感知，立体调节的左和右眼影像可以通过成影像光调制器2124、2126和目镜2108、2110呈现给用户。三维虚拟对象的呈现的感知真实性可以通过选择波导(并且因此对应的波前曲率)增强，使得虚拟对象在近似由立体左和右图像指示的距离的距离处被显示。该技术还可以减少由一些用户经历的晕动病，晕动病可能由由立体左眼和右眼影像提供的深度感知线索与人眼的自动调节(例如，对象距离相关焦点)之间的差异引起。

图2D示出了从示例可穿戴头部设备2102的右目镜2110的顶部的面向边缘的视图。如图2D所示，多个波导2402可以包括三个波导2404的第一子集和三个波导2406的第二子集。波导2404、2406的两个子集可以通过以不同光栅线曲率为特征的不同EPE光栅来区分，以向出射光赋予不同波前曲率。在波导2404、2406的子集中的每一个内，每个波导可以用于将不同光谱通道(例如，红色、绿色和蓝色光谱通道之一)耦合到用户的右眼2206。(虽然未示出在图2D中，但是左目镜2108的结构类似于右目镜2110的结构。)

图3A示出了混合现实系统200的示例手持式控制器组件300。在一些示例中，手持式控制器300包括柄部346和沿着顶表面348设置的一个或多个按钮350。在一些示例中，按钮350可以被配置用作光学跟踪目标，例如，用于与相机或其他光学传感器(其可以安装在混合现实系统200的头部单元(例如，可穿戴头部设备2102)中)结合来跟踪手持式控制器300的六自由度(6DOF)运动。在一些示例中，手持式控制器300包括用于检测位置或取向(诸如相对于可穿戴头部设备2102的位置或取向)的跟踪组件(例如，IMU或其他适合的传感器)。在一些示例中，这样的跟踪组件可以定位在手持式控制器300的手柄中，和/或可以机械耦合到手持式控制器。手持式控制器300可以被配置为提供对应于按钮的按压状态中的一个或多个的一个或多个输出信号；或手持式控制器300的位置、取向和/或运动(例如，经由IMU)。这样的输出信号可以用作混合现实系统200的处理器的输入。这样的输入可以对应于手持式控制器的位置、取向和/或运动(例如，通过扩展，对应于握住控制器的用户的手的位置、取向和/或运动)。这样的输入还可以对应于按压按钮350的用户。

图3B示出了混合现实系统200的示例辅助单元320。辅助单元320可以包括向操作系统200提供能量的电池，并且可以包括用于执行程序以操作系统200的处理器。如所示，示例辅助单元320包括夹子2128，诸如用于将辅助单元320附接到用户的腰带。其他形状因子适合于辅助单元320并且将是明显的，包括不涉及将单元安装到用户的腰带的形状因子。在一些示例中，辅助单元320通过多导管电缆耦合到可穿戴头部设备2102，该多导管电缆可以包括例如电线和光纤。还可以使用辅助单元320与可穿戴头部设备2102之间的无线连接。

在一些示例中，混合现实系统200可以包括检测声音并且将对应的信号提供给混合现实系统的一个或多个麦克风。在一些示例中，麦克风可以附接到可穿戴头部设备2102或与其集成，并且可以被配置为检测用户的语音。在一些示例中，麦克风可以附接到手持式控制器300和/或辅助单元320或与其集成。这样的麦克风可以被配置为检测环境声音、环境噪声、用户或第三方的语音或其他声音。

图4示出了可以对应于示例混合现实系统的示例功能框图，诸如上文所描述的混合现实系统200(其可以对应于相对于图1的混合现实系统112)。如图4所示，示例手持式控制器400B(其可以对应于手持式控制器300(“图腾”))包括图腾到可穿戴头部设备六自由度(6DOF)图腾子系统404A，并且示例可穿戴头部设备400A(其可以对应于可穿戴头部设备2102)包括图腾到可穿戴头部设备6DOF子系统404B。在示例中，6DOF图腾子系统404A和6DOF子系统404B合作来确定手持式控制器400B相对于可穿戴头部设备400A的六个坐标(例如，在三个平移方向上的偏移和沿着三个轴的旋转)。六个自由度可以相对于可穿戴头部设备400A的坐标系表示。三个平移偏移可以表示为这样的坐标系中的X、Y和Z偏移、平移矩阵、或某种其他表示。旋转自由度可以表示为偏航、俯仰和滚动旋转的序列、旋转矩阵、四元数或某种其他表示。在一些示例中，可穿戴头部设备400A；包括在可穿戴头部设备400A中的一个或多个深度相机444(和/或一个或多个非深度相机)；和/或一个或多个光学目标(例如，如上文所描述的手持式控制器400B的按钮450，或包括在手持式控制器400B中的专用光学目标)可以用于6DOF跟踪。在一些示例中，如上文所描述的，手持式控制器400B可以包括相机；并且可穿戴头部设备400A可以包括用于结合相机进行光学跟踪的光学目标。在一些示例中，可穿戴头部设备400A和手持式控制器400B各自包括一组三个正交取向的螺线管，其用于无线发送和接收三个可区分的信号。通过测量用于接收的线圈中的每一个中接收的该三个可区分信号的相对幅度，可以确定可穿戴头部设备400A相对于手持式控制器400B的6DOF。此外，6DOF图腾子系统404A可以包括惯性测量单元(IMU)，该惯性测量单元(IMU)可用于提供关于手持式控制器400B的快速运动的改进的准确度和/或更及时的信息。

在一些示例中，可能变得需要将来自局部坐标空间(例如，相对于可穿戴头部设备400A固定的坐标空间)的坐标变换到惯性坐标空间(例如，相对于真实环境固定的坐标空间)，例如以便补偿可穿戴头部设备400A相对于坐标系108的运动。例如，这样的变换可能对于可穿戴头部设备400A的显示器进行以下内容是必需的：将虚拟对象呈现在相对于真实环境的期望位置和取向处(例如，坐在真实椅子中、面向前的虚拟人，而不管可穿戴头部设备的位置和取向)，而不是在显示器上的固定位置和取向处(例如，在显示器的右下角的相同位置处)，以保持虚拟对象存在于真实环境中的错觉(并且例如当可穿戴头部设备400A移动和旋转时不显得不自然地定位在真实环境中)。在一些示例中，坐标空间之间的补偿变换可以通过使用SLAM和/或视觉里程计程序处理来自深度相机444的影像确定，以便确定可穿戴头部设备400A相对于坐标系108的变换。在图4所示的示例中，深度相机444耦合到SLAM/视觉里程计块406并且可以向块406提供影像。SLAM/视觉里程计块406实施方式可以包括处理器，该处理器被配置为处理该影像并且确定用户的头部的位置和取向，其然后可以用于识别头部坐标空间与另一坐标空间(例如，惯性坐标空间)之间的变换。类似地，在一些示例中，从IMU 409获得关于用户的头部姿势和位置的信息的附加源。来自IMU 409的信息可以与来自SLAM/视觉里程计块406的信息集成以提供关于用户的头部姿势和位置的快速调节的经改进的准确度和/或更及时的信息。

在一些示例中，深度相机444可以将3D影像供应给手势跟踪器411，该手势跟踪器411可以在可穿戴头部设备400A的处理器中实施。手势跟踪器411可以识别用户的手势，例如通过将从深度相机444接收的3D影像与表示手势的存储的图案匹配。识别用户的手势的其他适合的技术将是明显的。

在一些示例中，一个或多个处理器416可以被配置为从可穿戴头部设备的6DOF头盔子系统404B、IMU 409、SLAM/视觉里程计块406、深度相机444和/或手势跟踪器411接收数据。处理器416还可以发送和接收来自6DOF图腾系统404A的控制信号。处理器416可以无线耦合到6DOF图腾系统404A，诸如在手持式控制器400B不受限的示例中。处理器416还可以与附加组件通信，诸如音频-视觉内容存储器418、图形处理单元(GPU)420、和/或数字信号处理器(DSP)音频空间音响422。DSP音频空间音响422可以耦合到头部相关传递函数(HRTF)存储器425。GPU420可以包括耦合到左成影像调制光源424的左通道输出和耦合到右成影像调制光源426的右通道输出。GPU 420可以将立体图像数据输出到成影像调制光源424、426，例如如上文相对于图2A-2D所描述的。DSP音频空间音响422可以向左扬声器412和/或右扬声器414输出音频。DSP音频空间音响422可以从处理器419接收指示从用户到虚拟声源的方向矢量(其可以由用户移动，例如，经由手持式控制器320)的输入。基于方向矢量，DSP音频空间音响422可以确定对应的HRTF(例如，通过访问HRTF、或通过内插多个HRTF)。DSP音频空间音响422然后可以将所确定的HRTF应用到音频信号，诸如对应于由虚拟对象生成的虚拟声音的音频信号。这可以通过并入用户相对于混合现实环境中的虚拟声音的相对位置和取向—即，通过呈现与该虚拟声音将听起来像什么(如果其是真实环境中的真实声音)的用户期望相匹配的虚拟声音来提高虚拟声音的可信度和真实性。

在一些示例中，诸如图4所示，处理器416、GPU 420、DSP音频空间音响422、HRTF存储器425和音频/视觉内容存储器418中的一个或多个可以包括在辅助单元400C中(其可以对应于上文所描述的辅助单元320)。辅助单元400C可以包括对其组件供电和/或向可穿戴头部设备400A或手持式控制器400B供电的电池427。将这样的组件包括在可安装到用户的腰部的辅助单元中可以限制可穿戴头部设备400A的大小和重量，其进而可以减少用户的头部和颈部的疲劳。

虽然图4呈现了对应于示例混合现实系统的各种组件的元件，但是这些组件的各种其他适合的布置对于本领域技术人员来说将变得明显。例如，在图4中呈现为与辅助单元400C相关联的元件可以替代地与可穿戴头部设备400A或手持式控制器400B相关联。此外，一些混合现实系统可以完全放弃手持式控制器400B或辅助单元400C。这样的改变和修改将被理解为包括在所公开的示例的范围内。

混合现实乐器

本发明涉及使用MRE与真实对象交互，好像其是乐器。即，根据本发明，当用户与MRE中的真实对象物理交互时，诸如吹它或利用个人的手(或利用诸如乐器击打器的对象)击打它，MRE向用户呈现不对应于真实对象的声响应而是对应于乐器的声特性的音频信号。该交互式行为可以在例如与游戏；音乐创作；教育；和社交有关的应用中是有益的。这样的真实对象可以包括用户可以与其交互的任何适合的真实对象—例如，自然对象(例如，树枝或岩石)；人造对象(例如，烹饪锅、橡皮带)；二维绘图(例如，纸片上的木琴的草图)；或活的对象或身体部分(例如，臂或腿，包括用户的臂或腿)。类似地，乐器可以包括产生声音的任何适合的仪器，诸如打击乐器(例如，鼓、木琴)；弦乐器(例如，吉他，并且包括具有敲击接口的弦乐器，诸如钢琴)；铜管乐器或木管乐器(例如，大号、单簧管)；或电子仪器(例如，模拟合成器)。在一些示例中，乐器还可以包括通常不被认为是乐器的声发生器，诸如机械装置(例如，摩托车引擎)或动物(例如，鸣鸟)。

我们日常生活中的许多真实对象已经带有与乐器的一些相似性或者与乐器共享某些特性。例如，鼓倾向于在形状方面是圆柱形的；打鼓涉及打击鼓面非常像我们可能打击任何其他圆柱形对象的表面，诸如倒转的桶；以及由鼓壳和鼓面的振动产生的鼓的声音可能类似于打击桶的声音，其类似地由桶的振动产生。同样，弹拨吉他弦可能涉及与弹拨橡皮带相同的运动，并且木琴可能视觉上类似一系列木板。进一步地，钢琴键盘可能视觉上类似画在纸片上的键盘的草图。本发明利用日常对象与乐器之间的这些相似性；例如，在打击伸长盒并且听木琴的声音时，由于两者之间的视觉和物理相似性，用户可以在他或她的头脑中立即将木琴的声音与伸长盒的打击连接。产生的效果可以是本能和沉浸式的，唤起演奏实际木琴的体验。进一步地，在一些示例中，本发明可以利用真实对象的一个或多个实际物理特性(形状、尺寸、材料等)来产生受那些物理特性影响的声音。可替代地，混合现实乐器的真实组件可能带有与现实乐器的虚拟组件的很少的相似性。例如，虚拟组件可以是木琴，而真实组件可以是桌面。在某些实施方式中，混合现实乐器的真实组件执行向运用乐器击打器(例如，木槌、鼓槌、响弦刷)的用户提供触觉反馈的有益功能。另外，本发明可以利用与真实对象的交互的参数—例如，用户打击对象的位置或速度—以调节声音以对应于那些参数。这些特征还增强了当与MRE接合时的沉浸感和连通性。

如下文进一步描述的，呈现对应于MRE中的虚拟乐器的音频信号可以包括三个过程：创建包括虚拟组件和真实对象组件的混合现实乐器的第一过程；检测并处理与混合现实乐器的用户交互的第二过程；以及基于与混合现实仪器的用户交互来产生音频的第三过程。

创建混合现实乐器

图5示出了创建对应于MRE(例如，上文相对于图1所描述的MRE150)中的真实对象的虚拟乐器的示例过程500。在阶段520处，可以检测真实对象，例如使用深度相机142、144。在一些实施例中，真实对象可以经由混合现实系统外部的一个或多个相机(例如，深度相机、RGB相机、RGBD相机等)检测。一个或多个相机可以是例如相机装备。在阶段540处，可以创建虚拟对象(例如，通过电路，诸如混合现实系统112的处理器和/或存储器)，以对应于真实对象。在阶段560处，可以将一个或多个仪器参数与虚拟对象相关联；仪器参数可以将虚拟对象的行为定义为可以用于生成或处理音频信号的虚拟乐器。在一些示例中，在阶段580处，虚拟对象的视觉表示可以呈现给MRE的用户。下面更详细地描述了过程500的阶段520、540、560和580。

图6A-6C示出了根据上文相对于图5所描述的示例过程500创建对应于MRE中的真实对象的虚拟乐器的示例。图6A示出了混合现实系统612的用户610(其可以分别对应于图1中的用户110和混合现实系统112)。用户610存在于包括真实对象的真实环境600(例如，森林)中，诸如真实对象620A(其包括树桩622A、树桩624A、蘑菇626A和蘑菇628A)。如上文相对于混合现实系统100所描述的，虽然用户610存在于真实环境600中，但是混合现实系统612可以向用户610呈现(例如，经由显示器和/或一个或多个扬声器)包含真实环境600的MRE。在示出的示例中，真实环境600可以由一个或多个相机(或其他适合的传感器)检测。在一些实施例中，一个或多个相机可以是混合现实系统612的一部分并且可以具有视场614。在一些实施例中，一个或多个相机可以在混合现实系统612的外部。在示出的示例中，混合现实系统612可能在用户610在真实环境600中遇到它们之前不具有真实对象620A的先验“知识”。(然而，在一些示例中，混合现实系统612可以具有真实对象620A的一些先验知识；例如，设备的存储器可以预编程有真实对象620A的位置)。如上文所描述的，用户610可能希望与真实对象620A交互，好像它们是乐器一样；例如，用户610可能希望打击树桩622A和624A和蘑菇626A和628A，好像一个人将会打击乐器(例如，包括一个或多个鼓的鼓集)。混合现实系统612可以通过向用户610呈现音频信号和/或视觉线索以创建用户610与实际鼓—而非与普通对象交互的错觉来增强与真实对象620A的该示例交互。例如，如下文所描述的，当用户610打击真实对象620A之一时，混合现实系统612可以基于真实对象向用户610并行呈现对应于虚拟鼓的音频信号。

图6B示出了对应于视场614的真实环境600的示例视图，因为该真实环境600可以由混合现实系统612检测(例如，在过程500的阶段520处)。如图6B所示，混合现实系统612可以检测真实环境600中的真实对象620A。在一些示例中，混合现实系统612可以利用一个或多个相机来检测真实对象620A的图像。然而，如上文所描述的，一个或多个传感器的任何适合的组合可以用于检测真实对象620A。例如，混合现实系统612可以利用LIDAR单元；加速度计；声传感器；红外传感器；GPS单元；或任何其他适合的传感器。在一些实施例中，用于检测真实对象620A的传感器可以在混合现实系统612的外部。

在检测真实对象620A之后，混合现实系统612可以生成MRE的虚拟环境中的一个或多个虚拟对象(例如，在过程500的阶段540处)；这些虚拟对象可以对应于真实对象620A并且表示真实对象620A。混合现实系统612可以维持并更新MRE的状态，如上文所描述的。如上文所描述的，诸如相对于过程500的阶段560，混合现实系统(例如，经由处理器或其他电路)可以将一个或多个参数(例如，位置、取向、形状)与虚拟对象相关联，并且可以执行相对于MRE中的虚拟对象的一个或多个操作。作为示例，混合现实系统612可以接收在MRE中的虚拟对象处引导的输入(例如，感觉与虚拟对象的用户交互)；识别虚拟对象之间的交互；生成和/或呈现对应于MRE中的虚拟对象的显示(例如，多边形模型和/或一个或多个纹理)；以及生成和/或呈现对应于MRE中的虚拟对象的音频信号。混合现实系统612还可以执行软件(例如，以脚本语言编写的脚本)，该软件执行影响MRE中的虚拟对象的操作。因此，混合现实系统612可以向虚拟对象给出交互的质量，诸如通过识别用户触摸或以其他方式与对应的真实对象交互。

图6C示出了对应于具有坐标空间616(其可以对应于上文相对于图1A-1C所描述的坐标空间108，并且在真实环境600的惯性参考系中恰当地固定)的MRE 601中的真实对象620A的示例虚拟对象620B。虚拟对象622B、624B、626B和628B(统称为620B)分别对应于真实对象622A、624A、626A和628A(统称为620A)。虚拟对象(例如，虚拟对象622B)可以具有基于对应的真实对象(例如，树桩622A)的一个或多个参数。这样的参数可以包括MRE的坐标空间中的空间特性(例如，位置、取向、形状、尺寸)；视觉特性(例如，颜色、透明度、反射率)；物理特性(例如，密度；弹性；抗拉强度；温度；平滑度；湿度；共振；导电性)；或对象的其他适合的特性。混合现实系统612可以确定这样的参数，并且因此使用任何适合的方法生成具有那些参数的虚拟对象620B。例如，混合现实系统612可以使用相机数据和LIDAR数据的组合来识别树桩622A的基点位于的位置坐标(在MRE中)，和对应于MRE中的树桩622A的取向的取向矢量。作为附加示例，混合现实系统612可以使用应用到传感器数据(例如，相机数据、LIDAR数据)的常规形状辨别方法来识别树桩622A在形状方面是大体圆柱形的；树桩622A可以大体对应于半径16.5英寸并且高28.0英寸的圆柱体；并且树桩622A是不透明和棕色的(例如，对应于<140,70,20,0>的RGBA矢量)。类似地，在一些示例中，混合现实系统612可以识别与树桩622A相关联的材料(例如，橡木)。因此，混合现实系统612可以创建虚拟对象622B，并且将与该虚拟对象相关联的参数(例如，下文所描述的一般参数710)设置为对应于这些值。如图6C所示，虚拟对象620B中的每个虚拟对象(包括虚拟对象620B)被表示为具有相应高度和半径的圆柱体，其可以对应于其对应的真实对象620A的粗略地圆柱形形状；进一步地，虚拟对象620B中的每个虚拟对象在坐标空间616中位于对应于其相应真实对象620A的位置和取向处。

图7示出了与对应于真实对象622A的示例虚拟对象622B相关联的参数(诸如上文所描述的参数)的示例数据表示700。在一些示例中，数据表示700可以对应于类(例如，定义乐器并且从描述更一般的虚拟对象的类继承的类)的实例；然而，可以使用数据表示700的任何适合的实施方式。在示出的示例中，一般参数710(其可以对应于虚拟对象的一般参数)指示虚拟对象622B与以下各项相关联：圆柱形；16.5英寸的半径；28.0英寸的高度；<210.1,180.4,1.6>的位置坐标(例如，在坐标空间616中)；<0.0,0.0,1.0>的取向矢量；和橡木材料。一般参数710还可以包括未示出的附加参数。

在一些示例中，诸如图7所示，一个或多个乐器参数720可以与虚拟对象(诸如虚拟对象622B)相关联。乐器参数可以用于生成或者修改与虚拟对象相关联的音频信号，如下文所描述的。在一些实施例中，用户可以选择并且调节与虚拟对象相关联的一个或多个乐器参数720。在图7中，乐器参数720指示虚拟对象对应于“鼓”的乐器类型；“落地鼓”的乐器子类型；“橡木”的壳材料类型；69.3Hz的音高(对应于音符2C#)；14.0英寸的半径；和18.0英寸的深度。

在一些示例中，混合现实系统612可以从一般参数710、从传感器数据(例如，从相机或麦克风检测的)和/或从用户输入导出乐器参数720中的一个或多个。例如，混合现实系统612可以从与虚拟对象622B的形状有关的一般参数710(例如，该虚拟对象622B是圆柱形的，具有橡木材料，并且垂直取向)确定虚拟对象622B最紧密地类似于落地鼓型鼓(例如，与其他乐器相比较)；因此，混合现实系统612可以设置乐器参数以反映虚拟对象622B具有“鼓”的乐器类型，具有“落地鼓”的子类型和“橡木”的壳材料。类似地，混合现实系统612可以从指示虚拟对象622B具有14.1英寸的半径和17.8英寸的高度的一般参数710确定虚拟对象622B可以对应于具有14.0英寸的半径和18.0英寸的深度的鼓(14.0英寸和18.0英寸是针对落地鼓半径和深度的标准尺寸；混合现实系统612可以确定这些是最接近于虚拟对象622B的尺寸的标准落地鼓尺寸)。进一步地，混合现实系统612可以例如基于对应于虚拟对象622B的尺寸和材料确定如果作为鼓演奏，则虚拟对象622B可以在69.3Hz的基础/基本频率(音高)处共振。因此，混合现实系统612可以设置乐器参数720以反映这些所确定的值。

在以上示例中，参数700被示出为离散值(例如，69.3Hz的音高)。然而，在一些示例中，参数700可以包括函数，而不是离散值。例如，虽然一些虚拟乐器(例如，对应于鼓)产生固定的音高，但是其他虚拟乐器(例如，钢琴)产生取决于一个或多个输入参数(例如，哪个钢琴键被按压)的音高。用于这样的仪器的乐器参数可以将音高表示为那些输入参数的函数，这反映与该虚拟乐器相关联的音高将取决于那些输入参数。

在以上示例中，针对虚拟对象622B的乐器参数720被选择为接近一般参数710(其进而可以被选择为接近对应的真实对象的特性)。然而，在一些示例中，乐器参数720可以故意被选择为偏离一般参数710或者偏离对应的真实对象622A的特性。例如，即使真实对象622A的尺寸可能最接近类似于落地鼓，但是混合现实系统612可能选择乐器参数720以对应于不同类型的鼓，诸如康加鼓；或全部不同的乐器，诸如铙钹。

在一些示例中，乐器参数720可以至少部分地基于由用户提供(例如，经由图形或语音驱动的用户接口)的信息、或基于来自数据库(例如，乐器类型和参数的数据库)的信息来确定。例如，用户可以使用接口选择真实对象622A应当表现为MRE中的邦戈鼓；或者数据库可以指示真实对象622A(或者具有类似尺寸的对象)应当对应于MRE中的落地鼓。在一些示例中，混合现实系统612可以使用传感器数据确定乐器参数720。例如，混合现实系统612的麦克风可以检测对应于由打击真实对象622A的用户产生的真实声音的音频信号；并分析该音频信号以确定对应于该真实声音的乐器参数720。例如，打击真实对象622A可以产生具有高信号峰值、短暂态和快速下降的声音；混合现实系统720可以因此确定对应的虚拟对象622B应当具有对应于产生具有类似特性的声音的鼓的乐器参数。

返回参考图5所示的过程500，在一些示例中，在阶段580处，虚拟对象可以视觉上呈现给用户610，例如使用混合现实系统612的显示器。虚拟对象的视觉呈现可以增强MRE中的沉浸感或与该环境的交互性的感觉。例如，在虚拟对象表现为虚拟乐器的示例中，虚拟乐器的视觉呈现可以帮助维持用户610与实际乐器而不仅仅是虚拟仿真交互的错觉。

图8示出了与真实环境600同时呈现的视觉表示622C、624C、626C和628C(分别地对应于虚拟对象622B、624B、626B和628B)的示例视图。图8所示的视图可以是在混合现实系统612的显示器上对用户610可见的视图。如上文所描述的，混合现实系统可以包括显示器，显示器能够与真实环境的视图同时呈现虚拟环境的视图并且对准虚拟环境的显示器使得其对应于真实环境的视图(例如，使得虚拟对象出现在它们所对应的真实对象之上)。例如，在图8中，视觉表示622C、624C、626C和628C分别与其对应的真实对象—622A、624A、626A和628A—重叠并且可以遮挡那些真实对象(例如，经由由混合现实系统612的显示器造成的有源像素遮挡)。在一些混合现实系统中，该呈现可以使用相机实现，该相机捕获真实环境的图像用于在常规像素显示器上与虚拟环境的视图同时显示；并且通过虚拟内容增加真实环境的图像。在一些混合现实系统中，设备包含具有透明元件的显示器，使得显示器可以呈现虚拟环境的视图，而真实环境同时经由透明元件对用户可见。与使用可传达与所显示的内容分离的感觉的常规像素显示器的设备相比，包含透明显示器的设备可以使用户更完全地沉浸在MRE中。

与虚拟对象相关联的参数(诸如参数700)可以用于识别MRE中的虚拟对象的视觉外观。在图8中，视觉表示622C、624C、626C和628C具有可以与虚拟对象622B、624B、626B和628B相关联的各种类型的鼓的外观。例如，如果虚拟对象622B与将其识别为落地鼓的参数相关联，如图7所示，则对应于落地鼓的艺术资产(例如，多边形网格、纹理、粒子效果、动画数据)可以被识别(例如，在混合现实系统612的存储器中)并且与虚拟对象622B的视觉表示622C相关联，以便将实际落地鼓的外观给视觉表示622C。类似地，在包含用户的位置和取向(其可以对应于MRE中的相机原点和轴)的视图中，视觉表示622C可以在MRE中在对应于虚拟对象622B的位置和取向(其进而对应于真实对象622A的位置和取向)的位置和取向处呈现。进一步地，视觉表示622C可以基于与虚拟对象622B相关联的其他参数，诸如其颜色和透明度、或物理尺寸(例如，半径、高度)。通过使视觉表示622C的特性基于用于音频信号处理或者生成的虚拟对象622B的相同参数，视觉表示622C可以具有与虚拟对象622B相关联的音频信号一致的视觉特性。例如，在虚拟对象622B的参数将其识别为具有半径14.0英寸的落地鼓的情况下，如在图7中，该对象可以具有14.0英寸的落地鼓的外观。类似地，在虚拟对象622B的参数基于用户可以物理接触并且与其交互的对应的真实对象622A的物理特性的情况下，视觉表示622C可以与那些相同的物理特性一致。跨各种感觉——视觉、声音和触觉——的一致性可以使用户更完全地沉浸在MRE中，并且帮助减少由一些混合现实环境的用户体验的认知失调效应。

产生并且呈现用于混合现实乐器的音频信号

图9示出了用于检测来自用户的输入；将输入应用到虚拟乐器来确定音频信号；以及将音频信号呈现给用户的示例过程900。过程900可以例如由混合现实系统实现，诸如上文所描述的混合现实系统612。过程900的阶段910、920、930和940可包括混合现实系统612确定对象(真实或虚拟)是否与MRE中的虚拟对象(例如，虚拟乐器)碰撞或者将与其碰撞的环路。如果检测到这样的碰撞，则可以确定碰撞参数(包括虚拟对象的识别)(阶段950)；音频参数可以基于碰撞参数和虚拟对象的参数而确定(阶段960)；以及音频信号可以根据音频参数而生成(阶段970)。最后，音频信号可以在阶段980处呈现给用户610，例如使用一个或多个扬声器。在一些实施例中，一个或多个扬声器可以包括在混合现实系统612中。在一些实施例中，一个或多个扬声器可以在混合现实系统612的外部。下面更详细地描述了这些阶段。

在过程900的阶段910处，混合现实系统612接收来自一个或多个传感器的数据。该数据可以包括来自与混合现实系统612(包括混合现实系统612的手持式控制器，诸如上文相对于图3所描述的手持式控制器300)相关联的任何传感器的数据。在一些实施例中，该数据可以包括来自混合现实系统612外部的传感器的数据。这样的传感器可以包括：相机；LIDAR单元；加速度计；声传感器；红外传感器；GPS单元；或任何其他适合的传感器。该数据可以指示真实环境600中的真实对象的位置、取向和/或运动。这样的真实对象可以包括用户610的四肢、或由用户610握住的对象(例如，手持式控制器300)。

在一些示例中，对于过程900来说检测(例如，在阶段930处)主动发生的碰撞是不够的。这是因为许多系统在检测碰撞以及通过生成并呈现对应的音频信号对这样的碰撞作出反应方面表现出延迟。如果该延迟超过人类检测能力的阈值(例如，大约10毫秒)，则用户610可以感知真实环境中的动作与MRE中的音频响应之前的不自然延迟。这样的延迟的音频响应可能偏离真实世界行为，并且因此损害MRE中的用户的沉浸感。因此，在阶段920处，混合现实系统612可以基于MRE中的对象的状态和在阶段910处接收到的传感器数据来预测在预测时间间隔期间真实环境600中的真实对象的未来轨迹。这些轨迹可以用于预测迫近的碰撞。预测时间间隔的长度可以取决于生成并且呈现音频信号中的延迟的程度；该延迟越长，预测时间间隔可能需要越大，以便避免延迟的音频响应。延迟的程度可以进而取决于以下因素，诸如混合现实系统612的总体处理能力；MRE的大小和复杂性；和通信延迟，诸如网络延迟；或与手持式控制器300相关联的延迟。

真实环境600中的真实对象的位置和取向可以使用常规技术识别。例如，这样的位置和取向可以使用来自传感器(诸如相机、GPS单元和红外传感器)的作为输入的数据由混合现实系统612的处理器(诸如上文相对于图4所描述的)确定。例如，在一些示例中，来自相机的视觉数据可以用于使用常规机器视觉技术检测边缘和表面。进一步地，在一些示例中，GPS数据可以将索引提供到地图数据中，诸如识别附近地形或对象的地图数据。通过识别多个时间点处的位置和取向，诸如速度和加速度的高阶运动特性可以被计算，并且用作基于经典力学的常规轨迹计算的输入。预测真实对象的轨迹的其他适合的方法将是熟悉的。

在一些示例中，在阶段920处预测的轨迹还可以包括虚拟对象的轨迹，诸如与真实环境600中的真实对象相关联的虚拟对象。例如，虚拟“木槌”对象可以与握住手持式控制器300的用户相关联；例如，虚拟木槌的位置和/或取向可以链接到手持式控制器300的位置和/或取向(如可使用手持式控制器300的传感器确定的，例如如上文相对于图3所描述的)。通过移动并且旋转手持式控制器300，用户可以使用虚拟木槌“打击”MRE中的真实对象，诸如真实对象622A。可替代地，代替木槌，可以提供另一类型的手持式乐器击打器，诸如鼓槌或铙钹刷。在一些实施例中，在阶段920处预测的轨迹还可以包括真实对象的轨迹，诸如附接到手持式控制器300或者代替手持式控制器300使用的真实对象。真实对象可以包括例如真实木槌、接触传感器、手指传感器等。在一些示例中，如果真实木槌被附接到手持式控制器300，则真实木槌的位置和/或取向链接到手持式控制器300的位置和/或取向。真实木槌的位置和/或取向可以使用真实木槌的传感器和/或通过真实木槌与手持式控制器300之间的已知关系来确定。在一些示例中，如果真实木槌代替手持式控制器300被使用，则真实木槌的位置和/或取向可以使用真实木槌的一个或多个传感器确定。

在阶段930处，混合现实系统612基于在阶段920处确定的预测轨迹来确定对象(真实或虚拟)与MRE中的虚拟对象之间的碰撞是否是迫近的(例如，碰撞将在预测时间间隔内发生)。该确定可以使用常规技术执行，诸如用于确定预测轨迹是否和MRE中的虚拟对象相交。

图10A-10C示出了根据过程900的各方面的确定与混合现实乐器的碰撞的示例。图10A示出了真实环境600中的用户610和真实对象622A。用户610携带真实对象1010(例如，棒)，并且在方向1020上朝向真实对象622A挥动真实对象1010。图10B示出了用户610携带手持式控制器1012(其可以对应于上文相对于图3所描述的手持式控制器300)的变型。在图10B中，手持式控制器1012对应于虚拟对象1014(其可表示虚拟木槌)，该虚拟对象1014空间链接到MRE中的手持式控制器1012，并且因此根据手持式控制器1012在MRE中移动。在图10B中，用户610在方向1020中朝向真实对象1010挥动手持式控制器1012和链接的虚拟对象1014二者。

在一些示例中，诸如图10A所示，真实对象1010可以包括撞击检测器1016，该撞击检测器1016被配置为输出对应于真实对象1010与另一真实对象(诸如真实对象622A)之间的碰撞的信号。撞击检测器1016可以是输出对应于与真实对象1010的碰撞的信号的任何适合的开关或传感器。在一些示例中，撞击检测器1016可以是输出对应于开关的状态(例如，打开/闭合)的信号的开关(例如，单杆/单掷电气开关)；例如，如果真实对象1010与另一真实对象碰撞，则碰撞可以闭合开关并且因此输出信号。在一些示例中，撞击检测器1016可以包括传感器，诸如用于检测真实对象1010的加速度的加速度计，该加速度可以对应于真实对象1010与另一真实对象的碰撞。在一些示例中，撞击检测器1016可以包括被配置为检测撞击检测器1016的传感器的输出何时超过预定义阈值并且因此输出信号的电路。

图10C示出了确定与MRE 601中的虚拟对象622B(其对应于真实对象622A)的碰撞的混合现实系统，诸如混合现实系统612。如上文相对于过程900的阶段910所描述的，混合现实系统612可以接收识别用户610、真实对象1010(或手持式控制器1012和对应的虚拟木槌1014)的位置、取向和运动的传感器数据。例如，混合现实系统612可以使用相机数据(例如，作为用于到检测边缘和表面的机器视觉算法中的输入)识别真实对象1010以特定速度在方向1020上移动，并且可以因此期望以方向矢量1040在位置1030处与虚拟对象622B碰撞。(类似地，混合现实系统612可以使用加速度计数据、IMU数据或来自手持式控制器1012的光学跟踪数据来识别虚拟木槌1014以特定速度在方向1020上移动，并且可以期望以特定方向矢量在特定位置处与虚拟对象622B碰撞)。混合现实系统612可以类似地识别其他碰撞参数，诸如期望的撞击力和动量。进一步地，在一些示例中，如上文所描述的，真实对象1010可以包括撞击检测器1016，该撞击检测器1016被配置为生成对应于真实对象1010与另一真实对象(诸如真实对象622A)之间的碰撞的信号。

返回参考过程900，在阶段940处，根据在阶段930处确定无碰撞迫近，过程900可以返回阶段910，在阶段910处，将接收更新的传感器数据。根据在阶段940处确定碰撞是迫近的，过程900可以前进到阶段950，在阶段950处，碰撞参数(例如，撞击投射时间、撞击点、撞击力矢量、碰撞对象质量)可以针对诸如上文所描述的碰撞确定。这些碰撞参数可以包括碰撞中涉及的一个或多个真实或虚拟对象的识别和与碰撞中涉及的一个或多个真实或虚拟对象相关联的参数。例如，参考图10A-10C，碰撞参数可以包括MRE中的撞击点1030的位置；方向矢量1040；对应于真实对象1010和/或真实对象622A的物理参数(例如，质量、尺寸)；和/或对应于虚拟木槌1014的虚拟参数(例如，质量、尺寸)。

在阶段960处，音频参数可以基于在阶段950处识别的碰撞参数并且基于与碰撞的虚拟对象相关联的参数(例如，上文所描述的参数700)来确定。可以在阶段970处使用这些音频参数以生成用于虚拟对象的音频信号。在阶段960处确定的音频参数可以包括与音频信号的生成有关的任何参数；使用的特定音频参数将取决于音频信号将被生成的装置。例如，这样的音频参数可以包括音高、速度和音色(例如，针对使用声音引擎生成音频信号的示例)；一个或多个基础音调和包络参数的身份(identity)(例如，针对使用波形合成器生成音频信号的示例)；一个或多个音频样本的身份(例如，针对通过播放样本生成音频信号的示例)。音频参数可以附加地包括用于处理音频信号的各种参数，诸如用于执行基于增益的信号处理的增益和衰减参数；用于执行基于频率的信号处理的均衡化曲线；用于应用人工混响和回波效应的混响参数；以及用于施加基于时间的调制效应的压控振荡器(VCO)参数。

可以使用任何适合的技术在阶段960处确定音频参数。一些音频参数可以基于MRE的用户、MRE中的音频信号的源(例如，音频信号所对应的真实或虚拟对象)的相对位置和取向来确定。例如，对应于音频信号的总音量的音频参数可以基于用户与虚拟对象之间的距离(反映音频信号的感知音量随着听者与源之间的距离增加而减小)来确定。通常将确定音频参数以便模拟在相对于MRE中的音频信号的源的MRE中的用户位置和取向处将由听者听到的音频信号。

音频参数可以附加地由乐器参数生成，诸如图7所示的乐器参数720。例如，乐器参数720指示虚拟对象622B对应于具有橡木壳的落地鼓型鼓。因此，混合现实系统612可以确定对应于具有橡木壳的落地鼓型鼓的声学特性的音频参数(例如，音色、均衡化曲线)。类似地，乐器参数720指示虚拟对象622B具有69.3Hz的音高；因此混合现实系统612可以确定对应于该特定音高的音高音频参数。真实对象也可能影响音频参数；例如，虚拟鼓可以取决于其打击的真实对象的特性(例如，材料)而生成不同的音调。

音频参数还可以由碰撞参数生成。例如，指定音频信号的开始时间的音频参数应当对应于碰撞被预测发生的时间。此外，音频信号的幅度可以取决于用户打击虚拟乐器的速度(例如，如由诸如相机142和144的传感器所确定的)；类似地，音频信号的音高可以取决于用户接触虚拟乐器的位置(例如，图10C中的位置1030)；并且音频信号的音色可以取决于用户接触虚拟乐器的方向矢量。一些碰撞参数可以从如上文所描述的混合现实系统612的传感器(例如，相机)来识别。例如，相机可以用作机器视觉算法的输入，以确定与虚拟乐器的碰撞的位置、方向和速度。在一些实施例中，一些碰撞参数可以从混合现实系统612外部的传感器来识别。因此，音频参数(例如，幅度、音高、音色)可以由这些值生成。在一些示例中，音频参数可以由取决于碰撞参数的乐器参数生成；例如，来自虚拟钢琴的音调的音高可以取决于由用户打击的特定位置(例如，特定钢琴键)，并且可以例如基于接触传感器、手指传感器等来确定。

在阶段970处，音频信号可以根据在阶段960处所确定的音频信号来生成。任何适合的技术可以用于生成音频信号。在一些示例中，声音引擎可以用于例如根据用于针对音高和速度的音频参数和识别待用于信号生成中的MIDI仪器的音频参数生成音频信号。在一些示例中，波形合成引擎可以用于基于音频参数(诸如音高、包络参数和一个或多个基础音调的身份)使用常规音频合成技术生成音频信号。在一些示例中，音频信号可以通过基于可以用作到音频样本的数据库中的索引的音频参数(例如，音高、音色)播放一个或多个预录的音频样本来生成。

在一些示例中，在阶段970处，所生成的音频信号可以例如实时根据一个或多个乐器参数进一步处理。例如，对应于滤波器(例如，低通滤波器)的音频参数可以用于将这样的滤波器应用到所生成的音频信号。类似地，音频参数可以对应于处理或效应(例如，基于增益的信号处理；基于频率的信号处理(例如，滤波)；人工混响和时间延迟(例如，回波)效应；和基于时间的调制效应，如上文所描述的)，并且可以用于将这样的处理或效应应用到所生成的音频信号。

在一些示例中，在阶段970处，所生成的音频信号可以进一步处理以考虑MRE中的用户、虚拟乐器、或其他真实和虚拟对象的位置或取向。例如，如果用户远离MRE中的音频信号源或MRE中的真实或虚拟对象后面的鸭子来取向，则滤波器可以应用于音频信号以反映音频信号应当因此具有不同的频率特性。此外，空间化可以应用于音频信号。可以通过使用头部相关传递函数(HRTF)来应用空间化。HRTF包括取决于声源相对于用户的角度、或角度加上半径(球面)坐标的左和右滤波函数。分离的组件(例如，鼓集中的鼓)或分离的键(例如，木琴的键)可以具有相对于用户的不同角坐标，并且不同HRTF可以因此针对不同组件或键来选择。

最后，在阶段980处，所生成和/或所处理的音频信号可以经由一个或多个扬声器呈现给用户610。在一些实施例中，一个或多个扬声器可以包括在混合现实系统612中。在一些实施例中，一个或多个扬声器可以在混合现实系统612的外部。在一些示例中，混合现实系统612可以包括用于将音频信号与来自MRE的其他音频信号混合的功能。

贯穿本公开(包括示例过程900)，音频信号被预期不仅包括单声道音频信号，而且包括立体声(和其他多通道)音频信号。例如，在混合现实系统612以左和右扬声器(分别定位在用户612的左和右耳附近)为特征的示例中，包括左通道和右通道的立体声音频信号可以通过呈现给左耳的左通道(经由左扬声器)和呈现给右耳的右通道(经由右扬声器)生成。类似地，在左和右扬声器在混合现实系统612外部的示例中，包括左通道和右通道的立体声音频信号可以通过在左扬声器处呈现的左通道和在右扬声器处呈现的右通道生成。

本公开的一些示例涉及一种方法，包括：识别混合现实环境中的第一真实对象，混合现实环境具有用户；识别混合现实环境中的第二真实对象；在混合现实环境中生成对应于第二真实对象的第一虚拟对象；在混合现实环境中识别第一真实对象与第一虚拟对象之间的碰撞；确定与碰撞相关联的第一属性；基于第一属性，确定对应于碰撞的第一音频信号；以及经由第一扬声器，向用户呈现第一音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，识别碰撞包括基于第一真实对象的位置和第一真实对象的速度来预测碰撞。对于上文所公开的示例中的一个或多个补充或者替代，在一些示例中，第一属性是与虚拟对象相关联的音高，并且确定第一音频信号包括生成对应于音高的音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，第一属性包括与虚拟对象相关联的材料，并且确定第一音频信号包括：生成音频信号，以及基于材料的声学特性来修改音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，方法还包括在显示器上同时呈现虚拟对象和第二真实对象的视图。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，第一真实对象包括传感器，并且识别碰撞包括基于传感器的输出来预测碰撞。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，确定第一音频信号包括：基于第一属性来生成MIDI参数；以及使用声音引擎，基于MIDI参数来生成第一音频信号。

本公开的一些示例涉及一种方法，包括：识别混合现实环境中的第一真实对象，混合现实环境具有用户；识别混合现实环境中的第二真实对象；在混合现实环境中生成对应于第一真实对象的第一虚拟对象；在混合现实环境中生成对应于第二真实对象的第二虚拟对象；在混合现实环境中识别第一虚拟对象与第二虚拟对象之间的碰撞；确定与碰撞相关联的第一属性；基于第一属性，确定对应于碰撞的第一音频信号；以及经由第一扬声器，向用户呈现第一音频信号。

本公开的一些示例涉及一种系统，包括：可穿戴头部设备，包括：用于显示虚拟环境的显示器，所述显示器包括透射目镜，通过该透射目镜，真实环境是可见的；以及扬声器；以及一个或多个处理器，其被配置为执行：识别真实环境中的第一真实对象；识别真实环境中的第二真实对象；在虚拟环境中生成对应于第二真实对象的第一虚拟对象；在虚拟环境中识别第一真实对象与第一虚拟对象之间的碰撞；确定与碰撞相关联的第一属性；基于第一属性，确定对应于碰撞的第一音频信号；以及经由扬声器，向可穿戴头部设备的用户呈现第一音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，识别碰撞包括基于第一真实对象的位置和第一真实对象的速度来预测碰撞。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，第一属性是与虚拟对象相关联的音高，并且确定第一音频信号包括生成对应于音高的音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，第一属性包括与虚拟对象相关联的材料，并且确定第一音频信号包括：生成音频信号，以及基于材料的声学特性来修改音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，一个或多个处理器还被配置为在显示器上同时呈现虚拟对象和第二真实对象的视图。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，第一真实对象包括传感器，并且识别碰撞包括基于传感器的输出来预测碰撞。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，确定第一音频信号包括：基于第一属性来生成MIDI参数；以及使用声音引擎，基于MIDI参数来生成第一音频信号。对于上文所公开的示例中的一个或多个的补充或者替代，在一些示例中，可穿戴头部设备还包括传感器，并且第一属性基于传感器的输出来确定。

本公开的一些示例涉及一种系统，包括：可穿戴头部设备，包括：用于显示虚拟环境的显示器，所述显示器包括透射目镜，通过该透射目镜，真实环境是可见的；以及扬声器；以及一个或多个处理器，其被配置为执行：识别真实环境中的第一真实对象；识别真实环境中的第二真实对象；在虚拟环境中生成对应于第一真实对象的第一虚拟对象；在虚拟环境中生成对应于第二真实对象的第二虚拟对象；在虚拟环境中识别第一虚拟对象与第二虚拟对象之间的碰撞；确定与碰撞相关联的第一属性；基于第一属性，确定对应于碰撞的第一音频信号；以及经由扬声器，向可穿戴头部设备的用户呈现第一音频信号。

虽然所公开的示例已经参考附图充分描述，但是，应注意到，各种改变和修改对于本领域技术人员来说将变得明显。例如，一个或多个实施方式的元素可以组合、删除、修改、或补充以形成进一步的实施方式。这样的改变和修改将被理解为包括在如由附加的权利要求限定的所公开的示例的范围内。