掌桥专利:专业的专利平台
掌桥专利
首页

用于提供计算机生成的体验的设备、方法和图形用户界面

文献发布时间:2023-06-19 18:37:28


用于提供计算机生成的体验的设备、方法和图形用户界面

本申请是基于申请日为2021年3月15日、申请号为2021800201704、发明名称为“用于提供计算机生成的体验的设备、方法和图形用户界面”的中国发明专利申请的分案申请。

技术领域

本公开整体涉及具有一个或多个显示生成部件和提供计算机生成的体验的一个或多个输入设备(包括但不限于经由一个或多个显示器提供虚拟现实和混合现实体验的电子设备)的计算系统。

背景技术

近年来,用于增强现实的计算系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的表示的虚拟元素。用于计算系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟三维对象、数字图像、视频、文本、图标、控制元素(诸如按钮)以及其他图形。

但用于与包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。此外,提供虚拟现实和/或混合现实体验的许多系统使用头戴式显示设备,这些头戴式显示设备将用户的面部与其周围环境物理地阻隔开来,并且在用户参与虚拟现实和混合现实体验时阻碍社交互动和与外部世界的信息交换。

发明内容

因此,需要具有改进的方法和界面的计算系统来向用户提供计算机生成的体验,从而使得与计算系统的交互对用户来说更有效且更直观。还需要具有改进的方法和界面的计算系统来向用户提供计算机生成的体验,从而在用户参与各种虚拟现实和混合现实体验时促进更好的社交互动、礼仪和与周围环境的信息交换。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。此类方法和界面还例如通过以下方式改善用户的体验:当用户参与计算系统所提供的虚拟现实体验和/或混合现实体验时,减少由于对于用户和存在于相同物理环境中的他人而言缺少社会线索和视觉信息而引起的错误、打断和时间延迟。

所公开的系统减少或消除了与用于计算系统的用户界面相关联的上述缺陷和其他问题,该计算系统具有显示生成部件和一个或多个输入设备。在一些实施方案中,计算系统是具有一个或多个相关联的显示器的台式计算机。在一些实施方案中,计算系统是便携式设备(例如,笔记本电脑、平板电脑或手持式设备)。在一些实施方案中,计算系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算系统具有触控板。在一些实施方案中,计算系统具有一个或多个相机。在一些实施方案中,计算系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算系统具有一个或多个手部跟踪部件。在一些实施方案中,除一个或多个显示生成部件之外,计算系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中,计算系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。

如本文所公开,计算系统包括至少两个显示生成部件,其中第一显示生成部件面向用户并向用户提供三维计算机生成的体验,并且第二显示生成部件背对用户并提供与用户相关的状态信息(例如,用户眼睛的移动)和/或用户当前查看的计算机生成的体验(例如,与用户查看的内容相关的元数据和与该内容相关联的沉浸级别)。第一显示生成部件和第二显示生成部件任选地是包围在头戴式显示设备(HMD)的相同外壳中并且分别向内面向穿戴HMD的用户并向外面向用户周围的物理环境的两个显示器。第二显示生成部件任选地提供实时状态信息,该实时状态信息包括被第一显示生成部件遮挡的用户的部分的视觉表示并且包括与当前经由第一显示生成部件向用户示出的内容相关的元数据和/或与该内容相关联的沉浸级别,使得用户的周围物理环境中的另一个或多个人可看到第二显示生成部件所提供的视觉信息和元数据并相应地采取行动,例如在用户正经由第一显示生成部件查看计算机生成的内容时,在适当时与用户交谈,而不是不必要地回避与用户互动或不适当地打断用户。在一些实施方案中,计算系统的用户任选地激活计算系统的不同模式以在参与经由第一显示生成部件提供的计算机生成的环境时符合他/她的预期参与级别和隐私需求,并且计算系统提供与各种模式相关的状态信息以向周围物理环境中的人警示用户的此类意图和需求,使得减少周围物理环境中的人的非预期、非期望和/或不必要打断以及互动回避。

如本文所公开,当计算系统包括相同外壳中的至少两个显示生成部件时,第二(例如,面向外的)显示生成部件任选地显示上下文信息,该上下文信息基于当前上下文来指示计算机生成的体验的可用性。响应于检测到第一(例如,面向内的)显示生成部件已被放置在用户眼睛的前面(例如,用户正以面向内的显示器面向其双眼的方式穿戴HMD,或用户正以面向内的显示器位于其双眼前面的方式保持HMD),计算系统经由第一显示生成部件向用户提供计算机生成的体验。(例如,在用户处于查看面向外的显示器的位置时(在用户未将HMD穿戴在他/她的头部上时,在HMD被放置在桌子上时等))基于当前上下文经由面向外的显示器自动地向用户警示可用计算机生成的体验以及/或者在面向内的显示器被放置在用户眼睛的前面时(例如,在用户将HMD放置在他/她的头部上或以内部显示器面向用户的面部或眼睛的方式保持HMD时)自动地显示与当前上下文相对应的计算机生成的体验,减少了用户查明什么计算机生成的体验在各种上下文中可用及选择性地查看期望的计算机生成的体验所需的输入的数量、复杂性和范围(例如,不必一直穿戴HMD,和/或不必浏览能够选择的选项以定位期望的CGR内容项目,和/或在穿戴HMD时激活所显示的控件以开始期望的CGR体验)。在一些实施方案中,根据第一显示生成部件实际上是否被用户穿戴(例如,被捆绑在用户的头部或身体上,而不是用户用手保持在用户眼睛的前面),计算系统任选地提供与第一显示生成部件的穿戴状态相对应的计算机生成的不同体验(例如,在第一显示生成部件实际上未被用户穿戴时显示可用计算机生成的体验的预览(例如,缩短、二维或三维、交互式等),并且在第一显示生成部件被用户穿戴时显示可用计算机生成的体验的完整版本)。不仅根据显示生成部件相对于用户的位置(例如,基于该位置是否使得用户能够看见CGR体验)而且根据显示生成部件是否被用户牢固地穿戴(例如,基于用户的双手是自由的还是被要求将显示生成部件保持在当前位置)来选择性地显示计算机生成的体验的不同版本或计算机生成的不同体验,减少了触发预期结果所需的输入的数量并避免了不必要地激活全面(full-on)计算机生成的体验,从而在用户只想简略地预览计算机生成的体验时节省用户的时间并且在显示生成部件和计算系统由电池供电时节省它们的电池电量。

如本文所公开,在一些实施方案中,计算系统包括第一显示生成部件和第二显示生成部件,它们位于相同外壳中或附接到相同物理支撑结构。第一显示生成部件和第二显示生成部件任选地为不透明的并且具有面向相反方向的其相应显示侧。显示生成部件连同外壳或支撑结构一起可相当庞大并且穿戴在用户的头部/身体上并从用户的头部/身体脱下可较繁琐。这些显示生成部件还一起形成用户与周围物理环境中的他人之间的显著物理屏障。通过利用外部显示器(例如,第二显示生成部件)示出与内部显示器(例如,第一显示生成部件)上所显示的CGR内容的元数据相关的状态信息(例如,名称、进度、类型等)、与所显示的CGR内容相关联的沉浸级别(例如,完全透传、混合现实、虚拟现实等)和/或所显示的CGR内容的视觉特征(例如,改变颜色、亮度等)、计算系统的当前显示模式(例如,隐私模式、家长控制模式、勿扰模式等)和/或用户的特征(例如,用户眼睛的外观、用户的标识符等),减少了用户与周围环境中的他人之间的物理屏障的存在的影响并且减少了对期望的社交互动的不必要阻碍和对用户参与计算机生成的体验的不必要打断而不需要用户从身上脱下显示生成部件。此外,通过利用外部显示器示出上下文信息和上下文相关计算机生成的体验的指示,不需要用户总是拿起HMD并将内部显示器放置在用户眼睛的前面以查明什么CGR内容可用。也不需要用户完全捆绑HMD以预览可用CGR体验。仅需要用户在他/她希望完全参与CGR体验(例如,利用凌空手势和微手势与CGR环境交互)时才完全穿戴HMD。这样,减少了需要用户将HMD的内部显示器放置在他眼睛的前面和/或将HMD完全捆绑在他/她的头部上的次数而不影响用户获知什么CGR体验可用的需求和/或不阻碍用户享受期望的CGR体验的能力。

如本文所公开,响应于用户与真实世界中的物理对象的物理交互而经由计算系统的显示生成部件(例如,设备的单个显示生成部件、HMD的内部显示器等)提供计算机生成的体验。具体地,计算系统在经由显示生成部件显示的三维环境中的一定位置处显示计算机生成的体验可用的视觉指示,该视觉指示的位置对应于三维环境中的物理对象的表示的位置。响应于检测到以满足与物理对象相关联的预设标准的第一方式与物理对象的物理交互,计算系统显示与物理对象相关联的计算机生成的体验和任选的第一方式的物理交互。例如,在用户对物理对象的操纵满足预设标准之前计算系统显示用户手部和物理对象的透传视图,并且在满足预设标准之后计算系统显示操纵物理对象的用户手部的计算机增强的表示。响应于检测到与真实世界中的物理对象的预设物理交互而自动地发起计算机生成的体验,增强了用户与物理对象交互的体验,使得该交互更直观并且减少了在与物理对象交互时的用户错误。

如本文所公开,计算系统包括外壳中的显示生成部件(例如,设备的单个显示生成部件、HMD的内部显示器等)并且提供显示生成部件的外壳上的用户界面(例如,按钮、触敏表面等)。根据在经由用户界面检测到输入时是否在显示生成部件的外壳上检测到用户手部(例如,双手同时)触摸外壳的预设配置,计算系统确定是要执行与经由显示生成部件的外壳上的用户界面检测到的输入相关联的操作还是放弃执行该操作。响应于检测到显示生成部件的外壳上的输入连同手部配置而选择执行或不执行操作,能自动地区分用户的有意输入和为了除提供用于触发某些操作的输入之外的目的而对显示生成部件的外壳的其他触摸,有助于避免非预期结果,减少用户混淆,并且让用户更快且更容易地操作显示生成部件。

根据一些实施方案,在计算系统处执行方法,该计算系统包括第一显示生成部件、第二显示生成部件和一个或多个输入设备,该方法包括:经由第一显示生成部件显示第一由计算机生成的环境;在经由第一显示生成部件显示第一由计算机生成的环境时,同时经由第二显示生成部件显示:处于经由第一显示生成部件查看第一由计算机生成的环境的位置中的、计算系统的用户的一部分的视觉表示,以及提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素,其中同时显示用户的该部分的视觉表示和该一个或多个图形元素包括:改变用户的该部分的视觉表示以表示相应时间段内用户的外观的变化;以及改变提供第一由计算机生成的环境中的内容的视觉指示的该一个或多个图形元素以表示相应时间段内第一由计算机生成的环境的变化。

根据一些实施方案,在计算系统处执行方法,该计算系统包括第一显示生成部件、第二显示生成部件和一个或多个输入设备,该方法包括:经由第一显示生成部件显示计算机生成的环境;在经由第一显示生成部件显示计算机生成的环境时,经由第二显示生成部件显示与计算系统相对应的状态信息,包括同时显示:处于经由第一显示生成部件查看计算机生成的环境的位置中的、计算系统的用户的一部分的视觉表示,以及提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素;检测相应事件;以及响应于检测到相应事件:改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别;并且改变经由第二显示生成部件显示的状态信息,包括改变计算系统的用户的该部分的视觉表示的外观。

根据一些实施方案,在计算系统处执行方法,该计算系统包括第一显示生成部件、第二显示生成部件和一个或多个输入设备,该方法包括:经由第二显示生成部件显示一个或多个用户界面元素;在经由第二显示生成部件显示该一个或多个用户界面元素时,检测第一显示生成部件已移动到相对于用户的相应部分的预先确定的取向;以及响应于检测到第一显示生成部件已移动到相对于用户的相应部分的预先确定的取向:根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时,计算系统处于第一状态,其中第一状态对应于经由第二显示生成部件显示第一用户界面元素,从而在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时经由第一显示生成部件显示第一用户界面;以及根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时,计算系统处于第二状态,其中第二状态对应于经由第二显示生成部件显示第二用户界面元素而不是经由第二显示生成部件显示第一用户界面元素,从而在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时经由第一显示生成部件显示第二用户界面,其中第二用户界面不同于第一用户界面。

根据一些实施方案,在计算系统处执行方法,该计算系统包括第一显示生成部件和一个或多个输入设备,该方法包括:检测第一触发事件,该第一触发事件对应于第一显示生成部件被置于相对于用户的第一预定义的配置;以及响应于检测到第一触发事件:根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统被用户穿戴,经由第一显示生成部件提供第一由计算机生成的体验;并且根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统未被用户穿戴,经由第一显示生成部件提供与第一由计算机生成的体验不同的第二由计算机生成的体验。

根据一些实施方案,在计算系统处执行方法,该计算系统包括第一显示生成部件和一个或多个输入设备,该方法包括:在显示与物理环境中的物理对象的位置相对应的三维环境中的位置处的物理对象的表示时,显示与物理对象相对应的计算机生成的体验能够用于经由第一显示生成部件显示的视觉指示;在显示计算机生成的体验能够用于经由第一显示生成部件显示的视觉指示时,检测与物理环境中的物理对象的交互;以及响应于检测到与物理环境中的物理对象的交互:根据确定与物理环境中的物理对象的交互满足与物理对象相对应的第一标准,经由第一显示生成部件显示与物理对象相对应的计算机生成的体验;并且根据确定与物理环境中的物理对象的交互不满足第一标准,放弃显示与物理对象相对应的计算机生成的体验。

根据一些实施方案,在计算系统处执行方法,该计算系统包括外壳、容纳在外壳中的第一显示生成部件以及一个或多个输入设备,该方法包括:在容纳第一显示生成部件的外壳上检测第一只手;以及响应于在容纳第一显示生成部件的外壳上检测到第一只手:根据确定检测到第一只手并与在外壳上检测到第二只手相结合,放弃执行与第一只手相关联的操作;并且根据确定在外壳上检测到第一只手而未在外壳上检测到另一只手,执行与第一只手相关联的操作。

根据一些实施方案,计算系统包括一个或多个显示生成部件(例如,包围在相同外壳或不同外壳中的一个或多个显示器、投影仪、头戴式显示器等)、一个或多个输入设备(例如,一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个触觉输出发生器、一个或多个处理器以及存储一个或多个程序的存储器;一个或多个程序被配置为由一个或多个处理器执行,并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案,非暂态计算机可读存储介质在其中存储有指令,这些指令在被具有一个或多个显示生成部件、一个或多个输入设备(例如,一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器的计算系统执行时,使得该设备执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行。根据一些实施方案,具有一个或多个显示生成部件、一个或多个输入设备(例如,一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的计算系统上的图形用户界面包括在本文所述方法中的任一种方法中所显示的元素中的一个或多个元素,该一个或多个元素响应于输入而被更新,如本文所述方法中的任一种方法所描述的。根据一些实施方案,计算系统包括:一个或多个显示生成部件、一个或多个输入设备(例如,一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器;以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些实施方案,用于具有一个或多个显示生成部件、一个或多个输入设备(例如,一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器的计算系统中的信息处理装置包括用于执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行的装置。

因此,为具有一个或多个显示生成部件的计算系统提供了改进的方法和界面来向用户提供计算机生成的体验,从而使得与计算系统的交互对用户来说更有效且更直观。还为这些计算系统提供了改进的方法和界面来向用户提供计算机生成的体验,从而在用户参与各种虚拟现实和混合现实体验时促进更好的社交互动、礼仪和与周围环境的信息交换。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。此类方法和界面还例如通过以下方式改善用户的体验:当用户参与计算系统所提供的虚拟现实体验和/或混合现实体验时,减少由于对于用户和存在于相同物理环境中的他人而言缺少社会线索和视觉信息而引起的错误、打断和时间延迟。

需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本发明的主题。

附图说明

为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。

图1是示出根据一些实施方案的用于提供CGR体验的计算系统的操作环境的框图。

图2是示出根据一些实施方案的计算系统的被配置为管理和协调用户的CGR体验的控制器的框图。

图3是示出根据一些实施方案的计算系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。

图4是示出根据一些实施方案的计算系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。

图5是示出根据一些实施方案的计算系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。

图6是示出根据一些实施方案的闪光辅助的注视跟踪管道的流程图。

图7A至图7E示出了计算系统,该计算系统包括第一显示生成部件和第二显示生成部件(例如,面向不同方向的单独显示器、包围在相同外壳中但面向不同方向(例如,背对背面向相反方向,面向不同角度,使得它们不能被同一用户同时查看等)的显示器)。在一些实施方案中,计算系统经由第一显示生成部件向用户显示内容,同时根据一些实施方案经由第二显示生成部件显示与用户和/或内容相关联的动态更新的状态信息(例如,与第一显示生成部件后面的用户的外观的变化、内容的元数据、与内容回放相关联的沉浸级别的变化等相对应的表示)。

图7F至图7J示出了计算系统,该计算系统包括第一显示生成部件和第二显示生成部件(例如,面向不同方向的单独显示器、包围在相同外壳中但面向不同方向(例如,背对背面向相反方向,面向不同角度,使得它们不能被同一用户同时查看等)的显示器)。在一些实施方案中,计算系统基于与计算系统相关联的上下文信息(例如,第一显示生成部件和第二显示生成部件的位置、用户的身份、当前时间等)经由第二显示生成部件显示计算机生成的不同体验的指示,并且根据一些实施方案,响应于空间关系的变化(例如,从不面向用户眼睛到面向用户眼睛,从搁置在桌子上或袋子中到举到用户的视平线等)和/或第一显示生成部件相对于用户的穿戴状态的变化(例如,从由用户的手部支撑到由用户的头部/鼻部/耳部支撑,从未穿戴在用户的头部/身体上到穿戴在用户的头部/身体上等)而触发经由第一显示生成部件显示与上下文信息相对应的计算机生成的不同体验。在一些实施方案中,计算系统仅包括单个显示生成部件并且/或者在置于相对于用户的预设配置并开始基于显示生成部件的穿戴状态来显示计算机生成的不同体验之前不显示可用计算机生成的体验的指示。

图7K至图7M示出了根据一些实施方案在与混合现实环境中的物理对象的表示相对应的位置处显示计算机生成的体验的可用性的指示,以及响应于检测到与真实世界中的物理对象的预设物理交互而触发显示与物理对象相对应的计算机生成的体验。

图7N至图7Q示出了根据一些实施方案响应于在显示生成部件的外壳上检测到输入并根据在检测到该输入时是否在外壳上检测到一只或两只手而选择执行或不执行操作。

图8是根据一些实施方案显示计算机生成的环境以及与计算机生成的环境相关联的状态信息和与处于查看计算机生成的环境的位置中的用户相关联的状态信息的方法的流程图。

图9是根据一些实施方案显示计算机生成的环境以及与计算机生成的环境相关联的状态信息和与处于查看计算机生成的环境的位置中的用户相关联的状态信息的方法的流程图。

图10是根据一些实施方案基于上下文信息来提供计算机生成的体验的方法的流程图。

图11是根据一些实施方案基于显示生成部件的穿戴状态来提供计算机生成的体验的方法的流程图。

图12是根据一些实施方案基于检测到与真实世界中的物理对象的预设物理交互来触发显示计算机生成的体验的方法的流程图。

图13是根据一些实施方案响应于显示生成部件的外壳上的输入而执行操作的方法的流程图。

具体实施方式

根据一些实施方案,本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。

本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。

在一些实施方案中,计算系统包括第一显示生成部件和第二显示生成部件(例如,单独显示器、包围在相同外壳中但面向不同方向(例如,背对背面向相反方向,面向不同角度,使得它们不能被同一用户同时查看等)的显示器)。第一显示生成部件显示计算机生成的环境,该计算机生成的环境将计算机生成的体验提供给处于查看经由第一显示生成部件呈现的内容的位置中的用户(例如,用户面向显示生成部件的显示侧(例如,由投影仪照明的物理环境的侧面、发出能在用户的视网膜上形成图像的光的显示器的侧面等))。第一显示生成部件任选地提供具有不同沉浸级别的计算机生成的体验,这些不同沉浸级别对应于来自周围物理环境的不同量的视觉和音频信息,在第一显示生成部件提供计算机生成的体验时仍可经由第一显示生成部件感知这些不同量的视觉和音频信息。在正常操作期间(例如,当用户穿戴包括第一显示生成部件的HMD和/或正面向第一显示生成部件的显示侧时),第一显示生成部件阻碍用户直接查看周围物理环境,同时在用户处于查看经由第一显示生成部件示出的内容的位置中时阻碍他人查看用户的面部或眼睛。在一些实施方案中,第一显示生成部件是在HMD被放置在用户的头部上时面向用户眼睛的HMD的内部显示器。传统上,当用户处于查看经由显示生成部件示出的内容的位置中时,用户可以通过在显示具有不同沉浸级别的计算机生成的环境之间切换(例如,在完全透传模式、混合现实模式或虚拟现实模式之间切换)来选择看到物理环境或不看到物理环境。然而,周围环境中面向显示生成部件的背侧的他人对于用户的注意力状态、显示生成部件上正示出什么内容和/或用户是否能够看到周围环境和其中的人具有很少或没有视觉线索。显示生成部件的两侧上的视觉信息(和任选的音频信息)的这种不平衡使得用户与周围环境中的他人之间的社交互动不自然且低效。许多考虑因素可受益于计算系统使用第二显示生成部件来显示适当量的视觉信息,该适当量的视觉信息将与用户相关的状态信息和/或经由第一显示生成部件向用户显示的内容传达给周围环境中的人。第二显示生成部件对状态信息的显示任选地只要第一显示生成部件在使用中就进行显示,或任选地响应于检测到相同物理环境中存在其他人和/或响应于检测到他人可能想要与用户进行社会话语的指示(例如,通过进入相同房间、看向用户的方向、朝用户挥手等)而触发。在一些实施方案中,在第二显示生成部件上示出状态信息包括显示用户的一部分(例如,在用户处于查看经由第一显示生成部件显示的内容的位置中时被第一显示生成部件遮挡的用户的部分)的表示,该表示根据用户的外观的变化(例如,被第一显示生成部件遮挡的用户的部分的变化)来动态更新。在一些实施方案中,示出状态信息还包括显示图形元素,这些图形元素提供当前经由第一显示生成部件示出的内容的视觉指示(例如,与示出用户的该部分的表示同时进行)。使用第二显示生成部件显示与查看经由第一显示生成部件示出的内容的用户相关的更新的状态信息和与该内容的状态相关联的元数据(例如,名称、进度、沉浸级别、显示模式等)的该方法和系统允许用户的周围环境中的他人在用户参与计算机生成的体验时获得对用户的当前状态的有用洞察,但不完全向周围环境展现计算机生成的体验。在一些实施方案中,被第一显示生成部件遮挡的用户的部分(例如,用户眼睛或面部)的表示和示出经由第一显示生成部件显示的内容的状态的图形元素分别显示在第二显示生成部件的不同显示层上并且彼此独立地更新。在一些实施方案中,第二显示生成部件的不同显示层上对用户的该部分的表示和示出内容的状态的图形元素的更新提供了容纳第一显示生成部件和第二显示生成部件两者的头戴式显示设备后面的用户状态的更真实视图。第二显示生成部件上示出的状态信息使得用户能够在通过第一显示生成部件参与计算机生成的体验时与周围环境中的人保持社交联系。第二显示生成部件上的示出用户眼睛的状态和向用户示出的内容的状态的动态更新的状态信息改善了在用户处于公共或半公共环境中时用户参与计算机生成的体验,例如通过在用户期望此类互动时鼓励适当的社交互动,减少周围环境中的他人由于缺少用户同意参与社交活动的视觉线索而对社交互动的不必要回避,向他人通知打断用户参与计算机生成的体验的合适时间,减少由于缺少用户期望保持不受干扰的视觉线索而对用户参与体验的不受欢迎的打断等。

如上所述,许多考虑因素可受益于计算系统使用第二显示生成部件来显示适当量的视觉信息,该适当量的视觉信息将与用户相关的状态信息和经由第一显示生成部件向用户显示的内容传达给周围环境中的其他人。在一些实施方案中,只要第一显示生成部件在使用中,就在第二显示生成部件上显示状态信息。在一些实施方案中,仅响应于检测到相同物理环境中存在其他人和/或响应于检测到相同物理环境中的他人可能想要与用户进行社会话语的一些指示(例如,通过进入相同房间、看向用户的方向、朝用户挥手等)而显示状态信息。在第二显示生成部件上示出状态信息任选地包括显示用户的一部分(例如,在用户处于查看经由第一显示生成部件显示的内容的位置中时被第一显示生成部件遮挡的用户的部分)的表示以及显示图形元素,这些图形元素提供当前经由第一显示生成部件示出的内容的视觉指示。此外,在一些实施方案中,结合经由第一显示生成部件显示的计算机生成的体验的沉浸级别的变化来更新用户的该部分的表示。使用第二显示生成部件显示与查看经由第一显示生成部件示出的内容的用户相关的以及与用户查看的内容相关的状态信息并且更新状态信息(包括根据与内容的提供相关联的沉浸级别的变化来更新用户的该部分的表示的外观)的该方法和系统允许用户的周围环境中的他人在用户参与计算机生成的体验时获得对用户的当前状态的有用洞察,但不完全向周围环境展现计算机生成的体验。在一些实施方案中,对被第一显示生成部件遮挡的用户的部分(例如,用户眼睛或面部)的表示的更新和对示出由第一显示生成部件显示的内容的状态的图形元素的更新在不同显示层上示出并且彼此独立地更新。在不同显示层上显示用户的该部分的表示和示出内容的状态的图形元素提供了容纳第一显示生成部件和第二显示生成部件两者的头戴式显示设备后面的用户状态的更真实视图。在一些实施方案中,经由第二显示生成部件示出的状态信息(例如,包括用户的表示和示出内容的状态的图形元素)任选地提供与用户及处于与用户相同的物理环境中的他人的不同需求相对应的计算系统的许多不同使用模式的视觉指示。这使得用户能够在参与计算机生成的体验时与周围环境中的人保持社交联系。第二显示生成部件上的示出用户眼睛的状态和向用户示出的内容的状态的动态更新的状态信息改善了在用户处于公共或半公共环境中时用户参与计算机生成的体验,例如通过在用户期望此类互动时鼓励适当的社交互动,减少周围环境中的他人由于缺少用户同意参与社交活动的视觉线索而对社交互动的不必要回避,向他人通知打断用户参与计算机生成的体验的合适时间,减少由于缺少用户期望保持不受干扰的视觉线索而对用户参与体验的不受欢迎的打断等。

在一些实施方案中,计算系统包括面向两个不同方向的第一显示生成部件和第二显示生成部件(例如,单独显示器、包围在相同外壳中但面向不同方向(例如,背对背面向相反方向,面向不同角度,使得它们不能被同一用户同时查看等)的显示器)。第一显示生成部件显示计算机生成的环境,该计算机生成的环境在用户进入查看经由第一显示生成部件呈现的内容的位置(例如,面向由投影仪照明的物理环境的侧面、面向发出能在用户的视网膜上形成图像的光的显示器的侧面等)时向用户提供计算机生成的体验。在用户将第一显示生成部件置于相对于用户的该位置和取向以查看其上显示的内容(例如,通过移动显示生成部件或用户自身或两者)之前,用户可处于看到第二显示生成部件上呈现的内容的位置中。在示例性场景中,第一显示生成部件是在HMD被放置在用户的头部上时面向用户眼睛的HMD的内部显示器,并且第二显示生成部件是在HMD位于桌子上或处于远离用户面部伸展的用户手部中并且不放置在用户的头部上或保持在用户眼睛附近时用户可看向的HMD的外部显示器。如本文所公开,计算系统利用第二显示生成部件基于上下文信息(例如,位置、时间、用户身份、用户的授权级别等)来显示计算机生成的不同体验的可用性的指示,并且响应于检测到第一显示生成部件被移动到相对于用户的预先确定的位置和取向中,使得用户能够查看经由第一显示生成部件示出的内容(例如,作为该移动的结果,第一显示生成部件面向用户眼睛),从而触发显示所选择的计算机生成的体验。任选地基于与第一显示生成部件被移动到相对于用户的预先确定的位置和取向中相对应的时间时的第二显示生成部件的状态来选择所显示的计算机生成的体验。基于上下文信息来在第二显示生成部件上指示计算机生成的体验的可用性并且基于第二显示生成部件的状态(和上下文信息的状态)及第一显示生成部件相对于用户的取向变化来自动触发在第一显示生成部件上显示所选择的计算机生成的体验,减少了实现期望结果(例如,获得涉及与当前上下文相关的可用体验的信息并且开始期望的计算机生成的体验)所需的时间和输入数量并且减少了用户错误和使用常规用户界面浏览并开始可用计算机生成的体验所花的时间。

在一些实施方案中,用户可将第一显示生成部件置于相对于用户的该位置和取向以便以不同方式例如即兴或暂时方式(例如,以一定距离保持在用户眼睛的前面或用手保持在用户眼睛的附近)或更正式且已确立的方式(例如,捆绑或以其他方式穿戴在用户的头部或面部上而不由用户的手部支撑)查看其上显示的内容。计算系统根据第一显示生成部件被置于相对于用户的该位置和取向而使得用户能够查看第一显示生成部件上显示的内容的方式来选择性地显示计算机生成的不同体验(例如,计算机生成的体验的不同版本、与用户或上下文特性的不同特征相对应的计算机生成的不同体验、与实际体验相比的体验的预览等)。响应于与第一显示生成部件被置于相对于用户的预定义的配置相对应的触发事件(例如,在没有第一显示生成部件所提供的用户界面中的附加用户输入的情况下自动地开始经由第一显示生成部件显示计算机生成的体验)并根据第一显示生成部件被保持在该位置和取向中的方式(例如,有或没有用户手部的支撑、有或没有除用户手部之外的另一个机构的支撑等)来选择性地显示计算机生成的不同体验,减少了实现期望结果(例如,开始期望的计算机生成的体验)所需的时间和输入数量并且减少了用户错误和使用常规用户界面浏览并开始可用计算机生成的体验所花的时间。

在一些实施方案中,在第二显示生成部件上显示信息(例如,与用户眼睛相关的状态信息、经由第一显示生成部件显示的内容的状态、计算系统的显示模式、可用计算机生成的体验的指示等)有助于减少用户必须穿戴和脱下包括第一显示生成部件和第二显示生成部件两者的HMD和/或激活或停止计算机生成的体验(例如,以应对周围物理环境中的他人)和/或寻找期望的计算机生成的体验的次数。这有助于节省用户的时间,减少电力使用并减少用户错误,并且在用户使用这些显示生成部件时改善用户体验。在一些实施方案中,检测到真实世界中的物理对象的物理操纵的预设方式,并且这些预设方式用作用于启动与物理对象相关的计算机生成的体验的触发条件。在一些实施方案中,在启动与物理对象相关的计算机生成的体验之前,在与混合现实环境中的物理对象的表示的位置相对应的混合现实环境中的位置处显示可用计算机生成的体验的视觉指示和任选关于如何启动计算机生成的体验的视觉引导(例如,预览和动画)。除了显示与计算机生成的体验的可用性有关的视觉指示和/或与触发计算机生成的体验所需的物理操纵有关的视觉引导之外,还使用物理对象的预设物理操纵来触发显示与物理对象相关联的计算机生成的体验,允许用户更直观、更快速地并在输入更少的情况下实现期望结果(例如,进入期望的计算机生成的体验)。该用户交互启发法还有助于在用户与物理对象交互时减少用户错误,从而使人机界面更有效,这节省了电池操作的计算系统的电力。

在一些实施方案中,显示生成部件容纳在外壳中,该外壳包括用于检测外壳的各个部分附近或之上的触摸或悬停输入的传感器(或另外具有相关联的外部传感器)。使用不同类型(例如,基于移动模式(例如,轻击、轻扫等)、持续时间(例如,长、短等)、强度(例如,轻、深等)等)的并在外壳的外部之上或附近的不同位置处的触摸输入和/或悬停输入来触发与显示生成部件或显示生成部件所显示的计算机生成的环境相关联的不同操作。使用交互启发法根据在检测到输入时是否在外壳上检测到单只手或两只手来确定是否应执行操作。使用外壳上检测到的手的数量作为用户是打算提供输入还是仅仅用他的手调整显示生成部件的位置的指示符,有助于减少显示生成部件的意外或无意操作,从而使人机界面更有效,这节省了电池操作的计算系统的电力。

图1至图6提供了对用于向用户提供CGR体验的示例性计算系统的描述。图7A至图7E示出了根据一些实施方案的计算系统,该计算系统经由第一显示生成部件向用户显示内容,同时经由第二显示生成部件显示与用户和/或内容相关联的动态更新的状态信息。图7F至图7J示出了根据一些实施方案的计算系统,该计算系统基于上下文信息经由第二显示生成部件显示计算机生成的不同体验的指示,并且响应于检测到相对于用户的空间关系的变化并任选地根据第一显示生成部件相对于用户的穿戴状态来触发经由第一显示生成部件显示与上下文信息相对应的计算机生成的不同体验。图7K至图7M示出了根据一些实施方案显示与增强现实环境中的物理对象相关联的计算机生成的体验的可用性的指示,并且响应于检测到与物理对象的预设物理交互而触发显示与物理对象相对应的计算机生成的体验。图7N至图7Q示出了根据一些实施方案根据确定在外壳上检测到输入时是否在外壳上检测到一只或两只手而选择执行或不执行与显示生成部件的外壳上检测到的输入相关联的操作。图8是根据一些实施方案显示计算机生成的环境和状态信息的方法的流程图。图9是根据一些实施方案显示计算机生成的环境和状态信息的方法的流程图。图10是根据一些实施方案基于上下文信息来提供计算机生成的体验的方法的流程图。图11是根据一些实施方案基于显示生成部件的穿戴状态来提供计算机生成的体验的方法的流程图。图12是根据一些实施方案基于与物理对象的物理交互来触发显示计算机生成的体验的方法的流程图。图13是根据一些实施方案响应于在显示生成部件的外壳上检测到的输入而执行操作的方法的流程图。图7A至图7Q中的用户界面分别用于示出图8至图13中的过程。

在一些实施方案中,如图1所示,经由包括计算系统101的操作环境100向用户提供CGR体验。计算系统101包括控制器110(例如,便携式电子设备或远程服务器的处理器)、一个或多个显示生成部件120(例如,包围在相同外壳中并面向不同方向或者包围在单独外壳中的一个或多个头戴式设备(HMD)、具有内部显示器和外部显示器的HMD、一个或多个显示器、一个或多个投影仪、一个或多个触摸屏等)、一个或多个输入设备125(例如,眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如,扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如,图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等),以及任选的一个或多个外围设备195(例如,家用电器、可穿戴设备等)。在一些实施方案中,输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如,在头戴式设备中(例如,HMD的外壳或HMD的面向外的显示器上)或手持式设备中)。

在描述CGR体验时,各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如,利用由生成CGR体验的计算系统101检测到的输入进行交互,这些输入使得生成CGR体验的计算系统生成与提供给计算系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集:

物理环境:物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

计算机生成的现实:相反地,计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中,跟踪人的物理运动的子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,该音频对象创建3D或空间音频环境,该3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实:虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实:与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实:增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟:增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

硬件:有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置成接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图,或者投影到物理表面上。在一些实施方案中,控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中,控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中,控制器110是相对于场景105(例如,物理设置/环境)处于本地或远程位置的计算设备。例如,控制器110是位于场景105内的本地服务器。又如,控制器110是位于场景105之外的远程服务器(例如,云服务器、中央服务器等)。在一些实施方案中,控制器110经由一个或多个有线或无线通信通道144(例如,蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如,包围在相同外壳中或不同外壳中的一个或多个HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中,控制器110包括在显示生成部件120(例如,HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围设备195中的一个或多个外围设备的壳体(例如,物理外壳)内,或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。

在一些实施方案中,显示生成部件120中的至少一个显示生成部件被配置为向用户提供CGR体验(例如,至少CGR体验的视觉组成部分)。在一些实施方案中,显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120的示例。在一些实施方案中,控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。

根据一些实施方案,在用户虚拟地和/或物理地存在于场景105内时,显示生成部件120中的至少一个显示生成部件向用户提供CGR体验。

在一些实施方案中,显示生成部件穿戴在用户身体的一部分上(例如,他/她的头部上、他/她的手部上等)。因此,显示生成部件120中的至少一个显示生成部件包括被提供用于显示CGR内容的一个或多个CGR显示器。例如,在各种实施方案中,显示生成部件120中的至少一个显示生成部件包围用户的视场。在一些实施方案中,显示生成部件120中的至少一个显示生成部件是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑),并且用户以显示器朝向用户的视场且相机朝向场景105的方式保持设备。在一些实施方案中,手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中,手持式设备被任选地放置在用户前面的支撑件(例如,三脚架)上。在一些实施方案中,显示生成部件120中的至少一个显示生成部件是被配置为呈现CGR内容的CGR室、壳体或房间,其中用户不穿戴或保持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如,手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如,HMD或其他可穿戴计算设备)上实现。例如,示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现,其中交互发生在HMD前面的空间中,并且对CGR内容的响应经由HMD来显示。类似地,示出基于手持式设备或三脚架安装的设备相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现,其中移动是由HMD相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动引起的。

尽管在图1中示出了操作环境100的相关特征,但本领域的普通技术人员将从本公开中认识到,为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面,未示出各种其他特征。

图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。为此,作为非限制性示例,在一些实施方案中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、IEEE802.3x、IEEE802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些实施方案中,一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中,存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统230和CGR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中,CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如,一个或多个用户的单重CGR体验,或一个或多个用户的相应群组的多重CGR体验)。为此,在各种实施方案中,CGR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。

在一些实施方案中,数据获取单元241被配置为从图1的显示生成部件120中的至少一个或多个显示生成部件,以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。为此,在各种实施方案中,数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,跟踪单元242被配置为映射场景105,并且跟踪显示生成部件120中的至少一个或多个显示生成部件相对于图1的场景105并任选地相对于输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置/定位。为此,在各种实施方案中,跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中,跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中,手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的位置/定位,以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120中的至少一个显示生成部件和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元244。在一些实施方案中,眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地,用户的眼睛、面部或头部)相对于场景105(例如,相对于物理环境和/或相对于用户(例如,用户的手部))或相对于经由显示生成部件120中的至少一个显示生成部件显示的CGR内容的位置或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。

在一些实施方案中,协调单元246被配置为管理和协调由显示生成部件120中的至少一个显示生成部件,以及任选地由输出设备155和/或外围设备195中的一者或多者呈现给用户的CGR体验。出于该目的,在各种实施方案中,协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,数据传输单元248被配置为将数据(例如,呈现数据、位置数据等)传输到显示生成部件120中的至少一个显示生成部件,并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的,在各种实施方案中,数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元241、跟踪单元242(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如,控制器110)上,但应当理解,在其他实施方案中,数据获取单元241、跟踪单元242(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。

此外,图2更多地用作可以存在于特定具体实施中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图3是根据一些实施方案的显示生成部件120中的至少一个显示生成部件的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。为此,作为非限制性示例,在一些实施方案中,包括显示生成部件120的计算系统(例如,HMD)还包括相同外壳中的一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些实施方案中,一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如,结构光、飞行时间等)等。

在一些实施方案中,一个或多个CGR显示器312被配置为向用户提供CGR体验和任选与CGR体验相关的状态信息。在一些实施方案中,一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中,一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,HMD包括单个CGR显示器。在另一个示例中,HMD包括用于用户的每只眼睛的CGR显示器。在一些实施方案中,一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中,一个或多个CGR显示器312能够呈现AR或VR内容。在一些实施方案中,HMD包括在HMD被放置在用户的头部上时面向用户眼睛的一个或多个CGR显示器以及背对用户眼睛(例如,朝向外部环境)的一个或多个CGR显示器。在一些实施方案中,计算系统是CGR房间或CGR壳体,并且CGR房间或CGR壳体在内部包括向CGR房间或壳体内的用户提供CGR内容的CGR显示器,并任选地在外部包括显示与CGR内容和内部用户的状态相关的状态信息的一个或多个外围显示器。

在一些实施方案中,一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为面向前方,以便获取与在不存在显示生成部件120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统330和CGR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中,CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。为此,在各种实施方案中,CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346、数据传输单元348以及任选用于显示与用户和CGR内容相关的状态信息的其他操作单元。

在一些实施方案中,数据获取单元342被配置为至少从图1的控制器110获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的,在各种实施方案中,数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容和相关联的状态信息。出于所述目的,在各种实施方案中,CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如,混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的,在各种实施方案中,CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些实施方案中,数据传输单元348被配置为将数据(例如,呈现数据、位置数据等)传输到至少控制器110,以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的,在各种实施方案中,数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如,图1的显示生成部件120)上,但应当理解,在其他实施方案中,数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外,图3更多地用作可能存在于特定实施方案中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中,手部跟踪设备140(图1)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的位置/定位,以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如,相对于用户周围的物理环境的一部分、相对于显示生成部件120中的至少一个显示生成部件,或者相对于用户的一部分(例如,用户的面部、眼睛或头部),以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中,手部跟踪设备140是显示生成部件120中的至少一个显示生成部件的一部分(例如,嵌入与显示生成部件相同的外壳中或附接到该外壳(例如,在头戴式设备中))。在一些实施方案中,手部跟踪设备140与显示生成部件120分开(例如,位于单独的外壳中或者附接到单独的物理支撑结构)。

在一些实施方案中,手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如,一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像,以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像,并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中,图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中,图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境,或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中,以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器,在该交互空间中,由图像传感器捕获的手部移动被视为到控制器110的输入。

在一些实施方案中,图像传感器404将包含3D映射数据(以及此外,可能的彩色图像数据)的帧序列输出到控制器110,该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序,该应用程序相应地驱动显示生成部件120。例如,用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。

在一些实施方案中,图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中,控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的,因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中,假设图像传感器404限定x轴、y轴、z轴的正交集合,使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地,手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法,诸如立体成像或飞行时间测量。

在一些实施方案中,手部跟踪设备140在用户移动他的手部(例如,整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配,以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。

软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替,使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计,而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像,或者执行其他功能。

在一些实施方案中,软件可以例如通过网络以电子形式下载到控制器110,或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中,数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外,计算机的所描述的功能中的一些或全部可以在专用硬件(诸如,定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110,但是举例来说,作为与图像传感器440分开的单元,控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中,这些处理功能中的至少一些处理功能可由与显示生成部件120(例如,在电视机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如,游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。

图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述,深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即,测量的距图像传感器404的z距离)成反比,其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即,一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。

图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中,骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中,手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如,与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中,控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。

图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中,眼睛跟踪设备130由眼睛跟踪单元244(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120中的至少一个显示生成部件显示的CGR内容的位置和移动。在一些实施方案中,眼睛跟踪设备130与显示生成部件120中的至少一个显示生成部件集成。例如,在一些实施方案中,当显示生成部件120是头戴式设备(诸如,头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备的一部分时,该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中,眼睛跟踪设备130与显示生成部件120分开。例如,当显示生成部件由手持式设备或CGR室提供时,眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中,眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中,头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件中的至少一个显示生成部件或不是头戴式的显示生成部件中的至少一个显示生成部件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地与头戴式显示生成部件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地是非头戴式显示生成部件的一部分。

在一些实施方案中,显示生成部件120中的至少一个显示生成部件使用显示机构(例如,左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧,从而向用户提供3D虚拟视图。例如,头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中,显示生成部件120中的至少一个显示生成部件可包括或耦接到一个或多个外部摄像机,该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中,头戴式显示生成部件可具有透明或半透明显示器,并且在该透明或半透明显示器上显示虚拟对象,用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中,显示生成部件120中的至少一个显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影,使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下,可能不需要用于左眼和右眼的单独的显示面板和图像帧。

如图5中所示,在一些实施方案中,注视跟踪设备130包括至少一个眼睛跟踪相机(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛发射光(例如,IR或NIR光)的照明源(例如,IR或NIR光源,诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光,或者另选地可指向位于用户眼睛和显示面板之间的“热”镜,这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机,同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如,作为以每秒60帧-120帧(fps)捕获的视频流),分析这些图像以生成注视跟踪信息,并将注视跟踪信息传送到控制器110。在一些实施方案中,用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中,通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。

在一些实施方案中,使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数,例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前,可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案,用户特定的校准过程可以包括对特定用户的眼睛参数的估计,例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案,一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数,就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像,以确定当前视轴和用户相对于显示器的注视点。

如图5中所示,眼睛跟踪设备130(例如,130A或130B)包括眼睛透镜520和注视跟踪系统,该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛592发射光(例如,IR或NIR光)的照明源530(例如,IR或NIR光源,诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如,头戴式显示器的左显示面板或右显示面板、头戴式设备的内部显示器或手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光,同时允许可见光通过)(例如,如图5的顶部部分所示),或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如,如图5的底部部分所示)。

在一些实施方案中,控制器110渲染AR或VR帧562(例如,用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的,例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。

以下描述了用户当前注视方向的几种可能的使用案例,并且不旨在进行限制。作为示例性使用案例,控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如,控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例,控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后,外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例,眼睛透镜520可以是可聚焦透镜,并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点,使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点,使得用户正看向的靠近的对象出现在正确距离处。

在一些实施方案中,眼睛跟踪设备是头戴式设备的一部分,该部分包括安装在可穿戴外壳中的显示器(例如,显示器510)、两个眼睛透镜(例如,眼睛透镜520)、眼睛跟踪相机(例如,眼睛跟踪相机540),以及光源(例如,光源530(例如,IR或NIR LED))。光源朝向用户眼睛592发射光(例如,IR或NIR光)。在一些实施方案中,光源可围绕透镜中的每个透镜布置成环或圆圈,如图5中所示。在一些实施方案中,例如,八个光源530(例如,LED)围绕每个透镜520布置。然而,可使用更多或更少的光源530,并且可使用光源530的其他布置和位置。

在一些实施方案中,显示器510发射可见光范围内的光,并且不发射IR或NIR范围内的光,并且因此不会在注视跟踪系统中引入噪声。需注意,眼睛跟踪相机540的位置和角度以举例的方式给出,并且不旨在进行限制。在一些实施方案中,单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中,可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中,可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中,可在用户面部的每一侧上使用以一个波长(例如,850nm)操作的相机540和以不同波长(例如,940nm)操作的相机540。

如图5中所示的注视跟踪系统的实施方案可以例如用于计算机生成的现实(例如,包括虚拟现实和/或混合现实)应用程序,以向用户提供计算机生成的现实(例如,包括虚拟现实、增强现实和/或增强虚拟)体验。

图6示出了根据一些实施方案的闪光辅助的注视跟踪管道。在一些实施方案中,注视跟踪管道通过闪光辅助的注视跟踪系统(例如,如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初,跟踪状态为关闭或“否”。当处于跟踪状态时,当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时,闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时,闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光,并且如果成功,则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。

如图6中所示,注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪管道以用于在610处开始处理。如返回到元素600的箭头所指示的,注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中,可以将每组所捕获的图像输入到管道以用于处理。然而,在一些实施方案中或在一些条件下,不是所有所捕获的帧都由管道处理。

在610处,对于当前所捕获的图像,如果跟踪状态为是,则方法前进到元素640。在610处,如果跟踪状态为否,则如620处所指示的,分析图像以检测图像中的用户瞳孔和闪光。在630处,如果成功检测到瞳孔和闪光,则方法前进到元素640。否则,方法返回到元素610以处理用户眼睛的下一个图像。

在640处,如果从元素410前进,则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处,如果从元素630前进,则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如,可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处,如果结果不可能是可信的,则跟踪状态被设置为否,并且方法返回到元素610以处理用户眼睛的下一个图像。在650处,如果结果是可信的,则方法前进到元素670。在670处,跟踪状态被设置为YES(如果尚未为是),并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。

图6旨在用作能够用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的,根据各种实施方案,在用于向用户提供CGR体验的计算系统101中,当前存在或未来开发的其他眼睛跟踪技术能够用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。

在本公开中,相对于与计算系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例,并且使用另一个输入设备或输入方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地,相对于与计算系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例,并且使用另一个输出设备或输出方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地,相对于通过计算系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时,并且使用混合现实环境来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此,本公开公开了作为多个示例的特征的组合的实施方案,而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。

现在将注意力转向可在具有一个或多个显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算系统(诸如,便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。

图7A至图7E示出了根据一些实施方案的计算系统(例如,图1中的计算系统101或图4中的计算系统140等),该计算系统包括至少第一显示生成部件(例如,显示器7100)和第二显示生成部件(例如,显示器7102),其中该计算系统经由第一显示生成部件(例如,显示器7100)向用户显示计算机生成的内容,同时经由第二显示生成部件(例如,显示器7102)显示与用户和/或内容相关联的动态更新的状态信息。图7A至图7E用于示出下文描述的过程,包括图8至图13中的过程。

如图7A的左部分中所示,第一显示生成部件(例如,显示器7100)存在于位置A7000-a处并且显示CGR内容(例如,三维电影、虚拟现实游戏、视频、包括用户界面对象的三维环境等)。第一用户7202也存在于位置A 7000-a处。

如图7A的右部分中所示,第二显示生成部件(例如,显示器7102)存在于位置B7000-b处并且显示与第一用户7202和/或经由第一显示生成部件(例如,显示器7100)呈现的CGR内容相对应的状态信息。在图7A所示的示例性场景中,第二用户7204也存在于位置B7000-b处。

如图7A所示,第一显示生成部件(例如,显示器7100)与第一用户7202之间的空间关系使得第一用户7202处于查看经由第一显示生成部件呈现的CGR内容的位置中。例如,第一用户7202面向第一显示生成部件的显示侧。在一些实施方案中,第一显示生成部件是HMD的内部显示器,并且由显示器7100和第一用户7202共存于相同位置A 7000-a中所表示的空间关系对应于第一用户以HMD的内部显示器面向用户眼睛的方式穿戴或保持HMD。在一些实施方案中,当第一用户面向由第一显示生成部件的投影系统照明的物理环境的一部分时,第一用户处于查看经由第一显示生成部件呈现的CGR内容的位置中。例如,虚拟内容投影到物理环境的一部分上,并且用户通过物理环境的该部分的相机视图或在用户面向第一显示生成部件的显示侧时通过第一显示生成部件的透明部分看到虚拟内容和物理环境的该部分。在一些实施方案中,当用户面向第一显示生成部件的显示侧时,第一显示生成部件发射在用户的视网膜上形成图像的光。例如,虚拟内容由LCD或LED显示器显示为覆盖或替换LCD或LED显示器所显示的物理环境的视图的一部分,并且面向LCD或LED显示器的显示侧的用户可看到虚拟内容连同物理环境的该部分的视图。在一些实施方案中,第一显示生成部件显示第一用户前面的物理环境的相机视图或包括透明或半透明部分,通过该透明或半透明部分,第一用户可看见第一用户前面的物理环境的一部分。在一些实施方案中,让第一用户通过第一显示生成部件可看见的物理环境的该部分是与第二显示生成部件7102的显示侧相对应的物理环境的部分(例如,包括第二显示生成部件的显示侧和任选的第二用户7204的位置B 7000-b)。在一些实施方案中,第二显示生成部件的显示侧是在第一用户处于查看第一显示生成部件所示出的内容的位置中时(例如,在第一用户面向第一显示生成部件的显示侧时)背对第一用户的第二显示生成部件的侧面,并且该侧面发射形成面向第一用户的预设部分的他人(例如,物理环境中面向第一用户的面部或眼睛的第二用户7204或他人)可查看的图像的光。

如图7A所示,第二显示生成部件(例如,显示器7102)与第二用户7204之间的空间关系使得第二用户7204处于查看第二显示生成部件所呈现的状态信息的位置中。例如,第二用户7204位于第二显示生成部件的显示侧的前面和/或面向该显示侧。在一些实施方案中,第二显示生成部件是HMD的外部显示器,该HMD还包括向第一用户7202呈现CGR内容的内部显示器(例如,由显示器7100表示)。在这种实施方案中,由显示器7102和第二用户7204共存于相同位置B 7000-b中表示的空间关系对应于第二用户处于HMD的外部显示器面向的物理环境的一部分中(例如,物理环境还托管第一显示生成部件和第一用户7202)。在一些实施方案中,第一显示生成部件在第一用户的前面显示物理环境的相机视图或包括透明或半透明透传部分,通过该透明或半透明透传部分,第一用户可看见第一用户前面的物理环境的一部分,并且包括在相机视图或透传部分中的物理环境的该部分也是在第二显示生成部件的显示侧的前面的物理环境的部分。在一些实施方案中,第二显示生成部件与第一显示生成部件背对背地定位,使得在第二显示生成部件7102的显示侧的前面的物理环境的部分(例如,包括第二显示生成部件的显示侧和任选的第二用户7204的位置B7000-b)也在第一用户的前面,并且在第一显示生成部件和第二显示生成部件未遮挡第一用户的面部时在第一用户的视场内。

如上所阐述并将在此处重申,尽管图7A(和图7B至图7J)将第一显示生成部件(例如,显示器7100)和第二显示生成部件(例如,显示器7102)示出为位于物理环境的两个单独且不相连的部分中,但是应当理解,第一显示生成部件和第二显示生成部件任选地是容纳在相同外壳(例如,单个HMD的外壳)中或附接到相同支撑结构(例如,彼此背对背地附接或附接在单个壁或表面的两侧上)并面向不同(例如,基本上相反)方向的两个显示生成部件。因此,位置A 7000-a表示物理环境的第一部分,面向第一显示生成部件的显示侧的第一用户(例如,第一用户7202)可从该第一部分看见经由第一显示生成部件(例如,CGR内容)呈现的内容,并且第一用户(例如,第一用户7202)不能从该第一部分看见经由第二显示生成部件呈现的内容(例如,状态信息);并且位置B 7000-b表示相同物理环境的第二部分,面向第二显示生成部件的显示侧的另一个用户(例如,第二用户7204)不能从该第二部分看见经由第一显示生成部件呈现的内容(例如,CGR内容),并且所述另一用户(例如,第二用户7204)可从该第二部分看见经由第二显示生成部件呈现的内容(例如,状态信息)。在本文呈现的公开中,第一显示生成部件和第二显示生成部件由相同计算系统(例如,HMD、与显示生成部件分开容纳的便携式电子设备、具有面向不同方向的两个显示器的便携式电子设备、远程服务器计算机等)控制,并且除非另外指明,否则计算系统的用户通常是指能控制至少第一显示生成部件以将第一显示生成部件或他自己/她自己置于使他/她能够看见经由第一显示生成部件示出的CGR内容的位置中的人。

如图7A所示,控制第一显示生成部件和第二显示生成部件的计算系统与第一图像传感器(例如,相机7104)和第二图像传感器(例如,相机7106)通信。第一图像传感器被配置为捕获物理环境(例如,位置A 7000-a)的一部分的图像,该部分包括面向第一显示生成部件(例如,显示器7100)的显示侧的第一用户的至少一部分(例如,第一用户7202的面部和/或眼睛)并且不包括第二用户7204(或在第一显示生成部件是第一用户所穿戴的HMD的内部显示器的情况下,不包括任何其他用户)。第二图像传感器被配置为捕获物理环境(例如,位置B 7000-b)的一部分的图像,该部分不包括第一用户的该部分(例如,第一用户7202的面部或眼睛)但包括第二用户的至少一部分(例如,处于第一显示生成部件所提供的第一用户7202的视场中的第二用户7204的部分)。如先前所讨论,在一些实施方案中,第二图像传感器7106所捕获的物理环境的部分包括在第一用户的眼睛未因第二显示生成部件的存在(以及任选地第一显示生成部件的存在)而被物理地遮挡时处于第一用户的视场中的物理环境的部分。类似地,在一些实施方案中,第一图像传感器7104所捕获的物理环境的部分包括因第一显示生成部件的存在(以及任选地第二显示生成部件的存在)而被物理地遮挡的用户的部分(例如,用户的面部或眼睛)。在一些实施方案中,计算系统还与第一图像传感器、第二图像传感器和/或其他图像传感器通信以接收第一用户和/或第二用户的手部和手腕的图像以便识别第一用户和/或第二用户所提供的手势输入。在一些实施方案中,第一图像传感器7104还用于捕获第一用户所提供的注视输入。在一些实施方案中,第一图像传感器和第二图像传感器任选地用作用于捕获第一用户和/或第二用户的手势输入的图像传感器。

在一些实施方案中,计算系统任选地控制一个或多个音频输出设备,该一个或多个音频输出设备分别向存在于位置A 7000-a处的第一用户提供音频输出(例如,CGR内容的声音)并且任选地向存在于位置B 7000-b处的第二用户提供音频输出(例如,状态指示声音或警示、CGR内容的声音等)。在一些实施方案中,计算系统任选地(例如,通过一个或多个有源或无源噪声抑制或消除部件)将位置A和第一用户与从位置B传播的声音部分地或完全地阻隔开来,并且任选地将位置B和第二用户与从位置A传播的声音部分地或完全地阻隔开来。在一些实施方案中,有源声音阻隔或声音透传的量由计算系统基于与经由第一显示生成部件示出的CGR内容相关联的当前沉浸级别(例如,在处于透传模式时无声音阻隔、或在处于混合现实模式时部分声音阻隔、在处于虚拟现实模式时完全声音阻隔等)并且任选地基于是否有另一个用户存在于位置B处(例如,位置B处不存在人时无声音阻隔、位置B处存在人或噪声级别超过阈值级别时声音阻隔等)来确定。

在一些实施方案中,如图7A所示,在第一用户7202处于查看CGR内容的位置中(例如,第一用户7202与第一显示生成部件并置于位置A中并且至少部分地面向第一显示生成部件的显示侧,第一用户将HMD穿戴在她的头部上,以内部显示器位于她的眼睛前面的方式保持HMD等)时,计算系统经由第一显示生成部件(例如,显示器7100或HMD的内部显示器)显示CGR内容7002(例如,在图7A中示出为7002-a)。在图7A所示的时刻,计算系统正显示电影X(例如,三维电影、二维电影、交互式计算机生成的体验等)。该电影在混合现实模式下显示,其中该电影的内容与物理环境的表示(例如,位置B(例如,处于第一用户的前面并因第一显示生成部件的存在而被遮挡的物理环境的部分)的表示)通过第一显示生成部件同时可见。在一些实施方案中,该混合现实模式对应于与经由第一显示生成部件呈现的CGR内容相关联的中间沉浸级别。在一些实施方案中,中间沉浸级别还对应于从物理环境(例如,位置B(例如,第一用户周围的物理环境的部分))传播的声音的部分阻隔或部分透传。在该示例中,物理环境的表示包括位于位置B 7000-b中、处于第二显示生成部件7102的前面(例如,还处于第一显示生成部件7100的背侧的前面)的第二用户7204的表示7010(例如,在图7A中示出为7010-a)。在一些实施方案中,物理环境的表示包括在用户眼睛未因第一显示生成部件和第二显示生成部件的存在而被遮挡时(例如,在第一用户未穿戴HMD或将HMD保持在他/她的眼睛前面时)将位于第一用户的视场内的物理环境的部分的相机视图。在混合现实模式下,CGR内容7002(例如,电影X、三维增强现实环境、用户界面、虚拟对象等)被显示为覆盖或替换物理环境的表示的至少一部分而非全部。在一些实施方案中,第一显示生成部件包括透明部分,通过该透明部分,第一用户可看见物理环境的一部分。在一些实施方案中,在混合现实模式下,CGR内容7002(例如,电影X、三维增强现实环境、用户界面、虚拟对象等)投影到物理环境中的物理表面或空白空间上并且通过透明部分与物理环境一起可见并通过第一显示生成部件的透明部分可查看或通过第一显示生成部件所提供的物理环境的相机视图可查看。在一些实施方案中,CGR内容7002被显示为覆盖显示器的一部分并且遮挡通过第一显示生成部件的透明或半透明部分可见的物理环境的至少一部分而非全部的视图。在一些实施方案中,第一显示生成部件7100不提供物理环境的视图,而是提供用如由一个或多个传感器(例如,相机、运动传感器、其他姿势传感器等)当前捕获的物理环境的实时视觉表示(例如,程式化的表示或分割的相机图像)增强的完全虚拟的环境(例如,没有相机视图或透明透传部分)。在混合现实模式下(例如,基于相机视图或透明显示器的增强现实,或基于物理环境的虚拟化表示的增强虚拟),第一用户不完全沉浸于计算机生成的环境中,并且仍在接收与第一用户和第一显示生成部件周围的物理环境直接对应的感官信息(例如,视觉和音频)。

如图7A所示,在计算系统经由第一显示生成部件7100在混合现实模式下显示CGR内容7002-a(例如,电影X、三维增强现实环境、用户界面、虚拟对象等)的同时,计算系统经由第二显示生成部件(例如,显示器7102或HMD的外部显示器)显示与第一用户和CGR内容相关的状态信息。如图7A的右部分中所示,第二显示生成部件(例如,显示器7102或HMD的外部显示器)显示表示经由第一显示生成部件(例如,显示器7100或HMD的内部显示器)显示的CGR内容7002的状态的一个或多个图形元素,以及在第一显示生成部件(例如,显示器7100或HMD的内部显示器)的显示侧前面的第一用户7202的至少一部分的表示7006(例如,在图7A中示出为7006-a)。在该示例中,表示经由第一显示生成部件显示的CGR内容的状态的一个或多个图形元素任选地包括CGR内容的标识符(例如,电影X的名称)、示出CGR内容的当前进度的进度条7004(例如,在图7A中示出为7004-a)和CGR内容的视觉表示7008(例如,在图7A中示出为7008-a)。在一些实施方案中,CGR内容的视觉表示7008使一些CGR内容模糊不清(例如,通过模糊、畸变等)并且仅仅传达CGR内容的变化感觉和颜色或色调。如图7A的右部分中所示,第一用户7202的该部分的表示7006任选地包括第一用户的面部的相机视图或基于第一用户的面部的相机视图来生成的图形表示。在一些实施方案中,第一用户7202的该部分的表示任选地包括第一用户的眼睛的相机视图或基于在第一显示生成部件的显示侧前面的第一用户的眼睛的相机视图来生成的图形表示。在一些实施方案中,第一用户7202的该部分的表示在与表示经由第一显示生成部件显示的CGR内容的状态的一个或多个图形元素的显示层不同的显示层中显示。在一些实施方案中,由第二显示生成部件同时显示CGR内容的状态的表示和第一用户的该部分的表示提供了正经由第一显示生成部件在混合现实模式下显示CGR内容并且为第一用户提供物理环境的视图及CGR内容的指示。通过在第一用户的面部和/或眼睛因第一显示生成部件的存在(以及任选地第二显示生成部件的存在)(例如,因包括内部显示器和外部显示器的HMD的存在)而被遮挡时在第二显示生成部件上显示第一用户的面部和/或眼睛的视觉表示以及第一用户所查看的CGR内容的状态的表示,为第一用户的周围物理环境中的其他用户提供了用于发起或克制与第一用户的交互或者在存在第一用户的情况下使他自己/她自己以适当的方式行事的更多信息。

图7B跟随图7A,并且示出了在稍后时间,CGR内容在第一显示生成部件(例如,显示器7100或HMD的内部显示器)上已有进一步的进展,并且第一用户的外观已改变。例如,第一用户的外观的变化是由于第一用户7202的至少一部分(例如,第一用户的眼睛或面部)相对于第一显示生成部件的移动(例如,该移动包括第一用户的眼球的侧向移动、用户眼睛的眨动、用户眼睛的闭上或睁开、用户眼球的上下移动等;和/或该移动包括用户的面部或头部在位置A 7000-a内相对于第一显示生成部件的显示侧的移动(例如,远离或朝向第一显示生成部件移动等))(例如,在第一用户仍穿戴着HMD和/或面向HMD的内部显示器时)。此时,CGR内容7002还是在混合现实模式下显示,并且物理环境(例如,包括第二用户7204的位置B)的表示7010(例如,被示出为7010-b)仍然经由第一显示生成部件与CGR内容7002同时显示。在一些实施方案中,物理环境的外观的任何变化(例如,第二用户7204相对于第一显示生成部件、第二显示生成部件和/或第一用户等的移动)也由第一显示生成部件所示出的物理环境的表示7010反映。在一些实施方案中,根据第一用户的该部分相对于第一显示生成部件的移动(例如,第一用户的眼睛或面部的移动),计算系统更新经由第二显示生成部件7102显示的表示7006(例如,在图7B中示出为7006-b)。例如,当第一用户7202或其一部分(例如,用户的面部或眼睛)在朝向第一显示生成部件7100的第一边缘(例如,第一显示生成部件的显示侧的左边缘、第一显示生成部件的显示侧的顶部边缘等)的方向上移动时,第二显示生成部件的显示侧上示出的第一用户的该部分的表示7006也朝向第二显示生成部件的对应第二边缘(例如,第二显示生成部件的显示侧的右边缘(例如,对应于第一显示生成部件的显示侧的左边缘)、第二显示生成部件的显示侧的顶部边缘(例如,对应于第一显示生成部件的显示侧的顶部边缘)等)移动。除了更新第一用户的该部分的表示7006之外,计算系统还更新第二显示生成部件上的CGR内容的状态的表示。例如,更新进度条7004(例如,在图7B中示出为7004-b)以示出自图7A所示的时间以来CGR内容的回放已前进第一量。在一些实施方案中,还根据第一显示生成部件(例如,显示器7100、HMD的内部显示器等)上示出的CGR内容7002的当前外观来更新如第二显示生成部件(例如,显示器7102、HMD的外部显示器等)上所示出的CGR内容的表示7008(例如,在图7B中示出为7008-b)。在一些实施方案中,示出第一用户的该部分的外观的实时更新(例如,在第一显示生成部件的后面示出第一用户的面部和眼睛的变化和移动)并且示出第一显示生成部件所示出的CGR内容的状态的实时或周期性更新,允许第一用户周围的物理环境中(例如,在位置B处)的他人获得关于第一用户的注意力状态以及当前时间是否适合与第一用户交谈或打断第一用户的信息。在一些实施方案中,虽然第一用户的外观和CGR内容的变化由第二显示生成部件所示出的状态信息的更新反映,但物理环境的外观的任何变化(例如,第二用户7204相对于第一显示生成部件、第二显示生成部件和/或第一用户等的移动)也由第一显示生成部件所示出的物理环境的表示7010反映。

图7C跟随图7A,并且示出了在稍后时间,CGR内容在第一显示生成部件7100上已有进一步的进展,并且第二用户7204已相对于第二显示生成部件7204移动并正从与图7A所示的场景相比不同的角度查看第二显示生成部件。此时,CGR内容7002还是在混合现实模式下显示,并且物理环境(例如,包括第二用户7204的位置B)的表示7010(例如,被示出为7010-c)仍然经由第一显示生成部件7100同时显示。根据第二用户7204相对于第二显示生成部件(以及在第一显示生成部件和第二显示生成部件具有相对于彼此固定的空间关系(例如,背对背地固定在HMD的相同外壳中)时相对于第一显示生成部件)的移动,计算系统更新经由第一显示生成部件(例如,显示器7100或HMD的内部显示器)显示的表示7010(例如,在图7C中示出为7010-c)。例如,当第二用户7204或其一部分在朝向第二显示生成部件7102的显示侧的第三边缘(例如,右边缘、顶部边缘等)的方向上移动时,第一显示生成部件7100的显示侧上示出的第二用户的该部分的表示7010也朝向第一显示生成部件的对应第四边缘(例如,第一显示生成部件的显示侧的左边缘(例如,对应于第二显示生成部件的显示侧的右边缘)、第一显示生成部件的显示侧的顶部边缘(例如,对应于第二显示生成部件的显示侧的顶部边缘))移动。根据第一显示生成部件(例如,显示器7100、HMD的内部显示器等)上示出的CGR内容的变化,计算系统还更新第二显示生成部件(例如,显示器7102、HMD的外部显示器等)上示出的CGR内容的状态的表示。例如,更新进度条7004(例如,在图7C中示出为7004-c)以示出自图7A所示的时间以来CGR内容的回放已前进第二量并且自图7B所示的时间以来CGR内容的回放已前进第三量。在一些实施方案中,还根据第一显示生成部件(例如,显示器7100、HMD的内部显示器等)上示出的CGR内容7002的当前外观来更新如第二显示生成部件(例如,显示器7102、HMD的外部显示器等)上所示出的CGR内容7002的表示7008(例如,在图7C中示出为7008-c)。图7A和图7B所示的状态信息(例如,包括表示7006、表示7008、进度条7004等)的外观的反差示出了对于第二显示生成部件所示出的状态信息中表示的第一显示生成部件与第一用户7202的该部分之间的相同相对空间位置而言,第一用户7202的该部分的表示7006在与CGR内容的表示7008的深度不同的深度处显示,并且任选地在与其他状态信息(例如,进度条7004)的深度不同的深度处显示。与第二显示生成部件7102的显示侧或与第二用户7204的位置的显示深度差异引起视觉视差效果。例如,当第二用户7204相对于第二显示生成部件(例如,显示器7102、HMD的外部显示器等)移动时,第一用户7202的该部分的表示7006和CGR内容的表示7008看起来在第二显示生成部件的显示侧上移动不同量(并且看起来相对于彼此移动)。在一些实施方案中,CGR内容的表示7008被显示为第一用户的该部分的表示7006与其他状态信息的表示(例如,CGR内容的名称、进度条7004等)之间的扩散层。在一些实施方案中,与CGR内容的表示和第二显示生成部件所示出的其他状态信息的表示的显示层相比,第一用户的该部分的表示在离第二显示生成部件的显示侧最远的显示层中显示。

在一些实施方案中,第一显示生成部件和第二显示生成部件在穿戴在第一用户的头部上或放置在用户面部的前面的HMD中背对背地定位(例如,它们的相应显示侧面向不同方向(例如,基本上相反的方向))。在一些实施方案中,第二显示生成部件示出了第一用户的眼睛的视觉表示,该视觉表示是使用一个或多个图像处理滤波器基于第一用户的眼睛的真实图像来生成的。例如,第一用户的眼睛的视觉表示任选地通过以下方式生成:降低第一用户的眼睛的相机图像的不透明度,增加其透明度,降低其颜色饱和级别,降低其亮度级别,降低其像素分辨率,降低其颜色分辨率等。在一些实施方案中,任选地相对于第二显示生成部件7102同时示出的CGR内容的表示7008的各种显示特性的值来指定应用于第一用户的眼睛的相应相机图像的各种显示特性的修改量。例如,当CGR内容的表示相对较暗(例如,具有第一亮度值范围)时,也使眼睛的表示更暗、更加半透明和/或有更小颜色饱和度(例如,具有基于第一亮度值范围来选择的第二亮度值范围、第二透明度值范围、第二颜色饱和度值范围);并且当CGR内容的表示更明亮(例如,具有比第一亮度值范围更大的第二亮度值范围)时,使眼睛的表示更明亮、较不半透明和/或有更大颜色饱和度(例如,具有基于第二亮度值范围来选择的第三亮度值范围、第三透明度值范围、第三颜色饱和度值范围)。在一些实施方案中,其他显示特性(例如,颜色饱和度、像素分辨率、颜色分辨率、色调等)用作选择用户的该部分(例如,用户的面部或眼睛)的表示的显示特性的值范围的依据。在一些实施方案中,通过应用一个或多个预设图像滤波器诸如模糊滤波器、颜色滤波器、亮度滤波器等来生成第一用户的眼睛的表示,该一个或多个预设图像滤波器在第二显示生成部件显示该表示时改变第一用户的眼睛的初始外观。

在一些实施方案中,通过在第一显示生成部件所显示的CGR内容(例如,所有可见内容、仅媒体内容或任选地将物理环境的透传视图排除在外的可见内容)上应用扩散滤波器来生成第二显示生成部件所示出的CGR内容的表示(例如,表示7008)。例如,CGR内容的表示7008保留了场景的颜色和色调,但CGR内容中的对象的轮廓在CGR内容的表示7008中是模糊的并且未清晰限定。在一些实施方案中,CGR内容的表示是半透明的,并且通过该表示,可看见第一用户的该部分的表示7006。在一些实施方案中,第二显示生成部件(例如,在与CGR内容的表示7008相同的显示层中或不同的显示层中,和/或在与第一用户的该部分的表示7006相同的显示层中或不同的显示层中)显示表示与CGR内容相关联的元数据的图形用户界面元素(例如,进度条7004、CGR内容的名称等)。在一些实施方案中,与CGR内容的表示7008和/或第一用户的该部分的表示7006相比,表示与CGR内容相关联的元数据的图形用户界面元素以更高的像素分辨率、更高的颜色分辨率、更高的颜色饱和度、更大的不透明度、更大的亮度和/或更好限定的轮廓来显示。

在一些实施方案中,第一用户的该部分(例如,第一用户的面部或眼睛)相对于第一显示生成部件(例如,显示器7100、HMD的内部显示器)移动,而第一显示生成部件所呈现的CGR内容7002不改变。在这种情况下,任选地在第二显示生成部件7102上更新用户的该部分的表示7006,而不更新表示7006和CGR内容的进度条7004。在一些实施方案中,不显示或暂停CGR内容,并且第一用户经由第一显示生成部件查看物理环境的透传视图而不同时显示CGR内容,并且第二显示生成部件任选地根据第一用户的该部分的外观的变化(例如,由于用户的该部分的移动或其他变化)来更新第一用户的该部分的表示,而不显示CGR内容的任何表示,或示出静止或暂停状态的CGR内容的表示。

在一些实施方案中,CGR内容在第一显示生成部件上改变,而第一用户的该部分不改变其外观(例如,因其他原因而不移动或改变)。因此,第一用户的该部分的表示7006保持不变,并且第二显示生成部件仅根据第一显示生成部件所示出的CGR内容的变化来更新CGR内容的表示7008和CGR内容的状态的其他指示符(例如,进度条7004)。

在一些实施方案中,当在相同时间段期间(例如,同时和/或在彼此的预设时间窗口期间等)检测到CGR内容和第一用户的该部分的外观两者的变化时,第二显示生成部件根据检测到的变化来更新用户的该部分的视觉表示和示出CGR内容的状态的一个或多个图形元素(例如,CGR内容的表示7008和进度条7004)。

图7A至图7C示出了经由第二显示生成部件7102根据第一用户的外观的变化(例如,由于第一用户的眼睛的移动或改变表情、改变照明等)来更新第一用户7202(例如,第一用户的眼睛或面部)的视觉表示(例如,表示7006)的外观,并且经由第二显示生成部件7102根据CGR环境的变化来更新提供经由第一显示生成部件7100示出的CGR环境内的内容的视觉指示的一个或多个图形元素(例如,进度条7004、CGR内容7002的表示7008等)。在图7A至图7C所示的示例性场景中,与CGR内容相关联的沉浸级别和第一用户7202的注意力状态不改变并且对应于与CGR内容的呈现相关联的中间沉浸级别。在一些实施方案中,与CGR内容的呈现相关联的沉浸级别和第一用户的对应注意力状态任选地在一定时间段内改变,例如增加到更加沉浸的级别和更加投入的用户注意力状态,或降低到不太沉浸的级别和不太投入的用户注意力状态。在一些实施方案中,基于第一显示生成部件呈现CGR内容的沉浸级别的变化来更新第二显示生成部件所示出的状态信息。在一些实施方案中,对状态信息的更新包括对第一用户的该部分的表示的更新(例如,更新第一用户的该部分的表示的能见度,更新第一用户的该部分的表示的外观等)。

在一些实施方案中,计算系统被配置为以至少第一沉浸级别、第二沉浸级别和第三沉浸级别显示CGR内容7002。在一些实施方案中,计算系统使得经由第一显示生成部件显示的CGR内容响应于一个或多个事件的序列而在不同沉浸级别之间转变(例如,应用程序或体验的自然终止或进展;响应于用户输入而开始、停止和/或暂停体验;响应于用户输入、计算设备的状态的变化、外部环境的变化等而改变体验的沉浸级别)。在一些实施方案中,第一沉浸级别、第二沉浸级别和第三沉浸级别对应于CGR环境中存在的虚拟内容的递增量和/或CGR环境中存在的周围物理环境的表示(例如,位置B或在第二显示生成部件7102的显示侧前面的物理环境的部分的表示)的递减量。在一些实施方案中,第一沉浸级别、第二沉浸级别和第三沉浸级别对应于具有计算机生成的内容的递增图像保真度(例如,递增像素分辨率、递增颜色分辨率、递增颜色饱和度、递增亮度、递增不透明度、递增图像细节等)和/或空间范围(例如,角范围、空间深度等)和/或周围物理环境的表示(例如,位置B或在第二显示生成部件的显示侧前面的物理环境的部分的表示)的递减图像保真度和/或空间范围的不同模式的内容显示。在一些实施方案中,第一沉浸级别是透传模式,其中第一用户通过第一显示生成部件(例如,作为物理环境的相机视图或通过第一显示生成部件的透明部分)可完全看见物理环境(例如,位置B或在第二显示生成部件的显示侧前面的物理环境的部分)。在一些实施方案中,透传模式下呈现的CGR内容包括物理环境的透传视图,该透传视图具有可同时作为物理环境的视图看见的最少量的虚拟元素或仅具有在物理环境的用户视角的外围的虚拟元素(例如,在显示器的外围区域中显示的指示符和控件)。图7E示出了根据一些实施方案的与CGR内容7002相关联的第一沉浸级别的示例。例如,物理环境(例如,在第二显示生成部件的显示侧前面的物理环境的部分(例如,另外在第一用户前面的物理环境的部分))的视图占据第一显示生成部件所提供的视场的中心和大部分区域,并且仅在第一显示生成部件所提供的视场的外围区域中显示一些控件(例如,电影的名称、进度条、回放控件(例如,播放按钮)等)。在一些实施方案中,第二沉浸级别是混合现实模式,其中物理环境的透传视图用计算系统所生成的虚拟元素来增强,其中虚拟元素占据用户视场的中心和/或大部分区域(例如,虚拟内容与物理环境整合在计算机生成的环境的视图中)。根据一些实施方案,在图7A至图7C中示出了与CGR内容7002相关联的第二沉浸级别的示例。在一些实施方案中,第三沉浸级别是虚拟现实模式,其中物理环境的用户视角完全被第一显示生成部件所提供的虚拟内容的视图替换或遮挡。图7D示出了根据一些实施方案的与CGR内容7002相关联的第三沉浸级别的示例。

如图7C之后的图7D所示,计算系统已从在混合现实模式下显示CGR内容7002切换到在虚拟现实模式下显示CGR内容7002(例如,被示出为7002-d的电影X)而没有物理环境(例如,包括第二用户7204的位置B(例如,在第二显示生成部件7102的显示侧前面的物理环境的部分))的表示。在一些实施方案中,计算系统所执行的切换响应于第一用户发出的请求(例如,满足用于改变CGR内容的沉浸级别的预设标准的手势输入(例如,将第一用户的手部抬离HMD))。与从经由第一显示生成部件7100在混合现实模式下显示CGR内容7002切换到在虚拟现实模式下显示CGR内容7002相结合,计算系统改变经由第二显示生成部件7102显示的状态信息。如图7D所示,尽管指示CGR内容7002的一个或多个图形元素(例如,名称、进度条7004(例如,在图7D中示出为7004-d)和表示7008(例如,在图7D中示出为7008-d))仍被显示并且继续根据第一显示生成部件7100所示出的CGR内容7002(例如,在图7D中示出为7002-d)的变化来更新,但是第一用户的该部分(例如,第一用户的眼睛或面部)的表示7006不再由第二显示生成部件7100显示。在一些实施方案中,计算系统并不完全停止显示第一用户的该部分的表示,而是在第二显示生成部件上相对于其他状态信息(例如,CGR内容的表示、与CGR内容或用户相关的元数据的表示等)降低第一用户的该部分的表示的能见度(例如,降低亮度,降低颜色分辨率,降低不透明度,降低像素分辨率等)。在一些实施方案中,第一用户的该部分的表示7006任选地以相对于其先前外观的降低的能见度(例如,完全不可见,或以降低的亮度、增加的透明度、降低的不透明度、降低的颜色饱和度、增加的模糊级别等)显示以指示与第一显示生成部件所示出的CGR内容相关联的沉浸级别的增加。其他状态信息(例如,CGR内容的表示7008和进度条7004)连续地或周期性地根据第一显示生成部件所示出的CGR内容7002的变化来更新,同时此类其他状态信息仍然由第二显示生成部件7102显示(例如,相对于其先前外观而言不降低能见度,除非该降低是由于CGR内容的外观的变化引起的)。

在一些实施方案中,从混合现实模式向虚拟现实模式的切换由第二用户7204移动离开在第一用户的眼睛未因第一显示生成部件和/或第二显示生成部件的存在而被遮挡时第一用户本来具有的估计视场来触发。在一些实施方案中,从混合现实模式向虚拟现实模式的切换由第二用户7204移动离开第一用户周围的物理环境(例如,离开第一用户所占据的房间)来触发。在一些实施方案中,当物理环境中不存在其他用户时,计算系统停止显示物理环境的表示(例如,位置B的表示(例如,在第一用户前面的物理环境的部分的表示)等)。在一些实施方案中,第二用户7204移动进入在位置B的第一用户的视角未因第一显示生成部件和/或第二显示生成部件的存在而被遮挡时第一用户本来具有的估计视场中和/或进入第一用户周围的物理环境中(例如,进入第一用户所占据的房间中)、第二用户所执行的预定义的手势(例如,第二用户朝第一用户挥手)、第二用户移动进入第一用户的阈值距离范围等任选地用作用于触发从虚拟现实模式向混合现实模式的切换的条件。在一些实施方案中,与将显示模式从虚拟现实模式切换到混合现实模式相结合,计算系统在第二显示生成部件7102所示出的状态信息的元素间恢复第一用户的该部分的表示7006的能见度级别(例如,如果第一用户的该部分的表示不可见,则恢复该表示的显示,或增加用户的该部分的表示的亮度、颜色饱和度、像素分辨率、不透明度和/或颜色分辨率等以及其他)。相应地,在混合现实模式下,除了计算机生成的虚拟内容(例如,电影X)之外,第一显示生成部件(例如,显示器7100、HMD的内部显示器等)还显示在第二显示生成部件的显示侧前面(以及相应地,当第一显示生成部件和第二显示生成部件背对背地包围在第一用户所穿戴的HMD的相同外壳中时,在第一用户的前面)的物理环境的部分的表示(例如,表示7010)。

如图7E(例如,在图7C或图7D之后)所示,计算系统已从在混合现实模式(例如,如图7A至图7C所示)或虚拟现实模式(例如,如图7D所示)下显示CGR内容切换到在完全透传模式或现实模式(例如,电影X完结并且不再示出)下显示CGR内容(例如,CGR内容7002),并且仅具有物理环境(例如,包括第二用户7204的位置B(例如,在第二显示生成部件7102的显示侧前面的物理环境的部分))的表示(例如,在图7E中示出为7010-e)并任选地在显示器的外围区域(例如,显示器的上边缘和下边缘)上具有最少量的虚拟内容(例如,仅有指示符(例如,电影X的名称、进度条、回放控件等)而没有回放内容)。在一些实施方案中,计算系统响应于CGR内容的回放的终止或暂停和/或第一用户发出的请求(例如,满足用于改变CGR内容的沉浸级别的预设标准的手势输入(例如,将一只手放在第一用户的眉毛上,在HMD的该侧面上用捏合的手指下拉等))而执行显示模式的切换。在一些实施方案中,与从经由第一显示生成部件7100在混合现实模式或虚拟现实模式下显示CGR内容切换到在完全透传模式或现实模式下显示CGR内容相结合,计算系统改变经由第二显示生成部件7102显示的状态信息。如图7E所示,指示CGR内容的外观和状态的一个或多个图形元素(例如,名称、进度条7004(例如,在图7C中示出为7004-c,并且在图7D中示出为7004-d等)和表示7008(例如,在图7C中示出为7008-c,并且在图7D中示出为7008-d等))不再由第二显示生成部件显示,并且第一用户的该部分的表示7006(例如,在图7E中示出为7006-e)由第二显示生成部件以增加的能见度完全显示(例如,如果先前不可见,则变得可见,或以增加的亮度、降低的透明度、增加的不透明度、增加的颜色饱和度、增加的像素分辨率、增加的颜色分辨率、降低的模糊级别等显示)。在一些实施方案中,第一用户的该部分的表示7006任选地以相对于其先前外观的增加的能见度显示以指示与第一显示生成部件所示出的CGR内容相关联的沉浸级别的降低。在一些实施方案中,第一用户的该部分的表示7006连续地根据第一用户7202的外观的变化来更新,同时第一用户的该部分的表示7006由第二显示生成部件显示。

在一些实施方案中,从混合现实模式或虚拟现实模式向完全透传模式或现实模式的切换由第二用户7204移动进入在第一用户的眼睛未因第一显示生成部件和/或第二显示生成部件的存在而被遮挡时第一用户本来具有的估计视场来触发。在一些实施方案中,从混合现实模式或虚拟现实模式向完全透传模式或现实模式的切换由第二用户7204移动进入个人空间中离第一用户7202的阈值距离内(例如,离第一用户的手臂长度内、离第一用户的三英尺内等)触发。在一些实施方案中,当满足预设条件时,例如当预设人员(例如,配偶、教师、队友、小孩等)进入第一用户7202的估计视场时,计算系统进入完全透传模式或现实模式(例如,停止经由第一显示生成部件显示CGR内容并且仅显示物理环境(例如,位置B、在第一用户前面的物理环境等)的表示)。在一些实施方案中,第二用户7204移动离开第一用户7202的估计视场和/或在离第一用户7202的阈值距离内存在个人空间和/或其他条件用于触发从完全透传模式或现实模式自动切换回混合现实模式或虚拟现实模式(例如,预设模式或先前模式)。在一些实施方案中,与将显示模式从完全透传模式切换到虚拟现实模式或混合现实模式相结合,计算系统在第二显示生成部件7102所示出的状态信息的元素间恢复第一用户的该部分的表示7006的能见度级别(例如,停止完全显示或降低其能见度而不使其完全不可见等)和CGR内容的表示7008的能见度级别(例如,增加其能见度)。

图7C至图7E示出了根据一些实施方案的从第二沉浸级别(例如,混合现实模式)向下转变到第一沉浸级别(例如,透传模式)并向上转变到第三沉浸级别(例如,虚拟现实模式),以及第一显示生成部件7100所示出的信息和第二显示生成部件7102所示出的信息的对应变化。在一些实施方案中,这三种沉浸级别中的任何两种沉浸级别之间的直接转变可以响应于满足此类直接转变的相应标准的不同事件而实现。相应地,更新第一显示生成部件所显示的信息和第二显示生成部件所显示的信息(例如,改变该信息的不同组成部分(例如,CGR内容、物理环境的表示、CGR内容的表示、第一用户的该部分的表示、与CGR内容相关联的静态元数据的表示等)的能见度)以反映第一显示生成部件7100显示CGR内容的当前沉浸级别。

在一些实施方案中,如图7E所示,作为计算系统从使用混合现实模式显示CGR内容切换到使用完全透传模式或现实模式显示CGR内容的结果,显示第一用户的该部分的表示7006(例如,第一用户的面部或眼睛的表示),但不同时显示CGR内容的表示(例如,没有CGR内容的扩散版本的叠层、名称或进度条等)或相对于CGR内容的表示而言能见度增加(例如,表示7006的能见度相对于其先前级别增加,CGR内容的表示的能见度相对于其自己的先前级别降低,和/或用于表示CGR内容的一些图形元素不再显示等)。

在一些实施方案中,作为计算系统从使用虚拟现实模式或透传模式显示CGR内容切换到使用混合现实模式显示CGR内容的结果,第一用户的该部分的表示7006(例如,第一用户的面部或眼睛的表示)与CGR内容的表示7008(例如,与CGR内容的扩散版本的叠层)一起显示(例如,以相对于CGR内容的表示7008的可比能见度(例如,表示7006的能见度和/或表示7008的能见度相对于其相应先前级别增加或降低))。

在一些实施方案中,当计算系统从使用混合现实模式显示CGR内容切换到使用虚拟现实模式显示CGR内容时,第一用户的该部分的表示7006(例如,第一用户的面部或眼睛的表示)不与CGR内容的表示7008一起显示(例如,不与CGR内容的扩散版本一起显示)或以相对于CGR内容的表示7008而言降低的能见度显示。

在一些实施方案中,计算系统能够使用其他特殊显示模式诸如隐私模式、勿扰(DND)模式(DND模式)、家长控制模式等显示CGR内容。当开启这些特殊显示模式中的一种或多种特殊显示模式时,从在未开启此类特殊模式时在第二显示生成部件上显示和/或更新状态信息的方式(例如,如上文相对于图7A至图7E所描述的方式)调整在第二显示生成部件上显示和/或更新状态信息的方式。

例如,任选地由计算系统或第一用户激活隐私模式以隐藏与第一显示生成部件当前显示的CGR内容相关联的状态信息和/或与第一用户的注意力状态相关联的状态信息。在一些实施方案中,在(例如,响应于第一用户的请求)开启隐私模式时,第一用户的该部分的表示7006和/或CGR内容的表示7008在第二显示生成部件上不再更新,停止显示,和/或被替换为其他占位符内容,使得它们不再反映在第一用户的该部分的外观中检测到的变化和/或在第一显示生成部件所显示的CGR内容中检测到的变化。在一些实施方案中,响应于计算系统所检测到的用户请求(例如,第一用户在HMD上的预设手势输入、预设语音命令等)(例如,当计算系统使用混合现实模式或虚拟现实模式向第一用户显示CGR内容时,和/或在开始CGR内容之前等),激活隐私模式。在一些实施方案中,响应于用户访问与高于第一阈值隐私级别(例如,默认隐私级别、与第一用户相关联的隐私级别等)的预设隐私级别相关联的某些CGR内容而激活隐私模式。在一些实施方案中,在开启隐私模式时,第一用户的该部分的表示7006和/或CGR内容的表示7008不再更新,停止显示,和/或被替换为其他占位符内容,使得它们不再反映第一显示生成部件显示CGR内容的沉浸级别的变化。隐私模式允许第一用户享受更多隐私并且共享与他/她自己的注意力状态、沉浸级别和他/她使用第一显示生成部件通过第二显示生成部件所显示的内容查看的内容有关的更少信息。

在一些实施方案中,DND模式由第一用户主动地开启,和/或由计算系统基于预设条件来自动地开启,以向外部环境指示第一用户不希望在他/她参与CGR内容期间被外部环境中的他人打断或打扰。在一些实施方案中,DND模式任选地适用于在计算系统内和/或在周围环境中发生的其他侵扰事件。例如,在一些实施方案中,响应于DND模式的激活,计算系统任选地激活噪声消除以阻隔来自周围环境的声音,停止/暂停第一显示生成部件上的通知和/或警示的呈现,减少在第一显示生成部件所示出的CGR环境中呈现通知和/或警示的方式的侵扰性(例如,选择视觉警示而非音频警示,选择短警示声音而非语音输出,降低通知和警示的视觉突出性等),自动地将呼叫传输到语音信箱而不通知第一用户,和/或在第二显示生成部件上显示勿扰符号等。在一些实施方案中,计算系统用来减少事件对第一用户的侵扰性的一种或多种方式伴随如何在第一显示生成部件上显示物理环境的表示(例如,表示7010、位置B的表示、在第一用户前面的物理环境的部分的表示等)的变化,和/或如何由第二显示生成部件显示状态信息的变化。在一些实施方案中,在计算系统使用混合现实模式或虚拟现实模式显示CGR内容时,任选地开启DND模式。在一些实施方案中,响应于开启DND模式,计算系统任选地经由第二显示生成部件显示视觉指示符(例如,HMD的外部显示器上的文本标签“DND”,在HMD的外部显示器周围照亮红色边缘等)以指示DND模式是活动的。在一些实施方案中,当DND模式在计算系统上是活动的时,CGR内容的表示任选地根据第一显示生成部件所显示的CGR内容的变化来更新,但第一用户的该部分的表示不再更新,被替换为占位符内容,或停止由第二显示生成部件显示(例如,而不考虑第一用户的该部分的外观的变化(例如,第一用户的眼睛的变化)和/或第一显示生成部件显示CGR内容的沉浸级别的变化)。

在一些实施方案中,开启家长模式以超控第二显示生成部件对状态信息的正常显示(例如,如相对于图7A至图7E所描述)。开启家长模式,使得家长、教师或监督者能够查看并监视向第一用户呈现的CGR内容及任选由第一用户提供的用于改变CGR内容和/或与CGR内容交互的输入。在一些实施方案中,任选地在第一显示生成部件呈现CGR内容时由第二用户(例如,通过预设手势输入、第二显示生成部件或HMD的外壳上的触摸输入、语音命令等)开启家长模式。在一些实施方案中,任选地在第一显示生成部件上开始特定CGR内容之前(例如,通过与第一显示生成部件所呈现的用户界面的交互、与第二显示生成部件所呈现的用户界面的交互、与外壳或计算系统的其他输入设备的交互等)开启家长模式,并且在第一显示生成部件显示特定CGR内容时仍然开启家长模式。在一些实施方案中,在开启家长模式时,计算系统同时经由第一显示生成部件和第二显示生成部件显示相同CGR内容,而不考虑沉浸级别的变化和/或是否开启隐私模式。在一些实施方案中,计算系统仅在第二显示生成部件上显示第一显示生成部件所示出的CGR内容的虚拟内容部分。在一些实施方案中,在开启家长模式时,计算系统不将第一用户的该部分的表示7006显示为使用第二显示生成部件示出的状态信息的一部分(例如,如果家长模式仅仅用于监视向第一用户示出的内容,而不是监视第一用户自己)。在一些实施方案中,在开启家长模式时,计算系统以与CGR内容可比的能见度(例如,与其在未开启家长模式时具有的能见度的先前级别相比,增强表示7006的能见度)显示用户的该部分的表示7006和CGR内容(例如,如果家长模式用于监视向第一用户示出的内容以及第一用户注意力状态和外观)。在一些实施方案中,根据激活家长模式的方式(例如,使用第一输入类型还是使用第二输入类型,使用第一控件还是使用第二控件等)来确定第二显示生成部件是否在家长模式期间显示用户的该部分的表示。在一些实施方案中,根据是否开启隐私模式来确定第二显示生成部件是否在家长模式期间显示用户的该部分的表示。例如,如果开启隐私模式,则第二显示生成部件不将用户的该部分的表示与CGR内容一起显示;并且如果未开启隐私模式,则第二显示生成部件将用户的该部分的表示与CGR内容一起显示。在一些实施方案中,在开启家长模式时,第一显示生成部件显示CGR内容的沉浸级别的变化不改变第二显示生成部件所示出的信息(例如,仍在第一显示生成部件和第二显示生成部件两者上示出相同CGR内容,任选地其中第一用户的该部分的表示的当前能见度级别不变,或不显示第一用户的表示)。

在一些实施方案中,由计算系统根据存在于一定位置处的第二用户的距离来动态地调整第二显示生成部件所示出的状态信息的能见度和信息密度,该位置使第二用户能够查看第二显示生成部件所示出的内容(例如,直接地或部分地在第二显示生成部件的显示侧的前面)。例如,当第二用户移动得离第二显示生成部件的显示侧更近(例如,在阈值距离内移动,移动进阈值视角中,等等)(例如,当第一显示生成部件和第二显示生成部件背对背地放置在第一用户所穿戴的HMD的相同外壳中时,移动得离第一用户和第一显示生成部件更近)时,计算系统改变(例如,增加)第二显示生成部件上提供的信息细节的量(例如,图形特征的细节、每单位显示面积的文本字符量、颜色分辨率、像素分辨率等)以向第二用户通知第一用户的状态以及CGR内容的状态和元数据。相应地,当第二用户移动得离第二显示生成部件的显示侧更远(例如,移动超过阈值距离,移动到阈值视角之外,等等)时,计算系统在相反方向上改变第二显示生成部件上提供的信息细节的量(例如,减少信息细节的量)。

在一些实施方案中,计算系统响应于检测到满足预设标准的周围物理环境的变化(例如,人进入房间或到达第一用户的阈值距离内,其他用户朝第一用户挥手或作手势等),而自动地从在完全沉浸式模式下显示计算机生成的体验(例如,显示虚拟现实环境,或以第三沉浸级别显示CGR内容)转变到在不太沉浸式模式下显示计算机生成的体验(例如,在虚拟现实环境中显示物理环境的指示(例如,将物理环境中的人和对象的轮廓显示为视觉畸变、阴影等),在计算机生成的环境的视图中显示透传部分(例如,物理环境的相机视图)等)。在一些实施方案中,与自动地改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别相结合,计算系统还改变经由第二显示生成部件显示的状态信息,包括增加计算系统的用户的该部分的视觉表示的能见度(例如,增加用户的视觉表示的能见度包括从不显示用户的该部分的视觉表示切换到显示用户的该部分的视觉表示,或增加用户的该部分的视觉表示的亮度、清晰度、不透明度和/或分辨率)。这样,同时减少了将第一用户和周围环境中的他人分开的视觉屏障(例如,显示生成部件在第一用户的面部上的存在)以促进第一用户与周围用户之间更知情的交互。在一些实施方案中,在计算系统响应于第二用户的动作(例如,响应于第二用户朝第一用户挥手,和/或响应于第二用户移动得离第一用户太近,等等)而降低第一显示生成部件上示出的内容的沉浸级别的情况下,计算系统停止在第二显示生成部件上显示CGR内容的表示或不显示CGR内容的表示,并且仅显示第一用户的该部分(例如,第一用户的面部或眼睛)的表示(例如,以让第二用户知道第一用户可通过第一显示生成部件看见他/她)。在一些实施方案中,在计算系统响应于第二用户的动作(例如,响应于第二用户穿戴HMD,和/或响应于第二用户离开第一用户,等等)而增加第一显示生成部件上示出的内容的沉浸级别的情况下,计算系统在第二显示生成部件上重新显示CGR内容的表示并且停止显示第一用户的该部分(例如,第一用户的面部或眼睛)的表示(或降低其亮度、清晰度、不透明度、颜色和像素分辨率等)。

相对于图7F至图7Q和图8至图13以及所附的说明来提供与计算系统的用户界面和操作模式有关的更多细节。

图7F至图7I示出了包括至少第一显示生成部件(例如,显示器7100、HMD的内部显示器等)和第二显示生成部件(例如,显示器7102、HMD的外部显示器等)的计算系统(例如,图1中的计算系统101或图4中的计算系统140),其中计算系统的第一显示生成部件被配置为在计算系统确定第一显示生成部件已按相对于用户(例如,第一用户7202)或用户的一部分(例如,第一用户的面部或眼睛)的预先确定的空间关系(例如,预先确定的取向(例如,以显示侧面向第一用户的面部或眼睛的方式))放置时向用户(例如,第一用户7202)显示视觉内容(例如,用户界面、计算机生成的体验、媒体内容等)。在一些实施方案中,在经由第一显示生成部件(例如,显示器7100、HMD的内部显示器等)向用户显示视觉内容之前,计算系统使用第二显示生成部件(例如,显示器7102、HMD的外部显示器等)显示一个或多个用户界面元素,如果满足用于触发显示内容的条件(例如,关于第一显示生成部件与用户之间的空间关系的条件),该一个或多个用户界面元素向用户提示能够用于经由第一显示生成部件显示的视觉内容(例如,用户界面、计算机生成的体验(例如,AR内容、VR内容等)、媒体内容等)。在一些实施方案中,该一个或多个用户界面元素包括传达上下文信息(例如,当前时间、位置、外部条件、用户身份和/或在计算系统的当前状态下、或其他提示、通知等)的用户界面对象,基于该上下文信息,使得可用内容此时能够用于经由第一显示生成部件显示。图7F至图FG和图7H至图7I示出了两个平行示例以示出在满足第一显示生成部件与用户之间的预设空间关系之前基于第二显示生成部件所示出的不同用户界面对象反映的计算系统的不同状态来由第一显示生成部件显示计算机生成的不同体验。

如图7F和图7H的相应左部分中所示,第一显示生成部件(例如,显示器7100)存在于位置A 7000-a处,而用户没有面向第一显示生成部件的显示侧。因此,第一显示生成部件此时不显示任何CGR内容。如图7F和图7H的相应右部分中所示,第二显示生成部件(例如,显示器7102)存在于位置B 7000-b处并且显示一个或多个用户界面元素,分别包括与在考虑到图7F所示的计算系统的当前上下文状态的情况下能够用于经由第一显示生成部件显示的第一由计算机生成的体验7024相对应的第一用户界面元素(例如,圆形7012),以及与在考虑到图7H所示的计算系统的当前上下文状态的情况下能够用于经由第一显示生成部件显示的第二由计算机生成的体验7030相对应的第二用户界面元素(例如,正方形7026)。例如基于当前时间、第一显示生成部件的当前位置(在一些实施方案中,其也是第一用户和第二显示生成部件的位置)、存在于第二显示生成部件的显示侧前面的第一用户7202的用户身份或授权级别、计算系统接收到或生成相应应用程序的通知、计算系统上发生预设事件和/或其他上下文信息等来确定计算系统的上下文状态。

在图7F和图7H所示的示例性场景中,第一用户7202被示出为存在于位置B 7000-b处。在一些实施方案中,第二显示生成部件(例如,显示器7102、HMD的外部显示器等)与第一用户7202之间的空间关系使得第一用户7202处于查看第二显示生成部件所呈现的一个或多个用户界面元素(例如,分别为用户界面元素7012和用户界面元素7026)的位置中。例如,当显示一个或多个用户界面元素时,第一用户7202面向第二显示生成部件的显示侧。在一些实施方案中,第二显示生成部件是HMD的外部显示器,该HMD还包括内部显示器(例如,由显示器7100表示的第一显示生成部件),该内部显示器被配置为呈现与HMD的外部显示器上示出的用户界面元素相对应的CGR内容。在这种实施方案中,由显示器7102和第一用户7202共存于相同位置B 7000-b中表示的空间关系对应于第一用户处于HMD的外部显示器面向的物理环境的一部分(例如,还托管第二显示生成部件和第一用户7202的物理环境)中。在一些实施方案中,第二显示生成部件与第一显示生成部件背对背地定位,使得在第二显示生成部件7102的显示侧的前面的物理环境的部分(例如,包括第二显示生成部件的显示侧的位置B 7000-b)也在第一显示生成部件所提供的透传视图内。例如,如果第一用户7102移动到第一显示生成部件的显示侧(例如,移动到位置A7000-a,和/或面向第一显示生成部件的显示侧,等等),则位于第二显示生成部件7102的显示侧前面的物理环境的部分中的物理对象7014(或图7H中物理对象7014和物理对象7028两者)将在第一显示生成部件所提供的透传视图内。在一些实施方案中,计算系统仅响应于检测到第一用户处于查看第二显示生成部件所显示的内容的位置中而显示一个或多个用户界面元素,并且当没有用户位于相对于第二显示生成部件的一定位置处(该位置允许用户查看第二显示生成部件所呈现的内容)时,停止使用第二显示生成部件显示一个或多个用户界面元素。在一些实施方案中,计算系统响应于基于计算系统的当前状态或上下文(例如,在计算系统上生成基于时间的警示或基于位置的通知,用户从袋子中拿出HMD,用户开启HMD,用户将HMD插在充电站上,等等)检测到指示第一由计算机生成的体验的可用性的事件,而显示一个或多个用户界面元素。在一些实施方案中,当第一显示生成部件不显示任何CGR内容(例如,第一显示生成部件不活动,处于省电状态,等等)时,计算系统仅在第二显示生成部件上公开一个或多个用户界面对象。在一些实施方案中,示出第一用户7202不与第一显示生成部件共存于位置A处或不处于查看第一显示生成部件所显示的内容的位置中的图7F和图7H中的图示对应于第一用户不将HMD的内部显示器置于用户的面部或眼睛的前面(例如,通过以内部显示器面向他/她的面部的方式举起HMD,或通过将HMD穿戴在他/她的头部上)。在一些实施方案中,在第二显示生成部件上显示一个或多个用户界面对象,而不考虑第一用户是否处于查看第二显示生成部件上示出的内容的位置中。

如图7F之后的图7G及图7H之后的图7I所示,在计算系统使用第二显示生成部件显示一个或多个用户界面对象(例如,分别为圆形7012或正方形7026)时,计算系统检测到第一显示生成部件(例如,显示器7100或HMD的内部显示器)此时处于相对于第一用户7202的预设空间关系(例如,由于第一用户7202的移动、第一显示生成部件的移动或两者)。在图7F和图7G所示的示例中,第一用户7202已移动到在第一显示生成部件(例如,显示器7100、HMD的内部显示器等)的显示侧前面的位置A7000-a;并且响应于检测到第一用户已移动到在第一显示生成部件的显示侧前面的位置A 7000-a,计算系统经由第一显示生成部件显示与先前在第二显示生成部件上示出的一个或多个用户界面对象(例如,分别为圆形7012或正方形7026)相对应的计算机生成的相应体验(例如,分别为第一由计算机生成的体验7024或第二由计算机生成的体验7030)。例如,如图7G所示,计算系统响应于指示在第二显示生成部件(图7F)显示第一用户界面对象(例如,圆形7012)时已将第一显示生成部件和第一用户(或第一用户的面部或眼睛)置于预设空间关系或配置(例如,第一用户面向第一显示生成部件的显示侧,或HMD被放置在用户眼睛的前面,HMD被放置在用户的头部上,等等)的第一显示生成部件和第一用户的相对移动的事件,而显示第一由计算机生成的体验7024。如图7I所示,计算系统响应于指示在第二显示生成部件(图7H)显示第二用户界面对象(例如,正方形7026)时已将第一显示生成部件和第一用户(或第一用户的面部或眼睛)置于预设空间关系或配置(例如,第一用户面向第一显示生成部件的显示侧,或HMD被放置在用户眼睛的前面,HMD被放置在用户的头部上,等等)的第一显示生成部件和第一用户的相对移动的事件,而显示第二由计算机生成的体验7030。

如图7F之后的图7G所示,第一由计算机生成的体验7024的示例是示出在第二显示生成部件的显示侧前面的物理环境的一部分(例如,在HMD的外部显示器前面的物理环境的部分,其也是在穿戴HMD和/或面向HMD的内部显示器的第一用户的前面的物理环境的部分)的增强现实体验。第一由计算机生成的体验任选地包括用一些虚拟内容(例如,位于物理对象7014的表示7014’顶部上的虚拟球7020和/或一些其他虚拟对象)增强的物理对象7014的表示7014’。在一些实施方案中,第一由计算机生成的体验是纯虚拟体验,并且不包括第一显示生成部件和/或第二显示生成部件周围的物理环境的表示。

如图7H之后的图7I所示,第二由计算机生成的体验7030的示例是示出在第二显示生成部件的显示侧前面的物理环境的一部分(例如,在HMD的外部显示器前面的物理环境的部分,其也是在穿戴HMD和/或面向HMD的内部显示器的第一用户的前面的物理环境的部分)的增强现实体验。第二由计算机生成的体验任选地包括用一些虚拟内容(例如,位于物理对象7014和7028的表示7014’和7028’一旁的虚拟盒7032或一些其他虚拟对象)增强的、堆叠在一起的物理对象7014和物理对象7028。在一些实施方案中,第二由计算机生成的体验是纯虚拟体验,并且不包括第一显示生成部件和/或第二显示生成部件周围的物理环境的表示。

在一些实施方案中,如本公开中先前所阐述,第一显示生成部件是HMD的内部显示器并且第二显示生成部件是HMD的外部显示器,并且由显示器7100和第一用户7202共存于相同位置A 7000-a中所表示的空间关系对应于第一用户以HMD的内部显示器面向用户眼睛或面部的方式穿戴或保持HMD。在一些实施方案中,第一显示生成部件显示第一用户前面的物理环境的相机视图或包括透明或半透明部分,通过该透明或半透明部分,第一用户可看见第一用户前面的物理环境的一部分。在一些实施方案中,让第一用户通过第一显示生成部件可看见的物理环境是在第二显示生成部件的显示侧前面的物理环境的部分(例如,包括在第二显示生成部件的显示侧前面的区域和物理对象7014(和任选的物理对象7028)、在HMD的外部显示器前面的区域等的位置B 7000-b)。在一些实施方案中,计算系统要求第一显示生成部件移动到相对于第一用户或第一用户的相应部分的预定义的取向(例如,HMD的内部显示器被取向成面向用户的眼睛或面部,第一用户移动成面向第一显示生成部件的显示侧,和/或HMD的内部显示器相对于用户的面部直立,等等)以便触发经由第一显示生成部件显示计算机生成的体验。在一些实施方案中,根据计算系统的当前状态(例如,基于上下文信息(例如,时间、位置、用户前面存在什么物理对象、用户的身份、计算系统上生成的新通知或警示等)来确定的一个或多个状态)和/或在开始和/或完成向用户与第一显示生成部件之间的预设空间关系的移动时第二显示生成部件显示哪个(些)用户界面元素(例如,传达所选择的计算机生成的体验的标识和特征的用户界面元素和/或传达用于所选择的计算机生成的体验的上下文信息的用户界面元素等中的一者或多者)来选择计算机生成的相应体验。在图7F和图7G所示的示例中,基于显示生成部件的当前位置和/或存在于第二显示生成部件的显示侧前面的物理对象(以及任选地也基于当前位置及存在于容纳第一显示生成部件和第二显示生成部件两者的HMD的外部显示器前面的物理对象)来确定计算系统的当前状态。

如上文相对于图7A至图7E所阐述并将在此处重申,尽管第一显示生成部件(例如,显示器7100)和第二显示生成部件(例如,显示器7102)在图7F至图7I中示出为位于物理环境的两个单独且不相连的部分中,但是应当理解,第一显示生成部件和第二显示生成部件任选地是容纳在相同外壳(例如,单个HMD的外壳)中或附接到相同支撑结构(例如,彼此背对背地附接或附接在单个壁或表面的两侧上)并面向不同方向(例如,面向相反方向,面向不同角度,等等)的两个显示生成部件。根据一些实施方案,用户可移动(例如,竖直地或水平地旋转、转动或翻转)第一显示生成部件和第二显示生成部件的外壳或支撑结构以将第一显示生成部件移动成相对于他/她自己或他/她面部或眼睛的预设空间配置。根据一些实施方案,用户可将他/她的头部插入到显示生成部件的外壳中,或将显示生成部件的支撑结构附接到他/她身体的一部分(例如,头部、肩部、鼻部、耳部等)上,以将第一显示生成部件移动成相对于他/她自己或他/她面部或眼睛的预设空间配置。因此,第一用户与第二显示生成部件共存于位置B 7000-b处以及第一用户与第一显示生成部件共存于位置A 7000-a处分别表示在满足用于触发显示计算机生成的体验的用户与第一显示生成部件之间的预设空间关系之前并且第二显示生成部件正显示示出可用CGR体验的用户界面元素时的第一时间,以及在由于用户和/或显示生成部件的移动而满足预设空间关系之后并且在经由第一显示生成部件显示可用CGR体验时的第二时间。

在一些实施方案中,第二显示生成部件是计算系统的低分辨率、更小、更简单、单立体、单色、低功率和/或辅助显示器,而第一显示生成部件是更高分辨率、更大、更复杂、立体、全彩色、全功率和/或主显示器。在一些实施方案中,计算系统使用第二显示生成部件来显示与计算系统相关的状态信息、事件信息、状况信息,特别是让用户将第一显示生成部件置于相对于用户眼睛的预设空间关系以查看与当前上下文相关的附加可用内容的通知和提示。在一些实施方案中,当第一显示生成部件未被放置在用户眼睛的前面(或更一般地,不处于让用户尽情欣赏第一显示生成部件上显示的CGR内容的位置中)时,和/或当计算系统的显示生成部件(例如,作为单个HMD的部件)被放置在桌上、在用户的手中、在容器(例如,背包、支架、箱等)中或处于备用状态(例如,插入充电站,设定为低功率模式等)等时,计算系统使用第二显示生成部件。在一些实施方案中,当使用第二显示生成部件显示信息时,计算系统继续监视用户(例如,第一用户或任何用户)与第一显示生成部件之间的空间关系(例如,使用附接到或包围在第一显示生成部件的外壳中的传感器(例如,运动传感器、取向传感器、图像传感器、触摸传感器等)和/或外部传感器(例如,运动传感器、取向传感器、图像传感器等))。在一些实施方案中,响应于检测到第一显示生成部件与用户之间的相对移动(例如,响应于用户拿起包围在相同外壳中或附接到相同支撑结构的显示生成部件并且将第一显示生成部件的显示侧转向用户的眼睛或面部,和/或响应于用户将包括第一显示生成部件和第二显示生成部件的HMD穿戴在他/她的头部上,等等),根据确定满足用户与第一显示生成部件之间的预设空间关系,计算系统显示与在满足预设空间关系时的计算系统的状态(例如,任选地,这是在相对移动开始的时候第二显示生成部件显示信息(例如,指示计算机生成的体验的可用性的一个或多个用户界面对象)时计算系统具有的相同状态)相对应的计算机生成的体验。

在一些实施方案中,如图7G和图7I所示,当计算系统经由第一显示生成部件显示与当前上下文(例如,如图7F和图7H中的用户界面对象7012和7026所指示的计算系统的相应状态)相对应的计算机生成的相应体验时,计算系统任选地使用第二显示生成部件显示状态信息(例如,分别为状态信息7022和7034)。在一些实施方案中,所显示的状态信息传达与经由第一显示生成部件显示的计算机生成的内容有关的信息以及任选地正经由第一显示生成部件查看计算机生成的内容的用户的状态(例如,用户的面部或眼睛的外观)。相对于图7A至图7E以及所附的说明来描述与在计算系统使用第一显示生成部件显示计算机生成的内容时使用第二显示生成部件显示状态信息相关的其他方面和细节,以及相对于图8至图13来描述过程。在一些实施方案中,一旦第一显示生成部件开始显示内容和/或一旦满足用户与第一显示生成部件之间的预设空间关系,第二显示生成部件就停止显示任何内容(例如,用户界面元素7012或7026等)。在一些实施方案中,计算系统在使用第一显示生成部件显示计算机生成的体验时不显示状态信息或任何其他内容。在一些实施方案中,计算系统在使用第一显示生成部件显示计算机生成的体验时使用第二显示生成部件显示其他信息(例如,数字时钟、天气预报、基于计算机生成的体验的持续时间的倒计时定时器或所分配的供第一用户使用第一显示生成部件的时间等)。

在一些实施方案中,经由第一显示生成部件显示的计算机生成的相应体验是混合现实体验,其中虚拟内容与物理环境(例如,位置B、在第一用户前面的物理环境的部分等)的表示同时可见。在一些实施方案中,物理环境的表示包括在用户眼睛未因第一显示生成部件和第二显示生成部件的存在而被遮挡时(例如,在第一用户未穿戴HMD或将HMD保持在他/她的眼睛前面时)将位于第一用户的视场内的物理环境的部分的相机视图。在混合现实模式下,CGR内容(例如,电影、三维增强现实环境、用户界面和/或虚拟对象等)被显示为覆盖或替换物理环境的表示的至少一部分而非全部。在一些实施方案中,第一显示生成部件包括透明部分,通过该透明部分,第一用户可看见物理环境的一部分,并且在混合现实模式下,CGR内容(例如,电影、三维增强现实环境、用户界面、虚拟对象等)投影到物理环境中的物理表面或空白空间上并且通过透明部分与物理环境一起可见。在一些实施方案中,CGR内容在显示器的一部分上显示并且遮挡通过第一显示生成部件的透明或半透明部分可见的物理环境的至少一部分而非全部的视图。在一些实施方案中,第一显示生成部件7100不提供物理环境的视图,而是提供用如由一个或多个传感器(例如,相机、运动传感器、其他姿势传感器等)当前捕获的物理环境的实时视觉表示(例如,程式化的表示或分割的相机图像)增强的完全虚拟的环境(例如,没有相机视图或透明透传部分)。在一些实施方案中,在混合现实模式下(例如,基于相机视图或透明显示器的增强现实,或基于物理环境的虚拟化表示的增强虚拟),第一用户不完全沉浸于计算机生成的环境中,并且仍为其提供与第一用户和第一显示生成部件周围的物理环境直接对应的感官信息(例如,视觉、音频等)。在一些实施方案中,在第一显示生成部件显示完全沉浸式环境时,第二显示生成部件任选地显示状态信息而没有与用户眼睛的状态有关的信息(例如,仅显示与CGR内容有关的状态信息)或完全不显示任何状态信息。

在一些实施方案中,计算系统任选地具有任何数量的不同状态,这些状态对应于用于经由第一显示生成部件显示的计算机生成的不同体验的可用性。计算系统的每个不同状态任选地具有在计算系统进入该状态和/或保持处于该状态时第二显示生成部件所显示的对应组的一个或多个用户界面元素。计算系统的每个不同状态任选地由对应事件或事件组和/或对应组的一个或多个预设标准的满足来触发。尽管在相对于图7F至图7I所描述的示例中仅示出了计算系统的两个状态、与这两个状态相对应的两个用户界面对象和两个计算机生成的不同体验,但是任选地由计算系统以与相对于示例中所述的两个状态、用户界面元素和计算机生成的体验所描述的方式类似的方式实现第三状态、第三用户界面元素和第三计算机生成的体验。在一些实施方案中,任选地实现任何有限数量的状态、用户界面元素和计算机生成的体验。

在一些实施方案中,第一显示生成部件所提供的计算机生成的体验是沉浸式体验(例如,AR或VR体验)并且考虑了物理环境中的第一用户的动作(例如,手势、移动、语音和/或注视等)。例如,当用户的手部在物理环境中移动时或当用户在物理环境中移动(例如,转身或行走)时,更新计算机生成的三维环境的用户界面和/或用户视角以反映用户手部的移动(例如,推开AR环境中的虚拟窗口,激活AR环境中呈现的主屏幕或菜单中的用户界面元素,等等)或用户的移动(例如,用户视点相对于AR环境或虚拟三维游戏世界等移动)。

在一些实施方案中,计算机生成的不同体验(例如,第一由计算机生成的体验、第二由计算机生成的体验等)是包括相同物理环境但基于计算系统的状态来选择的不同虚拟元素(例如,如由第二显示生成部件所显示的一个或多个用户界面元素(例如,圆形7012、正方形7026等)指示)的表示的AR体验。例如,在一些实施方案中,计算机生成的体验任选地包括第一用户所处的相同房间的视图。根据确定刚好在用户将第一显示生成部件的显示侧放置在他/她眼睛前面之前计算系统在第二显示生成部件上显示若干不同事件提醒中的相应一个事件提醒,计算系统显示房间的表示及房间的墙壁的表示上若干不同主题化虚拟壁纸中的相应一个主题化虚拟壁纸,同时显示与相应事件提醒相对应的事件的相应介绍视频。

在一些实施方案中,根据上下文(例如,如基于相关上下文信息(例如,位置、时间、用户身份、接收到通知或警示等)和/或第二显示生成部件上示出了什么来确定的计算系统的状态),计算机生成的不同体验要么是增强现实体验,要么是虚拟体验。在一些实施方案中,在AR和VR模式中的一种模式下开始计算机生成的体验之后,该体验可(例如,响应于用户请求,响应于满足其他预设条件,等等)转变成AR和VR模式中的另一模式。

在一些实施方案中,计算系统被配置为使用第二显示生成部件基于计算系统的状态来显示各种应用程序的相应用户界面和/或用户界面对象。例如,在一些实施方案中,第二显示生成部件上显示的一个或多个用户界面元素包括具有排定事件、预约、假期和/或提醒等的电子日历(例如,社交日历、工作日历、每日计划表、每周计划表、每月日历、按月份示出日期和周的标准日历等)的元素。在一些实施方案中,当满足第一显示生成部件与第一用户之间的预设空间配置(例如,第一用户或他的眼睛面向第一显示生成部件的显示侧,第一用户处于使他/她能够查看第一显示生成部件所显示的内容的位置中,等等)时,计算系统经由第一显示生成部件显示不同计算生成的体验,其中所显示的特定计算机生成的体验基于刚好在开始和/或完成将第一显示生成部件和第一用户置于预设空间配置的移动之前在第二显示生成部件上示出什么日历内容。例如,根据确定第二显示生成部件上示出的一个或多个用户界面元素对应于第一日历事件(例如,用户界面元素示出第一日历事件的事件信息、警示、通知、日历数据、备注等),计算系统显示与第一日历事件相对应的第一由计算机生成的体验(例如,详细和/或交互式信息(例如,会场和与会者的预览、视频、模型等))。根据确定第二显示生成部件上示出的一个或多个用户界面元素对应于第二日历事件(例如,用户界面元素示出第二日历事件的事件信息、警示、通知、日历数据、备注等),计算系统显示与第二日历事件相对应的第二由计算机生成的体验(例如,详细和/或交互式信息(例如,会场和与会者的预览、视频、模型等))。在一些实施方案中,当双面HMD未被用户穿戴(例如,以外部显示器面向用户的方式放置在桌上)时,HMD的外部显示器用于显示日历,包括当前日期、时间、天气信息、地理位置和/或当天的或在预设时间段内(例如,在接下来的两小时内、在接下来的五分钟内等)即将到来的任务或排定预约的列表。当用户拿起HMD并将HMD的内部显示器放置在他/她眼睛的前面(例如,通过举起HMD或通过将HMD放置在他/她的头部上,等等)时,HMD的内部显示器显示日历的细节(例如,示出包括当前周或当前月的更完整的日历,示出当天的所有排定事件,示出接下来即将到来的事件的更多细节,等等)。在一些实施方案中,与第一日历事件相对应的一个或多个用户界面元素包括第一日历事件的通知,并且与第二日历事件相对应的用户界面元素是第二日历事件的通知。

在一些实施方案中,计算系统使用第二显示生成部件显示媒体对象,诸如照片和/或具有二维图像的视频剪辑,并且使用第一显示生成部件显示与第二显示生成部件上显示的媒体对象相对应的三维体验或全长媒体内容。例如,第二显示生成部件上示出的用户界面元素任选地包括来自长视频的快照或剪辑、三维视频的分辨率降低或二维版本、与交互式计算机环境相对应的非交互式用户界面等;并且当已满足用于触发显示此类扩展内容的标准时(例如,当第一显示生成部件和第一用户已被置于预设空间配置以及任选的其他条件(例如,用户已坐下,HMD中有足够的电量等)时),第一显示生成部件显示长视频、三维视频、交互式计算机环境等。在一些实施方案中,当双面HMD未被用户穿戴(例如,以外部显示器面向用户的方式放置在桌上)时,HMD的外部显示器用于显示可经由HMD的内部显示器显示的可用媒体项目的视觉表示。在一些实施方案中,根据HMD的当前位置和/或媒体项目的提供商所指定的媒体项目的可用性等来改变可用媒体项目。当用户拿起HMD并将内部显示器放置在他/她眼睛的前面时,第一显示生成部件显示媒体项目的实际内容(例如,示出更完整的电影、更加沉浸式的体验和/或启用媒体项目的更加交互式的能力等)。

在一些实施方案中,计算系统使用第二显示生成部件显示传入通信请求(例如,传入电话呼叫、音频/视频聊天请求、视频会议请求等)的警示,并且一旦第一显示生成部件被置于相对于第一用户的预设物理配置(例如,通过第一用户、第一显示生成部件或两者的移动),计算系统就使用第一显示生成部件显示对应通信环境。在一些实施方案中,经由第一显示生成部件示出的通信环境示出了模拟环境,其中存在每个参与者的虚拟头像或图像(例如,这些头像坐在第一用户前面的桌子的表示周围,或作为说话头(talking head)位于第一用户前面的桌面上,等等)。在一些实施方案中,计算系统响应于检测到第一显示生成部件置于相对于第一用户的预设物理配置而接受传入通信请求并开始对应通信会话(例如,使用第一显示生成部件和计算系统的其他部件)。在一些实施方案中,计算系统响应于检测到第一显示生成部件置于相对于第一用户的预设物理配置而启动与传入通信请求相对应的应用程序并且(例如,使用第一显示生成部件)显示应用程序的用户界面,第一用户可从该用户界面选择接受传入通信请求。在一些实施方案中,当双面HMD未被用户穿戴(例如,以外部显示器面向用户的方式放置在桌上)时,HMD的外部显示器用于在计算系统接收到此类请求时显示传入通信请求的通知。在一些实施方案中,该通知提供呼叫者的身份和所请求的通信会话的类型的指示。当用户拿起HMD并将HMD的内部显示器放置在他/她眼睛的前面(例如,通过使用他/她的手部举起HMD,或通过将HMD穿戴在他/她的头部上,等等)时,HMD的内部显示器显示与已接收到的通信请求相对应的通信接口,并且用户可开始使用HMD的内部显示器来与呼叫者通信。在一些实施方案中,计算系统根据传入通信请求的特征(例如,请求者的身份、一天中的时间、呼叫的主题等)来启动不同应用程序(或启动相同应用程序的不同模式)。例如,对于同事发出的传入请求而言,计算系统在开始通信会话之前在第一显示生成部件上显示等待来自第一用户的预设输入的用户界面;并且对于家庭成员发出的传入请求而言,计算系统开始通信会话而不显示用户界面和/或不需要来自第一用户的预设输入。在另一个示例中,对于到达用户家的传入请求而言,计算系统开始与着休闲装的第一用户的头像的通信会话;并且对于到达用户办公室的传入请求而言,计算系统开始与着职业装的第一用户的头像的通信会话。在另一个示例中,对于对电话呼叫的传入请求而言,计算系统显示每个参与者的特写说话头表示;并且对于对视频聊天的传入请求而言,计算系统显示每个参与者的全身表示,该全身表示示出参与者的实际物理运动。在一些实施方案中,第二显示生成部件上示出的一个或多个用户界面元素在视觉上指示传入通信请求的特定特征,计算系统使用这些特定特征来确定计算机生成的体验的特征(例如,通信会话的用户界面或环境的特征)。在一些实施方案中,在由第一显示生成部件显示计算机生成的体验之前,还由第二显示生成部件所示出的一个或多个用户界面元素在视觉上表示计算机生成的体验的所选择的特征。在一些实施方案中,计算系统根据在使用第一显示生成部件显示计算机生成的体验之前接收到的用户输入(例如,第二显示生成部件上的触摸手势、第一显示生成部件和/或第二显示生成部件的外壳上的触摸手势、凌空手势、语音命令等)来修改计算机生成的体验的特征。

在一些实施方案中,计算系统根据各种参数(例如,用户的距离、用户的身份、用户的手势等)来修改第二显示生成部件上显示的内容(例如,一个或多个用户界面元素)。例如,根据在离第二显示生成部件的第一距离(例如,第一距离小于第一阈值距离,但大于第二阈值距离)处检测到第一用户,计算系统显示一个或多个用户界面元素的第一版本(例如,较大简单图标或文本)以指示计算机生成的相应体验的可用性;并且根据在离第二显示生成部件的第二距离(例如,第二距离小于第二阈值距离)处检测到第一用户,计算系统显示一个或多个用户界面元素的第二版本(例如,图形、更多细节等)以指示计算机生成的相应体验的可用性(例如,在第一用户移动得离第二显示生成部件更近时替换一个或多个用户界面元素的第一版本的显示)。在另一个示例中,根据在第二显示生成部件的阈值距离内检测到用户,计算系统显示一个或多个用户界面元素的通用版本(例如,较大简单图标或文本)以指示计算机生成的相应体验的可用性;并且根据检测到用户的身份(例如,响应于在拿起第一显示生成部件/第二显示生成部件(例如,HMD)时检测到用户的指纹,或响应于用户移动得离第二显示生成部件更近,等等),计算系统显示与用户的身份相对应的一个或多个用户界面元素的用户特定的版本(例如,基于用户偏好、使用历史、人口统计等定制)。

在一些实施方案中,计算系统在检测到第一显示生成部件被置于相对于第一用户的预设物理配置之前显示包括能够选择的选项(例如,一个或多个用户界面元素和/或除一个或多个用户界面元素之外的用户界面对象)的用户界面,并且检测选择这些能够选择的选项中的一个或多个能够选择的选项的用户输入,其中这些能够选择的选项包括用于定制与能够用于经由第一显示生成部件显示的一个或多个用户界面元素相对应的计算机生成的体验的偏好。当第一显示生成部件被置于相对于第一用户的预设物理配置时,计算系统显示基于用户选择的选项来定制的计算机生成的体验。在一些实施方案中,这些能够选择的选项对应于计算系统的一组两种或更多种模式(例如,AR模式、VR模式、2D模式、隐私模式、家长控制模式、DND模式等),其中可经由第一显示生成部件呈现计算机生成的体验。

在一些实施方案中,第二显示生成部件所显示的一个或多个用户界面元素包括能够用于由第一显示生成部件显示的三维体验的预览。在一些实施方案中,第二显示生成部件所提供的预览是模拟三维体验中的视口的三维预览。用户可使他的头部相对于第二显示生成部件移动,并且看见三维体验中表示的三维环境的不同部分。在一些实施方案中,当用户拿起第二显示生成部件(例如,拿起双面HMD)和/或将第二显示生成部件置于相对于第一用户的预设空间配置(例如,以外部显示器面向用户眼睛的方式保持HMD)时启动该预览。在一些实施方案中,在第一显示生成部件上启动该预览之后,响应于检测到用户将第一显示生成部件放置成与第一用户处于预设空间关系(例如,用户以内部显示器面向用户面部或眼睛的方式保持HMD,用户将HMD放置在用户的头部上,等等),计算系统在第一显示生成部件上启动计算机生成的体验。

图7H至图7J示出了根据一些实施方案根据在计算机生成的体验的呈现期间第一显示生成部件保持处于相对于第一用户的预设空间关系或配置的方式来显示计算机生成的不同体验。在一些实施方案中,计算机生成的不同体验彼此相关。例如,计算机生成的不同体验分别是三维计算机生成的体验的预览和三维计算机生成的体验自身;或它们分别是计算机生成的体验的片段或修订版本和计算机生成的体验的完整版本等。在一些实施方案中,当第一显示生成部件的显示侧面向第一用户或第一用户的预设部分(例如,用户的眼睛或面部)时,和/或当用户处于查看在第一显示生成部件上示出的内容的位置中(例如,用户穿戴HMD,保持HMD,用手举起HMD,将HMD放置在预设查看站点中,将HMD连接到预设输出设备等)时,计算系统确定第一显示生成部件被置于相对于第一用户的预设空间关系或配置。在一些实施方案中,计算系统基于第一显示生成部件(或任选地,包围第一显示生成部件(和任选的第二显示生成部件)的整个HMD)是否被第一用户穿戴(例如,被捆绑住,在没有用户手部支撑的情况下保持在用户眼睛的前面)来确定要在第一显示生成部件上显示哪种计算机生成的体验。在一些实施方案中,计算系统基于除第一显示生成部件之外的设备或传感器(例如,第一显示生成部件的外壳上的带子或带扣、附接到第一显示生成部件的外壳的触摸或位置传感器等)的状态来确定第一显示生成部件是否被第一用户穿戴。例如,带子或带扣任选地具有开启状态和闭合状态,并且当第一显示生成部件被第一用户穿戴时,带子或带扣处于闭合状态;并且当第一显示生成部件仅暂时被放置在用户的前面(例如,用户用手举到视平线)并且不被用户穿戴时,带子或带扣处于开启状态。在一些实施方案中,当第一显示生成部件的外壳被搁置在用户的鼻部、耳部、头部和/或除用户手部之外的用户身体的其他部分上并由它们支撑时,第一显示生成部件的外壳上的触摸或位置传感器切换到第一状态(“是”状态);并且当第一显示生成部件的外壳由用户的手部支撑时,触摸或位置传感器切换到第二状态(“否”状态)。在一些实施方案中,通过区分第一显示生成部件(或包括第一显示生成部件的HMD)保持处于相对于第一用户的预设配置以便用户查看第一显示生成部件上显示的计算机生成的体验的方式,计算系统可更适当地定制向用户呈现的内容的交互模型和深度。例如,仅当第一显示生成部件不由用户手部保持处于相对于第一用户的预设配置时,计算系统才启用需要用户手部的移动作为输入(例如,凌空手势、微手势、与第一显示生成部件的外壳分开的控制设备上提供的输入等)的第一交互模型;并且在第一显示生成部件由用户手部保持处于相对于第一用户的预设配置时,计算系统仅启用不需要用户手部移离第一显示生成部件的外壳的其他类型的交互模型(例如,语音交互、注视交互、第一显示生成部件的外壳上的触摸交互等)。

在图7I中,第一用户7202与第一显示生成部件(例如,显示器7100、HMD的内部显示器等)并置于位置A 7000-a处并且面向第一显示生成部件的显示侧。根据一些实施方案,这是为了示出第一显示生成部件处于相对于第一用户或第一用户的预设部分的预设配置(例如,第一显示生成部件被放置在用户面部或眼睛的前面)的示例性场景。在图7I所示的示例性场景中,第一用户7202将传感器对象7016保持在她的手部中。传感器对象7016相对于用户手部的该位置对应于在第一显示生成部件未被第一用户7202穿戴时第一显示生成部件的状态。与在第一显示生成部件未被第一用户穿戴时第一显示生成部件的状态相对应的另一个示例性场景是第一显示生成部件为HMD的显示器(例如,HMD的内部显示器、HMD的单个显示器等)并且HMD的显示器由第一用户的手部保持或举起以面向第一用户的眼睛(例如,而不是由用户的头部、鼻部、耳部或非用户手部的用户的其他部分支撑)时的场景。在一些实施方案中,在传感器对象7016被保持在第一用户的手部中(这也对应于第一显示生成部件在被放置在用户面部或眼睛的前面时由用户的手部支撑或未被第一用户穿戴)时的场景中,计算系统显示第二由计算机生成的体验7030(例如,与图7H所示的计算系统的第二状态相对应的体验)。

在图7J中,第一用户与第一显示生成部件并置于位置A 7000-a处并且面向第一显示生成部件7100的显示侧。根据一些实施方案,这是为了示出第一显示生成部件7100处于相对于第一用户或第一用户的预设部分的预设配置(例如,第一显示生成部件被放置在用户面部或眼睛的前面)的另一个示例性场景。在图7J所示的场景中,第一用户7202不再将传感器对象7016保持在她的手部中,而是已将传感器对象放置在她的身体(例如,她的背部)上,使得第一用户7202此时穿戴着传感器对象7016。传感器对象7016相对于用户手部和身体的该位置对应于在第一显示生成部件7100被第一用户穿戴时第一显示生成部件的状态。与在第一显示生成部件被第一用户穿戴时第一显示生成部件的状态相对应的另一个示例性场景是第一显示生成部件为HMD的显示器(例如,HMD的内部显示器)并且HMD被正常地穿戴在第一用户的头部上(例如,被捆绑、扣紧、完全搁置在用户的鼻部、耳部和/或头部上,而不是由用户的手部支撑)时的场景。在一些实施方案中,在传感器对象7016被用户穿戴并且未被保持在第一用户的手部中(这也对应于第一显示生成部件在被放置在用户面部或眼睛的前面时被用户穿戴并且未由用户的手部支撑)的场景中,计算系统显示第三计算机生成的体验7036(例如,不同体验,该不同体验也对应于图7H所示的计算系统的第二状态(例如,示出正方形7026),但由于传感器对象7016的状态(以及相应地,第一显示生成部件(例如,显示器7100或HMD的内部显示器)的穿戴状态)而不同于第二由计算机生成的体验(例如,图7I中的体验7030))。

如图7J所示,计算系统(例如,使用相机7104和/或其他传感器)检测第一用户7202在空中移动她的手部以提供凌空手势,并且作为响应,将虚拟对象7032移动到物理对象7028的表示7028’的顶部上。在一些实施方案中,计算系统在显示第三计算机生成的体验7036时禁用设置在第一显示生成部件(例如,显示器7100、HMD的内部显示器、HMD的单个显示器等)的外壳上的输入设备(例如,触敏表面、按钮、开关等)中的至少一些输入设备。在一些实施方案中,计算系统启用在第一显示生成部件未被第一用户7202穿戴(例如,如基于传感器对象7016或其他传感器等的状态来确定)时未启用的至少一种交互模型(例如,支持凌空手势、微手势和/或经由与第一显示生成部件的外壳分开的输入设备检测到的输入等的交互模型)。在一些实施方案中,第三计算机生成的体验7036和第二由计算机生成的体验7030是具有对应内容(例如,相同内容或相同内容的不同版本)但不同交互模型(例如,不同交互模型,或重叠但不同组的交互模型等)的相关体验。

如图7I和图7J所示,在一些实施方案中,计算系统任选地包括第二显示生成部件(例如,包括在与第一显示生成部件不同的外壳中的显示器(例如,显示器7102),或包括在与第一显示生成部件相同的外壳中(例如,背对背或以其他方式面向不同方向)的显示器(例如,具有内部显示器和外部显示器的HMD))。在一些实施方案中,第二显示生成部件任选地显示与经由第一显示生成部件示出的内容相关的状态信息(例如,内容的改变的视觉表示),并且任选地显示与第一用户的状态(例如,用户面部或眼睛的图像或表示)和/或计算系统的操作模式(例如,混合现实模式、虚拟现实模式、完全透传模式、家长控制模式、隐私模式、DND模式等)相关的状态信息。在一些实施方案中,第二显示生成部件还显示与能够用于由第一显示生成部件显示的计算机生成的体验相对应的用户界面元素。相对于图7A至图7E和图7F至图7I来描述第二显示生成部件的操作和第一显示生成部件的对应操作的更多细节,并且相对于图8至图13来描述过程。在一些实施方案中,基于在第一显示生成部件被置于相对于用户的预设配置时第一显示生成部件是否被用户穿戴来显示计算机生成的不同体验的计算系统没有除第一显示生成部件之外的另一个显示生成部件,因此不显示状态信息和/或指示本文所阐述的计算机生成的体验的可用性的用户界面元素。

在一些实施方案中,根据在第一显示生成部件被置于相对于第一用户的预设配置(例如,第一显示生成部件的显示侧面向用户的眼睛或面部和/或在离用户面部的阈值距离内等)时第一显示生成部件是否被第一用户穿戴(例如,HMD是否被捆绑或扣紧到用户的头部上并且在没有用户手部的支撑的情况下仍可处于用户眼睛的前面,或仅仅由用户手部保持在用户眼睛的前面并且在没有用户手部的支撑的情况下会掉落),计算系统任选地使用第一显示生成部件显示与应用程序用户界面(例如,相机用户界面、红外扫描仪用户界面(例如,示出当前物理环境的热图)、增强现实测量应用程序(例如,自动地显示相机视图中的物理对象的测量值)等)不同类型的用户界面(例如,系统用户界面(例如,应用程序启动用户界面、主屏幕、多任务处理用户界面、配置用户界面等))。在一些实施方案中,当计算系统使用第一显示生成部件显示应用程序用户界面时,响应于经由设置在第一显示生成部件的外壳上的输入设备(例如,触摸传感器、接触强度传感器、按钮、开关等)检测到的用户输入,计算系统拍摄在相机视图内捕获的物理环境的照片或视频。

在一些实施方案中,当确定对在用户将第一显示生成部件保持在他/她眼睛的前面并且未穿戴第一显示生成部件时检测到的用户输入的响应时,计算系统使位于第一显示生成部件的外壳上的基于触摸的输入设备上检测到的触摸输入优先于在第一用户前面检测到的微手势输入和/或凌空手势输入(例如,由未抓住第一显示生成部件的外壳的用户手部执行微手势输入和凌空手势输入)。在一些实施方案中,当确定对在用户穿戴第一显示生成部件时(例如,在不需要用户手部支撑第一显示生成部件时)检测到的用户输入的响应时,计算系统使在第一用户前面检测到的微手势输入和/或凌空手势输入优先于在位于第一显示生成部件的外壳上的基于触摸的输入设备上检测到的触摸输入。在一些实施方案中,响应于同时检测到多种类型的输入(例如,由手部远离第一显示生成部件执行的输入、由手部触摸第一显示生成部件或其外壳执行的输入等),根据确定第一显示生成部件在处于相对于用户的预设配置时被用户穿戴(例如,包括第一显示生成部件的HMD被捆绑在用户的头部上,被扣紧,未由用户的手部支撑等),计算系统基于由远离第一显示生成部件和其外壳定位的手部执行的手势(例如,凌空手势、微手势等)(例如,该手势由HMD上的相机、机械或触敏输入设备或者穿戴在用户手部上的传感器等捕获)来启用与所显示的计算机生成的体验的交互。根据确定第一显示生成部件在处于相对于用户的预设配置时未被用户穿戴(例如,未被捆绑在用户的头部上,未被扣紧,由用户的手部支撑等),计算系统基于由手部在第一显示生成部件或其外壳上执行的手势(例如,触摸手势、操纵物理控件等)(例如,该手势由HMD的外壳的触敏表面、HMD的外壳上的按钮或开关等捕获)来启用与所显示的计算机生成的体验的交互。

图7K至图7M示出了包括至少第一显示生成部件(例如,显示器7100、HMD的内部显示器、HMD的单个显示器等)和任选的第二显示生成部件(例如,显示器7102、HMD的外部显示器等)的计算系统(例如,图1中的计算系统101或图4中的计算系统140),其中计算系统根据物理环境中用户与物理对象之间的物理交互(例如,拿起乐器并演奏乐器,拿起书籍并翻开书籍,拿着盒并打开盒等)经由第一显示生成部件(例如,显示器7100、HMD的内部显示器、HMD的单个显示器等)向用户显示计算机生成的体验(例如,增强现实体验、增强虚拟体验、虚拟现实体验等)。在一些实施方案中,只有满足与物理对象相对应的预设标准的某些物理交互才可触发显示计算机生成的体验。在一些实施方案中,任选地根据与物理对象的物理交互满足多组标准中的哪组标准来显示计算机生成的不同体验。在一些实施方案中,计算机生成的不同体验包括与操作物理对象的不同模式(例如,轻拍、弹奏、轻抚、打开、摆动等)相对应的不同增强现实体验。图7K至图7M用于示出下文描述的过程,包括图8至图13中的过程。

如图7K所示,用户(例如,用户7202)存在于场景105中,该场景包括具有墙壁和地板的房间中的物理对象(例如,包括盒盖7042和盒体7040的对象、书籍、乐器等)。在图7K中,用户正用他的手部7036保持第一显示生成部件(例如,显示器7100、HMD、手持式设备等)。在一些实施方案中,第一显示生成部件未保持在用户的手部7036中,而是由搁置在用户身体(例如,头部、耳部、鼻部等)上的外壳或支撑结构支撑。在一些实施方案中,第一显示生成部件(例如,平视显示器、投影仪等)被放置在第一用户的眼睛或面部的前面并且由不是用户身体的一部分的其他支撑结构(例如,桌面、电视柜等)支撑。

在一些实施方案中,如图7K所示,计算系统经由第一显示生成部件(例如,显示器7100、HMD的显示器等)提供物理环境(例如,包括物理对象的房间)的增强现实视图105’。在物理环境的增强现实视图中,物理环境的一部分的视图包括物理对象的表示(例如,包括盒盖7042的表示7042’和盒体7040的表示7040’)和任选周围环境的表示(例如,支撑物理对象的支撑结构7044的表示7044’及房间的墙壁和地板的表示)。除了环境中的物理对象的表示之外,计算系统还显示一些虚拟内容(例如,用户界面对象、物理对象的视觉增强等),包括与物理对象(例如,包括盖7042和主体7040的盒、环境中的另一个物理对象等)相对应的一个或多个计算机生成的体验能够用于经由第一显示生成部件显示的视觉指示(例如,标签7046或其他视觉指示等)。如图7K(B)所示,在一些实施方案中,在物理环境的视图中在与物理对象的位置相对应的位置处(例如,在盒盖7042的位置处)显示视觉指示(例如,标签7046)。例如,在经由第一显示生成部件显示的物理环境的视图中,标签7046看起来位于盒盖7042的顶部上。

在一些实施方案中,视觉指示(例如,标签7046或其他视觉指示等)包括关于能够用于由第一显示生成部件显示的计算机生成的体验的描述性信息(例如,图标、图形、文本、动画、视频剪辑、图像等)。在一些实施方案中,当计算系统的第一显示生成部件或一个或多个相机在物理环境中移动时,和/或当物理对象在物理环境中移动,使得第一显示生成部件所示出的物理环境的增强现实视图仅包括物理对象的小于阈值部分的表示(例如,物理对象的小于50%或不包括物理对象的关键部分(例如,盒的盖7042、书籍的标题文本、乐器的发音部分等)等)时,计算系统停止显示(或放弃显示)增强现实环境的视图中的视觉指示。

在一些实施方案中,视觉指示包括与触发显示计算机生成的体验所需的物理交互有关的提示或引导信息(例如,动画图示、指向物理对象的表示的特定部分的指示符等)。在一些实施方案中,计算系统响应于检测到满足预设第一标准(例如,用于评估用户对观看计算机生成的体验感兴趣的标准、用于检测用户的存在的标准、用于检测用户在物理对象上的手部接触的标准等)的一些用户输入而仅显示与触发显示计算机生成的体验所需的物理交互有关的提示或引导信息。如图7L所示,在一些实施方案中,当计算系统检测到用户用他/她的手部触摸物理对象而未执行用于触发显示计算机生成的体验的所需交互(例如,手部7038触摸物理对象的盒盖7042或盒体7040,但未开启盒盖7042)时,计算系统在与盒盖7042的位置相对应的增强现实环境视图中的位置处显示提示或引导信息(例如,动画箭头7048或其他视觉效果或虚拟对象等)以提示用户开启盒盖7042。在一些实施方案中,根据用户与物理对象交互的方式来更新提示和引导信息(例如,箭头的方向、动画的序列等)。在一些实施方案中,当用户使用该手部操纵物理环境中的物理对象时,在物理环境的增强现实视图105’中示出用户手部的表示(例如,手部7038的表示7038’)。需注意,这些提示和引导信息不同于在检测到与物理对象的所需物理交互(例如,开启盖7048、另外的一些其他交互(例如,在取走盖7048后从支撑件7044拿起盒7040)等)后能够用于经由第一显示生成部件显示的实际计算机生成的体验。在一些实施方案中,计算系统响应于与物理对象的物理交互不满足用于触发显示计算机生成的体验的标准而不显示任何提示或引导信息(例如,计算系统不显示计算机生成的体验并且不显示提示和引导信息,而是任选地保持显示视觉指示(例如,标签7046)以指示计算机生成的体验能够用于显示)。

如图7M所示,在一些实施方案中,当计算系统检测到用户已执行触发显示计算机生成的体验所需的与物理对象的物理交互时,计算系统显示计算机生成的体验。例如,响应于检测到用户的手部7038从盒体7040揭起盒盖7042,计算系统确定与物理对象的所需物理交互已满足用于触发显示计算机生成的体验的预设标准,并且使用第一显示生成部件(例如,显示器7100、HMD的内部显示器、HMD的单个显示器等)显示计算机生成的体验。在图7M中,计算机生成的体验是以与它们在物理环境中的物理位置和取向相对应的位置和取向示出用户手部7038的表示7038’、盒盖7042的表示7042’和盒体7040的表示7040’的增强现实体验。此外,在一些实施方案中,增强现实体验还将虚拟内容(例如,看起来跳出盒体7040并将虚拟阴影投射在盒体的内部上的虚拟球7050、替换盒7040下方的物理支撑件7044的表示的虚拟平台7052等)与物理环境的表示同时示出。此外,在一些实施方案中,物理环境中的墙壁的表示被替换为增强现实体验中的虚拟叠层。在一些实施方案中,当计算机生成的体验已开始后用户继续与物理对象交互时,计算系统根据用户对物理对象(例如,盒体7040、盒盖7042等)的物理操纵并任选地根据通过计算系统的各种输入设备检测到的其他输入(例如,手势输入、触摸输入、注视输入、语音输入等)来显示增强现实环境的变化。在一些实施方案中,计算机生成的体验以根据与物理对象的继续物理交互来确定的方式继续进行。例如,响应于检测到用户移动物理环境中的盒盖7042,计算系统移动盒盖7042的表示7042’以将虚拟球7050推动到盒体7040的表示7040’上方的空白空间中;并且响应于检测到用户将盒盖7042放回到盒体7040上,计算系统显示盒盖7042的表示7042’回到盒体7040的表示7040’上并停止显示虚拟球7050。在一些实施方案中,计算系统要求用户在执行触发显示计算机生成的体验所需的物理交互时与物理对象发生物理接触;并且根据确定用户已停止与物理对象的物理接触达超过阈值量的时间,计算系统停止显示计算机生成的体验。例如,在一些实施方案中,计算系统在检测到物理对象从用户的手部释放时立即停止显示计算机生成的体验。在一些实施方案中,计算系统在检测到物理对象在从用户的手部释放后落下并停靠在另一个物理表面上时停止显示计算机生成的体验。

在一些实施方案中,响应于在用于触发显示计算机生成的体验的标准之前检测到用户与物理对象的物理交互而提供的视觉反馈包括计算机生成的体验的预览并且具有根据在检测到物理交互时物理交互的特征来动态更新的视觉特征。例如,任选地根据与物理环境中的物理对象的交互的特征值(例如,特征值包括移动的距离、移动的角范围、移动的速度、交互的类型、离预先确定的参考点的距离等)来(例如,实时动态地、周期性地等)调整动画、视觉效果和/或虚拟对象的范围(例如,尺寸、维度、角范围等)、视觉反馈中的细节的量、视觉反馈的亮度、颜色饱和度、视觉清晰度等及其他。例如,在一些实施方案中,当物理对象是书籍时,随着物理环境中的用户缓缓翻开书籍的封面,计算机生成的体验的颜色和光从封面与第一页之间的间隙中出现并且随着封面翻开得越来越多,变得越来越明亮且越来越饱和。任选地在书籍的封面翻开超过阈值量并满足第一标准时在三维环境中启动完整计算机生成的体验。在另一个示例中,当用户将盒盖7042的角抬起一点时,示出虚拟光从盒体7040的表示7040’出现,并且示出虚拟球7050的掠影。随着用户将盒盖7042的角抬得更高,示出更多虚拟光从盒体7040的表示7040’出现,并且虚拟球7050开始在盒体7040的表示7040’中微动。当用户最终从盒体7040揭掉盒盖7042时,启动计算机生成的体验,整个三维环境改变,将房间的表示替换为虚拟平台7052,并且虚拟球7050跳出盒的表示7040’。

在一些实施方案中,任选地由超过一种类型的物理交互触发计算机生成的体验。换句话讲,任选地与物理对象交互的第一方式和与物理对象交互的第二方式满足用于触发与物理对象相关联的计算机生成的体验的标准。例如,任选地响应于用户拿起书籍并以书籍封面相对于用户面部直立的方式将其搁在书架上以及响应于用户拿起书籍并用他/她的手部翻开封面而启动与书籍相关联的计算机生成的体验。在一些实施方案中,任选地从计算机生成的体验的不同部分启动计算机生成的体验。例如,任选地在与物理对象交互的相同方式中但采用不同参数值(例如,不同页、不同速度、不同时间等)时满足用于触发与物理对象相关联的计算机生成的体验的标准。例如,任选地响应于用户拿起书籍并从第一页翻开书籍而从计算机生成的体验的第一部分启动与书籍相关联的计算机生成的体验;并且任选地响应于用户拿起书籍并从先前书签标记的页翻开而从计算机生成的体验的第二不同部分启动与书籍相关联的计算机生成的体验。在另一个示例中,缓缓翻开书籍触发具有舒缓背景音乐和/或更柔和的颜色的计算机生成的体验,并且迅速翻开书籍触发具有更轻快的背景音乐和更明亮的颜色的计算机生成的体验。书籍示例仅仅是例示性的。相同原理适用于与其他类型的物理对象和其他触发物理交互相关联的其他计算机生成的体验。在一些实施方案中,计算机生成的不同体验与相同物理对象相关联,并且由与物理对象交互的不同方式触发。例如,盒与两个计算机生成的不同体验相关联,并且在用户开启盒的盖时触发第一由计算机生成的体验(例如,虚拟球从盒跳出以供用户用盖推动),并且在用户将盒上下翻转时触发第二由计算机生成的体验(例如,虚拟虫从盒的底部出现并且追逐在盒的底部上移动的用户手指)。在一些实施方案中,与物理对象交互的不同方式触发启用不同输入模态的计算机生成的体验的不同版本。例如,当一只手拿着书籍并且另一只手翻开书籍时,启用与计算机生成的体验交互的单手凌空手势(例如,空中轻击手势、挥手、手语手势等)和微手势,并且不启用与计算机生成的体验交互的触摸手势。当用双手保持书籍翻开时,禁用凌空手势并且启用与计算机生成的体验交互的在书籍的后表面、前表面和/或侧表面上的触摸手势(例如,轻击、轻扫等)。

图7N至图7Q示出了根据一些实施方案响应于在显示生成部件的外壳上检测到输入并根据在该输入时是否在外壳上检测到一只或两只手而选择执行或不执行操作。在一些实施方案中,当在显示生成部件的外壳上(例如,在包含显示生成部件的HMD的外壳上,在显示生成部件的框架上等)同时检测到两只手时,禁用作为输入模态的触摸输入。在一些实施方案中,只要仅单只手(例如,提供触摸输入的手部)触摸显示生成部件的外壳,计算系统就将对用户的任一只手在显示生成部件的外壳上(例如,在设置在显示生成部件的结构上或周围的触敏表面或其他触摸传感器上)执行的触摸输入作出响应;并且如果计算系统在检测到该触摸输入时检测到附加手部也正触摸显示生成部件的外壳,则计算系统忽略该触摸输入并且放弃执行与该触摸输入相对应的操作(例如,激活控件、与计算机生成的体验交互等)。在一些实施方案中,计算系统使用用于检测单只手所提供的触摸输入的相同传感器和输入设备来检测两只手的存在。在一些实施方案中,使用相机捕获用户手部的位置,并且计算系统使用来自相机的图像确定在存在于显示生成部件的外壳上的一个或多个触摸传感器检测到触摸输入时用户的两只手是否正触摸显示生成部件的外壳。在一些实施方案中,实现了用于检测触摸输入和/或用户的一只或两只手是否正触摸或支撑显示生成部件的外壳的其他装置。例如,根据各种实施方案,可使用位置传感器、接近传感器、机械传感器等检测用户的手部在显示生成部件的外壳上的存在和姿势。

在图7N中,用户(例如,用户7202)存在于物理场景105中,该物理场景包括物理对象(例如,盒7052)、墙壁7054和7056及地板7058。用户7202站立在由支架支撑的显示生成部件7100(例如,平板显示设备、投影仪、HMD、HMD的内部显示器、平视显示器等)的前面。显示生成部件7100显示物理环境105的视图。例如,在一些实施方案中,物理环境的视图是物理环境的相机视图。在一些实施方案中,通过显示生成部件的透明部分提供物理环境的视图。在一些实施方案中,显示生成部件7100显示具有物理环境的视图及虚拟对象和内容的增强现实环境,这些虚拟对象和内容被显示为覆盖在物理环境的视图的一部分上或替换物理环境的视图的一部分。如图7N所示,物理环境的视图包括盒7052的表示7052’、墙壁7054和7056的表示7054’和7056’以及地板7058的表示7058’。在图7N中,用户7202未触摸显示生成部件的外壳,并且计算系统未在显示生成部件的外壳上检测到任何触摸输入。在一些实施方案中,经由显示生成部件7100示出用户的手部7038的表示7038’作为物理环境的表示的一部分。在一些实施方案中,显示生成部件7100在其外壳上检测到任何触摸输入之前显示虚拟环境或不显示任何东西。

在一些实施方案中,除了触摸输入之外,计算系统任选地被配置为还检测显示生成部件的外壳附近的悬停输入。在一些实施方案中,位于显示生成部件的外壳上的接近传感器被配置为检测接近显示生成部件的外壳的用户手指或手部,并且基于手指或手部相对于显示生成部件的外壳的接近度(例如,离被配置为检测触摸输入的外壳的部分、外壳的其他部分等的接近度)来生成输入信号。在一些实施方案中,计算系统被配置为(例如,使用位于显示生成部件的外壳的不同部分处的接近传感器)检测显示生成部件的外壳附近的不同位置处的相应悬停输入,并且根据悬停输入的位置来提供不同反馈。在一些实施方案中,计算系统基于所检测到的悬停输入的悬停距离(例如,指尖离外壳的表面或外壳的触敏部分的距离)来调整视觉反馈的各种特征的值。

如图7O所示,在一些实施方案中,计算系统检测到手部7038或其一部分(例如,手部7038的一个手指或手部7038的两个手指等)已在离显示生成部件7100的外壳的第一触敏部分(例如,显示生成部件7100的外壳的左边缘的上部部分、HMD的左或顶部边缘部分等)的阈值距离内移动。响应于检测到手部7038或其一部分已在离显示生成部件7100的外壳的第一触敏部分的阈值距离内移动,计算系统任选地在与手部7038或其部分的位置相对应的位置处显示一个或多个用户界面对象。例如,在显示生成部件7100的外壳的左边缘的上部部分(或HMD的左或顶部边缘部分等)附近、在手部7038或手部7038的举起的手指一旁显示用户界面对象7060。在一些实施方案中,计算系统根据显示生成部件的外壳附近的手部7038或其部分的位置的变化(例如,移动得更近/更远,和/或沿着左边缘上下移动,等等)来动态地更新所显示的一个或多个用户界面对象的位置(例如,使用户界面对象7060移动得离外壳的左边缘更近或更远,和/或沿外壳的左边缘上下移动)。在一些实施方案中,计算系统根据显示生成部件的外壳附近的手部或其部分的位置的变化来动态地更新所显示的一个或多个用户界面对象的外观(例如,改变尺寸、形状、颜色、不透明度、分辨率、内容等)。在一些实施方案中,计算系统任选地根据显示生成部件的外壳附近的手部7038的姿势变化(例如,举起两个手指而不是一个手指,举起不同手指,等等)来改变在显示生成部件的外壳的第一触敏部分附近显示的用户界面对象的类型(例如,从显示第一控件(例如,音量控件、电源控件等)的表示改变为显示第二控件(例如,显示亮度控件、WiFi控件等)的表示,从显示第一类型的示能表示(例如,滚动条、按钮等)改变为显示第二类型的示能表示(例如,滚轮、开关等)等)。在一些实施方案中,当手部7038移动得离显示生成部件的外壳的第一触敏部分更近时,一个或多个用户界面对象从控件的纯粹指示(例如,小点、模糊阴影等)增大到控件的更具体且清晰的表示(例如,其上有用于指示计算系统或显示生成部件的状态的图形和/或文本的按钮或开关)。在一些实施方案中,一个或多个用户界面对象(例如,用户界面对象7060或其他用户界面对象等)与物理环境的视图同时显示。在一些实施方案中,例如如果在检测到手部7038的悬停输入之前显示虚拟环境,则一个或多个用户界面对象与虚拟环境同时显示。在一些实施方案中,例如如果在检测到悬停输入之前显示生成部件未显示物理环境的视图或任何其他虚拟内容,则显示一个或多个用户界面对象而不同时显示物理环境的视图或任何其他虚拟内容。

在一些实施方案中,如图7O所示,例如在显示生成部件的外壳上的第一触敏部分附近检测到悬停输入之后,计算系统在显示生成部件的外壳上的第一触敏部分处检测触摸输入。在一些实施方案中,响应于在显示生成部件的外壳的触敏部分的第一部分处检测到触摸输入,根据确定检测到触摸输入而未在显示生成部件的外壳上检测到另一只手,计算系统执行与触摸输入相对应的第一操作。例如,如图7O所示,响应于在显示生成部件的外壳的左边缘的上部部分上检测到触摸输入,计算系统激活增强现实体验,该增强现实体验包括一些虚拟内容(例如,虚拟叠层7062)与物理环境的视图的组合(例如,在与盒7052的位置相对应的位置处显示虚拟叠层7062,使得叠层7062看起来放置在增强现实环境中的盒7052的表示7052’的前表面上)。在一些实施方案中,用户的手部7038或手部的部分的初始向下触摸仅引起在显示生成部件的外壳上检测到触摸并且该触摸尚未满足用于发起计算系统上的任何特定操作的标准的视觉反馈(例如,用户界面对象(例如,用户界面对象7060)在尚未显示或仅仅显示为指示时以其全功能状态显示,用户界面对象(例如,用户界面对象7060)改变其外观以指示已检测到触摸,等等)。在一些实施方案中,计算系统比照用于检测一个或多个有效触摸输入的标准来评估手部7038所提供的触摸输入,并且根据确定触摸输入满足用于触发与一个或多个用户界面对象(例如,用户界面对象7060或代替用户界面对象7060显示的另一个用户界面对象等)相关联的第一操作(例如,调低显示亮度,调低音量,切换到AR模式,等等)的标准(例如,用于检测向上方向上的轻扫、双轻击输入、单指轻击等的标准),计算系统执行与一个或多个用户界面对象相关联的第一操作;并且根据确定触摸输入满足用于触发与一个或多个用户界面对象(例如,用户界面对象7060或代替用户界面对象7060显示的另一个用户界面对象等)相关联的第二操作(例如,调高显示亮度,调高音量,切换到VR模式,等等)的标准(例如,用于检测向下方向上的轻扫、单轻击、双指轻击等的标准),计算系统执行与一个或多个用户界面对象相关联的第二操作。

在一些实施方案中,如图7P所示,计算系统检测接近显示生成部件的外壳的第二触敏部分(例如,显示生成部件的外壳的左边缘的下部部分、HMD的左下边缘、HMD的右上边缘等)的用户手部7038,并且任选地作为响应而显示一个或多个用户界面对象(例如,用户界面对象7064或其他用户界面对象)。当计算系统在显示生成部件的外壳的第二触敏部分上检测到触摸输入时,根据确定在检测到触摸输入时仅单只手(例如,手部7038)触摸显示生成部件的外壳,计算系统执行与手部7038或其一部分所执行的触摸输入相对应的第二操作。在该示例中,控件7064的激活引起启动增强现实体验,该增强现实体验包括与物理环境的视图结合显示的一些虚拟内容(例如,虚拟球7066、其他虚拟对象等)(例如,在与地板7058的位置相对应的位置处显示虚拟球7066,使得虚拟球7066看起来搁置在地板7058的表示7058’的表面上)。与该示例性场景相关的其他特征类似于相对于图7O所描述的那些特征,其中唯一差异将归因于在显示生成部件的外壳的第一触敏部分附近和/或之处检测到手部7038,并且特定视觉反馈和所执行的操作对应于在显示生成部件的外壳的第一触敏部分上或附近检测到的触摸输入。为了简洁起见,本文不重复描述类似的特征。

图7Q示出了在显示生成部件的外壳上检测到手部7038的触摸输入时另一只手(例如,手部7035)触摸(例如,保持、支撑、以其他方式接触等)显示生成部件(例如,显示器7100、HMD等)的外壳。在图7Q中,手部7038分别触摸显示生成部件的外壳的第一触敏部分和外壳的第二触敏部分,并且提供与先前分别触发执行第一操作(例如,显示图7O中的虚拟叠层7062)和第二操作(例如,显示图7P中的虚拟球7066)的那些触摸输入相同的触摸输入。然而,在检测到手部7038的触摸输入之一时,根据确定在另一只手(例如,手部7036)也触摸显示生成部件的外壳时检测到触摸输入(例如,根据确定另一只手触摸外壳的与检测到该触摸输入的侧面相对的侧面,确定另一只手触摸外壳上的任何地方,等等),计算系统放弃执行与已检测到的触摸输入相对应的操作。例如,如图7Q所示,当另一只手7036触摸显示生成部件的外壳时,计算系统仍任选地在提供有效触摸输入的手部7038的位置附近显示用户界面对象(例如,用户界面对象7060、用户界面对象7064等),但不启动对应计算机生成的体验。在一些实施方案中,如果在显示生成部件的外壳的触敏部分附近同时检测到来自两只手的悬停输入,和/或当在显示生成部件的外壳的两侧上同时检测到触摸输入时,计算系统不显示任何用户界面对象。在一些实施方案中,当同时检测到两只手接近显示生成部件(例如,HMD、其他类型的显示生成部件等)和/或触摸显示生成部件时,更有可能的是,用户希望拿走显示生成部件而不是向显示生成部件提供输入。因此,更有利的是,在没有用户的明确指令的情况下忽略此类悬停或触摸输入(例如,减少用户混淆、节省电量等)。

在一些实施方案中,根据在显示生成部件的外壳上检测到的触摸输入来执行的操作改变计算系统的状态。例如,根据确定触摸输入满足第一标准,计算系统切换到第一状态;并且根据确定触摸输入满足与第一标准不同的第二标准,计算系统切换到与第一状态不同的第二状态。在一些实施方案中,第一标准和第二标准具有不同的基于位置的标准,它们要求在外壳上的不同位置处检测到触摸输入。在一些实施方案中,第一标准和第二标准具有不同的基于强度的标准,它们要求触摸输入满足不同强度阈值。在一些实施方案中,第一标准和第二标准具有不同的基于持续时间的标准,它们要求在外壳上检测到具有小于阈值量的移动并持续不同阈值量的时间的触摸输入。在一些实施方案中,第一标准和第二标准具有不同的基于距离的标准,它们要求触摸输入移动超过不同阈值距离。在一些实施方案中,第一标准和第二标准具有不同触摸模式标准,它们要求触摸输入包括不同的接触数量和/或接触移动模式。在一些实施方案中,第一标准和第二标准具有不同移动标准,它们要求触摸输入包括满足不同速度阈值和/或方向要求的接触移动。在一些实施方案中,第一标准和第二标准对提供触摸输入的手部具有不同姿势要求。在一些实施方案中,第一标准和第二标准具有上述标准中的两者或更多者的不同组合(例如,与接触的位置、强度、持续时间、移动和/或数量、手部姿势等相关的标准)。

在一些实施方案中,根据触摸输入来执行的操作改变与显示生成部件所显示的内容相关联的沉浸级别。例如,计算系统任选地响应于仅在显示生成部件的外壳上检测到单只手时执行的第一触摸输入而从第一状态改变为第二状态,在该第一状态下,计算系统在具有物理环境的视图的透传模式(例如,混合现实模式)下显示计算机生成的体验,在该第二状态下,计算机系统在没有物理环境的透传视图的沉浸式模式(例如,虚拟现实模式)下显示相同计算机生成的体验。在一些实施方案中,当在仅单只手触摸显示生成部件的外壳时在显示生成部件的外壳上检测到第二触摸输入的时候,计算系统从第二状态切换回第一状态。在一些实施方案中,计算系统任选地响应于检测到仅在显示生成部件的外壳上检测到单只手时执行的第三触摸输入而从计算系统不显示任何计算机生成的体验(例如,不显示任何东西或不显示物理环境的完全透传视图(例如,现实模式))的第三状态改变为第一状态(例如,透传模式或混合现实模式)或第二状态(例如,沉浸式模式或虚拟现实模式)。在一些实施方案中,当计算系统经由显示生成部件在沉浸式模式(例如,虚拟现实模式、没有物理环境的透传视图等)下显示计算机生成的内容时,如果在显示生成部件的外壳上检测到两只手,则计算系统任选地切换回在虚拟内容中视觉上指示最近物理对象的透传视图或特殊模式,作为特殊操作。用户在他/她不确定其在物理环境中的位置时(例如,在他担心将要撞上某物时)可本能地将两只手放在HMD的外壳上,并且在虚拟内容中视觉上指示最近物理对象而不停止虚拟内容可帮助用户使他自己重新定向而不完全停止沉浸式体验。在一些实施方案中,计算系统根据触摸输入来改变显示生成部件或音频生成部件的音频功能。例如,根据第一触摸输入,计算系统从第一音频输出模式(例如,音频透传模式或其他音频输出模式)改变为第二音频输出模式(例如,音频沉浸式模式或其他音频输出模式),和/或从第一音频阻隔模式(例如,无噪声消除模式或其他音频阻隔模式)改变为第二音频阻隔模式(例如,完全噪声消除模式或其他音频阻隔模式)。在一些实施方案中,结合触摸输入所引起的沉浸级别的变化来改变音频输出模式。

在一些实施方案中,在显示一个或多个用户界面对象(例如,图7O至图7Q中的用户界面对象7060和7064)和/或计算机生成的体验(例如,图7O和图7P中的虚拟叠层7062和虚拟球7066)时,计算系统检测到触摸输入已不再被检测到,计算系统任选地停止显示用户界面对象和/或计算机生成的体验。

在一些实施方案中,超过一个显示生成部件被包围在相同外壳中。除了面向用户的显示生成部件之外,任选地还包括另一个显示生成部件并且该另一个显示生成部件背对用户。在一些实施方案中,相对于图7A至图7J描述了包括两个显示生成部件的计算系统,并且第二显示生成部件任选地用于显示与第一显示生成部件的状态和看向第一显示生成部件的显示侧的用户相关的状态信息和/或上下文信息。在一些实施方案中,响应于触摸输入,改变第一显示生成部件的隐私模式的开/关状态,并且计算系统根据触摸输入和隐私模式变化来调整第二显示生成部件上示出的状态信息。在一些实施方案中,当在第一显示生成部件的外壳上(以及任选地,也在第二显示生成部件的外壳上)检测到的触摸输入引起与计算机生成的体验相关联的沉浸级别的变化时,计算系统根据与经由第一显示生成部件示出的计算机生成的体验相关联的沉浸级别的变化来调整第二显示生成部件上示出的状态信息。在一些实施方案中,状态信息还包括在第一显示生成部件的显示侧前面的用户眼睛的状态,并且还响应于触摸输入来更新用户眼睛的表示。相对于图7A至图7J描述了对第二显示生成部件的状态作出的变化的其他方面,这与作为仅在第一显示生成部件的外壳上检测到单只手时在第一显示生成部件的外壳上检测到的触摸输入的结果而对第一显示生成部件的状态作出的变化结合提供。

在一些实施方案中,根据一些实施方案,在本文所述的各种示例和实施方案中使用的输入手势任选地包括离散的小运动手势(这些离散的小运动手势通过将用户的手指相对于用户的手部的其他手指或部分移动来执行),而任选地,不需要主要移动用户的整个手部或手臂使其远离其自然位置和姿势来在进行用于与虚拟或混合现实环境进行交互的手势之前或期间立即执行操作。

在一些实施方案中,输入手势通过分析由传感器系统(例如,传感器190,图1;图像传感器314,图3)捕获的数据或信号来检测。在一些实施方案中,传感器系统包括一个或多个成像传感器(例如,一个或多个相机,诸如运动RGB相机、红外相机、深度相机等)。例如,该一个或多个成像传感器是计算系统(例如,图1中的计算系统101(例如,便携式电子设备7100或HMD))的部件或者向该计算系统提供数据,该计算系统包括显示生成部件(例如,图1、图3和图4中的显示生成部件120(例如,用作显示器和触敏表面的触摸屏显示器、立体显示器、具有透传部分的显示器等))。在一些实施方案中,该一个或多个成像传感器在设备的与设备的显示器相反的一侧上包括一个或多个后向相机。在一些实施方案中,由头戴式系统的传感器系统(例如,包括立体显示器的VR头戴式耳机,该立体显示器为用户的左眼提供左图像并为用户的右眼提供右图像)检测输入手势。例如,为头戴式系统的部件的一个或多个相机安装在该头戴式系统的前部和/或下侧上。在一些实施方案中,一个或多个成像传感器位于其中使用头戴式系统的空间中(例如,在房间中的各个位置中围绕头戴式系统排列),使得成像传感器捕获该头戴式系统和/或该头戴式系统的用户的图像。在一些实施方案中,由平视设备(诸如,平视显示器、具有显示图形的能力的汽车挡风玻璃、具有显示图形的能力的窗户、具有显示图形的能力的透镜)的传感器系统检测输入手势。例如,一个或多个成像传感器附接到汽车的内部表面。在一些实施方案中,传感器系统包括一个或多个深度传感器(例如,传感器阵列)。例如,该一个或多个深度传感器包括一个或多个基于光的(例如,红外)传感器和/或一个或多个基于声音的(例如,超声)传感器。在一些实施方案中,传感器系统包括一个或多个信号发射器,诸如光发射器(例如,红外发射器)和/或声音发射器(例如,超声发射器)。例如,在光(例如,来自具有预先确定图案的红外光发射器阵列的光)被投影到手部(例如,手部7200)上时,由该一个或多个相机捕获在光的照明下的手部的图像,并且所捕获的图像被分析以确定手部的位置和/或构造。使用来自指向手部的图像传感器的信号来确定输入手势,而不是使用触敏表面或其他直接接触机构或基于接近的机构的信号,允许用户自由选择在利用他/她的手部提供输入手势时是执行大幅运动还是保持相对静止,而不经受由特定输入设备或输入区域施加的限制。

在一些实施方案中,微轻击输入是用户的手部的拇指在食指上方(例如,在与拇指相邻的食指的一侧上)的轻击输入。在一些实施方案中,在不需要将拇指从食指的该侧面抬起的情况下检测轻击输入。在一些实施方案中,根据确定拇指的向下移动之后是拇指的向上移动来检测轻击输入,其中拇指与食指的该侧接触小于阈值量的时间。在一些实施方案中,根据确定拇指从抬起位置移动到触压位置并且保持在触压位置至少第一阈值量的时间(例如,轻击时间阈值或长于轻击时间阈值的另一个时间阈值)来检测轻击-保持输入。在一些实施方案中,计算系统要求手部作为整体在位置中保持基本上静止达至少第一阈值量的时间,以便检测拇指在食指上进行的轻击-保持输入。在一些实施方案中,在不需要手部作为整体保持基本上静止(例如,手部作为整体可以在拇指搁置在食指的该侧上时移动)的情况下检测触摸保持输入。在一些实施方案中,当拇指触压食指的该侧并且手部作为整体在拇指搁置在食指的该侧上时移动时检测轻击-保持-拖动输入。

在一些实施方案中,微轻弹手势是通过拇指跨食指(例如,从食指的手掌侧到背侧)的移动进行的推动或轻弹输入。在一些实施方案中,拇指的伸展移动伴随着远离食指的该侧的向上移动,例如,如在由拇指进行的向上轻弹输入中。在一些实施方案中,在拇指的向前移动和向上移动期间,食指在与拇指的方向相反的方向上移动。在一些实施方案中,通过拇指从伸展位置移动到回缩位置来执行反向轻弹输入。在一些实施方案中,在拇指的向后移动和向下移动期间,食指在与拇指的方向相反的方向上移动。

在一些实施方案中,微轻扫手势是通过拇指沿着食指(例如,沿着与拇指相邻或手掌的该侧上的食指的一侧)的移动进行的轻扫输入。在一些实施方案中,食指任选地处于伸展状态(例如,基本上笔直)或卷曲状态。在一些实施方案中,在轻扫输入手势中拇指的移动期间,食指在伸展状态和卷曲状态之间移动。

在一些实施方案中,各种手指的不同的指骨对应于不同的输入。拇指在各种手指(例如,食指、中指、无名指,以及任选地,小拇指)的各种指骨上方的微轻击输入任选地映射到不同操作。类似地,在一些实施方案中,不同的推动或点击输入可由拇指跨不同手指和/或手指的不同部分执行,以在相应用户界面上下文中触发不同操作。类似地,在一些实施方案中,由拇指沿着不同手指和/或在不同方向上(例如,朝向手指的远侧端部或近侧端部)执行的不同轻扫输入在相应用户界面上下文中触发不同操作。

在一些实施方案中,计算系统基于拇指的移动类型而将轻击输入、轻弹输入和轻扫输入视为不同类型的输入。在一些实施方案中,计算机系统将具有被拇指轻击、触摸或轻扫的不同手指位置的输入视为给定输入类型(例如,轻击输入类型、轻弹输入类型、轻扫输入类型等)的不同子输入类型(例如,近侧、中间、远侧子类型,或者食指、中指、无名指或小拇指子类型)。在一些实施方案中,通过移动手指(例如,拇指)执行的移动量和/或与手指的移动相关联的其他移动度量(例如,速度、初始速度、结束速度、持续时间、方向、移动模式等)用于定量地影响通过手指输入触发的操作。

在一些实施方案中,计算机系统识别组合输入类型,这些组合输入类型组合由拇指进行的一系列移动,诸如轻击-轻扫输入(例如,拇指在手指上的触压,然后是沿着手指的该侧的轻扫)、轻击-轻弹输入(例如,拇指在手指上方的触压,紧接着是跨手指从手指的手掌侧到背侧的轻弹)、双击输入(例如,在大约相同位置处在手指的该侧上的两次连续轻击)等。

在一些实施方案中,手势输入由食指而不是拇指执行(例如,食指在拇指上执行轻击或轻扫,或者拇指和食指朝向彼此移动以执行捏合手势等)。在一些实施方案中,与不具有通过手腕移动进行的修改输入的手指移动输入相比,手腕移动(例如,手腕在水平方向或竖直方向上的轻弹)紧接在手指移动输入之前执行,紧接在手指移动输入之后(例如,在阈值量的时间内)执行或与手指移动输入同时执行,以在当前用户界面上下文中触发附加操作、不同操作或经修改操作。在一些实施方案中,用面向用户面部的用户手掌执行的手指输入手势被视为与用背对用户面部的用户手掌执行的手指输入手势不同类型的手势。例如,与响应于用背对用户面部的用户手掌执行的轻击手势而执行的操作(例如,相同操作)相比,用面向用户的用户手掌执行的轻击手势执行的操作具有增加(或减少)的隐私保护。

尽管在本公开中提供的示例中,可以使用一种类型的手指输入来触发某种类型的操作,但是在其他实施方案中,其他类型的手指输入任选地用于触发相同类型的操作。

下文参考相对于下面的图8至图13描述的方法8000、9000、10000、11000、12000和13000提供了关于图7A至图7Q的附加描述。

图8是根据一些实施方案显示计算机生成的环境以及与计算机生成的环境相关联的状态信息和与处于查看计算机生成的环境的位置中的用户相关联的状态信息的方法8000的流程图。

方法8000涉及计算系统,该计算系统包括第一显示生成部件和第二显示生成部件(例如,单独显示器、包围在相同外壳中但面向不同方向(例如,背对背面向相反方向,面向不同角度,使得它们不能被同一用户同时查看等)的显示器)。第一显示生成部件显示计算机生成的环境,该计算机生成的环境将计算机生成的体验提供给处于查看经由第一显示生成部件呈现的内容的位置中的用户(例如,用户面向显示生成部件的显示侧(例如,由投影仪照明的物理环境的侧面、发出能在用户的视网膜上形成图像的光的显示器的侧面等))。第一显示生成部件任选地提供具有不同沉浸级别的计算机生成的体验,这些不同沉浸级别对应于来自周围物理环境的不同量的视觉和音频信息,在第一显示生成部件提供计算机生成的体验时仍可经由第一显示生成部件感知这些不同量的视觉和音频信息。在正常操作期间(例如,当用户穿戴包括第一显示生成部件的HMD和/或正面向第一显示生成部件的显示侧时),第一显示生成部件阻碍用户直接查看周围物理环境,同时在用户处于查看经由第一显示生成部件示出的内容的位置中时阻碍他人查看用户的面部或眼睛。在一些实施方案中,第一显示生成部件是在HMD被放置在用户的头部上时面向用户眼睛的HMD的内部显示器。传统上,当用户处于查看经由显示生成部件示出的内容的位置中时,用户可以通过在显示具有不同沉浸级别的计算机生成的环境之间切换(例如,在完全透传模式、混合现实模式或虚拟现实模式之间切换)来选择看到物理环境或不看到物理环境。然而,周围环境中面向显示生成部件的背侧的他人对于用户的注意力状态、显示生成部件上正示出什么内容和/或用户是否能够看到周围环境和其中的人具有很少或没有视觉线索。显示生成部件的两侧上的视觉信息(和任选的音频信息)的这种不平衡使得用户与周围环境中的他人之间的社交互动不自然且低效。许多考虑因素可受益于计算系统使用第二显示生成部件来显示适当量的视觉信息,该适当量的视觉信息将与用户相关的状态信息和/或经由第一显示生成部件向用户显示的内容传达给周围环境中的人。第二显示生成部件对状态信息的显示任选地只要第一显示生成部件在使用中就进行显示,或任选地响应于检测到相同物理环境中存在其他人和/或响应于检测到他人可能想要与用户进行社会话语的指示(例如,通过进入相同房间、看向用户的方向、朝用户挥手等)而触发。在一些实施方案中,在第二显示生成部件上示出状态信息包括显示用户的一部分(例如,在用户处于查看经由第一显示生成部件显示的内容的位置中时被第一显示生成部件遮挡的用户的部分)的表示,该表示根据用户的外观的变化(例如,被第一显示生成部件遮挡的用户的部分的变化)来动态更新。在一些实施方案中,示出状态信息还包括显示图形元素,这些图形元素提供当前经由第一显示生成部件示出的内容的视觉指示(例如,与示出用户的该部分的表示同时进行)。使用第二显示生成部件显示与查看经由第一显示生成部件示出的内容的用户相关的更新的状态信息和与该内容的状态相关联的元数据(例如,名称、进度、沉浸级别、显示模式等)的该方法和系统允许用户的周围环境中的他人在用户参与计算机生成的体验时获得对用户的当前状态的有用洞察,但不完全向周围环境展现计算机生成的体验。在一些实施方案中,被第一显示生成部件遮挡的用户的部分(例如,用户眼睛或面部)的表示和示出经由第一显示生成部件显示的内容的状态的图形元素分别显示在第二显示生成部件的不同显示层上并且彼此独立地更新。在一些实施方案中,第二显示生成部件的不同显示层上对用户的该部分的表示和示出内容的状态的图形元素的更新提供了容纳第一显示生成部件和第二显示生成部件两者的头戴式显示设备后面的用户状态的更真实视图。第二显示生成部件上示出的状态信息使得用户能够在通过第一显示生成部件参与计算机生成的体验时与周围环境中的人保持社交联系。第二显示生成部件上的示出用户眼睛的状态和向用户示出的内容的状态的动态更新的状态信息改善了在用户处于公共或半公共环境中时用户参与计算机生成的体验,例如通过在用户期望此类互动时鼓励适当的社交互动,减少周围环境中的他人由于缺少用户同意参与社交活动的视觉线索而对社交互动的不必要回避,向他人通知打断用户参与计算机生成的体验的合适时间,减少由于缺少用户期望保持不受干扰的视觉线索而对用户参与体验的不受欢迎的打断等。

在一些实施方案中,在计算系统(例如,图1中的计算系统101)处执行(8002)方法8000,该计算系统包括第一显示生成部件(例如,图7A至图7Q中的显示器7100、HMD的内部显示器等)、第二显示生成部件(例如,图7A至图7J中的显示器7102、HMD的外部显示器等)和一个或多个输入设备(例如,相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)。在一些实施方案中,第一显示生成部件和第二显示部件各自是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等,或是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等的单独显示器和/或包围在这些显示器的相同外壳中。在一些实施方案中,第一显示生成部件是面向用户的显示部件并向用户提供CGR体验,并且第二显示生成部件是背对用户并面向用户的外部环境的显示部件并且任选地向外部环境中的其他用户提供与第一显示生成部件(例如,所显示的内容、操作状态等)和/或用户(例如,用户眼睛的移动、用户的注意力状态等)相关的状态信息。在一些实施方案中,第一显示生成部件和第二显示生成部件形成双面显示设备(例如,双面HMD),该双面显示设备在与第一显示生成部件相对应的第一侧上显示第一用户界面,并且在与第二显示生成部件相对应的第二侧上显示第二用户界面。在一些实施方案中,计算系统是集成设备,该集成设备具有包围在与第一显示生成部件和第二显示生成部件及一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中,计算系统包括计算部件(例如,服务器,移动电子设备诸如智能电话或平板设备,可穿戴设备诸如手表、腕带或听筒,台式计算机,膝上型计算机等),该计算部件包括与显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中,显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。在一些实施方案中,方法8000通过存储在非暂态计算机可读存储介质中并由计算系统的一个或多个处理器(诸如计算系统101的一个或多个处理器202)(例如,图1中的控制单元110)执行的指令来管理。方法8000中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。

计算系统经由第一显示生成部件显示(8004)(例如,使用HMD的内部显示器显示)第一由计算机生成的环境(例如,包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的表示中的至少一者的计算机生成的环境(例如,显示仅具有虚拟内容的纯虚拟环境(例如,VR视图),显示包括虚拟内容和周围物理环境的表示两者的混合现实环境(例如,计算系统的周围环境的AR视图),或显示周围物理环境的表示而没有任何虚拟内容(例如,完全透传视图)))。在经由第一显示生成部件显示第一由计算机生成的环境时,计算系统经由第二显示生成部件同时显示(8006):处于经由第一显示生成部件查看第一由计算机生成的环境的位置中(例如,当用户穿戴HMD,并且用户的面部或眼睛面向HMD的内部显示器,并且HMD阻碍他人直接查看用户的面部或眼睛并阻碍用户直接查看周围环境时)的计算系统的用户(例如,第一用户7202)的一部分的视觉表示(例如,图7A至图7E中的表示7006)(例如,视觉表示是用户眼睛的计算机生成的图像(例如,基于用户眼睛的相机视图来生成的现实或程式化图像)或相机视图),以及提供第一由计算机生成的环境中的内容(例如,图7A至图7E中的内容7002)的视觉指示的一个或多个图形元素(例如,图7A至图7E中的表示7008、进度条7004、电影名称等)(例如,其图标、图形、文本、颜色和/或动画视觉变化)。同时显示用户的该部分的视觉表示和一个或多个图形元素包括:改变用户的该部分的视觉表示(例如,改变图7A至图7E中的表示7006)以表示相应时间段内的用户的外观的变化(例如,因用户的该部分相对于第一显示生成部件的移动而引起的变化)(例如,根据在相应时间段期间(例如,在用户以第一沉浸级别查看第一由计算机生成的环境(例如,用户可通过经由HMD提供的透传视图看到外部环境)时)HMD后面的用户眼睛的实时移动来显示对用户眼睛的计算机生成的图像或相机视图的实时更新);以及改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素(例如,改变图7A至图7E中的表示7008、进度条7004等)以表示相应时间段内的第一由计算机生成的环境的变化(例如,根据在相应时间段期间在第一由计算机生成的环境中发生的实时或周期性变化来显示对一个或多个图形元素的实时或周期性更新)。在一些实施方案中,在HMD的外部显示器上的第一显示深度处显示用户的该部分的视觉表示,并且在HMD的外部显示器上的第二显示深度处显示一个或多个图形元素,该第二显示深度不同于第一显示深度(例如,更深或离第二显示生成部件的外部观察者更远(例如,在第二图形层后面的第一图形层处显示用户眼睛的图像,该第二图形层显示提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素))。在一些实施方案中,第一显示生成部件和第二显示部件分别集成在相同设备(例如,头戴式显示器或双面显示设备)中,其中当该集成设备在正常操作期间被放置在相对于用户的一定位置中时(例如,当HMD被穿戴在用户的头部上和/或被放置在用户眼睛的前面时),第一显示生成部件面向用户,并且第二显示生成部件面向外部环境。这在例如图7A至图7C中示出,其中第一用户的该部分的外观的变化和经由第一显示生成部件显示的计算机生成的体验的变化引起第二显示生成部件所显示的状态信息也改变。

在一些实施方案中,改变用户的该部分的视觉表示以表示相应时间段内的用户的外观的变化包括:根据用户的该部分在相对于第一显示生成部件的第一方向上的移动(例如,眼球或眼睑的上下移动),在第二显示生成部件上显示用户的该部分的视觉表示在第一方向上(例如,上下、在与用户的该部分的移动基本上相同的方向上)的移动;以及根据用户的该部分在相对于第一显示生成部件的第二方向上的移动(例如,眼球的侧向移动),该第二方向基本上垂直于第一方向,从而在第二显示生成部件上显示用户的该部分的视觉表示在与第二方向基本上相反的第三方向上的移动。例如,当眼球朝第一显示生成部件的显示侧的左边缘移动时,眼球的表示朝第二显示生成部件的显示侧的右边缘移动;并且当眼球朝第一显示生成部件的显示侧的右边缘移动时,眼球的表示朝第二显示生成部件的显示侧的左边缘移动,前提条件是第一显示生成部件的显示侧的左边缘和第二显示生成部件的显示侧的右边缘位于第一显示生成部件和第二显示生成部件的外壳的同一侧上,并且第一显示生成部件的显示侧的右边缘和第二显示生成部件的显示侧的左边缘位于第一显示生成部件和第二显示生成部件的外壳的同一侧上。例如,第二显示生成部件上(例如,在HMD的外部显示器上示出)的眼睛的图像不是用户眼睛的镜像,而是如从外部查看的用户眼睛的相机馈送。换句话讲,HMD的外部显示器用于提供用户眼睛的伪透传视图,同时物理地阻碍外部观察者直接查看用户的眼睛。根据第一用户的该部分在相对于第一显示生成部件的第一方向上的移动来显示用户的该部分的视觉表示在第一方向上的移动,并且根据用户的该部分在相对于第一显示生成部件的第二方向上的移动来在第二显示生成部件上显示用户的该部分的视觉表示在与第二方向(第二方向基本上垂直于第一方向)基本上相反的第三方向上的移动,向用户提供了改进的视觉反馈(例如,与用户的该部分在第一方向或第二方向上的移动有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括根据为视觉表示的第一显示特性(例如,与一个或多个图形元素或一个或多个相机所捕获的用户眼睛的最初原始图像(其用作用于生成HMD的内部显示器上示出的用户眼睛的视觉表示的基础)相比,降低的不透明度、降低的颜色饱和度、降低的亮度、增加的模糊半径等)指定的预定义的特征值(例如,80%不透明度、30%透明度、25%减小的饱和度、[0.2,0.8]减小的亮度范围等)来生成用户的该部分的视觉表示。显示用户的该部分的视觉表示和一个或多个图形元素(包括根据为视觉表示的第一显示特性指定的预定义的特征值来生成用户的该部分的视觉表示)向用户提供了改进的视觉反馈(例如,与一个或多个图形元素相比,在视觉上区分用户的该部分的视觉表示)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,为视觉表示的第一显示特性指定的预定义的特征值包括用户的该部分的视觉表示的不透明度的预定义的降低量(这任选地被实现为用户的该部分的视觉表示的半透明度的增加)。在一些实施方案中,在预定义的不透明度降低的情况下显示用户的该部分的视觉表示时,在第二显示生成部件(例如,HMD的外部显示器)上在没有此类不透明度降低的情况下显示用于提供当前在第一显示生成部件(例如,HMD的内部显示器)上示出的第一由计算机生成的环境的内容的指示的一个或多个图形元素。显示用户的该部分的视觉表示和一个或多个图形元素(包括根据所指定的用户的该部分的视觉表示的不透明度的预定义的降低量来生成用户的该部分的视觉表示)向用户提供了改进的视觉反馈(例如,与一个或多个图形元素相比,在视觉上区分用户的该部分的视觉表示)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括在用户的该部分的视觉表示上应用预定义的视觉效果(例如,模糊滤波器、颜色滤波器、亮度滤波器等)(例如,当在HMD的内部显示器上显示视觉表示时,将模糊滤波器(例如,高斯模糊滤波器)应用于用户眼睛的视觉表示)。在一些实施方案中,在采用预定义的视觉效果(例如,模糊滤波器)的情况下显示用户的该部分的视觉表示时,在第二显示生成部件(例如,HMD的外部显示器)上在没有此类预定义的视觉效果的情况下(例如,在没有模糊滤波器的情况下)显示用于提供当前在第一显示生成部件(例如,HMD的内部显示器)上示出的第一由计算机生成的环境的内容的指示的一个或多个图形元素。在用户的该部分的视觉表示上应用预定义的视觉效果向用户提供了改进的视觉反馈(例如,通过与一个或多个图形元素相比在视觉上区分用户的该部分的视觉表示)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,经由第二显示生成部件同时显示用户的该部分的视觉表示和一个或多个图形元素包括在用户的该部分的视觉表示与提供第一由计算机生成的环境的内容的视觉指示的一个或多个图形元素之间显示扩散彩色层。在一些实施方案中,在第一图形层上显示用户的该部分的视觉表示,在第二图形层上显示一个或多个图形元素,并且在第一图形层与第二图形层之间的第三图形层上显示扩散彩色层,并且任选地,第三图形层离第一图形层的距离比离第二图形层的距离更近。在用户的该部分的视觉表示与提供第一由计算机生成的环境的内容的视觉指示的一个或多个图形元素之间显示扩散彩色层向用户提供了改进的视觉反馈(例如,通过与一个或多个图形元素相比在视觉上区分用户的该部分的视觉表示)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,经由第二显示生成部件同时显示用户的该部分的视觉表示和一个或多个图形元素包括以第一图形分辨率显示用户的该部分的视觉表示并且以不同于(例如,大于或小于)第一图形分辨率的第二图形分辨率显示提供第一由计算机生成的环境的内容的视觉指示的一个或多个图形元素。在一些实施方案中,以比用于提供第一由计算机生成的环境的内容的指示的一个或多个图形元素更低的分辨率显示用户眼睛的表示。以第一图形分辨率显示用户的该部分的视觉表示并且以不同于第一图形分辨率的第二图形分辨率显示提供第一由计算机生成的环境的内容的视觉指示的一个或多个图形元素向用户提供了改进的视觉反馈(例如,通过与一个或多个图形元素相比在视觉上区分用户的该部分的视觉表示)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括:根据确定(例如,在第一由计算机生成的环境中的内容根据预定义的标准保持不变(例如,完全不改变,或沉浸级别保持不变,或内容的章节保持不变等)时)检测到用户的外观的第一变化(例如,用户的眼球或眼睑相对于第一显示生成部件移动超过阈值移动量,而第一显示生成部件相对于用户的面部固定在一定位置中),根据用户的外观的第一变化来改变用户的该部分的视觉表示(例如,根据指向HMD后面的用户眼睛的相机所捕获的用户的眼球的实际移动和眼睛的眨动来在外部显示器上示出用户的眼球的实时移动和眼睛的眨动)而不改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素(例如,(例如,在用户以第一沉浸级别查看第一由计算机生成的环境(例如,用户可通过经由HMD提供的透传视图看到外部环境)而不改变向外部观察者提供与用户所查看的内容和第一由计算机生成的环境的当前状态有关的信息的叠层时)根据HMD后面的用户眼睛的实时移动来显示对用户眼睛的计算机生成的图像或相机视图的实时更新)。在一些实施方案中,提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素不如用户的该部分的视觉表示那样频繁地更新,因此在对一个或多个图形元素进行更新之间的一些时间间隔内,即使第一由计算机生成的环境中的内容已改变,一个或多个图形元素也不改变。例如,根据HMD后面的用户眼睛的移动来在外部显示器上实时地更新用户眼睛的表示,同时每20秒、30秒或根据一些预定义的触发事件诸如活动的应用程序的变化、第一由计算机生成的环境的参与或沉浸级别的变化等来更新提供第一由计算机生成的环境中的内容的视觉指示的图形元素。根据用户的外观的第一变化来改变用户的该部分的视觉表示而不改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素(例如,与用户的外观的第一变化有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括:根据确定在用户的外观保持不变(例如,用户眼睛相对于第一显示生成部件未移动超过阈值量(例如,用户未眨动或移动他的眼球))时检测到第一由计算机生成的环境中的内容的第二变化(例如,第一由计算机生成的环境中的内容根据预定义的标准改变(例如,任何完全变化或沉浸级别的变化或所显示的内容的章节的变化等)),根据第一由计算机生成的环境中的内容的第二变化来改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素中的至少一个图形元素(例如,显示对向外部观察者提供与用户所查看的内容和第一由计算机生成的环境的当前状态有关的信息的叠层的更新(例如,示出经由第一显示部件显示的电影的进度条,示出基于沉浸级别、用户注意力状态或参与级别的变化来对内容的沉浸级别、用户的注意力状态或参与级别的指示符的更新等))而不改变用户的该部分的视觉表示(例如,示出如指向HMD后面的用户眼睛的相机所捕获的用户的眼睛的眼球和眼睑的实际静止)。根据第一由计算机生成的环境中的内容的第二变化来改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素中的至少一个图形元素而不改变用户的该部分的视觉表示向用户提供了改进的视觉反馈(例如,与第一由计算机生成的环境中的内容的第二变化有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括:根据确定随第一由计算机生成的环境中的内容的第四变化(例如,第一由计算机生成的环境的内容根据预定义的标准改变(例如,任何完全变化或沉浸级别的变化或所显示的内容的章节的变化等))检测到用户的外观的第三变化(例如,用户的眼球或眼睑相对于第一显示生成部件移动超过阈值移动量,而第一显示生成部件相对于用户的面部固定在一定位置中),根据用户的外观的第三变化来改变用户的该部分的视觉表示(例如,根据指向HMD后面的用户眼睛的相机所捕获的用户的眼球的实际移动和眼睛的眨动来在外部显示器上示出用户的眼球的实时移动和眼睛的眨动)并结合(例如,同时、在相同时间段期间)根据第一由计算机生成的环境中的内容的第四变化来改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素(例如,(例如,在用户以第一沉浸级别查看第一由计算机生成的环境(例如,用户可通过经由HMD提供的透传视图看到外部环境),同时改变向外部观察者提供与用户所查看的内容和第一由计算机生成的环境的当前状态有关的信息的叠层时)根据HMD后面的用户眼睛的实时移动来显示对用户眼睛的计算机生成的图像或相机视图的实时更新)。根据用户的外观的第三变化来改变用户的该部分的视觉表示并结合根据第一由计算机生成的环境中的内容的第四变化来改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素向用户提供了改进的视觉反馈(例如,与用户的外观的第三变化和第一由计算机生成的环境中的内容的第四变化有关的改进的视觉反馈)。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括将内容的修改版本与用户的该部分的视觉表示同时显示(例如,在用户眼睛的图像的初始或修改版本上方的显示层中显示当前显示的内容的扩散图像),其中使用一个或多个图像滤波器(例如,一个或多个模糊滤波器、降低输入图像或视频的分辨率、清晰度、亮度、颜色饱和度的一个或多个滤波器等)生成内容的修改版本,该一个或多个图像滤波器在应用于内容的图像时降低图像的图像保真度(例如,使得图像因分辨率降低和/或调色板更有限而看起来更模糊、更暗、颜色更柔和、更有颗粒感等)。在一些实施方案中,改变提供第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素以表示相应时间段内的第一由计算机生成的环境的变化包括通过在内容改变时将一个或多个图像滤波器应用于内容的图像来更新内容的修改版本。将使用降低图像的图像保真度的一个或多个图像滤波器生成的内容的修改版本与用户的该部分的视觉表示同时显示,并且通过在内容改变时将降低图像保真度的一个或多个图像滤波器应用于内容的图像来改变一个或多个图形元素以表示相应时间段内的第一由计算机生成的环境的变化,向用户提供了改进的视觉反馈(例如,通过与一个或多个图形元素相比在视觉上区分用户的该部分的视觉表示)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,用户的该部分的视觉表示包括用户眼睛的图像(例如,在第一显示生成部件前面的用户眼睛的相机视图、用户眼睛的相机视图的修改(例如,模糊、扩散、变暗和/或不透明度降低等)版本)。显示包括用户眼睛的图像在内的用户的该部分的视觉表示,向用户提供了改进的视觉反馈(例如,通过在视觉上区分用户的该部分的视觉表示,通过提供与用户的该部分(例如,用户的眼睛)的所检测的移动有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,用户的该部分的视觉表示包括基于用户眼睛的一个或多个图像来生成的虚拟对象(例如,作为多个二维图像或三维模型的一对虚拟眼睛),其中虚拟对象的外观(例如,颜色、尺寸、结构等)和移动(例如,眼睑和眼球等的移动)对应于计算系统的一个或多个传感器所捕获的用户眼睛的外观和移动(例如,基于在第一显示生成部件前面的用户眼睛的相机视图来生成用户眼睛的卡通版本,并且用户眼睛的卡通版本根据指向用户眼睛的相机所捕获的用户眼睛的移动来移动)。显示包括基于用户眼睛的一个或多个图像来生成的虚拟对象在内的用户的该部分的视觉表示,并且其中虚拟对象的外观和移动对应于一个或多个传感器所捕获的用户眼睛的外观和移动,向用户提供了改进的视觉反馈(例如,通过在视觉上区分用户的该部分的视觉表示,通过提供与用户眼睛的所检测的外观和移动有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,改变用户的该部分的视觉表示以表示相应时间段内的用户的外观的变化包括:获得与用户相对应的眼睛跟踪数据(例如,用户眼球的移动以及用户注视的方向和焦点位置)(例如,眼睛跟踪数据任选地由指向用户眼睛的一个或多个相机捕获并且用作用于确定用户的注视并与经由第一显示生成部件显示的内容交互的输入);以及基于与用户相对应的眼睛跟踪数据来更新用户的该部分的视觉表示(例如,根据眼睛跟踪数据来在用户的该部分(例如,用户的面部或眼睛附近的区域)的视觉表示中表示用户眼睛的移动)。改变用户的该部分的视觉表示以表示相应时间段内的用户的外观的变化(包括获得与用户相对应的眼睛跟踪数据并且基于与用户相对应的眼睛跟踪数据来更新用户的该部分的视觉表示),向用户提供了改进的视觉反馈(例如,基于与用户相对应的眼睛跟踪数据来提供与用户眼睛的外观和移动有关的更准确的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

应当理解,对图8中的操作进行描述的具体次序仅仅是示例,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法9000、10000、11000、12000和13000)所述的其他过程的细节同样以类似的方式适用于上文相对于图8所述的方法8000。例如,上文参考方法8000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法9000、10000、11000、12000和13000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。

图9是根据一些实施方案显示计算机生成的环境以及与计算机生成的环境相关联的状态信息和与处于查看计算机生成的环境的位置中的用户相关联的状态信息的方法9000的流程图。

方法9000也涉及具有第一显示生成部件和第二显示生成部件的计算系统。如上所述,许多考虑因素可受益于计算系统使用第二显示生成部件来显示适当量的视觉信息,该适当量的视觉信息将与用户相关的状态信息和经由第一显示生成部件向用户显示的内容传达给周围环境中的其他人。在一些实施方案中,只要第一显示生成部件在使用中,就在第二显示生成部件上显示状态信息。在一些实施方案中,仅响应于检测到相同物理环境中存在其他人和/或响应于检测到相同物理环境中的他人可能想要与用户进行社会话语的一些指示(例如,通过进入相同房间、看向用户的方向、朝用户挥手等)而显示状态信息。在第二显示生成部件上示出状态信息任选地包括显示用户的一部分(例如,在用户处于查看经由第一显示生成部件显示的内容的位置中时被第一显示生成部件遮挡的用户的部分)的表示以及显示图形元素,这些图形元素提供当前经由第一显示生成部件示出的内容的视觉指示。此外,在一些实施方案中,结合经由第一显示生成部件显示的计算机生成的体验的沉浸级别的变化来更新用户的该部分的表示。使用第二显示生成部件显示与查看经由第一显示生成部件示出的内容的用户相关的以及与用户查看的内容相关的状态信息并且更新状态信息(包括根据与内容的提供相关联的沉浸级别的变化来更新用户的该部分的表示的外观)的该方法和系统允许用户的周围环境中的他人在用户参与计算机生成的体验时获得对用户的当前状态的有用洞察,但不完全向周围环境展现计算机生成的体验。在一些实施方案中,对被第一显示生成部件遮挡的用户的部分(例如,用户眼睛或面部)的表示的更新和对示出由第一显示生成部件显示的内容的状态的图形元素的更新在不同显示层上示出并且彼此独立地更新。在不同显示层上显示用户的该部分的表示和示出内容的状态的图形元素提供了容纳第一显示生成部件和第二显示生成部件两者的头戴式显示设备后面的用户状态的更真实视图。在一些实施方案中,经由第二显示生成部件示出的状态信息(例如,包括用户的表示和示出内容的状态的图形元素)任选地提供与用户及处于与用户相同的物理环境中的他人的不同需求相对应的计算系统的许多不同使用模式的视觉指示。这使得用户能够在参与计算机生成的体验时与周围环境中的人保持社交联系。第二显示生成部件上的示出用户眼睛的状态和向用户示出的内容的状态的动态更新的状态信息改善了在用户处于公共或半公共环境中时用户参与计算机生成的体验,例如通过在用户期望此类互动时鼓励适当的社交互动,减少周围环境中的他人由于缺少用户同意参与社交活动的视觉线索而对社交互动的不必要回避,向他人通知打断用户参与计算机生成的体验的合适时间,减少由于缺少用户期望保持不受干扰的视觉线索而对用户参与体验的不受欢迎的打断等。

在一些实施方案中,在计算系统(例如,图1中的计算系统101)处执行(9002)方法9000,该计算系统包括第一显示生成部件(例如,显示器7100、HMD的内部显示器等)、第二显示生成部件(例如,显示器7102、HMD的外部显示器等)(例如,第一显示生成部件和第二显示部件各自是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等,或是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等的单独显示器和/或包围在这些显示器的相同外壳中)和一个或多个输入设备(例如,相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)。在一些实施方案中,第一显示生成部件是面向用户的显示生成部件并向用户提供CGR体验,并且第二显示生成部件是背对用户并面向用户的外部环境的显示生成部件并且向外部环境中的其他用户提供与第一显示生成部件(例如,所显示的内容、操作状态等)和/或用户(例如,用户眼睛的移动、用户的注意力状态等)相关的状态信息。在一些实施方案中,第一显示生成部件和第二显示生成部件形成双面显示设备(例如,双面HMD),该双面显示设备在与第一显示生成部件相对应的第一侧上显示第一用户界面,并且在与第二显示生成部件相对应的第二侧上显示第二用户界面。在一些实施方案中,计算系统是集成设备,该集成设备具有包围在与第一显示生成部件和第二显示生成部件及一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中,计算系统包括计算部件(例如,服务器,移动电子设备诸如智能电话或平板设备,可穿戴设备诸如手表、腕带或听筒,台式计算机,膝上型计算机等),该计算部件包括与显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中,显示生成部件以及一个或多个输入设备被集成并封装在同一外壳中。

在方法9000中,计算系统经由第一显示生成部件显示(9004)(例如,使用HMD的内部显示器或面向用户的第一显示器等显示)计算机生成的环境(例如,图7A至图7E中的内容7002)(例如,显示仅具有虚拟内容的纯虚拟环境(例如,VR视图),显示包括虚拟内容和周围物理环境的表示两者的混合现实环境(例如,AR视图),或显示周围物理环境的表示而没有任何虚拟内容(例如,完全透传视图))。在经由第一显示生成部件显示计算机生成的环境时,计算系统经由第二显示生成部件显示(7006)与计算系统相对应的状态信息(例如,表示7006、表示7008、进度条7004等)(例如,使用HMD的外部显示器或面向远离用户面部的外部环境的第二显示器来显示状态信息),包括同时显示:处于经由第一显示生成部件查看计算机生成的环境的位置中的计算系统的用户(例如,第一用户7202)的一部分的视觉表示(例如,表示7006),以及提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素(例如,表示7008、进度条7004等)。计算系统检测(9008)相应事件(例如,在经由第一显示生成部件显示计算机生成的环境并且经由第二显示生成部件显示与计算系统相对应的状态信息(例如,包括同时显示视觉表示和一个或多个图形元素)时(例如,在以大于第一沉浸级别(例如,现实模式或透传模式)且小于第三沉浸级别(例如,虚拟现实模式)的第二沉浸级别(例如,混合现实模式或在虚拟现实模式期间提供的暂时透传模式)提供计算机生成的环境时),计算系统检测相应事件(例如,触发计算机生成的环境的沉浸感变化的事件))。响应于检测到相应事件(9010)(例如,检测到计算机生成的体验的自然终止,检测到通知,检测到中断或终止当前模式的用户输入):计算系统改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别(例如,改变为更具沉浸式模式或改变为不太沉浸式模式或改变为一种或多种特殊模式中的特殊模式);并且计算系统改变经由第二显示生成部件显示的状态信息(例如,改变提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素的外观(例如,增加或降低一个或多个图形元素的能见度(例如,降低能见度包括停止显示),变换一个或多个图形元素等)或显示附加图形元素等)),包括改变计算系统的用户的该部分的视觉表示的外观(例如,增加或降低用户的该部分的视觉表示的能见度(例如,降低用户的视觉表示的能见度包括完全停止显示用户的该部分的视觉表示))。这在图7C至图7E中示出,其中改变经由第一显示生成部件显示的计算机生成的体验的沉浸级别引起第二显示生成部件所显示的状态信息也改变。

在一些实施方案中,计算系统被配置为以至少第一沉浸级别、第二沉浸级别和第三沉浸级别显示计算机生成的环境(例如,计算系统使得经由第一显示生成部件显示的计算机生成的环境响应于一个或多个事件的序列而在不同沉浸级别之间转变(例如,应用程序或体验的自然终止或进展;响应于用户输入而开始、停止或暂停体验等))。在一些实施方案中,第一沉浸级别、第二沉浸级别和第三沉浸级别对应于计算机生成的环境中存在的虚拟内容的递增量和/或计算机生成的环境中存在的周围物理环境的表示的递减量。在一些实施方案中,第一沉浸级别、第二沉浸级别和第三沉浸级别对应于具有计算机生成的内容的递增图像保真度和/或空间范围(例如,角范围、空间深度等)和/或周围物理环境的表示的递减图像保真度和/或空间范围的不同模式的内容显示。在一些实施方案中,第一沉浸级别是透传模式,其中用户通过第一显示生成部件(例如,作为物理环境的相机视图或通过第一显示生成部件的透明部分)可完全看见物理环境,并且计算机生成的环境包括物理环境的透传视图,该透传视图具有可同时作为物理环境的视图看见的最少量的虚拟元素或包括在物理环境的用户视角的外围的虚拟元素(例如,在显示器的外围区域中显示的指示符和控件)。在一些实施方案中,第二沉浸级别是混合现实模式,其中物理环境的透传视图用计算系统所生成的虚拟元素来增强,并且具有与物理环境的用户视角的中心部分相对应的计算机生成的环境中的位置和/或具有与物理环境中的位置和对象相对应的计算机生成的环境中的位置(例如,虚拟内容与物理环境整合在计算机生成的环境的视图中)。在一些实施方案中,第三沉浸级别是虚拟现实模式,其中物理环境的用户视角完全被第一显示生成部件所提供的虚拟内容的视图替换或遮挡。在一些实施方案中,存在四种不同沉浸级别,其中第一沉浸级别对应于第一显示生成部件的透传模式,第二沉浸级别包括与第一显示生成部件的两种单独子模式相对应的两种子级别A和B(例如,第二级别–A,其中用户界面或用户界面对象在用户的视场的主要部分中显示,而物理环境的透传视图在用户界面或用户界面对象的背景中显示;和第二级别–B,其中虚拟元素与物理环境中的物理对象的表示整合在物理环境的增强现实视图中),并且第三沉浸级别对应于第一显示生成部件的虚拟现实模式。以至少第一沉浸级别、第二沉浸级别和第三沉浸级别显示计算机生成的环境,向用户提供了改进的视觉反馈(例如,已检测到相应事件的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,响应于检测到相应事件而改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别包括:根据确定相应事件是满足第一标准的事件(例如,当前以第二沉浸级别显示计算机生成的环境时满足第一标准,并且相应事件包括检测到用户将其双手放在HMD的侧面上以暂停计算系统所提供的混合现实或增强现实体验),从以第二沉浸级别显示计算机生成的环境切换到以第一沉浸级别显示计算机生成的环境(例如,从混合现实模式或增强现实模式切换到完全透传模式);以及根据确定相应事件是满足与第一标准不同的第二标准的事件(例如,在当前以第二沉浸级别显示计算机生成的环境时满足第二标准,并且相应事件包括检测到使得虚拟现实体验启动的用户输入),从以第二沉浸级别(例如,混合现实模式的子模式B)显示计算机生成的环境切换到以第三沉浸级别(例如,虚拟现实模式)显示计算机生成的环境。在一些实施方案中,响应于检测到相应事件而改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别包括:根据确定相应事件是满足第三标准的事件(例如,在当前以第三沉浸级别显示计算机生成的环境时满足第三标准,并且相应事件包括检测到用户将其双手放在HMD的侧面上以暂停计算系统所提供的虚拟体验或检测到使得虚拟现实体验终止的用户输入(例如,在用户视场的主要部分中重新显示图形用户界面(例如,主屏幕、应用程序启动用户界面)或用户界面对象(例如,应用程序启动图标、内容项目和体验的表示等),或检测到用于返回虚拟现实体验的增强现实版本的用户输入;或检测到暂时激活物理环境的透传视图的用户输入(例如,用户以远望姿势将其手部放在HMD的顶部边缘上方),同时虚拟现实内容继续与物理环境的透传视图一起显示),从以第三沉浸级别(例如,虚拟现实模式)显示计算机生成的环境切换到以第二沉浸级别(例如,混合现实模式,或暂时透传模式并任选地同时显示虚拟现实内容)显示计算机生成的环境。在一些实施方案中,当当前以第一沉浸级别显示计算机生成的环境,并且在选择计算系统所提供的应用程序或体验之前,计算机系统检测到用户在将其手部放在HMD上之后从HMD拿开其手部和/或以HMD位于其头部上的方式坐下时,计算系统从以第一沉浸级别显示计算机生成的环境切换到以第二沉浸级别显示计算机生成的环境(例如,从完全透传模式切换到混合现实模式(例如,混合现实模式的子模式A))或使得图形用户界面(例如,主屏幕、应用程序启动用户界面)或用户界面对象(例如,应用程序启动图标、内容项目和体验的表示等)的显示在用户视场的主要部分中显示。根据确定相应事件是满足第一标准的事件而从以第二沉浸级别显示计算机生成的环境切换到以第一沉浸级别显示计算机生成的环境,并且根据确定相应事件是满足与第一标准不同的第二标准的事件而从以第二沉浸级别显示计算机生成的环境切换到以第三沉浸级别显示计算机生成的环境,提供附加控件选项但不会使具有附加显示的控件(例如,从第二沉浸级别切换到第一沉浸级别或从第二沉浸级别切换到第三沉浸级别的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别(例如,响应于一个或多个事件的序列中的第一事件)包括从以第二沉浸级别显示计算机生成的环境(例如,第二沉浸级别对应于混合现实模式(例如,第二沉浸级别的子模式A、第二沉浸级别的子模式B、物理环境的增强现实视图)切换到以第一沉浸级别显示计算机生成的环境(例如,第一沉浸级别对应于现实模式或完全透传模式),其中以第一沉浸级别显示的计算机生成的环境提供了具有小于阈值量的计算机生成的内容(例如,没有虚拟内容或只有显示器的外围区域中的虚拟控件和状态信息)的物理环境视图。在一些实施方案中,具有第二沉浸级别的计算机生成的环境提供了具有超过阈值量的计算机生成的内容(例如,其中用户界面或用户界面对象位于显示器的中心部分中和/或与物理环境中的物理表面和对象的表示在视觉上整合)的物理环境视图。在一些实施方案中,改变经由第二显示生成部件显示的状态信息(例如,响应于一个或多个事件的序列中的第一事件)包括:与从以第二沉浸级别显示计算机生成的环境切换到以第一沉浸级别显示计算机生成的环境相结合(例如,与从混合现实模式切换到现实或透传模式相结合),从计算系统的用户的该部分的视觉表示与提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素一起显示切换到显示用户的该部分的视觉表示而不显示一个或多个图形元素(例如,当从第一显示生成部件上的混合现实模式切换到现实或完全透传模式时,第二显示生成部件从将第一显示生成部件上示出的内容的状态指示符与用户眼睛的表示一起显示切换到仅显示用户眼睛的表示而不显示用户所查看的内容的状态指示符)。在从以第二沉浸级别显示计算机生成的环境切换到以第一沉浸级别显示计算机生成的环境时显示具有小于阈值量的计算机生成的内容的物理环境视图,并且从将计算系统的用户的该部分的视觉表示与提供内容的视觉指示的一个或多个图形元素一起显示切换到显示用户的该部分的视觉表示而不显示一个或多个图形元素并与改变显示的状态信息相结合,向用户提供了改进的视觉反馈(例如,与当前沉浸级别有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,计算系统根据确定计算机生成的环境是包括第一显示生成部件(和第二显示生成部件)周围的物理环境的表示和至少阈值量的虚拟对象的混合现实环境来同时显示用户的该部分的视觉表示(例如,用户眼睛或眼睛附近的面部的部分的表示)和提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素(例如,作为经由第一显示生成部件示出的内容的扩散版本的虚拟叠层)(例如,当物理环境的表示和至少阈值量的虚拟对象共存于计算机生成的环境中(例如,当经由第一显示生成部件(例如,HMD的内部显示器)提供AR体验时)产生第二沉浸级别时,计算系统经由第二显示生成部件(例如,HMD的外部显示器)显示用户眼睛的实时图像与示出经由第一显示生成部件显示的内容的提示的叠层)。根据确定计算机生成的环境是包括第一显示生成部件周围的物理环境的表示和至少阈值量的虚拟对象的混合现实环境来同时显示用户的该部分的视觉表示和一个或多个图形元素,向用户提供了改进的视觉反馈(例如,与第一显示生成部件周围的物理环境和至少阈值量的虚拟对象有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别(例如,响应于一个或多个事件的序列中的第二事件)包括从以第二沉浸级别显示计算机生成的环境(例如,第二沉浸级别对应于混合现实模式(例如,第二沉浸级别的子模式A、第二沉浸级别的子模式B、物理环境的增强现实视图)切换到以第三沉浸级别显示计算机生成的环境(例如,第三沉浸级别对应于虚拟现实模式),其中以第三沉浸级别显示的计算机生成的环境提供了具有小于阈值量的物理环境的表示(例如,没有物理环境的相机视图或透传视图,或仅具有描述物理环境的名称、位置和/或天气的文本信息)的虚拟环境(例如,虚拟三维环境)。在一些实施方案中,以第二沉浸级别显示的计算机生成的环境提供了具有超过阈值量的计算机生成的内容(例如,其中用户界面或用户界面对象位于显示器的中心部分中和/或与物理环境中的物理表面和对象的表示在视觉上整合)以及超过阈值量的物理环境的表示(例如,包括相机视图或通过第一显示生成部件的透明透传部分的视图)的物理环境视图。在一些实施方案中,改变经由第二显示生成部件显示的状态信息(例如,响应于一个或多个事件的序列中的第二事件)包括:与从以第二沉浸级别显示计算机生成的环境切换到以第三沉浸级别显示计算机生成的环境相结合(例如,与从混合现实模式切换到虚拟现实模式相结合),从计算系统的用户的该部分的视觉表示与提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素一起显示切换到显示一个或多个图形元素而不显示用户的该部分的视觉表示(例如,当从第一显示生成部件上的混合现实模式切换到虚拟现实模式时,第二显示生成部件从将第一显示生成部件上示出的内容的状态指示符与用户眼睛的表示一起显示切换到仅显示用户所查看的内容的状态指示符而不显示用户眼睛的表示)。从以第二沉浸级别显示计算机生成的环境切换到以提供具有小于阈值量的物理环境的表示的虚拟环境的第三沉浸级别显示计算机生成的环境,并与从将用户的该部分的视觉表示与一个或多个图形元素一起显示切换到显示一个或多个图形元素而不显示用户的该部分的视觉表示相结合,向用户提供了改进的视觉反馈(例如,与改变的沉浸级别和改变的状态信息有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在经由第一显示生成部件显示计算机生成的环境并且经由第二显示生成部件显示与计算系统相对应的状态信息时(例如,在以大于第一沉浸级别(例如,现实模式或透传模式)且小于第三沉浸级别(例如,虚拟现实模式)的第二沉浸级别(例如,混合现实模式或在虚拟现实模式期间提供的暂时透传模式)提供计算机生成的环境时),计算系统检测用于激活计算设备的隐私模式的第一用户请求(例如,检测作为以捏合手势保持的手部的向下移动的用户输入(例如,就像用户下拉HMD上的卷帘(blind)),或检测激活计算机生成的环境中的控件的用户输入(其对应于用于激活隐私模式的请求(例如,应用于随后在第一显示生成部件上显示的所有应用程序的系统请求,或应用于当前显示的应用程序的应用程序特定的请求)),或当用户访问计算机生成的环境中标记为“隐私”的内容时等),其中隐私模式要求经由第二显示生成部件显示的一个或多个图形元素(例如,基于当前经由第一显示生成部件示出的计算机生成的环境的内容来生成并反映该内容的叠层)具有小于第一阈值能见度(例如,小于阈值分辨率、亮度、不透明度和/或清晰度;超过阈值模糊量;或完全不显示或不可见)。响应于检测到第一用户请求:根据确定在提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素的能见度超过与隐私模式相对应的第一阈值能见度时接收到第一用户请求,计算系统将第二显示生成部件上的一个或多个图形元素的能见度降低到低于与隐私模式相对应的第一阈值能见度(例如,淡出,进一步模糊,使得更加半透明,或停止显示提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素)。响应于检测到第一用户请求,根据确定在提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素的能见度未超过与隐私模式相对应的第一阈值能见度时接收到第一用户请求,计算系统保持一个或多个图形元素的能见度低于与隐私模式相对应的第一阈值能见度(例如,不显示一个或多个图形元素或保持它们最低限度可见且不改变)。在一些实施方案中,在隐私模式活动时,一个或多个图形元素不在第二显示生成部件上显示或进入显示最少信息并保持不变的状态,即使当计算机生成的环境的内容继续在第一显示生成部件上改变时也是如此。根据确定在一个或多个图形元素的能见度超过与隐私模式相对应的第一阈值能见度时接收到用于激活隐私模式的第一用户请求而将第二显示生成部件上的一个或多个图形元素的能见度降低到低于与隐私模式相对应的第一阈值能见度,并且根据确定在一个或多个图形元素的能见度未超过与隐私模式相对应的第一阈值能见度时接收到用于激活隐私模式的第一用户请求而保持一个或多个图形元素的能见度低于与隐私模式相对应的第一阈值能见度,提供附加控件选项但不会使具有附加显示的控件(例如,用于降低或保持一个或多个图形元素的能见度的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,隐私模式要求经由第二显示生成部件显示的用户的该部分的视觉表示具有小于第二阈值能见度(例如,小于阈值分辨率、亮度、不透明度和/或清晰度;超过阈值模糊量;或完全不显示或不可见)。在一些实施方案中,响应于检测到第一用户请求:根据确定在用户的该部分的视觉表示的能见度超过与隐私模式相对应的第二阈值能见度时接收到第一用户请求,计算系统将第二显示生成部件上的用户的该部分的视觉表示的能见度降低到低于与隐私模式相对应的第二阈值能见度(例如,淡出,进一步模糊,使得更加半透明,或停止显示用户眼睛的表示)。在一些实施方案中,响应于检测到第一用户请求,根据确定在用户的该部分的视觉表示的能见度未超过与隐私模式相对应的第二阈值能见度时接收到第一用户请求,保持用户的该部分的视觉表示的能见度低于与隐私模式相对应的第二阈值能见度(例如,不显示用户眼睛的表示或保持其最低限度可见且不改变)。在一些实施方案中,在隐私模式活动时,用户眼睛的视觉表示不在第二显示生成部件上显示或进入最低限度可见和/或保持不变的状态,即使当眼睛继续在第一显示生成部件后面移动时也是如此。根据确定在用户的该部分的视觉表示的能见度超过与隐私模式相对应的第二阈值能见度时接收到第一用户请求而将第二显示生成部件上的用户的该部分的视觉表示的能见度降低到低于与隐私模式相对应的第二阈值能见度,并且根据确定在用户的该部分的视觉表示的能见度未超过与隐私模式相对应的第二阈值能见度时接收到第一用户请求而保持用户的该部分的视觉表示的能见度低于与隐私模式相对应的第二阈值能见度,提供附加控件选项但不会使具有附加显示的控件(例如,用于降低或保持用户的该部分的能见度的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在隐私模式在计算系统上活动时,检测改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别(例如,从第二沉浸级别改变为第一沉浸级别,从第二沉浸级别改变为第三沉浸级别,从第三沉浸级别改变为第二沉浸级别,从第三沉浸级别改变为第一沉浸级别,从第一沉浸级别改变为第三沉浸级别等)的第二相应事件。响应于检测到第二相应事件和经由第一显示生成部件显示的计算机生成的环境的沉浸级别的对应变化,计算系统放弃改变经由第二显示生成部件显示的状态信息(例如,放弃改变第二显示生成部件上的一个或多个图形元素的当前能见度(例如,最小能见度或完全不可见)和外观;并且放弃改变第二显示生成部件上的用户眼睛的视觉表示的当前能见度(例如,最小能见度或完全不可见)和外观)。响应于检测到第二相应事件和计算机生成的环境的沉浸级别的对应变化并且在隐私模式在计算系统上活动时,放弃改变经由第二显示生成部件显示的状态信息,减少了放弃改变经由第二显示生成部件显示的状态信息所需的输入数量(例如,在隐私模式活动时,用户不需要执行附加输入来防止或撤销对经由第二显示生成部件显示的状态信息的改变)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在经由第一显示生成部件显示计算机生成的环境时(例如,在以第二沉浸级别(例如,混合现实模式或在虚拟现实模式期间提供的暂时透传模式)或第三沉浸级别(例如,虚拟现实模式)提供计算机生成的环境,并且第二显示生成部件显示状态信息(例如,用户眼睛的视觉表示和指示当前经由第一显示生成部件显示的计算机生成的环境的内容的图形元素)时),计算系统检测用于激活计算设备的勿扰(DND)模式的第二用户请求(例如,检测手部覆盖HMD的前面的用户输入,或检测激活计算机生成的环境中的控件的用户输入(其对应于用于激活勿扰模式的请求(例如,应用于随后在第一显示生成部件上显示的所有应用程序的系统请求,或应用于当前显示的应用程序的应用程序特定的请求)),或当用户访问已用“DND”标志标记的内容时等)。在一些实施方案中,响应于检测到用于激活计算设备的DND模式的第二请求,计算系统任选地通过静音或放弃显示计算系统或其他应用程序(例如,不同于与当前显示的计算机生成环境相对应的应用程序的应用程序,或所选择的应用程序的子集(例如,用户先前指定的非关键应用程序等)等)所生成的通知或以不太侵扰性的方式显示它们(例如,从显示弹出通知改变为显示角标或提供蜂鸣声等,从输出音频警示改变为不输出音频警示等)来减少对计算机生成的体验的打断。在一些实施方案中,响应于检测到用于激活DND模式的第二请求,计算系统自动地断开对传入通信请求(例如,传入呼叫、传入聊天请求等)的音频和/或视觉警示,并且任选地,通过激活与传入通信请求相对应的计算系统的语音信箱系统或自动回复特征来对传入通信请求作出响应。在一些实施方案中,响应于检测到用于激活DND模式的第二请求,计算系统开启噪声消除系统或其他机构以减少从周围环境传播到第一用户的耳部的噪声或声音。在一些实施方案中,响应于检测到用于激活DND模式的第二请求,计算系统增加经由第一显示生成部件显示计算机生成的体验的沉浸级别。在一些实施方案中,响应于检测到第二用户请求而执行上文所阐述的多个操作。在一些实施方案中,响应于检测到第二用户请求(并且任选地,与执行为激活DND模式而执行的一个或多个其他操作相结合),计算系统经由第二显示生成部件显示视觉指示符(例如,HMD的外部显示器上的文本标签“DND”,在HMD的外部显示器周围照亮红色边缘等)以指示DND模式是活动的。响应于检测到用于激活计算设备的DND模式的第二用户请求而显示指示DND模式活动的视觉指示符,向用户提供了改进的视觉反馈(例如,DND模式活动的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在DND模式在计算系统上活动时,计算系统检测改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别(例如,从第二沉浸级别改变为第一沉浸级别,从第二沉浸级别改变为第三沉浸级别,从第三沉浸级别改变为第二沉浸级别,从第三沉浸级别改变为第一沉浸级别,从第一沉浸级别改变为第三沉浸级别等)的第三相应事件。响应于检测到第三相应事件和经由第一显示生成部件显示的计算机生成的环境的沉浸级别的对应变化,计算系统放弃改变经由第二显示生成部件显示的状态信息(例如,放弃改变第二显示生成部件上的一个或多个图形元素的当前能见度(例如,正常能见度、最小能见度或完全不可见)和外观;并且放弃改变第二显示生成部件上的用户眼睛的视觉表示的当前能见度(例如,正常能见度、最小能见度或完全不可见)和外观)。响应于检测到第三相应事件和沉浸级别的对应变化并且在DND模式在计算系统上活动时,放弃改变经由第二显示生成部件显示的状态信息,减少了经由第二显示生成部件显示状态信息所需的输入数量(例如,在DND模式活动时,用户不需要执行附加输入来防止或撤销对所显示的状态信息的任何改变)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在经由第一显示生成部件显示计算机生成的环境时(例如,在以第二沉浸级别(例如,混合现实模式或在虚拟现实模式期间提供的暂时透传模式)或第三沉浸级别(例如,虚拟现实模式)提供计算机生成的环境时),计算系统检测用于激活计算设备的家长控制模式的第三用户请求(例如,检测作为HMD的外壳上的指纹输入的用户输入,或检测激活计算机生成的环境中的控件的用户输入(其对应于用于激活家长控制模式的请求(例如,应用于随后在第一显示生成部件上显示的所有应用程序的系统请求,或应用于当前显示的应用程序的应用程序特定的请求)),或当用户访问在计算机生成的环境中标记为“受控”的内容时,或当从控制设备(例如,家长的移动设备)接收到远程请求时等)。家长控制模式要求经由第二显示生成部件显示的一个或多个图形元素(例如,基于当前经由第一显示生成部件示出的计算机生成的环境的内容来生成并反映该内容的叠层)具有超过第三阈值能见度(例如,超过阈值分辨率、亮度、不透明度和/或清晰度;小于阈值模糊量;或示出与第一显示生成部件上示出的内容相同的内容)。响应于检测到第三用户请求,根据确定在提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素的能见度小于与家长控制模式相对应的第三阈值能见度时接收到第三用户请求,计算系统将第二显示生成部件上的一个或多个图形元素的能见度增加到高于与家长控制模式相对应的第三阈值能见度(例如,增加提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素的保真度和分辨率;或显示计算机生成的环境的内容代替一个或多个图形元素)。在一些实施方案中,响应于第三用户请求,根据确定在提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素的能见度已经超过与家长控制模式相对应的第三阈值能见度时接收到第三用户请求,计算系统保持一个或多个图形元素的能见度高于与家长控制模式相对应的第三阈值能见度。在一些实施方案中,在家长控制模式活动时,计算机生成的环境的内容在第一显示生成部件和第二显示生成部件两者上显示,并且继续在第一显示生成部件和第二显示生成部件两者上改变。在一些实施方案中,由除处于查看经由第一显示生成部件显示的内容的位置中的用户之外的人(例如,家长、教师、监督者、管理员等)启用家长控制模式(例如,在启动计算机生成的体验之前或在显示计算机生成的体验时)。当第一显示生成部件的显示侧背对第一显示生成部件的物理硬件和/或被该物理硬件遮挡并且内容对外部观察者不可见时,家长控制模式允许家长、教师、监督者、管理员监视在第一显示生成部件(例如,HMD的内部显示器)上发生的活动。根据确定在一个或多个图形元素的能见度小于与家长控制模式相对应的第三阈值能见度时接收到用于激活家长控制模式的第三用户请求而将一个或多个图形元素的能见度增加到高于与家长控制模式相对应的第三阈值能见度,减少了将一个或多个图形元素的能见度增加到高于第三阈值能见度所需的输入数量(例如,用户不需要执行用于激活家长控制模式的单独输入以及用于增加一个或多个图形元素的能见度的单独输入)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在家长控制模式在计算系统上活动时,计算系统检测改变经由第一显示生成部件显示的计算机生成的环境的沉浸级别(例如,从第二沉浸级别改变为第一沉浸级别,从第二沉浸级别改变为第三沉浸级别,从第三沉浸级别改变为第二沉浸级别,从第三沉浸级别改变为第一沉浸级别,从第一沉浸级别改变为第三沉浸级别等)的第四相应事件。响应于检测到第四相应事件和经由第一显示生成部件显示的计算机生成的环境的沉浸级别的对应变化,计算系统放弃改变经由第二显示生成部件显示的状态信息(例如,放弃改变当前能见度(例如,保持计算机生成的环境的内容的完全能见度);并且放弃改变第二显示生成部件上的用户眼睛的视觉表示的当前能见度(例如,正常能见度、最小能见度或完全不可见)和外观)。响应于检测到第四相应事件和沉浸级别的对应变化并且在家长控制模式在计算系统上活动时,放弃改变经由第二生成部件显示的状态信息,减少了经由第二显示生成部件显示状态信息所需的输入数量(例如,在家长控制模式活动时,用户不需要执行附加输入来防止或撤销对所显示的状态信息的任何改变)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,同时显示用户的该部分的视觉表示和一个或多个图形元素包括从经由第二显示生成部件显示的状态信息(例如,包括用户的该部分的视觉表示和一个或多个图形元素)的外部视点来看,在第一深度处显示用户的该部分的视觉表示并且在小于第一深度的第二深度处显示一个或多个图形元素。例如,当状态信息的观察者在第二显示生成部件周围移动时,由于用户的该部分的视觉表示和一个或多个图形元素离观察者的不同深度(例如,模拟视差效果),观察者看见用户的该部分的视觉表示相对于一个或多个图形元素移动。同时显示用户的该部分的视觉表示和一个或多个图形元素(包括从状态信息的外部视点来看,在第一深度处显示用户的该部分的视觉表示并且在小于第一深度的第二深度处显示一个或多个图形元素)向用户提供了改进的视觉反馈(例如,通过按深度在视觉上区分用户的该部分和一个或多个图形元素)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素至少包括指示经由第一显示生成部件显示的计算机生成的环境中的内容的进度的进度指示符。例如,如果在计算机生成的环境中播放媒体项目,则进度指示符任选地显示示出相对于媒体项目的整个持续时间而言媒体项目的当前回放位置的进度条(例如,示出书籍中的当前页/章节、电影中的当前回放位置、游戏中的当前章节或任务编号、测试中的当前问题编号等的进度条)。显示提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素(至少包括指示经由第一显示生成部件显示的计算机生成的环境中的内容的进度的进度指示符),向用户提供了改进的视觉反馈(例如,与计算机生成的环境中的内容的进度有关)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素具有第一显示特性(例如,颜色、亮度等),该第一显示特性的值基于(但不同于)计算机生成的环境中的内容的第一显示特性的值。例如,如果内容包括以蓝色为主的颜色,则经由第二显示生成部件示出的叠层也具有以蓝色为主的颜色;并且如果内容改变为以粉色为主的颜色,则叠层也改变为以粉色为主的颜色。在一些实施方案中,通过使用在计算机生成的环境中的内容的图像上应用的具有宽模糊半径的模糊滤波器来生成叠层,使得对象的轮廓不能清楚看见,但内容的大块颜色和总体颜色色调在经由第二显示生成部件示出的叠层上大部分保留。以第一显示特性(该第一显示特性的值基于计算机生成的环境中的内容的第一显示特性的值)显示提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素,向用户提供了改进的视觉反馈(例如,与计算机生成的环境中的内容的第一显示特性有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素包括计算机生成的环境的内容的一个或多个子部分(例如,对内容的图像的片段进行加扰,或经由第二显示生成部件示出内容的图像的一个或多个子部分)。例如,在一些实施方案中,将计算机生成的环境的内容的图像分成预定义的尺寸和/或形状的片段并且根据一种或多种加扰算法对这些片段进行加扰,其中这些片段的尺寸足够大,使得不同内容(例如,场景的变化)可产生具有观察者无法区分开的足够差异的加扰图像,并且足够小,使得观察者不可辨别内容的精确图像。在一些实施方案中,计算机生成的环境的内容的视觉指示由在叠层周围移动的小聚光灯提供,从而使得与叠层的该部分的相对应的内容被聚光灯照亮并变得对叠层的观察者可见。显示提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素(包括计算机生成的环境的内容的一个或多个子部分),向用户提供了改进的视觉反馈(例如,与计算机生成的环境的内容有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素包括识别计算机生成的环境的内容的元数据。例如,如果内容是电影,则一个或多个图形元素任选地包括电影的名称、电影的类型、电影的年份等。如果内容是游戏,则一个或多个图形元素任选地包括游戏的名称、游戏的当前章节、游戏的制作者等。如果内容是测试,则元数据包括测试的主题、测试的总持续时间、测试对象的姓名等。显示提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素(包括识别计算机生成的环境的内容的元数据),向用户提供了改进的视觉反馈(例如,与识别计算机生成的环境的内容的元数据有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,显示提供计算机生成的环境中的内容的视觉指示的一个或多个图形元素包括:检测处于查看经由第二显示生成部件显示的状态信息的位置中的第二用户相对于第二显示生成部件的第一移动(例如,朝向或远离用户和/或第一显示生成部件的移动);以及响应于检测到第二用户相对于第二显示生成部件的第一移动,根据确定第二用户与第二显示生成部件之间的距离已从高于第一阈值距离降低到低于第一阈值距离,更新一个或多个图形元素的显示以增加一个或多个图形元素所提供的计算机生成的环境中的内容的视觉指示的信息密度。在一些实施方案中,响应于检测到第二用户相对于第二显示生成部件的第一移动:根据确定第二用户与第二显示生成部件之间的距离已从高于第一阈值距离增加到低于第一阈值距离,更新一个或多个图形元素的显示以降低一个或多个图形元素所提供的计算机生成的环境中的内容的视觉指示的信息密度。在一些实施方案中,由一个或多个图形元素针对两个或更多个阈值距离提供三个或更多个信息密度级别。在一些实施方案中,当第二用户相对于第二显示生成部件的移动未使得第二用户与第二显示生成部件之间的距离跨越相应距离阈值时,未因第二用户的移动而改变视觉指示的信息密度。在一些实施方案中,基于叠层中存在的指示符对象的数量来确定信息密度,并且指示符对象的数量的减少对应于信息密度的降低。在一些实施方案中,基于一个或多个图形元素所提供的信息细节的量(例如,图形特征的细节、每单位显示面积的文本字符量等)来确定信息密度,并且信息细节的量的减少对应于信息密度的降低。在一些实施方案中,基于一个或多个图形元素的清晰度和分辨率来确定信息密度,并且一个或多个图形元素的清晰度和分辨率的降低对应于信息密度的降低。响应于检测到第二用户相对于第二显示生成部件的第一移动而更新一个或多个图形元素的显示以增加一个或多个图形元素所提供的内容的视觉指示的信息密度,减少了轻松显示一个或多个图形元素所需的输入数量(例如,当第二用户相对于第二显示生成部件移动时,用户不需要执行附加输入来调整内容的视觉指示的信息密度)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在经由第一显示生成部件显示计算机生成的环境并且经由第二显示生成部件显示与计算系统相对应的状态信息时,计算系统检测由处于查看经由第二显示生成部件显示的状态信息的位置中的第三用户(例如,第三用户的移动、存在、手势等)触发的第五相应事件。响应于检测到第五相应事件(例如,朝向或远离用户和/或第一显示生成部件移动、第三用户存在于与计算系统的用户相同的房间中、第三用户的手势等),根据确定第五相应事件满足第四标准(例如,第四标准提供将发生计算系统的用户与第三用户之间的交互的可能性的阈值量度),其中第四标准要求预设交互量度已因第五相应事件而从低于预设阈值增加到高于预设阈值并且以第三沉浸级别(例如,虚拟现实模式)显示计算机生成的环境以便满足第四标准:计算系统将经由第一显示生成部件显示的计算机生成的环境的沉浸级别从第三沉浸级别(例如,虚拟现实模式)改变为第二沉浸级别(例如,改变为不太沉浸式模式(例如,混合现实模式),或改变为暂时透传模式且虚拟内容继续进行),其中以第二沉浸级别显示的计算机生成的环境包括与以第三沉浸级别显示的计算机生成的环境相比增加量的物理环境的表示(例如,经由第一显示生成部件在以第二沉浸级别显示的计算机生成的环境中显示第三用户的表示,并且不经由第一显示生成部件在以第二沉浸级别显示的计算机生成的环境中显示第三用户的表示)。响应于检测到第五相应事件并且根据确定第五相应事件满足第四标准(该第四标准要求预设交互量度已因第五相应事件而从低于预设阈值增加到高于预设阈值并且以第三沉浸级别显示计算机生成的环境)而将沉浸级别从第三沉浸级别改变为第二沉浸级别(该第二沉浸级别包括与第三沉浸级别相比增加量的物理环境的表示),在已满足一组条件时改变沉浸级别而不需要进一步用户输入(例如,用于改变沉浸级别的进一步用户输入、用于增加物理环境的表示的量的进一步用户输入等)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,响应于检测到第五相应事件(例如,朝向或远离用户和/或第一显示生成部件移动、第三用户存在于与计算系统的用户相同的房间中、第三用户的手势等),根据确定第五相应事件满足第四标准(例如,第四标准提供将发生计算系统的用户与第三用户之间的交互的可能性的阈值量度):与将经由第一显示生成部件显示的计算机生成的环境的沉浸级别从第三沉浸级别改变为第二沉浸级别相结合,计算系统改变经由第二显示生成部件显示的状态信息,包括增加计算系统的用户的该部分的视觉表示的能见度(例如,增加用户的视觉表示的能见度包括从不显示用户的该部分的视觉表示切换到显示用户的该部分的视觉表示,或增加用户的该部分的视觉表示的亮度、清晰度、分辨率)。与将计算机生成的环境的沉浸级别从第三沉浸级别改变为第二沉浸级别相结合并且响应于检测到满足第四标准的第五相应事件而改变所显示的状态信息(包括增加计算系统的用户的该部分的视觉表示的能见度),在已满足一组条件时改变所显示的状态信息而不需要进一步用户输入(例如,用于改变状态信息的进一步用户输入、用于增加用户的该部分的视觉表示的能见度的进一步用户输入等)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,检测第五相应事件包括检测第三用户进入计算系统的用户周围的预定义的区域中。例如,当第三用户进入与计算系统的用户相同的房间时,或当第三用户移动到计算系统的用户的阈值距离内时,和/或当第三用户接近计算系统的用户时等,计算系统改变计算机生成的环境的内容的沉浸级别以允许用户在经由第一显示生成部件显示的计算机生成的环境中看到第三用户的表示(例如,作为施加在计算机生成的环境的内容上的阴影,或作为物理环境的透传视图的一部分)。同时,经由第二显示生成部件显示用户眼睛的表示,使得让第三用户知道计算系统的用户可看到第三用户。与将计算机生成的环境的沉浸级别从第三沉浸级别改变为第二沉浸级别相结合并且响应于检测到满足第四标准并包括检测到第三用户进入计算机系统的用户周围的预定义的区域中的第五相应事件而改变所显示的状态信息(包括增加计算系统的用户的该部分的视觉表示的能见度),在已满足一组条件时改变所显示的状态信息而不需要进一步用户输入(例如,用于改变状态信息的进一步用户输入、用于增加用户的该部分的视觉表示的能见度的进一步用户输入等)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,检测第五相应事件包括检测第三用户朝计算系统的用户执行预定义的手势(例如,挥动他/她的手部或用食指指向等)。例如,当第三用户朝计算系统的用户挥手时(例如,在他进入与计算系统的用户相同的房间之后,或当第三用户移动到计算系统的用户的阈值距离内时,和/或当第三用户接近计算系统的用户时等),计算系统改变计算机生成的环境的内容的沉浸级别以允许用户在经由第一显示生成部件显示的计算机生成的环境中看到第三用户的表示(例如,作为施加在计算机生成的环境的内容上的阴影,或作为物理环境的透传视图的一部分)。同时,经由第二显示生成部件显示用户眼睛的表示,使得让第三用户知道计算系统的用户可看到第三用户。与将计算机生成的环境的沉浸级别从第三沉浸级别改变为第二沉浸级别相结合并且响应于检测到满足第四标准并包括检测到第三用户朝计算机系统的用户执行预定义的手势的第五相应事件而改变所显示的状态信息(包括增加计算系统的用户的该部分的视觉表示的能见度),在已满足一组条件时改变所显示的状态信息而不需要进一步用户输入(例如,用于改变状态信息的进一步用户输入、用于增加用户的该部分的视觉表示的能见度的进一步用户输入等)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

应当理解,对图9中的操作进行描述的具体次序仅仅是示例,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法8000、10000、11000、12000和13000)所述的其他过程的细节同样以类似的方式适用于上文相对于图9所述的方法9000。例如,上文参考方法9000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、10000、11000、12000和13000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。

图10是根据一些实施方案基于上下文信息来提供计算机生成的体验的方法10000的流程图。方法10000涉及计算系统,该计算系统包括面向两个不同方向的第一显示生成部件和第二显示生成部件(例如,单独显示器、包围在相同外壳中但面向不同方向(例如,背对背面向相反方向,面向不同角度,使得它们不能被同一用户同时查看等)的显示器)。第一显示生成部件显示计算机生成的环境,该计算机生成的环境在用户进入查看经由第一显示生成部件呈现的内容的位置(例如,面向由投影仪照明的物理环境的侧面、面向发出能在用户的视网膜上形成图像的光的显示器的侧面等)时向用户提供计算机生成的体验。在用户将第一显示生成部件置于相对于用户的该位置和取向以查看其上显示的内容(例如,通过移动显示生成部件或用户自身或两者)之前,用户可处于看到第二显示生成部件上呈现的内容的位置中。在示例性场景中,第一显示生成部件是在HMD被放置在用户的头部上时面向用户眼睛的HMD的内部显示器,并且第二显示生成部件是在HMD位于桌子上或处于远离用户面部伸展的用户手部中并且不放置在用户的头部上或保持在用户眼睛附近时用户可看向的HMD的外部显示器。如本文所公开,计算系统利用第二显示生成部件基于上下文信息(例如,位置、时间、用户身份、用户的授权级别等)来显示计算机生成的不同体验的可用性的指示,并且响应于检测到第一显示生成部件被移动到相对于用户的预先确定的位置和取向中,使得用户能够查看经由第一显示生成部件示出的内容(例如,作为该移动的结果,第一显示生成部件面向用户眼睛),从而触发显示所选择的计算机生成的体验。任选地基于与第一显示生成部件被移动到相对于用户的预先确定的位置和取向中相对应的时间时的第二显示生成部件的状态来选择所显示的计算机生成的体验。基于上下文信息来在第二显示生成部件上指示计算机生成的体验的可用性并且基于第二显示生成部件的状态(和上下文信息的状态)及第一显示生成部件相对于用户的取向变化来自动触发在第一显示生成部件上显示所选择的计算机生成的体验,减少了实现期望结果(例如,获得涉及与当前上下文相关的可用体验的信息并且开始期望的计算机生成的体验)所需的时间和输入数量并且减少了用户错误和使用常规用户界面浏览并开始可用计算机生成的体验所花的时间。

在一些实施方案中,在计算系统处执行(10002)方法10000,该计算系统包括第一显示生成部件、第二显示生成部件(例如,第一显示生成部件和第二显示部件各自是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等,或是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等的单独显示器和/或包围在这些显示器的相同外壳中)和一个或多个输入设备(例如,相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)。在一些实施方案中,第一显示生成部件是面向用户的显示部件并向用户提供CGR体验,并且第二显示生成部件是背对用户并面向用户的外部环境的显示部件并且任选地向外部环境中的其他用户提供与第一显示生成部件(例如,所显示的内容、操作状态等)和/或用户(例如,用户眼睛的移动、用户的注意力状态等)相关的状态信息。在一些实施方案中,第一显示生成部件和第二显示生成部件形成双面显示设备(例如,双面HMD),该双面显示设备在与第一显示生成部件相对应的第一侧上显示第一用户界面,并且在与第二显示生成部件相对应的第二侧上显示第二用户界面。在一些实施方案中,计算系统是集成设备,该集成设备具有包围在与第一显示生成部件和第二显示生成部件及一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中,计算系统包括计算部件(例如,服务器,移动电子设备诸如智能电话或平板设备,可穿戴设备诸如手表、腕带或听筒,台式计算机,膝上型计算机等),该计算部件包括与显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中,显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。在方法10000中,计算系统经由第二显示生成部件(例如,第二显示器或双面HMD的外部显示器等)显示(10004)一个或多个用户界面元素(例如,图7F和图7H中的对象7012、对象7026等)(例如,一个或多个用户界面元素对应于可由计算系统经由第一显示生成部件(例如,第一显示器或双面HMD的内部显示器)提供的相应体验)。在经由第二显示生成部件(例如,第二显示器或双面HMD的外部显示器等)显示一个或多个用户界面元素时,计算系统检测(10006)第一显示生成部件(例如,第一显示器或双面HMD的内部显示器等)已移动到相对于用户的相应部分的预先确定的取向(例如,HMD已被放置在用户的面部或眼睛的前面,其中HMD的内部显示器面向用户的面部或眼睛)(例如,如图7G和图7I所示,其中第一用户7202面向第一显示生成部件的显示侧)。响应于检测到第一显示生成部件(例如,第一显示器或双面HMD的内部显示器等)已移动到相对于用户的相应部分的预先确定的取向(例如,HMD已被放置在用户的面部或眼睛的前面,其中HMD的内部显示器面向用户的面部或眼睛)(例如,这不同于使用选择和/或激活输入来激活一个或多个用户界面元素,以及通过将第一显示生成部件置于相对于用户的相应部分的预先确定的取向的不同动作(例如,与激活和选择输入不同)来进行)(10010):根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时,计算系统处于第一状态,其中第一状态对应于经由第二显示生成部件显示第一用户界面元素(例如,图7F中的对象7012)(例如,显示与能够用于由计算系统经由第一显示生成部件显示的第一由计算机生成的体验(例如,包括第一用户界面)相对应的第一应用程序预览或第一图标或头像),在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时经由第一显示生成部件显示第一用户界面(例如,图7G中的体验7024);以及根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时,计算系统处于第二状态,其中第二状态对应于经由第二显示生成部件显示第二用户界面元素(例如,图7H中的对象7026)(例如,显示与能够用于由计算系统经由第一显示生成部件显示的第二由计算机生成的体验(例如,包括第二用户界面)相对应的第二应用程序预览或第二图标或头像)而不是经由第二显示生成部件显示第一用户界面元素,从而在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时经由第一显示生成部件显示第二用户界面(例如,图7I中的体验7030或图7J中的体验7036等),其中第二用户界面不同于第一用户界面。这例如在图7F至图7I中示出,其中根据在紧接在第一显示生成部件被置于相对于第一用户的预设配置之前的时间的计算系统(和第二显示生成部件所显示的用户界面对象)的状态,第一显示生成部件响应于第一显示生成部件被置于相对于第一用户的预设配置而显示从与计算系统(和显示用户界面对象)的状态相对应的多种不同体验选择的体验。

在一些实施方案中,响应于检测到第一显示生成部件(例如,第一显示器或双面HMD的内部显示器等)已移动到相对于用户的相应部分的预先确定的取向(例如,HMD已被放置在用户的面部或眼睛的前面,其中HMD的内部显示器面向用户的面部或眼睛):根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时,计算系统处于第三状态,其中第三状态对应于经由第二显示生成部件显示第三用户界面元素(例如,显示与能够用于由计算系统经由第一显示生成部件显示的第三计算机生成的体验(例如,包括第三用户界面)相对应的第三应用程序预览或第三图标或头像),从而在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时,计算系统经由第一显示生成部件显示第三用户界面,其中第三用户界面不同于第一用户界面和第二用户界面。当移动到相对于用户的相应部分的预先确定的取向时,根据确定计算系统处于与显示第三用户界面元素相对应的第三状态,在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时经由第一显示生成部件显示与第一用户界面和第二用户界面不同的第三用户界面,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示第一用户界面、第二用户界面和/或第三用户界面的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一用户界面是包括第一虚拟内容的第一三维环境(例如,AR环境、VR环境、混合现实环境等),并且第二用户界面是包括与第一虚拟内容不同的第二虚拟内容的第二三维环境(例如,AR环境、VR环境、混合现实环境等)。例如,当用户的手部在物理环境中移动时或当用户在物理环境中移动(例如,转身或行走)时,更新第一用户界面和第二用户界面以反映用户手部的移动或用户相对于第一三维环境和第二三维环境的移动。根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示包括第一虚拟内容的第一三维环境,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示包括与第一虚拟内容不同的第二虚拟内容的第二三维环境,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示包括第一虚拟内容的第一三维环境和/或包括与第一虚拟内容不同的第二虚拟内容的第二三维环境的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一用户界面是包括第一虚拟内容而没有第一显示生成部件周围的物理环境的表示的第一三维环境(例如,第一三维环境是VR环境),并且第二用户界面是与第一三维环境不同的、包括第二虚拟内容而没有第一显示生成部件周围的物理环境的表示的第二三维环境(例如,第二三维环境是VR环境)。根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示包括第一虚拟内容而没有第一显示生成部件周围的物理环境的表示的第一三维环境,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示与第一三维环境不同的、包括第二虚拟内容而没有第一显示生成部件周围的物理环境的表示的第二三维环境,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示包括第一虚拟内容而没有第一显示生成部件周围的物理环境的表示的第一三维环境和/或与第一三维环境不同的、包括第二虚拟内容而没有第一显示生成部件周围的物理环境的表示的第二三维环境的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一用户界面是包括第一虚拟内容及第一显示生成部件周围的物理环境的表示的第一三维环境(例如,第一三维环境是AR环境),并且第二用户界面是与第一三维环境不同的、包括第二虚拟内容及第一显示生成部件周围的物理环境的表示的第二三维环境(例如,第二三维环境是AR环境)。根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示包括第一虚拟内容及第一显示生成部件周围的物理环境的表示的第一三维环境,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示与第一三维环境不同的、包括第二虚拟内容及第一显示生成部件周围的物理环境的表示的第二三维环境,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示包括第一虚拟内容及第一显示生成部件周围的物理环境的表示的第一三维环境和/或与第一三维环境不同的、包括第二虚拟内容及第一显示生成部件周围的物理环境的表示的第二三维环境的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一用户界面是第一三维环境并且第二用户界面是第二三维环境,并且其中第一三维环境和第二三维环境中的一者包括第一虚拟内容及第一显示生成部件周围的物理环境的表示(例如,三维环境之一是AR环境),并且第一三维环境和第二三维环境中的一者包括第二虚拟内容而没有第一显示生成部件周围的物理环境的表示(例如,三维环境之一是VR环境)。在一些实施方案中,一旦在AR和VR模式中的一种模式下启动体验,就可使体验转变为AR和VR模式中的另一模式。根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示第一三维环境,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示第二三维环境,其中第一三维环境和第二三维环境中的一者包括第一虚拟内容及第一显示生成部件周围的物理环境的表示,并且第一三维环境和第二三维环境中的一者包括第二虚拟内容而没有第一显示生成部件周围的物理环境的表示,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示第一三维环境和/或第二三维环境的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,显示一个或多个用户界面元素包括显示日历的元素(例如,具有排定事件、预约、假期和提醒等的日历(例如,社交日历或工作日历、每日计划表或每周计划表、每月日历、按月份示出日期和周的标准日历等)的元素),并且第一用户界面和第二用户界面是与日历相对应的相应用户界面(例如,第一用户界面和第二用户界面包括与日历中的事件相对应的事件信息、或与已触发在第二显示生成部件上显示通知的事件、预约、提醒有关的备注等)。在一些实施方案中,当双面HMD未被用户穿戴(例如,以外部显示器面向用户的方式放置在桌上)时,HMD的外部显示器用于显示日历,包括当前日期、时间、天气信息、地理位置和当天的或在预设时间段内(例如,在接下来的两小时内等)即将到来的任务或排定预约的列表。当用户拿起HMD并将内部显示器放置在他/她眼睛的前面时,第一显示生成部件显示日历的细节(例如,示出更完整的日历(示出当前周或当前月),示出当天的所有排定事件,示出接下来即将到来的事件的更多细节,等等)。显示一个或多个用户界面元素(包括显示日历的元素),并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示与日历相对应的第一用户界面,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示与日历相对应的第二用户界面,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示与日历相对应的第一用户界面和/或与日历相对应的第二用户界面的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,处于第一状态的计算系统已检测到与日历相对应的第一事件(例如,第一通知或提醒)并且显示与第一事件相对应的第一通知作为一个或多个用户界面元素的一部分;并且第一用户界面是与第一事件相对应的用户界面,该用户界面包括与第一通知相比第一事件的更多细节。类似地,处于第二状态的计算系统已检测到与日历相对应的第二事件(例如,第二通知或提醒)并且显示与第二事件相对应的第二通知作为一个或多个用户界面元素的一部分;并且第二用户界面是与第二事件相对应的用户界面,其包括与第二通知相比第二事件的更多细节。检测与日历相对应的第一事件,显示与第一事件相对应的第一通知作为一个或多个用户界面元素的一部分,并且显示包括第一事件的第一用户界面(该第一用户界面包括与第一通知相比第一事件的更多细节),减少了显示第一事件的附加细节所需的输入数量(例如,在将第一显示生成部件移动到相对于用户的相应部分的预先确定的取向之后,用户不需要执行附加输入来显示第一事件的更多细节)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,显示一个或多个用户界面元素包括显示相应媒体项目(例如,音乐视频的封面艺术、电影、视频剪辑、三维电影等)的视觉表示(例如,视频剪辑、预览、图像等),并且第一用户界面和第二用户界面回放媒体项目的内容(例如,第一用户界面和第二用户界面示出媒体项目的完整内容(例如,三维、动画、交互式等))。在一些实施方案中,当双面HMD未被用户穿戴(例如,以外部显示器面向用户的方式放置在桌上)时,HMD的外部显示器用于显示可经由HMD的内部显示器显示的可用媒体项目的视觉表示。在一些实施方案中,根据HMD的当前位置和/或媒体项目的提供商所指定的项目的可用性等来改变可用媒体项目。当用户拿起HMD并将内部显示器放置在他/她眼睛的前面时,第一显示生成部件显示媒体项目的实际内容(例如,示出更完整的电影或更加沉浸式的体验,启用媒体项目的更加交互式的能力等)。显示一个或多个用户界面元素(包括相应媒体项目的视觉表示),并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示回放媒体项目的内容的第一用户界面,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示回放媒体项目的内容的第二用户界面,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示回放媒体项目的内容的第一用户界面和/或回放媒体项目的内容的第二用户界面的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,处于第一状态的计算系统已检测到与第一媒体项目的可用性相对应的第三事件(例如,位置改变为具有第一可用媒体内容的位置)并且计算系统显示第一媒体项目的第一视觉表示作为一个或多个用户界面元素的一部分;并且第一用户界面是回放第一媒体项目的用户界面。类似地,处于第二状态的计算系统已检测到与第二媒体项目的可用性相对应的第四事件(例如,位置改变为具有第二可用媒体内容的位置)并且计算系统显示第二媒体项目的第二视觉表示作为一个或多个用户界面元素的一部分;并且第二用户界面是回放第二媒体对象的用户界面。检测与第一媒体项目的可用性相对应的第三事件,显示第一媒体项目的第一视觉表示作为一个或多个用户界面元素的一部分,并且显示回放第一媒体项目的第一用户界面,减少了回放第一媒体项目所需的输入数量(例如,在将第一显示生成部件移动到相对于用户的相应部分的预先确定的取向之后,用户不需要执行附加输入来回放第一媒体项目)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,显示一个或多个用户界面元素包括显示相应传入通信请求(例如,电话呼叫、互联网呼叫、视频会议呼叫等)的通知,并且第一用户界面和第二用户界面是与相应传入通信请求相对应的通信接口(例如,第一用户界面和第二用户界面是示出通信会话的呼叫者面部或会议内容(例如,三维、动画、交互式等)的通信接口。在一些实施方案中,当双面HMD未被用户穿戴(例如,以外部显示器面向用户的方式放置在桌上)时,HMD的外部显示器用于在计算系统接收到此类请求时显示传入通信请求的通知。在一些实施方案中,该通知提供呼叫者的身份和所请求的通信会话的类型的指示。当用户拿起HMD并将内部显示器放置在他/她眼睛的前面时,第一显示生成部件显示与已接收到的通信请求相对应的通信接口,并且用户可开始使用第一显示生成部件来与呼叫者通信。显示一个或多个用户界面元素(包括相应传入通信请求的通知),并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第一状态而显示作为与相应传入通信请求相对应的通信接口的第一用户界面,并且根据确定当第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时计算系统处于第二状态而显示作为与相应传入通信请求相对应的通信接口的第二用户界面,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示作为与相应传入通信请求相对应的通信接口的第一用户界面和/或作为与相应传入通信请求相对应的通信接口的第二用户界面的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,处于第一状态的计算系统已检测到与第一通信请求相对应的第五事件(例如,(例如,从第一呼叫者、使用第一通信协议等)接收到第一通信请求)并且计算系统显示第一通信请求的第一视觉表示(例如,示出呼叫者的头像,和/或识别所请求的通信会话的类型)作为一个或多个用户界面元素的一部分;并且第一用户界面是提供与第一通信请求相对应的第一通信会话的用户界面。类似地,处于第二状态的计算系统已检测到与第二通信请求相对应的第六事件(例如,(例如,从第二呼叫者、使用第二通信协议等)接收到第二通信请求)并且计算系统显示第二通信请求的第二视觉表示(例如,示出呼叫者的头像,和/或识别所请求的通信会话的类型)作为一个或多个用户界面元素的一部分;并且第二用户界面是提供与第二通信请求相对应的第二通信会话的用户界面。检测与第一通信请求相对应的第五事件,显示第一通信请求的第一视觉表示作为一个或多个用户界面元素的一部分,并且显示提供与第一通信请求相对应的第一通信会话的第一用户界面,减少了发起与第一通信请求相对应的第一通信会话所需的输入数量(例如,在将第一显示生成部件移动到相对于用户的相应部分的预先确定的取向之后,用户不需要执行附加输入来发起与第一通信请求相对应的第一通信会话)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,显示一个或多个用户界面元素包括:根据确定用户具有第一身份(例如,基于使用由计算系统的相机所捕获的用户的图像的面部识别、基于显示生成部件的外壳上的指纹传感器、基于其他传感器信号(例如,附接到用户的RFID标签)等),根据与第一身份相对应的第一组规则来定制一个或多个用户界面元素的显示;以及根据确定用户具有与第一身份不同的第二身份(例如,第一身份和第二身份对应于不同年龄组、性别组、人、授权级别、安全许可级别、不同角色、不同分配、不同偏好等),根据与第二身份相对应的第二组规则来定制一个或多个用户界面元素的显示,第二组规则不同于第一组规则(例如,这些规则涉及基于用户的不同身份来对一个或多个用户界面元素的内容、形式、信息量等施加不同限制)。根据确定用户具有第一身份并根据与第一身份相对应的第一组规则来定制一个或多个用户界面元素的显示,并且根据确定用户具有与第一身份不同的第二身份并根据不同于第一组规则的、与第二身份相对应的第二组规则来定制一个或多个用户界面元素的显示,在已满足一组条件时定制一个或多个用户界面元素的显示而不需要进一步用户输入(例如,用于选择期望的定制的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,在检测到第一显示生成部件(例如,第一显示器或双面HMD的内部显示器等)已移动到相对于用户的相应部分的预先确定的取向(例如,HMD已被放置在用户的面部或眼睛的前面,其中HMD的内部显示器面向用户的面部或眼睛)之前,计算系统经由第二显示生成部件(并与一个或多个用户界面元素同时)显示与计算系统的一组两种或更多种模式(例如,AR模式、VR模式、2D模式、隐私模式、家长控制模式、DND模式等)相对应的能够选择的选项,在这些模式下,第一用户界面和第二用户界面中的相应一者能够用于经由第一显示生成部件呈现。计算系统检测选择与计算系统的该组两种或更多种模式之一相对应的相应能够选择的选项的用户输入。响应于检测到用户输入:根据确定第一显示生成部件(例如,第一显示器或双面HMD的内部显示器等)已移动到相对于用户的相应部分的预先确定的取向(例如,HMD已被放置在用户的面部或眼睛的前面,其中HMD的内部显示器面向用户的面部或眼睛),在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时,计算系统在与相应能够选择的选项相对应的模式下经由第一显示生成部件显示第一用户界面和第二用户界面中的相应一者。响应于检测到选择与计算系统的该组两种或更多种模式之一相对应的相应能够选择的选项的用户输入而在第一显示生成部件处于相对于用户的相应部分的预先确定的取向时在与相应能够选择的选项相对应的模式下显示第一用户界面和第二用户界面中的相应一者,减少了在期望的模式下显示第一用户界面或第二用户界面所需的输入数量(例如,在移动第一显示生成部件之后,用户不需要执行附加输入来选择(或重新选择)期望的模式)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,一旦第一显示生成部件移动到相对于用户的相应部分的预先确定的取向,一个或多个用户界面元素包括能够用于经由第一显示生成部件显示的三维体验的预览。在一些实施方案中,当用户拿起第二显示生成部件(例如,HMD的外部显示器面向用户的双面HMD)时,启动该预览。在一些实施方案中,该预览提供三维体验的视口。一旦第一显示生成部件移动到相对于用户的相应部分的预先确定的取向,就包括能够用于经由第一显示生成部件显示的三维体验的预览,向用户提供了改进的反馈(例如,在第一显示生成部件移动到相对于用户的相应部分的预先确定的取向时与可用三维体验有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

应当理解,对图10中的操作进行描述的具体次序仅仅是示例,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法8000、9000、11000、12000和13000)所述的其他过程的细节同样以类似的方式适用于上文相对于图10所述的方法10000。例如,上文参考方法10000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、9000、11000、12000和13000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。

图11是根据一些实施方案基于显示生成部件的穿戴状态来提供计算机生成的体验的方法11000的流程图。

在一些实施方案中,用户可将第一显示生成部件置于相对于用户的该位置和取向以便以不同方式例如即兴或暂时方式(例如,以一定距离保持在用户眼睛的前面或用手保持在用户眼睛的附近)或更正式且已确立的方式(例如,捆绑或以其他方式穿戴在用户的头部或面部上而不由用户的手部支撑)查看其上显示的内容。方法11000涉及计算系统,该计算系统根据第一显示生成部件被置于相对于用户的该位置和取向而使得用户能够查看第一显示生成部件上显示的内容的方式来选择性地显示计算机生成的不同体验(例如,计算机生成的体验的不同版本、与用户或上下文特性的不同特征相对应的计算机生成的不同体验、与实际体验相比的体验的预览等)。响应于与第一显示生成部件被置于相对于用户的预定义的配置相对应的触发事件(例如,在没有第一显示生成部件所提供的用户界面中的附加用户输入的情况下自动地开始经由第一显示生成部件显示计算机生成的体验)并根据第一显示生成部件被保持在该位置和取向中的方式(例如,有或没有用户手部的支撑、有或没有除用户手部之外的另一个机构的支撑等)来选择性地显示计算机生成的不同体验,减少了实现期望结果(例如,开始期望的计算机生成的体验)所需的时间和输入数量并且减少了用户错误和使用常规用户界面浏览并开始可用计算机生成的体验所花的时间。

在一些实施方案中,在计算系统处执行(11000)方法11000,该计算系统包括第一显示生成部件(例如,平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如,相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)。在一些实施方案中,计算系统包括第一显示生成部件和第二显示生成部件(例如,第一显示生成部件是面向用户的显示器并向用户提供CGR体验,并且第二显示生成部件是背对用户并面向用户的外部环境的显示器并且任选地向外部环境中的其他用户提供与第一显示生成部件(例如,所显示的内容、操作状态等)和/或用户(例如,用户眼睛的移动、用户的注意力状态等)相关的状态信息)。在一些实施方案中,第一显示生成部件和第二显示生成部件形成双面显示设备(例如,双面HMD),该双面显示设备在与第一显示生成部件相对应的第一侧上显示第一用户界面,并且在与第二显示生成部件相对应的第二侧上显示第二用户界面。在一些实施方案中,计算系统是集成设备,该集成设备具有包围在与第一显示生成部件和任选第二显示生成部件及一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中,计算系统包括计算部件,该计算部件包括与显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中,显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。在方法11000中,计算系统检测(11002)与第一显示生成部件被置于相对于用户的第一预定义的配置(例如,在图7I和图7J中,第一用户7202面向第一显示生成部件的显示侧)(例如,HMD被放置在用户的面部或眼睛的前面或在用户的鼻部上方等)相对应的第一触发事件(例如,基于来自一个或多个传感器(例如,相机、红外传感器、运动传感器、电容传感器、光传感器等)的输入)。响应于检测到第一触发事件(11004):根据确定在处于相对于用户的第一预定义的配置(例如,如图7J所示,第一用户穿戴与第一显示生成部件相关联的传感器对象7016,这对应于穿戴第一显示生成部件)时包括第一显示生成部件的计算系统被用户穿戴(例如,被捆绑在用户的头部上,被扣紧,未由用户的手部支撑等),计算系统经由第一显示生成部件提供第一由计算机生成的体验(例如,图7J中的体验7036)(例如,显示完全AR或VR体验,显示主屏幕用户界面等);以及根据确定在处于相对于用户的第一预定义的配置(例如,如图7I所示,第一用户用她的手部保持与第一显示生成部件相关联的传感器对象7016,这对应于未穿戴第一显示生成部件)时包括第一显示生成部件的计算系统未被用户穿戴(例如,未被捆绑在用户的头部上,未被扣紧,由用户的手部支撑等),计算系统经由第一显示生成部件提供与第一由计算机生成的体验(例如,显示完全AR或VR体验,显示主屏幕用户界面等)不同的第二由计算机生成的体验(例如,图7I中的体验7030)(例如,显示AR或VR体验的预览,显示相机用户界面等)。这例如在图7H至图7J中示出,例如其中根据在第一显示生成部件被置于相对于第一用户7202的预设配置时第一显示生成部件的穿戴状态(例如,如基于与第一显示生成部件相关联的传感器对象7106的状态来确定),计算系统显示计算机生成的不同体验(例如,分别为体验7036或体验7030)。在一些实施方案中,当在该转变前已基于计算系统的状态来启动这两种计算机生成的体验之一之后第一显示生成部件的穿戴状态改变时,计算系统还在显示这两种不同体验之间转变。

在一些实施方案中,根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统被用户穿戴(例如,被捆绑在用户的头部上,被扣紧,未由用户的手部支撑等),计算系统针对与第一由计算机生成的体验的交互而提供基于不与第一显示生成部件或其外壳接触的用户的一只手(或双手)的移动的至少第一输入方案(例如,凌空手势输入方案、微手势输入方案、使用与第一显示生成部件和其外壳分开的触敏表面的触摸手势输入方案等)(例如,当不需要用户的手部将HMD的位置保持在用户眼睛的前面时,计算系统允许通过凌空手势或其他输入设备上的控制输入来与第一由计算机生成的体验交互);以及根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统未被用户穿戴(例如,未被捆绑在用户的头部上,未被扣紧,由用户的手部支撑等),计算系统不会针对与第二由计算机生成的体验的交互而提供基于不与第一显示生成部件或其外壳接触的用户的手部的移动的第一输入方案(例如,由于需要用户的至少一只手将第一显示部件的位置保持在用户眼睛的前面,计算系统禁用依靠空手的移动来与第二由计算机生成的体验交互的输入机构;相反,用户可通过第一显示生成部件或其外壳上或其他输入设备上的控制输入来与第二由计算机生成的体验交互)。根据确定在处于相对于用户的第一预定义的配置时计算系统被用户穿戴而提供基于不与第一显示生成部件或其外壳接触的用户的手部的移动的至少第一输入方案,并且根据确定在处于第一预定义的配置时计算机系统未被用户穿戴而不提供第一输入方案,在已满足一组条件时提供适当输入方案而不需要进一步用户输入(例如,用于选择特定输入方案的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统未被用户穿戴(例如,未被捆绑在用户的头部上,未被扣紧,由用户的手部支撑等),计算系统针对与第二由计算机生成的体验的交互而提供基于与第一显示生成部件或其外壳接触(并任选地保持第一显示生成部件或其外壳的位置)的用户的至少一只手的移动的至少第二输入方案(例如,使用第一显示生成部件或其外壳上的触敏表面的触摸手势输入方案、第一显示生成部件或其外壳上的物理控制器(例如,开关、按钮等)上的物理输入等)(例如,当用户的手部保持HMD以将HMD的位置保持在用户眼睛的前面时,计算系统允许与第二由计算机生成的体验交互)。根据确定在处于相对于用户的第一预定义的配置时计算系统未被用户穿戴而提供基于与第一显示生成部件或其外壳接触的用户的至少一只手的移动的至少第二输入方案,在已满足一组条件时提供至少第二输入方案而不需要进一步用户输入(例如,用于启用第二输入方案的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统被用户穿戴(例如,被捆绑在用户的头部上,被扣紧,未由用户的手部支撑等),计算系统针对与第一由计算机生成的体验的交互而禁用设置在第一显示生成部件或其外壳上的至少一个输入设备(例如,触敏表面、开关、按钮等)的第二输入方案(例如,使用位于第一显示生成部件或其外壳上的触敏表面的触摸手势输入方案、第一显示生成部件或其外壳上的物理控制器(例如,开关、按钮等)上的物理输入等)(例如,计算系统禁用基于设置在HMD上的输入设备上的输入的与第一由计算机生成的体验的交互,例如因为用户的手部在第一由计算机生成的体验期间未抓住HMD)。根据确定在处于第一预定义的配置时计算系统被用户穿戴而禁用设置在第一显示生成部件或其外壳上的至少一个输入设备的第二输入方案,禁用至少一个输入设备的第二输入方案而不需要进一步用户输入(例如,用于手动禁用第二输入方案的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,计算系统在第一由计算机生成的体验和第二由计算机生成的体验两者中提供第一虚拟内容;当在第一由计算机生成的体验中提供第一虚拟内容时,计算系统启用相对于第一虚拟内容的第一交互方案(例如,不启用第二交互方案);并且当在第二由计算机生成的体验中提供第一虚拟内容时,计算系统启用相对于第一虚拟内容的与第一交互方案不同的第二交互方案(例如,不启用第一交互方案)。例如,在一些实施方案中,HMD显示相同AR/VR体验,不同的是(1)当使用捆绑在用户面部上的HMD提供AR/VR体验(并且从HMD拿开用户的手部)时,计算系统允许用户使用凌空手势或手部控制器、微手势及其他不需要用户手部触摸或操纵HMD上的输入设备的输入机构来与AR/VR环境交互(并且任选地禁用通过经设置在HMD外壳上的输入设备进行的输入来执行的相同交互);以及(2)当在HMD由用户的手部保持到用户的面部而未被捆绑到用户的头部时提供AR/VR体验的时候,计算系统允许用户使用通过设置在HMD外壳上的输入设备进行的输入来与AR/VR环境交互(并任选地禁用使用凌空手势或手部控制器、微手势及其他不需要用户手部触摸或操纵HMD上的输入设备的输入机构执行的相同交互)。启用相对于第一由计算机生成的体验中提供的第一虚拟内容的第一交互方案并且启用相对于第二由计算机生成的体验中提供的第一虚拟内容的与第一交互方案不同的第二交互方案,其中计算系统在第一由计算机生成的体验和第二由计算机生成的体验两者中提供第一虚拟内容,在已满足一组条件时启用适当交互方案而不需要进一步用户输入(例如,用于启用第一交互方案或第二交互方案的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,第一由计算机生成的体验包括与计算机生成的不同体验相对应的多个用户界面对象,其中该多个用户界面对象中的每个用户界面对象在由用户输入(例如,注视输入、微手势输入、凌空手势输入等)激活时使得计算系统启动与用户界面对象相对应的计算机生成的相应体验;并且第二由计算机生成的体验是用于控制计算系统的相机(例如,物理环境的相机视图和任选一个或多个相机控件(例如,静态照片、视频、慢动作、全景等))的相机用户界面。在一些实施方案中,响应于经由设置在第一显示生成部件的外壳上的输入设备(例如,触摸传感器、接触强度传感器、按钮、开关等)检测到的用户输入,计算系统拍摄相机视图中的物理环境的照片或视频。提供包括与计算机生成的不同体验相对应的多个用户界面对象的第一由计算机生成的体验,并且提供包括用于控制计算系统的相机的相机用户界面的第二由计算机生成的体验,提供附加控件选项但不会使具有附加显示的控件(例如,用于第一由计算机生成的体验和/或第二由计算机生成的体验的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统被用户穿戴(例如,被捆绑在用户的头部上,被扣紧,未由用户的手部支撑等),计算系统基于手部远离第一显示生成部件和其外壳执行的手势(例如,凌空手势、微手势等)(例如,该手势由HMD上的相机捕获)来启用与第一由计算机生成的体验的交互;以及根据确定在处于相对于用户的第一预定义的配置时包括第一显示生成部件的计算系统未被用户穿戴(例如,未被捆绑在用户的头部上,未被扣紧,由用户的手部支撑等),计算系统基于手部在第一显示生成部件或其外壳上执行的手势(例如,触摸手势、物理控件的操纵等)(例如,该手势由HMD的外壳的触敏表面捕获)来启用与第二由计算机生成的体验的交互。根据确定在处于相对于用户的第一预定义的配置时计算系统被用户穿戴而基于手部远离第一显示生成部件和其外壳执行的手势来启用与第一由计算机生成的体验的交互,并且根据确定在处于相对于用户的第一预定义的配置时计算系统未被用户穿戴而基于手部在第一显示生成部件或其外壳上执行的手势来启用与第二由计算机生成的体验的交互,以适当方式启用与计算机生成的相应体验的交互而不需要进一步用户输入(例如,用于指定这些交互是否基于由手部远离第一显示生成部件或其外壳或者在第一显示生成部件或其外壳上执行的手势的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

应当理解,对图11中的操作进行描述的具体次序仅仅是示例,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法8000、9000、10000、12000和13000)所述的其他过程的细节同样以类似的方式适用于上文相对于图11所述的方法11000。例如,上文参考方法11000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、9000、10000、11000和12000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。

如相对于方法8000、9000、10000和11000所述,在第二显示生成部件上显示信息(例如,与用户眼睛相关的状态信息、经由第一显示生成部件显示的内容的状态、计算系统的显示模式、可用计算机生成的体验的指示等)有助于减少用户必须穿戴和脱下包括第一显示生成部件和第二显示生成部件两者的HMD和/或激活或停止计算机生成的体验(例如,以应对周围物理环境中的他人)和/或寻找期望的计算机生成的体验的次数。这有助于节省用户的时间,减少电力使用并减少用户错误,并且在用户使用这些显示生成部件时改善用户体验。

图12是根据一些实施方案基于检测到与真实世界中的物理对象的预设物理交互来触发显示计算机生成的体验的方法12000的流程图。

方法12000涉及使用与对象的物理交互来触发与对象相关的计算机生成的体验。在一些实施方案中,检测到真实世界中的物理对象的物理操纵的预设方式,并且这些预设方式用作用于启动与物理对象相关的计算机生成的体验的触发条件。在一些实施方案中,在启动与物理对象相关的计算机生成的体验之前,在与混合现实环境中的物理对象的表示的位置相对应的混合现实环境中的位置处显示可用计算机生成的体验的视觉指示和任选关于如何启动计算机生成的体验的视觉引导(例如,预览和动画)。除了显示与计算机生成的体验的可用性有关的视觉指示和/或与触发计算机生成的体验所需的物理操纵有关的视觉引导之外,还使用物理对象的预设物理操纵来触发显示与物理对象相关联的计算机生成的体验,允许用户更直观、更快速地并在输入更少的情况下实现期望结果(例如,进入期望的计算机生成的体验)。该用户交互启发法还有助于在用户与物理对象交互时减少用户错误,从而使人机界面更有效,这节省了电池操作的计算系统的电力。

在一些实施方案中,在计算系统处执行(12002)方法12000,该计算系统包括第一显示生成部件(例如,平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如,相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)。在一些实施方案中,计算系统包括第一显示生成部件和第二显示生成部件(例如,第一显示生成部件是面向用户的显示器并向用户提供CGR体验,并且第二显示生成部件是背对用户并面向用户的外部环境的显示器并且任选地向外部环境中的其他用户提供与第一显示生成部件(例如,所显示的内容、操作状态等)和/或用户(例如,用户眼睛的移动、用户的注意力状态等)相关的状态信息)。在一些实施方案中,第一显示生成部件和第二显示生成部件形成双面显示设备(例如,双面HMD),该双面显示设备在与第一显示生成部件相对应的第一侧上显示第一用户界面,并且在与第二显示生成部件相对应的第二侧上显示第二用户界面。在一些实施方案中,计算系统是集成设备,该集成设备具有包围在与第一显示生成部件和任选第二显示生成部件及一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中,计算系统包括计算部件,该计算部件包括与显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中,显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。

在方法12000中,在与物理环境中的物理对象的位置相对应的三维环境(例如,混合现实环境或如通过显示生成部件的透明部分看到的物理环境的视图或相机视图)中的位置处显示物理对象的表示时,计算系统(例如,在用户与物理对象进行接触或以其他方式与三维环境中的物理对象的表示交互之前)显示(12004)与物理对象(例如,包括图7K中的盒盖7042和盒体7040的盒)相对应的计算机生成的体验(例如,虚拟现实体验或增强现实体验)能够用于经由第一显示生成部件显示的视觉指示(例如,图7K中的标签7046或其他视觉指示等)(例如,弹出标签、在与物理对象的位置相对应的位置处显示的视觉效果(例如,闪光效果、聚光灯、轮廓等))(例如,在三维环境中的物理对象的表示的顶部上显示弹出窗口而不启动计算机生成的体验(例如,响应于物理对象的表示进入经由第一显示生成部件示出的视场或响应于在物理对象的表示上检测到注视输入而显示弹出窗口))。在显示计算机生成的体验能够用于经由第一显示生成部件显示的视觉指示时,计算系统检测(12006)与物理环境中的物理对象的交互(例如,图7L和图7M所示的交互)(例如,检测用户的手部朝向物理对象伸出,与物理对象进行接触,和/或拿起物理对象)(例如,与物理环境中的物理对象的交互(例如,通过直接触摸或移动物理对象)不同于与和物理对象相关联的虚拟控件的交互或与三维环境中显示的物理对象的表示的交互(例如,通过指向虚拟控件或三维环境中的物理对象的表示的用户手势和/或注视输入))。响应于检测到与物理环境中的物理对象的交互(12008):根据确定与物理环境中的物理对象的交互满足与物理对象(例如,如图7M所示)相对应的第一标准(例如,物理对象是乐器,并且在用户手部拿起乐器时满足第一标准;物理对象是书籍,并且在用户翻开书籍时满足第一标准;物理对象是平板电脑,并且在平板电脑被保持在用户面部的前面时满足第一标准等),计算系统经由第一显示生成部件显示与物理对象相对应的计算机生成的体验(例如,图7M中的体验7054)(例如,在物理对象是乐器时显示用于演奏乐器的视觉引导,在物理对象是书籍时显示与书籍的内容相对应的动画内容或视频,在物理对象是平板电脑时显示覆盖在平板电脑的表面上的虚拟内容等);以及根据确定与物理环境中的物理对象的交互不满足第一标准,计算系统放弃显示与物理对象相对应的计算机生成的体验(例如,如图7L所示,不显示体验7054)(例如,同时保持显示视觉指示)。在一些实施方案中,在没有与物理环境中的物理对象的直接交互(这满足与物理对象相对应的第一标准)的情况下,计算系统不启动计算机生成的体验,并且第一显示生成部件继续显示与物理对象相对应的计算机生成的体验能够用于经由第一显示生成部件显示的视觉指示,或第一显示生成部件显示向用户指导可如何启动计算机生成的体验的视觉提示(例如,不同于视觉指示和实际计算机生成的体验)。在一些实施方案中,响应于检测到与物理环境中的物理对象的某种用户交互但该交互尚未满足与物理对象相对应的第一标准而显示视觉提示。这例如在图7K至图7M中示出,其中在检测到与物理对象的预设物理交互时显示计算机生成的体验,并且在尚未检测到预设物理交互时不显示计算机生成的体验。

在一些实施方案中,计算系统改变经由第一显示生成部件显示的三维环境的视图(例如,响应于检测到计算系统的一个或多个相机的移动或检测到显示生成部件(例如,平视显示器、HMD等)的移动和/或检测到用户头部或眼睛相对于物理环境的移动),包括从显示物理环境的第一部分的表示切换到显示物理环境的第二部分的表示。响应于改变三维环境的视图:根据确定物理环境的第一部分包括物理对象的小于阈值部分(例如,物理对象完全或大部分位于在第一显示生成部件的视场内可见的物理环境的部分之外)并且物理环境的第二部分包括物理对象的超过阈值部分(例如,物理对象完全或大部分位于在第一显示生成部件的视场内可见的物理环境的部分之内),计算系统在与物理环境中的物理对象的位置相对应的三维环境的视图中的位置处显示视觉指示(例如,在物理对象进入用户的视场时经由第一显示生成部件显示视觉指示);以及根据确定物理环境的第一部分包括物理对象的超过阈值部分并且物理环境的第二部分包括物理对象的小于阈值部分,计算系统在三维环境的视图中停止显示视觉指示(例如,在物理对象离开用户的视场时停止经由第一显示生成部件显示视觉指示)。根据确定物理环境的第一部分包括物理对象的小于阈值部分并且物理环境的第二部分包括物理对象的超过阈值部分而在与物理环境中的物理对象的位置相对应的三维环境中的位置处显示视觉指示,并且根据确定物理环境的第一部分包括物理对象的超过阈值部分并且物理环境的第二部分包括物理对象的小于阈值部分而停止在三维环境的视图中显示视觉指示,向用户提供了改进的视觉反馈(例如,与物理环境的第一部分或第二部分是否包括物理对象的超过或小于阈值部分有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,响应于检测到与物理环境中的物理对象的交互:根据确定与物理环境中的物理对象的交互满足不同于与物理对象相对应的第一标准的、与物理对象相对应的第二标准,计算系统经由第一显示生成部件显示指示计算机生成的体验的可用性的视觉反馈,其中该视觉反馈不同于视觉指示并且不同于计算机生成的体验。根据确定与物理对象的交互满足与第一标准不同的第二标准而显示与视觉指示不同并且与计算机生成的体验不同的指示计算机生成的体验的可用性的视觉反馈,提供了改进的视觉反馈(例如,与计算机生成的体验的可用性有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,视觉反馈提供了关于满足第一标准的与物理对象的交互的类型的引导(例如,视觉反馈是示出如何与物理环境中的物理对象交互以启动计算机生成的体验的动画)。例如,当用户已拿起书籍时,动画箭头看起来在书籍的封面附近,提示用户翻开书籍的封面。在另一个示例中,当用户已拿起弦乐器时,闪光效果应用于与弦乐器的弦相对应的位置,提示用户用他/她的手指或用拨片或琴弓触碰或拨动弦乐器的弦。在另一个示例中,当用户已拿起平板电脑时,平板电脑的动画线框图像朝用户的面部移动以提示用户将平板电脑移动成面向他/她的面部。显示提供关于满足第一标准的与物理对象的交互的类型的引导的视觉反馈,向用户提供了改进的视觉反馈(例如,用于向用户指导如何满足第一标准的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,响应于与物理环境中的物理对象的交互,在物理对象移动时基于物理对象的当前位置来选择三维环境中的视觉反馈的位置。例如,在用户已拿起书籍之后,当用户手部在物理环境中移动未翻开的书籍时,动画箭头在三维环境中跟随书籍的封面。类似地,在用户拿起弦乐器之后,随着用户手拿弦乐器使之作为一个整体在物理环境中移动,闪光效果跟随弦乐器的弦。类似地,当用户拿起平板电脑时,在向用户呈现的每个动画序列中,平板电脑的线框图像始终从平板电脑的当前位置开始,转到面向用户并且朝用户的面部移动,即使当平板电脑在被用户保持时可具有不同取向和位置时也是如此。响应于与物理环境中的物理对象的交互而在物理对象移动时基于物理对象的当前位置来选择的三维环境中的位置处显示视觉反馈,向用户提供了改进的视觉反馈(例如,物理对象移动的改进的视觉反馈,以及与物理对象的当前位置有关的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,根据与物理环境中的物理对象的交互的第二特征(例如,移动的距离、移动的角范围、移动的速度、交互的类型、离预先确定的参考点的距离等)的值来(例如,实时动态地)调整视觉反馈的第一特征(例如,动画、视觉效果和/或虚拟对象的范围(例如,尺寸、维度、角范围等)、视觉反馈中的细节的量、视觉反馈的亮度、颜色饱和度、视觉清晰度等及其他)的值。例如,在一些实施方案中,视觉反馈示出了用户在物理环境中缓缓翻开该页的封面时显示的三维计算机生成的体验的预览,并且所显示的预览的量逐渐增大但继续受限于书籍的封面与第一页之间的间隙。在封面翻开超过阈值量并满足第一标准时预览停止显示并且在三维环境中启动完整计算机生成的体验。在另一个示例中,当用户随机地拨动乐器的弦时,视觉反馈示出了从拨动的弦发出少量闪光;当用户继续演奏乐器并且用户手指移动的节奏变得越来越规则且可辨识时,计算系统根据用户手指在乐器上移动的节奏和位置来生成音乐和对应视觉效果;并且最终当由于用户手指在乐器上的移动足够规则且有节奏而满足第一标准时,计算机生成的体验的预览被转换成全面计算机生成的体验(例如,添加其他乐器的音乐伴奏,并且将虚拟舞者添加到三维环境等)。显示视觉反馈且其具有根据与物理环境中的物理对象的交互的第二特征的值来调整的视觉反馈的第一特征的值,向用户提供了改进的视觉反馈(例如,关于与物理环境中的物理对象的交互的第二特征的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,与物理环境中的物理对象的交互的第一特征的第一变化量(例如,移动距离、移动的角范围、移动的速度或离预先确定的参考点的距离等的第一变化量)引起视觉反馈的第二特征的值的第一变化量(例如,动画、视觉效果和/或虚拟对象的范围(例如,尺寸、维度、角范围等)、视觉反馈中的细节的量、视觉反馈的亮度、颜色饱和度、视觉清晰度等及其他的第一变化量);并且与物理环境中的物理对象的交互的第一特征的第二变化量(例如,移动距离、移动的角范围、移动的速度或离预先确定的参考点的距离等的第二变化量)引起视觉反馈的第二特征的值的第二变化量(例如,动画、视觉效果和/或虚拟对象的范围(例如,尺寸、维度、角范围等)、视觉反馈中的细节的量、视觉反馈的亮度、颜色饱和度、视觉清晰度等及其他的第二变化量)。例如,该体验随着交互发生而逐渐出现(例如,淡入或占据递增的空间量),诸如随着书籍翻开而逐渐出现。根据与物理环境中的物理对象的交互的第一特征的第一变化量来将视觉反馈的第二特征的值改变第一量,并且根据与物理环境中的物理对象的交互的第一特征的第二变化量来相应地将视觉反馈的第二特征的值改变第二量,向用户提供了改进的视觉反馈(例如,关于与物理环境中的物理对象的交互的改进且连续的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,经由第一显示生成部件显示与物理对象相对应的计算机生成的体验包括:根据确定与物理对象的交互对应于第一预先确定的输入模态(例如,该交互是拿起平板电脑并将其举到用户面部的前面,该交互是拿起乐器并将其横放在用户身体上,或该交互是拿起书籍并翻开封面等),显示与第一预先确定的输入模态相对应的计算机生成的体验的第一版本(例如,第一显示生成部件在用户面部的前面显示放大的三维用户界面并且用户界面对应于指向三维用户界面的凌空手势输入和注视输入;第一显示生成部件显示与吉他或贝斯相对应的弦并且对用户手指在与乐器相对应的位置处的拨动运动作出响应;或第一显示生成部件依次显示书籍的每个章节的预览并且对凌空轻扫作出响应而转到下一章节的预览,或对凌空轻击作出响应而启动与当前预览的章节相对应的CGR等);以及根据确定与物理对象的交互对应于第二预先确定的输入模态(例如,该交互是拿起平板电脑,将其旋转到横向取向并且将其放在用户前面的桌子上,该交互是拿起乐器并且将其放在用户的膝上或用户交叉两腿之间的地板上,或该交互是拿起书籍并且从中间翻开书籍等),显示与第二预先确定的输入模态相对应的计算机生成的体验的第二版本(例如,第一显示生成部件在与桌子上的平板电脑的位置相对应的位置处显示虚拟键盘,并且当用户在与虚拟键盘上的不同键相对应的位置处轻击桌子时显示用户在三维环境中输入的文本(例如,平板电脑上示出的用户界面被隐藏);第一显示生成部件显示一个或多个鼓面并且响应于用户手指在空中或在用户膝上的轻击而生成鼓声;或第一显示生成部件显示与当前翻开的书籍的部分相对应的三维电影等)。根据确定与物理对象的交互对应于第一预先确定的输入模态而显示与第一预先确定的输入模态相对应的计算机生成的体验的第一版本,并且根据确定与物理对象的交互对应于第二预先确定的输入模态而显示与第二预先确定的输入模态相对应的计算机生成的体验的第二版本,在已满足一组条件时显示计算机生成的体验的第一版本或第二版本而不需要进一步用户输入(例如,用于选择计算机生成的体验的第一版本或第二版本的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,计算机生成的体验是虚拟现实体验并且显示计算机生成的体验包括停止在三维环境中显示物理对象的表示(例如,真实感渲染、透传视图或相机视图)(例如,即使在物理环境的用户视角未因第一显示生成部件的存在而被遮挡时物理对象的物理位置将位于用户的视场内,物理对象的表示(例如,物理对象的相机视图或如通过第一显示生成部件的透明部分看到的物理对象的视图)也不再经由第一显示生成部件显示或可见)。在一些实施方案中,任选地在计算机生成的体验期间在与物理环境中的物理对象的位置相对应的位置处显示物理对象的轮廓或存在的指示(例如,物理对象的阴影、轮廓、虚拟化表示或程式化再现)。根据确定与物理环境中的物理对象的交互满足与物理对象相对应的第一标准而显示作为虚拟现实体验的计算机生成的体验(包括停止在三维环境中显示物理对象的表示),以及根据确定与物理环境中的物理对象的交互不满足第一标准而放弃显示计算机生成的体验,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示作为虚拟现实体验的计算机生成的体验的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,计算机生成的体验是增强现实体验并且显示计算机生成的体验包括保持在三维环境中显示物理对象的表示(例如,真实感渲染、透传视图或相机视图)(例如,当在物理环境的用户视角未因第一显示生成部件的存在而被遮挡时物理对象的物理位置将位于用户的视场内的时候,物理对象的表示(例如,物理对象的相机视图或如通过第一显示生成部件的透明部分看到的物理对象的视图)经由第一显示生成部件显示或可见)。在一些实施方案中,在计算机生成的体验期间在与物理环境中的物理对象的位置相对应的位置处显示虚拟叠层以增强用户对物理对象的体验。根据确定与物理环境中的物理对象的交互满足与物理对象相对应的第一标准而显示作为增强现实体验的计算机生成的体验(包括保持在三维环境中显示物理对象的表示),以及根据确定与物理环境中的物理对象的交互不满足第一标准而放弃显示计算机生成的体验,提供附加控件选项但不会使具有附加显示的控件(例如,用于显示作为虚拟现实体验的计算机生成的体验的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

应当理解,对图12中的操作进行描述的具体次序仅仅是示例,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法8000、9000、10000、11000和13000)所述的其他过程的细节同样以类似的方式适用于上文相对于图12所述的方法12000。例如,上文参考方法12000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、9000、10000、11000和11000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。

图13是根据一些实施方案响应于显示生成部件的外壳上的输入而执行操作的方法13000的流程图。

在一些实施方案中,显示生成部件容纳在外壳中,该外壳包括用于检测外壳的各个部分附近或之上的触摸或悬停输入的传感器(或另外具有相关联的外部传感器)。使用不同类型(例如,基于移动模式(例如,轻击、轻扫等)、持续时间(例如,长、短等)、强度(例如,轻、深等)等)的并在外壳的外部之上或附近的不同位置处的触摸输入和/或悬停输入来触发与显示生成部件或显示生成部件所显示的计算机生成的环境相关联的不同操作。使用交互启发法根据在检测到输入时是否在外壳上检测到单只手或两只手来确定是否应执行操作。使用外壳上检测到的手的数量作为用户是打算提供输入还是仅仅用他的手调整显示生成部件的位置的指示符,有助于减少显示生成部件的意外或无意操作,从而使人机界面更有效,这节省了电池操作的计算系统的电力。

在一些实施方案中,在计算系统处执行(13002)方法13000,该计算系统包括外壳、容纳在外壳中的第一显示生成部件(例如,第一显示生成部件和外壳构成平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如,相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)。在一些实施方案中,计算系统包括容纳在平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等的相同外壳中的第一显示生成部件和第二显示生成部件(例如,第一显示生成部件是面向用户的显示部件并向用户提供CGR体验,并且第二显示生成部件是背对用户并面向用户的外部环境的显示部件并且任选地向外部环境中的其他用户提供与第一显示生成部件(例如,所显示的内容、操作状态等)和/或用户(例如,用户眼睛的移动、用户的注意力状态等)相关的状态信息)。在一些实施方案中,第一显示生成部件和第二显示生成部件形成双面显示设备(例如,双面HMD),该双面显示设备在与第一显示生成部件相对应的第一侧上显示第一用户界面,并且在与第二显示生成部件相对应的第二侧上显示第二用户界面。在一些实施方案中,计算系统是集成设备,该集成设备具有包围在与第一显示生成部件和任选第二显示生成部件及一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中,计算系统包括计算部件,该计算部件包括与显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中,显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。

在方法13000中,计算系统在容纳第一显示生成部件的外壳上检测(13004)第一只手(例如,如分别在图7O、图7P和图7Q中示出)。响应于在容纳第一显示生成部件的外壳上检测到第一只手(13006):根据确定检测到第一只手并与在外壳上检测到第二只手相结合(例如,如图7Q所示),计算系统放弃执行与第一只手相关联的操作(例如,与第一只手在外壳上提供的输入相对应的操作);以及根据确定在外壳上检测到第一只手而未在外壳上检测到另一只手(例如,如图7Q和图7P所示),计算系统执行与第一只手相关联的操作(例如,与第一只手在外壳上提供的输入相对应的操作)。

在一些实施方案中,计算系统具有多种操作状态,并且执行与第一只手相关联的操作包括:根据确定外壳上的第一只手满足第一标准(例如,第一手部触摸或手势标准),执行第一操作,该第一操作以与第一标准相对应的第一方式改变计算系统的操作状态;以及根据确定外壳上的第一只手满足第二标准(例如,第二手部触摸或手势标准),其中第二标准不同于第一标准,从而执行第二操作,该第二操作以与第二标准相对应的第二方式改变计算系统的操作状态,该第二方式不同于第一方式。根据确定外壳上的第一只手满足第一标准而执行以与第一标准相对应的第一方式改变计算系统的操作状态的第一操作,并且根据确定外壳上的第一只手满足与第一标准不同的第二标准而执行以与第二标准相对应的不同于第一方式的第二方式改变计算系统的操作状态的第二操作,提供附加控件选项但不会使具有附加显示的控件(例如,用于执行第一操作和/或执行第二操作的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一标准包括第一位置标准,该第一位置标准要求在外壳的第一预先确定的部分(例如,外壳的左侧、顶部边缘、左上角等)上检测到第一只手以便满足第一位置标准,并且第二标准包括第二位置标准,该第二位置标准要求在外壳的第二预先确定的部分(例如,外壳的右侧、底部边缘、左下角等)上检测到第一只手以便满足第二位置标准,外壳的第二预先确定的部分不同于外壳的第一预先确定的部分。在一些实施方案中,外壳包括用于检测与外壳接触的位置的一个或多个传感器(例如,检测手部和/或手指在外壳的外部上的触摸位置和任选接触强度的触摸和/或强度传感器)。执行以与要求在外壳的第一预先确定的部分上检测到第一只手的第一标准相对应的第一方式改变计算系统的操作状态的第一操作,并且执行以与要求在不同于外壳的第一预先确定的部分的、外壳的第二预先确定的部分上检测到第一只手的第二标准相对应的、不同于第一方式的第二方式改变计算系统的操作状态的第二操作,提供附加控件选项但不会使具有附加显示的控件(例如,用于执行第一操作和/或执行第二操作的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一标准包括第一移动标准,该第一移动标准要求第一只手相对于外壳进行第一移动(例如,检测第一只手的第一移动包括检测第一只手在外壳上的一个或多个接触在第一预先确定的方向上(例如,沿着外壳的边缘从上到下,沿着外壳的侧面从前到后,或沿顺时针方向等)的移动和/或遵循第一预先确定的移动模式(例如,沿直线移动或向外螺旋上升等)和/或形成第一预先确定的手部姿势(例如,在第一只手向下触摸到外壳上之后,第一只手的四个手指伸出且手掌面向下;或在向下触摸到外壳上之后,第一只手的两个手指朝向彼此捏合等)和/或相对于外壳的第一空间关系(例如,第一只手从外壳的顶部边缘上方接近外壳,第一只手从外壳的左侧接近外壳等))以便满足第一标准,并且第二标准包括第二移动标准,该第二移动标准要求第一只手相对于外壳进行第二移动(例如,检测第一只手的第二移动包括检测第一只手在外壳上的一个或多个接触在第二预先确定的方向上(例如,沿着外壳的边缘从下到上,或沿着外壳的侧面从后到前等)的移动和/或遵循第二预先确定的移动模式(例如,以之字形方式或成螺旋形地向内移动等)和/或形成第二预先确定的手部姿势(例如,在第一只手向下触摸到外壳上之后,第一只手的两个手指捏合外壳且三个手指伸出;或在向下触摸到外壳上之后,第一只手的三个手指保持与外壳接触且两个手指远离外壳伸出等)和/或相对于外壳的第二空间关系(例如,第一只手从外壳的右上角上方接近外壳,第一只手从外壳的左下角接近外壳等))以便满足第二标准,第二移动不同于第一移动。执行以与要求第一只手相对于外壳进行第一移动的第一标准相对应的第一方式改变计算系统的操作状态的第一操作,并且执行以要求第一只手相对于外壳进行第二移动的第二标准相对应的、不同于第一方式的第二方式改变计算系统的操作状态的第二操作,提供附加控件选项但不会使具有附加显示的控件(例如,用于执行第一操作和/或执行第二操作的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,第一标准包括第一姿势标准,该第一姿势标准要求第一只手在外壳上时处于第一预先确定的姿势(例如,检测处于第一预先确定的姿势的第一只手包括检测手指完全伸出且手掌面向外壳的左侧的第一只手;或检测形成拳头且手掌侧面向外壳的左侧的第一只手等)以便满足第一标准,并且第二标准包括第二姿势标准,该第二姿势标准要求第一只手在外壳上时处于第二预先确定的姿势(例如,检测处于第二预先确定的姿势的第一只手包括检测手指完全伸出且手掌在外壳的顶部边缘上方面向下的第一只手;或检测仅以两个或三个手指捏合外壳的第一只手等)以便满足第二标准,第二预先确定的姿势不同于第一预先确定的姿势。执行以与要求第一只手在外壳上时处于第一预先确定的姿势的第一标准相对应的第一方式改变计算系统的操作状态的第一操作,并且执行以与要求第一只手在外壳上时处于不同于第一预先确定的姿势的、第二预先确定的姿势的第二标准相对应的、不同于第一方式的第二方式改变计算系统的操作状态的第二操作,提供附加控件选项但不会使具有附加显示的控件(例如,用于执行第一操作和/或执行第二操作的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,响应于检测到在容纳第一显示生成部件的外壳上第一只手并且根据确定在外壳上检测到第一只手而未在外壳上检测到另一只手,计算系统执行与第一只手相关联的操作,包括:根据确定满足视觉调整标准(例如,第一标准是用于降低经由第一显示生成部件显示的内容的视觉沉浸级别(并且用于激活和/或增加经由第一生成部件提供的透传内容)的视觉调整标准),其中视觉调整标准包括在计算系统在第一操作状态(例如,提供完全沉浸式内容或半沉浸式内容的沉浸状态)下操作时第一只手使之彼此相结合地满足的相应位置标准和相应姿势标准以满足视觉调整标准(例如,其中视觉调整标准要求第一只手在位于相对于容纳第一显示生成部件的外壳的第一位置处时处于第一姿势(例如,视觉调整标准要求第一只手的至少四个手指的至少第一远侧部分(例如,远节指骨、一直到中节指骨、一直到近节指骨或一直到掌骨)在外壳的顶部部分上方伸出且第一只手的手掌侧面向下(例如,就像用户希望看到远处的位置))),将计算系统的操作状态从第一操作状态改变为与第一操作状态不同的第二操作状态,其中与计算系统处于第一操作状态时相比,在计算系统处于第二操作状态时,第一显示生成部件提供第一显示生成部件周围的物理环境的增加视图(例如,对于物理环境的视图而言具有更宽视场,具有更大清晰度或透明度,具有增加的亮度,具有更清晰的焦点,具有更少模糊,具有更少计算机生成的视觉模糊等,或从完全没有视图转变到物理环境的一些量的视图)。在一些实施方案中,响应于检测到用户的手部在位于相对于HMD的外壳的第一位置处时处于第一姿势,计算系统执行用于转变成透传模式(例如,从完全沉浸式模式转变成半沉浸式模式(例如,第一半透传模式)或从半沉浸式模式转变到非沉浸式模式(例如,第二完全透传模式))的指令,在该透传模式下,面向用户的第一显示生成部件示出用户周围的物理环境的透传视图(例如,由第一显示生成部件显示物理环境的相机视图,或第一显示生成部件变得更加透明以允许用户透视第一显示生成部件的透明部分,同时显示或不显示虚拟内容)。在一些实施方案中,当在外壳上检测到具有满足视觉调整标准的相应位置标准和相应姿势标准的位置和姿势的第一只手,但与第一只手同时在外壳上检测第二只手时,不满足视觉调整标准;因此,计算系统不从第一操作状态转变到第二操作状态。此外,根据确定由于第一只手不满足视觉调整标准的相应位置标准和相应姿势标准中的任一者而不满足视觉调整标准,计算系统也不从第一操作状态转变到第二操作状态。根据确定在计算系统在第一操作状态下操作时第一只手使相应位置标准和相应姿势标准彼此相结合地满足,而将计算系统的操作状态从第一操作状态改变为与第一操作状态不同的第二操作状态,并且在计算系统处于第二操作状态时提供第一显示生成部件周围的物理环境的增加视图,提供附加控件选项但不会使具有附加显示的控件(例如,用于提供第一显示生成部件周围的物理环境的增加视图的附加显示的控件、用于从第一操作状态改变为第二操作状态的附加显示的控件等)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在计算系统处于第二操作状态(例如,第一显示生成部件显示周围物理环境的第一透传视图或第二透传视图)时,计算系统检测第一只手不再满足视觉调整标准(例如,由于第一只手的移动改变第一只手相对于外壳的姿势和/或位置);以及响应于检测到第一只手不再满足视觉调整标准,计算系统使计算系统的操作状态从第二操作状态恢复到第一操作状态(例如,与计算系统处于第二操作状态时相比,在计算系统处于第一操作状态时,第一显示生成部件提供第一显示生成部件周围的物理环境的减小视图(例如,对于物理环境的视图而言具有更窄视场,具有更小清晰度或透明度,具有降低的亮度,具有更柔和的焦点,具有更多模糊,具有更多计算机生成的视觉模糊等,或从物理环境的一些量的视图转变到完全没有物理环境的视图)。)。例如,响应于检测到用户已使他/她的手部远离HMD的顶部移动,计算设备停止显示物理环境的透传视图,并且继续经由第一显示生成部件显示沉浸式虚拟内容。响应于检测到第一只手不再满足视觉调整标准而使计算系统的操作状态从第二操作状态恢复到第一操作状态,在已满足一组条件时恢复操作状态而不需要进一步用户输入(例如,用于使计算系统的操作状态从第二操作状态恢复到第一操作状态的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,响应于在容纳第一显示生成部件的外壳上检测到第一只手并且根据确定在外壳上检测到第一只手而未在外壳上检测到另一只手,计算系统执行与第一只手相关联的操作,包括:根据确定满足音频调整标准(例如,第二标准是用于降低经由包括在与第一显示生成部件相同的外壳中的第一音频生成部件(例如,HMD的扬声器或听筒)提供的内容的音频沉浸级别,和/或用于终止和/或减少经由第一音频生成部件提供的透传音频(例如,来自物理环境的声音)的音频调整标准),其中音频调整标准包括在计算系统在第三操作状态(例如,提供完全沉浸式音频(例如,具有完全噪声消除以及计算机生成的内容的环绕声)的音频沉浸状态,或半音频沉浸状态(例如,没有噪声消除但在左音频通道和右音频通道上均具有计算机生成的内容的正常音频音量))下操作时第一只手使之彼此相结合地满足的相应位置标准和相应姿势标准以满足音频调整标准(例如,其中音频调整标准要求第一只手在位于相对于容纳第一显示生成部件和第一音频生成部件的外壳的第二位置处时处于第二姿势(例如,音频调整标准要求第一只手在用户头部的侧面一旁(例如,在将第一显示生成部件和第一音频生成部件包括在相同外壳中的HMD的侧面一旁)处于至少半开状态,且第一只手的手掌侧面向前(例如,就像用户希望听到什么))),将计算系统的操作状态从第三操作状态改变为与第三操作状态不同的第四操作状态,其中与计算系统处于第三操作状态时相比,在计算系统处于第四操作状态时,计算系统的第一音频生成部件(例如,第一音频生成部件包括在与第一显示生成部件相同的外壳中,或第一音频生成部件通过外壳来与第一显示生成部件分开并且在计算系统的操作期间被放置在用户耳部(例如,第一只手一旁的用户头部的侧面上的耳部)之上或之中)提供来自第一音频生成部件周围的物理环境的增加量的透传声音(例如,没有第一音频生成部件所提供的有源计算机生成的噪声消除或具有第一音频生成部件所提供的降低的有源计算机生成的噪声消除,具有与经由第一显示生成部件提供的计算机生成的视觉内容伴随的音频的降低音量或静音,具有来自外部物理环境的声音的降低的音频模糊等)。在一些实施方案中,响应于检测到用户的手部在位于相对于HMD的外壳的第二位置处时处于第二姿势,计算系统执行用于转变成音频透传模式(例如,从完全沉浸式模式转变成半沉浸式模式(例如,第三半透传模式)或从半沉浸式模式转变到非沉浸式模式(例如,第四完全透传模式))的指令,在该音频透传模式下,第一只手一旁的用户头部的侧面上或用户头部的两侧上的第一音频生成部件提供来自用户周围的物理环境的声音的增加的音频透传(例如,降低计算机生成的音频内容的音量或保真度,和/或降低第一音频生成部件对来自周围物理环境的声音的阻隔、消除和/或模糊,同时显示或不显示虚拟内容)。在一些实施方案中,当在外壳上检测到具有满足视觉调整标准的相应位置标准和相应姿势标准的位置和姿势的第一只手,但与第一只手同时在外壳上检测第二只手时,不满足音频调整标准;因此,计算系统不从第三操作状态转变到第四操作状态。此外,根据确定由于第一只手不满足音频调整标准的相应位置标准和相应姿势标准中的任一者而不满足音频调整标准,计算系统也不从第三操作状态转变到第四操作状态。根据确定第一只手使相应位置标准和相应姿势标准彼此相结合地满足,而将计算系统的操作状态从第三操作状态改变为与第三操作状态不同的第四操作状态,其中与计算系统处于第三操作状态时相比,在计算系统处于第四操作状态时,计算系统的第一音频生成部件提供来自第一音频生成部件周围的物理环境的增加量的透传声音,提供附加控件选项但不会使具有附加显示的控件(例如,用于增加来自第一音频生成部件周围的物理环境的透传声音的量的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在计算系统处于第四操作状态(例如,第一音频生成部件让外部声音传入到用户的耳部而没有或只有减少的计算机生成的干扰和/或模糊)时,计算系统检测第一只手不再满足音频调整标准(例如,由于第一只手的移动改变第一只手相对于外壳的姿势和/或位置)。响应于检测到第一只手不再满足音频调整标准,计算系统使计算系统的操作状态从第四操作状态恢复到第三操作状态(例如,与计算系统处于第四操作状态时相比,在计算系统处于第三操作状态时,第一音频生成部件提供来自第一音频生成部件周围的物理环境的声音的增加的干扰和模糊(例如,具有计算机生成的内容的更高音量,具有更强的噪声消除效应,具有更多白噪声,或从没有对外部声音的音频阻隔、消除或模糊转变到对外部声音的一些级别计算机生成的音频阻隔、消除或模糊))。例如,响应于检测到用户已使他/她的手部远离HMD的侧面移动,计算设备通过恢复计算机生成的内容的正常音量和/或通过增加对来自物理环境的外部声音的噪声消除来停止让外部声音传入到用户的耳部,并且继续经由第一音频生成部件生成沉浸式音频内容。响应于检测到第一只手不再满足音频调整标准而使计算系统的操作状态从第四操作状态恢复到第三操作状态,在已满足一组条件时恢复操作状态而不需要进一步用户输入(例如,用于将操作状态从第四操作状态改变为第三操作状态的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,响应于在容纳第一显示生成部件的外壳上检测到第一只手并且根据确定在外壳上检测到第一只手而未在外壳上检测到另一只手,计算系统执行与第一只手相关联的操作,包括:根据确定满足隐私调整标准(例如,第一标准或第二标准或第三标准是用于在计算系统的第二显示生成部件上显示和不显示计算系统的操作状态的状态信息之间转换的隐私调整标准(例如,第二显示生成部件包括在与第一显示生成部件相同的外壳中并且背对用户),其中状态信息基于经由第一音频/显示生成部件提供的音频/视觉内容的沉浸级别),其中隐私调整标准包括第一只手使相应移动标准和相应姿势标准被彼此相结合地满足以便满足隐私调整标准(例如,其中隐私调整标准要求第一只手在相对于容纳第一显示生成部件的外壳的第一方向上移动时处于第三姿势(例如,隐私调整标准要求第一只手的拇指和食指形成捏合手势,并且要求在第一只手保持捏合手势时第一只手在外壳的侧面一旁向下或向上移动(例如,就像用户下拉或上拉窗户上的卷帘))),将计算系统的操作状态从第五操作状态改变为与第五操作状态不同的第六操作状态,其中计算系统的第二显示生成部件(例如,第二显示生成部件包括在与第一显示生成部件相同的外壳中,或第二显示生成部件通过外壳来与第一显示生成部件分开并且在计算系统的操作期间与第一显示生成部件背对背地放置)在提供与经由第一显示生成部件显示的内容有关的状态信息的第一量和提供与经由第一显示生成部件显示的内容有关的状态信息的第二量(例如,在第一显示生成部件显示内容时实时地提供)之间切换(例如,从这两者切换,或在这两者之间转换)。在一些实施方案中,当在外壳上检测到具有满足隐私调整标准的相应移动标准和相应姿势标准的移动和姿势的第一只手,但与第一只手同时在外壳上检测第二只手时,不满足隐私调整标准;因此,计算系统不从第五操作状态转变到第六操作状态。此外,根据确定由于第一只手不满足隐私调整标准的相应移动标准和相应姿势标准中的任一者而不满足隐私调整标准,计算系统也不从第五操作状态转变到第六操作状态。根据确定第一只手使相应移动标准和相应姿势标准彼此相结合地满足,而将计算系统的操作状态从第五操作状态改变为与第五操作状态不同的第六操作状态,其中计算系统在提供与经由第一显示生成部件显示的内容有关的状态信息的第一量和提供与经由第一显示生成部件显示的内容有关的状态信息的第二量之间切换,提供附加控件选项但不会使具有附加显示的控件(例如,用于在提供状态信息的第一量和状态信息的第二量之间之间切换的附加显示的控件、用于从第五操作状态改变为第六操作状态的附加显示的控件等)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,状态信息还包括面向第一显示生成部件的内容显示侧的用户眼睛的表示,并且将计算系统的操作状态从第五操作状态改变为与第五操作状态不同的第六操作状态包括在经由第一显示生成部件显示用户眼睛的表示和不显示用户眼睛的表示之间切换(例如,用户眼睛的表示基于在第一显示生成部件向用户显示计算机生成的内容时用户眼睛的实时图像)。根据确定第一只手使相应移动标准和相应姿势标准彼此相结合地满足,而将计算系统的操作状态从第五操作状态改变为第六操作状态,其中包括在显示用户眼睛的表示和不显示用户眼睛的表示之间切换,提供附加控件选项但不会使具有附加显示的控件(例如,用于在提供状态信息的第一量和状态信息的第二量之间切换的附加显示的控件、用于从第五操作状态改变为第六操作状态的附加显示的控件等)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在计算系统处于第六操作状态(例如,第六操作状态是由第二显示生成部件显示状态信息的低隐私状态,或第六操作状态是不由第二显示生成部件显示状态信息或仅由第二显示生成部件显示减少的状态信息的高隐私状态)时,计算系统检测第一只手不再满足隐私调整标准(例如,由于第一只手的移动改变第一只手的姿势或第一只手远离外壳的侧面移动)。响应于检测到第一只手不再满足隐私调整标准,计算系统保持计算系统的操作状态处于第六操作状态。响应于检测到第一只手不再满足隐私调整标准而保持计算系统的操作状态处于第六操作状态,减少了保持第六操作状态所需的输入数量(例如,用户不需要执行附加输入来保持第六操作状态,第一只手不需要继续满足隐私调整标准以便保持第六操作状态)。减少执行操作所需的输入数量增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,在计算系统处于第六操作状态(例如,第二显示生成部件显示与经由第一显示生成部件提供的计算机生成的内容相对应的状态信息(例如,低隐私状态))时,计算系统检测第一只手再次满足隐私调整标准(例如,在第一只手已远离第一显示生成部件的外壳移动之后检测到满足隐私调整标准的相应移动标准和相应姿势标准的相同手势)。响应于在计算系统处于第六操作状态时检测到再次满足隐私调整标准,计算系统将计算系统的操作状态从第六操作状态改变为第五操作状态,其中计算系统的第二显示生成部件使响应于上次满足隐私调整标准而进行的提供与经由第一显示生成部件显示的内容有关的状态信息的第一量和提供与经由第一显示生成部件显示的内容有关的状态信息的第二量(例如,在第一显示生成部件显示内容时实时地提供)之间的切换反向。响应于在计算系统处于第六操作状态时检测到再次满足隐私调整标准,而将计算系统的操作状态从第六操作状态改变为第五操作状态,其中计算系统使响应于上次满足隐私调整标准而进行的提供与经由第一显示生成部件显示的内容有关的状态信息的第一量和提供与经由第一显示生成部件显示的内容有关的状态信息的第二量之间的切换反向,提供附加控件选项但不会使具有附加显示的控件(例如,用于在状态信息的第一量和第二量之间切换的附加显示的控件、用于从第六操作状态改变为第五操作状态的附加显示的控件等)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,根据确定满足隐私调整标准,将计算系统的操作状态从第五操作状态改变为第六操作状态包括:根据确定第一只手在满足隐私调整标准的相应移动标准和相应姿势标准时在第一方向上(例如,向下或向上)移动,第二显示生成部件增加与经由第一显示生成部件显示的内容有关的状态信息的量(例如,从显示状态信息的第一量切换到显示状态信息的第二量,其中第一量小于第二量;或从不显示任何状态信息切换到显示一些状态信息);以及根据确定第一只手在与第一方向不同(例如,与第一方向反平行)的第二方向上(例如,向上或向下)移动,第二显示生成部件减少与经由第一显示生成部件显示的内容有关的状态信息的量(例如,从显示状态信息的第二量切换到显示状态信息的第一量,其中第一量小于第二量;或从显示一些状态信息切换到不显示任何状态信息)。在一些实施方案中,将计算系统的操作状态从第五操作状态改变为第六操作状态还包括:根据确定第一只手在满足隐私调整标准的相应移动标准和相应姿势标准时在第一方向上(例如,向下或向上)移动,在经由第一显示生成部件显示内容时第二显示生成部件从不显示用户眼睛的表示切换到显示用户眼睛的表示;以及根据确定第一只手在满足隐私调整标准的相应移动标准和相应姿势标准时在第二方向上(例如,向上或向下)移动,在经由第一显示生成部件显示内容时第二显示生成部件从显示用户眼睛的表示切换到不显示用户眼睛的表示。根据确定第一只手在满足隐私调整标准的相应移动标准和相应姿势标准时在第一方向上移动而增加与经由第一显示生成部件显示的内容有关的状态信息的量,并且根据确定第一只手在与第一方向不同的第二方向上移动而减少与经由第一显示生成部件显示的内容有关的状态信息的量,提供附加控件选项但不会使具有附加显示的控件(例如,用于增加和/或减少经由第一显示生成部件显示的状态信息的量的附加显示的控件)的UI混乱。

在一些实施方案中,响应于在容纳第一显示生成部件的外壳上检测到第一只手,计算系统经由第一显示生成部件(例如,在第一显示生成部件所提供的视场的外围区域周围)显示与计算系统的一个或多个功能相对应的相应视觉表示(例如,示出计算系统的音频生成部件的当前状态的音量控件、计算系统的当前隐私模式的表示或控件、第一显示生成部件的沉浸状态的表示或控件、相机快门控件、相机模式选择控件等)。在一些实施方案中,在第一显示生成部件的外壳上的接触的位置处或附近选择性地显示这些视觉表示。在一些实施方案中,根据第一显示生成部件的外壳上的不同手部姿势和/或接触位置来显示视觉表示的不同子集。响应于在容纳第一显示生成部件的外壳上检测到第一只手而显示与计算系统的一个或多个功能相对应的相应视觉表示,在已满足一组条件时显示与计算系统的一个或多个功能相对应的相应视觉表示而不需要进一步用户输入(例如,用于显示与计算系统的一个或多个功能相对应的相应虚拟表示的进一步用户输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性,这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中,响应于检测到第一只手接近容纳第一显示生成部件的外壳,计算系统经由第一显示生成部件(例如,在第一显示生成部件所提供的视场的外围区域周围)显示动画转变,该动画转变示出从第一显示生成部件所提供的视场的外围区域出现的与计算系统的一个或多个功能相对应的相应视觉表示(例如,当第一只手的手指朝向外壳移动时,视觉表示的尺寸增大,并且当第一只手接近第一显示生成部件的外壳时,视觉表示基于第一只手的手指的当前位置来在第一显示生成部件所提供的视场的外围边界周围移动)。显示示出从视场的外围区域出现的相应视觉表示的动画转变,向用户提供了改进的视觉反馈(例如,第一只手接近容纳第一显示生成部件的外壳的改进的视觉反馈)。提供改进的反馈增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中,根据确定检测到第一只手并与未在外壳上检测到另一只手相结合,执行与第一只手相关联的操作包括:根据确定第一只手在与对应于计算系统的第一功能的第一视觉表示相对应的第一位置处与外壳进行接触,并且第一只手满足与第一功能相关联的相应控件激活标准(例如,用于检测轻击输入、按压输入、触摸保持输入、轻扫输入等的标准),激活计算系统的第一功能(例如,使用计算系统的相机拍摄快照,在第一显示生成部件上开启/断开状态信息等);以及根据确定第一只手在与对应于计算系统的第二功能的第二视觉表示相对应的第二位置处与外壳进行接触并且第一只手满足与第二功能相关联的相应控件激活标准(例如,用于检测轻击输入、按压输入、触摸保持输入、轻扫输入等的标准),激活计算系统的第二功能(例如,使用计算系统的相机启动视频,对计算系统的音频生成部件调高音量或开启噪声消除等)。在一些实施方案中,在第一显示生成部件所提供的视场的外围区域周围的预先确定的位置一旁显示控件,其中这些位置对应于外壳的外部上形成的相应物理纹理(例如,凸块、脊、线条和/或粗糙图案等)。在一些实施方案中,在与外壳上的不同类型表面纹理相对应的位置处显示不同功能的视觉表示。例如,在与第一显示生成部件的外壳上的隆起的脊的位置相对应的、第一显示生成部件所提供的视场的第一外围部分处显示用于调节音量的控件(例如,用户可沿着隆起的脊移动其手指以调节计算系统的音频生成部件的音量),同时在与第一显示生成部件的外壳上的圆形凸块的位置相对应的、第一显示生成部件所提供的视场的第二外围部分处显示用于使用相机拍摄快照的控件(例如,用户可按下圆形凸块以拍摄快照,或按下并保持圆形凸块以启动使用计算系统的相机捕获视频)。根据确定第一只手在与对应于计算系统的第一功能的第一视觉表示相对应的第一位置处与外壳进行接触并且第一只手满足与第一功能相关联的相应控件激活标准而激活计算系统的第一功能,并且根据确定第一只手在与对应于计算系统的第二功能的第二视觉表示相对应的第二位置处与外壳进行接触并且第一只手满足与第二功能相关联的相应控件激活标准而激活计算系统的第二功能,提供附加控件选项但不会使具有附加显示的控件(例如,用于激活计算系统的第一功能和/或第二功能的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

应当理解,对图13中的操作进行描述的具体次序仅仅是示例,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法8000、9000、10000、11000和12000)所述的其他过程的细节同样以类似的方式适用于上文相对于图13所述的方法13000。例如,上文参考方法13000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、9000、10000、11000和12000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。

上文参考图8、图9、图10、图11、图12和图13的操作任选地由图1至图6所描绘的部件来实现。在一些实施方案中,方法8000、9000、10000、11000、12000和13000的方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见,此处不再重复这些细节。

出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

技术分类

06120115636834