掌桥专利:专业的专利平台
掌桥专利
首页

显示虚拟显示器

文献发布时间:2023-06-19 19:28:50


显示虚拟显示器

背景技术

1.相关申请的交叉引用

本申请要求于2021年2月5日提交的名称为“DISPLAYING AVIRTUAL DISPLAY”的美国临时申请第63/146,453号和2020年6月22日提交的名称为“DISPLAYING A VIRTUALDISPLAY”的美国临时申请第63/042,322号的优先权,所述美国临时申请中的每一者的内容出于所有目的据此全文以引用方式并入。

2.技术领域

本公开大体上涉及扩展现实,并且更具体地涉及用于在扩展现实布景中显示虚拟显示器的技术。

3.相关领域的描述

常规扩展现实布景可包括虚拟显示器的表示。虚拟显示器可以各种方式被描绘在扩展现实布景内。

发明内容

本公开描述用于在扩展现实布景中显示虚拟显示器的技术。各种常规系统可被配备成在扩展现实布景中向用户显示媒体,诸如经由扩展现实布景内的虚拟显示器。然而,鉴于扩展现实系统的复杂性增加,用于向用户显示媒体的常规技术与各种新的扩展现实模式不兼容。例如,当用户正在使用增强现实观察环境时,常规系统不能够充分地向用户显示媒体。鉴于同时显示实际内容和虚拟内容的两个表示的困难,需要一种用于在扩展现实布景中显示虚拟显示器的方法和系统。

根据一些实施方案,获得对应于用户的物理布景的特性的参数集。基于该参数,获得至少一个显示器放置值以及对应于该物理布景的固定边界位置。根据确定该至少一个显示器放置值满足显示器放置标准,在对应于该物理布景的该固定边界位置处显示虚拟显示器。

附图说明

图1A至图1B描绘用于在各种计算机扩展现实技术中使用的示例性系统。

图2A至图2C描绘用于显示虚拟显示器的示例性过程。

图3A至图3C描绘用于显示虚拟显示器的示例性过程。

图4A至图4B描绘用于在虚拟房间中显示虚拟显示器的示例性过程。

图5A至图5B描绘用于在虚拟显示器上显示与所显示的媒体相关联的虚拟对象的示例性过程。

图6描绘虚拟显示器的曲率的示例性调整。

图7描绘用于显示虚拟显示器的示例性过程。

具体实施方式

人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征,诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下,人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。XR环境可包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等。在XR系统的情况下,可跟踪人的物理运动中的一些物理运动或它们的表示,并且作为响应,可以符合至少一个物理定律的方式调整在XR环境中模拟的虚拟对象的特性。例如,XR系统可检测用户头部的移动,并且调整呈现给用户的图形内容和听觉内容,与这类视图和声音将如何在物理环境中改变相类似。在另一示例中,XR系统可检测呈现XR环境的电子设备(例如移动电话、平板计算机、膝上型计算机等)的移动,并且调整呈现给用户的图形内容和听觉内容,与这类视图和声音将如何在物理环境中改变相类似。在一些情形下,XR系统可响应于其他输入(诸如物理运动的表示(例如声音命令))而调整图形内容的特性。

许多不同类型的电子系统可使得用户能够与XR环境交互以及/或者感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示器能力的窗户或车辆挡风玻璃、被形成为透镜以放置在用户眼睛上的的显示器(例如接触镜片)、头戴式耳机/听筒、具有或不具有触觉反馈的输入系统(例如可穿戴或手持式控制器)、扬声器阵列、智能电话、平板计算机和台式/膝上型计算机。头戴式系统可具有一个或多个扬声器和不透明显示器。其他头戴式系统可被配置为接受不透明外部显示器(例如智能电话)。头戴式系统可包括用以捕获物理环境的图像或视频的一个或多个图像传感器,以及/或者用以捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可具有借以将光引导到用户眼睛的介质。显示器可利用各种显示技术,诸如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或它们的组合。光波导、光反射器、全息图介质、光组合器、它们的组合或其他类似技术可用于介质。在一些具体实施中,可选择性地控制透明或半透明显示器以变得不透明。基于投影的系统可利用将图像投影到用户的视网膜上的视网膜投影技术。投影系统也可将虚拟对象投影到物理环境中(例如作为全息图或投影到物理表面上)。

图1A和图1B描绘了用于各种扩展现实技术的示例性系统100。

在一些示例中,如图1A所示,系统100包括设备100a。设备100a包括各种部件,诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些示例中,系统100的元件在基站设备(例如,计算设备,诸如远程服务器、移动设备或膝上型计算机)中实现,并且系统100的其他元件在第二设备(例如,头戴式设备)中实现。在一些示例中,设备100a在基站设备或第二设备中实现。

如图1B所示,在一些示例中,系统100包括两个(或更多个)通信中的设备,诸如通过有线连接或无线连接。第一设备100b(例如,基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如,头戴式设备)包括各种部件,诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。

系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中,存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如,闪存存储器,随机存取存储器),所述计算机可读指令被配置为由处理器102执行以执行下述技术。

系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如

系统100包括显示器120。一个或多个显示器120可具有不透明显示器。一个或多个显示器120可具有透明或半透明显示器,该显示器可结合基板,表示图像的光通过该基板被引导到个体的眼睛。一个或多个显示器120可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶,或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个示例中,透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。一个或多个显示器120的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板计算机、智能电话以及台式计算机或膝上型计算机。另选地,系统100可以被设计为接收外部显示器(例如,智能电话)。在一些示例中,系统100是基于投影的系统,该系统使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理布景中(例如,投影到物理表面上或作为全息图)。

在一些示例中,系统100包括用于接收用户输入的触敏表面122,诸如轻击输入和轻扫输入。在一些示例中,显示器120和触敏表面122形成触敏显示器。

系统100包括图像传感器108。图像传感器108任选地包括可操作以从物理布景中获得物理元素的图像的一个或多个可见光图像传感器,诸如电荷耦合设备(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器,诸如无源IR传感器或有源IR传感器,用于检测来自物理布景的红外光。例如,有源IR传感器包括IR发射器,诸如IR点发射器,用于将红外光发射到物理布景中。一个或多个图像传感器108还任选地包括一个或多个事件相机,该事件相机被配置为捕获物理布景中物理元素的移动。一个或多个图像传感器108还任选地包括一个或多个深度传感器,这些深度传感器被配置为检测物理元素与系统100的距离。在一些示例中,系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理布景。在一些示例中,图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理布景中物理元素的图像。在一些示例中,系统100使用图像传感器108来接收用户输入,诸如手势。在一些示例中,系统100使用一个或多个图像传感器108来检测系统100和/或一个或多个显示器120在物理布景中的位置和取向。例如,系统100使用一个或多个图像传感器108来跟踪一个或多个显示器120相对于物理布景中的一个或多个固定元件的位置和取向。

在一些示例中,系统100包括麦克风112。系统100使用一个或多个麦克风112来检测来自用户和/或用户的物理布景的声音。在一些示例中,一个或多个麦克风112包括麦克风阵列(包括多个麦克风),麦克风任选地协同操作,以标识环境噪声或在物理布景的空间中定位声源。

系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如,系统100使用一个或多个取向传感器110来跟踪系统100和/或一个或多个显示器120的位置和/或取向的变化,诸如相对于物理布景中的物理元素。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。

现在参考图2A至图7,描述用于在扩展现实布景中显示虚拟显示器的示例性技术。

图2A至图2C描绘用于在XR布景中显示虚拟显示器的示例性过程。图2A的电子设备200可显示XR布景202,该XR布景可包括用户的物理布景的表示。物理布景的表示可包括位于物理布景中的各种物理对象的表示,诸如椅子表示204和桌子表示206。例如,物理布景可与各种特性相关联,诸如但不限于对象位置、面积尺寸、声学参数和亮度水平。在一些示例中,物理布景的特性包括有助于确定用于定位显示器的所需位置的特性,诸如墙壁在物理布景内的位置。这类特性可包括地面尺寸、墙壁尺寸、天花板尺寸、对象位置等。例如,特性可被表示为维持在表示三维空间中的物理对象的特性的数据结构中的坐标、尺寸、量值、大小或其他值。针对XR布景202,对应于椅子表示204的物理椅子以及对应于桌子表示206的物理桌子可各自与诸如对象位置、对象大小特性、对象形状特性等特性相关联。XR布景202还可包括各种边界的表示,诸如墙壁表示208、墙壁表示210和地面表示212。对应于各种边界的表示的物理边界可各自与诸如墙壁高度、墙壁宽度、地面长度、地面宽度、墙壁对象位置(例如对于附接到或靠近墙壁的对象)、地板对象位置(例如对于搁置在地面上的对象)等特性相关联。

在一些示例中,用户可经由不透明显示器观察物理布景和物理布景内的对象的表示。具体地说,不透明显示器可向用户显示图像,诸如表示物理布景和物理布景内的对象的图像。图像可由通信耦接到不透明显示器的一个或多个相机捕获。在一些示例中,用户可经由附加或另外的部分透明的显示器观察物理布景和物理布景内的对象。例如,显示器可包括用以准许用户看透显示器的一部分的部件(例如使用包括全息光学元件的一个或多个透明附加层)。因此,当使用不透明显示器时,包括物理布景(和布景内的对象)的表示的XR布景可被观察到作为视频图像。可替代地,当使用附加显示器时,用户可直接观察到实际物理布景(和布景内的对象)作为XR布景的部分。

观察所显示的XR布景202的用户可提供一个或多个输入以启动媒体回放,诸如播放电影、电视节目、体育或新闻广播等。在一些示例中,媒体可对应于由用户创建的媒体内容,诸如用户创建的照片、视频、幻灯片等。用户可以多种方式启动回放,诸如经由一个或多个控制器输入、语音输入、注视输入或上述的任何组合。例如,用户可与在XR布景202内显示的菜单交互,以便作出产生所需媒体内容的各种选择。用户可另外或可替代地说出预定义的口头触发器,随后说出命令,诸如“OK系统,打开电视”。在检测到口头触发事件时,系统可利用自然语言处理技术来识别在口头触发器之后的语音,包括语音“打开电视”。例如,使用语音到文本处理,系统可将语音转换成可识别文本。可使用一种或多种已知技术来确定对应于可识别文本的用户意图。在此示例中,文本“打开电视”可对应于用于在XR布景中显示虚拟显示器的用户意图。根据确定用户希望显示虚拟显示器,利用媒体递送模型以便在XR布景中正确显示虚拟显示器,如本文中所描述。

一般来说,媒体递送模型有助于相应XR布景内的虚拟显示器放置。通过接受物理布景的环境特性作为输入,媒体递送模型为虚拟显示器在XR布景中的所需放置提供结果,诸如与显示器位置、显示器大小、显示器曲率等相关的参数。例如,媒体递送模型可基于针对显示器的所需放置的标准(例如THX标准)来处理物理布景的环境特性,如本文中所描述。这类标准可推荐用于定位显示器的特定视角或视角范围。例如,对应于物理布景的特定房间可包括几面大墙壁和墙壁前面的对应地面区域。基于显示器放置标准,媒体递送模型可将对应于物理布景的特定固定边界位置识别为非常适合于放置显示器(例如具有较大平坦区域的墙壁、与环绕墙壁的较大地面区域相关联的墙壁、没有视野障碍的墙壁或其他边界等)。鉴于环境特性,虚拟显示器大小也可由媒体递送模型来确定。例如,基于相对较小的墙壁大小和/或环绕墙壁的相对较小的可用地面区域(例如可能的显示器观察区域),可利用相对较小的虚拟显示器大小来显示虚拟显示器。因此,虚拟显示器可被描绘在定制的XR布景内,并且非常适合于具有大小设定相对较小的环境特性的物理布景。

如针对图2A至图2C所描述,虚拟显示器可被描绘在XR布景内,如附接或以其他方式安装在物理布景内的墙壁边界的表示上。可替代地,如针对图3A至图3C所描述,虚拟显示器可被描绘为在XR布景内的用户视角前方“浮动”。在此示例中,当不存在为显示器提供所需放置(例如用户在户外的公园里)的墙壁或边界时,媒体递送模型可输出指示以将虚拟显示器显示为“浮动”在用户前面。在此示例中,媒体递送模型可根据显示器放置标准来输出放置值,以便在用户前面的所需感知距离处并且以所需感知大小显示在用户前面“浮动”的虚拟显示器。

在一些示例中,如针对图4A至图4B所描述,虚拟显示器可被描绘为安装在XR布景内所显示的虚拟房间内。例如,XR布景可包括虚拟“电影院”房间,以便增强用户在虚拟显示器上观看内容的观看体验。例如,可通过在XR布景内移除一个或多个墙壁的表示来显示虚拟“电影院”房间,使得虚拟“电影院”房间呈现为用户的物理布景的扩展。在这些示例中,虚拟显示器可被描绘为对应于相对较大的屏幕(例如实际电影院屏幕的大小)。如针对图5A至图5B所描述,也可以在XR布景内描绘与虚拟显示器相关联的虚拟内容。

参考图2B,可获得对应于用户的物理布景的特性的参数集。例如,获得对应于与墙壁表示208和墙壁表示210相关联的特性的参数集。参数集另外可包括针对在XR布景202内未描绘的边界的特性,诸如附加墙壁边界特性、地面边界特性、天花板边界特性等。参数集可包括墙壁面积的参数、来自用户观察视角的墙壁深度、相对于用户观察视角的墙壁角度等。一旦获得,则可以将参数集提供给媒体递送模型。媒体递送模型可接受用于确定显示器在物理布景内的所需放置的参数集作为输入。各种标准可包括针对房间内的显示器的所需放置的规格(例如THX认证标准)。

针对显示器的所需放置的标准可推荐用于定位显示器的特定视角或视角范围。针对所需显示器放置的特定视角可对应于从最远可能的观察位置到显示器屏幕(例如50英尺远)的最大角度,诸如36度视角。作为另一示例,例如针对所需显示器放置的特定视角可对应于从理想可能的观察位置到特定大小的显示器屏幕(例如离90英尺乘30英尺显示器屏幕的中心40英尺远)的角度,诸如45度视角。因此,太靠近显示器屏幕的用户位置或观察角度将并不满足视角。例如,用户的实际视角可能小于推荐视角,使得用户不能观察到给予合理观察位置的整个屏幕(例如可能需要用户以不舒服的角度移动其头部来观察显示器屏幕的特定部分,并且/或者显示器屏幕的这些部分难以考虑到用户头部位置进行观察)。显示器在房间内的的所需放置的推荐参数也可以视待定位的显示器的大小而变化。作为示例,当用户的实际视角小于推荐视角时,较小显示器可产生满足推荐视角的实际视角(例如定位在较小屏幕前面三英尺的用户提供比定位在较大屏幕前面三英尺的用户更好的视角)。

基于参数集,确定一个或多个显示器放置值和固定边界位置。例如,显示器放置值和固定边界位置可由媒体递送模型的结果决定,并且被提供为该结果。显示器放置值可表示指示显示器定位和大小信息以便例如将虚拟显示器定位在XR布景202内的各种参数。在一些示例中,媒体递送模型通过接收参数集作为输入,并且使用针对显示器放置的规格处理该输入来确定显示器放置值和固定边界位置。继而,可基于关于XR布景是否包括用于显示虚拟显示器的任何可能的位置的各种确定来获得显示器放置参数。例如,递送模型的输入可至少包括与墙壁表示208和墙壁表示210相关联的特性。这些特性可表示墙壁表示208的面积、墙壁表示210的面积、用户观察视角与沿墙壁表示208的特定点之间的距离、用户观察视角与沿墙壁表示210的特定点之间的距离等。显示器放置值可指示XR布景202内的虚拟显示器大小和对应定位信息。例如,显示器放置值可包括XR布景内的显示器中心位置214。显示器放置值还可包括显示器大小参数216,诸如横截面显示器长度、显示器边角位置、显示器宽度、显示器高度等。图2B中所描绘的显示器放置值一般不显示或不以其他方式指示给用户,并且替代地出于说明性目的而提供。然而,在一些示例中,可以向用户(例如系统管理员、开发者等)提供显示器放置值。

在确定一个或多个显示器放置值和固定边界位置时,确定一个或多个显示器放置值是否满足显示器放置标准。显示器放置标准可表示被视为对所需用户观察体验可接受的阈值显示器参数,诸如最大和/或最小显示器大小、用户观察视角之间的最大和/或最小距离、最大和/或最小显示器曲率等。显示器放置标准可从媒体递送模型中获得,诸如直接从包括针对所需显示器放置的规格的一个或多个标准中获得(或导出)。在一些示例中,显示器放置标准可由用户(例如开发者)创建、修改或以其他方式定制。作为示例,基于所得虚拟显示器位置提供基于图2B中所描绘的用户视角的令人满意的视角(例如在从显示器放置标准中获得的推荐视角范围内),可确定显示器中心位置214和显示器大小参数216以满足显示器放置标准。例如,显示器中心位置214和显示器大小参数216可产生视角218,诸如40度的视角。从媒体递送模型接收到的显示器放置值可指示例如基于物理布景的特性在36度至45度之间的推荐视角范围。因此,至少部分地基于在推荐视角范围内的视角218来确定显示器放置值以满足显示器放置标准。

在一些示例中,可基于显示器放置值基本上类似于模型放置值(例如在特定模型特性的90%内)来确定一个或多个显示器放置值以满足显示器放置标准。例如,基于物理布景的特性,媒体递送模型可指示模型大小参数包括对应于60英寸横截面长度的虚拟显示器屏幕大小(例如墙壁特性不适用于较大显示器屏幕大小)。显示器大小参数216可对应于57英寸横截面长度。基于确定57英寸横截面长度在60英寸横截面长度模型特性的90%内,可以确定显示器大小参数以满足相应显示器放置标准。在一些示例中,如针对图3A至图3C更详细地论述,基于满足一个或多个用户偏好或设置,可确定显示器中心位置214和显示器大小参数216以满足显示器放置标准。

参考图2C,根据确定至少一个显示器放置值满足显示器放置标准,虚拟显示器220可被显示在XR布景202内。虚拟显示器202可被显示在对应于用户的物理布景的固定边界位置处,诸如由媒体递送模型确定的固定边界位置。例如,固定边界位置的中心可以对应于由媒体递送模型确定的显示器中心位置214。固定边界位置可对应于墙壁表示210上的位置,使得显示给用户的所得图像类似于包括显示器的物理布景,该显示器安装到或以其他方式附接到对应于墙壁表示210的物理墙壁。在此示例中,位于物理布景中的各种物理对象的表示(诸如椅子表示204和桌子表示206)保持显示在XR布景202中。因此,实际物理布景的用户视图与类似于物理布景的显示图像之间的外观的唯一显著差异是虚拟显示器220。

图3A至图3C描绘用于在XR布景中显示虚拟显示器的示例性过程。参考图3A,电子设备可显示XR布景302,该XR布景可包括墙壁表示304和墙壁表示306。墙壁表示304还可包括窗户表示308,并且墙壁表示306还可包括门表示310。可获得对应于XR布景302所表示的物理布景的特性的参数集,并且将该参数集提供给媒体递送模型。媒体递送模型继而可提供包括一个或多个显示器放置值的结果。在此示例中,确定至少一个显示器放置值不满足显示器放置标准。具体地说,从媒体递送模型接收到的结果可指示在用于放置显示器的物理布景中不存在合适的位置。该指示可至少部分地基于用户观察视角,如由XR布景302所描绘。在一些示例中,结果可指示在距用户观察视角的预定义距离内不存在合适的边界。例如,用户可定位成远离对应于墙壁表示306的墙壁大约30英尺,并且预定义距离可对应于15英尺。在此示例中,至少一个显示器放置值不满足显示器放置标准的确定对应于用户定位成比离任何相应墙壁预定距离更远的确定。

在一些示例中,结果可指示墙壁表示304不包括针对具有最小大小的显示器(例如30英寸横截面显示器)的最小显示区域。至少基于所检测到的边界障碍物来提供此指示,该边界障碍物诸如相应物理墙壁(对应于墙壁表示304),包括窗户(对应于窗户表示308)。类似地,结果可指示至少部分地基于与门相关的所检测到的边界障碍物(对应于门表示310),墙壁表示306不包括针对具有最小大小的显示器的最小显示区域。在一些示例中,一个或多个布景可指示当确定显示器放置值是否满足显示器放置标准时,将忽略障碍物(例如门、窗户、固定装置或其他对象)。因此,虚拟显示器最终可在固定边界位置处被显示为覆盖或部分覆盖边界障碍物,诸如覆盖窗户表示308或门表示310。

参考图3B,根据确定至少一个显示器放置值不满足显示器放置标准,虚拟显示器312在对应于在物理布景中在用户前面的预定义距离的固定位置处被显示在XR布景302中。放置在固定位置的虚拟显示器312可在XR布景302内产生“浮动”显示器的外观。在一些示例中,可从一个或多个标准中直接获得(或导出)在用户前面的预定义距离,该一个或多个标准包括针对所需显示器放置的规格。预定义距离还可由用户创建、修改或以其他方式定制。另外,预定义距离可以部分地基于用户的环境特性,诸如用户观察视角与物理布景的各种墙壁或其他边界位置之间的距离。具体地说,预定义距离可对应于在用户前面的几英尺。可替代地,当用户处于例如室外开放环境时,预定义距离可对应于在用户前面的10、20或30(或更大)英尺。虚拟显示器312的大小还可取决于用户的环境特性以及对应于在用户前面的预定义距离的固定位置。例如,当在用户前面的预定义距离相对较短(例如虚拟显示器被显示为在用户前面的几英尺浮动)时,虚拟显示器可被描绘为具有相对较小的大小,诸如26英寸横截面长度。可替代地,当在用户前面的预定义距离相对较长(例如虚拟显示器被显示为在用户前面的20英尺或更远处浮动)时,虚拟显示器可被描绘为具有相对较大的大小,诸如100英寸横截面长度。

虚拟显示器312另外可被显示为始终位于用户的前面或“跟随”用户。例如,当用户绕XR布景302移动或以其他方式修改头部方向(例如向上或向下看)时,虚拟显示器312可被显示在用户前面的相同位置和距离。虚拟显示器312可取决于在用户的移动或头部方向改变期间的任何所检测到的障碍物而更靠近或更远离用户移动。例如,如果用户朝向并靠近墙壁表示移动,则虚拟显示器312也可以更靠近用户移动。具体地说,例如,如果虚拟显示器312将另外被显示为与墙壁表示重叠或移动穿过墙壁表示,则虚拟显示器312在用户朝向墙壁移动时可被显示为接触并贴附于墙壁表示。作为被显示为“始终在”用户“的前面”的替代,虚拟显示器312可在XR布景302内的静态位置显示,尽管用户在XR布景302内移动。例如,在虚拟显示器312最初被显示在XR布景302中之后,在XR布景302内的任何用户头部移动或其他移动将使得虚拟显示器312维持初始位置。具体地说,在虚拟显示器312被显示和定位之后,如果用户头部朝上转动并且用户视角在XR布景302中逐渐朝上聚焦,则虚拟显示器可被显示为与XR布景302一起朝下移动。类似地,在虚拟显示器被显示和定位之后,如果用户移动经过XR布景302内的虚拟显示器312(例如用户执行朝向墙壁表示306并且超出虚拟显示器312的固定位置的移动功能),则虚拟显示器312可被显示为在XR布景302中朝向用户移动,并且最终被显示为在XR布景302中移出用户的视场。

参考图3C,可检测用户输入,该用户输入对应于在XR布景内调整虚拟显示器的意图。用户输入可包括来自控制器、所检测到的用户注视、语音输入等的一个或多个输入。例如,用户可操作一个或多个控制器以在XR布景302内控制一只或多只虚拟手。具体地说,用户可提供一个或多个输入以控制虚拟显示器312的位置(例如当光标定位在虚拟显示器上时提供手指夹捏或预定义按钮等),并且还提供一个或多个输入以在XR布景302内移动虚拟显示器312(例如将控制器远离用户延伸)。根据确定调整虚拟显示器的意图包括移动虚拟显示器(诸如手指夹捏和控制器拉伸)的意图,虚拟显示器被显示为移动到XR布景302内的替代位置。如图3C中所展示,例如用户可将虚拟显示器312朝向墙壁表示306移动。在一些示例中,在检测到用户已将虚拟显示器朝向与XR布景中的边界一致的位置移动时,一旦用户释放对虚拟显示器的控制,虚拟显示器便可贴附于或以其他方式变为联接到边界。例如,虚拟显示器312被展示为贴附到墙壁表示306。在一些示例中,如果在用户释放对虚拟显示器的控制时没有检测到XR布景中靠近虚拟显示器312的边界位置,则虚拟显示器312可被描绘为在XR布景302内的固定位置处“浮动”,如针对图3B所论述。用户输入可另外包括语音输入以控制虚拟显示器的移动。例如,用户可说出预定义的口头触发器,随后说出命令,诸如“OK系统,将显示器移动到那面墙壁的中心。”语音输入可补充有附加输入,诸如表示墙壁表示在XR布景302内的位置的控制器输入。因此,可基于包括墙壁表示的控制器输入位置的附加信息来对诸如“那面墙壁”的歧义术语消除歧义。

因此,根据确定调整该虚拟显示器的意图包括修改虚拟显示器的大小的意图,显示虚拟显示器的大小修改。在这方面,用户可另外提供一个或多个输入以便表示对XR布景302内的虚拟显示器312重设大小的意图。例如,用户可提供输入以控制虚拟显示器312的两个边角(例如当光标定位在虚拟显示器上时提供手指夹捏或预定义按钮等),随后提供手势移动以缩小显示器的大小(例如在输入被激活时将用户的手移动在一起或分开)。用户还可说出预定义的口头触发器,随后说出命令,诸如“OK系统,将这个缩小20%”。语音输入可补充有附加输入,诸如对应于用户直接看向XR布景302内的虚拟显示器312的注视输入。因此,可基于包括XR布景302中与用户注视相关联的对象的附加信息来对诸如“这个”的歧义术语消除歧义。

图4A至图4B描绘用于在XR布景内的虚拟房间中显示虚拟显示器的示例性过程。参考图4A,电子设备可显示XR布景402,该XR布景可包括墙壁表示404、椅子表示406和桌子表示408。在一些示例中,检测到一个或多个虚拟空间偏好。具体地说,虚拟空间偏好可指示用户偏好、系统设置或表示对在XR布景中的虚拟房间内显示虚拟显示器的偏好的其他参数。例如,用户可定制预定义用户偏好以表示这类偏好,或者可提供语音输入,诸如“OK系统,加载电影院”。根据检测到虚拟空间偏好,识别对应于物理布景的至少一个边界。可基于诸如所需边界位置的各种因素来识别一个或多个边界以放置虚拟显示器。作为示例,可至少部分地基于从媒体递送模型中获得,诸如直接从一个或多个标准中获得(或导出)的结果来识别边界,该一个或多个标准包括针对所需显示器放置的规格。可基于最大确定边界(例如物理布景中的最大墙壁)、用户偏好(例如用户先前选择特定墙壁作为对虚拟房间替换)等来识别边界。在此示例中,可根据检测到虚拟空间偏好来识别墙壁表示404。

参考图4B,可显示虚拟房间410,该虚拟房间在XR布景402中至少部分地替换至少一个边界的表示,诸如墙壁表示404。边界表示的替换或部分替换还可包括替换或部分替换XR布景402中的一个或多个对象或其他边界。例如,至少部分地基于确定桌子表示408阻碍了虚拟房间410的视野或另外在显示器中与虚拟房间410重叠,该表示可作为XR布景402中的表示被移除。因此,当物理布景包括与桌子表示408相关联的物理桌子时,XR布景不再包括桌子表示408。在显示虚拟房间410时,虚拟显示器412进一步被显示为定位在虚拟房间410内。在一些示例中,虚拟房间410的显示亮度或其他照明特性被显示为匹配或基本上匹配物理布景的检测亮度。因此,虚拟房间410的显示亮度匹配或基本上匹配XR布景402的其余部分的显示亮度。

在一些示例中,可识别对应于物理布景的一个或多个边界,使得虚拟房间或其他虚拟空间被显示为至少部分地替换所识别的边界。这种替换可在检测到或未检测到虚拟空间偏好的情况下进行。例如,根据检测到至少一个光参数超过阈值,在XR布景中显示虚拟天空。超过阈值的光参数可对应于超过一天中的时间阈值的一个或多个一天中的时间参数(例如在5PM之后以及在5AM之前)、超过亮度阈值的房间亮度(例如物理布景与低光照值相关联)、超过位置值的太阳位置(例如在当前位置处日落)、用户偏好等。在此示例中,在XR布景中,虚拟天空可至少部分地替换对应于物理布景的至少一个天花板边界的表示。虚拟天空可被描绘为夜晚天空、上午天空、与当前位置处的物理天空一致的天空等。

图5A至图5B描绘用于在虚拟显示器上显示与所显示的媒体相关联的虚拟对象的示例性过程。参考图5A,电子设备可显示XR布景502,该XR布景可包括墙壁表示504、椅子表示506、桌子表示508和墙壁表示510。如图5B中所展示,虚拟显示器512可被显示在XR布景502内,并且具体地说,如贴附于墙壁表示504。在此示例中,在显示虚拟显示器512时,各种虚拟空间可至少部分地替换各种边界表示。例如,识别对应于物理布景的至少一个边界(例如用户视角的左侧或右侧的较大墙壁)。可显示虚拟空间514,包括虚拟对象516,其中虚拟空间514完全替换墙壁表示510。各种对象表示也可完全或部分地由虚拟空间和/或虚拟对象替换,诸如椅子表示506完全由虚拟空间514替换。具体地说,虚拟空间514可类似于XR布景502内的附加房间(包括虚拟对象516)。虚拟空间514也可被显示为部分替换墙壁表示504的一部分。可将各种对象表示维持在XR布景502中,诸如桌子表示508。其他虚拟对象可被显示为覆盖在物理布景的表示上。例如,一个或多个虚拟对象518可被显示在虚拟显示器512下方,诸如在桌子表示508旁边,并且静置于地面表示上。

虚拟空间和虚拟对象可对应于虚拟显示器512上的当前显示内容。在一些示例中,识别与所显示的媒体相关联的属性,其中基于所识别的属性来显示至少一个虚拟对象和/或虚拟空间。例如,用户可在虚拟显示器512上观看中世纪主题的电影,使得识别到与城堡、帆船、骑士和皇室相关的属性。基于该识别,虚拟空间514可基于识别到城堡和皇室属性而对应于国王王室的表示。虚拟对象可对应于与中世纪主题的电影相关联的骑士雕像或骑士角色的各种表示。

在一些示例中,所显示的媒体可与交互式虚拟对象相关联。具体地说,可检测对应于与虚拟显示器512的交互的用户输入。用户可与一个或多个控制器交互,以使光标或其他指示符靠近或接近在XR布景502中的虚拟显示器512上显示的各种媒体项目移动。一旦光标或指示符定位成靠近或接近一个或多个媒体项目,用户便可提供附加输入(例如当光标定位在虚拟显示器上时提供手指夹捏或预定义按钮、提供语音输入等)以便激活一个或多个媒体项目。例如,可在虚拟显示器512上显示各种骑士装甲件,使得用户将光标或指示符定位在骑士装甲件上,并且激活骑士装甲。根据确定用户交互与诸如骑士装甲的交互式虚拟对象相关联的,虚拟对象被显示在XR布景502中。例如,可由于与虚拟显示器512的用户交互而显示虚拟对象518。具体地说,用户可与在虚拟显示器512上显示的骑士装甲件交互,使得骑士装甲被描绘为从虚拟显示器中涌现为XR布景502内的虚拟对象518。一旦虚拟对象518被显示在XR布景502中,用户便可基于如本文中所描述的一个或多个用户输入来进一步与虚拟对象518交互(例如使虚拟对象在XR布景502内移动)。用户可另外提供一个或多个输入以获得关于虚拟项目的附加信息(例如特定控制器输入)。这类输入可使得显示具有关于虚拟对象的文本的用户界面、具有关于虚拟对象的音频的音频提示等。

图6描绘虚拟显示器的曲率的示例性调整。一般来说,XR布景内的虚拟显示器的曲率可取决于用户视角的位置与虚拟显示器的表面(例如虚拟显示器的中心点)之间的距离。例如,当虚拟显示器定位在XR布景内的固定点处(例如被显示为贴附于边界位置、被显示为固定在空间内等)时,可改变XR布景中的用户视角,使得虚拟显示器呈现为比在原始视角中更靠近或更远离用户。具体地说,根据确定用户头部移动对应于远离虚拟显示器的移动的,减小虚拟显示器的曲率,而根据确定用户头部移动对应于朝向虚拟显示器的移动,增大虚拟显示器的曲率。作为示例,第一用户视角可与视角位置602相关联,并且使得视角位置602与虚拟显示器606a的中心点之间的距离对应于第一距离604(例如XR布景内的10英尺)。用户可作出一个或多个头部移动或改变XR布景内的用户视角的其他移动。例如,用户可以后倾或以其他方式执行向后的头部移动,从而在视角位置602与虚拟显示器的中心点之间产生较大距离608(例如XR布景内的12英尺)。具体地说,距离608大于距离604。因此,虚拟显示器的曲率可减小,从而在XR布景中产生比虚拟显示器606a的外形“更平坦的”虚拟显示器606b的外形。作为另一示例,用户可以向前倾斜或另外执行向前的头部移动,从而在视角位置602与虚拟显示器的中心点之间产生较小距离610(例如XR布景内的8英尺)。具体地说,距离610小于距离604。因此,虚拟显示器的曲率可增大,从而在XR布景中产生比虚拟显示器606a的外形更弯曲的虚拟显示器606c的外形。

虚拟显示器的曲率可受到一个或多个阈值曲率的限制。一般来说,根据确定虚拟显示器的曲率低于阈值最小曲率,将虚拟显示器的曲率维持在阈值最小曲率处,而根据确定虚拟显示器的曲率高于阈值最大曲率,将虚拟显示器的曲率维持在阈值最大曲率处。最小阈值曲率和最大阈值曲率还可以取决于虚拟显示器的显示大小。例如,最小阈值曲率可对应于没有曲率或在显示器的背景下的较小曲率(例如对应于10m的弯曲显示器半径)。一旦用户视角定位成基本上远离虚拟显示器(例如XR布景内的30英尺),则曲率将维持在最小阈值曲率处,并且如果用户维持观察视角或观察视角进一步移动远离虚拟显示器,则所述曲率将不会改变。类似地,最大阈值曲率可对应于在显示器的背景下的相对较大的曲率(例如对应于10m的弯曲显示器半径)。一旦用户视角定位成基本上靠近虚拟显示器(例如XR布景内的1至2英尺),则曲率将维持在最小阈值曲率处,并且如果用户维持观察视角或观察视角移动靠近虚拟显示器,则所述曲率将不会改变。

虚拟显示器的取向可基于特定用户移动而改变,该特定用户移动诸如在物理布景内的侧向移动。例如,虚拟显示器可被显示为在用户前面“浮动”,或者以其他方式在XR布景中被安装在用户前面的表面上。如果用户在物理布景中向左或向右迈出若干步,则虚拟显示器的取向可被显示为逐渐转向用户(例如虚拟显示器的取向与用户的侧向移动成比例地改变),使得虚拟显示器的正面被描绘为面向用户或以其他方式朝向用户倾斜。例如,如果用户向左迈出若干步,并且将其头部转向右侧(例如返回朝向虚拟显示器),则虚拟显示器可被描绘为转向用户,使得与虚拟显示器在用户执行侧向移动之前保持初始取向的情况相比,用户具有更好的观察角度来观察虚拟显示器。

在一些示例中,基于物理布景的特性来输出对应于在虚拟显示器上播放的媒体的音频。当用户正在观察XR环境中的虚拟显示器上的媒体时,对应于所显示的媒体的虚拟音频源可定位成接近虚拟显示器,使得用户将音频感知为来自XR布景中的虚拟显示器。具体地说,物理布景的特性(诸如房间大小和形状)一般可对从物理布景内的各种源(例如扬声器、人类、动物等)输出的音频具有影响。在一些示例中,来自媒体递送模型的结果包括音频渲染设置,其中该音频渲染设置指示如何输出与所显示的媒体相关联的音频。当结果包括音频渲染设置时,结果中所包括的音频输出参数可指示如何基于物理布景来定制音频输出。如果用户位于相对较小的房间中,则音频输出特性可反映与较小房间一致的音频输出设置。例如,如果用户紧邻墙壁并且各种家具件环绕用户,则用户的音频输出可包括与从墙壁和家具反射的音频一致的各种混响。来自媒体递送模型的结果可替代地不包括音频渲染设置。在此情况下,可基于默认音频参数来输出音频,诸如直接从一个或多个标准中获得(或导出),该一个或多个标准包括针对基于显示器放置的所需音频输出的规格。例如,与默认音频参数一致的音频输出可类似于所需音频输出或以其他方式模型化音频输出,而不管物理布景特性(例如影院布景中的音频输出)。

基于在虚拟显示器上显示的媒体的音频输出还可根据物理布景内的用户移动而变化。虚拟显示器可在XR布景中被描绘为贴附于墙壁的中心部分。作为示例,可基于从中心部分的右侧到中心部分的左侧的用户移动来调整音频输出参数。具体地说,当用户位于中心部分的右侧时,可设置音频输出参数,使得与用户左耳相关联的音频具有比与用户右耳相关联的音频更高的音量(例如用户感知到声音来自虚拟显示器,该虚拟显示器在XR布景中定位在用户左侧)。当用户在物理布景中移动到中心部分的左侧时,可调整音频输出参数,使得与用户右耳相关联的音频具有比与用户左耳相关联的音频更高的音量(例如用户感知到声音来自虚拟显示器,该虚拟显示器目前在XR布景中定位在用户右侧)。对音频输出参数的调整可与用户关于物理布景移动同时进行,使得当用户在物理布景内移动时,动态调整音频输出(基于所调整的参数)。

一般来说,音频输出可包括基于特定条件的各种过渡效果,该特定条件诸如所显示的虚拟显示器、虚拟显示器上的媒体回放、用户看向虚拟显示器或将视线远离虚拟显示器等。例如,可经由电子设备的用户所佩戴的头戴式耳机来提供过渡效果。具体地说,当基于播放媒体来提供音频时,可利用音频透明度和主动噪声控制。例如,当使用音频透明度时,向用户提供第一音频输出,诸如对应于在电子设备处接收到的(例如在耦合到设备的一个或多个麦克风处接收到的)物理布景的环境声音的音频。基于媒体回放,向用户提供第二音频输出,诸如对应于当前在虚拟显示器上播放的电影的声音。可在媒体回放的整个持续时间中将第一音频输出连续地提供给用户,其中当正在播放媒体时以及/或者当正在显示虚拟显示器时,减小第一音频输出的音量水平。一旦媒体停止播放以及/或者当不再显示虚拟显示器时,就可以将第一音频输出的音量水平升高回原始水平。类似地,可在于虚拟显示器上启动媒体回放时提供第二音频输出。一旦媒体停止在虚拟显示器上播放以及/或者当不再显示虚拟显示器时,就不再提供此第二音频输出。对应于环境声音和媒体回放声音的音量水平可以基于预定义的音量水平,诸如用户偏好中所定义的那些音量水平。例如,用户可将预定义的环境音量配置为当媒体不在虚拟显示器上播放时被设置在实际环境声音水平的80%处,并且可将预定义的环境音量配置为当媒体在虚拟显示器上播放时被设置在实际环境声音水平的10%处。同样,作为示例,用户可将预定义的媒体回放音量配置为媒体被母带处理的音量的90%。

在一些示例中,当使用主动噪声控制时,在特定情形下,将包括噪声控制信号的第三音频输出应用于第一音频输出。例如,当虚拟显示器被启动并且媒体开始在虚拟显示器上回放时,提供与播放媒体相关联的第二音频输出。在启动虚拟显示器和媒体回放时,可逐渐增加与噪声控制信号相关联的噪声消除水平,使得当显示虚拟显示器时,环境声音的噪声水平逐渐减小。一旦虚拟显示器被显示并且当媒体正在播放时,继续提供第三音频输出以便抑制来自环境声音的噪声。具体地说,诸如用户偏好的一个或多个设置可指示一个或多个噪声消除水平。这些水平可包括当媒体正在播放时的预定义的噪声消除水平(例如100%噪声消除、80%噪声消除等);预定义的持续时间,噪声消除通过该持续时间从“静闭”过渡到当前噪声消除水平(例如三秒、五秒等);当不应采用噪声消除时的其他条件等。

可基于诸如头戴式耳机取向、用户头部移动、用户注视等因素来执行音量调整和噪声控制。具体地说,用户正在看向虚拟显示器抑或将视线远离虚拟显示器可能影响音量调整和噪声控制。作为示例,根据检测到远离虚拟显示器移动的用户注视,环境声音的音量可被升高,而播放媒体的音量可被降低。类似地,根据检测到朝向虚拟显示器的用户注视,环境声音的音量可被降低,而播放媒体的音量可被升高。这些调整可与移动成比例地进行,使得如果用户注视和/或头部移动暂时停止,则音量水平暂时维持在当前音量水平处。噪声消除水平也可以与朝向虚拟显示器的用户注视成比例地升高,而噪声消除水平可以与远离虚拟显示器的用户注视成比例地降低。另外,上述调整可以仅当媒体在虚拟显示器上播放时才可以进行,或者不管媒体是否在虚拟显示器上播放都可以进行。

一般来说,音量调整和噪声控制可与同物理布景相关联的其他输出(诸如亮度水平)成比例地执行。如本文中所论述,最初,物理布景表示的亮度水平可与实际物理布景的亮度水平一致。一旦例如在虚拟显示器上显示媒体,便可以将物理表示的亮度水平降低到预定亮度水平。当物理表示的亮度水平降低时,与环境声音相关联的音量水平可与亮度水平降低成比例地逐渐降低。同样,与媒体播放相关联的音量水平可与亮度水平降低成比例地逐渐升高。噪声消除水平也可与亮度水平降低成比例地升高,并且类似地,噪声消除水平可与亮度水平升高成比例地降低。

各种附加条件可能影响音频渲染。一般来说,可能出现特定情形,使得用户可能对与物理布景相关联的至少部分听力的环境声音感兴趣。出于安全原因,噪声控制和环境声音的音量减小可在特定条件下被放弃,该特定条件诸如在第一音频输出中检测到特定环境声音。这种声音可对应于各种条件,诸如火灾警报、龙卷风警报器、安珀(amber)警报、用户设备警报、紧急广播或与危险情形相关联的其他声音。其他检测也可致使噪声控制和音量减小被放弃。例如,从特定实体(诸如特定人员(例如用户的室友)或设备(例如物理布景中的家庭扬声器))检测到的声音可致使音量减小和噪声控制被放弃。这类实体可在用户偏好数据、默认设备设置等中进行定义。当检测到这类条件时,可停止提供各种音频输出,或者可升高或降低这类信号的音量水平。具体地说,对应于播放媒体和噪声控制的音频输出可响应于这类条件而被放弃。在一些示例中,响应于这类条件,可升高与物理布景相关联的音量水平,可降低与播放媒体相关联的音量水平,并且/或者可降低噪声消除水平。一旦该条件不再出现(例如不再检测到警报),便可将各种音频输出和音量水平恢复到原始水平。

媒体内容也可能影响音频渲染。例如,与特定环境条件相关联的媒体内容可能影响音量和噪声控制水平。作为示例,用户可在虚拟显示器上观看媒体内容,包括在水上场景与水下场景之间的过渡。在出现过渡到水下环境的场景中的点处,可减小对应于物理布景的音量水平,并且增加噪声消除,以便提供在水下行进的听觉感知。类似地,用户可观看包括在外太空中的场景的媒体内容。在从太空环境过渡到非太空环境(例如过渡回到地球)的场景中的点处,可增加物理环境的音量水平,并且可减小噪声消除,以便提供从外太空环境过渡到常规环境的听觉感知。

对音量水平的调整可使用头戴式设备的用户所佩戴的头戴式耳机来执行,并且/或者可使用头戴式设备外部的一个或多个扬声器(例如一个或多个家庭扬声器)来执行。在一个或多个外部扬声器执行音量调整的情况下,外部扬声器可响应于各种所检测到的条件而利用空间音频技术。例如,在启动虚拟显示器的显示时,外部扬声器的空间音频模式也被启动。启动空间音频可包括提供与播放媒体相关联的空间定向音频,并且还将虚拟声源放置在对应于相应物理布景的特定虚拟位置处。虚拟声源的位置可向用户提供对声音正从物理布景中的对应位置发出的感知,该对应位置诸如在用户的上方、下方、后面和/或侧面。可特别定制空间定向音频以考虑这种声音定位(例如基于头部相关传递功能)。只要虚拟显示器被显示以及/或者媒体正在于虚拟显示器上播放,便可以继续提供这种音频。

如上文所论述,可基于特定因素来调整物理布景表示的各种亮度水平。在一些示例中,在显示虚拟显示器之前(或者在于所显示的虚拟显示器上显示媒体之前),XR布景中的物理布景表示的亮度水平可与实际物理布景的亮度水平一致。例如,一旦在虚拟显示器上显示媒体,便可以将物理表示的亮度水平降低到预定亮度水平。因此,在媒体回放时,物理布景在XR布景中的外观可类似于用户环境中的光线变暗。在一些示例中,相对于虚拟显示器的用户头部移动可能影响物理布景表示的显示亮度。可以首先确定用户注视方向(例如用户可看向或朝向XR布景中的虚拟显示器)。根据检测到用户头部移动以及用户注视方向远离虚拟显示器的移动(例如用户头部转动并且将视线远离XR布景中的虚拟显示器),可升高与物理布景相关联的亮度水平。类似地,根据检测到用户头部移动以及用户注视方向朝向虚拟显示器的移动(例如用户头部向回转动并且看向XR布景中的虚拟显示器),可降低与物理布景相关联的亮度水平。因此,用户可在将视线远离虚拟显示器时基于升高的亮度水平来观察物理布景表示内的各种内容。

在一些示例中,可基于各种媒体控制输入来修改物理表示的亮度水平。用户可提供媒体控制输入以便中断在虚拟显示器上对所显示的媒体的回放,诸如暂停功能、倒回功能、快进功能等。例如,根据检测到暂停功能,可升高物理表示的亮度水平。例如,根据检测到播放功能,随后可将物理表示的亮度水平降低或以其他方式返回到先前亮度水平。物理布景表示的亮度水平也可动态地对应于在虚拟显示器上显示的媒体。具体地说,根据所显示的媒体中的亮度水平增加(例如在虚拟显示器上显示的电影中出现爆炸),物理布景表示的亮度水平可与所显示的媒体的亮度水平的增加成比例地增加。类似地,根据所显示的媒体中的亮度水平减小(例如虚拟显示器暂时显示黑色或其他暗色屏幕),物理布景表示的亮度水平可与所显示的媒体的亮度水平的减小成比例地减小。

在一些示例中,可基于用户移动来修改物理布景的一个或多个视觉特性。例如,用户可将视线远离XR布景内的虚拟显示器,诸如以90度角看向虚拟显示器的左侧。根据检测到用户注视朝向虚拟显示器的移动,物理布景表示的亮度水平可与注视移动成比例地减小。例如,当用户作出向右并且朝向虚拟显示器的头部移动时,物理布景的所描绘亮度水平可减小,使得当用户直接看向XR布景中的虚拟显示器时,物理布景的亮度水平较暗。在一些示例中,基于用户移动而在XR布景中逐渐显示虚拟内容。用户可将视线远离XR布景内的虚拟显示器,使得当用户回看向虚拟显示器时,虚拟内容随着用户看向显示器而在虚拟显示器附近逐渐呈现。例如,虚拟显示器可显示外太空主题的电影,使得与外太空相关的多个虚拟对象(例如宇宙飞船、行星、小行星等)可随着用户看向虚拟布景中的虚拟显示器而在XR布景内逐渐显示。

在一些示例中,随着用户看向虚拟显示器,物理布景的外观可逐渐改变,并且由虚拟布景替换。例如,当用户看向虚拟显示器时,物理墙壁和物理地面的外观可由类似于外太空的外观(例如由黑暗包围的恒星)替换。基于用户偏好或其他参数,用户可另外利用“夜晚天空”模式,使得当用户后倾并且朝上看时,虚拟显示器与替换物理布景的虚拟布景一起被描绘。例如,物理布景的天花板和物理布景的周围墙壁的表示可由类似于夜晚天空的虚拟布景替换。因此,当用户维持后倾位置时,虚拟显示器可被描绘为在位于夜晚天空前的用户上方“浮动”。例如,当用户返回到直立位置时,类似于夜晚天空的虚拟布景可由物理布景的表示逐渐替换(例如随着用户返回到直立位置时连续地被替换)。

对物理布景表示的修改量可与用户移动成比例。例如,如果用户背离虚拟显示器并且稍微转向虚拟显示器,则可以稍微调整(例如稍微调暗)物理布景表示的亮度,并且/或者少量虚拟内容可替换少量物理布景表示。如果用户最初背离虚拟显示器并且转向虚拟显示器,使得用户的注视最终直接看向虚拟显示器,则可以显著调整物理布景表示的亮度(例如从正常房间亮度到较暗房间亮度),并且/或者大量虚拟内容可替换大量物理布景表示(例如墙壁、地面和环绕虚拟显示器的附加区域)。物理布景表示的变化也可被逐渐描绘,使得外观的变化不会干扰或以其他方式破坏用户体验。例如,当用户改变观察位置时,物理布景表示的变化可在用户视场的边缘处发生,以便最小化用户观察视角的前景的突然变化。在一些示例中,如果用户作出突然移动(例如从左到右的快速头部移动),则在用户注视方向已稳定达预定时间段(例如几秒)后,在物理布景中调整亮度或显示虚拟内容的任何变化可以缓慢发生。

修改物理布景的外观可包括各种显示器特定的过程以调整或以其他方式修改用户所观察到的显示器的特性。例如,用户可使用不透明显示器观察物理布景,使得经由与显示器通信的一个或多个相机将表示物理布景显示给用户。在此示例中,可修改物理布景的表示,使得修改表示的特定部分(例如修改显示器周围的区域的表示以包括虚拟内容)、调整表示的亮度水平等。可替代地,用户可使用额外显示器观察物理布景,使得用户通过透明层(例如玻璃层、聚合物层等)观察实际物理布景。当使用额外显示器修改物理布景的外观时,可利用各种附加显示器层来修改物理布景外观的相应部分。附加显示器层可包括液晶显示器(LCD)层、发光二极管(LED)层、有机发光二极管(OLED)层等中的一者或多者。例如,当修改物理布景外观的亮度水平时,可调整一个或多个显示器层的亮度水平,以便提供调整物理布景的亮度水平的外观。类似地,当向用户显示虚拟内容时,可激活一个或多个显示器层以显示虚拟内容,而用户仍然能够通过透明层观察实际物理布景的相应部分。因此,提供了类似于位于物理布景中的虚拟内容的外观。在一些示例中,虚拟内容可部分地替换或完全替换如通过透明层看到的各种物理对象或物理边界(例如墙壁)。

参考图7,描绘了用于在扩展现实布景中显示虚拟显示器的示例性过程700的流程图。过程700可使用用户设备(例如设备100a)来执行。例如,用户设备可以是手持式移动设备或头戴式设备。在一些实施方案中,使用两个或更多个电子设备来执行过程700,该电子设备诸如通信耦接到另一设备(诸如基础设备)的用户设备。此外,应当理解,用户设备的显示器可以是透明的或不透明的。例如,过程700可应用于扩展现实应用程序,诸如虚拟现实、增强现实或混合现实应用程序,并且可应用于包括视觉特征以及非视觉特征(诸如音频、触觉等)的效果。尽管以特定次序描绘过程700的框,但应了解,可以其他次序执行这些框。此外,过程700的一个或多个框可以是任选的,并且/或者可以执行附加框。

在框702处,获得对应于用户的物理布景的特性的参数集。在框704处,基于参数集来确定至少一个显示器放置值以及对应于物理布景的固定边界位置。在一些示例中,将参数集提供给媒体递送模型。在一些示例中,基于所提供的参数集从所述媒体递送模型接收结果,其中该结果包括所述至少一个显示器放置值以及对应于物理布景的固定边界位置。在框706处,确定至少一个显示器放置值是否满足显示器放置标准。

在框708处,根据确定所述至少一个显示器放置值满足显示器放置标准,显示虚拟显示器。虚拟显示器可被显示在对应于物理布景的固定边界位置处,其中结果包括固定边界位置。在一些示例中,检测用户输入,该用户输入对应于在增强现实布景内调整虚拟显示器的意图。根据确定调整虚拟显示器的意图包括移动虚拟显示器的意图,虚拟显示器的移动是显示移动,包括显示器在增强现实布景内向替代位置的移动。根据确定调整虚拟显示器的意图包括修改虚拟显示器的大小的意图,显示虚拟显示器的大小修改。在一些示例中,根据检测到虚拟空间偏好,识别对应于物理布景的至少一个边界。可显示虚拟房间,其中该虚拟房间至少部分地替换至少一个边界的表示。在一些示例中,该虚拟显示器被显示在虚拟房间内。

在一些示例中,根据确定至少一个显示器放置值不满足显示器放置标准,虚拟显示器在对应于在物理布景中在用户前面的预定义距离的固定位置处被显示。在一些示例中,根据检测到超过阈值的至少一个光参数,显示虚拟天空,其中虚拟天空至少部分地替换对应于物理布景的至少一个天花板边界的表示。在一些示例中,在虚拟显示器上显示媒体,其中识别与所显示的媒体相关联的属性。识别对应于物理布景的至少一个边界,其中显示虚拟房间。在一些示例中,虚拟房间至少部分地替换至少一个边界的表示。

在一些示例中,在虚拟显示器上显示媒体,其中识别与所显示的媒体相关联的属性。在一些示例中,基于所识别的属性来显示至少一个虚拟对象。在一些示例中,检测对应于与虚拟显示器的交互的用户输入,其中识别与在虚拟显示器上所显示的媒体相关联的至少一个对象。根据确定该交互与至少一个虚拟对象相关联,显示该至少一个虚拟对象。在一些示例中,检测用户头部移动,其中根据确定用户头部移动对应于远离虚拟显示器的移动,减小虚拟显示器的曲率。在一些示例中,根据确定用户头部移动对应于朝向虚拟显示器的移动,增大虚拟显示器的曲率。在一些示例中,根据确定虚拟显示器的曲率低于阈值最小曲率,将虚拟显示器的曲率维持在阈值最小曲率处,其中根据确定虚拟显示器的曲率高于阈值最大曲率,将虚拟显示器的曲率维持在阈值最大曲率处。

在一些示例中,识别与在虚拟显示器上显示的媒体相关联的音频,其中根据确定结果包括音频渲染设置,从结果获得音频输出参数,其中音频输出参数是基于物理布景的特性。在一些示例中,与音频输出参数一致地输出音频。在一些示例中,根据确定结果不包括音频渲染设置,获得默认音频输出参数。在一些示例中,基于默认音频输出参数来输出音频。在一些示例中,识别物理布景内的用户移动,其中基于物理布景内的用户移动来调整音频输出参数。在一些示例中,与所调整的音频输出参数一致地输出音频。

在一些示例中,物理布景的表示被显示在XR布景中,其中表示的亮度水平与物理布景的亮度水平一致。在一些示例中,在虚拟显示器上显示媒体,其中根据在虚拟显示器上显示媒体,降低物理布景的表示的亮度水平。在一些示例中,确定用户注视方向,并且检测用户注视方向的移动。在一些示例中,根据检测到用户注视方向远离虚拟显示器的移动,升高物理布景的表示的亮度水平。在一些示例中,根据检测到用户注视方向朝向虚拟显示器的移动,降低物理布景的表示的亮度水平。在一些示例中,检测媒体控制输入,其中根据媒体控制输入包括暂停功能,升高表示的亮度水平。在一些示例中,根据媒体控制输入包括播放功能,降低物理布景的表示的亮度水平。在一些示例中,检测所显示的媒体的亮度水平的变化。根据变化包括所显示的媒体的亮度水平的增加,使表示的亮度水平与增加成比例地增加,其中在一些示例中,根据变化包括所显示的媒体的亮度水平的减小,使表示的亮度水平与减小成比例地减小。

在一些示例中,显示物理布景的表示,并且在虚拟显示器上显示媒体。根据在虚拟显示器上显示媒体,用虚拟布景替换物理布景的表示的至少一部分。在一些示例中,虚拟布景包括虚拟影院,该虚拟影院包括虚拟显示器。在一些示例中,在虚拟显示器上显示媒体包括开始在虚拟显示器上回放媒体。在一些示例中,根据检测到用户注视远离虚拟显示器的移动量,用物理布景的表示的第一部分替换虚拟布景的至少第一部分。在一些示例中,根据对应于第一量的检测量,用物理布景的表示的第二部分替换虚拟布景的第二部分。在一些示例中,根据对应于大于第一量的第二量的检测量,用物理布景的表示的第三部分替换虚拟布景的第三部分,其中第三部分大于第二部分。

在一些示例中,根据检测到用户注视朝向虚拟显示器的移动量,用虚拟布景的第二部分替换物理布景的表示的至少第二部分。在一些示例中,根据对应于第一量的检测量,用虚拟布景的第二部分替换物理布景的表示的第二部分。在一些示例中,根据对应于大于第一量的第二量的检测量,用虚拟布景的第三部分替换物理布景的表示的第三部分,其中第三部分大于第二部分。在一些示例中,当检测到用户注视朝向虚拟显示器的移动时,与所检测到的用户注视朝向虚拟显示器的移动成比例地用虚拟布景逐渐替换物理布景的表示。在一些示例中,当检测到用户注视远离虚拟显示器的移动时,与所检测到的用户注视远离虚拟显示器的移动成比例地用物理布景的表示逐渐替换虚拟布景。

在一些示例中,提供第一音频输出,该第一音频输出包括与物理布景相关联的音频。在一些示例中,当启动虚拟显示器的显示时,提供第二音频输出,该第二音频输出包括与在虚拟显示器上播放的媒体相关联的音频,并且当在固定边界位置处显示虚拟显示器时,继续提供第一音频输出和第二音频输出。在一些示例中,当启动虚拟显示器的显示时,降低对应于第一音频输出的第一音量水平,其中该第一音量水平降低到第一预定义音量水平。在一些示例中,当启动虚拟显示器的显示时,升高对应于第二音频输出的第二音量水平,其中该第二音量水平升高到第二预定义音量水平。在一些示例中,当降低对应于第一音频输出的第一音量水平时,将第三音频输出应用于第一音频输出,其中该第三音频输出对应于噪声控制信号。在一些示例中,当在固定边界位置处显示虚拟显示器时,将第一音量水平维持在第一预定义音量水平处,并且将第二音量水平维持在第二预定义音量水平处。在一些示例中,停止虚拟显示器的显示,并且响应于停止虚拟显示器的显示,将对应于第一音频输出的第一音量水平升高到原始音量水平,降低对应于第二音频输出的第二音量水平,并且停止提供第二音频输出。

在一些示例中,提供第一音频输出,该第一音频输出包括与物理布景相关联的音频,并且提供第二音频输出,该第二音频输出包括与在虚拟显示器上播放的媒体相关联的音频。在一些示例中,根据检测到用户注视远离虚拟显示器的移动量,基于用户注视远离虚拟显示器的移动量来调整第一音频输出的第一音量水平和第二音频输出的第二音量水平。在一些示例中,根据检测到用户注视朝向虚拟显示器的移动量,基于用户注视朝向虚拟显示器的移动量来调整第一音频输出的第一音量水平和第二音频输出的第二音量水平。在一些示例中,调整第一音频输出的第一音量水平和第二音频输出的第二音量水平包括与用户注视远离虚拟显示器的移动量成比例地升高第一音量水平,并且与用户注视远离虚拟显示器的移动量成比例地降低第二音量水平。在一些示例中,基于用户注视远离虚拟显示器的移动量来调整第一音频输出的第一音量水平和第二音频输出的第二音量水平包括与用户注视朝向虚拟显示器的移动量成比例地降低第一音量水平,并且与用户注视朝向虚拟显示器的移动量成比例地升高第二音量水平。

在一些示例中,根据检测到用户注视朝向靠近虚拟显示器的区域的移动,用虚拟布景的相应部分替换物理布景的表示的相应部分,其中物理布景的表示的相应部分小于物理布景的表示。在一些示例中,根据检测到用户注视向虚拟显示器的移动,用虚拟布景替换物理布景的表示。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如,可利用这种个人信息以便在扩展现实布景中显示虚拟显示器。然而,在收集此类个人信息的程度上,此类信息应在用户知情同意的情况下获取。如本文所描述的,用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。另外,这类政策应是完善的、用户可访问的,并且被认为符合或高于政府/行业标准。此外,除任何合理和合法的目的外,各方不得分发、出售或以其他方式分享此类信息。

然而,用户可限制各方能访问或以其他方式获取个人信息的程度。例如,可调整设置或其他偏好,使得用户可决定其个人信息是否可由各种实体访问。此外,虽然在使用个人信息的上下文中描述了本文所定义的一些特征,但可在不需要使用此类信息的情况下实现这些特征的各方面。例如,如果收集到用户偏好、账户名称和/或位置历史,则该信息可被模糊化或以其他方式一般化,使得该信息不会识别相应用户。

技术分类

06120115928378