掌桥专利:专业的专利平台
掌桥专利
首页

多用户通信会话中的三维沉浸式应用的系统和方法

文献发布时间:2024-01-17 01:26:37


多用户通信会话中的三维沉浸式应用的系统和方法

本申请要求2022年2月28日提交的美国临时申请第63/268,679号和2023年2月24日提交的美国专利申请第18/174,337号的权益,这两个申请的内容全文以引用方式并入本文以用于所有目的。

技术领域

本公开整体涉及多用户通信会话中的三维沉浸式应用的系统和方法。

背景技术

一些计算机图形环境提供二维和/或三维环境,其中被显示供用户观察的至少一些对象是虚拟的并且由计算机生成。在一些示例中,三维环境由在多用户通信会话中通信的多个设备呈现。在一些示例中,参与多用户通信会话(例如,经由计算设备)的每个用户的化身(例如,表示)被显示在多用户通信会话的三维环境中。在一些示例中,内容可在三维环境中共享以供参与多用户通信会话的多个用户观看和交互。

发明内容

本公开的一些示例涉及用于在包括与多用户通信会话中的一个或多个电子设备的一个或多个用户相对应的一个或多个化身的三维环境中共享和呈现内容的系统和方法。在一些示例中,第一电子设备和第二电子设备在多用户通信会话中通信地链接,其中第一电子设备和第二电子设备分别被配置为显示三维环境。在一些示例中,第一电子设备在三维环境中显示与第二电子设备的用户相对应的化身,并且第二电子设备在三维环境中显示与第一电子设备的用户相对应的化身。在一些示例中,在多用户通信会话中与化身一起呈现分别与第一电子设备和第二电子设备的用户的语音相对应的音频。在一些示例中,第一电子设备和第二电子设备可在三维环境中共享和呈现内容。在一些示例中,取决于在三维环境中共享的内容的类型,第一电子设备和第二电子设备当在三维环境中呈现内容时选择性地维持化身的显示。

在一些示例中,当在第一电子设备与第二电子设备之间共享第一类型的内容(例如,与三维场景/环境相对应的沉浸式内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中呈现内容时保持被显示。在一些示例中,当在第一电子设备与第二电子设备之间共享第二类型的内容(例如,与视频的三维表示相对应的沉浸式内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中呈现内容时停止被显示。在一些此类示例中,当不再显示化身时,与第一电子设备和第二电子设备的用户的语音相对应的音频保持被呈现。在一些示例中,当在第一电子设备与第二电子设备之间共享第三类型的内容(例如,与视频、图像或其他内容的二维表示相对应的二维内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中以全屏模式呈现内容时保持被显示。在一些示例中,当在第一电子设备与第二电子设备之间共享第四类型的内容(例如,显示在与应用程序窗口相对应的虚拟对象中的二维内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中的虚拟对象中呈现内容时保持被显示。

在一些示例中,在第一电子设备和第二电子设备处于多用户通信会话中时,当内容在一个电子设备而不在另一电子设备处呈现在三维环境中时,与第一电子设备和第二电子设备的用户相对应的化身取决于正在呈现的内容的类型而选择性地保持显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第一类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时停止显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第二类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时停止显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第三类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时停止显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第四类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时保持显示在三维环境中。

附图和具体实施方式中提供了对这些示例的全面描述,应当理解,本发明内容不以任何方式限制本公开的范围。

附图说明

为了更好地理解本文所述的各种示例,应当参考下面的具体实施方式及以下附图。在整个附图中,相似的附图标号通常指代对应部件。

图1示出了根据本公开的一些示例的呈现扩展现实环境的电子设备。

图2示出了根据本公开的一些示例的系统的示例性架构的框图。

图3示出了根据本公开的一些示例的第一电子设备与第二电子设备之间的多用户通信会话的示例。

图4A至图4F示出了根据本公开的一些示例的在多用户通信会话中与共享的第一类型的内容的示例性交互。

图5A至图5D示出了根据本公开的一些示例的在多用户通信会话中与共享的第二类型的内容的示例性交互。

图6A至图6C示出了根据本公开的一些示例的在多用户通信会话中与共享的第三类型的内容的示例性交互。

图7A至图7C示出了根据本公开的一些示例的在多用户通信会话中与共享的第四类型的内容的示例性交互。

图8A至图8B示出了根据本公开的一些示例的示出用于在多用户通信会话中显示共享内容的示例性过程的流程图。

具体实施方式

本公开的一些示例涉及用于在包括与多用户通信会话中的一个或多个电子设备的一个或多个用户相对应的一个或多个化身的三维环境中共享和呈现内容的系统和方法。在一些示例中,第一电子设备和第二电子设备在多用户通信会话中通信地链接,其中第一电子设备和第二电子设备分别被配置为显示三维环境。在一些示例中,第一电子设备在三维环境中显示与第二电子设备的用户相对应的化身,并且第二电子设备在三维环境中显示与第一电子设备的用户相对应的化身。在一些示例中,在多用户通信会话中与化身一起呈现分别与第一电子设备和第二电子设备的用户的语音相对应的音频。在一些示例中,第一电子设备和第二电子设备可在三维环境中共享和呈现内容。在一些示例中,取决于在三维环境中共享的内容的类型,第一电子设备和第二电子设备当在三维环境中呈现内容时选择性地维持化身的显示。

在一些示例中,当在第一电子设备与第二电子设备之间共享第一类型的内容(例如,与三维场景/环境相对应的沉浸式内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中呈现内容时保持被显示。在一些示例中,当在第一电子设备与第二电子设备之间共享第二类型的内容(例如,与视频的三维表示相对应的沉浸式内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中呈现内容时停止被显示。在一些此类示例中,当不再显示化身时,与第一电子设备和第二电子设备的用户的语音相对应的音频保持被呈现。在一些示例中,当在第一电子设备与第二电子设备之间共享第三类型的内容(例如,与视频、图像或其他内容的二维表示相对应的二维内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中以全屏模式呈现内容时保持被显示。在一些示例中,当在第一电子设备与第二电子设备之间共享第四类型的内容(例如,显示在与应用程序窗口相对应的虚拟对象中的二维内容)时,与第一电子设备和第二电子设备的用户相对应的化身当在三维环境中的虚拟对象中呈现内容时保持被显示。

在一些示例中,在第一电子设备和第二电子设备处于多用户通信会话中时,当内容在一个电子设备而不在另一电子设备处呈现在三维环境中时,与第一电子设备和第二电子设备的用户相对应的化身取决于正在呈现的内容的类型而选择性地保持显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第一类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时停止显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第二类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时停止显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第三类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时停止显示在三维环境中。在一些示例中,当在一个电子设备而不在另一电子设备处呈现第四类型的内容时,与第一电子设备和第二电子设备的用户相对应的化身在处于多用户通信会话中时保持显示在三维环境中。

在一些示例中,当处于多用户通信会话中时在三维环境中共享内容可包括与一个或多个用户界面元素的交互。在一些示例中,当在三维环境中共享内容时,用户的目光可由电子设备跟踪,作为用于瞄准相应用户界面元素内的可选择选项/示能表示的输入。例如,目光可用于识别使用另一选择输入选择为目标的一个或多个选项/示能表示。在一些示例中,可使用经由与电子设备通信的输入设备检测到的手部跟踪输入来选择相应选项/示能表示。在一些示例中,在三维环境中显示的对象可根据经由输入设备检测到的移动输入而在三维环境中移动和/或重新取向。

图1示出了根据本公开的一些示例的呈现扩展现实(XR)环境(例如,计算机生成的环境)的电子设备101。在一些示例中,电子设备101为手持式设备或移动设备,诸如平板电脑、膝上型计算机、智能电话或头戴式显示器。下面参考图2的架构框图来描述设备101的示例。如图1所示,电子设备101、桌子106和咖啡杯152位于物理环境100中。在一些示例中,电子设备101可被配置为捕获包括桌子106和咖啡杯152的物理环境100的图像(在电子设备101的视场中示出)。在一些示例中,响应于触发,电子设备101可被配置为在计算机生成的环境(例如,由图1所示的矩形表示)中显示虚拟对象110(例如,二维虚拟内容),该虚拟对象不存在于物理环境100中,但显示在位于(例如,锚定到)真实世界桌子106的计算机生成的表示106'的顶部的计算机生成的环境中。例如,响应于检测到物理环境100中的桌子106的平坦表面,虚拟对象110可显示在计算机生成的环境中的桌子的计算机生成的表示106'的表面上,紧挨着经由设备101显示的真实世界咖啡杯152的计算机生成的表示152'。

应当理解,虚拟对象110是代表性的虚拟对象,并且可以在三维计算机生成的环境中包括并且渲染一个或多个不同的虚拟对象(例如,具有各种维度的虚拟对象,诸如二维或三维虚拟对象)。例如,虚拟对象可表示在计算机生成的环境中显示的应用程序或用户界面。在一些示例中,虚拟对象可表示与应用程序相对应和/或在计算机生成的环境中经由用户界面显示的内容。在一些示例中,虚拟对象110任选地被配置为交互式的并且响应于用户输入,使得用户可以虚拟地触摸、轻击、移动、旋转或以其他方式与虚拟对象交互。在一些示例中,虚拟对象110可显示在多用户通信会话(“多用户通信会话”、“通信会话”)内的三维计算机生成的环境中。在一些此类示例中,如下文更详细地描述的,虚拟对象110可以是可观看的和/或被配置为交互式的并且分别响应于多个用户和/或由多个用户提供的用户输入。另外,应当理解,本文所述的3D环境(或3D虚拟对象)可以是在电子设备处投影或呈现的3D环境(或三维虚拟对象)的表示。

在以下讨论中,描述了与显示生成部件和一个或多个输入设备通信的电子设备。应当理解,电子设备任选地与一个或多个其他物理用户界面设备通信,诸如触敏表面、物理键盘、鼠标、操纵杆、手部跟踪设备、眼睛跟踪设备、触笔等。此外,如上所述,应当理解,所描述的电子设备、显示器和触敏表面任选地分布在两个或更多个设备之间。因此,如本公开所用,在电子设备上或由电子设备显示的信息任选地用于描述由电子设备输出以在独立的显示设备(触敏或非触敏)上显示的信息。类似地,如本公开所用,在电子设备上接收的输入(例如,在电子设备的触敏表面上接收的触摸输入,或者在触笔的表面上接收的触摸输入)任选地用于描述在独立的输入设备上接收的输入,电子设备从该独立的输入设备接收输入信息。

该设备通常支持多种应用程序,诸如以下应用程序中的一个或多个应用程序:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、Web浏览应用程序、数字音乐播放器应用程序、电视频道浏览应用程序、和/或数字视频播放器应用程序。

图2示出了根据本公开的一些示例的系统201的示例性架构的框图。在一些示例中,系统201包括多个设备。例如,系统201包括第一电子设备260和第二电子设备270,其中第一电子设备260和第二电子设备270彼此通信。在一些示例中,第一电子设备260和第二电子设备270是便携式设备,诸如分别为移动电话、智能电话、平板电脑、膝上型计算机、与另一设备通信的辅助设备等。

如图2所示,第一设备260任选地包括各种传感器(例如,一个或多个手部跟踪传感器202A、一个或多个位置传感器204A、一个或多个图像传感器206A、一个或多个触敏表面209A、一个或多个运动和/或取向传感器210A、一个或多个眼睛跟踪传感器212A、一个或多个麦克风213A或其他音频传感器等)、一个或多个显示生成部件214A、一个或多个扬声器216A、一个或多个处理器218A、一个或多个存储器220A和/或通信电路222A。在一些示例中,第二设备270任选地包括各种传感器(例如,一个或多个手部跟踪传感器202B、一个或多个位置传感器204B、一个或多个图像传感器206B、一个或多个触敏表面209B、一个或多个运动和/或取向传感器210B、一个或多个眼睛跟踪传感器212B、一个或多个麦克风213B或其他音频传感器等)、一个或多个显示生成部件214B、一个或多个扬声器216、一个或多个处理器218B、一个或多个存储器220B和/或通信电路222B。一个或多个通信总线208A和208B任选地分别用于设备260和270的上述部件之间的通信。第一设备260和第二设备270任选地经由两个设备之间的有线或无线连接(例如,经由通信电路222A至222B)进行通信。

通信电路222A、222B任选地包括用于与电子设备、网络(诸如互联网、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN))通信的电路。通信电路222A、222B任选地包括用于使用近场通信(NFC)和/或短程通信诸如

处理器218A、218B包括一个或多个通用处理器、一个或多个图形处理器和/或一个或多个数字信号处理器。在一些示例中,存储器220A、220B是存储计算机可读指令的非暂态计算机可读存储介质(例如,闪存存储器、随机存取存储器,或其他易失性或非易失性存储器或存储装置),这些计算机可读指令被配置为由处理器218A、218B执行以执行下文描述的技术、过程和/或方法。在一些示例中,存储器220A、220B可包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质(例如,不包括信号)。在一些示例中,存储介质是暂态计算机可读存储介质。在一些示例中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。

在一些示例中,显示生成部件214A、214B包括单个显示器(例如,液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些示例中,显示生成部件214A、214B包括多个显示器。在一些示例中,显示生成部件214A、214B可包括具有触摸能力(例如,触摸屏)的显示器、投影仪、全息投影仪、视网膜投影仪等。在一些示例中,设备260和270分别包括用于接收用户输入诸如轻击输入和轻扫输入或其他手势的触敏表面209A和209B。在一些示例中,显示生成部件214A、214B和触敏表面209A、209B形成触敏显示器(例如,分别与设备260和270集成的触摸屏或分别在设备260和270外部的与设备260和270通信的触摸屏)。

设备260和270任选地分别包括图像传感器206A和206B。图像传感器206A/206B任选地包括一个或多个可见光图像传感器(诸如电荷耦合器件(CCD)传感器)和/或可操作以从真实世界环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器206A/206B还任选地包括一个或多个红外(IR)传感器,诸如无源IR传感器或有源IR传感器,用于检测来自真实世界环境的红外光。例如,有源IR传感器包括用于将红外光发射到真实世界环境中的IR发射器。图像传感器206A/206B还任选地包括一个或多个相机,该一个或多个相机被配置为捕获物理对象在真实世界环境中的移动。图像传感器206A/206B还任选地包括一个或多个深度传感器,该一个或多个深度传感器被配置为检测物理对象与设备260/270的距离。在一些示例中,来自一个或多个深度传感器的信息可以允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些示例中,一个或多个深度传感器可以允许设备确定真实世界环境中的对象的纹理和/或形貌。

在一些示例中,设备260和270组合地使用CCD传感器、事件相机和深度传感器来检测设备260和270周围的物理环境。在一些示例中,图像传感器206A/206B包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器协力地工作,并且任选地被配置为捕获真实世界环境中的物理对象的不同信息。在一些示例中,第一图像传感器是可见光图像传感器,并且第二图像传感器是深度传感器。在一些示例中,设备260/270使用图像传感器206A/206B来检测设备260/270和/或显示生成部件214A/214B在真实世界环境中的位置和取向。例如,设备260/270使用图像传感器206A/206B来跟踪显示生成部件214A/214B相对于真实世界环境中的一个或多个固定对象的位置和取向。

在一些示例中,设备260/270包括麦克风213A/213B或其他音频传感器。设备260/270使用麦克风213A/213B来检测来自用户和/或用户的真实世界环境的声音。在一些示例中,麦克风213A/213B包括任选地协力地操作的麦克风阵列(多个麦克风),以便识别环境噪声或定位真实世界环境的空间中的声源。

设备260/270包括用于检测设备260/270和/或显示生成部件214A/214B的位置的位置传感器204A/204B。例如,位置传感器204A/204B可包括从一个或多个卫星接收数据并且允许设备260/270确定该设备在物理世界中的绝对位置的GPS接收器。

设备260/270包括用于检测设备260/270和/或显示生成部件214A/214B的取向和/或移动的取向传感器210A/210B。例如,设备260/270使用取向传感器210A/210B来跟踪设备260/270和/或显示生成部件214A/214B的位置和/或取向的变化,诸如相对于真实世界环境中的物理对象的变化。取向传感器210A/210B任选地包括一个或多个陀螺仪和/或一个或多个加速度计。

在一些示例中,设备260/270包括手部跟踪传感器202A/202B和/或眼睛跟踪传感器212A/212B。手部跟踪传感器202A/202B被配置为跟踪用户的手部的一个或多个部分的位置/地点,和/或用户的手部的一个或多个部分相对于扩展现实环境、相对于显示生成部件214A/214B和/或相对于另一限定的坐标系的运动。眼睛跟踪传感器212A/212B被配置为跟踪用户的目光(更一般地,眼睛、面部或头部)相对于真实世界或扩展现实环境和/或相对于显示生成部件214A/214B的位置和移动。在一些示例中,手部跟踪传感器202A/202B和/或眼睛跟踪传感器212A/212B与显示生成部件214A/214B一起实施。在一些示例中,手部跟踪传感器202A/202B和/或眼睛跟踪传感器212A/212B与显示生成部件214A/214B分开实施。

在一些示例中,手部跟踪传感器202A/202B可以使用从包括一只或多只手(例如,人类用户的一只或多只手)的真实世界捕获三维信息的图像传感器206A/206B(例如,一个或多个IR相机、3D相机、深度相机等)。在一些示例中,可以用足够的分辨率来分辨手部,以区分手指及其相应的位置。在一些示例中,一个或多个图像传感器206A/206B相对于用户定位以限定图像传感器206A/206B的视场和交互空间,在该交互空间中,由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如,以与用户的闲置手部或真实世界环境中的其他人的其他手部进行区分)。跟踪用于输入的手指/手部(例如,手势、触摸、轻击等)可能是有利的,因为这不需要用户触摸、握持或穿戴任何类型的信标、传感器或其他标记。

在一些示例中,眼睛跟踪传感器212A/212B包括朝向用户的眼睛发射光的至少一个眼睛跟踪相机(例如,红外(IR)相机)和/或照明源(例如,IR光源,诸如LED)。眼睛跟踪相机可以指向用户的眼睛,以直接或间接地从眼睛接收来自光源的反射IR光。在一些示例中,通过相应的眼睛跟踪相机和照明源单独地跟踪两只眼睛,并且可通过跟踪两只眼睛来确定焦点/目光。在一些示例中,通过相应的眼睛跟踪相机/照明源来跟踪一只眼睛(例如,主眼)。

设备260/270和系统201不限于图2的部件和配置,而是可包括处于多种配置的更少的部件、其他的部件或另外部件。在一些示例中,系统201可以在单个设备中实施。使用系统201的一个或多个人在本文中任选地称为设备的一个或多个用户。现在将注意力转向三维环境在第一电子设备(例如,对应于设备260)和第二电子设备(例如,对应于设备270)上的示例性同时显示。如下所述,第一电子设备可以在多用户通信会话中与第二电子设备通信。在一些示例中,第一电子设备的用户的化身(例如,表示)可以显示在第二电子设备处的三维环境中,并且第二电子设备的用户的化身可以显示在第一电子设备处的三维环境中。在一些示例中,在第一电子设备和第二电子设备处于多用户通信会话中时,内容可在三维环境内共享。

图3示出了根据本公开的一些示例的第一电子设备360与第二电子设备370之间的多用户通信会话的示例。在一些示例中,第一电子设备360可呈现三维环境350A,并且第二电子设备370可呈现三维环境350B。第一电子设备360和第二电子设备370可以类似于设备101或260/270,和/或可以是被配置为生成和呈现三维环境的可头戴式系统/设备和/或基于投影的系统/设备(包括基于全息图的系统/设备),诸如分别是平视显示器(HUD)、头戴式显示器(HMD)、具有集成显示能力的窗口、形成为被设计成放置在人的眼睛上的透镜(例如,类似于接触透镜)的显示器。在图3的示例中,第一用户任选地佩戴电子设备360并且第二用户任选地佩戴电子设备370,使得三维环境350A/350B可以由从电子设备的视角(例如,与电子设备360/370(其例如可以是头戴式显示器)相关联的视点)观看的X、Y和Z轴来限定。

如图3所示,电子设备360可处于包括桌子306和窗口309的第一物理环境中。因此,使用电子设备360呈现的三维环境350A任选地包括围绕电子设备360的物理环境的捕获部分,诸如桌子的表示306'和窗口的表示309'。类似地,电子设备370可处于不同于第一物理环境(例如,与第一物理环境分开)的第二物理环境中,该第二物理环境包括落地灯307和咖啡桌308。因此,使用电子设备370呈现的三维环境350B任选地包括围绕电子设备370的物理环境的捕获部分—落地灯的表示307'和咖啡桌的表示308'。另外,三维环境350A和350B可包括第一电子设备360和第二电子设备370分别位于其中的房间的地板、天花板和墙壁的表示。

如上所述,在一些示例中,第一电子设备360任选地处于与第二电子设备370的多用户通信会话中。例如,第一电子设备360和第二电子设备370(例如,经由通信电路222A/222B)被配置为呈现包括一个或多个共享虚拟对象(例如,内容诸如图像、视频、音频等、应用程序的用户界面的表示等)的共享三维环境350A/350B。如本文所用,术语“共享三维环境”是指在两个或更多个电子设备处独立地呈现、显示和/或可见的三维环境,经由该三维环境,内容、应用程序、数据等可被共享和/或呈现给该两个或更多个电子设备的用户。在一些示例中,在第一电子设备360处于与第二电子设备370的多用户通信会话中时,与一个电子设备的用户相对应的化身被任选地显示在经由另一电子设备显示的三维环境中。例如,如图3所示,在第一电子设备360处,与第二电子设备370的用户相对应的化身315显示在三维环境350A中。类似地,在第二电子设备370处,与第一电子设备360的用户相对应的化身317显示在三维环境350B中。

在一些示例中,作为共享三维环境的一部分的化身315/317的呈现任选地伴有与电子设备370/360的用户的语音相对应的音频效果。例如,使用第一电子设备360在三维环境350A中显示的化身315任选地伴有与第二电子设备370的用户的语音相对应的音频效果。在一些此类示例中,当第二电子设备370的用户说话时,用户的语音可由第二电子设备370检测到(例如,经由麦克风213B)并且传输到第一电子设备360(例如,经由通信电路222B/222A),使得第二电子设备370的用户的检测到的语音可在三维环境350A中作为音频(例如,使用扬声器216A)呈现给第一电子设备360的用户。在一些示例中,与第二电子设备370的用户的语音相对应的音频效果可以被空间化,使得其对第一电子设备360的用户表现为从化身315在共享三维环境350A中的位置发出。类似地,使用第二电子设备370在三维环境350B中显示的化身317任选地伴有与第一电子设备360的用户的语音相对应的音频效果。在一些此类示例中,当第一电子设备360的用户说话时,用户的语音可由第一电子设备360检测到(例如,经由麦克风213A)并且传输到第二电子设备370(例如,经由通信电路222A/222B),使得第一电子设备360的用户的检测到的语音可在三维环境350B中作为音频(例如,使用扬声器216B)呈现给第二电子设备370的用户。在一些示例中,与第一电子设备360的用户的语音相对应的音频效果可以被空间化,使得其对第二电子设备370的用户表现为从化身317在共享三维环境350B中的位置发出。

在一些示例中,当处于多用户通信会话中时,化身315/317在三维环境350A/350B中以对应于和/或基于电子设备360/370(和/或电子设备360/370的用户)在围绕电子设备360/370的物理环境中的取向的相应取向显示。例如,如图3所示,在三维环境350A中,化身315任选地面朝第一电子设备360的用户的视点,并且在三维环境350B中,化身317任选地面朝第二电子设备370的用户的视点。当特定用户在物理环境中移动电子设备(和/或其自身)时,用户的视点根据该移动而改变,这因此也可改变用户的化身在三维环境中的取向。例如,参考图3,如果第一电子设备360的用户将在三维环境350A中向左看,使得第一电子设备360向左(例如,逆时针)旋转(例如,对应量),则第二电子设备370的用户将看到与第一电子设备360的用户相对应的化身317根据第一电子设备360的移动而向右(例如,顺时针)旋转。

在一些示例中,在处于多用户通信会话中时,化身315/317在三维环境350A/350B中相对于围绕电子设备360/370的物理环境中的物理对象显示。例如,在第一电子设备360处,与第二电子设备370的用户相对应的化身315被任选地显示在三维环境350A中的预先确定的位置处(例如,在桌子的表示306'的旁边)。类似地,在第二电子设备370处,与第一电子设备360的用户相对应的化身317被任选地显示在三维环境350B中的预先确定的位置处(例如,在咖啡桌的表示308'的右侧)。在一些示例中,相对于围绕电子设备360/370的物理环境中的物理对象来选择化身315/317显示在三维环境350A/350B中的预先确定的位置。例如,化身315在三维环境350A中显示在未被物理对象(例如,其表示)(例如,桌子306')掩蔽的相应位置处,并且化身317在三维环境350B中显示在未被物理对象(例如,其表示)(例如,咖啡桌308'或落地灯307')掩蔽的相应位置处。

另外,在一些示例中,在处于多用户通信会话中时,三维环境350A/350B的视点和/或三维环境350A/350B的视点的位置任选地根据电子设备360/370的移动(例如,由电子设备360/370的用户进行)而改变。例如,在处于通信会话中时,如果电子设备360朝向桌子的表示306'和/或化身315移动得更近(例如,因为电子设备360的用户在围绕电子设备360的物理环境中向前移动),则三维环境350A的视点将相应地改变,使得桌子的表示306'、窗口的表示309'和化身315在视场中看起来更大。在一些示例中,每个用户可独立地与三维环境350A/350B交互,使得三维环境350A的视点的改变和/或第一电子设备360与三维环境350A中的虚拟对象的交互任选地不影响在第二电子设备370处的三维环境350B中示出的内容,反之亦然。

在一些示例中,化身315/317是电子设备370/360的用户的表示(例如,全身渲染)。在一些示例中,化身315/317是电子设备370/360的用户的一部分的表示(例如,头部、面部、头部和躯干等的渲染)。在一些示例中,化身315/317是在三维环境350A/350B中显示的用户个性化、用户选择和/或用户创建的表示,其表示电子设备370/360的用户。应当理解,虽然图3中示出的化身315/317分别对应于电子设备370/360的用户的全身表示,但是可提供另选化身,诸如上文描述的那些。

如上所述,在第一电子设备360和第二电子设备370处于多用户通信会话中时,三维环境350A/350B可以是使用电子设备360/370呈现的共享三维环境。在一些示例中,在多用户通信会话中,由一个电子设备处的一个用户观看的内容可以与在另一电子设备处的另一用户共享。在一些此类示例中,内容可由两个用户(例如,经由其相应电子设备)在共享三维环境中体验(例如,观看和/或与其交互),如下文更详细地描述的。

应当理解,在一些示例中,多于两个电子设备可以在多用户通信会话中通信地链接。例如,在其中三个电子设备在多用户通信会话中通信地链接的情况下,第一电子设备将显示与其他两个电子设备的用户相对应的两个化身,而不是仅一个化身。因此,应当理解,本文参考多用户通信会话中的第一电子设备360和第二电子设备370描述的各种过程和示例性交互任选地适用于其中多于两个电子设备在多用户通信会话中通信地链接的情况。

在一些示例中,选择性地控制与在多用户通信会话中通信地链接的电子设备的用户相对应的化身的显示可能是有利的。例如,如本文所述,内容可在三维环境中共享和呈现,使得该内容任选地可由多用户通信会话中的多个用户观看和/或交互。如上所述,三维环境任选地包括与处于通信会话中的电子设备的用户相对应的化身。在一些实例中,内容在具有与电子设备的用户相对应的化身的三维环境中的呈现可能导致内容的从多用户通信会话中的一个或多个用户的视点看被阻挡或掩蔽的部分和/或可能使多用户通信会话中的一个或多个用户分散注意力。在一些示例中,内容在具有与电子设备的用户相对应的化身的三维环境中的呈现可能不导致内容的从多用户通信会话中的一个或多个用户的视点看被阻挡或掩蔽的部分和/或可能不使多用户通信会话中的一个或多个用户分散注意力。另外,在一些示例中,当在多用户通信会话期间在三维环境中呈现内容时,取决于正在呈现的内容的类型而停止与电子设备的用户相对应的化身的显示可能是有利的,如本文更详细地描述的。

图4A至图4F示出了根据本公开的一些示例的在多用户通信会话中与共享的第一类型的内容的示例性交互。在一些示例中,在第一电子设备460处于与第二电子设备470的多用户通信会话中时,使用电子设备460呈现三维环境450A,并且使用电子设备470呈现三维环境450B。在一些示例中,电子设备460/470任选地对应于上述电子设备360/370。在一些示例中,三维环境450A/450B包括电子设备460/470位于其中的物理环境的捕获部分。例如,三维环境450A包括桌子(例如,桌子的表示406')和窗口(例如,窗口的表示409'),并且三维环境450B包括咖啡桌(例如,咖啡桌的表示408')和落地灯(例如,落地灯的表示407')。在一些示例中,三维环境450A/450B任选地对应于上文参考图3描述的三维环境350A/350B。如上所述,三维环境还包括分别与电子设备470/460的用户相对应的化身415/417。在一些示例中,化身415/417任选地对应于上文参考图3描述的化身315/317。

在一些示例中,三维环境450A/450B可包括与对应于第二电子设备470的用户的化身一起显示的一个或多个虚拟对象(例如,对应于图1所示的虚拟对象110)。例如,如图4A所示,三维环境450A任选地包括多个虚拟对象410,其任选地对应于与可在电子设备460处启动的相应应用程序相关联的图标的表示。在一些示例中,该多个虚拟对象410包括第一虚拟对象410A,其任选地对应于与可在第一电子设备460处启动的相应艺术画廊应用程序相关联的图标的表示。例如,可在三维环境450A中激活虚拟对象410A以使电子设备460在三维环境450A中生成并显示与相应艺术画廊应用程序相关联的内容。在一些示例中,与相应艺术画廊应用程序相关联的内容替换电子设备460处的三维环境450A的显示。如下文更详细地讨论的,与相应艺术画廊应用程序相关联的内容可以是沉浸式(例如,三维)艺术画廊,用户可以(例如,虚拟地)在其中进行探索和走动。换句话讲,在一些示例中,用户可以在三维环境450A内呈现的沉浸式内容内以六个自由度进行导航。

如图4A所示,第一电子设备460的用户任选地正在提供涉及第一虚拟对象410A的选择输入472A。例如,在用户的目光朝向第一虚拟对象410A时,用户可提供捏合输入(例如,其中用户的手部的食指和拇指进行接触)(或其他合适的输入,诸如轻击输入、目光超过阈值时间段等)。在一些示例中,响应于接收到涉及第一虚拟对象410A的选择输入472A,电子设备460可在三维环境450A中生成并呈现与虚拟对象410A(例如,相应艺术画廊应用程序)相关联的沉浸式内容(例如,沉浸式(例如,三维)艺术画廊)452,如图4B所示。例如,如图4B所示,电子设备460任选地更新三维环境450A以显示沉浸式内容452(例如,沉浸式艺术画廊),其可包括艺术品454(例如,绘画、剧照、素描等)。如图所示,更新三维环境450A的显示以包括沉浸式内容452任选地不使第二电子设备470更新三维环境450B的显示来包括沉浸式内容452。

如图4B所示,第一电子设备460的用户任选地正在体验(例如,观看和/或交互)显示在三维环境450A中的沉浸式内容452,并且第二电子设备470的用户任选地没在体验沉浸式内容452,因为沉浸式内容452不显示在三维环境450B中。如本文所述,第一电子设备460处于与第二电子设备470的多用户通信会话中,使得第一电子设备460和第二电子设备470任选地显示共享三维环境450A/450B。因为第一电子设备460现在正在显示沉浸式内容452,如图4B所示,所以三维环境450A/450B不再是电子设备460与470之间的真实共享环境。因此,第一电子设备460停止显示与第二电子设备470的用户相对应的化身415,并且第二电子设备470停止显示与第一电子设备460的用户相对应的化身417,如图所示。如上文参考图3所描述的,化身415/417在三维环境450A/450B中的显示任选地伴有与电子设备470/460的用户中的每一者的语音相对应的音频效果的呈现,在一些示例中,该音频效果可以被空间化,使得音频对电子设备470/460的用户表现为从化身415/417在三维环境450A/450B中的位置发出。在一些示例中,如图4B所示,当化身415/417分别停止显示在三维环境450A/450B中时,电子设备460/470维持电子设备的用户的音频的呈现,如音频气泡414/412所指示的。然而,在一些示例中,当化身415/417停止显示时,电子设备的用户的音频可不再被空间化,并且可替代地以单声道或立体声来呈现。因此,尽管化身415/417不再分别显示在三维环境450A/450B中,但是电子设备460/470的用户可以继续通信(例如,口头地),因为第一电子设备460和第二电子设备470仍然处于多用户通信会话中。

在一些示例中,并非停止化身415/417在三维环境450A/450B中的显示,而是电子设备460/470可以在三维环境450A/450B中用另选表示替换化身415/417的显示。例如,第一电子设备460可以用用户的另选表示替换与第二电子设备470的用户相对应的化身415的显示,诸如气泡(例如,类似于音频气泡414)、用户的抽象表示(例如,云团)、三维或二维点(例如,圆形点、矩形点或三角形点)等。类似地,在一些示例中,第二电子设备470可以用用户的另选表示(诸如上述那些中的一者)替换与第一电子设备460的用户相对应的化身417的显示。应当理解,在一些此类示例中,用户在三维环境450A/450B中的另选表示可伴有与用户的语音相对应的音频,如上所述。

如本文先前所提及的,在第一电子设备460和第二电子设备470在多用户通信会话中通信地链接时,内容可在三维环境450A/450B中共享。在一些示例中,在第一电子设备460处显示的沉浸式内容452可以与第二电子设备470共享,使得沉浸式内容452也可以显示在第二电子设备470处的三维环境450B中。例如,第一电子设备460的用户可提供对应于与第二电子设备470共享沉浸式内容452的请求的相应输入。

如图4C所示,第一电子设备460可显示用于控制沉浸式内容452在三维环境450A中的显示的第一用户界面元素416。在一些示例中,第一用户界面元素416包括第一选项411,其可被选择以发起用于与第二电子设备470共享沉浸式内容452的过程。在一些示例中,第一用户界面元素416包括第二选项413,其可被选择以发起用于停止沉浸式内容452在三维环境450A中的显示的过程。如图4C所示,已经在三维环境450A中的第一用户界面元素416中选择了第一选项411,如选择432A所指示的。例如,第一电子设备460的用户已经提供了捏合输入、轻击输入、口头命令,或涉及第一选项411的一些其他直接或间接输入。

在一些示例中,响应于接收到涉及第一选项411的选择输入,在第一电子设备460和第二电子设备470处于通信会话中时,第二电子设备470接收来自第一电子设备460的与第二电子设备470共享内容的请求的指示。例如,如图4C所示,响应于接收到来自第一电子设备460的指示,第二电子设备470任选地显示对应于与第二电子设备470共享内容(例如,内容A)的请求的第二用户界面元素418(例如,通知)。在一些示例中,第二用户界面元素418包括选项419A,其可被选择以接受共享请求,并且因此发起在第二电子设备470处的三维环境450B中显示沉浸式内容452的过程。如图4C所示,第二电子设备470的用户正在提供涉及选项419A的选择输入。在图4C中,在与第二电子设备470共享内容(例如,沉浸式内容452)的过程期间,与电子设备460/470的用户相对应的化身仍然不显示在三维环境450A/450B中。然而,如上所述,电子设备460/470的用户可以在该过程期间继续在三维环境450A/450B中口头地通信。

在一些示例中,响应于接收到涉及第二用户界面元素418中的选项419A的选择输入472B,第二电子设备470更新三维环境450B的显示以包括沉浸式内容452(例如,沉浸式艺术画廊),如图4D所示。例如,第一电子设备460的用户和第二电子设备470的用户正在共享三维环境450A/450B内体验沉浸式内容452(例如,沉浸式艺术画廊)。另外,第一电子设备460的用户和第二电子设备470的用户具有对沉浸式内容452的独特视点,如图4D所示。例如,第一电子设备460的用户具有对沉浸式内容452的第一视点,在该第一视点中,显示第一艺术品集合(例如,454),并且第二电子设备470的用户具有对沉浸式内容452的第二视点,在该第二视点中,显示与第一艺术品集合不同的第二艺术品集合(例如,455)。

在一些示例中,响应于在三维环境450B中显示沉浸式内容452,使得沉浸式内容452显示在第一电子设备460和第二电子设备470两者处,与电子设备460/470的用户相对应的化身重新显示在三维环境中。例如,如图4D所示,与第二电子设备470的用户相对应的化身415重新显示在三维环境450A中,并且与第一电子设备460的用户相对应的化身417重新显示在三维环境450B中。在一些示例中,电子设备460/470的用户的音频可以被重新空间化,使得它们表现为从化身417/415在三维环境450B/450A中的当前位置发出。如上所述,在一些示例中,在处于通信会话中时,第一电子设备460和第二电子设备470可取决于在三维环境450A/450B中共享和显示的内容的类型而选择性地显示化身415/417。沉浸式内容452任选地对应于电子设备460/470的用户可以在其中虚拟地探索(例如,虚拟地走动和/或环顾)的沉浸式场景/体验(例如,沉浸式艺术画廊)。例如,电子设备460/470的用户可在围绕电子设备460/470的物理环境中移动电子设备460/470(例如,在佩戴、握持电子设备的显示器和/或通过电子设备的显示器观看时)以虚拟地移动三维环境450A/450B的视点的位置。此外,电子设备460/470的用户可在围绕电子设备460/470的物理环境中重新取向电子设备460/470(例如,通过将佩戴/握持电子设备的用户头部/手部移动到不同姿势/取向)以改变三维环境450A/450B的视点。因此,当在三维环境450A/450B中体验沉浸式内容452(例如,进行观看、在其内走动、与之交互等)时,沉浸式内容452向用户提供六个虚拟自由度。因此,如上所述,当在多用户通信会话中共享作为沉浸式体验/场景的沉浸式内容时,电子设备460/470任选地显示与电子设备的用户相对应的化身。因此,所公开的在多用户通信会话中显示与沉浸式应用相对应的内容的方法的一个优点在于用户可以在共享三维环境中单独地体验与沉浸式应用相对应的内容时继续在视觉上和口头上彼此交互。此类体验对于沉浸式内容是可能的,因为用户与三维环境内的共享虚拟内容之间的空间关系在所有用户之间可以是一致的。

在一些示例中,当在三维环境450A/450B中显示沉浸式内容452时,第一电子设备460的用户可以接收与来自相应应用程序(例如,与图4A中示出的该多个虚拟对象410中的一个虚拟对象相关联的相应应用程序)的触发相对应的通知420,如图4E所示。在一些示例中,如图所示,通知420任选地提示第一电子设备460的用户注意来自相应应用程序(例如,消息传送应用程序、电子邮件应用程序或电话应用程序)的触发。例如,通知可包括第一选项419B,其可被选择以使电子设备460停止显示沉浸式内容452并且启动生成通知420的相应应用程序。通知420还可包括第二选项421,其可被选择以使电子设备460停止在三维环境450A中显示通知420。如图所示,在一些示例中,当显示通知420时,沉浸式内容452的全部或一部分的重要性可在三维环境450A中变得在视觉上被削弱(例如,如虚线所指示的)。如图4E所示,通知420不在第二电子设备470处的三维环境450B中显示,因为生成通知的相应应用程序是安装在第一电子设备460上的应用程序。

如图4E所示,用户正在第一电子设备460处提供涉及通知420中的第一选项419B的选择输入472C。例如,在用户的目光涉及第一选项419B时,第一电子设备460检测到捏合输入、触摸输入、轻击输入、口头命令或一些其他直接或间接手势。在一些示例中,响应于接收到选择输入472C,第一电子设备460停止沉浸式内容452在三维环境450A中的显示,如图4F所示。例如,如图所示,沉浸式内容452不再显示在三维环境450A中,并且三维环境450A再次包括围绕电子设备460的物理环境的部分的表示,诸如桌子的表示406'和窗口的表示409'。如图所示,与通知420相对应的相应虚拟对象422显示在三维环境450A中。在一些示例中,虚拟对象422可显示生成通知的相应应用程序(例如,应用程序A)的用户界面。

如图4F所示,当第一电子设备460停止沉浸式内容452在三维环境450A中的显示时,第二电子设备470可维持沉浸式内容452在三维环境450B中的显示。在一些示例中,因为第一电子设备460和第二电子设备470不再两者都显示沉浸式内容452,所以第一电子设备460停止显示与第二电子设备470的用户相对应的化身415,并且第二电子设备470停止显示与第一电子设备460的用户相对应的化身417。类似如上所述,尽管与电子设备460/470的用户相对应的化身不再显示在三维环境450A/450B中,但是第一电子设备460任选地继续呈现与第二电子设备470的用户的语音相对应的音频,如音频气泡414所指示的,并且第二电子设备470任选地继续呈现与第一电子设备460的用户的语音相对应的音频,如音频气泡412所指示的。在一些示例中,当化身415/417停止显示时,与电子设备470/460的用户的语音相对应的音频可不再被空间化。

在一些示例中,第二电子设备470可停止在三维环境450B中显示沉浸式内容452。例如,第二电子设备470的用户可提供与导航离开(例如,停止显示)沉浸式内容452的请求相对应的一个或多个相应输入(例如,捏合、轻击、触摸、口头等)。在一些示例中,第二电子设备470可响应于检测到第一电子设备460不再在三维环境450A中显示沉浸式内容452而停止显示沉浸式内容452。例如,在检测到第一电子设备460不再在三维环境450A中显示沉浸式内容452之后,第二电子设备470可能失去对最初由第一电子设备460共享的沉浸式内容452的访问(例如,授权)。在一些此类示例中,第二电子设备470可在从第一电子设备460停止显示沉浸式内容452起已经过阈值时段(例如,1s、1.5s、2s、2s、4s、5s、8s或10s)之后停止在三维环境450B中显示沉浸式内容452。

在一些示例中,当沉浸式内容452不再显示在第一电子设备460与第二电子设备470之间共享的三维环境450A/450B中时,与电子设备460/470的用户相对应的化身重新显示在三维环境450A/450B中。例如,第一电子设备460任选地在三维环境450A中重新显示与第二电子设备470的用户相对应的化身415,并且第二电子设备470任选地在三维环境450B中重新显示与第一电子设备460的用户相对应的化身417(例如,类似如图3所示)。

应当理解,虽然沉浸式内容452在上文被描述为沉浸式艺术画廊,但是可提供任何类型的沉浸式内容。例如,沉浸式内容可指代视频游戏、沉浸式环境渲染(例如,海滩或森林的三维表示)、计算机生成的模型(例如,在计算机图形应用程序中设计的房子的三维实体模型)等。这些类型的沉浸式内容中的每一者任选地遵循用于规定化身在共享三维环境中的显示的上述行为。在一些示例中,沉浸式内容可指代可由用户以六个自由度导航的任何内容。

如本文所述,在处于多用户通信会话中时,可以在多个设备之间共享各种类型的内容。现在将注意力转向在第一电子设备与第二电子设备之间共享的三维环境中共享另选类型的内容(例如,第二类型的内容)。如下所述,包括在第一电子设备与第二电子设备之间共享并且在三维环境中显示的沉浸式内容(例如,视频或三维场景/环境)的内容任选地使第一电子设备和第二电子设备停止在共享三维环境中显示与用户相对应的化身。

图5A至图5D示出了根据本公开的一些示例的在多用户通信会话中与共享的第二类型的内容的示例性交互。在一些示例中,在第一电子设备560处于与第二电子设备570的多用户通信会话中时,使用电子设备560呈现三维环境550A,并且使用电子设备570呈现三维环境550B。在一些示例中,电子设备560/570任选地对应于上述电子设备460/470和/或图3中的电子设备360/370。在一些示例中,三维环境550A/550B包括电子设备560/570位于其中的物理环境的捕获部分。例如,三维环境550A包括桌子(例如,桌子的表示506')和窗口(例如,窗口的表示509'),并且三维环境550B包括咖啡桌(例如,咖啡桌的表示508')和落地灯(例如,落地灯的表示507')。在一些示例中,三维环境550A/550B任选地对应于上述三维环境450A/450B和/或图3中的三维环境350A/350B。如上所述,三维环境还包括与电子设备570/560的用户相对应的化身515/517。在一些示例中,化身515/517任选地对应于上述化身415/417和/或图3中的化身315/317。

如图5A所示,第一电子设备560任选地正在显示与在第一电子设备560上运行的相应应用程序(例如,与图4A中的虚拟对象410相对应的应用程序中的一者)相对应的用户界面元素524。在一些示例中,用户界面元素524与在第一电子设备560上运行的沉浸式视频回放应用程序相对应。例如,用户界面元素524包括选项523A,其可被选择以使电子设备560在三维环境550A中显示与沉浸式视频回放应用程序相对应的内容(例如,内容B)。在一些示例中,内容是可在三维环境550A/550B中显示的沉浸式(例如,三维)视频(例如,电影、剧集、剪辑等的沉浸式(例如,三维)表示)或场景/环境。

在一些示例中,在用户正在参与与一个或多个其他用户的多用户通信会话时(例如,经由在多用户通信会话中通信地链接的电子设备),可由用户观看的虚拟对象(例如,应用程序窗口和用户界面、内容的表示、应用程序图标等)可以是私有的。例如,如上所述,第一电子设备560的用户任选地正在三维环境550A中观看用户界面元素524。在一些示例中,用户界面元素的表示在第二电子设备570处的三维环境550B中和与第一电子设备560的用户相对应的化身517一起显示。在一些此类示例中,在三维环境550B中显示的用户界面元素524的表示任选地是在三维环境550A中显示的用户界面元素524的遮挡(例如,褪色或模糊)表示。例如,第二电子设备570的用户被防止观看在第一电子设备560处的三维环境550A中显示的用户界面元素524的内容。

如图5A所示,第一电子设备560的用户正在提供涉及可选择选项523A的选择输入572A。例如,在用户的目光涉及选项523A时,第一电子设备560检测到捏合输入(例如,其中用户的食指和拇指进行接触)、轻击或触摸输入(例如,经由用户的食指)、口头命令,或一些其他直接或间接输入。在一些示例中,响应于接收到选择输入572A,第一电子设备560任选地更新三维环境550A的显示以包括沉浸式内容的三维表示,如图5B所示。例如,如图5B所示,在一些示例中,第一电子设备560用沉浸式内容554的三维表示替换图5A的三维环境550A的显示。在一些示例中,第一电子设备560在图5A的三维环境550A中显示与沉浸式内容相对应的虚拟对象(例如,三维表示)。在一些示例中,如图所示,沉浸式内容554是沉浸式(例如,三维)视频。在其他示例中,沉浸式内容是可从有限视角(例如,以三个自由度)观看的三维场景/环境。在一些示例中,第一电子设备560还显示可被选择以用于控制沉浸式内容554的回放的一个或多个示能表示525。

如上文参考图4A至图4F所讨论的,在一些示例中,在第一电子设备560和第二电子设备570在多用户通信会话中通信地链接时,当一个电子设备在三维环境中显示尚未与另一电子设备共享的某些类型的内容时,与电子设备560/570的用户相对应的化身停止显示。例如,如图5B所示,在第一电子设备560处,与第二电子设备570的用户相对应的化身515停止显示在三维环境550A中,但是与第二电子设备570的用户的语音相对应的音频继续被呈现,如音频气泡512所指示的。在一些示例中,与第二电子设备570的用户的语音相对应的音频还可从空间呈现转变为单声道或立体声呈现。类似地,如图所示,在第二电子设备570处,与第一电子设备560的用户相对应的化身517停止显示在三维环境550B中,但是与第一电子设备560的用户的语音相对应的音频继续被呈现,如音频气泡514所指示的。在一些示例中,与第一电子设备560的用户的语音相对应的音频还可从空间呈现转变为单声道或立体声呈现。

在一些示例中,如本文先前所描述的,沉浸式内容554可与第二电子设备570共享以用于在三维环境550B中显示沉浸式内容554。例如,在第一电子设备560和第二电子设备570处于多用户通信会话中时,第一电子设备560的用户可提供用于与第二电子设备570共享沉浸式内容554的一个或多个输入(例如,经由在三维环境550A中的相应用户界面元素或应用程序用户界面中显示的“共享”示能表示、口头命令等)。在一些示例中,第二电子设备570可检测与来自第一电子设备560的与第二电子设备570共享沉浸式内容554的请求相对应的指示。响应于检测到该指示,第二电子设备570可显示与共享请求相对应的相应用户界面元素526。例如,如图5B所示,相应用户界面元素526可包括选项523B,其可被选择以用于使第二电子设备接受来自电子设备560的共享请求并且在三维环境550B中显示沉浸式内容(例如,沉浸式视频)554。如图所示,第二电子设备570的用户任选地正在提供涉及三维环境550A中的相应用户界面元素526中的可选择选项523B的选择输入572B。例如,在第二电子设备570的用户的目光涉及可选择选项523B时,第二电子设备570任选地检测到捏合输入、触摸或轻击输入、口头命令,或一些其他直接或间接输入。

在一些示例中,如图5C所示,响应于检测到选择输入572B,第二电子设备570可用沉浸式视频554的三维表示来更新三维环境550B的显示。如图所示,第一电子设备560和第二电子设备570现在两者都显示沉浸式内容554,使得视频内容内的相应回放位置在电子设备560和570两者处是相同的。例如,第一电子设备560的用户和第二电子设备570的用户正在共享三维环境550A/550B内以相同的回放位置和速度体验沉浸式内容554。另外,第一电子设备560的用户和第二电子设备570的用户任选地具有对沉浸式内容554的独特(不同)视点,如图5C所示。例如,第一电子设备560的用户具有对沉浸式内容的第一视点,在该第一视点中,沉浸式内容554的相应场景中的汽车基本上居中地定位在用户的视场的中心,并且第二电子设备570的用户具有对沉浸式内容554的第二视点,在该第二视点中,沉浸式内容554的相应场景中的汽车基本上定位在用户的视场的中心的右侧。

在一些示例中,响应于在三维环境550B中显示沉浸式视频554,使得沉浸式视频554显示在第一电子设备560和第二电子设备570两者处,与电子设备560/570的用户相对应的化身不重新显示在三维环境中。例如,如图5C所示,与第二电子设备570的用户相对应的化身(例如,图5A中的515)不重新显示在三维环境550A中,并且与第一电子设备560的用户相对应的化身(例如,图5A中的517)不重新显示在三维环境550B中。如上所述,在一些示例中,在处于通信会话中时,第一电子设备560和第二电子设备570可取决于在三维环境550A/550B中共享和显示的内容的类型而选择性地显示化身515/517。因为在两个电子设备之间共享的沉浸式内容任选地对应于沉浸式视频,所以电子设备560/570的用户可从固定位置观看内容。例如,电子设备560/570的用户可在围绕电子设备560/570的物理环境中重新取向电子设备560/570(例如,通过将佩戴/握持电子设备的用户头部/手部移动到不同姿势/取向)以改变三维环境550A/550B的视点。然而,电子设备560/570的用户不能虚拟地移动三维环境550A/550B的视点的位置。因此,当在三维环境550A/550B中观看沉浸式内容554时,沉浸式内容554向用户提供三个虚拟自由度。在一些此类示例中,与电子设备的用户相对应的化身的显示可能从一个或多个用户的视点掩蔽沉浸式内容554的部分或使人从这些部分分散注意力,这因此可能阻碍或负面地影响一个或多个用户的观看体验。另外地或另选地,在一些示例中,如果用户对沉浸式内容554的视点是相同的(例如,在三维环境550A/550B中处于相同位置),则与电子设备的用户相对应的化身可不被显示,因为它们将不期望地定位在三维环境550A/550B中的相同位置处。

因此,如上文所概述的,当在多用户通信会话中共享可从有限视角观看的沉浸式内容(例如,以三个自由度观看的沉浸式内容,诸如沉浸式视频)时,电子设备560/570任选地放弃显示与电子设备的用户相对应的化身并且维持与用户的语音相对应的音频的呈现。在一些示例中,当对应的化身不被显示时,与用户的语音相对应的音频可不再被空间化。因此,所公开的在多用户通信会话中显示沉浸式内容的方法的一个优点在于用户可以在沉浸式内容的未掩蔽视图维持在共享三维环境中时继续口头上彼此交互。

在一些示例中,电子设备560/570的用户可提供与停止在三维环境550A/550B中显示沉浸式内容554的请求相对应的一个或多个相应输入。例如,在第一电子设备560和第二电子设备570处于多用户通信会话中时,第二电子设备570的用户可提供用于停止沉浸式内容554在三维环境550B中的显示的一个或多个输入(例如,经由在三维环境550B中的相应用户界面元素中显示的“关闭”或“退出”示能表示、口头命令等)。在一些示例中,响应于接收到该一个或多个相应输入,第二电子设备任选地停止沉浸式内容在三维环境550B中的显示,如图5D所示。例如,如图所示,第二电子设备570任选地在三维环境550B中重新显示围绕电子设备570的物理环境的捕获部分,诸如落地灯的表示507'和咖啡桌的表示508'。

在一些示例中,在沉浸式内容554停止显示在三维环境550B中之后,第一电子设备560和第二电子设备570放弃重新显示与电子设备560和570的用户相对应的化身。如图5D所示,因为沉浸式内容554仍然显示在第一电子设备560处,所以与第二电子设备570的用户相对应的化身(例如,图5A中的515)不显示在三维环境550A中,并且与第一电子设备560的用户相对应的化身(例如,图5A中的517)不显示在三维环境550B中。如图5D所示,尽管与电子设备560/570的用户相对应的化身不显示在三维环境中,但是与电子设备的用户的语音相对应的音频的呈现被任选地维持,如音频气泡512/514所指示的。然而,在一些示例中,当对应的化身不再被显示时,与电子设备的用户的语音相对应的音频可不再被空间化。

应当理解,在一些示例中,如果第一电子设备560的用户将提供与停止显示沉浸式视频554的请求相对应的一个或多个相应输入(例如,上述的捏合、轻击、触摸、口头等),则响应于接收到该一个或多个相应输入,第一电子设备560将停止在三维环境550A中显示沉浸式视频554。另外,在停止沉浸式视频554在第一电子设备560处的显示之后,第一电子设备560和第二电子设备570将在三维环境中重新显示与电子设备560/570的用户相对应的化身(例如,类似如图3所示)。在一些示例中,第一电子设备和第二电子设备570还可以使与第一电子设备560和第二电子设备570的用户的语音相对应的音频重新空间化。

如本文所述,在处于多用户通信会话中时,可以在多个设备之间共享各种类型的内容。现在将注意力转向在第一电子设备与第二电子设备之间共享的三维环境中共享另选类型的内容(例如,第三类型的内容)。如下所述,包括在第一电子设备与第二电子设备之间共享并且在三维环境中显示的非沉浸式内容(例如,二维图像、二维视频、三维对象等)的内容任选地使第一电子设备和第二电子设备维持在共享三维环境中显示与用户相对应的化身。

图6A至图6C示出了根据本公开的一些示例的在多用户通信会话中与共享的第三类型的内容的示例性交互。在一些示例中,在第一电子设备660处于与第二电子设备670的多用户通信会话中时,使用电子设备660呈现三维环境650A,并且使用电子设备670呈现三维环境650B。在一些示例中,电子设备660/670任选地对应于上述电子设备560/570、图4A至图4F中的电子设备460/470和/或图3中的电子设备360/370。在一些示例中,三维环境650A/650B包括电子设备660/670位于其中的物理环境的捕获部分。例如,三维环境650A包括桌子(例如,桌子的表示606')和窗口(例如,窗口的表示609'),并且三维环境650B包括咖啡桌(例如,咖啡桌的表示608')和落地灯(例如,落地灯的表示607')。在一些示例中,三维环境650A/650B任选地对应于上述三维环境550A/550B、图4A至图4F中的三维环境450A/450B和/或图3中的三维环境350A/350B。如上所述,三维环境还包括与电子设备670/660的用户相对应的化身615/617。在一些示例中,化身615/617任选地对应于上述化身515/517、图4A至图4F中的化身415/417和/或图3中的化身315/317。

如图6A所示,第一电子设备660任选地显示表示与在第一电子设备660上运行的相应应用程序(例如,与图4A中的虚拟对象410相对应的应用程序中的一者)相对应的应用程序窗口的多个虚拟对象。例如,三维环境650A包括与第一应用程序(例如,应用程序A)相对应的第一虚拟对象626、与第二应用程序(例如,应用程序B)相对应的第二虚拟对象630和与第三应用程序(例如,视频播放器应用程序)相对应的第三虚拟对象632。在一些示例中,第一虚拟对象626、第二虚拟对象630和第三虚拟对象632以朝向第一电子设备660的用户的视点成角度的相应取向显示,使得虚拟对象中的每一者上显示的用户界面面向用户的视点。在一些示例中,第一虚拟对象626可部分地遮挡与第二电子设备670的用户相对应的化身615。在一些示例中,第三虚拟对象632与在第一电子设备660上运行的被配置为在三维环境650A中显示视频内容的视频回放应用程序相对应。例如,第三虚拟对象632包括选项627,其可被选择以使电子设备660在三维环境650A中显示与视频回放应用程序相关联的内容(例如,内容C)。在一些示例中,内容是可以在三维环境650A/650B中以全屏模式显示的图像、虚拟对象、视频(例如,被限制在二维或三维边界或体积内的电影、剧集、剪辑等的二维表示,电影、剧集、剪辑等的三维表示等)。

如本文所用,视频内容在三维环境650A/650B中以“全屏模式”显示任选地指代视频内容在三维环境650A/650B中以相应尺寸和/或以相应视觉强调显示。例如,电子设备660/670可在三维环境650A/650B中以比包含选项627的第三虚拟对象632的尺寸大(例如,1.2x、1.4x、1.5x、2x、2.5x或3x)的尺寸显示视频内容。另外,例如,视频内容可以比在三维环境650A/650B中显示的其他虚拟对象和/或物理对象的表示大的视觉强调来显示。如下文更详细地描述的,在视频内容以全屏模式显示时,第一虚拟对象626、第二虚拟对象630和第三虚拟对象632的重要性可变得在视觉上被削弱(例如,可停止显示在三维环境650A/650B中),并且围绕电子设备660/670的物理环境的捕获部分可在三维环境650A/650B中变得褪色和/或变暗。

如先前参考图5A所描述的,在一些示例中,在用户正在参与与一个或多个其他用户的多用户通信会话时(例如,经由在多用户通信会话中通信地链接的电子设备),可由用户观看的虚拟对象(例如,应用程序窗口和用户界面、内容的表示、应用程序图标等)可以是私有的。例如,如上所述,第一电子设备660的用户任选地正在三维环境650A中观看第一虚拟对象626、第二虚拟对象630和第三虚拟对象632。在一些示例中,虚拟对象中的每一者的表示在第二电子设备670处的三维环境650B中和与第一电子设备660的用户相对应的化身617一起显示。例如,在三维环境650B中显示的虚拟对象626、630和632具有朝向与第一电子设备660的用户相对应的化身617成角度的相应取向(例如,这任选地镜像在图6A中的第一电子设备660处所示出的)。另外,在一些示例中,在三维环境650B中显示的该多个虚拟对象626、630和632的表示任选地是在三维环境650A中显示的该多个虚拟对象626、630和632的遮挡(例如,褪色或模糊)表示。例如,第二电子设备670的用户被防止观看在第一电子设备660处的三维环境650A中显示的虚拟对象626、630和632中的任一者的内容。

如图6A所示,第一电子设备660的用户任选地正在提供涉及第三虚拟对象632中的可选择选项627的选择输入672A。例如,在第一电子设备660的用户的目光涉及可选择选项627时,第一电子设备660检测到捏合输入(例如,其中用户的食指和拇指进行接触的捏合输入)、轻击或触摸输入(例如,由用户的食指提供)、口头命令,或一些其他直接或间接输入。在一些示例中,响应于检测到选择输入672A,第一电子设备660以全屏模式在三维环境650A中显示与第三虚拟对象632(例如,视频回放应用程序对象)相关联的视频内容656,如图6B所示。例如,如图6B所示,第一电子设备660在三维环境650A中用视频内容656的二维表示替换第三虚拟对象632的显示。例如,视频内容656显示在三维环境650A中的新的更大的对象内。另外,在一些示例中,当以全屏模式呈现内容时,第一电子设备660在视觉上削弱第一虚拟对象626和第二虚拟对象630的显示的重要性。例如,如图6B所示,在以全屏模式呈现视频内容656时,第一电子设备660停止第一虚拟对象626和第二虚拟对象630在三维环境650A中的显示。

如图6B所示,在一些示例中,视频内容656在三维环境650A中与一个或多个回放控件625一起显示。例如,该一个或多个回放控件625包括用于暂停视频内容的回放、刷动(例如,后退和/或快进)通过视频内容、控制与视频内容相关联的音频的音量等的一个或多个可选择选项。另外,如图所示,第一电子设备660任选地显示具有交互示能表示(例如,抓取器或把手)635的全屏视频内容656。在一些示例中,抓取器或把手635可以是可被第一电子设备的用户选择的(例如,经由捏合、触摸或轻击输入),以发起视频内容656(例如,包含该视频内容的对象)在三维环境650A内的移动。在一些示例中,在第一电子设备660正在以全屏模式呈现视频内容656时,第一电子设备660可在视觉上削弱围绕第一电子设备660的物理环境的捕获部分的表示的重要性。例如,如图6B中的虚线所指示的,桌子的表示606'、窗口的表示609'以及围绕电子设备660的地板、天花板和墙壁的表示的重要性可在三维环境650A中在视觉上被削弱(例如,褪色、变暗或调整为不透明),使得在全屏模式下将注意力主要吸引到视频内容656。

如本文先前所讨论的,在一些示例中,在第一电子设备660和第二电子设备670在多用户通信会话中通信地链接时,当一个电子设备在三维环境中显示尚未与另一电子设备共享的某些类型的内容时,与电子设备660/670的用户相对应的化身停止显示。例如,如图6B所示,在第一电子设备660处,与第二电子设备670的用户相对应的化身615停止显示在三维环境650A中,但是与第二电子设备670的用户的语音相对应的音频继续被呈现,如音频气泡612所指示的。在一些示例中,与第二电子设备670的用户的语音相对应的音频可从空间呈现转变为单声道或立体声呈现。类似地,如图所示,在第二电子设备670处,与第一电子设备660的用户相对应的化身617停止显示在三维环境650B中,但是与第一电子设备660的用户的语音相对应的音频继续被呈现,如图6B中的音频气泡614所指示的。在一些示例中,与第一电子设备660的用户的语音相对应的音频可从空间呈现转变为单声道或立体声呈现。

在一些示例中,如本文先前所描述的,视频内容656可与第二电子设备670共享以用于在三维环境650B中显示视频内容656。例如,在第一电子设备660和第二电子设备670处于多用户通信会话中时,第一电子设备660的用户可提供用于与第二电子设备670共享视频内容656的一个或多个输入(例如,经由在三维环境650A中的相应用户界面元素或应用程序用户界面中显示的“共享”示能表示、口头命令等)。在一些示例中,第二电子设备670可检测与来自第一电子设备660的与第二电子设备670共享内容656的请求相对应的指示。响应于检测到该指示,第二电子设备670可显示与共享请求相对应的相应用户界面元素634。例如,如图6B所示,相应用户界面元素634可包括选项623,其可被选择以用于使第二电子设备670接受来自电子设备660的共享请求(例如,下载内容、使用在第二电子设备670上运行的应用程序导航到内容和/或将内容保存到第二电子设备670的存储器)并且在三维环境650B中显示视频内容556。如图所示,第二电子设备670的用户任选地正在提供涉及三维环境650B中的相应用户界面元素634中的可选择选项623的选择输入672B。例如,在第二电子设备670的用户的目光涉及可选择选项623时,第二电子设备670任选地检测到捏合输入、触摸或轻击输入、口头命令,或一些其他直接或间接输入。

在一些示例中,响应于检测到选择输入672B,第二电子设备670任选地在三维环境650B中呈现视频内容656,如图6C所示。例如,如图所示,第二电子设备670可在三维环境650B中呈现视频内容656的二维表示(例如,在更大的新的对象内)。如图所示,视频内容656与用于控制内容的回放的一个或多个控件625一起显示在三维环境650B中。类似如上所述,视频内容656任选地显示具有交互示能表示(例如,抓取器或把手)635,其可被选择以发起视频内容656(例如,包含该视频内容的对象)在三维环境650B中的移动。在一些示例中,在第二电子设备670正在以全屏模式呈现视频内容656时,第二电子设备670可在视觉上削弱围绕第二电子设备670的物理环境的捕获部分的表示的重要性。例如,如图6C中的虚线所指示的,咖啡桌的表示608'、落地灯的表示607'以及围绕电子设备670的地板、天花板和墙壁的表示的重要性可在三维环境650B中在视觉上被削弱(例如,褪色、变暗或调整为不透明),使得在全屏模式下将注意力主要吸引到视频内容656。

如图6C所示,在全屏模式中,视频内容656可在每个用户的视场内(例如,基本上)居中地显示。例如,视频内容656可朝向第一电子设备660处的三维环境650A的中心并且朝向第二电子设备670处的三维环境650B的中心显示。在一些示例中,在全屏模式中,视频内容656可以朝向用户的视点之间的位置(例如,用户的视点的位置的平均)成角度的相应取向显示。在一些示例中,可在三维环境650A/650B内移动视频内容,以根据用户的集体喜好来重新定位和/或重新取向视频内容656。在一些此类示例中,涉及在第一电子设备660处显示的视频内容656的用户交互可对应地影响在第二电子设备670处显示的视频内容656,反之亦然。例如,使视频内容656在三维环境650A内移动的涉及第一电子设备660处的交互示能表示(例如,抓取器或把手)635的输入可使视频内容656根据移动输入在第二电子设备670处的三维环境650B内移动。类似地,在第一电子设备660处接收到的涉及该一个或多个回放控件625的相应动作(例如,暂停视频内容656的输入)使第二电子设备670也执行相应动作(例如,暂停视频内容)。

如图6C所示,在一些示例中,在第一电子设备660和第二电子设备670处于多用户通信会话中时,视频内容656在共享三维环境内的显示使与电子设备660/670的用户相对应的化身重新显示在三维环境中。例如,如图所示,与第二电子设备670的用户相对应的化身615任选地重新显示在三维环境650A中,并且与第一电子设备660的用户相对应的化身617任选地重新显示在三维环境650B中。在一些示例中,与电子设备660/670的用户相对应的音频还可从单声道或立体声呈现转变为空间呈现。如本文先前所描述的,在第一电子设备660与第二电子设备670之间共享的内容的类型任选地确定与电子设备660/670的用户相对应的化身在内容被显示时是否显示在三维环境650A/650B中。如上所述,在第一电子设备660与第二电子设备670之间共享的内容656是二维内容(例如,视频内容、图像内容(诸如照片)、网络浏览应用程序的网页等),其可在三维环境650A/650B中的二维对象内显示。因为与电子设备660/670的用户相对应的化身的显示将不会掩蔽视频内容656(例如,阻挡或干扰该视频内容的一部分)和/或使人从视频内容656的回放分散注意力(例如,由于内容656在三维环境650A/650B内的中心放置),所以化身615/617因此重新显示在三维环境中。因此,如上文所概述的,当在多用户通信会话中共享作为非沉浸式内容的内容时,电子设备660/670任选地显示与电子设备的用户相对应的化身。在其他示例中,当内容与化身之间的空间关系可以在所有用户之间以一致的方式维持时,在电子设备之间共享的二维边界或三维边界或体积内包含的二维或三维内容也可以和与电子设备的用户相对应的化身一起被呈现。

在一些示例中,当二维内容656显示在共享三维环境中时,第一电子设备660和第二电子设备670可以重新取向和/或重新定位与电子设备660/670的用户相对应的化身。例如,如图6C所示,与第二电子设备670的用户相对应的化身615可以在三维环境650A中重新定位到第一电子设备660的用户的视点的左侧,并且可以取向为面向内容656。类似地,如图所示,与第一电子设备660的用户相对应的化身617可以在三维环境650B中重新定位到第二电子设备670的用户的视点的右侧,并且可以重新取向为面向内容656。因此,所公开的方法为通信会话中的多个用户提供了共享且未掩蔽的观看体验,同时实现了与三维环境中的内容的单独用户交互。

类似如上所述,在一些示例中,电子设备660/670的用户可提供与停止在三维环境650A/650B中显示视频内容656的请求相对应的一个或多个相应输入。例如,在第一电子设备660和第二电子设备670处于多用户通信会话中时,第一电子设备660(或第二电子设备670)的用户可提供用于停止视频内容656在三维环境650A(或650B)中的显示的一个或多个输入(例如,经由在三维环境650A(或650B)中的相应用户界面元素中显示的“关闭”或“退出”示能表示、口头命令等)。在一些此类示例中,响应于接收到该一个或多个相应输入,内容656可停止显示在第一电子设备660(或第二电子设备670)处。例如,第一电子设备660(或第二电子设备670)任选地停止在视觉上削弱围绕电子设备的物理环境的捕获部分的重要性。

类似如上所述,在一些示例中,如果视频内容656将停止显示在三维环境650A(或650B)中,则第一电子设备660和第二电子设备670将停止显示与电子设备660/670的用户相对应的化身。例如,因为视频内容656将仍然显示在两个电子设备中的一个电子设备处,所以与第二电子设备670的用户相对应的化身615将停止显示在三维环境650A中,并且与第一电子设备660的用户相对应的化身617将停止显示在三维环境560B中。应当理解,在一些此类示例中,尽管与电子设备660/670的用户相对应的化身将不显示在三维环境中,但是与电子设备的用户的语音相对应的音频的呈现将被任选地维持。然而,在一些示例中,该音频可不被空间化且可替代地以单声道或立体声呈现。在一些示例中,一旦另一电子设备停止显示视频内容(例如,由于用户输入),第一电子设备660和第二电子设备670将在三维环境中重新显示与电子设备660/670的用户相对应的化身(例如,类似如图3所示)。

如本文所述,在处于多用户通信会话中时,可以在多个设备之间共享各种类型的内容。现在将注意力转向在第一电子设备与第二电子设备之间共享的三维环境中共享另选类型的内容(例如,第四类型的内容)。如下所述,在第一电子设备与第二电子设备之间共享并且在三维环境中显示的二维对象或三维对象中显示的非沉浸式内容任选地使第一电子设备和第二电子设备维持在共享三维环境中显示与用户相对应的化身。

图7A至图7C示出了根据本公开的一些示例的在多用户通信会话中与共享的第四类型的内容的示例性交互。在一些示例中,在第一电子设备760处于与第二电子设备770的多用户通信会话中时,使用电子设备760呈现三维环境750A,并且使用电子设备770呈现三维环境750B。在一些示例中,电子设备760/770任选地对应于上述电子设备660/670、图5A至图5D中的电子设备560/570、图4A至图4F中的电子设备460/470和/或图3中的电子设备360/370。在一些示例中,三维环境750A/750B包括电子设备760/770位于其中的物理环境的捕获部分。例如,三维环境750A包括桌子(例如,桌子的表示706')和窗口(例如,窗口的表示709'),并且三维环境750B包括咖啡桌(例如,咖啡桌的表示708')和落地灯(例如,落地灯的表示707')。在一些示例中,三维环境750A/750B任选地对应于上述三维环境650A/650B、图5A至图5D中的三维环境550A/550B、图4A至图4F中的三维环境450A/450B和/或图3中的三维环境350A/350B。如上所述,三维环境还包括与电子设备770/760的用户相对应的化身715/717。在一些示例中,化身715/717任选地对应于上述化身615/617、图5A至图5D中的化身515/517、图4A至图4F中的化身415/417和/或图3中的化身315/317。

如图7A所示,第一电子设备760任选地显示表示与在第一电子设备760上运行的相应应用程序(例如,与图4A中的虚拟对象410相对应的应用程序中的一者)相对应的应用程序窗口的多个虚拟对象。例如,三维环境750A包括与第一应用程序(例如,应用程序A)相对应的第一虚拟对象726、与第二应用程序(例如,应用程序B)相对应的第二虚拟对象730和与第三应用程序(例如,视频播放器应用程序)相对应的第三虚拟对象732。在一些示例中,第一虚拟对象726、第二虚拟对象730和第三虚拟对象732以朝向第一电子设备760的用户的视点成角度的相应取向显示,使得虚拟对象中的每一者上显示的用户界面面向用户的视点。在一些示例中,第一虚拟对象可部分地遮挡与第二电子设备770的用户相对应的化身715。在一些示例中,第三虚拟对象732与在第一电子设备760上运行的被配置为在三维环境750A中显示视频内容的视频回放应用程序相对应。例如,第三虚拟对象732包括选项729,其可被选择以使电子设备760在三维环境750A中显示与视频回放应用程序相关联的内容(例如,内容D)。在一些示例中,内容是可在三维环境750A/750B中的虚拟对象732内显示的非沉浸式(例如,二维)视频(例如,电影、剧集、剪辑、图像等的二维表示)。

如先前参考图6A所描述的,在一些示例中,在用户正在参与与一个或多个其他用户的多用户通信会话时(例如,经由在多用户通信会话中通信地链接的电子设备),可由用户观看的虚拟对象(例如,应用程序窗口和用户界面、内容的表示、应用程序图标等)可以是私有的。例如,如上所述,第一电子设备760的用户任选地正在三维环境750A中观看第一虚拟对象726、第二虚拟对象730和第三虚拟对象732。在一些示例中,虚拟对象中的每一者的表示在第二电子设备770处的三维环境750B中和与第一电子设备760的用户相对应的化身717一起显示。例如,在三维环境750B中显示的虚拟对象726、730和732具有朝向与第一电子设备760的用户相对应的化身717成角度的相应取向(例如,这任选地镜像在图7A中的第一电子设备760处所示出的)。另外,在一些示例中,在三维环境750B中显示的该多个虚拟对象726、730和732的表示任选地是在三维环境750A中显示的该多个虚拟对象726、730和732的遮挡(例如,褪色或模糊)表示。例如,第二电子设备770的用户被防止观看在第一电子设备760处的三维环境750A中显示的虚拟对象726、730和732中的任一者的内容。

如图7A所示,第一电子设备760的用户任选地正在提供涉及第三虚拟对象732中的可选择选项729的选择输入772A。例如,在第一电子设备760的用户的目光涉及可选择选项729时,第一电子设备760检测到捏合输入(例如,其中用户的食指和拇指进行接触的捏合输入)、轻击或触摸输入(例如,由用户的食指提供)、口头命令,或一些其他直接或间接输入。在一些示例中,响应于检测到选择输入772A,第一电子设备760在三维环境750A中的第三虚拟对象732内显示与视频回放应用程序相关联的视频内容758,如图7B所示。例如,如图7B所示,第一电子设备760在三维环境750A中的第三虚拟对象732中显示视频内容758的二维表示。例如,视频内容758显示在三维环境750A中的第三虚拟对象732的全部或预先确定的部分内。另外,在一些示例中,当在第三虚拟对象732中呈现内容时,第一电子设备760维持第一虚拟对象726和第二虚拟对象730在三维环境750A中的显示。

如图7B所示,在一些示例中,视频内容758在第三虚拟对象732中与一个或多个回放控件725一起显示。例如,该一个或多个回放控件725包括用于暂停视频内容的回放、刷动(例如,后退和/或快进)通过视频内容、控制与视频内容相关联的音频的音量等的一个或多个可选择选项。另外,如图所示,第一电子设备760任选地显示具有交互示能表示735(例如,抓取器或把手)的第三虚拟对象732。在一些示例中,第一虚拟对象726和第二虚拟对象730还可分别显示具有交互示能表示735。在一些示例中,抓取器或把手735可以是可被第一电子设备的用户选择的(例如,经由捏合、触摸或轻击输入),以发起第三虚拟对象732在三维环境750A内的移动。在一些示例中,在第一电子设备760正在第三虚拟对象732中呈现视频内容758时,第一电子设备760可在视觉上削弱围绕第一电子设备760的物理环境的捕获部分的表示的重要性。例如,如图7B中的虚线所指示的,桌子的表示706'和窗口的表示709'的重要性可在三维环境750A中在视觉上被削弱(例如,褪色、变暗或调整为不透明),使得将注意力主要吸引到第三虚拟对象732内的视频内容758。

如上文参考图4A至图6C所讨论的,在一些示例中,在第一电子设备和第二电子设备在多用户通信会话中通信地链接时,当一个电子设备在三维环境中显示尚未与另一电子设备共享的某些类型的内容时,与电子设备的用户相对应的化身停止显示。然而,如图7B所示,在一些示例中,尽管仅一个电子设备在三维环境中显示内容,但是与电子设备的用户相对应的化身保持显示。例如,如图7B所示,在第一电子设备760处,与第二电子设备770的用户相对应的化身715保持显示在三维环境750A中,因为视频内容758正显示在第三虚拟对象732内(例如,并且不作为新的更大的表示,诸如上文参考图4A至图6C所讨论的那些)或以全屏模式显示。在一些示例中,在第二电子设备770处,与第一电子设备760的用户相对应的化身717保持在三维环境750B中与第一虚拟对象726、第二虚拟对象730和第三虚拟对象732的表示(例如,其对于第一电子设备760的用户是私有的)一起显示,如图7B所示。

在一些示例中,第三虚拟对象732(例如,视频回放应用程序窗口)可与第二电子设备770共享以用于在三维环境750B中的第三虚拟对象732内显示视频内容758。例如,在第一电子设备760和第二电子设备770处于多用户通信会话中时,第一电子设备760的用户可提供用于与第二电子设备760共享第三虚拟对象732的一个或多个输入(例如,经由在三维环境750A中的相应用户界面元素或应用程序用户界面中显示的“共享”示能表示、口头命令等)。在一些示例中,第二电子设备770可检测与来自第一电子设备760的与第二电子设备770共享虚拟对象(例如,以及内容758)的请求相对应的指示。响应于检测到该指示,第二电子设备770可显示与共享请求相对应的相应用户界面元素734。例如,如图7B所示,相应用户界面元素734可包括选项723,其可被选择以用于使第二电子设备770接受来自电子设备760的共享请求(例如,下载内容、使用在第二电子设备770上运行的应用程序导航到内容和/或将内容保存到第二电子设备770的存储器)并且在三维环境750B中的第三虚拟对象732内显示视频内容758。如图所示,第二电子设备770的用户任选地正在提供涉及三维环境750B中的相应用户界面元素734中的可选择选项723的选择输入772B。例如,在第二电子设备770的用户的目光涉及可选择选项723时,第二电子设备770任选地检测到捏合输入、触摸或轻击输入、口头命令,或一些其他直接或间接输入。

在一些示例中,响应于检测到选择输入772B,第二电子设备770任选地在三维环境750B中的第三虚拟对象732内呈现视频内容758,如图7C所示。例如,如图所示,第二电子设备770可在三维环境750B中呈现包含视频内容758的第三虚拟对象732。另外,如图所示,第二电子设备770任选地维持与包含内容758的第三虚拟对象732相邻的第一虚拟对象726和第二虚拟对象730的表示的显示。如图所示,视频内容758与用于控制内容的回放的一个或多个控件725一起显示在三维环境750B中。类似如上所述,视频内容758任选地显示具有交互示能表示(例如,抓取器或把手)735,其可被选择以发起第三虚拟对象732(例如,以及因此视频内容758)在三维环境750B中的移动。在一些示例中,在第二电子设备770正在第三虚拟对象732内呈现视频内容758时,第二电子设备770可在视觉上削弱围绕第二电子设备770的物理环境的捕获部分的表示的重要性。例如,如图7C中的虚线所指示的,咖啡桌的表示708'、落地灯的表示707'以及围绕电子设备770的地板、天花板和墙壁的表示的重要性可在三维环境750B中在视觉上被削弱(例如,褪色、变暗或调整为不透明),使得将注意力主要吸引到虚拟对象732内的视频内容758。

如图7C所示,当共享时,视频内容758可在每个用户的视场内显示。例如,包含视频内容758的虚拟对象732可显示在第一电子设备760处的三维环境750A中维持与第一电子设备760的用户的视点的空间真实性的位置处,以及在第二电子设备770处的三维环境750B中维持与第二电子设备770的用户的视点的空间真实性的位置处。在一些示例中,包含视频内容758的虚拟对象732可以朝向用户的视点之间的位置(例如,用户的视点的位置的平均)成角度的相应取向显示。在一些示例中,可在三维环境750A/750B内移动虚拟对象732,以根据用户的集体喜好来重新定位和/或重新取向虚拟对象732内的视频内容758。在一些此类示例中,涉及在第一电子设备760处显示的视频内容758的用户交互可对应地影响在第二电子设备770处显示的视频内容758,反之亦然。例如,使包含视频内容758的第三虚拟对象732在三维环境750A内移动的涉及第一电子设备760处的交互示能表示735的输入可使包含视频内容758的第三虚拟对象732根据移动输入在第二电子设备770处的三维环境750B内移动。类似地,在第一电子设备760处接收到的涉及该一个或多个回放控件725的相应动作(例如,暂停视频内容758的输入)使第二电子设备770也执行相应动作(例如,暂停视频内容)。

如图7C所示,在一些示例中,在第一电子设备760和第二电子设备770处于多用户通信会话中时,视频内容756在共享三维环境内的显示使与电子设备760/770的用户相对应的化身保持显示在三维环境中。例如,如图所示,与第二电子设备770的用户相对应的化身715保持显示在三维环境750A中,并且与第一电子设备760的用户相对应的化身717保持显示在三维环境750B中。如本文先前所描述的,在第一电子设备760与第二电子设备770之间共享的内容的类型任选地确定与电子设备760/770的用户相对应的化身在内容被显示时是否显示在三维环境750A/750B中。如上所述,在第一电子设备760与第二电子设备770之间共享的内容758是二维内容(例如,视频内容、图像内容(诸如照片)、网络浏览应用程序的网页等),其可在三维环境750A/750B中的第三虚拟对象732内显示。因为与电子设备760/770的用户相对应的化身的显示将不会掩蔽视频内容758(例如,阻挡或干扰该视频内容的一部分)和/或使人从视频内容758的回放分散注意力(例如,由于包含内容758的虚拟对象732在三维环境750A/750B中的中心放置),所以化身715/717因此重新显示在三维环境中。因此,如上文所概述的,当在多用户通信会话中共享作为二维内容的内容时,电子设备760/770任选地显示与电子设备的用户相对应的化身。在其他示例中,当内容与化身之间的空间关系可以在所有用户之间以一致的方式维持时,在电子设备之间共享的二维边界或三维边界或体积内包含的二维或三维内容也可以和与电子设备的用户相对应的化身一起被呈现。

在一些示例中,当二维视频内容758显示在共享三维环境中时,第一电子设备760和第二电子设备770可以重新取向和/或重新定位与电子设备760/770的用户相对应的化身。例如,如图7C所示,与第二电子设备770的用户相对应的化身715可以在三维环境750A中重新定位到第一电子设备760的用户的视点的左侧,并且可以取向为面向虚拟对象732中的内容758。类似地,如图所示,与第一电子设备760的用户相对应的化身717可以在三维环境750B中重新定位到第二电子设备770的用户的视点的右侧,并且可以重新取向为面向虚拟对象732中的内容758。因此,所公开的方法为通信会话中的多个用户提供了共享且未掩蔽的观看体验,同时实现了与三维环境中的内容的单独用户交互。

类似如上所述,在一些示例中,电子设备760/770的用户可提供与停止在三维环境750A/750B中的第三虚拟对象732内显示视频内容758的请求相对应的一个或多个相应输入。例如,在第一电子设备760和第二电子设备770处于多用户通信会话中时,第一电子设备760(或第二电子设备770)的用户可提供用于停止视频内容758在三维环境750A(或750B)中的虚拟对象732内的显示的一个或多个输入(例如,经由在三维环境750A(或750B)中的相应用户界面元素中显示的“关闭”或“退出”示能表示、口头命令等)。在一些此类示例中,响应于接收到该一个或多个相应输入,内容758可停止显示在第一电子设备760(或第二电子设备770)处。例如,第一电子设备760(或第二电子设备770)任选地停止在视觉上削弱围绕电子设备的物理环境的捕获部分的重要性。

在一些示例中,如果视频内容758将停止显示在三维环境750A(或750B)中,则第一电子设备760和第二电子设备770将维持与电子设备760/770的用户相对应的化身的显示。例如,尽管视频内容758将不再显示在两个电子设备中的一个电子设备处,但是与第二电子设备770的用户相对应的化身715将停止显示在三维环境750A中,并且与第一电子设备760的用户相对应的化身717将不会掩蔽或分散另一用户对内容758的体验,因此化身715和717将任选地保持显示。应当理解,一旦另一电子设备停止显示视频内容(例如,由于用户输入),第一电子设备760和第二电子设备770将维持与电子设备760/770的用户相对应的化身在三维环境中的显示(例如,类似如图3所示)。

应当理解,在本文中示出和描述的示例仅仅是示例性的,并且可以在三维环境内提供用于与例示性内容交互的附加的和/或另选的元素。应当理解,在本文中示出和描述的各种用户界面元素和对象中的每一者的外观、形状、形式和尺寸是示例性的,并且可以提供另选的外观、形状、形式和/或尺寸。例如,表示应用程序窗口的虚拟对象(例如,虚拟对象626、630和632)可以不同于矩形形状的另选形状(诸如,圆形形状、三角形形状等)提供。在一些示例中,可以经由用户口头命令(例如,“选择选项”口头命令)口头地选择本文描述的各种可选择选项(例如,选项411和413、选项523A或选项627)、用户界面元素(例如,用户界面元素526或用户界面元素634)、控制元素(例如,回放控件625或725)等。另外地或另选地,在一些示例中,可以经由通过与电子设备通信的一个或多个单独输入设备接收的用户输入来选择和/或操纵本文描述的各种选项、用户界面元素、控制元素等。例如,可以经由与电子设备通信的物理输入设备(诸如,鼠标、触控板、键盘等)来接收选择输入。

另外,应当理解,尽管参考两个电子设备描述了上述方法,但是上述方法任选地适用于在通信会话中通信地链接的两个或更多个电子设备。例如,在三个、四个、五个或更多个电子设备处于由三维环境表示的通信会话中并且共享第一类型的内容(例如,向用户提供六个自由度的沉浸式场景或体验,诸如沉浸式艺术画廊/展览、视频游戏或三维模型)时,观看内容的相应用户可看到与对应于第一类型的内容的三维环境内的也正在观看内容的其他电子设备的用户相对应的化身(并且听到这些用户的空间音频)(例如,具有类似如参考图4A至图4D所描述的空间真实性)。在一些示例中,没有在观看第一类型的内容的相应用户可看到与表示通信会话的三维环境内的也没有在观看内容的其他电子设备的用户相对应的化身(并且听到这些用户的空间音频)。在一些此类示例中,可以为未显示在共享三维环境中的化身提供非空间音频(例如,单声道或立体声)。

如果内容是第二类型的内容(例如,向用户提供三个自由度的沉浸式视频或场景/环境,诸如沉浸式电影、TV剧集、体育比赛、音乐录音),则观看内容的相应用户可看到与对应于第二类型的内容的三维环境内的也正在从不同视角观看内容的电子设备的用户相对应的化身(并且听到这些用户的空间音频)(例如,类似如参考图5A至图5D所描述的)。如果内容是第二类型的内容,则观看内容的相应用户可看不到与对应于第二类型的内容的三维环境内的也正在从相同视角观看内容的电子设备的用户相对应的化身(并且听到这些用户的空间音频)。在一些此类示例中,可以为未显示在对应于第二类型的内容的三维环境中的化身提供非空间音频(例如,单声道或立体声)。在一些示例中,没有在观看第二类型的内容的相应用户可看到与表示通信会话的三维环境内的也没有在观看内容的其他电子设备的用户相对应的化身(并且听到这些用户的空间音频)。在一些此类示例中,可以为未显示在共享三维环境中的化身提供非空间音频(例如,单声道或立体声)。

如果内容是第三类型的内容(例如,以全屏模式显示的非沉浸式(二维)视频/图像/网页,诸如电影、TV剧集、体育比赛、音乐录音或用户界面的二维表示),则观看内容的相应用户可看到与表示通信会话的三维环境中的也正在以全屏模式观看内容的电子设备的用户相对应的化身(并且听到这些用户的空间音频)(例如,类似如参考图6A至图6C所描述的)。在一些示例中,没有在观看第三类型的内容的相应用户可看到与表示通信会话的三维环境中的也没有在以全屏模式观看内容的其他电子设备的用户相对应的化身(并且听到这些用户的空间音频)。在一些此类示例中,可以为未显示在共享三维环境中的化身提供非空间音频(例如,单声道或立体声)。如果内容是第四类型的内容(例如,在虚拟对象(例如,应用程序窗口)内显示的视频/图像/网页,诸如电影、TV剧集、体育比赛、音乐录音、用户界面的二维表示),则与电子设备的用户相对应的化身当呈现内容时任选地显示在表示通信会话的三维环境中(例如,如参考图7A至图7C所描述的)。

图8A至图8B示出了根据本公开的一些示例的示出用于在多用户通信会话中显示共享内容的示例性过程800的流程图。在一些示例中,过程800在与显示器、一个或多个输入设备和第二电子设备通信的第一电子设备处开始。在一些示例中,第一电子设备和第二电子设备任选地分别为类似于或对应于图2的设备200的头戴式显示器。如图8A所示,在一些示例中,在802处,在处于与第二电子设备(例如,图3中的电子设备370)的通信会话中时,第一电子设备(例如,图3中的电子设备360)可经由显示器(例如,第一电子设备的显示器)呈现包括与第二电子设备的用户相对应的化身(例如,与第二电子设备370的用户相对应的化身315,如图3所示)的第一计算机生成的环境(例如,图3中的三维环境350A/350B)。在一些示例中,可以向与第二电子设备的用户相对应的化身提供与第二电子设备的用户的语音相对应的音频效果(例如,空间音频)。在一些示例中,可以在第二电子设备处的第一计算机生成的环境中显示与第一电子设备的用户相对应的化身(例如,与第一电子设备360的用户相对应的化身317,如图3所示)。在一些示例中,可以向与第一电子设备的用户相对应的化身提供与第一电子设备的用户的语音相对应的音频效果(例如,空间音频)。

如图8A所示,在一些示例中,在804处,在显示包括与第二电子设备的用户相对应的化身的第一计算机生成的环境时,第一电子设备任选地经由该一个或多个输入设备接收第二电子设备正在呈现内容的相应指示。例如,如上文参考图4B所描述的,电子设备460可在三维环境450A中呈现内容452。在一些示例中,如本文所述,如果内容具有第一类型(例如,如图4B所示的具有六个自由度的沉浸式内容452),如果内容具有第二类型(例如,如图5B所示的具有三个自由度的沉浸式内容554),和/或如果内容具有第三类型(例如,如图6B所示的以全屏模式呈现的非沉浸式内容656),则与第二电子设备的用户相对应的化身(例如,化身415/515/615)任选地停止显示在三维环境中。另外,在一些示例中,与第二电子设备的用户的语音相对应的音频任选地不再被空间化并且被呈现为单声道或立体声音频。在一些示例中,如本文所述,如果内容具有第四类型(例如,如图7B所示的在对象732内呈现的非沉浸式内容758),则与第二电子设备的用户相对应的化身(例如,化身715)的显示以及与用户的语音相对应的(例如,空间)音频的呈现被任选地维持在三维环境中。

在一些示例中,在806处,在呈现包括与第二电子设备的用户相对应的化身的第一计算机生成的环境时,第一电子设备可经由该一个或多个输入设备(例如,图2中的手部跟踪传感器202)接收与来自第二电子设备的与第一电子设备共享内容的请求相对应的第一指示。在一些示例中,响应于接收到第一指示,第一电子设备在第一计算机生成的环境中显示与内容相对应的用户界面元素(例如,图4C中的用户界面元素418)。在一些示例中,用户界面元素包括第一选项(例如,图4C中的选项419A),其可被选择以接受来自第二电子设备的共享请求。

在一些示例中,在808处,响应于接收到第一指示,在810处,根据确定请求被接受(例如,因为涉及用户界面元素中的第一选项的选择输入(例如,图4C中的选择输入472B)已被接收),在812处,根据确定与第一电子设备共享的内容是第一类型的内容(例如,其中向电子设备的用户提供六个自由度的沉浸式场景或体验),在814处,第一电子设备可以用与内容相对应的第二计算机生成的环境替换第一计算机生成的环境的显示。例如,如图4D所示,在第一电子设备460处显示沉浸式内容452(例如,沉浸式艺术画廊)。另外,在816处,第一电子设备可以在第二计算机生成的环境中显示与第二电子设备的用户相对应的化身(例如,与第二电子设备470的用户相对应的化身415在沉浸式内容452中的显示,如图4D所示)。

如图8B所示,在一些示例中,在818处,根据确定与第一电子设备共享的内容是与第一类型的内容不同的第二类型的内容(例如,其中向电子设备的用户提供三个自由度的沉浸式视频),在820处,第一电子设备可以更新第一计算机生成的环境的显示以包括与内容相对应的第一对象。例如,如图5C所示,在第一电子设备560处显示沉浸式视频554(例如,电影或TV剧集的三维表示)。另外,在822处,第一电子设备可以停止与第二电子设备的用户相对应的化身在第一计算机生成的环境中的显示(例如,停止与第二电子设备570的用户相对应的化身515在三维环境550A中的显示,如图5C所示)。在一些示例中,当与第二电子设备的用户相对应的化身不再被显示时,与第二电子设备的用户的语音相对应的音频继续被呈现在第一电子设备处(例如,由音频气泡512表示的与第二电子设备570的用户的语音相对应的音频的呈现,如图5C所示)。在一些示例中,与第二电子设备的用户的语音相对应的音频任选地从空间音频改变为非空间音频(例如,单声道或立体声音频)。

应当理解,过程800是示例,并且可以按相同或不同的顺序执行更多、更少或不同的操作。另外,上述过程800中的操作任选地通过运行信息处理装置诸如通用处理器(例如,如关于图2所述)或专用芯片中的一个或多个功能模块以及/或者由图2的其他部件来实现。

因此,根据以上所述,本公开的一些示例涉及一种方法。在一些示例中,所述方法包括在与显示器、一个或多个输入设备和第二电子设备通信的第一电子设备处:在处于与所述第二电子设备的通信会话中时,经由所述显示器呈现包括与所述第二电子设备的用户相对应的化身的第一计算机生成的环境;在显示包括与所述第二电子设备的所述用户相对应的所述化身的所述第一计算机生成的环境时,经由所述一个或多个输入设备接收与来自所述第二电子设备的与所述第一电子设备共享内容的请求相对应的第一指示;以及响应于接收到所述第一指示,根据确定所述请求被接受,根据确定与所述第一电子设备共享的所述内容是第一类型的内容,用与所述内容相对应的第二计算机生成的环境替换所述第一计算机生成的环境的显示,以及在所述第二计算机生成的环境中显示与所述第二电子设备的所述用户相对应的所述化身,以及根据确定与所述第一电子设备共享的所述内容是不同于所述第一类型的内容的第二类型的内容,更新所述第一计算机生成的环境的显示以包括与所述内容相对应的第一对象,以及停止与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示。

另外地或另选地,在一些示例中,显示与所述第二电子设备的所述用户相对应的所述化身包括呈现与所述第二电子设备的所述用户的语音相对应的音频。在一些示例中,所述方法还包括:根据所述确定与所述第一电子设备共享的所述内容是不同于所述第一类型的内容的所述第二类型的内容,在停止与所述第二电子设备的所述用户相对应的所述化身的显示之后,维持与所述第二电子设备的所述用户的所述语音相对应的所述音频在所述第一计算机生成的环境中的呈现。

另外地或另选地,在一些示例中,呈现与所述第二电子设备的所述用户的所述语音相对应的所述音频包括在所述第一计算机生成的环境中呈现与所述第二电子设备的所述用户的所述语音相对应的空间音频。在一些示例中,根据所述确定与所述第一电子设备共享的所述内容是所述第二类型的内容,在所述第一计算机生成的环境中呈现的与所述第二电子设备的所述用户的所述语音相对应的所述音频是非空间音频。

另外地或另选地,在一些示例中,所述第一电子设备和所述第二电子设备分别是头戴式显示器。

另外地或另选地,在一些示例中,所述方法还包括:响应于接收到所述第一指示,经由所述显示器显示与所述第一计算机生成的环境中的所述内容相对应的用户界面元素。

另外地或另选地,在一些示例中,所述用户界面元素包括可被选择以接受来自所述第二电子设备的与所述第一电子设备共享所述内容的所述请求的一个或多个选项。

另外地或另选地,在一些示例中,所述第一类型的内容是包括三维沉浸式环境的内容。

另外地或另选地,在一些示例中,与所述内容相对应的所述第二计算机生成的环境是所述三维沉浸式环境的表示。在一些示例中,所述方法还包括:在显示所述第二计算机生成的环境时,经由所述一个或多个输入设备检测所述第一电子设备在围绕所述第一电子设备的物理环境中从第一位置到第二位置的移动;以及响应于检测到所述第一电子设备的所述移动,将所述第一电子设备的所述用户的视点在所述第二计算机生成的环境中的位置从第一相应位置改变为第二相应位置,其中所述第二计算机生成的环境中的所述第二相应位置基于所述物理环境中的所述第二位置,以及维持与所述第二电子设备的所述用户相对应的所述化身在所述第二计算机生成的环境中的显示。

另外地或另选地,在一些示例中,所述第二类型的内容是包括视点受限的三维沉浸式视频、场景或环境的内容。

另外地或另选地,在一些示例中,与所述内容相对应的所述第一对象是所述视点受限的三维沉浸式视频、场景或环境的表示。在一些示例中,所述方法还包括:在显示包括所述第一对象的所述第一计算机生成的环境时,经由所述一个或多个输入设备检测所述第一电子设备的所述用户的相应部分从第一姿势到第二姿势的移动;以及响应于检测到所述用户的所述相应部分的所述移动,将所述第一对象在所述第一计算机生成的环境中的视点从第一视点改变为不同于所述第一视点的第二视点,其中所述第二视点基于所述用户的所述相应部分的所述第二姿势,以及限制改变所述第一电子设备的所述用户的所述视点在所述第一计算机生成的环境中的位置。

另外地或另选地,在一些示例中,所述方法还包括:响应于接收到所述第一指示,根据确定所述请求被接受,根据确定与所述第一电子设备共享的所述内容是不同于所述第一类型的内容和所述第二类型的内容的第三类型的内容,更新所述第一计算机生成的环境的显示以包括与所述内容相对应的不同于所述第一对象的第二对象,以及维持与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示。

另外地或另选地,在一些示例中,所述第三类型的内容是包括被配置为在所述第一计算机生成的环境中的所述第二对象中显示的二维内容的内容。

另外地或另选地,在一些示例中,在接收到与来自所述第二电子设备的与所述第一电子设备共享内容的所述请求相对应的所述第一指示之前,所述第一计算机生成的环境包括相应对象。在一些示例中,在接收到所述第一指示之后并且在所述请求已经被接受之后,根据所述确定与所述第一电子设备共享的所述内容是所述第三类型的内容,所述相应对象不再显示在所述第一计算机生成的环境中。

另外地或另选地,在一些示例中,所述方法还包括:响应于接收到所述第一指示,根据确定所述请求被接受,根据确定与所述第一电子设备共享的所述内容是不同于所述第一类型的内容、所述第二类型的内容和所述第三类型的内容的第四类型的内容,更新所述第一计算机生成的环境的显示以包括与所述内容相对应的不同于所述第一对象和所述第二对象的第三对象;以及维持与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示。

另外地或另选地,在一些示例中,所述第四类型的内容是与在所述第二电子设备上运行的应用程序相关联的应用程序对象,所述应用程序对象被配置为显示第二内容,并且所述第三对象对应于所述第一计算机生成的环境中的所述应用程序对象。

另外地或另选地,在一些示例中,所述方法还包括:在根据所述确定与所述第一电子设备共享的所述内容是所述第一类型的内容而用与所述内容相对应的所述第二计算机生成的环境替换所述第一计算机生成的环境的显示并且在所述第二计算机生成的环境中显示与所述第二电子设备的所述用户相对应的所述化身之后,经由所述一个或多个输入设备接收与导航离开与所述内容相对应的所述第二计算机生成的环境的请求相对应的第二输入;以及响应于接收到所述第二输入,用所述第一计算机生成的环境替换所述第二计算机生成的环境的显示,以及放弃与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示。

另外地或另选地,在一些示例中,所述方法还包括:在显示不包括与所述第二电子设备的所述用户相对应的所述化身的所述第一计算机生成的环境时,接收所述第二电子设备不再显示所述第二计算机生成的环境的第二指示;以及响应于检测到所述第二指示,在所述第一计算机生成的环境中重新显示与所述第二电子设备的所述用户相对应的所述化身。

另外地或另选地,在一些示例中,所述方法还包括:在根据所述确定与所述第一电子设备共享的所述内容是所述第二类型的内容而更新所述第一计算机生成的环境的显示以包括与所述内容相对应的所述第一对象并且停止与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示之后,经由所述一个或多个输入设备接收与停止与所述内容相对应的所述第一对象的显示的请求相对应的第二输入;以及响应于接收到所述第二输入,停止与所述内容相对应的所述第一对象在所述第一计算机生成的环境中的显示,以及放弃与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的重新显示。

另外地或另选地,在一些示例中,所述方法还包括:在显示不包括与所述第二电子设备的所述用户相对应的所述化身的所述第一计算机生成的环境时,接收所述第二电子设备不再在所述第一计算机生成的环境中显示所述第一对象的第二指示;以及响应于检测到所述第二指示,在所述第一计算机生成的环境中重新显示与所述第二电子设备的所述用户相对应的所述化身。

另外地或另选地,在一些示例中,当接收到与来自所述第二电子设备的与所述第一电子设备共享内容的所述请求的所述第一指示时,所述内容显示在所述第二电子设备处。

另外地或另选地,在一些示例中,所述方法还包括:在显示包括与所述第二电子设备的所述用户相对应的所述化身的所述第一计算机生成的环境时并且在接收到与来自所述第二电子设备的与所述第一电子设备共享内容的所述请求相对应的所述第一指示之前,经由所述一个或多个输入设备接收所述第二电子设备正在呈现内容的相应指示;以及响应于接收到所述相应指示,根据确定在所述第二电子设备处呈现的所述内容是所述第一类型的内容,停止与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示,以及根据确定在所述第二电子设备处呈现的所述内容是所述第二类型的内容,停止与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示。

另外地或另选地,在一些示例中,所述方法还包括响应于接收到所述相应指示:根据确定在所述第二电子设备处呈现的所述内容是不同于所述第一类型和所述第二类型的内容的第三类型的内容,停止与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示;以及根据确定在所述第二电子设备处呈现的所述内容是不同于所述第一类型、所述第二类型和所述第三类型的内容的第四类型的内容,维持与所述第二电子设备的所述用户相对应的所述化身在所述第一计算机生成的环境中的显示。

本公开的一些示例涉及一种电子设备,所述电子设备包括一个或多个处理器、存储器和存储在所述存储器中并且被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行上述方法中的任一种方法的指令。

本公开的一些示例涉及一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时使所述电子设备执行上述方法中的任一种方法。

本公开的一些示例涉及一种电子设备,所述电子设备包括一个或多个处理器、存储器和用于执行上述方法中的任一种方法的装置。

本公开的一些示例涉及一种在电子设备中使用的信息处理装置,所述信息处理装置包括用于执行上述方法中的任一种方法的装置。

出于解释的目的,前面的描述是通过参考具体实施例来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述示例是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的示例。

技术分类

06120116215422