使用空间本体来标识对象

背景技术

1.相关申请的交叉引用

本申请涉及2021年3月1日提交的名称为“IDENTIFYING OBJECTS USING SPATIALONTOLOGY”的美国临时申请63/155,081号，该临时申请的内容据此全文以引用方式并入以用于所有目的。

2.技术领域

本公开整体涉及扩展现实，并且更具体地涉及用于使用一个或多个空间本体来标识对象的技术。

3.相关领域的描述

传统扩展现实环境可包括虚拟和物理对象的各种表示。观察该环境的用户可以不同方式与对象进行交互。

发明内容

本公开整体描述用于标识环境中的各种对象的技术。扩展现实环境提供使得用户能够与相应环境进行交互的平台。例如，用户可使用包括物理控制、语音命令、基于注视的操作等的方法来提供与环境中所描绘的物理或虚拟对象相关的输入。在使用语音命令的情况下，用户可提及环境中所描绘的各种对象，诸如家具、墙壁、器具或其他对象。然而，传统扩展现实系统并不具备高效地标识场景中的对象以便以有效方式响应用户请求的能力。例如，此类系统不包括一致的对象标识符集，更不用说定义对象和附加对象属性之间的关系的其他特质。因此，用于使用一个或多个空间本体的对象标识的改进系统是期望的。

根据一些实施方案，获得布景的表示。基于该布景的该表示来检测第一对象，并且检索标识符集。响应于检测到该布景的该表示的改变，基于第一定义集来修改该标识符集。接收与该布景的该表示相关联的用户输入，并且基于所修改的标识符集来确定对应于该用户输入的用户意图。

附图说明

图1A至图1B示出了在各种扩展现实技术中使用的示例性系统。

图2A至图2C描绘了用于使用一个或多个空间本体进行对象标识的示例性过程。

图3A至图3C描绘了用于使用一个或多个空间本体进行对象标识的示例性过程。

图4描绘了用于使用一个或多个空间本体进行对象标识的示例性过程。

具体实施方式

人们可在不使用电子设备的情况下感知物理环境或世界或与之交互。物理特征，诸如物理对象或表面，可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如，嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与之交互。这可与扩展现实(XR)环境形成对比，该XR环境可以是指人们可使用电子设备感知或与之交互的部分或全部模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR系统，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然法则的方式来改变XR环境中的虚拟对象的属性。例如，XR系统可检测用户的头部移动，并且以模拟声音和视图在物理环境中会如何改变的方式来调整呈现给用户的听觉和图形内容。在其他示例中，XR系统可检测呈现XR环境的电子设备(例如，膝上型计算机、平板电脑、移动电话等)的移动。因此，XR系统可以模拟声音和视图在物理环境中会如何改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如物理运动的表示(例如，语音命令)可致使XR系统调整图形内容的属性。

众多类型的电子系统可允许用户感知XR环境或与之交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的镜片(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的系统、可头戴式系统、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入系统(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机和扬声器阵列。可头戴式系统可包括不透明显示器和一个或多个扬声器。其他可头戴式系统可被配置为接收不透明外部显示器，诸如智能电话的显示器。可头戴式系统可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。替代不透明显示器，一些可头戴式系统可具有透明或半透明显示器。透明或半透明显示器可通过介质(诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合)向用户的眼睛引导代表图像的光。可使用各种显示技术，诸如硅基液晶、LED、uLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制成变得不透明。基于投影的系统可利用将图像投影到用户的视网膜上或者可将虚拟内容投影到物理环境中(诸如投影到物理表面上或者投影为全息图)的视网膜投影技术。

图1A和图1B描绘了用于各种扩展现实技术的示例性系统100。

如图1A所示，系统100包括设备100a。设备100a包括RF电路104、处理器102、存储器106、图像传感器108、触敏表面122、扬声器118、位置传感器116、麦克风112、取向传感器110和显示器120。这些部件任选地使用设备100a的通信总线150进行通信。

在一些示例中，基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型电脑)实现系统100的一些部件，并且第二设备(例如，头戴式设备)实现系统100的其他部件。在一些示例中，设备100a在基站设备或第二设备中实现。

如图1B所示，在一些示例中，系统100包括例如经由有线连接或无线连接进行通信的两个或更多个设备。第一设备100b(例如，基站设备)包括存储器106、RF电路104和处理器102。此类部件任选地使用设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括部件，诸如RF电路104、处理器102、存储器106、图像传感器108、触敏表面122、扬声器118、位置传感器116、麦克风112、取向传感器110和显示器120。这些部件任选地使用设备100c的通信总线150进行通信。

系统100包括RF电路104。RF电路104任选地包括用于与网络(例如，互联网、无线网络(例如，诸如蜂窝网络和无线局域网(LAN))和/或内联网)和/或电子设备进行通信的电路。RF电路104任选地包括用于使用近场通信和/或近程通信(例如，

系统100包括处理器102和存储器106。处理器102包括一个或多个图形处理器、一个或多个通用处理器和/或一个或多个数字信号处理器。在一些示例中，存储器106是存储被配置为由处理器102执行以执行下述技术的计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，随机存取存储器、闪存存储器)。

系统100包括图像传感器108。图像传感器108任选地包括用于检测来自物理环境的红外光的一个或多个红外(IR)传感器，例如，无源IR传感器或有源IR传感器。例如，有源IR传感器包括用于将红外光发射到物理环境中的IR发射器(例如，IR点发射器)。图像传感器108还任选地包括能够从物理环境获得物理元素的图像的一个或多个可见光图像传感器，诸如互补金属氧化物半导体(CMOS)传感器和/或电荷耦合器件(CCD)传感器。图像传感器108还任选地包括被配置为捕获物理环境中的物理元素的移动的一个或多个事件相机。图像传感器108还任选地包括能够检测与系统100的物理元素的距离的一个或多个深度传感器。在一些示例中，系统100使用IR传感器、CCD传感器、事件相机和深度传感器一起来检测系统100周围的物理环境。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地能够从两个相应的不同视角捕获物理环境中的物理元素的图像。在一些示例中，系统100使用图像传感器108来检测系统100和/或显示器120在物理环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于物理环境中的一个或多个固定元素的位置和取向。在一些示例中，图像传感器108能够接收用户输入，诸如手势。

在一些示例中，系统100包括用于接收用户输入诸如轻击和轻扫输入的触敏表面122。在一些示例中，触敏表面122和显示器120被组合成触敏显示器。

在一些示例中，系统100包括麦克风112。系统100使用麦克风112来检测来自用户的物理环境或来自用户的声音。在一些示例中，麦克风112包括麦克风阵列(例如，包括多个麦克风)，该麦克风阵列任选地一起操作例如以定位来自物理环境的空间声源或标识环境噪声。

系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120(诸如，相对于物理环境中的物理元素)的位置和/或取向的改变。取向传感器110任选地包括陀螺仪和/或加速度计。

系统100包括显示器120。显示器120可与透明或半透明显示器(并且任选地与一个或多个成像传感器)一起操作。显示器120可包括不透明显示器。显示器120可允许人通过显示器直接观察物理环境，并且还可允许例如通过将虚拟内容叠加在物理环境之上来向人的视场添加虚拟内容。显示器120可实现显示技术，诸如数字光投影仪、激光扫描光源、LED、OLED、硅基液晶或它们的组合。显示器120可包括光透射穿过的衬底，例如，光学反射器和组合器、光学波导、全息基底或它们的组合。作为特定示例，透明或半透明显示器可选择性地在透明或半透明状态和不透明状态之间转变。显示器120的另外示例性具体实施包括具有显示能力的镜片、平板电脑、智能电话、台式计算机、膝上型计算机、抬头显示器、具有显示能力的汽车挡风玻璃或具有显示能力的窗户。在一些示例中，系统100是基于投影的系统。例如，系统100将虚拟对象投影到物理环境上(例如，将全息图投影到物理环境上或将影像投影到物理表面上)。作为另一示例，系统100使用视网膜投影来将图像投影到人的眼睛(例如，视网膜)上。在一些示例中，系统100可被配置为与外部显示器(例如，智能电话显示器)介接。

系统100还可包括一个或多个语音转文本(STT)处理模块，该一个或多个STT处理模块各自包括用于对从各种麦克风接收到的语音执行语音转文本转换的一个或多个自动语音识别(ASR)系统。每个ASR系统可包括一个或多个语音识别模型，并且可实现一个或多个语音识别引擎。语音识别模型的示例可包括但不限于包括深度神经网络模型、n元语言模型、隐马尔可夫模型(HMM)、高斯混合模型等。自然语言处理模块还可获得语音输入的候选文本表示，并且将这些候选文本表示中的每个候选文本表示与一个或多个可识别“可行动意图”相关联。在一些示例中，自然语言处理基于本体的使用。本体是包含许多节点的层级结构，每个节点表示与其他可行动意图相关的可行动意图。这些可行动意图可表示系统能够执行的任务。本体还可包括表示与可行动意图、另一属性的子方面等相关联的参数的属性。本体中的可行动意图节点和属性节点之间的链接可定义由属性节点表示的参数如何与由可行动意图节点表示的任务相关。

现参考图2A至图4，描述了用于使用一个或多个空间本体进行对象标识的示例性技术。图2A描绘了对应于电子设备(诸如例如设备100a)的周围环境的表示200a。表示200a可基于用户的视角，例如，基于接收图像信息并且附接到用户的头戴式受话器或用户控制的其他设备的一个或多个相机。一般来讲，环境可对应于物理环境、虚拟环境、具有叠加在物理环境之上的虚拟对象的AR环境等。环境可包括各种物理对象，诸如桌子、架子、沙发、墙壁、图画和灯具。图像信息可包括物理对象的表示，并且还可包括虚拟对象的表示。例如，表示200a可包括沙发表示202、灯具表示204、花瓶表示206和桌子表示208。沙发表示202、花瓶表示206和桌子表示208可分别对应于周围设备环境中的物理沙发、花瓶和桌子对象。在一些示例中，灯具表示204可对应于虚拟对象，使得在周围设备环境中不存在对应物理花瓶。在另选示例中，表示200a还可对应于完全虚拟布景，使得沙发表示202、灯具表示204、花瓶表示206和桌子表示208各自对应于虚拟对象的表示。

最初，可利用定义集以便标识布景的表示中的各种对象。如本文所讨论，该反应性形式的对象标识可随布景的表示改变而连续且动态地进行。例如，一般来讲，在启动电子设备(例如，启动设备上的图像传感器)、加载虚拟或AR环境等时，基于定义集和相应布景的表示来获得标识符集。具体地，如本文所讨论，该定义集可包括描述性标识符的基本定义。这些定义可包括用于标识环境中的相应对象的对象配置文件，诸如包括一般对象特征的配置文件。对象配置文件通常可语义地表示对象，具体地通过包括相应对象的用于对象标识的定义特征，诸如一般对象形状、大小、外观、结构、颜色方案等。因此，沙发表示202可基于定义集中包含的“沙发”的一般对象配置文件使用定义集来标识。灯具表示204、花瓶表示206和桌子表示208各自可使用定义集内的一般对象配置文件(诸如分别对应于“灯具”、“花瓶”和“桌子”的那些对象配置文件)来类似地标识。

现参考图2B，布景的表示的改变可基于各种因素来检测。例如，周围环境内的一个或多个对象可从第一位置移动到第二位置。可(例如，由电子设备的用户或另一用户)向环境添加物理对象，诸如将一个或多个靠垫放置在沙发上。因此，一个或多个对象可基于该表示来检测。在该示例中，在表示200b(相对于图2A中的表示200a)中检测到一个或多个靠垫表示，诸如搁置在沙发表示202的顶部上的靠垫表示210。一个或多个虚拟对象还可由用户、与环境相关联的另一用户和扩展现实应用等填充到表示中。

现参考图3A，描绘了标识符集。一般来讲，可利用标识符集以便促进用户对扩展现实环境的体验。标识符集可表示在环境中检测到的各种物理和虚拟对象，并且可基于布景的表示的改变来动态地更新。可称为场景图的标识符集还可基于底层空间本体来生成。如本文所讨论，空间本体表示充当用于基于布景的表示来生成场景图的对象特征库的定义集。例如，空间本体可包括对象名称(例如，椅子、桌子、灯具)，并且还包括此类对象的类别定义(例如，家具、结构、生物等)。类别定义可定义对象所属的父对象类别。具体地，“椅子‘是’家具”的关联可指示椅子对象在家具对象类别内。

标识符集可包括与所检测到的对象相关联的描述性标识符。描述性标识符通常可标识与所检测到的对象相关联的类型。例如，此类标识符可包括头文件内包含的一个或多个字符串常数。这里，可检测到沙发表示202，使得标识符302被生成为包括描述性标识符“沙发”。可检测到灯具表示204，使得标识符304被生成为包括描述性标识符“灯具”。在沙发表示202对应于环境中的物理对象的情况下，标识符302还可包括现实类型特征诸如“物理”。类似地，在灯具表示204对应于虚拟对象的情况下，标识符304还可包括现实类型特征诸如“虚拟”。标识符306和308可分别对应于描述性标识符“花瓶”和“桌子”。标识符302(“沙发”)和308(“桌子”)可包括对应于对象类别(诸如“家具”)的父标识符。标识符304(“灯具”)可包括对应于“电子器件”的父标识符。例如，标识符306(“花瓶”)可包括对应于“家用”的父标识符。

关系标识符通常可标识从布景的表示检测到的相应对象之间的关系。相应所检测到的第一对象的关系标识符可标识第二所检测到的对象和相应所检测到的第一对象相对于所检测到的第二对象的位置。作为示例，基于用户的视角，沙发表示202可基于设备(例如，设备上的一个或多个相机或传感器)的视角及因此所得布景的表示被定位成在灯具表示204的右边。因此，标识符302(“沙发”)可与(经由标识符304，“灯具”)标识灯具表示204并且进一步标识“在……的右边”的位置的关系标识符312相关联。具体地，基于设备视角，该位置指示沙发表示202“在”灯具表示204“的右边”。类似地，基于布景的表示，灯具表示204被定位成在沙发表示202的左边。因此，标识符304(“灯具”)可与(经由标识符302，“沙发”)标识沙发表示202并且进一步标识“在……的左边”的位置的关系标识符314相关联。具体地，基于设备视角，该位置指示灯具表示204“在”沙发表示202“的左边”。与标识符302、304、306和308相关联的附加关系标识符(诸如“在……的前面”、“在……的后面”、“在……的顶部上”等)可包括在标识符集内。

在一些示例中，关系标识符可定义所检测到的对象之间的附加关系。虚拟环境中的各种对象可包含在其他对象内。例如，环境中的虚拟箱子可包括各种对象诸如虚拟书籍、虚拟玩具、虚拟电子产品等。用户可将虚拟对象诸如虚拟书籍放置到虚拟箱子中。基于检测到对象放置(例如，虚拟布景的参数指示用户先前已将虚拟书籍放置到虚拟箱子中)，关系标识符可被生成为将所检测到的虚拟书籍对象标识为包含在所检测到的虚拟箱子对象内，诸如“书籍‘在’箱子‘内部’”。还可从其他对象生成各种对象。例如，用户可参与扩展现实游戏，使得虚拟鸡对象包括在环境中。在扩展现实游戏的上下文内，虚拟鸡对象可生成虚拟蛋对象。在该示例中，关系标识符可被生成为将所检测到的蛋对象标识为从所检测到的鸡对象生成，诸如，“蛋‘来自’鸡”。在一些示例中，用户可相对于另一物理对象移动物理对象，诸如在箱子的顶部上移动书。这里，关系标识符可被生成为标识所检测到的书籍对象在移动之后搁置在箱子的顶部上，诸如，“书籍‘在’箱子‘的顶部上’”。

一般来讲，与所检测到的对象相关联的属性可使用各种附加标识符来标识。具体地，材料标识符可标识构成所检测的对象的物质类型。例如，标识符302(“沙发”)可与对应于“布质”的材料标识符相关联。标识符308(“桌子”)可与对应于“木质”的材料标识符相关联。多个材料标识符还可与相应对象相关联。例如，标识符304(“灯具”)可包括对应于“金属”、“玻璃”、“布线”、“塑料”等的材料标识符。表示对象的外观特征的其他属性可使用附加标识符来定义。可利用一个或多个数值属性，诸如与大小、体积、重量等相关的属性。此类属性还可包括与对象相关的系数。例如，与所检测到的对象相关联的一个或多个系数包括例如0至100之间的特定值。照明系数可指示所检测到的对象的各种光属性，诸如光泽、光辉、光彩、亮度、辐射等。各种其他系数可与对象特征诸如对象状态(例如，液态、固态、气态)、柔韧性、锐利度、粗糙度、温度、气味、重量、易碎性等相关。

声学系数可指示环境中的对象的各种声学属性。例如，可使用声学系数以便向用户提供与当前所观察的环境相一致的可听体验。一般来讲，向用户提供的声学输出可随用户穿过相应环境而修改。例如，尽管用户可在穿过虚拟环境时保持物理静止，但向用户提供的声音可在用户穿过虚拟环境时改变。因此，可定制向用户提供的声音，以便提供与虚拟环境相一致的声学体验。

回来参考图2B，可检测到布景的表示的变化。具体地，先前不在设备视角内的对象可进入视野中，使得该表示现包括该对象。例如，一个或多个物理靠垫对象可进入视野中，使得表示200b包括靠垫表示210。响应于检测到布景的表示的该改变，标识符集可至少部分地基于定义集(例如，空间本体)来修改。一般来讲，空间本体可包括描述性标识符、关系标识符、材料标识符和对应于附加对象属性的其他标识符的基本定义。描述性标识符的基本定义可包括用于标识环境中的相应对象的对象配置文件，诸如包括一般对象特征的配置文件。对象配置文件可包括相应对象的用于对象标识的定义特征，诸如一般对象形状、大小、外观、结构、颜色方案等。空间本体可至少部分地使用具有对象在通常被用户提及时的定义的本体(诸如，自然语言处理本体)来生成。例如，具有四条腿部的平坦木质矩形对象通常称为“桌子”。

作为示例，空间本体可包括靠垫对象的包括描述性标识符“靠垫”的基本定义和包括“靠垫”的定义特征(诸如正方形和/或矩形形状、两立方英尺的相对大小、布质材料的外观等)的对象配置文件。使用空间本体和对象配置文件，执行对象标识，使得对应于靠垫表示210的对象被标识为具有描述性标识符“靠垫”的对象。此外，根据确定靠垫对象不与标识符集中的任何标识符相关联，标识符集通过添加对应于新检测到的靠垫对象的标识符来修改。现参考图3B，基于对应于靠垫表示210的新检测到的靠垫对象，在标识符集内生成标识符310。具体地，使用空间本体，标识符310与描述性标识符“靠垫”相关联。各种关系标识符(诸如关系标识符316)也被添加到关于标识符310(“靠垫”)的标识符集。关系标识符316可(经由标识符302，“沙发”)标识沙发表示202，并且进一步标识“在……的顶部上”的位置。具体地，基于设备视角，该位置指示靠垫表示210“在”沙发表示202“的顶部上”。关系标识符318可(经由标识符304，“灯具”)标识灯具表示204，并且进一步标识“在……的右边”的位置。该位置指示靠垫表示210“在”灯具表示204“的右边”。附加标识符(诸如包括与标识符310(“靠垫”)相关联的“布质”的材料标识符)可被添加到标识符集。

某些事件可致使检测到布景的表示的改变。此类改变可基于新对象正被填充到布景中(例如，物理对象正进入视野中、虚拟对象正被生成等)、先前所检测到的对象的移动、用户和/或电子设备的移动(例如，用户在穿戴着设备的同时在房间来回走动)、设备的基于用户头部移动而改变的位置和/或取向等。响应于检测到基于此类移动的改变，可修改与标识符集中的各种对象相关联的关系标识符。例如，如图2C所示，对应于花瓶表示206的花瓶可从桌子的顶部上的位置移动到架子上的位置。因此，如图3C所示，与标识符306(“花瓶”)相关联的关系标识符可通过修改定义花瓶相对于环境中的其他对象的新位置的位置值来修改。具体地，关系标识符320可(经由标识符308，“桌子”)标识桌子表示208，并且可被修改以标识“在……的后面”的位置。具体地，基于设备视角，该位置指示花瓶表示306现被定位“在”桌子表示308“的后面”(与先前被定位“在”桌子表示308“的顶部上”不同)。类似地，关系标识符322可(经由标识符302，“沙发”)标识沙发表示202，并且可被修改以标识“在……的右边”的位置。具体地，基于设备视角，该位置指示花瓶表示306现被定位“在”沙发表示302“的右边”(与先前被定位“在”桌子表示308“的前面”不同)。关系标识符324可类似地(经由标识符302，“沙发”)标识沙发表示202，并且可被修改以标识“在……的左边”的位置。

可从第三方接收各种附加定义集或空间本体，以便促进对定制或其他附加对象进行对象标识。该前摄性形式的对象标识可允许开发者或其他用户基于游戏环境、社交网络环境、用户训练环境等来创建各种环境布景。这些环境可与可包括例如第一定义集中所包括的基本定义(即，通用定义)和用户生成对象的附加定义(例如，物理对象和/或虚拟对象的定制定义)的附加空间本体相关联。附加定义可跨各种应用程序、平台等进行共享。例如，从第三方获得的第二定义集可与对应于赛车游戏的游戏环境相关。在该环境中，可利用各种游戏特定虚拟对象，诸如虚拟车和包括轮胎、方向盘、灯等的车部件。第一定义集中的基本定义可包括具有描述性标识符“椅子”的对象。因此，第二定义集也可包括具有“椅子”的描述性标识符的对象。第二定义集还可包括“赛车椅”的附加描述性标识符。这里，“赛车椅”对象可与对应于“椅子”的父标识符相关联，使得“椅子”对象对应于“赛车椅”对象的父对象类别。在一些示例中，附加定义集的开发者可向现有标识符添加附加“子”标识符，但可不添加不与对应“父”标识符相关联的新标识符。例如，开发者可添加附加“家具”类型标识符(例如，五腿椅“是一种”家具)，但可不添加不存在于第一标识符集中的新对象类别(例如，“飞行器”)。

在一些示例中，在满足一个或多个条件时，应用程序可访问附加定义集。例如，响应于将特定对象放置在扩展现实布景(例如，赛车椅)内的用户动作，可向与扩展现实布景相关的各种应用程序提供凭据或其他访问信息，以便检索和利用包括与相应对象相关联的标识符的附加定义集。

一般来讲，定义集(空间本体)可本地存储在电子设备上和/或周期性更新。例如，电子设备可从辅助电子设备诸如服务器获得第一定义集。然后，设备可存储第一定义集以供扩展现实系统使用。一旦第一定义集的更新变得可用，则接收更新的定义集，然后，该更新的定义集替换电子设备上的所存储定义集。具体地，附加对象或对象类别可在更新的定义集中进行定义。各种对象或对象类别还可从更新的定义集移除。定义集的更新还可周期性(例如，每天、每周、每月)进行，和/或可在电子设备处于特定状态时(例如，在充电时)或在特定时间(例如，在夜间)进行。

电子设备的用户可基于各种输入形态诸如，经由控制器和/或语音输入与扩展现实环境进行交互。可利用标识符集，以便解译这些用户输入。因此，可至少部分地基于标识符集来确定与用户的语音输入相关联的意图。例如，可接收与布景的表示相关联的用户输入，诸如包括“将我的花瓶移动到架子”的语音输入。可从语音输入标识对象参考，诸如“花瓶”。可检测到与所标识的对象参考相匹配的一个或多个描述性标识符。例如，可利用应用程序编程接口(API)来查询标识符集，以便检测相应描述性标识符。这里，“花瓶”的与标识符306(“花瓶”)相关联的描述性标识符可基于与对象参考“花瓶”的匹配来标识。具体地，基于标识符集，定位标识符306，这对应于图2A中的花瓶表示206。因此，基于所检测到的描述性标识符来提供输出，诸如描绘根据用户请求来移动的相应对象表示的输出。例如，如图2A至图2B所示，花瓶表示206可被显示为从桌子表示208移动到架子表示上的位置。

在一些示例中，涉及父类型对象的查询可导致检测到多个描述性标识符。例如，可接收到语音输入诸如“这个房间中有多少植物”。可(基于与所说词语“植物”的匹配)获得对应于“植物”的单个描述性标识符。在该示例中，对应于“植物”的相应标识符可与若干“子”标识符相关联。更具体地，标识符集可包括“和平百合”、“玉树”和“橡皮树”的标识符。每个标识符可与对应于“植物”的父标识符相关联。例如，标识符“和平百合”可连同父标识符一起被表示为“和平百合‘是一种’植物”。因此，查询结果可包括返回与父标识符“植物”相关联的所有标识符，具体地为“和平百合”、“玉树”和“橡皮树”的标识符。基于所返回的标识符，可向用户提供输出，包括“这个房间中有三种不同类型的植物”或者“这个房间中有三种植物，和平百合、玉树和橡皮树”。

参考图4，描绘了用于在扩展现实布景中显示虚拟显示的示例性过程400的流程图。过程400可使用用户设备(例如，设备100a)来执行。例如，用户设备可以是手持式移动设备或头戴式设备。在一些实施方案中，过程400使用两个或更多个电子设备(诸如通信地耦接到另一设备的用户设备)来执行。在各种示例中，用户设备的显示器可以是透明的或不透明的。过程400可被应用于例如扩展现实应用，诸如虚拟现实、增强现实或混合现实应用。过程400还可涉及包括可见特征以及不可见特征(诸如听觉、触觉等)的效果。过程400的一个或多个框可以是任选的，并且/或者可执行附加框。此外，过程400的框以特定顺序进行描绘，但应理解，这些框可以其他顺序来执行。

在框402处，获得布景的表示。在框404处，基于布景的表示来检测第一对象。在一些示例中，所检测到的第一对象对应于物理对象或虚拟对象中的一者。在框406处，检索标识符集。在一些示例中，标识符集包括与所检测到的第一对象相关联的描述性标识符，其中该描述性标识符标识所检测到的第一对象的类型。在一些示例中，标识符集包括与描述性标识符相关联的父标识符，其中该父标识符对应于对象类别。在一些示例中，标识符集包括与所检测到的第一对象相关联的关系标识符，其中该关系标识符标识所检测到的第二对象，并且该关系标识符标识所检测到的第一对象相对于所检测到的第二对象的位置。在一些示例中，所检测到的第一对象相对于所检测到的第二对象的位置的标识取决于所获得的布景的表示的视角。在一些示例中，标识符集包括与所检测到的第一对象相关联的关系标识符，其中该关系标识符将所检测到的对象标识为包含在所检测到的第二对象内。在一些示例中，标识符集包括与所检测到的第一对象相关联的关系标识符，其中该关系标识符将所检测到的第一对象标识为从所检测到的第二对象生成。在一些示例中，标识符集包括与所检测到的对象相关联的材料标识符，其中该材料标识符标识所检测到的第一对象内包括的物质的类型。在一些示例中，标识符集包括与所检测到的对象相关联的系数，其中该系数对应于所检测到的第一对象的属性。

在框408处，响应于检测到布景的表示的改变，基于第一定义集来修改标识符集。在一些示例中，所检测到的第一对象的移动从布景的表示检测到，并且布景的表示的改变基于所检测到的第一对象的移动来检测。在一些示例中，基于第一定义集来修改标识符集包括通过修改定义所检测到的第一对象相对于所检测到的第二对象的位置的位置值来修改与所检测到的第一对象相关联的关系标识符。在一些示例中，通过从布景的表示检测第二对象来检测布景的表示的改变。在一些示例中，根据确定第二对象不与标识符集中的任何标识符相关联，通过向标识符集添加以下项来修改标识符集：与所检测到的第二对象相关联的描述性标识符、与所检测到的第二对象相关联的关系标识符以及与所检测到的第二对象相关联的材料标识符。在一些示例中，根据确定第二对象不与标识符集中的任何标识符相关联，通过获得第一定义集并且将所检测到的第二对象标识为对应于第一定义集中包含的相应描述性标识符来修改标识符集。在一些示例中，将所检测到的第二对象标识为对应于第一定义集中包含的描述性标识符包括将所检测到的第二对象标识为对应于对象配置文件，其中相应描述性标识符对应于对象配置文件。

在一些示例中，从第三方获得第二定义集，并且响应于检测到布景的表示的改变，基于第二定义集来修改标识符集。在一些示例中，从第三方获得第二定义集，其中第一定义集包括第一相应描述性标识符，并且第二定义集包括与相应描述性标识符相匹配的父标识符和与父标识符相关联的第二相应描述性标识符。在一些示例中，从辅助电子设备获得第一定义集，并且将第一定义集存储在电子设备上。在一些示例中，从辅助电子设备获得更新的定义集，并且利用更新的定义集替换所存储的第一定义集。

在框410处，接收与布景的表示相关联的用户输入。在框412处，基于所修改的标识符集来确定对应于用户输入的用户意图。在一些示例中，基于所修改的标识符集来确定对应于用户输入的用户意图包括：从所接收的用户输入标识对象参考；从所修改的标识符集检测与对象参考相匹配的描述性标识符；以及基于所检测到的描述性标识符来提供输出。

如上所述，本公开技术的一个方面是采集和使用可得自各种来源的数据，以改进基于指称表达的虚拟对象放置。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。

本公开认识到在本公开技术中使用此类个人信息数据可用于使用户受益。例如，可使用个人信息数据来增强使用空间本体的对象标识的准确度。因此，使用此类个人信息数据使得用户能够有计划地控制对象标识。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。另外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的示例。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就使用空间本体的对象标识而言，本公开技术可被配置为允许用户在注册服务期间或其后的任何时间选择“选择加入”或“选择退出”以参与对个人信息数据的收集。在另一示例中，用户可选择不提供关于设备环境中的特定对象的信息。在又一示例中，用户可选择限制维持环境特定数据的时间长度，或者完全禁止收集某种环境特定数据。除了提供“选择加入”和“选择退出”选项外，本公开还设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的示例，但本公开还设想各种示例也可在无需访问此类个人信息数据的情况下被实现。即，本公开技术的各种示例不会由于缺乏此类个人信息数据的全部或一部分而无法正常进行。例如，如果用户正观察完全虚拟环境，则个人信息(诸如，频繁参观“虚拟厨房”的用户偏好)可能被限制使用(例如，虚拟厨房器具和其他对象的布置可以其他方式揭露关于用户的信息)。作为另一示例，可通过基于非个人信息数据或仅最低量的个人信息(诸如，由与用户相关联的设备请求的内容)、用于使用空间本体的对象标识的系统可用的其他非个人信息或公开可用的信息来推断偏好，从而选择内容并且向用户递送该内容。