用于集成和使用增强现实技术的系统和方法

相关申请的交叉引用

本申请要求于2020年11月5日提交的美国临时专利申请No.63/110281的优先权，该申请的内容通过引用完全并入本文中。

技术领域

本公开一般涉及扩展现实系统及其使用方法。更具体地，本公开涉及提供广义的扩展现实内容和体验以及狭义的增强现实内容和体验的创建、创作、消费、分发、显示、使用和跟踪的系统和方法。

背景技术

扩展现实(XR)是一个通用术语，指的是从真实环境与虚拟内容的组合创建的体验，诸如通过由计算机技术(包括可穿戴式设备)产生的人机交互创建的体验。XR的示例包括(i)增强现实(AR)，其中用户对存在于现实世界中的对象的感知通过计算机生成的感知信息来增强；(ii)虚拟现实(VR)，其中为用户模拟环境；(iii)混合现实(MR)，其中真实环境和虚拟环境被“混合”以产生新的环境和可视化，从而允许物理对象和数字对象共存并实时交互；以及(iv)上述各种的混合、组合和变体。因此，XR涵盖了从完全“真实”环境(可以由“虚拟”信息补充)到完全“虚拟”环境(可以基于或包含一些“真实”信息)的一切。

现有的AR体验通常涉及通过用户的感官(即，视觉、听觉、触觉、体感和嗅觉)中的一种或多种，用“虚拟”或计算机生成的感知信息来增强真实世界对象。另外，AR通常以虚拟对象和真实对象的实时交互和精确表示为特征。这通常是建设性地(通过在“真实”环境之上“覆盖”虚拟信息)或“破坏性地”(通过掩蔽真实环境的一部分)完成的。例如，通过使用要么是建设性的(在用户对真实环境的感知之上叠加额外的虚拟信息)，要么是破坏性的(遮蔽真实环境的部分)的眼镜，可以提供AR体验。这样，用户体验到“真实”环境和“虚拟”环境的无缝结合。AR在很大程度上是MR的同义词，尽管MR可以涵盖其中也包含“真实”对象的完全虚拟环境。

广义XR和狭义AR有利地允许用户体验将信息与他们周围的真实环境沉浸地融为一体的混合感知。

尽管广义XR和狭义AR在各种各样的领域有着明显的实际应用，但是现有的技术和解决方案存在许多重大缺陷。

许多现有的AR解决方案依赖于平台，需要为特定的用户设备创建内容。这使得难以广泛地部署AR内容，因为必须为将用于体验内容的每个独立平台重新创作内容。用户被进一步“锁定”于仅为其现有平台创建的内容，使得转移或升级更加昂贵和耗时，尤其是在必须为新平台适配或“重新创作”现有AR内容库的情况下。

现有的平台和技术也缺乏内容发现。用户通常必须选择要显示的特定内容。这需要关于在不同的上下文和位置、什么适用的内容可能可用的用户教育，这对用户的采用造成重大障碍，并且由于增加用户查找和获得与特定上下文或位置相关的内容所需的时间和精力，反而消除了通过使用AR内容所带来的一些效率增益。

为现有系统创作AR内容也是费力而复杂的过程，通常需要专家手动参与以便为每个特定平台创建内容。这提高了进入门槛，并且增加了用户创建可能与该特定用户相关的定制AR内容所需的成本和时间。

现有的AR解决方案也不适应于纳入新的模态或者允许MR、VR或其他XR体验的使用。这限制了用户可以获得的体验的范围，并且限制了用户在不必为了访问新内容而进行到新平台或不同平台的复杂和/或昂贵的转移的情况下、用户可以访问的内容的类型。

于是，对于解决了现有技术的上述缺点以及其他缺点的改进型广义XR系统和方法、以及改进型狭义AR系统和方法，本领域存在长期存在但尚未解决的需求。

发明内容

提供本发明内容部分是为了以简化的形式介绍在本公开的具体实施方式部分中进一步说明的一系列概念。本发明内容部分并不旨在识别要求保护的主题的关键或基本的发明构思，也不旨在确定要求保护主题的范围。

通常，本文中公开的系统可以包括后端模块和允许创建和/或查看XR内容的用户客户端。

一个实施例提供了一种系统，所述系统包括服务器，所述服务器包括数据库、一个或多个第一处理器和包含第一指令的第一存储器，所述服务器通信地耦接到用户设备；其中所述第一指令当由所述一个或多个第一处理器执行时使所述服务器进行操作，所述操作包括：从所述用户设备接收创建新的AR内容的第一命令；经由所述用户设备显示第一多个选项，每个选项对应于AR内容的类型；从所述用户设备接收指定所述第一多个选项中的第一选项的第二命令；生成与所述多个选项中的第一选项对应的类型的AR体验；以及将AR体验存储在所述数据库中。

又一个实施例提供了一种系统，所述系统包括：用户设备；服务器，所述服务器通信地耦接到所述用户设备和一个或多个数据库，所述服务器包括一个或多个第一处理器和包含第一指令的第一存储器；其中所述第一指令当由所述一个或多个第一处理器执行时使所述服务器进行操作，所述操作包括：向所述用户设备发送被配置为使所述用户设备生成图形用户界面的第一组命令；从所述用户设备接收第一组信息；向所述用户设备发送来自所述一个或多个数据库的第二组信息，所述第二组信息被配置为使所述图形用户界面显示XR体验，其中所述第二组信息是至少部分基于所述第一组信息选择的；从所述用户设备接收与在查看所述XR体验时在所述用户设备上采取的一个或多个动作对应的第三组信息；以及基于所述第三组信息，变更所述一个或多个数据库中的至少一个数据库的内容。

另一实施例提供了一种显示XR体验的方法，所述方法包括以下步骤：在用户设备上显示多个选项，每个选项对应于XR体验；从所述用户设备接收与所述多个选项中的第一选项对应的选择；在所述用户设备上显示与所述选择对应的XR体验；在显示XR体验的同，时从所述用户设备接收与所述用户设备的位置对应的第一传感器数据；在显示XR体验的同时，从所述用户设备接收与邻近所述用户设备的真实世界图像对应的第二传感器数据；在显示XR体验的同时，从所述用户设备接收与提供给所述用户设备的输入对应的第三传感器数据；以及至少部分基于第一传感器数据、第二传感器数据和第三传感器数据调整显示的XR体验。

附图说明

当结合附图阅读时，可以更好地理解上述发明内容以及以下的本公开的具体实施方式。为了说明本公开的目的，在附图中示出了本公开的发明的示例性结构。然而，本文中的公开和发明并不限于本文中公开的具体方法和手段。

图1示例性地图示根据实施例的创建AR内容的方法的框图。

图2示例性地图示根据实施例的准备AR内容的方法的框图。

图3示例性地图示根据实施例的用于跟踪和报告信息的系统的示图。

图4示例性地图示根据实施例的系统的框图。

图5a-图5c示例性地图示根据本发明的实施例的用于显示AR内容的软件的用户界面。

图6示例性地图示根据实施例的创建AR内容的方法的框图。

图7图示根据实施例的使用云编辑器的示例性过程创建流程。

图8是根据实施例的用于创建地理定位的AR体验的示例性过程流程。

图9是用于查看地理定位的AR体验的示例性过程流程。

图10图示根据实施例的云仪表板(dashboard)的实施例的示例性用户界面。

图11图示根据实施例的创建“基础体验”时的平台创建模块的示例性用户界面。

图12图示根据实施例的创建“高级体验”时的平台创建模块的示例性用户界面。

图13图示根据实施例的用于选择AR位置的示例性用户界面。

图14图示根据实施例的用于上传资产的示例性用户界面。

图15图示根据实施例的用于复查或预览AR的示例性用户界面。

图16图示根据实施例的用于选择AR体验的发布时间范围(frame)的示例性用户界面。

图17图示根据实施例的用于复查现有AR活动的示例性用户界面。

图18图示根据实施例的“房间”选项卡的示例性用户界面。

图19图示根据实施例的当通过桌面客户端查看其他用户的房间时的加载界面的示例性用户界面。

图20图示根据实施例的在登录界面的在智能电话机上运行的用户应用的示例性用户界面。

图21图示根据实施例的在房间中利用AR体验工作时用户应用的示例性用户界面。

图22图示根据实施例的云创建编辑器的示例性用户界面。

图23图示根据实施例的在图22中创建的示例性AR体验。

图24图示根据实施例的与放置在真实世界环境中的AR对象的示例性交互。

图25图示根据实施例的VR模式的操作。

图26描绘了根据实施例的这种可变内容的示例性图解。

图27描绘了根据实施例的用于群组协作的用户界面的示例性图解。

图28～图44描绘了根据实施例的用于移动应用的用户界面的示例性图解。

具体实施方式

下面的公开作为一个整体，可以在结合附图、附图说明、摘要、背景、本公开的领域和关联的标题阅读时，通过参考所提供的具体实施方式来最好地理解。在不同的附图上找到的相同附图标记标识相同的元件或功能上等同的元件。摘要中列出的元件没有被标识，但仍然通过与具体实施方式和关联公开内容的元件关联来标识。

TeamworkAR

本公开的实施例涉及称为“TeamworkAR

图4图示TeamworkAR

实施例包括可配置为跨多个设备(包括智能电话机、膝上型计算机、平板电脑、可穿戴式设备和其他计算技术)工作的用户应用。在实施例中，用户应用向其用户提供在AR设定中对自我引导帮助的访问，从而在包括娱乐、技术设计和工程、服务台设定在内的广泛领域提供实用性，并提供一般培训和支持。用户应用被配置为基于通过用户应用提供的特定内容在完全不同的设定和领域中工作。在实施例中，用户应用被配置为在标准web浏览器上运行。在实施例中，用户应用被配置为基于其上运行用户应用的设备的特定传感器、显示器和其他硬件特征来自动启用和禁用功能。

实施例包括允许操作者创建、定制和激活XR体验的创作软件。这些XR体验可以由用户应用根据它是从web、移动设备还是更有能力的硬件平台运行而自动定制。在实施例中，提供包括应用编程接口(API)的后端软件，该应用编程接口可从在web客户端中以及其他平台上运行的用户应用访问。

在实施例中，用户应用的用户可以被分组(称为组织)，每个组织能够单独订阅XR内容体验。在一个实施例中，创作软件采用机器人过程自动化将大量预先存在的内容变换为AR或XR体验。这包括脚本摄影测量转换、对象转码和转换，以及跨多个信道(诸如基于网络或通过移动应用)的部署。

在实施例中，系统根据xPAI eLearning规范采用各种AR技术、地理位置放置、计算机视觉、特征点收集、特征点检索和学习记录存储(LRS)，以使个人能够在AR体验中与人工制品交互，并能够验证用户对AR人工制品的学习动作，并且能够向数据报告储存库报告这些活动。

实施例向用户提供从包括JPEG、MP4和3D模型在内的各种形式的图形文本和视频创建AR对象和图像、并经由位置标识符将它们放置到真实位置的能力。实施例允许大量摄取数据，数据然后被自动转换并作为带有地理标记的AR内容放置到对应的真实世界位置。通过跟踪用户的真实世界位置，然后可以通过用户应用向用户显示适当的AR内容。

云仪表板

实施例提供基于web的云平台，用户可以通过该云平台管理内容、体验并创建新的AR内容以供分发。在实施例中，云仪表板使用户能够上传媒体(包括图片、视频和3D模型)，将媒体转换为XR和/或AR内容，并将这样的内容分发给他们组织的成员。在实施例中，云仪表板使用户能够基于特定的地理位置搜索和定位新的XR和/或AR内容。在实施例中，云仪表板允许用户经由点云数据库(诸如虚拟数字板、导航寻路器)发现新的XR和/或AR内容。在实施例中，云仪表板使用户能够通过XR和/或AR工具参与与其他用户的基于web的电话会议。在实施例中，云仪表板使用户能够向云平台存储和从云平台检索视频体验。在实施例中，云仪表板使用户能够邀请其他人连接(例如，通过电子邮件或直接帐户分配)。在实施例中，云仪表板使用户能够将工作流集成到如ServiceNow

在实施例中，云仪表板使用户能够采用现有的内容管理系统(CMS)工具来管理用户、角色和组织结构。在实施例中，云仪表板使指定的用户能够将特定XR和/或AR内容推送给他们组织的其他成员。

在实施例中，云仪表板的特征也可以在本地(诸如通过用户应用)提供。

图10图示根据本公开的实施例的云仪表板的实施例的示例性用户界面1000。如图所示，向用户呈现“参加会议”1002或“主持会议”1004的选项(如本文中所述，利用XR和/或AR功能启用这样的会议)。用户可以进一步探索其他用户当前查看的活动“房间”或XR和/或AR体验1006、管理他们的组织内的用户和/或用户可用的模型1010、管理用户可用的媒体(诸如视频)1012、管理用户是其成员的组织1014、查看使用日志1016、管理用户已经访问的现有AR体验1008以及创建新的AR体验1018。

图18图示“房间”选项卡的示例性用户界面1800。如图所示，用户可以加入1802个人“房间”(其中可以显示期望的AR体验)，或者邀请1804其他人加入他们的房间。邀请可以通过云仪表板发送或者通过向其他用户提供直接链接来发送1806。

图19图示当通过桌面客户端查看其他用户的房间时的加载界面的示例性用户界面1900。如图所示，加入房间的用户可以选择让软件访问他或她的本地设备上的相机1902，以便能够进行视频参与和/或显示包含用户的真实世界环境的各个方面的AR内容。在图5b中图示了智能电话机上的该用户界面的备选实施例。

图5a-图5c图示了智能电话机上的用户界面500。如图5a中所示，当在房间中时，所有用户可以查看相同的真实世界环境502，并创建对其他用户可见的AR注释504。用户可以同时经由音频、视频和/或文本进行通信；视频馈送506b和/或用户图标506a与界面的其余部分同时显示。如图5b中所示，可以提示用户给予相机访问508，以便与其他用户共享视频。如图5c所示，不需要添加AR内容，因为用户可以改为选择仅共享真实环境(或仅共享音频、视频和/或文本信息)。此外，用户可以经由内置于所有移动应用和web应用中的媒体同步系统，实时一起移动增强现实内容(缩放、旋转和平移)。

AR内容的创建。

在所示的实施例中，内容创建由平台创建模块和云编辑器控制。在实施例中，可以由平台创建模块创建的内容的类型被分类为“基础体验”(或“基本体验”)或“高级体验”。云编辑器允许创建和部署定制AR内容的动画自由形式创建。

图1描绘了创建AR内容的方法014的示例性框图。如图所示，该方法始于步骤000。在步骤001，用户登录到系统并选择“创建”选项。然后，用户选择创建简单(或基本)AR事件002、创建复杂(或高级)AR事件003或创建自由形式AR事件004。如果用户选择了简单事件002或复杂事件003，则在进行到创建流程008、010(如图2中所示)之前，向用户呈现关于期望内容的类型的预定选项005、006。下面更详细地讨论这些选项中的每一个。对于自由形式AR事件，用户被带到云编辑器007(如下所述)，然后，在最终将新创建的内容发布到本地存储器012和/或基于web的格式013之前，判定内容是基于应用的011还是基于在线的。

图11图示当创建“基础体验”1102时的平台创建模块的示例性用户界面1100。基本体验是简单的模块化AR体验，比如用相机识别图像或物品，并基于图像的识别呈现AR体验。在图11中所示的实施例中，可用的基础体验是图像识别事件(即，识别从相机获得的和/或以其他方式上传到系统的图像)1104；创建模型放置(即，将现有模型放置在AR体验中)1106；放置指令指南(即，将现有指南放置在AR体验中)1108；创建虚拟奖励1110；创建虚拟视频消息(即，可以包括AR内容的录制视频)1112；以及创建AR位置体验(即，当用户处于物理的、真实世界位置时触发的AR体验)1114。在实施例中，系统采用简单的多媒体(例如图片、视频和3D模型)，并将它们打包为可发现的AR体验。可以创作这些体验以提供“行动召唤”按钮，并且是可跟踪的。如图所示，用户可以访问具有查看房间、人员、邀请、AR体验、设定、用户管理、模型管理、视频管理和组织管理的选项的顶层菜单1118。此外，用户可以选择创建查看当前活动1120。

图2描绘了用于摄取的内容的示例性高级过程创建流程。通过在步骤200摄取基础模型，开始该方法。接下来，在步骤201调用一个或多个RPA脚本。在步骤202，通过使用一个或多个工具和脚本来实现媒体转换。在步骤203，以适用的格式存储内容。在步骤204，向webAPI通知该过程已经完成。

图6描绘了用于摄取的内容的特定示例性过程创建流程600。如图所示，该方法始于步骤602。在步骤604，在用户上传文件以转换为AR内容之后，服务器向“编排器(orchestrator)”过程发送开始作业请求。在步骤604，编排器模块利用来自服务器的输入(诸如文件名、文件位置等)开始一个或多个转换作业。在步骤606，RPA作业从来自编排器的输入开始。在步骤608，机器人接收作业请求，之后在步骤610，RPA作业从S3下载所请求的文件。在步骤614，判定是否使用Vectary进行转换(例如，检查Vectary是否可用)；如果是，则在步骤626进行转换，之后在步骤620，机器人上传转换后的文件。否则，在步骤616，判定是否使用Blender进行转换(例如，检查Blender是否可用)；如果是，则在步骤628进行转换，之后在步骤620，机器人上传转换后的文件。如果Blender不可用，则在步骤618使用Maya进行转换，之后在步骤620，机器人上传转换后的文件。正如对本领域的技术人员清楚的是，代替所指出的这些模型软件，可以使用其他第三方模型软件，并且可以进行另外的(或更少的)检查。在每个实例下，转换步骤618、626、628涉及导入文件、选择要转换为的适当文件类型，以及导出文件(视情况而定)。在步骤622，RPA作业向系统通知转换完成。在步骤624进行检查是否有任何额外的作业，如果没有，则该方法在步骤630结束。

图12图示当创建“高级体验”1202时的平台创建模块的示例性用户界面1200。高级体验是可以针对更特定的用户需求量身定制的复合体验。在所示的实施例中，高级体验包括创建聊天机器人1204；创建寻宝游戏1206；创建地图路标系统1208；请求机器人过程自动化(RPA)抓取(即，使用RPA自动化来获得信息，诸如从一个或多个网站获得信息)1210；以及创建(调用云编辑器的)自定义动画1212。

在实施例中，AR内容和体验是以设备无关的方式创作的。这允许在任何能够运行用户应用的设备上访问AR内容。可以使用设置在设备上的任何传感器来捕获位置信息(包括GPS和高度)。对于缺乏适当传感器的设备上的用户，可以手动提供信息(例如通过拾取或设定海拔高度，包括通过提供诸如“我在康卡斯特中心34层”之类的信息)。自动化工具可以获取可用信息并自动将其转换为期望的地理位置数据，或者涉及人工操作员协助进行所需的转换。在有其他传感器可用的情况下(诸如气压计高度)，这可以直接用于精确地指示用户的位置。

通过这种方法，用户可以精确地将任意AR体验与特定的真实世界位置关联起来。这使得能够创建向他人做广告或允许特异性/有时间限制的体验的订阅服务。此外，可以具有特异性地传递内容，从而实现更好地集成到放置区域中(例如，多个项目、物理位置资产、光的温度)。在实施例中，AR内容和体验用地理信息(诸如纬度、经度和/或海拔高度信息)进行编码；该地理信息随后被云仪表板和/或用户应用使用，以将AR内容和体验与期望的真实世界位置关联起来。在实施例中，当运行云仪表板和/或用户应用的设备接近由地理信息标识的真实世界位置时，AR内容和体验被触发，并且AR内容和体验仅在真实世界位置被显示。在实施例中，云仪表板和/或用户应用的每个实例都能够与一定邻近范围内的每个其他实例通信，从而使所有这样的实例能够共享真实空间中的事件位置和信息，使得能够实现实例之间的交互，从而允许跨实例的共同体验。

在实施例中，云仪表板和/或用户应用能够从被配置为云仪表板或运行用户应用的任何设备创作AR体验(包括特定放置、类型和内容)。在实施例中，AR体验是使用开放标准(诸如GeoPose、Machine Readable World和Spatial Discovery Service)创作的。

在实施例中，云仪表板和/或用户应用被配置为与ARKit和ARCore一起工作。内容创建者可以通过光照估计访问多个值，包括光强度值和平均色调值。在实施例中，使用Unity 3D中的后处理效果来改善AR内容和体验的放置和视觉可读性。

下面说明根据实施例的用于创建基于位置的AR体验的示例性过程。这种基于位置的体验可能只有物理上位于指定位置的用户才能发现。可以用颗粒细节来指定位置，包括通过经度、纬度和海拔高度的使用。在实施例中，可以通过其他地理定位手段来指定位置，诸如要求本地设备连接到特定的有线或无线网络，或者从发射器(诸如RFID标签)接收信号。

如图13中所示，用户首先通过使用地图1104、输入地址1106(在实施例中，地址1106可选地包括建筑物的楼层1110)，或者在访问用户应用或云仪表板之前物理地行进到该位置来选择AR位置1102。用户可以定义AR位置将应用于其中的特定半径1108。用户界面包括指示符1112，指示符1112指示在部署或“上线”体验方面所取得的进展。

如图14中所示，用户接下来上传新的资产1402和/或选择先前为体验提供的资产1106。在所示的实施例中，通过将资产拖放到指定区域来上传资产。正如对本领域的技术人员清楚的是，可以使用该用户界面的备选方法(诸如打开文件浏览器)。

如图15中所示，用户然后可以预览体验。在所示的实施例中，用户可以使用运行用户应用并具有相机或扫描仪的本地设备来扫描所呈现的QR码1502，以自动参与体验，而不必物理地行进到与体验关联的位置。这允许位于远离物理位置的用户为该位置创建和测试体验。

一旦体验完成并且不需要进一步的改变，如图16中所示，用户然后就可以指定名称1062，并选择该体验将变为可用的时间段1604。用户可以发布体验1606，或者选择保存体验以供以后使用1608(而不将其发布给其他用户)。这允许用户发起基于时间和地点的活动，基于时间和地点的活动自动过期，并且只对在特定的真实世界位置的用户可用。

如图17中所示，用户可以复查所有活动的活动(即，当前发布给其他用户的体验)1702、不活动的活动(例如，不再发布的体验)1704，并根据需要修改1706或删除1708它们。在实施例中，可以通过单个切换开关1710来发布或停用活动。提供关于每个活动的细节1712，包括类型、状态、查看次数、活动日期和发布状态。如本文中所述，还可以创建新的AR体验1714。

图8描绘了用于创建地理定位的AR体验的示例性过程流程800。该过程始于步骤802，用户登录，然后在步骤804创建AR体验。然后在步骤002，用户为体验选择地理位置(如上所述)。用户可以自定义将出现模型的每个元素的精确位置(在3D空间中)，然后选择体验将可用的开始和结束日期(如果需要)。

图9描绘了用于查看地理定位的AR体验的示例性过程流程900。用户通过登录从步骤902开始。然后，在步骤904，系统获得关于附近的对象和/或AR体验的信息。用户可以选择在步骤906查看最近的体验(或用户在其范围内的任何体验)，或者在步骤908从菜单中选择一个或多个体验。在步骤910，所选择的体验要么被访问(如果已经被本地高速缓存)，要么被下载并放置在用户周围的虚拟空间中。然后，在步骤912，用户可以通过移动用户的设备以显示真实环境和虚拟环境的各个部分来查看体验。

图20图示在登录界面的在智能电话机上运行的用户应用的示例性用户界面2000。在所示的实施例中，为了访问用户应用，用户必须输入他或她的凭证(示出为包括用户名2002和密码2004，尽管可以使用其他凭证)，然后通过本地或远程存储的凭证数据库来确认这些凭证。

图21图示在房间中利用AR体验工作时用户应用的示例性用户界面2100。所示的AR内容2100(这里，用虚线示出的注释)被示出为指导用户如何与真实世界交互(即，通过移除特定的导线)。用户可以通过“挂断”离开房间，并可以选择使用菜单2104来禁止与房间的其他成员的音频和/或视频共享。用户可以使用设置在屏幕顶部的工具2106来创建AR注释，这些注释然后对于同一房间中的其他用户是可见的。在所示的实施例中，房间通过一个用户的设备上的相机向房间中的所有其他用户显示该用户的真实环境。这些其他用户然后可以在还通过音频、视频和/或文本进行通信的同时提供AR注释。这使位于远程的用户能够通过复杂的真空世界操作来相互指导。

图22图示云创建编辑器的示例性用户界面2200。如图所示，用户可以放置一个或多个对象2202，然后这些对象2202可以被动画化。文本2204可以被添加到对象中或者显示为AR体验中的注释。可以使用所提供的工具2206单独地操纵和/或动画化每个虚拟项目。可以创建新的行为2208和动作2210，并且可以预览动画2212。

图23图示在图22中创建的示例性AR体验2300。如图所示，文本2304c和图像2304a、2304b被配置为在特定真实世界位置处叠加在真实世界环境2302上。用户然后可以使用包含在AR内容中的超链接与AR内容进行交互(诸如通过给所指示的不动产代理打电话或发电子邮件)。类似地，AR内容中的超链接允许用户获得更多的信息(诸如通过访问网站或参与更精细的AR体验，诸如通过在虚拟环境中参观房产)。

图7图示使用云编辑器的示例性过程创建流程700。如图所示，用户通过打开云编辑器704并使用其凭证706进行登录来开始702，之后在步骤708，选择加载现有场景或创建新场景。在步骤711，用户将一个或多个用户界面图标拖动到工作空间中以创建一个或多个对象。在步骤712，用户通过在3D环境中拖动对象并从菜单中选择一个或多个性质来编辑对象性质。可替选地或同时地，在步骤710，用户可以创建一个或多个行为，之后在步骤714，使用所提供的菜单编辑对象的行为。在步骤716，用户可以选择保存场景以供以后使用或发布，之后在步骤718上传场景。

图24图示用于与放置在真实世界环境2404中的AR对象2402的交互的示例性用户界面2400。如图所示，用户可以使用由用户应用提供的控件2506与AR对象2402完全交互。这使用户能够在处理物理对象本身之前，使用用户应用进行诸如工作的预先工作或预先研究之类的任务。例如，用户可以使用移动手势测试特定程序(提供更简单形式的实践培训)，或者根据需要获得补救或复习工作而无需访问物理对象。这对于工厂环境中的用户来说尤其有利，工厂环境中的用户可能无法在不停止工厂操作的情况下与物理机械进行交互(可能在生产损失中花费大量时间和/或费用)。

图25图示VR模式的操作2500。在所示的实施例中，用户可以在虚拟环境中与真实世界对象的虚拟表示进行交互。这样的VR体验可以结合现有的VR技术，诸如Oculus Quest，并允许模拟整个真实世界的任务。这使得用户能够在不需要访问物理对象的情况下获得沉浸式训练(这可能是正式认证所必需的)。在实施例中，在虚拟环境中提供指导(诸如用于完成任务的指令)以及基于用户的动作的实时反馈。在实施例中，教练可以远程监控表现并提供实时反馈。在所示的实施例中，显示机器2502的虚拟表示。使用VR注释2506引导用户模拟将零件2504a放置在机器2502的特定位置2506；用户必须使零件2504a的表示与其VR注释版本2504b匹配。

在实施例中，用户应用提供反馈机制，由此系统检测到的所有与技能相关的用户动作经由xAPI语句记录到LRS。在实施例中，这样的动作经由自然语言理解(NLU)功能发送到在线表现跟踪(例如，Twilio)。实施例提供被配置为向用户提供交互式语音响应(IVR)以提供即时交互式反馈的聊天机器人。具体的反馈可能包括“自动故障”的通知或者虚拟进行的动作(该动作如果在真实环境中执行会有危险)、对特定任务的出色或标准熟练程度的通知、错误的即时补救，以及基于糟糕表现的干预。在实施例中，对跟踪语句进行加权，并且总体通过/失败补救阈值或者由管理员预先配置，或者按预先定义的重要性(即，破损、危险)进行加权。

对于采用在线跟踪的实施例，在实施例中，离线设备被配置为将跟踪信息存储在离线存储器中，并且一旦检测到网络连接就将所有本地高速缓存的记录上传到在线存储器。

机器人过程自动化(RPA)的使用

实施例采用RPA来实现从公共数据库和/或专用数据库的数据调用和处理。在实施例中，可以基于现有的非AR内容的RPA处理来创建和填充AR内容。在实施例中，RPA提供预先存在的非AR内容的大量摄取，创建AR内容，并将新创建的AR体验与其他AR内容和/或真实世界位置关联起来。在进行处理以将所获得的内容与预先创建的AR模板匹配之前，可以通过利用屏幕抓取、OCR处理和/或其他自动化方法来获得现有信息。这种定制的AR内容可以用包括窗口小部件、交互性、对动作的调用、web链接等的特征来自动填充。AR内容可以在被组合成单个包(例如，以ZIP格式)之前通过RPA和JavaScript对象表示法(JSON)清单的组合来填充。一旦获得AR内容，AR内容就可以被手动或自动地部署到特定的用户或组织。可以向用户提供指示新创建的内容的可用性的通知。

在实施例中，内容被自动组合成AR体验，该AR体验并入了在不同距离(诸如较远、较近和附近)的信息，其中所显示的内容基于用户与位置的距离来适配。图26描绘了这种可变内容的示例性图解。当用户接近位置时，可以显示远距离内容2602，从而提供与该位置相关的高级信息。如图所示，该高级信息可以包括关于房产是否“待售”的信息，如果是，则包括当前要价。随着用户的接近，该信息的显示可以适配并补充到“较近”内容2600。这里，“较近”内容包括虚拟的“待售”标志和一个或多个来自房产内部的图像。如果用户希望，则显示“接近(close)”内容2604。这里，“接近”内容包括特定房产的楼层平面图。如2606中所示，该内容可以通过使用RPA从网站获得信息，将其处理成相关的AR内容，并在真实世界位置填充AR体验来生成。

图3图示使用RPA来创建AR内容的处理内容的示例性方法。如图所示，当一个或多个项目被加载到系统中时，该方法开始于步骤100。在步骤001，系统处理或摄取所提供的内容，并将该内容分类为图片102、模型103或视频104。“其他”内容可以手动匹配到现有的模板(例如，应当以图形方式显示的文本信息)。对于每种类型的内容，系统着手准备该内容105、106、107，之后在步骤108将其分配给适用的地理位置。然后，在内容被发布(发布到基于应用的存储器或在线数据库)之前，在步骤109向用户提供预览或复查生成的内容的机会。

TeamworkAR

在实施例中，TeamworkAR

在实施例中，使用Unity XR工具包来创建体验。除了跟踪用户的宏观和/或微观运动之外，实施例还提供诸如眼球跟踪之类的功能。在实施例中，这种合规跟踪用于为工具和/或手操作提供认证。

现有技术的示例性使用

实施例被配置为利用现有的AR邻近技术来提供无缝AR体验。在实施例中，眼球跟踪的实现是通过与AR Foundation、Unity XR工具包和在Unity3D上可用的底层XR插件的整合来完成的。在实施例中，Twilio Autopilot用于提供NLU功能。在实施例中，解析光学字符识别(OCR)和OpenCV，并将表现指标发送到具有IVR功能的聊天机器人，以实现对真实环境中可见的文本的理解和响应。在实施例中，表现指标被存储为原始xAPI跟踪语句。

TeamworkAR

以下的说明提供用户应用的示例性用例。这些说明是对其中可以有利地采用本公开的实施例的各种使用领域的说明(而不是限制)。

在实施例中，用户应用被配置为协助解决硬件问题。在本实施例中，其上运行用户应用的计算设备(诸如标准智能电话机)包括相机和显示器。用户激活用户应用，使得其用户界面显示在智能电话机的屏幕上，并将智能电话机的相机指向需要修理的设备。获取通过相机获得的信息的用户应用将设备的外观与可能被修复的设备的已知数据库进行比较，以便识别有问题的特定设备。然后，用户应用使用用户界面向用户显示一系列预先定义的选项，从而识别可以进行的修理类型。一旦用户使用智能电话机上的标准输入端(例如，包括在智能电话机的显示器中的触摸屏)选择了要完成的特定修理任务，用户应用就会使用用户界面呈现在修理中要执行的步骤。这些步骤可以作为文本信息和/或注释显示在要修理的设备上。例如，如果必须拆卸一系列的螺钉，则用户界面可以显示向用户通知要完成的任务的文本，同时还突出显示或以其他方式将用户的注意力引导到要拆卸的特定螺钉。在必须操纵设备(例如，转动设备以便露出要拆卸的螺钉)的情况下，用户界面可以显示注释(诸如箭头)或动画(诸如设备旋转的叠加图像)，以便指导用户进行必要的动作。通过使用智能电话机的传感器(例如，相机)监测用户的处理，用户应用识别一旦问题已经解决，就能够在必要的时间(并且按所需的顺序)显示正确的一系列步骤，以完成修理任务。

如本文中所讨论的，通过将程序简化为一系列所需的和备选的步骤、可能的工作流和视觉上动画化的表示，可以预先创作要完成的每个程序的内容。

通过以这种方式呈现信息并适应用户进行的动作，实施例实现了降低成本，提高效率，减少停机时间，增强训练选项，降低退还量，并且加速技术采用。

在实施例中，在有或没有实时人工辅助的情况下，指导工厂中配备有运行用户应用的设备的操作员通过维护程序。与之前一样，使用AR在设备上向操作员显示维护程序中的每个步骤，并且当设备上的传感器监测操作员的进度时更新显示。

在实施例中，在训练环境中使用用户应用，其中使用设备上的用户应用虚拟地向受训者呈现特定项目。受训者可以虚拟地与物品交互，使受训者能够获得修理或使用物品的“亲身动手”体验，而不存在与获得、运输和以其他方式提供关于真实世界物品的训练关联的成本。结果可以容易且花费不多地扩展到大型工作组，因为训练完全在数字环境中进行。

在实施例中，销售团队雇佣用户应用销售人员利用虚拟演示来补充电话、电子邮件、文档和线性视频，所述虚拟演示为实际或潜在客户提供AR呈现，以丰富销售体验。

在实施例中，用户应用用于提供客户支持。需要支持的个人首先访问用户应用，该用户应用试图将个人的问题与用户应用中包含的预加载解决方案相匹配。如果发现匹配，则个人使用用户应用来解决问题，而无需客户支持的进一步参与。如果找不到匹配，则用户应用通过使用由运行用户应用的个人设备上的传感器提供的视频、音频和/或其他信息，将个人连接到客户支持代理，以允许进行全面的故障排除和支持。客户支持代理不仅可以从个人的设备收集信息，还可以向用户显示AR内容，以指导用户通过故障排除或修理过程。

图27描绘了根据实施例的用于群组协作的用户界面2700的示例性图解。如图所示，用户界面2700可以显示参与者的视频2702、参与者的静止照片2706或参与者的文本指示符2704。

多个个人可以连接在一起并进行交互，同时体验相同的内容2718，该内容可以是AR、VR或视听内容。如图所示，内容2718是由用户之一的相机拍摄的实况视频流；AR内容可以叠加在其上或者并入其中。用户界面2700还包括用于共享视频2708、使用户静音2710、连接到扬声器或其他音频设备2712、访问附加选项2714或结束连接2716的选项。

示例性移动应用

图28～图44描绘了根据实施例的用于移动应用的用户界面的示例性图解。

如图28～图30中所示，在实施例中，在启动时显示登录界面2800。登录界面2800可以包含应用和/或其提供商的标识符2802、用于输入用户标识符(例如，用户名或电子邮件地址)的用户栏2804、密码栏2804和提交按钮2808。在实施例中，使用屏幕键盘2810来输入信息。在备选实施例中，省略了屏幕键盘2810，而使用其他手段输入信息，诸如作为例示而非限制，物理键盘、语音到文本、或本领域技术人员将意识到的其他输入设备。

如图31～图33所示，在实施例中，在首次启动时，在认证之后显示欢迎界面3100。欢迎界面3100可以包含应用和/或其提供商的标识符2802，图示应用的使用的信息图形3102、3112、3116，说明应用的使用的信息文本3104、3114、3118，访问信息视频或其他信息的选项3106，当前视图相对于欢迎界面3100整体的位置的指示符3108，以及跳过介绍的选项3110。

图34和图35描绘了用于选择AR体验的用户界面3400的实施例。如图所示，用户界面3400包括用于选择AR体验的选项3402和选择房间的选项3404，以及用于添加AR体验的选项3406。如图34所示，最初可能没有可用的AR体验，并且用户界面3400显示大意如此的消息3408。一旦添加了AR体验，就显示并可以选择每个可用AR体验的视觉标记3502。

图35描绘了用于下载资产的用户界面3600的实施例。可以远程下载AR体验和其他内容以在本地应用上使用。

图36和图37描绘了用于选择房间的用户界面3600的实施例。如图所示，用户界面3600包括用于选择AR体验的选项3402和选择房间的选项3404，以及用于创建房间的选项3702。如图36中所示，如果没有可用的公共房间，则向用户提供创建房间的选项3702或加入指定的私人房间的选项3704。或者，如果公共房间可用，则如图37中所示，显示可用房间的列表3706。该列表可以包括关于房间的细节，诸如每个房间中的用户的数量、房间的主题或标题或者已存在于房间中的用户的姓名。

图39和图40描绘了用于访问房间的用户界面3900的实施例。如图所示，向房间中的所有用户显示可以是AR、VR或视听内容的内容3912。向用户呈现用于复查内容的选项3902，包括注释内容3912或将AR元素并入其中。如图所示，内容3912是由用户之一的相机拍摄的实况视频流；AR内容可以叠加在其上或者并入其中。用户还可以选择与房间中的其他用户聊天3904、向房间中的其他用户显示白板3906以及向房间中用户传送文件3908。控件3910使用户能够修改内容3912(例如，通过翻转相机)、如本文中所述的控制音频选项、离开房间或邀请用户进入房间。如图40中所示，选项3902是上下文敏感的，并且可以允许用户注释内容3912或者向内容3912添加AR元素。

图41和图42描绘了用于与其他用户进行聊天会话的用户界面4000。如图所示，用户具有返回到显示可用聊天的菜单的选项4206。在列表4002中显示聊天中所包括的用户，在列表4002下方是聊天中发送的一系列消息4004。用户可以在输入栏4008中输入新的消息。在实施例中，使用屏幕键盘4010输入信息。在备选实施例中，省略了屏幕键盘4010，而使用其他手段来输入信息，诸如作为例示而非限制，物理键盘、语音到文本、或本领域技术人员将意识到的其他输入设备。

图43和图44描绘了用于将用户添加到聊天中的用户界面4200。可以通过SMS消息4212和通过电子邮件4214，从系统4210添加用户(例如，使用单独设备的移动应用上的其他用户和/或通过web浏览器或其他设备访问系统的用户)。一旦用户被邀请，他们就会接收到具有使用所选服务加入聊天的链接的消息。可以通过搜索4208定位用户，并且显示所选服务上的可用用户的列表4206。可以选择4216一个或多个用户，然后可以自动地添加或在选择加入(例如，通过选择链接)后添加一个或多个用户。

附加实施例

在实施例中，用户应用被配置为允许众包(crowdsourced)解决方案。当用户使用用户应用解决了存储在用户应用中的现有解决方案解决不了的新问题时，用户应用可以自动记录用户为创建新的解决方案(解决方案然后被推送给其他用户)或者将特定问题标记为需要开发新的解决方案而采取的步骤。

在实施例中，用户应用用于整合AR、数字孪生、体验API(或xAPI)和计算机视觉，以帮助用户在物理上不存在的设备上学习，使用AR来显示该设备，同时报告学习活动。

在实施例中，用户应用用于提供现场服务。用户应用使用AR向客户和/或技术人员提供逐步说明，以使他们可以完成任务或修理。使用计算机视觉或其他传感技术跟踪和验证对工作人员的动作，同时提供即时反馈，并记录所有的活动以供学习和/或遵守。

实施例可以用于各种行业，包括制药、医疗和保健。连同用于AR放置的计算机视觉，实施例使用地理位置和锚点改进来减少漂移，以便在患者身上对准医学图像。

实施例提供AR数字指令、视频和音频协作、绘图注释、表单扫描、以及图像和对象识别。

石油、天然气、公用事业和采矿行业的实施例提供了VR安全模拟、石油钻井平台虚拟协作、自主SOP和检查表。

汽车、航空和宇航行业的实施例提供用于定制、产品演练和模拟的数字孪生、支持语音的AR。

金融、房地产和保险行业的实施例提供标志和住房数据以及媒体的批量导入。基于位置的通知可以向用户告知存在AR内容。现有数据可以通过表单扫描以及表单完成ICR/OCR识别来导入。

制造业和重型机械行业的实施例提供了无需手动的“见我所见”视频协作和归档。实施例提供了用于预先训练的真实对象的数字孪生。实施例提供了具有计算机视觉的对象识别和步骤。实施例提供了用于低带宽/弱因特网应用的AR内容的离线分发。

用于建筑设计、工程和建造行业的实施例提供了点云操作，以将AR元素放置在扫描的环境中。LIDAR记录允许重建扫描的建筑场地和从AR扫描生成的3D工程模型。

旅游和酒店行业的实施例提供了AR中真实位置的360°相机漫游，包括元素的AR放置、带有目的地地图的漫游路径以及带有IVR聊天机器人的虚拟迎宾员。

上述例子仅仅是出于说明的目的而提供的，绝不应被解释为对本文中公开的本发明的限制。尽管参考各个实施例说明了本发明，但是应当理解的是，本文中使用的词语是描述和说明的词语，而不是限制的词语。此外，尽管本文中参考特定的手段、材料和实施例说明了本发明，但是本发明并不意图局限于本文公开的细节；相反，本发明扩展到诸如在所附权利要求书的范围内的所有功能等同的结构、方法和用途。受益于本说明书的教导的本领域技术人员可以对其进行许多修改，并且可以在不脱离本发明的范围和精神的情况下在其各方面进行更改。

本发明的所公开实施例的各个元件的结构或组成的任何其他未公开或附带的细节被认为对实现本发明的优点无关紧要，只要这些元件具有它们如所公开的那样起作用所需的属性即可。当然，XR领域的技术人员能够想到各种各样的备选系统配置及其成功的组合。鉴于本公开，这些和其他构造细节的选择被认为完全在本领域的甚至初级技术人员的能力范围内。已经相当详细地说明了本发明的例证性实施例，以便公开实用的、可操作的结构，从而可以有利地实践本发明。本文中说明的设计仅仅是示例性的。在不脱离本发明的精神和范围的情况下，可以以其他结构形式纳入本发明的新颖特征。本发明涵盖包括参考例证性实施例说明的元件的实施例和由参考例证性实施例说明的元件组成的实施例两者。所有技术术语应具有其由该特定技术领域的普通技术人员所利用的适当技术规则所确立的习惯含义。