沉浸式交互式远程参与现场娱乐

本申请为下述申请的分案申请，

原申请的申请号：202010559259.5

原申请的国际申请日：2020年6月18日，

原申请的发明名称：沉浸式交互式远程参与现场娱乐

相关申请的交叉引用

本申请要求于2019年6月18日提交的美国临时申请62/862,793的优先权，其全部内容通过引用合并于此。

技术领域

本发明涉及交互式远程参与现场事件和娱乐，更具体地，涉及一种系统和方法，用于沉浸式远程参与由交互环境主办的、并且由用户在沉浸式现实中体验的现场事件。

背景技术

现场事件和娱乐经常被提供给远程观众，例如，通过传统的电视(TV)广播或其它分发方法。然而，远程观众通常限于现场事件的观察，并且通常不可能与现场事件交互。特别地，老式TV仅允许接收广播的数据，并且不具有传递关于经由TV广播观看的现场事件的任何反馈的能力。因此，任何反馈，例如发送到现场事件或娱乐的广播者或组织者的电话呼叫或书面意见，通常相对于现场事件被延迟，并且可能不直接和瞬时地影响现场事件和现场事件的动作过程。至多，如果现场事件和观众的数量是有限的，则只有本地观众可以对现场事件作出贡献。此外，现场事件通常由单独的组织者主办和管理，并且任何接收到的反馈通常彼此分开处理，通常需要单独的组织结构。然而，从组织者的观点来看，希望能够管理和广播几个独立的现场事件，并通过集中式基础设施接收和处理关于这些现场事件之一的任何反馈。

另外，传统的电视广播将可以提供给远程观众的体验的类型限制为从屏幕看到的二维图像，从而不能使观众具有能够增强观众的交互可能性和享受的沉浸式体验(例如，诸如虚拟现实，增强现实和混合现实的数字现实)。这些现场事件的广播包括将图像发送到可以经由诸如电视机，机顶盒，PC，游戏控制台，移动电话，膝上型计算机，移动游戏控制台等信道观看的观众。然而，为了提供沉浸式交互体验，产生这些体验所需的数据主要被下载在客户端，并且在客户端上被托管，导致执行应用程序的高硬件需求。减少硬件和网络需求以及采用数字现实的障碍激发了将计算密集型任务卸载到一个或多个强大的远程服务器或云服务器的愿望。然而，用于远程渲染的当前体系结构被优化用于以最小水平的动态交互来递送静态的、预定义的内容。

鉴于上述情况，需要有新的系统和方法来实现现场事件的沉浸式、互动式远程参与。

发明内容

应当理解的是，下面的概括和详细说明都是示例性和解释性的，并且旨在对如权利要求的发明提供进一步的解释。无论是摘要还是下面的描述，都不打算将发明的范围定义或限制在摘要或描述中提到的特定特征上。

鉴于以上所述，本公开描述了各种实施例，其使得远程观众能够直接和瞬时参与现场事件和娱乐，使得能够灵活地管理现场事件以及从远程观众接收的反馈，并且使得能够对远程观众进行连续的，实时的云再现的沉浸体验。

根据本公开的用于远程参与现场事件的系统包括多个交互环境，每个交互环境主办现场事件，并且包括被配置为连续记录交互环境的装备。所述系统还包括耦合到所述多个交互环境的一个或多个发送器，所述一个或多个发送器被配置为从每个交互环境接收相应的记录，并传送每个记录。该系统还包括具有一个或多个远程服务器的云服务器，包括至少一个处理单元、存储器和至少一个渲染器，该处理单元包括足以处理多个交互环境中的一个或多个的相应记录、在一个或多个交互元素上生成交互体、利用处理后的数据和交互体为观众生成沉浸式体验、以及处理观众对多个交互环境中的一个或多个的反馈的计算资源，该渲染器包括足以渲染来自沉浸式体验的图像数据以生成发送给一个或多个观众的媒体流的计算资源。该系统还包括一个或多个交互设备，其被配置为接收包含沉浸式体验的处理和渲染的媒体流，并向由云服务器发送的实时交互环境输入反馈信息，其中，观众反馈信息包括被动操纵指令和主动操纵指令，被动操纵指令提示处理单元仅更新发送到交互设备的沉浸式内容，主动操纵指令提示处理单元将实时事件与沉浸式内容一起更新。

处理单元和渲染器可以彼此分开，但优选地，可以提供在同一系统内，例如，在云服务器中。远程观众可以通过合适的渠道与沉浸式内容进行交互，例如，连接到网络的交互设备(例如，电视机、机顶盒、PC、游戏机、手机、笔记本电脑、移动游戏机、头戴式显示器、透视设备等)。优选地，为了提供沉浸式体验，交互设备包括但不限于沉浸式现实设备，例如头戴式显示器或透视设备(例如数字现实隐形眼镜)。天线可以被配置为提供系统的不同元素(即用户设备、云服务器和现场事件)之间的通信和跟踪服务，以增强远程观众的体验。交互设备可以被配置为对云服务器发送的沉浸式内容执行轻量级计算任务和轻量级渲染操作，并对云服务器发送的每一个沉浸式内容进行反馈。优选地，为了提供低延迟通信和跟踪服务以及高服务质量(QOS)，连接到系统的天线可以是毫米波(MMW)或毫米波和sub 6GHz通信系统的组合，例如通过第五代无线系统通信(5G)，其利用6GHz以下和毫米波的频率空间，可以为系统的元素提供无处不在的覆盖和网络容量。

每个交互环境可以包括能够提供用于执行现场事件和/或娱乐的所需功能的适当设备。例如，交互环境可以是电视演播室，音乐厅或运动场，包括一个或多个记录装置，例如电视和相机，以及用于在交互环境内提供接收到的反馈的交互装置，例如显示板，耦合到现场事件的表演者和玩家的通信装置，以及直接影响交互环境的配置的反馈装置。例如，影响升降坡道，照明，记录装置等。在一些实施例中，记录装备还包括安装在其上的光检测和测距(LIDAR)设备，以便提供现场事件的精确距离和深度信息。交互环境也可以是计算机生成的环境，完全由云服务器的一个或多个处理器单元产生，例如虚拟，交互式场景，广告，应用或游戏，其中记录装置可以包括渲染模块，并且反馈装置可以由影响虚拟场景，广告，应用或游戏的界面提供。然而，应当理解，交互环境也可以包括它们的一种或多种组合，从而将现实世界的交互环境与计算机生成的场景混合，例如在混合现实(MR)交互环境中。例如，现场事件可以包括体育比赛，音乐会，电视表演，政治讲话，当事人，现场会议，研讨会或其它学术课程，董事会议，同时和同步经历的游戏会话，多个用户的现场协作参与，拍卖，投票会话，电子商务和现场购物等。

耦合到主办各个活动事件的每个交互环境的发送器和接收和/或处理反馈的处理单元可以设置在一个处理系统内，例如在云服务器上。然而，发射器和处理单元也可以设置在单独的处理系统上，并且也可以设置在不同的位置。例如，处理单元可以位于交互环境的空间附近，而发送器可以位于提供将记录传送到远程观众的功能的环境或设施，例如广播站。

根据本发明的实施例，交互设备可以包括各种系统组件，例如输入/输出模块，电源，存储器，传感器和MMW收发器，它们都可操作地连接到处理单元。传感器可以被实现为适于从用户获得各种遥测元数据的计算软件和硬件。例如，传感器可以包括惯性测量单元(IMU)，加速度计和陀螺仪中的一个或多个。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告交互设备的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，IMU内的加速度计可以包括能够在三个正交方向上测量加速度的三轴加速度计。在其它实施例中，可以在IMU内包括一个，两个，三个或更多个单独的加速度计。在其它实施例中，可以包括与IMU分开的附加加速度计和陀螺仪。MMW收发器可以被实现为计算软件和硬件，其被配置为使得交互设备能够从天线接收MMW波信号，并且当与沉浸式内容交互时将数据发送回天线。在其它实施例中，MMW收发器还可以实现交互设备的实时位置跟踪。MMW收发器可以是双向通信MMW收发器。

根据实施例，将传感器(即IMU、加速度计和陀螺仪)的能力与由MMW收发器提供的位置跟踪以及由MMW天线提供的精确跟踪、低等待时间和高QOS能力相结合可以实现交互设备的亚厘米或亚毫米位置和朝向跟踪，这可以提高在跟踪交互设备的实时位置和朝向时的精确度，并且可以改善在与沉浸式内容交互时的一般用户体验。

因此，本公开提供了从每个远程观看者或观众返回到现场事件和交互环境的记录的提供者的低等待时间，高QOS通信信道。利用这些和其他能力，根据本发明的实施例的系统尤其适于向用户提供沉浸式内容。例如，沉浸式内容的一个或多个部分可以包括增强现实(AR)，虚拟现实(VR)或混合现实(MR)内容。

根据一个实施例，云服务器内的渲染器可以在每个交互元素(例如，人，物体，舞台等)上创建交互体，使远程观看者能够被动地或主动地操纵每个交互元素。可以通过应用在交互元素上以计算每个元素的高度和形状的距离内插方法来创建这些交互现实体。然而，可以使用本领域已知的其它技术来创建交互现实体。另外，云服务器的存储器内的内容数据库可以包含各种交互元素的信息。例如，内容数据库可以包括人的统计，传记等；位于现场事件内的物体的具体细节，如果有的话；以及现场事件舞台亮点，特征，维度，历史，容量等。

输入的数据，例如来自远程观看者的反馈和任何其它数据，由至少一个处理单元直接处理，例如，瞬时或仅以短延迟提供给主办活动事件的相关交互环境。至少一个处理单元可以被配置为直接调用受影响的交互环境内的动作，或者可以将处理后的数据传送到环境，使得交互环境进一步处理数据并且基于反馈和/或处理后的数据来确定适当的动作。该请求可以包括被动或主动操纵指令。被动操纵指令可以从在现场事件中找到的元素请求进一步的信息，可以修改视图，或者可以执行不需要立即修改现场事件的任何其它动作。主动操纵指令可直接影响现场事件内的动作过程，例如影响声音，照明，雾，插入消息，通过投票改变现场事件的过程等。例如，可以在交互环境内，即在现场事件的位置处呈现处理后的数据。这种呈现接着可以由相应的记录设备记录并传送到远程观看者，从而对于远程观看者的反馈创建即时响应。

在优选实施例中，用户与沉浸式内容的交互可以是启用手势的，从而远程观看者可以采用一个或多个手势来向处理单元提供反馈。例如，手势可以是自然用户界面(NUI)手势。NUI可以被定义为使得远程观看者能够自然地与沉浸式内容交互的任何界面技术，所述沉浸式内容不受诸如鼠标，键盘，遥控器等输入设备所强加的人工约束。

各种实施例中的本发明还提供了具有在交互环境内找到的交互元素的各种交互方法。例如，远程观看者可以通过被虚拟传送到现场事件来观看交互元素并与交互元素进行交互，为远程观看者模拟一种体验，其方式是他们可以从舒适的家中或任何其他选定的地方感到存在于现场事件中。在另一个例子中，现场事件也可以虚拟地投射给远程观看者，远程观看者可以观看现场事件，使得交互元素可以与远程观看者周围的现实生活元素重叠。

基于现场事件，从远程观看者接收的反馈类型，远程观看者的可用动作集合，以及现场事件的交互环境的呈现能力，可以基于个人反馈或群体反馈来主动地操纵和更新现场事件的交互元素。在个体反馈的情况下，处理单元可基于从一个或多个个体远程观看者接收的反馈来更新现场事件。对于群体反馈的情况，处理单元可以通过统计方法收集和计算主要反馈来更新现场事件，然后相应地更新事件。群体反馈可以基于从观看现场事件的远程观看者的整体收集的反馈，或者从所选择的远程观看者群体收集的反馈。可以随机地或者通过使用其他方法，例如基于用户可以通过预订费或其他方法访问的特殊许可或安全权利，来选择个体远程观众或所选择的远程观众群体。例如，可以要求所选择的或所有的观众提供对特定事件的意见或投票。处理单元可以收集预定时间量的答案，并且可以产生一个值，例如接收到的反馈数据的平均值。例如，处理单元可以在几秒或几分钟内轮询对多个选择的投票，并且可以触发受影响的交互环境以显示调查的结果。然而，应当理解，处理单元也可以一个接一个地处理反馈，并连续地更新所确定的交互环境。一种用于处理反馈的方法，例如从可应用于该方法中的多个用户接收的输入，在美国临时申请No.61/311,827中公开。本方法中可用的控制现场事件的实体的方法，在美国临时申请No.61/311，834中公开。

在本公开的优选实施例中，该系统还包括一个或多个反馈信道，以将至少一些远程观看者耦合到处理单元，其中每个反馈信道与一个交互环境相关联。每当至少一个远程观众开始接收期望的现场事件的记录时，可以建立每个反馈信道。在这种情况下，远程观看者可以在系统中注册并请求记录现场事件。该系统可以将远程观看者直接连接到与相应交互环境相关联的反馈信道。因此，交互环境的一个或多个远程观看者可以经由与远程观看者正在观看的交互环境相关联的一个反馈信道向处理单元提供反馈。此外，每个远程观看者可以经由新创建的反馈信道耦合到处理单元。该系统可以在处理单元处注册远程观众和相关的反馈信道。例如，处理单元可以包括存储信息的存储器，所述信息将每个注册的远程观看者链接到一个或多个交互环境，所述一个或多个交互环境包括远程观众正在观看的活动事件。然而，应当理解，还可以将一个反馈信道链接到接收至少一个记录的每个远程观看者。因此，每个远程观看者可以使用不同的反馈信道与处理单元通信，而不管远程观看者正在观看的记录的数量。

根据本公开的实施例，所述系统还包括一个或多个传送信道，每个传送信道与一个交互环境相关联，其中所述处理单元被配置为经由相关联的传送信道将交互环境的记录传送到至少一些远程观看者。

在本公开的另一个实施例中，该系统还包括安全组件，其被配置为认证远程观看者并且授权远程观看者参与一个交互环境。每个远程观看者可以连接到安全组件，并且可以使用认证和/或安全协议来在系统处进行认证。例如，用户可以提供口令或其他验证数据来证明其身份。此外，可以使用任何其他合适的认证方法来提供期望的安全级别，例如使用智能卡以及其他密码和安全方法的挑战-响应认证。在认证之后，远程观看者还可以请求参与现场事件。例如，系统可以要求远程观看者提供进一步的认证，或者可以检查远程观看者的安全级别，使远程观看者能够参与。安全组件还可以要求远程观看者确认参与，包括支付参与的费用。此外，可以直接允许远程观看者参与。然而，如果处理单元接收到来自该用户的特定反馈，则可以要求远程观看者支付所需的交互。

根据本发明的另一实施例，处理单元包括中间件模块，其经配置以异步地组织处理单元与多个远程观看者之间的通信。中间件模块可以在一个或多个处理设备上运行，并且可以包括处理单元。中间件模块可以暴露多个网络连接，用于接收远程观看者的反馈并将由处理单元处理的数据传送到相应的交互环境。中间件模块可以运行多个线程，每个线程从反馈信道之一接收反馈，反馈信道也可以缓冲和预处理接收到的反馈。例如，每个线程可以异步地确定远程观看者的标识以及与交互环境的相应关联。此外，每个线程可以从每个反馈中提取标识与该反馈相关的现场事件的数据。每个线程还可以确定在各个交互环境中可用的动作，并且可以响应于反馈来确定要在交互环境中调用的适当动作。此后，每个线程可以将预处理的反馈数据传递到处理单元，该处理单元可以进一步分析该数据并且将其传递到受影响的交互环境和/或直接调用受影响的交互环境内的适当动作。

在本公开的实施例中，基于所接收的反馈，处理单元被配置为生成视觉表示并通过在交互环境内显示视觉表示来更新交互环境。

根据本公开的另一个实施例，每个反馈包括指定现场事件期间的发生的标签。现场事件可以包括发生的序列，例如由现场事件的演员或玩家或计算机生成的交互环境的虚拟角色进行的某些动作，并且每个反馈可以与这些发生之一相关。例如，每次发生可以与时间戳和/或持续时间相关联。相应的反馈可以指定落入由时间戳和/或持续时间标识的时间范围内的某个时间点。而且，每次发生可以与唯一标识符相关联，并且反馈可以包括该标识符。

根据本公开的实施例，每个现场事件优选地是体育事件，文化事件，社会事件，电视节目，政治演讲，现场会议和董事会议等中的一个。此外，现场事件可以是在现实世界环境中发生的任何事件。然而，应当理解，每个现场事件还可以至少部分地包括计算机生成的对象和/或增强，例如现实世界环境的计算机增强部分。然而，交互环境还可以优选地是计算机生成的环境，包括同时或同步经历的游戏会话，用户的现场协作参与，电子购物，拍卖，众筹活动和社会环境中的至少一个。

尽管已经借助于示例性实施例描述了所公开的系统及其实施例，但是应当理解，本公开不限于特定的现场事件以及相关的处理和参与和交互的模式，例如观看体育事件，与剧场演出或节目交互，参与电视或游戏节目，参与董事会议，参与拍卖，进行电子商务和现场购物，和/或参与数字游戏比赛或在线人群游戏或人群资助活动。相反，可以由计算机系统记录或创建并传输到远程观众的任何现场事件可以由根据本公开的实施例的系统来驱动，使得远程观众能够直接参与并影响现场事件。

根据本发明的一个实施例，云服务器的存储器存储了持久性虚拟世界系统，该系统包括至少一个对应现实物体的虚拟副本，其中虚拟副本的虚拟三维世界坐标和虚拟属性是基于现实物体的三维世界坐标和属性，并且在持久性虚拟世界系统中持续更新多个交互式实时环境。

根据本发明实施例，一种远程参与现场事件的方法，包括以下步骤：提供多个交互环境，每个交互式主办现场事件；通过其中配置的装备对多个交互环境进行连续记录；由云服务器接收交互环境的记录，其中，云服务器包括一个或多个远程服务器，包括至少一个处理单元、存储器和至少一个渲染器。由至少一个处理单元处理多个交互环境中的一个或多个的相应记录，并在交互元素上生成交互体；由至少一个处理单元利用处理后的数据和交互元素上的交互体生成沉浸式体验。由至少一个渲染器渲染沉浸式体验以生成沉浸式媒体流，该媒体流通过交互设备发送给一个或多个观看者；接收与一个或多个沉浸式体验相关联的观众反馈，其中，该反馈包括被动操纵和主动操纵指令，被动操纵指令提示处理单元仅更新发送到交互设备的沉浸式内容，而主动操纵指令提示处理单元连同沉浸式内容一起更新现场事件；并由至少一个处理单元和渲染器通过在交互环境中发起动作，或在处理后的反馈上更新沉浸式内容，或其组合来更新交互环境。

该方法提高了多个远程观看者对正在观看的现场事件的处理能力，实现了远程观看者与现场事件的直接互动和参与。

在本发明的一个实施例中，该方法还包括利用中间件模块异步组织与多个远程观看者的通信，其中，中间件模块被配置为暴露于多个网络连接，用于接收远程观看者的反馈信息，并将处理后的数据传输到多个交互环境中的确定的交互环境。其中，中间件模块还被配置为，如果多个远程观看者中的一个参加了一个以上的形成活动，则过滤该一个远程观看者的所有请求和反馈，使其朝向一个正确的现场事件会话，从而使数据被存储和处理为与相应的形成活动会话有关。

在本发明的一个实施例中，该方法还包括将一个或多个观看者虚拟地传送到现场事件，或者针对一个或多个观看者的周围区域投影和映射现场事件。

在本公开的实施例中，该方法还包括提供一个或多个反馈信道，每个反馈信道传送与交互环境之一相关联的反馈。

根据本公开的另一个实施例，该方法还包括提供一个或多个传送信道，每个传送信道将一个交互环境的记录传送到至少一些远程观众。

在本公开的实施例中，在一个网络内提供传输信道和反馈信道。

在本公开的又一实施例中，该方法还包括认证远程观看者并授权远程观看者参与虚拟环境之一。

优选地，该方法还包括异步地组织与多个远程观众的通信。

根据本公开的实施例，所述方法还包括从交互环境中的多个本地观众中的至少一个接收与所述本地现场事件相关的反馈，并且基于所接收的反馈来更新所述本地交互环境。

根据本公开的另一实施例，传送记录包括经由传送信道中的至少一个来广播和/或流式传送记录。

根据本公开的实施例，该方法还包括：在每个远程观看者处，接收和再现至少一个记录，并在所显示的至少一个记录上生成反馈。

优选地，该方法还包括，基于接收到的反馈，生成视觉表示，并通过在交互环境内显示视觉表示来更新交互环境。

根据本发明的一个实施例，该方法还包括向服务器的存储器提供持久性虚拟世界系统，该系统包括对应的现实对象的至少一个虚拟副本，其中虚拟副本的虚拟三维世界坐标和虚拟属性是基于现实对象的三维世界坐标和属性，并且多个交互式实时环境在持久性虚拟世界系统中持续更新。

此外，根据本发明的非暂时性计算机可读媒体具有存储于其上的指令，所述指令在安装于计算装置上且在计算装置上执行时致使所述计算装置执行根据本发明的至少一个实施例的方法。特别地，指令可以直接读取或下载，安装和在一个或多个交互环境中执行，每个交互环境主办现场事件，并且可以使每个交互环境中的记录设备将交互环境或渲染器记录在云服务器中以生成交互环境，并且将记录或生成的交互环境传送到发送器。相应地，指令也可以被直接读取或下载，安装和在发射器上执行，使得发射器接收相应的记录并将每个记录传送到多个远程观看者中的至少一些。所述指令还可以被直接读取或下载，安装和在每个远程观看者的计算设备上执行，使得远程观看者能够观看至少一些记录并发送与现场事件之一有关的反馈。此外，指令还可以直接读取或下载，安装和在处理单元上执行，配置处理单元以从两个或更多个远程观看者接收与现场事件之一相关的反馈，基于该反馈确定主办相关现场事件的交互环境，并基于该反馈更新所确定的交互环境和/或发送给观看者的沉浸式内容。

这些和进一步的和其他的发明目标和特征在公开中是显而易见的，其中包括上述和正在进行的书面说明书，以及图样。上述摘要并不包括本公开的所有方面的详尽清单。预计公开的内容包括所有系统和方法，这些系统和方法可以从上面总结的各方面的所有合适的组合以及下面在此公开的那些方面进行实践。

附图说明

在此并入并构成说明书的一部分的附图示出了示例性的实施例，并且与描述一起，进一步使相关技术领域的技术人员能够制造和使用这些实施例以及对本领域的技术人员来说显而易见的其它实施例。

图1显示了根据本发明的一个实施例的系统的示意图。

图2显示了根据本发明的一个实施例，沉浸式交互功能的示意图。

图3A-3B显示了根据本发明的一个实施例的交互设备的示意图。

图4显示了根据本发明的一个实施例，详细说明现场事件会话的组织的系统的示意图。

图5示出了根据本发明的一个实施例，详细说明组织多个现场事件会话的系统的示意图；以及。

图6显示了根据本发明的一个实施例的方法的流程图。

具体实施方式

下面参照附图对本发明进行更全面的描述。下面的描述是示例性的，因为描述了几个实施例(例如，通过使用术语"优选"、"例如"或"在一个实施例中")；然而，这不应被视为限制性的或规定了本发明的唯一实施例，因为本发明包括本描述中未具体叙述的其他实施例，包括本发明精神和范围内的替代物、修改和等效物。此外，在整个描述中使用的术语"发明"、"本发明"、"实施例"和类似的术语是广泛使用的，并不意味着该发明要求或限于所描述的任何特定方面，或者该描述是可以制造或使用该发明的唯一方式。此外，本发明可在具体应用的背景下描述；然而，本发明可用于未具体描述的各种应用。

在这几个图中，即使在不同的图中，具有类似功能的类似元素也可以使用类似的参考数字。所描述的实施例以及它们的详细结构和要素，仅仅是为了帮助全面理解本发明而提供的。因此，显而易见，本发明可以以多种方式进行，并且不需要本文所述的任何具体特征。另外，众所周知的功能或构造没有详细描述，因为它们会以不必要的细节掩盖发明。图纸/图中的任何信号箭头应仅被视为示例性的，而不是限制性的，除非另有特别说明。此外，该说明不是在限制性的意义上，而仅仅是为了说明本发明的一般原理，因为本发明的范围最好由所附的权利要求书来界定。

可以理解的是，虽然这里可以使用术语第一、第二等来描述各种要素，但这些要素不应受到这些术语的限制。这些术语只是用来区分一个元素和另一个元素。纯粹作为非限制性的例子，在不脱离示例范围的情况下，第一元件可以被称为第二元件，同样，第二元件也可以被称为第一元件。如本文所使用的，术语"和/或"包括一个或多个相关列项的任何和所有组合。如本文所使用的单数形式"一"、"一个"和"该"也是为了包括复数形式，除非上下文另有明确说明。还应注意的是，在一些替代实施例中，所述功能和/或行为可以不按几个图中至少一个图所表示的顺序出现。纯粹作为一个非限制性的例子，连续显示的两个图实际上可以基本上同时执行，或者有时可以以相反的顺序执行，这取决于所描述或描绘的功能和/或行为。

条件性语言，例如"可以"、"可"、"可能"或"能够"，除非另有特别说明，或在所使用的上下文中另有理解，否则一般旨在表达某些实施例包括，而其他实施例不包括某些特征、元素和/或步骤。因此，这样的条件性语言一般不是为了暗示特征、元素和/或步骤以任何方式是一个或多个实施例所需要的，或者一个或多个实施例必然包括用于决定在任何特定实施例中是否包括或要执行这些特征、元素和/或步骤的逻辑，无论是否有用户输入或提示。

一般来说，本发明在其不同的实施例中，能够实现远程观众直接、即时地参与现场事件和娱乐，能够灵活地管理现场事件以及从远程观众那里得到的反馈，并且能够为远程观众提供连续、实时的云渲染沉浸式体验。

图1示出了根据本公开的实施例的系统100的示意性表示。系统100使远程观众102(包括远程观看者104)能够经由连接到网络112的信道108(例如，诸如电视机，机顶盒，PC，游戏控制台，移动电话，膝上型计算机，移动游戏控制台，头戴式显示器，透视设备等的交互设备110)来观看沉浸式内容106并与沉浸式内容106交互。优选地，为了提供沉浸式体验，交互设备110包括沉浸式现实设备，例如头戴式显示器或透视设备(例如，数字现实隐形眼镜)。

远程观众102可以连接到一个或多个现场事件114，一个或多个现场事件114一旦被记录、处理、渲染和发送，就经由任何适当的数字网络112(例如因特网)作为沉浸式内容106被远程观众102访问，即，被交互设备110访问。可以使用诸如相机和麦克风的记录设备116来记录现场事件114，经由渲染器118来渲染该现场事件114，然后将该现场事件114发送到远程观众102。在一些实施例中，记录设备116包括安装在其上的光检测和测距(LIDAR)设备，以便提供现场事件114的精确的距离和深度信息。远程观众102可以通过使用与用户观看沉浸式内容106相同的交互设备110、或者通过另一个交互设备110，与沉浸式内容106交互，并经由信道108将对于沉浸式内容106的反馈120输入到至少一个处理单元122。根据实施例，交互设备110可以被配置为对由包括至少一个处理单元122的云服务器126发送的沉浸式内容106进行轻量级计算和轻的渲染操作，并接收现场事件114的记录。云服务器126的至少一个处理单元122收集来自每个单独的远程观看者104的所有反馈120，并生成处理后的数据124，该处理后的数据124此后用于更新一个或多个现场事件114或仅更新远程观看者104的本地视图。优选地，处理单元122和渲染器118可以提供在一个处理系统内，例如在云服务器126中。云服务器126可以位于计算中心(未示出)中，该计算中心位于离现场事件最近并且离远程观看者104最近的位置。至少一个处理单元122可以另外处理来自现场事件的数据，然后再渲染并作为沉浸式内容发送到远程观众102。

系统100还可以包括连接天线128，其被配置为提供系统100的不同元件(即，交互设备110，云服务器126和现场事件114)之间的通信以及可以增强远程观众102的体验的跟踪服务。在一些实施例中，天线128通过有线装置连接到计算中心。在其它实施例中，在计算中心和/或由计算中心服务的区域内提供天线128。

在本发明的一个实施例中，为了降低硬件和网络需求，有助于降低网络延迟，并改善一般数字现实体验，系统可以通过包括毫米波(MMW)或毫米波和sub 6GHz通信系统的组合的网络112连接，例如通过第五代无线系统通信(5G)。在其他实施例中，系统可以通过无线局域网(Wi-Fi)连接，提供例如60GHz的数据。所提供的通信系统可允许低的(例如，约1至约5毫秒)端到端(E2E)延迟和到现场终端的高(例如，约1-10Gbps)下行速度，从而实现高质量、低延迟和实时沉浸式内容流。在其他实施例中，系统可以通过第四代无线系统通信(4G)进行通信连接，可以由4G通信系统支持，或者可以包括其他有线或无线通信系统。

在本发明的其他实施例中，全球导航卫星系统(GNSS)，它是指多个基于卫星的导航系统，如GPS、BDS、Glonass、QZSS、Galileo和IRNSS的统称，可用于实现交互设备的定位。全球导航卫星系统利用来自足够数量的卫星的信号和三角测量和三分法等技术，可以计算设备的位置、速度、高度和时间。在一个优选的实施例中，外部定位系统通过现有蜂窝通信网络的架构辅助GNSS(AGNSS)进行增强，其中现有架构包括5G。在其他实施例中，AGNSS跟踪系统还得到4G蜂窝通信网络的支持。在室内实施例中，GNSS还通过无线电无线局域网络(如Wi-Fi)进一步增强，优选但不限于提供60GHz的数据。在其他实施例中，GNSS通过本领域已知的其他技术，例如通过差分GPS(DGPS)、基于卫星的增强系统(SBASs)、实时运动学(RTK)系统进行增强。在一些实施例中，对设备的跟踪是由设备中的AGNSS和惯性传感器组合实现的。

沉浸式内容106可以包括以下中的至少一个：图像数据，3D几何形状，视频数据，音频数据，文本数据，触觉数据或其组合。在这些实施例中，沉浸式内容106的一个或多个部分可以包括增强现实(AR)，虚拟现实(VR)或混合现实(MR)数字内容。AR数字内容可以包括由计算机生成的感测输入增强的物理的、现实世界的环境元素(诸如声音，视频，图形或GPS数据)。增强技术通常是实时地进行，并且在具有环境元素的语义情境中进行，例如覆盖现实世界中的补充信息或虚拟对象。AR数字内容允许关于远程观看者104的周围现实世界的信息或覆盖在现实世界中的虚拟对象变成交互式和数字可操纵的。VR数字内容可以包括用于用模拟的现实世界来代替现实世界的虚拟元素。MR数字内容可以包括与虚拟元素交互的增强的物理、现实世界环境元素的混合。例如，MR体验可以包括相机捕获真实人的情况。随后，合适的计算机软件创建人的3D网格，然后将其插入到虚拟世界中并且能够与现实世界交互。

在优选实施例中，用户与数字内容的交互可以是启用手势的，由此，远程观看者104采用一个或多个手势来向处理单元122提供反馈120。例如，手势可以是自然用户界面(NUI)手势。NUI可以被定义为任何接口技术，其使得远程观看者104能够自然地与沉浸式内容106交互而不受诸如鼠标，键盘，遥控器等输入设备所强加的人工约束。NUI方法的示例包括采用手势的那些方法，例如触觉和非触觉界面，例如语音识别，触摸识别，面部识别，触笔识别，空气手势(例如手姿势和移动以及其它身体/肢体运动/姿势)，头和眼睛跟踪，声音和言语，以及至少与例如视觉，语音，声音，姿势和触摸数据相关的机器学习。

NUI技术包括但不限于触敏显示器，声音和语音识别，意图和目标理解，使用深度相机(例如，立体相机系统，红外相机系统，彩色相机系统及其组合)的运动姿势检测，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示器，头部、眼睛和凝视跟踪，沉浸式增强现实和虚拟现实系统(例如，微软公司制造的HoloLens

现场事件114可以优选地是可以被递送、数字分发或广播到远程观众102的任何典型的现场事件，诸如体育比赛，音乐会，电视节目，政治语音，聚会，现场会议，研讨会或其他学术课程，董事会会议，同时和同步经历的游戏会话，多个用户的现场协作参与，数字拍卖，投票会话，电子商务和现场购物等等。然而，现场事件114也可以是计算机生成的交互环境，完全由一个或多个处理单元产生，例如虚拟的、交互场景或游戏，其中记录装置可以包括渲染器118，并且反馈120装置可以由影响虚拟场景或游戏的界面提供。然而，应当理解，交互环境也可以包括它们的组合，从而将现实世界的交互环境与计算机生成的场景混合。

根据另一个实施例，云服务器126内的渲染器118能够创建远程观看者104可以与之交互的交互体，以享受对沉浸式内容106的进一步体验。此外，在该实施例中，可以在云服务器126内配置内容数据库(未示出)，以包括现场事件114内的不同元素的信息。

输入的反馈数据可以优选地被处理成可呈现的格式。该格式可以根据现场事件114、远程观众102的可用动作集以及主办现场事件114的交互环境的呈现能力而不同。此外，处理后的数据124可以表示集体的反馈120，其中每个远程观看者104可以向相同类型的反馈120提供不同的值，例如投票，或者随机选择或者使用其他方法选择的所选择组的远程观看者104、或者选择的个人远程观看者104可以返回个性化的反馈120。

处理单元122可以收集来自远程观众102的所有输入反馈数据。处理单元122可以将接收到的反馈120处理成处理后的数据124，并且可以确定是直接和瞬时更新，修改和/或影响现场事件114和所得到的沉浸式内容106，还是仅更新，修改和/或影响沉浸式内容106。在处理之后，处理单元122可以经由合适的网络将处理后的数据124传送到主办现场事件114的交互环境。

一种用于处理反馈120的方法，例如从可应用于该方法中的多个用户接收的输入，在美国临时申请No.61/311,827中公开，该申请的公开内容通过引用结合于此。

在由本公开的同一发明人于2012年11月29日提交的美国专利申请No.13/689，643中公开了一种通过模拟引擎提供增强现实的系统和方法，并且通过引用结合于此。此外，美国专利申请号。由本公开的同一发明人于2012年11月29日提交的美国专利申请No.13/689，632公开了一种用于基于真实场景的记录来创建虚拟现实环境的系统和方法，并且通过引用结合于此。

在一些实施例中，发送器(未示出)可以耦合到主办相应现场事件114的每个交互环境，该交互环境提供将记录传送到远程观看者104的功能。可以在一个处理系统内，例如在云服务器126上，提供耦合到主办相应现场事件114的每个交互环境的发送器和接收和/或处理反馈120的处理单元122单元、以及处理单元122和渲染所捕获的现场事件114的渲染器118。然而，发送器和处理单元122以及渲染器118也可以被提供在单独的处理系统上，并且也可以被提供在不同的位置。例如，处理单元122和渲染器118可以位于交互环境附近的空间，而发送器可以位于提供将记录传送到远程观看者104的功能的环境或设施，例如广播站。

应当理解，虽然远程观众102优选地在物理上与系统100的其它组件分离，但是处理单元122，提供信道108的传送系统和主办现场事件114的交互环境也可以位于相同的位置或空间上接近的位置。然而，也可以在远程位置提供处理单元器122，传送系统和交互环境。类似地，至少一些远程观看者104也可以直接出现在现场事件114处，从而形成本地观众的至少一部分。

图2示出了根据本公开的实施例的沉浸式交互特征200的示意图。沉浸式交互特征200包括交互元素202，操纵模式204，交互视图206和反馈源208。

交互元素202可以指在现场事件的交互环境内发现的元素，并且用户能够经由适当的信道(例如图1中的信道108)来查看并与之交互。交互元素202可以指人210，例如表演者，事件参与者，现场观众等；物体212，例如运动设备，电子设备等；以及现场事件舞台214，包括墙壁，平台，运动音调，体育场，演出舞台或剧场，以及诸如照明，声音和雾等的相关设置。

云服务器内的处理器(例如图1的处理单元122和云服务器126)可以在每个交互元素202上创建交互体，使得远程观看者能够被动地或主动地操纵每个交互元素202。这些交互现实体可以通过应用在交互元素202上的距离内插方法来创建，以计算每个元素的高度和形状。然而，可以使用本领域已知的其它技术来创建交互现实体。另外，云服务器内的内容数据库可以包含各种交互元素202的信息。例如，内容数据库可以包括人210的统计，传记等；位于现场事件内的物体212的具体细节，如果有的话；以及现场事件舞台214亮点，特色，尺寸，历史，容量等。

交互现实体和内容数据库可以实现远程观看者和沉浸式内容之间的被动和主动的操纵模式204，使得远程观看者可以向处理器提供各种类型的反馈，包括是否更新现场事件的指令。通常，由操纵模式204启用的反馈包括由交互设备启用的视频数据，音频数据，文本数据，触觉数据或其组合，事件的类型和远程观看者的反馈选项。被动操纵216可涉及向处理单元(例如，图1的处理单元122)提供反馈，以使反馈数据和指令触发处理单元更新由个人或群体程观众观看的渲染的沉浸式内容。例如，被动操纵216可以包括修改视图(例如，放大和缩小，平移，旋转视图，在现场事件舞台214内移动等)，从内容数据库提供的交互元素202请求进一步的信息，以及只能修改远程观看者的视图的其他动作，而不必影响其他观看者的现场事件。主动操纵218可以包括以反馈数据包括更新现场事件以及被渲染的沉浸式内容的指令的方式，向处理单元提供反馈，可以对其他观看者的沉浸式内容有影响。例如，主动操纵218可以包括修改现场事件舞台214的设置，例如照明强度或颜色，声音，雾等等。然而，主动操纵218也可以包括将元素插入到现场事件舞台214中，诸如插入文本数据，图像数据，视频数据，或其他形式的数据，这些数据可以传递要在主办现场事件的交互环境内显示的消息，诸如提交意见或通过投票或其他手段主动地影响现场事件的过程。

远程观看者可以观看各种交互元素202并通过不同的交互视图206来与各种交互元素202进行交互，交互视图206包括观看者虚拟瞬移到现场事件220和现场事件的虚拟投影222。观看者虚拟瞬移到现场事件220包括以远程观看者可以感觉在现场事件中出现的方式来模拟远程观看者的体验。例如，在足球比赛的情况下，用户可以观看足球比赛，就好像他们坐在主办比赛的足球场中的选定位置，而在现实生活中，远程观看者可以坐在任何优选位置(例如，家，酒吧，公园等)。现场事件的虚拟投影222包括将现场事件的某些交互元素202虚拟地带到观看现场事件的远程观看者104，使得交互元素202可以与远程观看者104周围的现实生活元素重叠。例如，参考上面的足球比赛，球员，裁判员，足球和足球比赛的其它元素可以与远程观看者可能位于的体育场中的空足球场相映射，使远程观看者感觉存在于实际足球比赛发生的远程体育场中。

基于现场事件，从远程观看者接收的反馈的类型，远程观看者的可用动作集合，以及主办现场事件的交互环境的呈现能力，可以基于个人反馈224和群体反馈226，主动地操纵和更新现场事件的交互元素202。在个人反馈224的情况下，处理单元可以基于从一个或多个选择的个人远程观看者接收的反馈来更新现场事件。对于群体反馈226的情况，处理单元可以通过统计方法收集和计算主要反馈、然后相应地更新事件，来更新现场事件。群体反馈226可以基于从观看现场事件的整体远程观看者收集的反馈，或者从所选择的远程观看者的群体收集的反馈。可以随机地或者通过使用其他方法，例如基于用户可以通过预订费或其他方法访问的特殊许可或安全权利，来选择个人远程观看者或所选择的观看者的群体。

图3A-3B各自示出了根据本公开的实施例的交互设备300的示意性表示。

在一些实施例中，交互设备300被实现为包括硬件和/或软件的计算设备，所述硬件和/或软件被配置为接收可消费媒体数据并且以沉浸式内容的形式向远程观看者呈现内容。作为示例并参考图1，交互设备300可以经由网络112从在云服务器126中实现的处理单元122接收沉浸式内容106，并且可以经由网络112向在云服务器126中实现的处理单元122发送反馈120。

图3A示出了交互设备300包括系统组件的实施例，系统组件例如是输入/输出(I/O)模块302，电源304，存储器306，传感器308和MMW收发器310，它们都可操作地连接到处理单元312。

I/O模块302被实现为被配置为与远程观看者交互并向一个或多个其他系统组件提供用户输入数据的计算硬件和软件。例如，I/O模块302可以被配置为与远程观看者104交互，基于交互生成用户输入数据，并且在被传送到其他处理系统(例如图1的处理单元122)之前将用户输入数据提供给交互设备300的处理单元312。在另一示例中，一个或多个I/O模块302被实现为外部计算定点设备(例如，触摸屏，鼠标，3D控件，操纵杆，游戏垫等)和/或文本输入设备(例如，键盘，口述工具等)，其被配置为与沉浸式的交互设备300交互。在又一实施例中，I/O模块302可以提供比上述功能更多、更少或不同的功能。

电源304被实现为被配置为向交互设备300供电的计算硬件。在一个实施例中，电源304可以是电池。电源304可以被内置到交互设备300中或者可以从交互设备300移除，并且可以是可再充电的或不可再充电的。在一个实施例中，交互设备300可以通过用另一个电源304替换一个电源304来重新供电。在另一个实施例中，电源304可以通过连接到充电源的电缆进行再充电，例如连接到个人计算机的通用串行总线("USB")火线，以太网，雷电或耳机电缆。在又一个实施例中，电源304可以通过感应充电进行再充电，其中，当感应充电器和电源304两者非常接近时，使用电磁场将能量从感应充电器传递到电源304，但不需要通过电缆彼此插入。在另一个实施例中，可以使用对接站来促进充电。

存储器306可以被实现为适于存储应用程序指令和存储来自传感器308的交互设备300的遥测元数据的计算软件和硬件。

传感器308可以被实现为适于从用户获得各种遥测元数据的计算软件和硬件。传感器308可以包括例如惯性测量单元(IMU)，加速度计和陀螺仪中的一个或多个。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告交互设备的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，IMU内的加速度计可以包括能够在三个正交方向上测量加速度的三轴加速度计。在其它实施例中，可以在IMU内包括一个，两个，三个或更多个单独的加速度计。在其它实施例中，可以包括与IMU分开的附加加速度计和陀螺仪。

MMW收发器310可以被实现为计算软件和硬件，其被配置为当交互设备300与沉浸式内容交互时，使得交互设备300能够从天线接收MMW波信号，并且将数据发送回天线。MMW收发器310可以是双向通信MMW收发器310。

在实施例中，将传感器308(即IMU、加速度计和陀螺仪)的能力与由MMW收发器310提供的位置跟踪以及由本公开的基于MMW的天线提供的准确跟踪、低等待时间和高QOS功能相结合可以实现亚厘米或亚毫米位置和朝向跟踪，这可以在跟踪交互设备的实时位置和朝向时提高精度，并且可以在与沉浸式内容进行交互时改善一般的用户体验。

可以使用本领域已知的几种技术来执行交互设备300的跟踪。例如，可以通过采用到达时间(TOA)跟踪技术来执行跟踪，该技术使用从三个或更多个天线收集的信息。交互设备300然后发出由范围内的所有天线接收的信号。然后，每个天线测量从发送信号的时间开始接收信号所花费的时间量，对交互设备300的位置进行三角测量。在其它实施例中，可以通过使用到达角(AOA)技术来执行交互设备的跟踪，该技术使用交互设备信号到达天线的角度，而不是像TOA那样使用信号到达三个基站所花费的时间。通过比较多个天线(至少三个)之间的到达角数据，可以对交互设备的相对位置进行三角测量。在其它实施例中，可以采用本领域已知的其它跟踪技术(例如，视觉成像，雷达技术等)。

处理单元312可以被实现为计算硬件和软件，其被配置为接收用户输入数据，提供成像请求，接收成像数据，将成像数据处理成环境或其它数据，处理用户输入数据和/或成像数据以生成用户交互数据，提供服务器请求，接收服务器响应，和/或将用户交互数据，环境数据和内容对象数据提供给一个或多个其它系统组件。例如，处理单元312可以从I/O模块302接收用户输入数据，并且可以分别实现存储在交互设备300的存储器306中的应用程序。在其它实例中，处理单元312可从传感器308、从MMW收发器310、或从它们的组合，接收地点、位置或其它遥测元数据(例如，关于用户的手移动，控制器操纵，行进轨迹等的信息)。处理单元312还能够实现模拟或数字信号处理算法，例如原始数据减少或过滤。

图3B示出了交互设备300包括I/O模块302，电源304，存储器306和耦合的传感器/MMW收发器314的实施例，它们都可操作地连接到处理单元312。交互设备300的各个组件的功能在此参考图3A的描述进行描述。

在其它实施例中，可以省略交互设备300的一个或多个组件，或者可以添加一个或多个附加组件。

图4示出了根据本公开的实施例的详细描述现场事件会话组织400的系统的示意图。现场事件可由客户端侧上的瞬时现场事件会话402以及系统的服务器侧上的持久现场事件会话404来表示。客户端406，例如"客户端1"，可以是远程观众的远程观看者，可以创建现场事件。客户端406因此可以被表示为现场事件的所有者。现场事件的所有者可以基于现场事件的类型具有关于与现场事件的交互和参与的特殊特征和许可。远程观众还可以包括额外的客户端，例如"客户端2"到"客户端5"，其可以参与现场事件并与现场事件交互。然而，应当理解，本公开不限于特定大小和数量的远程观众。相反，远程观看者和客户端的数量不受限制，并且可能仅受系统的可用处理资源的限制。此外，现场事件的创建者和所有者不必是远程观众的一部分。

客户端406可以例如经由网络410内的反馈信道408向系统的现场事件后端412提供反馈。作为示例并参考图2，客户端406可以以交互元素202的被动操纵216或主动操纵218的形式提供反馈，包括视频数据，音频数据，文本数据，触觉数据或其组合。反馈数据可以首先由面向消息的中间件414来处理，其中反馈数据可以被提供给系统的后续层以便经由安全组件416进行授权，经由持久存储器418进行存储，由流式传输组件420进行流式传输，以及由高速缓存设备422进行高速缓存。然而，应当理解，客户端406还可以上传反馈数据，以便创建其他客户端可以连接的新的现场事件。例如，在视频反馈数据的情况下，视频可以例如在交互环境中被流式传输，视频被记录并被提供给远程观看者。基于该记录，所连接的客户端可以提供关于视频的反馈，并且该反馈可以直接显示在交互环境内。因此，优选地，该反馈对于观察现场事件的其他客户端是立即可见的。

经由网络410或也可以连接到系统的现场事件后端412的另一网络(未示出)参与现场事件的其它客户端可以优选地作为单个实体连接到以异步方式组织这些客户端的面向消息的中间件414。面向消息的中间件414通过持久现场事件会话404处理客户端与现场事件的所有进一步的通信，并且还处理流向客户端的任何流。客户端参与现场事件的请求优选地以相同的方式处理。例如，安全组件416可以授权客户端对现场事件的访问，并且可以指示持久存储器418提取所请求的数据，例如现场事件的记录，其可以进一步被高速缓存在高速缓存设备422中。在请求没有被高速缓存并且立即为观众做好准备的情况下，系统可以直接从持久存储器418获取必要的数据，并且经由流式传输组件420将数据流式传输到客户端。此外，客户端与现场事件的任何交互也可以以相同的方式来处理。例如，参考图2的主动操纵218，反馈经由网络410或附加网络传输通过反馈信道408中的一个，由现场事件后端412处理，使得现场事件立即和直接更新。在另一示例中，参考图2的被动操纵216，经由网络410或附加网络通过反馈信道408之一传输的反馈还可以包括提示现场事件后端412仅使一个或多个用户的当前视图被更新而不更新该现场事件的指令。此外，在被动操纵的该示例中，并参考图2，包括关于现场事件的一个或多个交互元素202的数据请求的反馈可以被传送到持久存储器418，用于检索关于一个或多个交互元素202中的每一个的期望细节。流式传输组件420可以例如经由现场事件的现场记录将结果流式传输到所连接的远程客户端。流式传输组件420可对该结果进行压缩并编码。此外，流式传输组件420可以基于来自安全组件416所提供的客户端的认证和授权的数据来对结果进行编码。

网络410优选地启用例如经由TCP,UDP,WebSockets,RTSP等的全双工通信。例如，网络410可以是因特网。然而，应当理解，本公开不限于网络的某种类型，拓扑或配置。此外，持久存储器418可以是任何类型的适当存储器，例如存储器单元，本地，远程或分布式数据库或能够以持久方式存储与现场事件相关的数据的另一种存储设备。此外，安全组件416可以允许使用任何适当的认证和授权机制对远程观看者(例如客户端)进行认证和授权。此外，应当理解，现场事件后端412的服务层可以通过附加服务进行扩展，例如与记帐和广告预订相关的服务。

图5示出了类似于图4的系统的根据本公开的实施例的多现场事件会话组织500的示意图。因此，图5中与图4的特征类似的特征用相同的数字表示。然而，可以理解，图5中的新特征由不同的数字表示。除了图4的系统之外，图5还详细描述了多个现场事件会话的管理和组织，多个现场事件会话涉及可能彼此独立地发生的现场事件。系统可以单独地处理多个现场事件会话，无论何时多个现场事件同时发生还是在重叠的时间发生。

例如，第一现场事件A可以表示为在客户端侧的瞬时现场事件会话A，例如瞬时现场事件会话402，并且被表示为在服务器侧的持久现场事件会话A，例如持久现场事件会话404。对应的现场事件A可以由远程观看者发起，创建和拥有，并且诸如"客户端2"到"客户端5"的一组另外的远程观看者可以通过经由网络410提供的反馈信道408与现场事件A交互并参与现场事件A。

此外，系统可以托管第二现场事件B，其被表示为客户端侧B上的瞬时现场事件会话502，以及服务器侧B上的持久现场事件会话504。瞬时现场事件会话502可以定义现场事件B的所有者，例如远程观看者506，以及参与现场事件B并与现场事件B交互的一组其它远程观看者。例如，被表示为"客户端7"的远程观看者506和诸如"客户端5","客户端6"和"客户端8"的其它远程观看者可以经由反馈信道508交互并参与现场事件B，反馈信道508也可以经由网络410提供。然而，应当理解，对于与现场事件B的交互，也可以使用不同的网络。此外，一些远程观看者可以使用网络410，而其他远程观看者可以使用不同的网络，以便参与现场事件B。

如图5所示，分别与现场事件A和现场事件B相关的远程观看者的群体不需要是不相交的，并且可以包括重叠的客户端。例如，表示为"客户端5"的远程观看者510可以参与现场事件A和现场事件B两者。因此，一些远程观看者510能够参与大于一个的现场事件。在这种情况下，面向消息的中间件414过滤远程观看者510朝向正确的现场事件会话的所有请求和反馈，以便结合相应的现场事件会话来存储和处理数据。然而，除了面向消息的中间件414之外，仅举几个例子，系统还可以使用由安全组件416，持久存储器418，流式传输组件420和高速缓存设备422提供的服务，以便处理现场事件会话A和现场事件会话B两者的反馈和请求。对于被可能重叠的远程观看者群体观察的多个现场事件，采用一个面向消息的中间件414和服务416、418、420、422，大大简化了对现场事件的组织和管理，实现了对现场事件灵活的直接的参与和交互。

根据本公开的示例性实施例，并且参考交互元素的主动操纵，远程观众可以观看现场事件，例如足球比赛，其可以在本地或通过因特网被广播或流式传输到相应的设备，例如交互式电视机，计算机，移动设备(例如，平板设备或移动电话)，以及优选地，沉浸式真实感装置，例如头戴式设备或透视设备。每个远程观看者可以使用在设备上运行的应用，以便经由根据本公开的实施例的系统向现场事件的提供者发送反馈。例如，远程观看者可以决定优选的团队。然后，远程观看者可以使用和/或按下多个按钮中的一个或通过NUI手势来指示相应反馈的选项，例如分别指示"欢呼"和"嘘声"的两个按钮或选项。在选择之后，反馈可以经由系统被传送回组织者。远程观看者可以在足球比赛运行的任何时候重复反馈过程。例如，在例如图1的处理单元122的处理单元中处理所收集的连接到系统的所有远程观看者和可能的本地观看者的反馈数据，并且可以在例如主办足球比赛的体育场中的记分板上呈现所处理的反馈。特别地，依据从与玩比赛的团队之一相关联的远程观看者的反馈得到的大部分值或平均值，记分板可以显示粉丝群体欢呼或嘘声的动画图标。

在现场事件的某些时刻，例如在进球过程中，远程观看者可以提供反馈，该反馈可以对动作或事件进行评论，例如，通过按下他们的输入设备上的按钮或通过表示某种含义的NUI手势，例如分别是"我喜欢/我同意"和"我不喜欢/我不同意"。这些反馈数据可以优选地被收集特定的时间帧，并且此后可以作为投票呈现在体育场记分板上。因此，在家里的远程观众以及在现场事件的本地观众都能够观看所呈现的处理反馈。

优选地，高级反馈能力可以包括发送文本消息，文本消息可以显示在记分板上或者作为周边广告显示在其它显示设备上。此外，这种处理可以包括将声音和其它媒体数据发送到体育场内的音频系统或多媒体系统。

在本公开的另一个示例性实施例中，并且参考上述足球比赛现场事件，观看足球比赛的远程观看者能够在持有或佩戴适当的设备时点击或触摸现场事件的交互元素，使得它们能够与交互元素交互。例如，用户可以从家或任何其它优选的远程位置实时地观看在足球场中发生的动作，就好像他们出现在足球场中一样。一旦远程观看者已经通过适当的设备或NUI手势选择了交互元素，远程观看者就可以继续操纵特定的交互元素，例如玩家，足球或足球场。此外，在该示例中，并且参考交互元素的主动操纵，所有远程观看者，并且优选地已经被授权具有特殊许可的远程观看者，可以能够通过虚拟地触摸体育场处的灯或者通过其他方法来主动地操作某些交互元素，例如足球场内部的照明。然后，远程观看者可以调整体育场的照明。用于调整照明的反馈数据可以从连接到系统的所有允许的远程观看者和可能的本地观看者收集，并且可以随后被处理。此后，可以根据大多数观看者选择的照明设置来调整照明。

此外，在足球比赛现场事件的示例中，远程观看者还能够通过本公开的被动操纵来访问一个或多个交互元素的细节，诸如玩家统计或传记，足球速度，加速度，轨迹等，以及体育场细节，例如历史，尺寸，容量等。该信息可以被处理，渲染并发送回远程观看者，而无需更新现场事件。对于需要来自例如足球的遥测元数据的实施例，可能需要将适当的系统组件连接到足球，以便测量相应的遥测元数据，优选地，图3中描述的一个或多个系统组件根据本公开的实施例起作用。在采用被动操纵的另一个示例中，远程观众以及可能的本地观众能够请求重放最近在足球比赛中发生的特定游戏。

此外，类似游戏的动作可以由远程以及本地观众通过系统启动。例如，每当一定数量的远程和本地观看者执行相同的动作时，多媒体动画或反应可以显示在主办现场事件的交互环境中的显示设备上，例如在体育场内的记分板上。如果参与的观众进行管理以执行一定数量的反应，例如，这些反应中的三个，则可以向观众奖励"红利"，如在体育场中播放的声音或其它多媒体内容。

在根据本公开的系统的又一示例性实施例中，可以允许剧院演出的观众直接参与演出。该系统可用于将直接存在于交互环境(例如剧场大厅或电视演播室)中的本地观众与使用适当设备在家中观看演出记录的远程观众相连接。因此，系统允许大得多的观众群体参与现场事件。例如，演奏的乐曲或表演可以包括法庭审判。在演员扮演了若干角色，例如法官，律师和嫌疑人的同时，远程和本地观众可以担当陪审团并且可以投票。虽然大多数表演可能不需要任何直接参与，但是由于观众知道他们将必须提供反馈，因此他们应该注意，所以他们将继续参与。除了与最终投票相关的反馈之外，还可以要求观看者提供影响审判进展的反馈。此外，观众还可以直接控制舞台效果，如灯，雾或声音。

根据本公开的系统的另一个实施例，电视台可以通过回答问题来广播参与者可以赢取金钱的经纪人游戏节目。在玩家不知道答案的情况下，通过将关于正确答案的建议作为反馈发送给玩家，节目的远程观看者可以直接参与。玩家可以考虑该反馈并且可以与远程观看者通信，例如，通过直接向用于记录现场事件的任何装置(例如电视相机)讲话，并且从远程观众接收进一步的反馈，直到玩家确信他已经接收到正确的答案。玩家和/或主办游戏节目的交互环境还可以向对正确答案提供初始猜测的远程观看者之一提供具有增强的访问权限，从而以某种偏好来处理该远程观看者的任何后续反馈，并将任何后续反馈直接提供给玩家。

根据本公开的实施例的另一级的直接参与和交互可以包括将远程观看者作为实际玩家直接参与游戏节目。可以使一个、一些或所有远程观看者能够作为玩家参与并回答问题以赢得游戏节目，从而导致在游戏节目的位置处本地和/或远程地呈现一起玩游戏(或彼此对立)的混合的玩家群体。

在本公开的又一个示例性实施例中，主办游戏节目的交互环境可以具有基于灵巧性的挑战的特征，例如骑在斗牛机上或者操纵船通过模拟的野生水河或者在另一个计算机生成的或模拟的虚拟环境内。虽然一些参与者可能存在于节目的位置，但是根据本公开的实施例，其他参与者也可以远程连接并通过系统参与。参与者可以通过不同的反馈信道来进行组队以相互支持。例如，本地参与者实际上可以通过与基于灵巧性的挑战的输入设备交互来直接与挑战交互，诸如坐在试图在其顶部平衡的斗牛机上，而远程参与者可以通过减小斗牛机正在移动的力来支持本地参与者，或者通过增大力来对抗本地参与者，以便将任何本地参与者推离斗牛机。

在本公开的又一示例性实施例中，主办董事会议的交互环境可以包括位于会议室中的多个本地参与者，以及从其他位置参与的多个远程观看者。远程观看者可以远程参加被虚拟传输的董事会议到会议室(即，能够优选地经由沉浸式现实设备来观看董事会议的所有元素)。或者，可以将董事会议的本地参与者以及董事会议的其它交互元素映射到远程观看者周围的空间或元素，从而将远程董事会议虚拟地投影给一个或多个远程观看者。远程观看者可以通过向远程董事会议提供音频、视频或其它类型的反馈来积极地参与董事会议，该反馈可以通过适当的处理单元来处理并由适当的渲染器来渲染(例如图1的处理单元122和渲染器118)。

在本公开的又一示例性实施例中，交互环境可以包括现实的拍卖，其中有位于室内或室外拍卖室中的多个本地参与者，并且多个远程观看者从其他位置参与。一个或多个远程观看者可以通过经由合适的设备输入对拍卖商品的出价来提供反馈。来自远程观看者的出价反馈可以由适当的处理单元(例如图1的处理单元122)处理，并显示给拍卖的本地参与者。在类似的示例性实施例中，其中本公开的系统被用于拍卖，现场数字拍卖可以在网站或网络应用中举行。在该示例性实施例中，表示拍卖设置的计算机生成的图像可以由渲染器(例如图1的渲染器118)渲染，并呈现给观看者。此外，可以为每个参与者分配虚拟化身，该虚拟化身可以表示或者可以不表示每个参与者的真实外观。这样，参与者可以虚拟地参加和参与拍卖。

在上述示例中描述的相同原理可以应用于其它类型的情况，例如电子购物。对于电子购物的例子，可以为每个买方分配三维化身，并且每个买方可以与显示不同商品的在线商店的其他买方和卖方会面。远程观看者可以被虚拟地传送到虚拟电子商店，或者虚拟电子商店可以被投影给远程观看者。远程观看者可以购买和销售商品，并且可以继续支付或其他交易。远程观看者也可以相互通信。例如，远程买方可以在查看卖方的三维化身之后询问关于产品的更多细节，包括尺寸，特征，价格折扣等。同样，买方可以相互通信并讨论购买可能性。在一些实施例中，卖方可以包括"机器人"或自动代理，其可以充当人的虚拟卖方，并且可以帮助买家在没有人工干预的情况下获得购买体验。

将上述例子的原理运用到众筹活动中，观看者可以从多个众筹项目中进行选择，每个众筹项目都可以包括自己的虚拟互动元素。观看者可以同等地在这些众筹的交互环境中会面，每个交互环境代表一个众筹的项目，并且可以为喜欢的项目捐款。此外，本公开的系统可以实现每个远程观看者之间的通信，使得观众可以例如将音频或视频反馈发送给彼此，以便讨论和评估不同的众筹项目。

根据另一示例，交互环境可以包括具有体积扫描手术椅的手术室。手术室连同所有演员，虚拟化对象，用户化身和虚拟化手术椅以及在手术室中发生的活动将被虚拟参与者看见。这样，现实手术室的现实参与者可以与虚拟参与者交互以进行手术。例如，有经验的医生可以在外科手术期间远程地向外科医生和医务人员提供现场指导。远程参与者甚至可以通过这种外科手术机器的虚拟孪生，自然地驱动真实的外科手术机器。为了允许通过虚拟副本对真实物体进行现场操纵，可以采用在2018年5月24日提交的美国临时申请62/676，124中所描述的技术。

根据本公开的系统的另一示例性实施例，数字游戏比赛可以通过电视，视频游戏控制台，因特网站点或类似设备向观看现场事件的广大远程观众进行广播。远程观众能够向云服务器中的处理单元发送反馈。处理单元可以处理反馈数据，以便使远程观看者能够参与现场事件。如以上关于其它示例性实施例所讨论的，远程观看者可以通过评论和/或欢呼的方式参与到现场事件中的某个场合或动作中，或者直接影响实际的数字游戏比赛。

例如，在现场事件期间，可以在若干队伍中组织一定数量的玩家，每个玩家玩数字游戏，例如第一人射击者游戏。虽然队伍可以直接相互竞争，但是整个远程观众能够以不同的方式影响数字游戏，例如：(1)为其中一支队伍加油，从而表示相应的支持；(2)通过为数字游戏提供资源来支持其中一支队伍，例如：新的装备、武器、奖金等等；(3)在游戏中添加中立事件，如引发地震、改变天气、添加由人工智能控制的第三支敌对势力等；以及(4)在数字游戏的进度中添加其他不受竞争队伍控制的事件，或其他可能的互动。远程观众可以在一个或多个屏幕或视图上观看队伍比赛的进度，以及远程观众调用的动作。后者可以在相同的显示器或屏幕上或者在单独的显示器或屏幕上观看，例如粉丝视图不仅提供了现场事件的行动，而且还提供了本地观众的视图。

根据本公开的系统的另一示例性实施例，移动输入设备，头戴式显示器或透视设备的用户可以连接到例如因特网，以在游戏环境中加入在一起，并通过向系统提供反馈数据来联合控制数字游戏的虚拟对象的行为，例如驾驶车辆。主办游戏的交互环境可以提供与游戏相关的媒体流，例如视频，音频和/或其它媒体，其被传送到所有远程参与者。交互环境的媒体流或记录可以包括与现场事件相关的任何内容，例如向所有远程参与者广播游戏的预渲染的视频流或渲染的视频流、或游戏环境的抽象表示，例如与场景图相关的数据或对场景图的更新，其可以被传送到每个远程参与者的设备并在相应的设备上呈现。

每个远程参与者可以发送与游戏的虚拟对象(例如车辆)的期望控制相关的反馈。系统可以收集和处理所有远程观看者的反馈，并基于处理的结果在交互式游戏环境内调用相应的动作。例如，数字游戏可能需要操纵车辆通过愉快的环境，并收集奖励项目，同时避免障碍物。远程观看者可以通过记录的交互环境，而看到其他远程观众操控车辆的数据和有多少其他远程观看者连接到交互环境的数据、以及其他信息，从而增加远程观看者在主办现场事件的交互环境中的参与度和存在感。这种方法有利地允许远程观看者的参与，该远程观看者可以位于任何地方。特别地，远程观看者不必在同一地点，但是可以在同一地点。连接到根据本公开的实施例的系统的唯一要求是交互设备，例如移动电话，诸如头戴式显示器或透视设备的沉浸式现实设备，或诸如机顶盒或个人计算机的非便携式设备，其能够观看主办现场事件的交互环境的记录，并且能够连接到系统以提供反馈，以便直接影响交互环境。

尽管已经借助于示例性实施例描述了本发明，但是应当理解，本公开不限于特定的现场事件以及相关的处理和参与和交互的模式，例如观看体育事件，与剧场演出或节目交互，参与电视或游戏节目，参与董事会会议，参与拍卖，进行电子商务和现场购物，和/或参与数字游戏比赛或在线群体游戏。相反，可以由计算机系统记录或创建并传输到远程观众的任何现场事件可以由根据本公开的实施例的系统来托管，使得远程观众能够直接参与并影响现场事件。

图6示出了根据本公开的实施例的方法600的流程图。例如，方法600可以由根据本公开的实施例的系统执行，例如关于图5所讨论的系统，并且可以包括图2中公开的沉浸式交互特征。

在块602，该方法提供一个或多个交互环境，其中每个交互环境主持一个现场事件。每一个交互环境都在块604处连续记录或虚拟生成。在块606，方法600继续，云服务器接收交互环境的记录，其中云服务器包括一个或多个远程服务器，包括至少一个处理单元、存储器和至少一个渲染器。在块608中，方法600通过云服务器的至少一个处理单元来继续处理多个交互环境中的一个或多个相应记录，并在交互元素上生成交互体。然后，在块610中，方法600继续，利用处理后的数据和交互元素上的交互体，由至少一个处理单元生成沉浸式体验。此后，方法600在块612中继续进行，由至少一个渲染器渲染沉浸式体验以生成沉浸式媒体流，通过交互设备发送到一个或多个观看者。随后，在块614中，该方法继续，接收与现场事件相关联的一个或多个沉浸式体验的观众反馈，其中，反馈包括被动操纵指令和主动操纵指令，被动操纵指令提示处理单元仅更新发送到交互设备的沉浸式内容，主动操纵指令提示处理单元将现场事件与沉浸式内容一起更新。最后，该方法在块616中结束，由至少一个处理单元和渲染器通过在交互使环境中启动动作，或在处理后的反馈上更新沉浸式内容，或其组合来更新交互环境。确定是否更新现场事件和/或仅更新沉浸式内容可能取决于接收到的反馈是否包括主动或被动操纵交互元素(例如，被动操纵216、主动操纵218和图2的交互元素202)。

虽然已经说明和描述了本发明的具体优选实施例，但将明确的是，本发明不受如此限制。对于本技术领域的熟练人员来说，在不偏离本发明的精神和范围的情况下，会发生许多修改或改变、变化、变型、替代和等价物，并且被认为是本文所公开的发明的一部分。

此外，本发明应被视为包括本说明书、所附权利要求书和/或图中描述的每一个特征的所有可能的组合，这些特征可被认为是新的、创造性的和工业上适用的。

在这里描述的发明实施例中，有可能出现多种变化和修改。虽然这里已经展示和描述了本发明的某些示例性实施例，但在前述公开中考虑了广泛的修改、变化和替代。虽然上述描述包含许多具体内容，但这些不应被解释为对发明范围的限制，而是作为其一个或另一个优选实施例的示例。在某些情况下，可以采用本发明的某些特征，而不需要相应地使用其他特征。

因此，适当的是，前述描述应作广义的解释，并理解为仅以说明和示例的方式给出，本发明的精神和范围仅受最终发出的权利要求的限制。