增强现实体验的流畅度切换方法及装置

技术领域

本公开涉及增强现实AR体验技术领域，尤其涉及一种增强现实体验的流畅度切换方法及装置。

背景技术

增强现实技术(以下简称AR)是基于相机视频流数据或AR设备的传感器数据流实现的现实增强技术，增强现实技术依赖设备的硬件包含有相机、陀螺仪、磁力计、线性加速计、运动传感器等其中的一种或多种。

通常情况下，一个APP或者AR设备的体验入口，往往有多个AR体验内容，且多个AR体验内容有时候是需要连续性体验的。此时，在算法层面上，每个AR体验内容都要执行算法模块的卸载和重新加载，包含重新加载相同的和不同的算法。

相关技术中在连续体验多个AR内容时，由于加载的算法不同以及算法数据源的要求不同，需要重新退出内容和重新进入内容，打断了AR体验流程，增加了AR体验的时间成本。并且，目前大多数AR体验内容都是相互独立的，在大空间体验、主题系列等场景体验AR时，要求在切换AR体验内容时能支持空间的连续性和主题的上下文联系以及丰富沉浸式AR体验玩法，相关技术不能支持AR体验内容的流畅切换。

发明内容

有鉴于此，本公开实施例提供了一种增强现实体验的流畅度切换方法及装置，能够支持不同AR算法的切换以及AR虚拟空间的跟踪位姿的空间连续性，基于解耦AR算法的数据源和算法部分，引入AR设备的相机和传感器管理模块，可实现在切换算法时对AR设备的数据源进行实时动态开闭管理，确保在多个AR内容连续体验时无需对AR设备的相机和传感器重新启动，从而保证了体验形式的连续，以及提供了AR内容对应的算法在AR虚拟空间的跟踪位姿Pose数据的保畅切换，可以实现POSE的连续性，从而可以实现AR空间的连续性，进而满足用户的流畅稳定的AR效果体验需求。

第一方面，本公开实施例提供了一种增强现实体验的流畅度切换方法，采用如下技术方案：

检测用户在增强现实AR设备上针对第一AR内容的切换操作；

当检测到所述切换操作，以及所述AR设备的AR界面正在播放所述第一AR内容时，根据预设切换策略将所述第一AR内容切换到所述切换操作所对应的第二AR内容；

在所述AR界面上播放所述第二AR内容。

在一些实施例中，根据预设切换策略将所述第一AR内容切换到所述切换操作所对应的第二AR内容，包括：

根据所述预设切换策略，对所述第一AR内容对应的第一相机和第一传感器进行动态关闭，以及，对所述第二AR内容对应的第二相机和第二传感器进行动态开启；

获取所述第二相机所采集的第二相机数据，以及，获取所述第二传感器所采集的第二传感器数据；

通过有限状态机FSM算法执行对所述第一AR内容对应的第一算法的卸载操作；

当所述第一算法卸载完成时，通过所述FSM算法执行对所述第二AR内容对应的第二算法的运行操作，其中，所述第二算法中包含用于播放所述第二传感器数据的第二传感器算法，以及包含用于播放所述第二相机数据的第二相机算法。

在一些实施例中，第一算法和第二算法的数据源相同。

因此，第一算法和第二算法的数据源可能是一致的，切换时无需重启，实现数据源的精细化管理，体现的是连续体验的第一个特征。

在一些实施例中，通过所述FSM算法执行对所述第二AR内容对应的第二算法的运行操作，包括以下至少之一：

通过所述FSM算法执行对所述第二算法的独立运行操作；

通过所述FSM算法，基于共性组件或私有组件执行对所述第二算法的组合式运行操作。

在一些实施例中，所述方法还包括：

获取所述第一AR内容对应的第一算法在AR虚拟空间的第一跟踪位姿Pose数据；

当所述第一Pose数据满足第一预设条件时，运行所述第二AR内容对应的第二算法，并获取所述第二算法的第二Pose数据；当所述第一Pose数据不满足所述第一预设条件时，丢弃所述第一Pose数据并直接运行所述第二算法；

当所述第二Pose数据满足第二预设条件时，继续运行所述第二算法；当所述第二Pose数据不满足所述第二预设条件时，对所述第二Pose数据进行优化处理，并运行所述第二算法。

在一些实施例中，当所述第一Pose数据满足以下至少一种条件时，确认所述第一Pose数据不满足所述第一预设条件：

所述第一Pose数据对应的第一时间戳与当前时间戳的第一差值大于或等于第一预设阈值；

所述第一Pose数据不支持位姿连续切换；

仅支持运行所述第一Pose数据。

在一些实施例中，对所述第二Pose数据进行优化处理，包括以下至少之一：

将所述第二Pose数据对应的第二时间戳更新为当前时间戳；

对所述第二Pose数据进行多维差值补偿；

对所述第二Pose数据进行平滑处理；

根据所述第一算法和所述第二算法的类型对所述第二Pose数据进行加权差值补偿。

第二方面，本公开实施例还提供了一种增强现实体验的流畅度切换装置，采用如下技术方案：

检测单元，被配置为检测用户在增强现实AR设备上针对第一AR内容的切换操作；

内容切换单元，被配置为当检测到所述切换操作，以及所述AR设备的AR界面正在播放所述第一AR内容时，根据预设切换策略将所述第一AR内容切换到所述切换操作所对应的第二AR内容；

内容播放单元，被配置为在所述AR界面上播放所述第二AR内容。

在一些实施例中，所述内容切换单元包括：

动态开闭模块，被配置为根据所述预设切换策略，对所述第一AR内容对应的第一相机和第一传感器进行动态关闭，以及，对所述第二AR内容对应的第二相机和第二传感器进行动态开启；

数据获取模块，被配置为获取所述第二相机所采集的第二相机数据，以及，获取所述第二传感器所采集的第二传感器数据；

算法卸载模块，被配置为通过有限状态机FSM算法执行对所述第一AR内容对应的第一算法的卸载操作；

算法运行模块，被配置为当所述第一算法卸载完成时，通过所述FSM算法执行对所述第二AR内容对应的第二算法的运行操作，其中，所述第二算法中包含用于播放所述第二传感器数据的第二传感器算法，以及包含用于播放所述第二相机数据的第二相机算法。

第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：

所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的增强现实体验的流畅度切换方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的增强现实体验的流畅度切换方法。

本公开实施例提供的一种增强现实体验的流畅度切换方法及装置，该方法包括：检测用户在增强现实AR设备上针对第一AR内容的切换操作；当检测到切换操作，以及AR设备的AR界面正在播放第一AR内容时，根据预设切换策略将第一AR内容切换到切换操作所对应的第二AR内容；在AR界面上播放第二AR内容。本公开实施例能够支持不同AR算法的切换以及AR虚拟空间的跟踪位姿的空间连续性，可实现在切换算法时对AR设备的数据源进行实时动态开闭管理，确保在多个AR内容连续体验时无需对AR设备的相机和传感器重新启动，从而保证了体验形式的连续，以及提供了AR内容对应的算法在AR虚拟空间的跟踪位姿Pose数据的保畅切换，可以实现POSE的连续性，从而可以实现AR空间的连续性，进而满足用户的流畅稳定的AR效果体验需求。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的一种增强现实体验的流畅度切换方法的流程示意图；

图2为本公开实施例提供的一种增强现实体验的流畅度切换方法的交互示意图；

图3为本公开实施例提供的一种增强现实体验的流畅度切换装置的结构示意图；

图4为本公开实施例提供的另一种增强现实体验的流畅度切换装置的结构示意图；

图5为本公开实施例提供的一种电子设备的原理框图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

应当明确，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目各方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

如图1所示，本公开实施例提供了一种增强现实体验的流畅度切换方法，包括：

S101、检测用户在增强现实AR设备上针对第一AR内容的切换操作。

S102、当检测到切换操作，以及AR设备的AR界面正在播放第一AR内容时，根据预设切换策略将第一AR内容切换到切换操作所对应的第二AR内容。

本公开实施例中的第一AR内容和第二AR内容为连续体验内容，通过在算法层中执行相应的预设切换策略，保证第一AR内容和第二AR内容连续体验时的稳定流畅。需要说明的，连续体验的AR内容也可以是多个，本公开实施例对此不做限定。

S103、在AR界面上播放第二AR内容。

在一些实施例中，步骤S102、根据预设切换策略将第一AR内容切换到切换操作所对应的第二AR内容，包括：

根据预设切换策略，对第一AR内容对应的第一相机和第一传感器进行动态关闭，以及，对第二AR内容对应的第二相机和第二传感器进行动态开启；

获取第二相机所采集的第二相机数据，以及，获取第二传感器所采集的第二传感器数据；

通过有限状态机FSM算法执行对第一AR内容对应的第一算法的卸载操作；

当第一算法卸载完成时，通过FSM算法执行对第二AR内容对应的第二算法的运行操作，其中，第二算法中包含用于播放第二传感器数据的第二传感器算法，以及包含用于播放第二相机数据的第二相机算法。其中，第一算法和第二算法的数据源可以是一致的。

如图2所示，本公开实施例提供一种增强现实体验的流畅度切换方法的交互示意图，其中，相机1即为第一相机，相机2即为第二相机，传感器1即为第一传感器，传感器2即为第二传感器，算法1和算法2可以定义为第一算法，算法3和算法4可以定义为第二算法，算法管理层即为有限状态机FSM算法。

FSM算法具有初始化、启动、暂停、运行和卸载等状态，FSM算法包含但不限于图片定位跟踪算法、物体识别跟踪算法、平面识别跟踪算法等。算法1、算法2、算法3和算法4可以执行相机帧画面处理操作、视觉定位操作、机器学习操作等。FSM算法可以基于图3中的共性组件1、共性组件2、私有组件3或私有组件4等将算法1、算法2、算法3或算法4等进行组合式运行，或者，也可以将算法1、算法2、算法3或算法4等进行独立运行。

图3中的相机管理模块和传感器管理模块分别独立运行，相机管理模块可以实现相机1和相机2的数据采集、处理和分流作用，传感器管理模块可以实现传感器1和传感器2的数据采集、处理和分流作用，相机管理模块和传感器管理模块将可用的、有效的且稳定流畅的相机数据和传感器数据通过算法管理层发送到对应的算法执行。

在一些实施例中，通过FSM算法执行对第二AR内容对应的第二算法的运行操作，包括以下至少之一：

通过FSM算法执行对第二算法的独立运行操作；

通过FSM算法，基于共性组件或私有组件执行对第二算法的组合式运行操作。

在一些实施例中，该方法还包括：

获取第一AR内容对应的第一算法在AR虚拟空间的第一跟踪位姿Pose数据；

当第一Pose数据满足第一预设条件时，运行第二AR内容对应的第二算法，并获取第二算法的第二Pose数据；当第一Pose数据不满足第一预设条件时，丢弃第一Pose数据并直接运行第二算法；

当第二Pose数据满足第二预设条件时，继续运行第二算法；当第二Pose数据不满足第二预设条件时，对第二Pose数据进行优化处理，并运行第二算法。

可选地，当第二Pose数据不满足第二预设条件的情况包含但不限于：1、第一Pose数据和第二Pose数据的时间戳相差过大，即第二Pose数据对应的第二时间戳与当前时间戳的第二差值大于或等于第二预设阈值；2、第二Pose数据不支持位姿连续切换，例如，第一Pose数据和第二Pose数据的位姿数据空间距离过大。

可选地，当需要进行算法切换时，优先卸载旧的算法，例如本公开实施例中的第一算法，并在第一算法卸载完成后，对新的算法(即第二算法)的初始化、启动和运行操作。

可选地，第一Pose数据和第二Pose数据包括AR虚拟空间中的位置信息、朝向信息、时间戳、算法类型等。用户可以根据实际需求进行设置，本公开实施例对此不做限定。

在一些实施例中，当第一Pose数据满足以下至少一种条件时，确认第一Pose数据不满足第一预设条件：

第一Pose数据对应的第一时间戳与当前时间戳的第一差值大于或等于第一预设阈值；

第一Pose数据不支持位姿连续切换；

仅支持运行第一Pose数据。

在一些实施例中，对第二Pose数据进行优化处理，包括以下至少之一：

将第二Pose数据对应的第二时间戳更新为当前时间戳；

对第二Pose数据进行多维差值补偿；

对第二Pose数据进行平滑处理；

根据第一算法和第二算法的类型对第二Pose数据进行加权差值补偿。

可选地，为了确保位姿的连续性，本公开实施例对第二Pose数据进行优化处理，其中，对于无法满足优化条件的旧算法(即第一算法)Pose数据可以丢弃。

可选地，第一算法和第二算法可以是相同的算法，也可以是不相同算法，本公开实施例还可以支持两种及以上的新算法和旧算法同时运行，可以在对算法进行配置时预先设置。

如图3所示，本公开实施例还提供了一种增强现实体验的流畅度切换装置，包括：

检测单元31，被配置为检测用户在增强现实AR设备上针对第一AR内容的切换操作；

内容切换单元32，被配置为当检测到切换操作，以及AR设备的AR界面正在播放第一AR内容时，根据预设切换策略将第一AR内容切换到切换操作所对应的第二AR内容；

内容播放单元33，被配置为在AR界面上播放第二AR内容。

如图4所示，在一些实施例中，内容切换单元32包括：

动态开闭模块321，被配置为根据预设切换策略，对第一AR内容对应的第一相机和第一传感器进行动态关闭，以及，对第二AR内容对应的第二相机和第二传感器进行动态开启；

数据获取模块322，被配置为获取第二相机所采集的第二相机数据，以及，获取第二传感器所采集的第二传感器数据；

算法卸载模块323，被配置为通过有限状态机FSM算法执行对第一AR内容对应的第一算法的卸载操作；

算法运行模块324，被配置为当第一算法卸载完成时，通过FSM算法执行对第二AR内容对应的第二算法的运行操作，其中，第二算法中包含用于播放第二传感器数据的第二传感器算法，以及包含用于播放第二相机数据的第二相机算法。

根据本公开实施例的电子设备包括存储器和处理器。该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

该处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令，使得该电子设备执行前述的本公开各实施例的增强现实体验的流畅度切换方法全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。

如图5为本公开实施例提供的一种电子设备的结构示意图。其示出了适于用来实现本公开实施例中的电子设备的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

通常，以下装置可以连接至I/O接口：包括例如传感器或者视觉信息采集设备等的输入装置；包括例如显示屏等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备(比如边缘计算设备)进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的增强现实体验的流畅度切换方法的全部或部分步骤。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例的增强现实体验的流畅度切换方法的全部或部分步骤。

上述计算机可读存储介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。