一种实现应用显示处理的方法和虚拟现实系统

技术领域

本文涉及但不限于虚拟现实技术，尤指一种实现应用显示处理的方法和虚拟现实系统。

背景技术

虚拟现实(VR，Virtual Reality)技术，又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。

相关技术中的VR系统，主要应用传统的显示和交互流程，一般是将一个应用场景的所有元素都渲染到物理屏幕上，其他应用在后台运行，在查看后台应用是否接收到消息时，用户一般通过切换操作切换在物理屏幕上显示在后台运行的应用；当需要查阅多个应用的消息时，上述切换操作繁琐，此外，切换操作还可能出现显示冲突，造成系统崩溃。

为避免切换操作带来的问题，一些技术人员在VR系统中创建一个容器，在容器里创建多个虚拟显示屏幕，在每一个虚拟显示屏幕分别加载显示一个应用；当创建的容器中包含VR应用时，由于VR应用需要在容器内进行完整渲染，因此，多个虚拟显示屏幕存在无法同时显示的问题。如何提升VR系统内多个应用的内容显示质量，成为一个有待解决的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种实现应用显示处理的方法和虚拟现实系统，能够提升VR系统的内容显示质量。

本发明实施例提供了一种实现应用显示处理的方法，应用于虚拟现实系统，包括：

通过预先创建的容器加载后台运行的一个以上第一应用；

从容器中选择若干个第一应用；

在物理屏幕已渲染第二应用的内容的显示界面上，叠加显示从容器中选择的若干个第一应用的内容。

在一种示例性实例中，所述叠加显示从容器中选择的若干个第一应用的内容，包括：

在所述显示界面中加载若干个显示组件；

在加载的各显示组件分别渲染所述若干个第一应用中其中一个的内容。

在一种示例性实例中，所述从所述容器中选择若干个第一应用，包括：

从加载到所述容器的所述一个以上第一应用中，根据接收到的第一外部指令确定所述若干个第一应用。

在一种示例性实例中，所述叠加显示从容器中选择的若干个第一应用的内容之后，所述方法还包括：

接收通过人体输入学设备输入的对所述第二应用的内容进行更新的第一信息；

根据接收到的所述第一信息对所述物理屏幕上渲染的所述第二应用的内容进行更新。

在一种示例性实例中，所述第一信息包括：

对虚拟现实应用进行操控和调整的信息，以及位姿变化信息。

在一种示例性实例中，所述接收通过人体输入学设备输入的对第二应用的内容进行更新的第一信息之后，所述方法还包括：

根据所述第一信息中的位姿变化信息对叠加显示的所述若干个第一应用中的部分或全部应用的内容进行更新。

在一种示例性实例中，所述接收通过人体输入学设备输入的对第二应用的内容进行更新的第一信息之后，所述方法还包括：

根据第一信息中的位姿变化信息对在后台运行的第一应用中的部分或全部应用的内容进行更新。

在一种示例性实例中，所述叠加显示从容器中选择的若干个第一应用的内容之后，所述方法还包括：

接收到预设的触发指令，按照预设策略在容器中显示所述第二应用和所述一个以上第一应用；

从在容器中显示的所述第二应用和所述一个以上第一应用中，根据接收到的第二外部指令重新确定所述第二应用。

在一种示例性实例中，所述按照预设策略在容器中显示所述第二应用和所述一个以上第一应用，包括：

将第二应用和一个以上第一应用在容器中以虚拟角色为中心平铺显示；或者，

将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示。

在一种示例性实例中，所述按照预设策略在容器中显示所述第二应用和所述一个以上第一应用，包括：

加载到所述容器的第一应用的个数小于预设的数值阈值时，将所述第二应用和所述一个以上第一应用在所述容器中以虚拟角色为中心平铺显示；

加载到所述容器的第一应用的个数大于所述数值阈值时，将所述第二应用和所述一个以上应用按照预设的移动规则在所述容器中以所述虚拟角色为中心移动显示。

在一种示例性实例中，所述将所述第二应用和所述一个以上应用按照预设的移动规则在所述容器中以所述虚拟角色为中心移动显示，包括：

将所述第一应用和所述第二应用按照预设的移动速度以所述虚拟角色为中心旋转移动；或者，

在预设时间阈值内未收到第三外部指令时，将所述第一应用和所述第二应用按照预设的移动速度以所述虚拟角色为中心旋转移动，直到收到所述第三外部指令时停止移动。另一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述实现应用显示处理的方法。

再一方面，本发明实施例还提供一种终端，包括：存储器和处理器，所述存储器中保存有计算机程序；其中，

处理器被配置为执行存储器中的计算机程序；

所述计算机程序被所述处理器执行时实现如上述实现应用显示处理的方法。

还一方面，本发明实施例还提供一种实现应用显示处理的虚拟现实系统，包括：加载单元、选择单元和处理单元；其中，

加载单元设置为：通过预先创建的容器加载后台运行的一个以上第一应用；

选择单元设置为：从容器中选择若干个第一应用；

处理单元设置为：在物理屏幕已渲染第二应用的内容的显示界面上，叠加显示从容器中选择的若干个第一应用的内容。

本发明实施例在容器中加载后台运行的一个以上第一应用，从容器中选择其中的若干个第一应用，在物理屏幕已渲染第二应用的内容的显示界面，叠加显示从容器中选择的若干个第一应用的内容。通过在第二应用的显示界面叠加显示被选择的后台运行的第一应用的内容，而其他未被选择的后台运行的第一应用的内容还维持在后台运行，提升了虚拟现实系统的内容显示质量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例实现应用显示处理的方法的流程图；

图2为本发明实施例容器的示意图；

图3为本发明实施例显示界面的示意图；

图4为本发明实施例实现应用显示处理的装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例实现应用显示处理的方法应用于虚拟现实(VR)系统，图1为本发明实施例实现应用显示处理的方法的流程图，如图1所示，包括：

步骤101、通过预先创建的容器加载后台运行的一个以上第一应用；

在一种示例性实例中，本发明实施例中的一个以上应用包括VR应用。

在一种示例性实例中，本发明实施例中的一个以上应用包括以下一种或任意组合：

影音娱乐类应用、社交类应用、通信类应用、文档编辑类应用、购物类应用、图像处理类应用、新闻资讯类应用和运动类应用。

步骤102、从容器中选择若干个第一应用；

需要说明的是，从容器中选择的第一应用的个数可以根据加载至容器的第一应用的个数和用户需求进行设置，可以是一个固定的值，也可以是一个动态变化的数值。

在一种示例性实例中，从容器中选择若干个第一应用，包括：

从加载到容器的一个以上第一应用中，根据接收到的第一外部指令确定若干个第一应用。

在一种示例性实例中，本发明实施例可以通过预设的交互界面接收第一外部指令，通过第一外部指令可以实现对容器中需要叠加显示的第一应用进行选择操作。

在一种示例性实例中，本发明实施例方法还包括：设置添加到容器的各应用的显示尺寸和位置。图2为本发明实施例容器的示意图，如图2所示，在容器中添加了若干个后台运行的第一应用，本发明实施例通过在容器中加载后台运行的第一应用后，可以选择需要在第二应用的显示界面叠加显示的第一应用。

步骤103、在物理屏幕已渲染第二应用的内容的显示界面上，叠加显示从容器中选择的若干个第一应用的内容。

需要说明的是，本发明实施例第二应用为VR系统中按照相关技术中已有方式，在物理屏幕上进行内容渲染的应用；完成内容渲染的应用即在物理屏幕上进行显示。

本发明实施例在容器中加载后台运行的一个以上第一应用，从容器中选择其中的若干个第一应用，在物理屏幕已渲染第二应用的内容的显示界面，叠加显示从容器中选择的若干个第一应用的内容。通过在第二应用的显示界面叠加显示被选择的后台运行的第一应用的内容，而其他未被选择的后台运行的第一应用的内容还维持在后台运行，提升了VR系统的内容显示质量。

在一种示例性实例中，本发明实施例叠加显示从容器中选择的若干个第一应用的内容，包括：

在显示界面中加载若干个显示组件；

在加载的各显示组件分别渲染若干个第一应用中其中一个的内容。

在一种示例性实例中，本发明实施例中的显示组件包括：悬浮窗口、嵌入到第二应用显示界面的固定位置的显示窗口。

在一种示例性实例中，加载显示组件之前，本发明实施例方法还包括：

根据接收到的交互指令，设置显示组件的以下一项或任意组合的参数：

加载位置、大小、透明度、是否隐藏和是否删除。

在一种示例性实例中，本发明实施例可以基于容器的功能进行显示组件的参数设置。

需要说明的是，显示组件的参数设置、加载、及在其中显示第一应用的内容的处理，可以参照相关技术实现，在此不做赘述。

图3为本发明实施例显示界面的示意图，如图3所示，在第二应用的显示界面，通过悬浮窗口叠加显示了若干个第一应用。

在一种示例性实例中，叠加显示从容器中选择的若干个第一应用的内容之后，本发明实施例方法还包括：

接收通过人体输入学设备输入的对第二应用的内容进行更新的第一信息；

根据接收到的第一信息对物理屏幕上渲染的第二应用的内容进行更新。

在一种示例性实例中，本发明实施例人体输入学设备包括但不限于：头戴式设备或手动输入设备(例如手柄、手势、手套)。

在一种示例性实例中，本发明实施例中的第一信息可以包括对VR应用进行操控和调整的信息，以及位姿变化信息。

在一种示例性实例中，接收通过人体输入学设备输入的对第二应用的内容进行更新的第一信息时，本发明实施例方法还包括：

根据第一信息中的位姿变化信息对叠加显示的若干个第一应用中的部分或全部应用的内容进行更新。

在一种示例性实例中，接收通过人体输入学设备输入的对第二应用的内容进行更新的第一信息时，本发明实施例方法还包括：

根据第一信息中的位姿变化信息对在后台运行的第一应用中的部分或全部应用的内容进行更新。这里，后台运行的第一应用是指后台运行的未添加到容器的第一应用。

在一种示例性实例中，本发明实施例第一信息中的操控和调整信息可以包括按键信息和位姿变化信息；其中，位姿变化信息可以包括用户头部和/或手部的位置变化信息和姿态变化信息。也即，本发明实施例通过操作和调整信息可以对第二应用进行控制交互，通过位置变化信息可以进行第二应用内容的更新；同时，可以通过位置变化信息对叠加显示的若干个第一应用中的部分或全部应用的内容进行更新，和/或对后台运行第一应用中的部分或全部应用的内容进行更新。

需要说明的是，进行内容更新的第一应用可以由用户根据应用内容进行分析确定，也可以由应用内容自身分析确定；例如有些第一应用可以根据位姿变化信息进行内容更新，例如影音娱乐类应用，有些第一应用不需要根据位姿变化信息进行内容更新，例如通信类应用。

在一种示例性实例中，叠加显示从容器中选择的若干个第一应用的内容之后，本发明实施例方法还包括：

接收到预设的触发指令，按照预设策略在容器中显示第二应用和一个以上第一应用；

从在容器中显示的第二应用和一个以上第一应用中，根据接收到的第二外部指令重新确定第二应用。

在一种示例性实例中，本发明实施例中的第一外部指令和第二外部指令可以通过人体输入学设备；在一种示例性实例中，人体输入学设备包括但不限于：头戴式设备或手动输入设备(例如手柄、手势、手套)。第一外部指令和第二外部指令可以包括：语音指令、按键指令及复合指令等。

在一种示例性实例中，按照预设策略在容器中显示第二应用和一个以上第一应用，包括：

将第二应用和一个以上第一应用在容器中以虚拟角色为中心平铺显示；或者，

将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示。

在一种示例性实例中，按照预设策略在容器中显示第二应用和一个以上第一应用，包括：

加载到容器的第一应用的个数小于预设的数值阈值时，将第二应用和一个以上第一应用在容器中以虚拟角色为中心平铺显示；

加载到容器的第一应用的个数大于数值阈值时，将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示。

在一种示例性实例中，本发明实施例按预设策略在容器中显示第一应用和第二应用时，可以以第二应用为正对用户视线的方向，第一应用可以以第二应用为中心，按照预设分布显示，例如、按照上下平铺的方式排列后显示，或按照从左到右平铺后显示，或者按照上下左右平铺后显示，此外，还可以按照远近顺序叠加显示。

在一种示例性实例中，本发明实施例按预设策略在容器中显示第一应用和第二应用时，可以加载预设的引导界面，引导界面可以用过文本的方式实现，包括：提示用户进行第二应用的选择、和通过第二外部指令执行选择操作；提示用户进行第一应用的选择、和通过第一外部指令执行该选择操作；提示用户将其他应用加入容器或者从容器中删除。引导界面包含的内容也可以通过包括语音在内的方式实现。

在一种示例性实例中，本发明实施例将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示，包括：

将第一应用和第二应用按照预设的移动速度以虚拟角色为中心旋转移动；或者，

在预设时间阈值内未收到第三外部指令时，将第一应用和第二应用按照预设的移动速度以虚拟角色为中心旋转移动，直到收到第三外部指令时停止移动。

在一种示例性实例中，本发明实施例的第一外部指令、第二外部指令、第三外部指令可以是一样的指令，也可以是不一样的指令。

本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述实现应用显示处理的方法。

本发明实施例还提供一种终端，包括：存储器和处理器，存储器中保存有计算机程序；其中，

处理器被配置为执行存储器中的计算机程序；

计算机程序被处理器执行时实现如上述实现应用显示处理的方法。

图4为本发明实施例实现应用显示处理的装置的结构框图，如图4所示，包括：加载单元、选择单元和处理单元；其中，

加载单元设置为：通过预先创建的容器加载后台运行的一个以上第一应用；

选择单元设置为：从容器中选择若干个第一应用；

处理单元设置为：在物理屏幕已渲染第二应用的内容的显示界面上，叠加显示从容器中选择的若干个第一应用的内容。

本发明实施例在容器中加载后台运行的一个以上第一应用，从容器中选择其中的若干个第一应用，在物理屏幕已渲染第二应用的内容的显示界面，叠加显示从容器中选择的若干个第一应用的内容。通过在第二应用的显示界面叠加显示被选择的后台运行的第一应用的内容，而其他未被选择的后台运行的第一应用的内容还维持在后台运行，提升了VR系统的内容显示质量。

在一种示例性实例中，本发明实施例处理单元是设置为：

在显示界面中加载若干个显示组件；

在加载的各显示组件分别渲染若干个第一应用中其中一个的内容。

在一种示例性实例中，本发明实施例中的显示组件包括：悬浮窗口、嵌入到第二应用显示界面的固定位置的显示窗口。

在一种示例性实例中，本发明实施例中的选择单元是设置为：

从加载到容器的一个以上第一应用中，根据接收到的第一外部指令确定若干个第一应用。

在一种示例性实例中，本发明实施例中的处理单元还设置为：

接收通过人体输入学设备输入的对第二应用的内容进行更新的第一信息；

根据接收到的第一信息对物理屏幕上渲染的第二应用的内容进行更新。

在一种示例性实例中，本发明实施例中的第一信息可以包括对VR应用进行操控和调整的信息，以及位姿变化信息。

在一种示例性实例中，本发明实施例中的处理单元还设置为：

根据第一信息中的位姿变化信息对叠加显示的若干个第一应用中的部分或全部应用的内容进行更新。

在一种示例性实例中，本发明实施例中的处理单元还设置为：

根据第一信息中的位姿变化信息对在后台运行的第一应用中的部分或全部应用的内容进行更新。

在一种示例性实例中，本发明实施例VR系统还包括交互单元，设置为：

接收到预设的触发指令，按照预设策略在容器中显示第二应用和一个以上第一应用；

从在容器中显示的第二应用和一个以上第一应用中，根据接收到的第二外部指令重新确定第二应用。

在一种示例性实例中，本发明实施例交互单元设置为按照预设策略在容器中显示第二应用和一个以上第一应用，包括：

将第二应用和一个以上第一应用在容器中以虚拟角色为中心平铺显示；或者，

将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示。

在一种示例性实例中，本发明实施例交互单元设置为按照预设策略在容器中显示第二应用和一个以上第一应用，包括：

加载到容器的第一应用的个数小于预设的数值阈值时，将第二应用和一个以上第一应用在容器中以虚拟角色为中心平铺显示；

加载到容器的第一应用的个数大于数值阈值时，将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示。

在一种示例性实例中，本发明实施例交互单元设置为将第二应用和一个以上应用按照预设的移动规则在容器中以虚拟角色为中心移动显示，包括：

将第一应用和第二应用按照预设的移动速度以虚拟角色为中心旋转移动；或者，

在预设时间阈值内未收到第三外部指令时，将第一应用和第二应用按照预设的移动速度以虚拟角色为中心旋转移动，直到收到第三外部指令时停止移动。

“本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质”。