用于与虚拟现实环境进行交互的方法、装置及存储介质

技术领域

本公开涉及一种虚拟现实(VR)技术的方法，且具体来说涉及一种用于与VR环境进行交互的方法、电子装置及非暂时性计算机可读取存储介质。

背景技术

随着技术的进步，虚拟现实(virtual reality，VR)头戴式装置(head mounteddevice，HMD)变得越来越流行。VR头戴式装置可为用户创建VR环境，且用户可与由VR环境提供的虚拟场景中的虚拟对象(例如，虚拟按钮)进行交互。如果VR环境可为用户提供多个虚拟场景以进行交互，则可使用户体验更加愉快。因此，如何为用户提供易于与多个虚拟场景进行交互的方式是本领域的重要课题。

发明内容

本公开涉及一种用于与VR环境进行交互的方法、电子装置及非暂时性计算机可读取存储介质。

本发明涉及一种用于与虚拟现实环境进行交互的方法，所述方法包括：在虚拟现实环境的第一虚拟场景中显示第一门户，其中第一门户用于虚拟场景切换，且第一门户包括框；判断所述框是否被拖向第一门户的中心；以及响应于确定所述框被拖向第一门户的中心，从虚拟现实环境移除第一门户。

本发明涉及一种用于与虚拟现实环境进行交互的电子装置，其中所述电子装置包括收发器及处理器。收发器输出虚拟现实环境的第一虚拟场景。处理器耦合到收发器，其中处理器被配置成：在第一虚拟场景中显示第一门户，其中第一门户用于虚拟场景切换，且第一门户包括框；判断所述框是否被拖向第一门户的中心；以及响应于确定所述框被拖向第一门户的中心，从虚拟现实环境移除第一门户。

本发明涉及一种用于与虚拟现实环境进行交互的非暂时性计算机可读取存储介质。所述非暂时性计算机可读取存储介质记录有可执行的计算机程序，所述可执行的计算机程序将由电子装置加载以执行以下步骤：在虚拟现实环境的第一虚拟场景中显示第一门户，其中第一门户用于虚拟场景切换，且第一门户包括框；判断所述框是否被拖向第一门户的中心；以及响应于确定所述框被拖向第一门户的中心，从虚拟现实环境移除第一门户。

基于以上说明，本发明为用户提供一种从VR环境移除门户的便捷方式。

为使上述内容更易于理解，以下将详细阐述附图所随附的若干实施例。

附图说明

本文包括附图以提供对本公开的进一步理解，且附图被并入本说明书中并构成本说明书的一部分。附图示出本公开的示例性实施例，且与说明一同用于阐释本公开的原理。

图1示出根据本发明一个实施例的用于与VR环境进行交互的电子装置的示意图。

图2示出根据本发明一个实施例的与特定虚拟场景相关联的门户的示意图。

图3示出根据本发明一个实施例的不与虚拟场景中的任一个相关联的门户的示意图。

图4示出根据本发明一个实施例的多个元素的运动的示意图。

图5示出根据本发明一个实施例的虚拟场景的预览图像的外观的示意图。

图6示出根据本发明一个实施例的提示图标的示意图。

图7示出根据本发明一个实施例拖动门户的边框的示意图。

图8示出根据本发明一个实施例恢复边框的位置的示意图。

图9示出根据本发明一个实施例的门户选择的示意图。

图10示出根据本发明一个实施例的用于与VR环境进行交互的方法的流程图。

图11示出根据本发明一个实施例的虚拟场景的目的地选择的方法的流程图。

附图标记说明

10：电子装置；

11：处理器；

12：存储介质；

13：收发器；

21、22、23、24、25、26：元素；

51、52、310、320：位置；

60：中心；

70：提示图像；

100：VR环境；

110：虚拟场景；

200、900：门户；

210：边框；

220：预览区域；

250、950：用户可交互对象；

300：轨迹；

400：光标；

410：提示图标；

A、B、C、D、E、F、G：场景；

S101、S102、S103、S111、S112：步骤。

具体实施方式

图1示出根据本发明一个实施例的用于与VR环境进行交互的电子装置10的示意图。电子装置10可用于与例如VR环境、增强现实(augmented reality，AR)环境或混合现实(mixed reality，MR)环境等扩展现实环境进行交互。电子装置10可包括处理器11、存储介质12及收发器13。

处理器11例如为中央处理器(Central Processing Unit，CPU)或其他可编程通用或专用微控制单元(Micro Control Unit，MCU)、微处理器、数字信号处理器(DigitalSignal Processor，DSP)、可编程控制器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、图形处理单元(Graphics Processing Unit，GPU)、算术逻辑单元(Arithmetic Logic Unit，ALU)、复杂可编程逻辑装置(Complex Programmable LogicDevice，CPLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或其他类似装置或上述装置的组合。处理器11可耦合到存储介质12及收发器13。

存储介质12可为例如任何类型的固定式或可移动随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存、硬盘驱动器(hard diskdrive，HDD)、固态驱动器(solid state drive，SSD)或类似元件或其组合。存储介质12可为非暂时性计算机可读取存储介质，其被配置成记录有多个可执行的计算机程序、模块或应用，所述多个可执行的计算机程序、模块或应用将由处理器11加载以实行电子装置10的功能。

收发器13可被配置成发送或接收有线/无线信号。收发器13还可实行例如低噪声放大、阻抗匹配、混频、上变频或下变频、滤波、放大等操作。处理器11可通过经由收发器13输出VR(或AR、MR)环境的数据来为用户提供VR(或AR、MR)环境。举例来说，处理器11可经由收发器13将VR环境的数据输出到头戴式装置(HMD)，使得HMD可根据接收到的数据示出VR环境的虚拟场景。

VR环境可提供一个或多个虚拟场景供用户探索。当VR环境提供多个将探索的虚拟场景时，用户可实行虚拟场景的目的地选择。图2示出根据本发明一个实施例的与特定虚拟场景相关联的门户200的示意图。假设VR环境当前提供了虚拟场景110。如果用户想要将VR环境100从虚拟场景110切换到另一虚拟场景，则处理器11可通过收发器13接收来自用户操作的命令，且处理器11可根据所述命令在虚拟场景110中获得并显示门户200。

门户200为虚拟场景110中的图形用户界面(graphical user interface，GUI)，其中用户可操纵GUI以实行虚拟场景切换。门户200可包括边框(或边边框、边界、边缘、环)210及预览区域220，其中所述边框可为与特定时间点处的虚拟场景的一部分对应的图像。尽管在图2中边框210的形状是圆形，但是边框210可具有不同种类的形状。举例来说，边框210的形状可为椭圆形或矩形。

预览区域220被边框210环绕。响应于门户200显示在虚拟场景110中，处理器11可在预览区域220内显示候选目的地(即，另一虚拟场景)的预览图像。举例来说，处理器11可显示与“虚拟房间(virtual room)”对应的虚拟场景的预览图像，如图2所示。也就是说，图2中的门户200可与对应于“虚拟房间”的虚拟场景相关联。因此，如果处理器11接收到与门户200对应的命令，则处理器11可将VR环境100从虚拟场景110切换到与“虚拟房间”对应的另一虚拟场景(即，与门户200对应的另一虚拟场景)。

图3示出根据本发明一个实施例的不与虚拟场景中的任一个相关联的门户200(即，门户200不专用于特定虚拟场景)的示意图。处理器11可判断门户200是否与虚拟场景中的任一个相关联。如果处理器11判断门户200不与虚拟场景中的任一个相关联，则处理器11可在虚拟场景110中显示具有分别与不同的虚拟场景对应的多个元素的门户200，其中元素可为虚拟场景中的用户可交互对象(user-interactable object)。因此，处理器11可使门户200与分别对应于所述多个元素的多个虚拟场景相关联。举例来说，处理器11可在虚拟场景110中显示具有对应于“场景A”的元素21、对应于“场景B”的元素22、对应于“场景C”的元素23及对应于“场景D”的元素24的门户200，如图3所示。然而，如果处理器11判断门户200与特定虚拟场景相关联，则处理器11可在虚拟场景110中显示不具有所述多个元素(例如，元素21、22、23或24)的门户200，如图2所示。

如果处理器11接收到选择元素的命令，则处理器11可在门户200中的预览区域220上显示对应虚拟场景的预览图像。此外，如果处理器11接收到与所选择的元素对应的命令，则处理器11可将VR环境100从虚拟场景110切换到与所选择的元素对应的虚拟场景。举例来说，假设元素22对应于“场景B”，其中“场景B”与“虚拟房间”相关联。如果处理器11经由收发器13接收到选择元素22的命令，则处理器11可对元素22的大小进行放大，且处理器11可开始在预览区域220上显示“虚拟房间”的预览图像。如果处理器11经由收发器13接收到与所选择的元素22对应的命令，则处理器11可将VR环境100从虚拟场景110切换到与元素22相关联的虚拟场景。

在一个实施例中，如果门户200的所述多个元素的数目太多，则处理器11可在虚拟场景110中仅显示所述多个元素的一部分并暂时隐藏所述多个元素的其余部分。通过滑动操作，所显示的元素可能会消失或者隐藏的元素可能会出现。图4示出根据本发明一个实施例的多个元素的运动的示意图。虚拟场景110可包括轨迹300。轨迹300可为可见的或不可见的。举例来说，轨迹300可为不可见的。举例来说，当用户不与门户200进行交互时，轨迹300可为不可见的。然而，当用户与门户200进行交互(例如，对门户200的元素实行滑动操作)时，轨迹300可变得可见。在一个实施例中，轨迹300可环绕门户200。由于门户200的元素的数目太多，因此元素中的一些元素可能被处理器11隐藏。举例来说，处理器11可从VR环境100移除对应于“场景G”的元素26。处理器11在虚拟场景110中仅显示分别对应于“场景A”、“场景B”、“场景C”、“场景D”、“场景E”及“场景F”的元素。

所述多个元素可沿着轨迹300移动。在一个实施例中，可通过手动方式使所述多个元素沿着轨迹300移动。举例来说，如果处理器11经由收发器13接收到用户对所述多个元素进行的滑动操作，则处理器11可通过滑动操作沿着轨迹300移动所述多个元素。在一个实施例中，可使所述多个元素自动地沿着轨迹移动。举例来说，处理器11可根据触发事件沿着轨迹300移动所述多个元素，所述触发事件例如是：正在显示门户200、正在操纵门户200或者虚拟场景110未与用户进行交互的时间达到一时间段。如果一元素移动到轨迹300的位置310，则处理器11可从VR环境100移除所述元素。也就是说，元素将从虚拟场景110消失。举例来说，元素25可基于滑动操作沿着轨迹300移动。当元素25到达轨迹300的位置310时，处理器11可从VR环境100移除元素25。

在一个实施例中，处理器11可响应于从VR环境100移除一元素而对多个所显示的元素添加附加元素，其中附加元素可通过轨迹300的位置320出现在虚拟场景110中。举例来说，处理器11可将元素26(即，对应于“场景G”的元素)添加到所述多个所显示的元素(即，分别对应于“场景A”、“场景B”、“场景C”、“场景D”及“场景E”的元素)。如图4所示，元素26可通过位置320出现在虚拟场景110中。在一个实施例中，响应于接收到滑动操作，处理器11可示出指示位置310或位置320在虚拟场景110中的地点的指示(例如，虚线圆)。如果处理器11没有接收到滑动操作，则处理器11可隐藏位置310或位置320的指示。也就是说，探索VR环境100的用户可能无法看到虚拟场景110中的位置310或位置320的指示。

在一个实施例中，如果元素朝轨迹300的位置310移动，则处理器11可调整元素的透明度。更具体来说，如果元素与位置310之间的距离小于阈值，则处理器11可响应于元素朝位置310移动而增加元素的透明度。也就是说，元素越靠近位置310，元素越透明。举例来说，如果元素25通过滑动操作朝位置310移动，则处理器11可增加元素25的透明度。最终，如果元素25到达位置310，则处理器11可从VR环境100移除元素25。

在一个实施例中，如果元素从轨迹300的位置320移开，则处理器11可调整元素的透明度。更具体来说，如果元素与位置320之间的距离大于阈值，则处理器11可响应于元素从位置320移开而降低元素的透明度。也就是说，元素越靠近位置320，元素越透明。举例来说，如果元素26通过滑动操作从位置320移开，则处理器11可降低元素26的透明度。

在一个实施例中，在处理器11在虚拟场景110中显示门户200的预览区域220之后，预览区域220的大小可能会随时间增大。图5示出根据本发明一个实施例的虚拟场景的预览图像的外观的示意图。在用户选择元素22之后，处理器11可在预览区域220中显示对应于元素22的预览图像(例如，“虚拟房间”的预览图像)。首先，预览区域220可能只是门户200的中心中的一个小点。由于所显示的预览图像的部分太小，因此用户难以看到预览区域220中的预览图像。随着时间的推移，预览区域220的大小可被处理器11放大，且预览区域220中的预览图像对探索VR环境100的用户来说变得更清晰，如图5的右侧所示。

图6示出根据本发明一个实施例的提示图标410的示意图。处理器11可经由收发器13接收用户操作，其中用户操作可对应于虚拟场景110中的坐标。如图6所示，处理器11可在虚拟场景110中在坐标上示出光标400。由处理器11接收到的用户操作可在虚拟场景110中移动光标400，使得用户可与虚拟场景110中的用户可交互对象进行交互。在一个实施例中，光标400可表示由用户持有的手持装置(例如，HMD的VR控制器)的指示器，其中手持装置可以通信方式连接到收发器13。处理器11可判断边框210与光标400的坐标之间的距离。如果边框210与光标400的坐标之间的距离小于阈值，则处理器11可在虚拟场景中在光标400的坐标上示出提示图标410。换句话说，如果光标400太靠近边框210，则光标400可由提示图标410代替。

图7示出根据本发明一个实施例拖动门户200的边框210的示意图。当光标400足够靠近边框210且被提示图标410代替时，处理器11可根据由处理器11接收到的用户的拖动操作来拖动门户200的边框210。拖动操作可包括由支持手势跟踪技术的HMD的照相机检测到的双手手势，或者拖动操作可包括由用户持有的手持装置(例如，双手VR控制器)的检测结果，其中手持装置可包括用于检测用户的手部运动的惯性测量单元(inertialmeasurement unit，IMU)。处理器11可判断边框210是否被拖向门户200的中心60。更具体来说，在边框210被拖动之后，如果处理器11经由收发器13接收到另一用户的释放操作，则处理器11可从拖动中释放边框210。处理器11可进一步响应于边框210从拖动中被释放而判断被拖动的边框210与中心60之间的距离(由虚线表示)。如果处理器11判断边框210与中心60之间的距离小于阈值(即，边框210被拖动到足够靠近中心60)，则处理器11可判断所述边框被拖向中心60。另一方面，如果处理器11判断边框210与中心60之间的距离大于或等于阈值，则处理器11可判断边框210不被拖向中心60。

以图7为例，假设边框210在被拖动之前处于原始位置-位置51，且边框210在被拖动之后处于当前位置-位置52。处理器11可根据位置52(即，边框210的当前位置)与中心60之间的距离来判断边框210是否被拖向中心60。如果位置52与中心60之间的距离小于阈值，则处理器11可判断边框210被拖向中心60。如果位置52与中心60之间的距离大于或等于阈值，则处理器11可判断边框210不被拖向中心60。响应于判断边框210被拖向中心60，处理器11可从VR环境100移除门户200。也就是说，处理器11可关闭虚拟场景110中的门户200。因此，门户200可从虚拟场景110消失。在一个实施例中，可响应于用户在位置52处释放被拖动的边框210(即，用户的拖动操作停止)而判断位置52与中心60之间的距离。也就是说，处理器11可仅在用户释放被拖动的边框210时移除门户200。如果用户没有释放被拖动的边框210，则处理器11可能无法判断位置52(即，边框210的当前位置)与中心60之间的距离。因此，处理器11可能无法判断边框210被拖向中心60。

另一方面，响应于判断边框210不被拖向中心60，处理器11可将边框210从当前位置恢复回到原始位置。图8示出根据本发明一个实施例恢复边框210的位置的示意图。如果处理器11判断边框210不被拖向中心60，则处理器11可将边框210从位置52(即，边框210的当前位置)恢复回到位置51(即，边框210的原始位置)。

在一个实施例中，响应于判断边框210被拖动，处理器11可在门户200的预览区域220上显示提示图像70，其中提示图像70提示用户如何拖动边框210以关闭门户200。举例来说，提示图像70可包括指向中心60的一个或多个箭头，如图7所示。

在一个实施例中，一个虚拟场景中可包括多个门户供用户选择。图9示出根据本发明一个实施例的门户选择的示意图。假设门户900显示在虚拟场景110中，其中虚拟场景110可包括对应于门户200的用户可交互对象250。用户可交互对象250的大小可小于门户200的大小。处理器11可经由收发器13检测与用户可交互对象250对应的用户操作。处理器11可根据用户操作从虚拟场景110移除门户900(即，使门户900从虚拟场景110消失)并在虚拟场景110中显示门户200。处理器11可进一步在虚拟场景110中显示对应于门户900的用户可交互对象950，其中用户可交互对象950的大小可小于门户900的大小。换句话说，虚拟场景110可包括分别与多个门户对应的多个用户可交互对象。如果用户选择了对应的用户可交互对象，则处理器11可打开所述多个门户中的一个(即，在虚拟场景110中显示所述门户)。未被用户选择的其他门户可以用户可交互对象的形式在虚拟场景110中表示。

图10示出根据本发明一个实施例的用于与VR环境进行交互的方法的流程图，其中所述方法可由图1中所示的电子装置10实施。在步骤S101中，在虚拟现实环境的第一虚拟场景中显示第一门户，其中第一门户用于虚拟场景切换，且第一门户包括边框。在步骤S102中，判断所述边框是否被拖向第一门户的中心。在步骤S103中，响应于判断所述边框被拖向第一门户的中心，从虚拟现实环境移除第一门户。

图11示出根据本发明一个实施例的虚拟场景的目的地选择方法的流程图，其中所述方法可由图1中所示的电子装置10实施。在步骤S111中，在虚拟现实环境的第一虚拟场景中显示具有多个元素的门户，其中所述多个元素包括与第二虚拟场景对应的元素。在步骤S112中，响应于接收到与所述元素对应的第一命令，将虚拟现实环境从第一虚拟场景切换到第二虚拟场景。

综上所述，本发明的方法可为用户提供虚拟场景中的门户，其中用户可通过与门户进行交互来将VR环境从虚拟场景切换到另一虚拟场景。门户可包括分别表示不同的虚拟场景的多个元素。虚拟场景可示出特定数目的多个元素，其中所述多个元素可沿着轨迹移动。如果元素的数目太多，则一些元素可能从虚拟场景隐藏。可基于用户的滑动操作在虚拟场景中示出隐藏的元素。用户可从所述多个虚拟场景选择目的地。然而，如果用户决定不切换虚拟场景，则用户可通过将门户的边框拖向门户的中心来从VR环境移除门户。本发明为用户提供选择虚拟场景、将VR环境从一个虚拟场景切换到另一虚拟场景、显示分别与不同的虚拟场景对应的多个元素或者从VR环境移除门户的便捷方式。对于所属领域中的技术人员来说显而易见的是，在不背离本公开的范围或精神的条件下，可对所公开的实施例进行各种修改及变化。鉴于以上内容，本公开旨在覆盖落入所附权利要求书及其等效内容的范围内的。