人机交互方法、相关设备及系统

技术领域

本申请涉及电子技术领域，尤其涉及人机交互方法、相关设备及系统。

背景技术

随着计算机图形技术的发展，增强现实(augmented reality，AR)技术逐渐应用到人们的生活中。AR技术利用计算机模拟产生一个三维(three-dimensional，3D)的虚拟现实场景，并提供在视觉、听觉、触觉或其他感官上的模拟体验，让用户感觉仿佛身历其境。

发明内容

本申请实施例提供了人机交互方法、相关设备及系统，该方法可以提升虚拟空间中的用户操作效率。

第一方面，本申请实施例提供了一种人机交互方法，该方法可应用于包括头戴式显示设备和电子设备的系统。方法可包括：头戴式显示设备可先开启显示屏，然后可通过显示屏在虚拟空间中显示第一桌面和第一停靠栏DOCK，第一桌面中展示有不同类型的对象的桌面图标，第一DOCK中可包括不同类型的对象的聚合项，对象可包括以下一项或多项：应用程序、文件。相应的，电子设备可在屏幕上显示触摸面板。电子设备可检测到移动电子设备的用户操作，响应于此，头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是第一类型的对象的聚合项的情况下，电子设备可检测到触摸面板上的点击操作，响应于此，头戴式显示设备可在虚拟空间中显示第一页面，第一页面中展示的对象为第一桌面中第一类型的对象。

其中，第一桌面可以是后续实施例中提及的大桌面，第一DOCK可以是伴随大桌面显示的DOCK，可参考图4中的DOCK206。不同类型的对象可包括：视频应用、游戏应用、购物应用等不同类型的应用程序，还可包括文件，例如下载文件。第一类型的对象可例如是后续实施例中提及的视频类型的对象，第一页面可以是视频应用聚合页面，可参考图5B中的页面208(或称为悬浮窗口208)。触摸面板可以参考图7B中的触摸面板305。

第一方面提供的人机交互方法，头戴式显示设备在空间模式下可展示大桌面和一种特殊DOCK，该DOCK中将同类型对象进行聚合展示(包括影视、游戏、手机应用等)，这样用户仅需在同类对象中移动射线定位目标对象，提升了用户定位的效率。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一页面之后，第一方面的方法还可包括：电子设备又检测到移动电子设备的用户操作，响应于此，头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是第一页面中的第一对象的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示第一对象的用户界面。

其中，第一对象可例如是后续实施例中提及的爱奇艺视频，第一对象的用户界面可例如是爱奇艺视频的用户界面。

结合第一方面，在一些实施例中，第一DOCK中还包括镜像模式的切换选项；第一方面的方法还可包括：在射线定位到的焦点对象是镜像模式的切换选项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示电子设备的屏幕镜像。这样，用户不用取下头戴式显示设备便能在虚拟空间中从空间模式切换到镜像模式，操作效率高。

结合第一方面，在一些实施例中，第一方面的方法还可包括：伴随电子设备的屏幕镜像，头戴式显示设备在虚拟空间中还显示空间模式的切换选项。在射线定位到的焦点对象是空间模式的切换选项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中再次显示第一桌面和第一停靠栏DOCK。这样，用户不用取下头戴式显示设备便能在虚拟空间中从镜像模式切换回空间模式，操作效率高。

结合第一方面，在一些实施例中，第一桌面中的对象包括第一应用程序，第一应用程序用于提供新手学习教程。第一方面的方法还可包括：在射线定位到的焦点对象是第一应用程序的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示多个学习卡片，一个学习卡片对应新手学习教程中的一个学习环节。其中，第一应用程序可是后续实施例中提及的“新手引导”应用程序。这样，新手教程被拆分成多个学习卡片显示在虚拟空间中，无需用户全流程学习。

结合第一方面，在一些实施例中，第一方面的方法还可包括：电子设备又检测到移动电子设备的用户操作，响应于此，头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是多个学习卡片中的第一学习卡片的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示第一学习卡片对应的学习环节的内容。

其中，第一学习卡片可例如是后续实施例中提及的“触摸面板”、“调整窗口”、“物理按键”、“扫一扫”等学习卡片中的某一个，当然也可以是具有其他用途的学习卡。

结合第一方面，在一些实施例中，第一方面的方法还可包括：电子设备计算出射线定位到的焦点对象，以确定焦点对象是显示在虚拟空间中的哪一个对象。

结合第一方面，在一些实施例中，在头戴式显示设备通过显示屏在虚拟空间中显示第一桌面和第一停靠栏DOCK之前，该方法还可包括：头戴式显示设备接收电子设备发送的第一显示数据，第一显示数据用于描述第一桌面和第一DOCK。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一页面之前，该方法还可包括：头戴式显示设备接收电子设备发送的第二显示数据，第二显示数据用于描述第一页面。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一对象的用户界面之前，该方法还可包括：头戴式显示设备接收电子设备发送的第三显示数据，第三显示数据用于描述第一对象的用户界面。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示电子设备的屏幕镜像之前，该方法还可包括：头戴式显示设备接收电子设备发送的电子设备的屏幕流。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示电子设备的屏幕镜像之前，该方法还可包括：头戴式显示设备接收电子设备发送的空间模式的切换选项的界面描述数据。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示多个学习卡片之前，该方法还可包括：头戴式显示设备接收电子设备发送的多个学习卡片的界面描述数据。

结合第一方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一学习卡片对应的学习环节的内容之前，该方法还可包括：头戴式显示设备接收电子设备发送的第一学习卡片对应的学习环节的内容的界面描述数据。

第二方面，本申请实施例提供了一种人机交互方法，该方法可应用于包括头戴式显示设备和电子设备的系统。该方法还可包括：头戴式显示设备可开启显示屏，然后通过显示屏在虚拟空间中显示第一桌面和第一停靠栏DOCK，第一桌面中展示有不同类型的对象的桌面图标，对象包括以下一项或多项：应用程序、文件，第一DOCK中可包括括镜像模式的切换选项。相应的，电子设备可在屏幕上显示触摸面板。电子设备检测到移动电子设备的用户操作，响应于此，头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是镜像模式的切换选项的情况下，电子设备可检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示电子设备的屏幕镜像。

其中，第一桌面可以是后续实施例中提及的大桌面，第一DOCK可以是伴随大桌面显示的DOCK，可参考图4中的DOCK206。不同类型的对象可包括：视频应用、游戏应用、购物应用等不同类型的应用程序，还可包括文件，例如下载文件。

通过第二方面的方法，DOCK中有“镜像模式”切换选项，便于用户在虚拟空间中使用手机功能，无需用户取下眼镜去手机上切换到镜像模式。

结合第二方面，在一些实施例中，该方法还可包括：伴随电子设备的屏幕镜像，头戴式显示设备在虚拟空间中还显示空间模式的切换选项。电子设备又检测到移动电子设备的用户操作，响应于此，头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是空间模式的切换选项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中再次显示第一桌面和第一停靠栏DOCK。这样，用户无需取下眼镜，在虚拟空间中就能切回空间模式。

结合第二方面，在一些实施例中，第一DOCK中还可包括不同类型的对象的聚合项；该方法还可包括：在射线定位到的焦点对象是第一类型的对象的聚合项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示第一页面，第一页面中展示的对象为第一桌面中第一类型的对象。

其中，第一类型的对象可例如是后续实施例中提及的视频类型的对象，第一页面可以是视频应用聚合页面，可参考图5B中的页面208(或称为悬浮窗口208)。触摸面板可以参考图7B中的触摸面板305。

如此，头戴式显示设备在空间模式下可展示大桌面和一种特殊DOCK，该DOCK中将同类型对象进行聚合展示(包括影视、游戏、手机应用等)，这样用户仅需在同类对象中移动射线定位目标对象，提升了用户定位的效率。

结合第二方面，在一些实施例中，第一桌面中的对象包括第一应用程序，第一应用程序用于提供新手学习教程；该方法还可包括：在射线定位到的焦点对象是第一应用程序的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示多个学习卡片，一个学习卡片对应新手学习教程中的一个学习环节。这样，新手教程被拆分成多个学习卡片显示在虚拟空间中，无需用户全流程学习。

结合第二方面，在一些实施例中，该方法还可包括：电子设备又检测到移动电子设备的用户操作，响应于此，头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是多个学习卡片中的第一学习卡片的情况下，电子设备检测到触摸面板上的点击操作，响应于此，头戴式显示设备在虚拟空间中显示第一学习卡片对应的学习环节的内容。

结合第二方面，在一些实施例中，该方法还可包括：电子设备计算出射线定位到的焦点对象，以确定焦点对象是虚拟空间中的哪一个对象。

结合第二方面，在一些实施例中，在头戴式显示设备通过显示屏在虚拟空间中显示第一桌面和第一停靠栏DOCK之前，该方法还可包括：头戴式显示设备接收电子设备发送的第一显示数据，第一显示数据用于描述第一桌面和第一DOCK。

结合第二方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一页面之前，该方法还可包括：头戴式显示设备接收电子设备发送的第二显示数据，第二显示数据用于描述第一页面。

结合第二方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一对象的用户界面之前，该方法还可包括：头戴式显示设备接收电子设备发送的第三显示数据，第三显示数据用于描述第一对象的用户界面。

结合第二方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示电子设备的屏幕镜像之前，该方法还可包括：头戴式显示设备接收电子设备发送的电子设备的屏幕流。

结合第二方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示电子设备的屏幕镜像之前，该方法还可包括：头戴式显示设备接收电子设备发送的空间模式的切换选项的界面描述数据。

结合第二方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示多个学习卡片之前，该方法还可包括：头戴式显示设备接收电子设备发送的多个学习卡片的界面描述数据。

结合第二方面，在一些实施例中，在头戴式显示设备在虚拟空间中显示第一学习卡片对应的学习环节的内容之前，该方法还可包括：头戴式显示设备接收电子设备发送的第一学习卡片对应的学习环节的内容的界面描述数据。

第三方面，本申请实施例提供了一种人机交互方法，该方法可应用于电子设。该方法可包括：电子设备向头戴式显示设备发送第一显示数据，以使头戴式显示设备根据第一显示数据在虚拟空间中显示第一桌面和第一停靠栏DOCK，第一桌面中展示有不同类型的对象的桌面图标，第一DOCK中包括不同类型的对象的聚合项，对象包括以下一项或多项：应用程序、文件。电子设备显示触摸面板。电子设备检测到移动电子设备的用户操作，响应于此，触发头戴式显示设备在虚拟空间中显示移动的射线。在射线定位到的焦点对象是第一类型的对象的聚合项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送第二显示数据，以使头戴式显示设备根据第二显示数据在虚拟空间中显示第一页面，第一页面中展示的对象为第一桌面中第一类型的对象。

结合第三方面，在一些实施例中，在触发头戴式显示设备在虚拟空间中显示第一页面之后，该方法还可包括：电子设备又检测到移动电子设备的用户操作，响应于此，触发头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是第一页面中的第一对象的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送第三显示数据，以使头戴式显示设备根据第三显示数据在虚拟空间中显示第一对象的用户界面。

结合第三方面，在一些实施例中，第一DOCK中还包括镜像模式的切换选项；该方法还可包括：在射线定位到的焦点对象是镜像模式的切换选项的情况下，电子设备可检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送电子设备的屏幕流，以使头戴式显示设备根据电子设备的屏幕流在虚拟空间中显示电子设备的屏幕镜像。

结合第三方面，在一些实施例中，该方法还可包括：电子设备向头戴式显示设备发送空间模式的切换选项的界面描述数据，以使头戴式显示设备伴随电子设备的屏幕镜像在虚拟空间中还显示空间模式的切换选项。在射线定位到的焦点对象是空间模式的切换选项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，可再次向头戴式显示设备发送第一显示数据，以使头戴式显示设备根据第一显示数据在虚拟空间中再次显示第一桌面和第一停靠栏DOCK。

结合第三方面，在一些实施例中，该方法还可包括：第一桌面中的对象包括第一应用程序，第一应用程序用于提供新手学习教程；方法还可包括：在射线定位到的焦点对象是第一应用程序的情况下，电子设备可检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送多个学习卡片的界面描述数据，以使头戴式显示设备在虚拟空间中显示多个学习卡片，一个学习卡片对应新手学习教程中的一个学习环节。

结合第三方面，在一些实施例中，该方法还可包括：电子设备可又检测到移动电子设备的用户操作，响应于此，触发头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是多个学习卡片中的第一学习卡片的情况下，电子设备可检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送第一学习卡片对应的学习环节的内容的界面描述数据，以使头戴式显示设备在虚拟空间中显示第一学习卡片对应的学习环节的内容。

第三方面中提及的各个术语的说明以及第三方面带来的有益效果可参考前面第一方面和第二方面，这里不再赘述。

第四方面，本申请实施例提供了一种人机交互方法，该方法可应用于电子设。该方法可包括：电子设备向头戴式显示设备发送第一显示数据，以使头戴式显示设备根据第一显示数据在虚拟空间中显示第一桌面和第一停靠栏DOCK，第一桌面中展示有不同类型的对象的桌面图标，第一DOCK中包括镜像模式的切换选项，对象包括以下一项或多项：应用程序、文件。电子设备显示触摸面板。电子设备检测到移动电子设备的用户操作，响应于此，触发头戴式显示设备在虚拟空间中显示移动的射线。在射线定位到的焦点对象是镜像模式的切换选项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送电子设备的屏幕流，以使头戴式显示设备根据电子设备的屏幕流在虚拟空间中显示电子设备的屏幕镜像。

结合第四方面，在一些实施例中，该方法还可包括：电子设备还向头戴式显示设备发送空间模式的切花选项的界面描述数据，以使头戴式显示设备伴随电子设备的屏幕镜像在虚拟空间中还显示空间模式的切换选项。在射线定位到的焦点对象是空间模式的切换选项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，再次向头戴式显示设备发送第一显示数据，以使头戴式显示设备根据第一显示数据在虚拟空间中再次显示第一桌面和第一停靠栏DOCK。

结合第四方面，在一些实施例中，该方法还可包括：在射线定位到的焦点对象是第一类型的对象的聚合项的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送第二显示数据，以使头戴式显示设备根据第二显示数据在虚拟空间中显示第一页面，第一页面中展示的对象为第一桌面中第一类型的对象。

结合第四方面，在一些实施例中，在触发头戴式显示设备在虚拟空间中显示第一页面之后，该方法还可包括：电子设备又检测到移动电子设备的用户操作，响应于此，触发头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是第一页面中的第一对象的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送第三显示数据，以使头戴式显示设备根据第三显示数据在虚拟空间中显示第一对象的用户界面。

结合第四方面，在一些实施例中，第一桌面中的对象包括第一应用程序，第一应用程序用于提供新手学习教程；该方法还可包括：在射线定位到的焦点对象是第一应用程序的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送多个学习卡片的界面描述数据，以使头戴式显示设备在虚拟空间中显示多个学习卡片，一个学习卡片对应新手学习教程中的一个学习环节。

结合第四方面，在一些实施例中，该方法还可包括：电子设备又检测到移动电子设备的用户操作，响应于此，触发头戴式显示设备通过显示屏在虚拟空间中显示移动的射线。在射线定位到的焦点对象是多个学习卡片中的第一学习卡片的情况下，电子设备检测到触摸面板上的点击操作，响应于此，向头戴式显示设备发送第一学习卡片对应的学习环节的内容的界面描述数据，以使头戴式显示设备在虚拟空间中显示第一学习卡片对应的学习环节的内容。

第四方面中提及的各个术语的说明以及第三方面带来的有益效果可参考前面第一方面和第二方面，这里不再赘述。

第五方面，本申请提供了一种系统，该系统可包括：头戴式显示设备和电子设备的系统，其中，头戴式显示设备可以是第一方面方法、第二方面方法及其任一可能的实现方式中涉及的头戴式显示设备，电子设备可以是第一方面方法、第二方面方法及它们的任一可能的实现方式中涉及的电子设备。

第六方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面方法、第二方面方法、第三方面、第四方面及它们的任一可能的实现方式描述的方法。

第七方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面方法、第二方面方法、第三方面、第四方面及它们的任一可能的实现方式描述的方法。

第八方面，本申请提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面方法、第二方面方法、第三方面、第四方面及它们的任一可能的实现方式描述的方法。

第九方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面方法、第二方面方法、第三方面、第四方面及它们的任一可能的实现方式描述的方法。

附图说明

图1示例性示出了本申请实施例提供的一种系统10；

图2A示例性示出了本申请实施例提供的头戴式显示设备的光学构成；

图2B示例性示出了本申请实施例提供的头戴式显示设备的电子硬件构成

图3示例性示出了本申请实施例提供的电子设备100；

图4示例性示出了本申请实施例提供的AR或VR空间中的一种用户界面；

图5A示例性示出了用户移动射线到DOCK 206中的视频聚合选项202的交互；

图5B示例性示出了用户移动射线到视频聚合页面中的爱奇艺视频的交互；

图6A-图6B示例性示出了本申请实施例提供的空间模式和镜像模式的快捷切换界面；

图7A-图7D示例性示出了电子设备100上显示的用户界面；

图8示例性示出了本申请实施例提供的新手引导界面；

图9A-图9C示例性示出了“触摸面板”学习卡片下一系列新手引导学习页面；

图10A-图10B示例性示出了“调整窗口”学习卡片下的新手引导学习页面；

图11示例性示出了“物理按键”学习卡片下的新手引导学习页面；

图12示例性示出了“扫一扫”学习卡片下的新手引导学习页面；

图13示出了本申请实施例提供的一种人机交互方法；

图14示出了本申请实施例提供的一种人机交互方法；

图15示出了本申请实施例提供的一种人机交互方法。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1示例性示出了本申请实施例提供的一种系统10。该系统10可以利用增强现实(AR)、虚拟现实(virtual reality，VR)等技术显示图像，使得用户感受到3D场景，为用户提供VR/AR体验。

如图1所示，该系统10可包括：电子设备100和头戴式显示设备200。

其中，电子设备100和头戴式显示设备200之间可以通过有线或者无线的方式连接。有线连接可包括通过USB接口、HDMI接口等接口进行通信的有线连接。无线连接可包括通过蓝牙、Wi-Fi直连(如Wi-Fi p2p)、Wi-Fi softAP、Wi-Fi LAN、射频等技术进行通信的无线连接中一项或多项。本申请实施例对二者的连接方式不作限制。

电子设备100可以是手机、平板电脑，还可以是具有触敏表面或触控面板的膝上型计算机(Laptop)、具有触敏表面或触控面板的台式计算机等非便携式终端设备。电子设备100可运行特定应用程序，以提供传输给头戴式显示设备200显示的内容，该应用程序例如可以是视频应用、游戏应用、音乐应用、桌面应用、镜像投屏应用等。其中，后续实施例中会介绍的桌面应用，例如大桌面、停靠栏DOCK，也会介绍镜像投屏应用，这里先不展开。

头戴式显示设备200的可实现形式包括头盔、眼镜、耳机等可以佩戴在用户头部的电子装置。头戴式显示设备200用于显示图像，从而向用户呈现3D场景，给用户带来VR或AR体验。该3D场景可包括3D的图像、3D的视频、音频等等。

头戴式显示设备200可佩戴于用户头部，相当于电子设备100的一个外延显示器。电子设备100为头戴式显示设备200提供显示数据。

电子设备100还可充当输入设备，接收点击、滑动等用户操作，而且可向VR或AR视野中投递射线，以模拟鼠标作用，便于用户对头戴式显示设备200所显示的内容作出的控制操作。

当电子设备100用作输入设备时，可通过其配置的多种传感器，例如触敏传感器、加速度传感器、陀螺仪传感器、磁传感器、压力传感器等，接收用户输入。其中，加速度传感器、陀螺仪传感器可用于检测用户移动电子设备100的操作，该操作可用来改变射线的方向；触敏传感器、压力传感器等可用来检测用户在触控屏等触摸面板上的触控操作，例如滑动操作、点击操作、短按操作、长按操作等等。

头戴式显示设备200可以配置有一些物理按键，以接收一些用户输入，例如用于开关屏的按键、用于调整屏幕亮度的按键、用于切换空间模式和镜像模式的按键等等。用些用户输入可通过头戴式显示设备200与电子设备100之间的有线或无线通信连接传输至电子设备100，继而触发电子设备100对此作出响应。例如，响应于从空间模式切换到镜像模式的用户输入，电子设备100可停止向头戴式显示设备200传输空间模式的显示数据，而开始传输镜像模式的显示数据。镜像模式的显示数据主要是电子设备100的屏幕流，可由电子设备100上的镜像投屏应用提供。空间模式的显示数据可由电子设备上的特定应用程序提供，该特定应用程序可以是视频应用、游戏应用、音乐应用、桌面应用等。

用户看到头戴式显示设备200显示的图像后，可以通过在电子设备100或者头戴式显示设备200输入用户操作，以控制VR或AR视野内的显示内容，以及头戴式显示设备200的工作状态，例如开关状态、屏幕亮度等。通过电子设备100或者头戴式显示设备200输入用户操作的方式可参考后续实施例，在此先不展开。

图2A示例性示出了本申请实施例提供的头戴式显示设备的光学构成。

如图2A所示，头戴式显示设备可包括：显示屏101、光学组件102、显示屏103、光学组件104。其中，显示屏101和显示屏103可以是一个整体，即一整块屏幕的左右两个部分。光学组件102和光学组件104的材质、结构等相同。光学组件102和光学组件104可由一个或多个透镜组成，该透镜可包括凸透镜、菲涅尔透镜或其他类型的透镜中的一个或多个。

显示屏101和光学组件102对应于用户的左眼。用户佩戴头戴式显示设备时，显示屏101上可以显示有图像a1。显示屏101显示图像a1时发出的光经过光学组件102的透射后将在用户左眼前方形成该图像a1的虚像a1’。

显示屏103和光学组件104对应于用户的右眼。用户佩戴头戴式显示设备时，显示屏103可以显示有图像a2。显示屏103显示图像a2时发出的光经过光学组件104的透射后将在用户右眼前方形成该图像a2的虚像a2’。

图像a1和图像a2为针对同一物体例如物体a的具有视差的两幅图像。视差是指从有一定距离的两个点上观察同一个物体时，该物体在视野中位置的差异。虚像a1’和虚像a2’位于同一平面上，该平面可以被称为虚像面。

在佩戴头戴式显示设备时，用户的左眼会聚焦到虚像a1’上，用户的右眼会聚焦到虚像a2’上。然后，虚像a1’和虚像a2’会在用户的大脑中叠加成为一幅完整且具有立体感的图像，该过程被称为辐辏。在辐辏过程中，双眼视线的交汇点会被用户认为是图像a1和图像a2所描述的物体实际所在的位置。由于辐辏过程，用户便可以感受到头戴式显示设备提供的3D场景。

图2B示例性示出了本申请实施例提供的头戴式显示设备的电子硬件构成。

如图2B所示，头戴式显示设备200可包括：处理器405、存储器406、通信模块407、传感器408、摄像头409、显示装置410、音频装置411。以上各个部件可以耦合连接并相互通信。

可理解的，图2B所示的结构并不构成对头戴式显示设备200的具体限定。在本申请另一些实施例中，头戴式显示设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。例如，头戴式显示设备200还可以包括物理按键如开关键、音量键、屏幕亮度调节键，以及各类接口，例如USB接口等等。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器405可以包括一个或多个处理单元，例如：处理器可以包括AP，调制解调处理器，GPU，ISP，控制器，视频编解码器，DSP，基带处理器，和/或NPU等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制，使得各个部件执行相应的功能，例如人机交互、运动跟踪/预测、渲染显示、音频处理等。

存储器406可存储一些可执行的指令。存储器406可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储头戴式显示设备200使用过程中所创建的数据(比如音频数据等)等。此外，存储器406可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。处理器405通过运行存储在存储器406的指令，和/或存储在设置于处理器中的存储器的指令，执行头戴式显示设备200的各种功能应用以及数据处理。

通信模块407可包括移动通信模块和无线通信模块。其中，移动通信模块可以提供应用在头戴式显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块可以提供应用在头戴式显示设备200上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。

传感器408可包括加速度计、指南针、陀螺仪、磁力计、或用于检测运动的其他传感器等。传感器408用于采集对应的数据，例如加速度传感器采集头戴式显示设备200加速度、陀螺仪传感器采集头戴式显示设备200的运动速度等。传感器408采集到的数据可以反映佩戴该头戴式显示设备200的用户头部的运动情况。在一些实施例中，传感器408可以为设置在头戴式显示设备200内的惯性测量单元(inertial measurement unit，IMU)。在一些实施例中，头戴式显示设备200可以将传感器系统获取到的数据发送给处理器405进行分析。处理器405可以根据各个传感器采集到的数据，确定用户头部的运动情况，并根据用户头部的运动情况执行对应的功能，例如启动测量IPD的功能等。也就是说，用户可以可通过在头戴式显示设备200上输入头部运动操作，来触发头戴式显示设备200执行对应的功能。用户头部的运动情况可包括：是否转动、转动的方向等等。

传感器408还可以包括光学传感器，用于结合摄像头409来跟踪用户的眼睛位置以及捕获眼球运动数据。该眼球运动数据例如可以用于确定用户的眼间距、每只眼睛相对于头戴式显示设备200的3D位置、每只眼睛的扭转和旋转(即转动、俯仰和摇动)的幅度和注视方向等等。在一个示例中，红外光在头戴式显示设备200内发射并从每只眼睛反射，反射光由摄像头409或者光学传感器检测到，检测到的数据被传输给处理器405，以使得处理器405从每只眼睛反射的红外光的变化中分析用户眼睛的位置、瞳孔直径、运动状态等。

摄像头409可以用于捕捉捕获静态图像或视频。该静态图像或视频可以是面向外部的用户周围的图像或视频，也可以是面向内部的图像或视频。摄像头409可以跟踪用户单眼或者双眼的运动。摄像头409包括但不限于传统彩色摄像头(RGB camera)、深度摄像头(RGB depth camera)、动态视觉传感器(dynamic vision sensor，DVS)相机等。深度摄像头可以获取被拍摄对象的深度信息。在一些实施例中，摄像头409可用于捕捉用户眼睛的图像，并将图像发送给处理器405进行分析。处理器405可以根据摄像头409采集到的图像，确定用户眼睛的状态，并根据用户眼睛所处的状态执行对应的功能。也就是说，用户可通过在头戴式显示设备200上输入眼睛运动操作，来触发头戴式显示设备200执行对应的功能。用户眼睛的状态可包括：是否转动、转动的方向、是否长时间未转动、看向外界的角度等等。

头戴式显示设备200通过GPU，显示装置410，以及应用处理器等来呈现或者显示图像。

GPU为图像处理的微处理器，连接显示装置410和应用处理器。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。GPU用于根据从处理器405处得到的数据执行数学和几何计算，利用计算机图形技术、计算机仿真技术等来渲染图像，以提供用于在显示装置410上显示的内容。GPU还用于将校正或预失真添加到图像的渲染过程中，以补偿或校正由显示装置410中的光学组件引起的失真。GPU还可以基于来自传感器408的数据来调整提供给显示装置410的内容。例如，GPU可以基于用户眼睛的3D位置、瞳距等在提供给显示装置410的内容中添加景深信息。

显示装置410可包括：一个或多个显示屏、一个或多个光学组件。这里，显示屏和光学组件的结构以及它们之间的位置关系可参考图2A中的相关描述。其中，显示屏可包括显示面板，显示面板可以用于显示图像，从而为用户呈现立体的虚拟场景。显示面板可以采用LCD，OLED，AMOLED，FLED，Miniled，MicroLed，Micro-oLed，QLED等。光学组件可用于将来自显示屏的光引导至出射光瞳以供用户感知。在一些实施方式中，光学组件中的一个或多个光学元件(例如透镜)可具有一个或多个涂层，诸如，抗反射涂层。光学组件对图像光的放大允许显示屏在物理上更小、更轻、消耗更少的功率。另外，图像光的放大可以增加显示屏显示的内容的视野。例如，光学组件可以使得显示屏所显示的内容的视野为用户的全部视野。

在本申请实施例中，头戴式显示设备200中的显示屏可用于显示电子设备100传输过来的显示数据，给用户提供VR/AR体验。

音频装置411用于实现音频的采集以及输出。音频装置411可包括但不限于：麦克风、扬声器、耳机等等。

图3示例性示出了本申请实施例提供的电子设备100。如图3所示，所述电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，传感器模块180，摄像头193，显示屏194。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。其中，

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WLAN)(如无线保真(Wi-Fi)网络)，蓝牙(BT)，全球导航卫星系统(GNSS)，调频(FM)，近距离无线通信技术(NFC)，红外技术(IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，以及应用处理器等实现音频功能。例如音乐播放，录音等。其中，音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

内部存储器121可用于存储一个或多个应用的应用程序，该应用程序包括指令。当该应用程序被处理器110执行时，使得所述电子设备100生成用于呈现给用户的内容。示例性的，该应用可以包括用于管理头戴式显示设备200的应用、游戏应用、会议应用、视频应用、桌面应用或其他应用等等。

GPU可用于根据从处理器110处获取到的数据(例如应用程序提供的数据)执行数学和几何运算，利用计算机图形技术、计算机仿真技术等来渲染图像，确定用于在头戴式显示设备200上显示的图像。在一些实施例中，GPU可以将校正或预失真添加到图像的渲染过程中，以补偿或校正由头戴式显示设备200的光学组件引起的失真。

在本申请实施例中，电子设备100可通过移动通信模块150、无线通信模块160或者有线接口将GPU处理后得到的图像发送给头戴式显示设备200。

图3示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

AR或VR空间(又可称为虚拟空间)中，用户与显示对象之间存在一定的空间距离，需要通过光学射线与显示对象进行交互，但是精确移动射线定位显示对象并不是一件容易的事情，目前的AR或VR交互并未很好的考虑这个问题，需要用户使用射线从排列混杂的界面中定位对象，导致用户操作成本较高。

本申请实施例提供的人机交互方法可改善上述问题，提高用户操作效率。

首先，图4示例性示出了本申请实施例提供了AR或VR空间中的一种用户界面，该用户界面配置了一种特殊DOCK，DOCK中将同类型对象进行聚合展示(包括影视、游戏、手机应用等)，便于用户在同类对象中进行筛选，提升了用户定位对象的效率。

如图4所示，该用户界面可包括大桌面和停靠栏DOCK。其中，大桌面中可显示各种应用程序的桌面图标，例如“联系人”、“日历”、“天气”、“魔兽世界”等应用的桌面图标。不限于应用程序，大桌面中还可包括文件等对象。用户操作射线定位到某个应用程序的桌面图标上，便可进一步通过点击、短按、长按等执行打开、删除该应用程序等操作。但是，大桌面中的应用程序往往很多，用户操作射线定位到其中某一个应用程序的难度比较高，操作效率低下。

为此，不同类型的对象在大桌面中可以分区域排布，一种类型的对象可集中排布在一块桌面区域。例如，应用程序的桌面图标可以集中排布在大桌面的左侧区域。这样，可降低用户移动射线定位对象的复杂度，提高操作效率。

为进一步提高操作效率，伴随大桌面还可配置DOCK 206。DOCK 206中包括应用聚合选项，例如视频聚合选项202、游戏聚合选项203、购物聚合选项204、下载聚合选项205。当检测到用户将射线移动到某一个应用聚合选项上并打开该应用聚合选项时，该应用聚合选项关联的应用程序便会被筛选出来并展示在另一个页面或者悬浮窗口中。这样，用户便只需移动射线从同类型的少量应用程序中定位到自己想要打开的应用程序，而无需从应用程序众多、排列混杂的大桌面中定位应用，因此提升了操作效率。

例如，如图5A-图5B所示，当检测到用户移动射线到DOCK 206中的视频聚合选项202上，并点击打开视频聚合选项202时，可显示悬浮窗口208，悬浮窗口208中展示的是视频类应用程序，例如ABC视频、HBO视频、爱奇艺视频。若用户想要打开爱奇艺视频，则只需移动射线从这3个视频应用中定位到爱奇艺视频即可，而不用移动摄像从大桌面中定位爱奇艺视频，显著降低了用户移动摄像定位对象的复杂度。

不限于应用聚合项，DOCK 206中还可以包括其他类型的对象的聚合项，例如下载对象的聚合项，其对应大桌面中的所有被下载的对象，如下载的音乐文件、图片、文档等。应用聚合项只是一种类型的对象的聚合项。这里，对象可包括应用程序、文件中一项或多项，也可以是其他类型的对象。

本申请实施例中，如图4所示，伴随大桌面还可配置DOCK 207。DOCK 207中包括最近使用应用程序，便于用户快捷跳转至最近使用应用。当检测到用户移动射线到DOCK 207中的某一个最近使用应用程序，并点击打开该最近使用应用程序时，可显示该最近使用应用程序的用户界面。

其次，图6A-图6B示例性示出了本申请实施例提供的空间模式和镜像模式的快捷切换界面，可支持用户在AR或VR空间中从空间模式切换到镜像模式，以及从镜像模式切回空间模式，无需用户摘下头戴式显示设备200去电子设备100上操作该切换，实现了用户操作的连续性，提升了用户操作效率。

本申请实施例中，电子设备100和头戴式显示设备200相互配合以向用户提供空间模式和镜像模式。空间模式可以是指，VR或AR空间中显示的是VR或AR应用，例如大桌面应用、提供3D体验的VR或AR游戏应用、提供3D体验的VR或AR视频应用等，以向用户提供3D空间体验。镜像模式可以是指电子设备100的屏幕投射到头戴式显示设备200的显示屏上，VR或AR空间中显示的是电子设备100的屏幕镜像。

如图6A所示，AR或VR空间中，镜像模式的快捷切换选项201可展示在伴随大桌面的DOCK中。该DOCK可以是图4中的DOCK 206，也可以是另一个独立的DOCK。当检测到用户移动射线到该DOCK中的快捷切换选项201上，并点击快捷切换选项201时，可如图6B所示在AR或VR空间中显示电子设备100的屏幕镜像，伴随该屏幕镜像还显示空间模式的快捷切换选项209。快捷切换选项209可支持用户切换回空间模式。也即，当检测到用户移动射线到快捷切换选项209上，并点击快捷切换选项209时，可在AR或VR空间中重新显示图6A所示的大桌面及DOCK。

除了在AR或VR空间中，用户也可以在电子设备100上进入空间模式或镜像模式，下面结合图7A-图7D介绍电子设备100上显示的用户界面。其中，图7B-图7C示出了“AR眼镜”应用程序的一系列用户界面。

如图7A所示，电子设备可检测到打开“AR眼镜”应用程序的用户操作，如点击主屏幕界面310中的“AR眼镜”桌面图标，响应于此，可显示图7B所示的用户界面。“AR眼镜”可以是一款管理及控制头戴式显示设备200的应用程序，可提供空间模式与镜像模式切换功能、AR空间截屏功能、AR空间录屏功能、射线校准功能，等等。该应用程序的命名可以是其他，本申请实施例对此不作限制。

如图7B所示，用户界面300可包括以下两个模式选项：镜像模式301和空间模式302，以及提示303。其中，提示303可用于提示头戴式显示设备200和电子设备100连接与否。若头戴式显示设备200和电子设备100连接，则空间模式302和镜像模式301是可选择的，即电子设备100会监听并响应该选择。

当检测到开启空间模式的用户操作时，如用户点击空间模式302，电子设备100可显示图7C示例性所示的用户界面308。如图7C所示，用户界面308可包括触摸面板305、主页(Home)键304。其中，触摸面板305可用于接收用户触控操作，例如点击操作、上下左右滑动操作等；主页键304可供用户返回用户界面300。用户界面308还可包括一些功能选项，如校准选项306、设置选项307、截屏选项309和录屏选项310等。其中，校准选项306用于提供射线校准功能，设置选项307可用于提供模式配置功能，截屏选项309可用于提供虚拟空间的界面截取功能及保存截屏功能，录屏选项310可用于提供虚拟空间的界面录制功能及保存录屏功能。当检测到用户点击设置选项307时，如图7D所示，电子设备可进一步显示各模式的配置选项，例如空间模式的“跟头模式”、“跟身模式”。“跟头模式”是指AR视野中的显示内容跟随用户头部转动而转动，呈现相对静止；“跟身模式”是指AR视野中的显示内容跟随用户身体转动而转动，这样用户转动头部便可观察到更多内容信息。

以上，AR或VR空间中的界面显示可由电子设备100和头戴式显示设备200配合完成，后面实施例中会详细介绍，这里先不展开。

以上，AR或VR空间中，移动射线可通过移动电子设备100来实现；移动射线定位到某个对象后，对该对象实施点击、短按、长按等操作可通过触控电子设备100上显示的触摸面板305的屏幕来实现。

伴随着空间模式的开启，头戴式显示设备200的显示屏中会显示图6A中示出的大桌面和DOCK，用户可在虚拟空间中看到图6A所示的3D体验。该DOCK中包括镜像模式的快捷切换选项201，便于用户在VR或AR空间中切换到镜像模式。

当检测到开启镜像模式的用户操作时，如用户点击镜像模式301，电子设备100也可显示图7C示例性所示的用户界面308。用户也可以点击“设置”对镜像模式进行配置。关于镜像模式具有哪些配置选项，本申请实施例不作限制。

伴随着镜像模式的开启，头戴式显示设备200的显示屏中会显示图6B中示出的电子设备100的屏幕镜像和空间模式的快捷切换选项209，用户可以在虚拟空间中看到电子设备100的屏幕并处理电子设备100上的事务，还可以通过选项209切换会空间模式。

另外，本申请实施例通过在AR或VR空间中提供新手引导应用来指导用户如何移动射线、如何通过电子设备100上的触摸面板调整大桌面在AR或VR空间中的位置、如何使用头戴式显示设备200、如何在AR或VR空间中扫描二维码等等。

图8示例性示出了本申请实施例提供的新手引导界面，通过将新手教程进行步骤拆分，便于用户快速定位学习目标，直接跳转所需步骤进行学习，不必进行全流程学习，节省用户时间。

如图8所示，当检测到用户移动射线到大桌面中的新手引导应用的桌面图标上，并点击打开新手引导应用时，可在AR或VR空间中显示新手引导界面401，新手引导界面401中显示有对应各个步骤的学习卡片，例如“触摸面板”、“调整窗口”、“物理按键”、“扫一扫”等学习卡片。

当检测到用户移动射线到大桌面中的“触摸面板”的学习卡片上，并点击打开该学习卡片时，可在AR或VR空间中显示图9A-图9C示例性所示的一系列页面。其中，图9A所示页面用于指导用户移动电子设备100以控制射线，图9B所示页面用于指导用户移动射线到特定物体(如球体)上，图9C所示页面用于指导用户点击触摸面板305下方的主页键(Home)返回大桌面。

当检测到用户移动射线到大桌面中的“调整窗口”的学习卡片上，并点击打开该学习卡片时，可在AR或VR空间中显示图10A-图10B示例性所示的一系列页面，这一系列页面用于提供“触摸面板”这个学习环节的学习内容。其中，图10A所示页面用于指导用户点击触摸面板305以拾起窗口403，射线可对准窗口403的中心401；图10B所示页面用于进一步指导用户在触摸面板305上进行滑动来调整窗口403的大小和远近，以和大桌面405重合。

当检测到用户移动射线到大桌面中的“物理按键”的学习卡片上，并点击打开该学习卡片时，可在AR或VR空间中显示图11示例性所示的页面。该页面用于指导用户如何使用头戴式显示设备200，例如引导用户使用头戴式显示设备200上的各个物理按键。

当检测到用户移动射线到大桌面中的“扫一扫”的学习卡片上，并点击打开该学习卡片时，可在AR或VR空间中显示图12示例性所示的页面。该页面用于指导用户如何在AR或VR空间扫描二维码，例如引导用户在电子设备100上打开“空间扫码”，并使用射线对准二维码进行扫描。

以上“触摸面板”、“调整窗口”、“物理按键”、“扫一扫”等学习卡片仅是示例，旨在说明用户可以直接跳到某个学习卡片进行学习，而不需要全流程学习，节约了学习时间。实际应用中，可改变学习卡片的具体内容和用途，本申请实施例对此不作限制。

下面将阐述电子设备100和头戴式显示设备200如何配合以完成本申请实施例提供的人机交互方法。

图13示出了本申请实施例提供的一种人机交互方法。该方法可提升用户定位大桌面中的对象的效率，其前提是电子设备100与头戴式显示设备200建立了连接。下面展开该方法。

进入空间模式

S501.头戴式显示设备200开启显示屏。

具体的，用户可以通过头戴式显示设备200镜腿上的物理按键开启显示屏。当然，电子设备100上也可以提供开启头戴式显示设备200的显示屏的控件。例如，电子设备与头戴式显示设备连接后，用户可以点击图7B中的提示303以开启头戴式显示设备的显示屏。

S502.电子设备100显示图7B所示用户界面。关于该用户界面，可参考前述实施例中的相关描述，这里不再赘述。

S503.电子设备100可检测到用户点击图7B所示用户界面中的“空间模式”选项，即检测到打开“空间模式”的用户操作。

S504.响应于该用户操作，电子设备100可向头戴式显示设备200发送大桌面等界面数据。该界面数据用于描述出图4所示的AR或VR空间中的用户界面。

S505.接收到该界面数据后，头戴式显示设备200可根据该界面数据在显示屏上显示图4所示的大桌面和DOCK，以向用户呈现AR或VR空间体验。该DOCK中将同类型对象进行聚合展示(包括影视、游戏、手机应用等)。

S506.响应于打开“空间模式”的用户操作，电子设备100还可以显示图7C所示用户界面，其中的触摸面板503可用于用户在AR或VR空间中实施点击、短按、长按、滑动等用户操作。关于图7C所示用户界面，可参考前述实施例中的相关描述，这里不再赘述。

打开DOCK中的应用聚合项

S507.电子设备100可检测到自己被移动。

参考前面实施例，用户可以通过移动电子设备100来控制射线，以在AR或VR空间中定位对象。

S508.电子设备100可向头戴式显示设备200发送移动射线指令，该指令可携带射线移动方向、射线移动角度等数据，以控制在AR或VR空间中的射线移动。

一种实现是，移动中的射线的显示数据也可由电子设备100发送给头戴式显示设备200。也即，电子设备100可根据自身的移动情况来生成射线移动图像，并向头戴式显示设备200传输该射线移动图像。头戴式显示设备200只需显示该射线移动图像即可。

S509.头戴式显示设备200在AR或VR空间中显示移动射线。

S510.电子设备100可计算出焦点对象为DOCK中的视频聚合项。

这里，焦点对象是指射线在AR或VR空间中定位到的对象。当射线落到某个对象上时，该对象的显示状态可以进行变化，以提示焦点处在该对象上。例如，焦点应用图标可变大，或者闪动。

具体实现中，电子设备100可根据射线移动情况以及AR或VR空间中各个对象的位置计算出焦点对象是哪一个。该位置可表示成对象在AR或VR空间中的三维坐标。

S511.在焦点对象是视频聚合项的情况下，电子设备100可检测到用户点击图7B所示界面中的触摸面板305的操作。

本实施例中，视频聚合项仅是一个示例，焦点对象也可以是DOCK中的其他应用聚合项。

S512.响应于该用户操作，电子设备100可向头戴式显示设备200发送图5B所示悬浮窗口的界面数据。该界面数据用于描述出图5B所示悬浮窗口及其中的应用图标。

S513.接收到该界面数据后，头戴式显示设备200可根据该界面数据在AR/VR空间中显示图5B所示悬浮窗口。

S514.电子设备100可检测到自己被移动。

S515.电子设备100可向头戴式显示设备200发送移动射线指令，该指令可携带射线移动方向、射线移动角度等数据，以控制在AR或VR空间中的射线移动。

S516.头戴式显示设备200在AR或VR空间中显示移动射线。

S517.电子设备100可计算出焦点对象为图5B所示悬浮窗口中的“爱奇艺视频”。

本实施例中，“爱奇艺视频”仅是一个示例，焦点对象也可以是图5B所示悬浮窗口中的其他应用程序。

S518.在焦点对象是“爱奇艺视频”的情况下，电子设备100可检测到用户点击图7B所示界面中的触摸面板305的操作。

本实施例中，视频聚合项仅是一个示例，焦点对象也可以是DOCK中的其他应用聚合项。

S519.响应于该用户操作，电子设备100可向头戴式显示设备200发送“爱奇艺视频”的界面数据。该界面数据用于描述出“爱奇艺视频”的用户界面。

S520.接收到该界面数据后，头戴式显示设备200可根据该界面数据在AR/VR空间中显示“爱奇艺视频”的用户界面，以向用户呈现3D视频观感。

通过图13所示实施例，在用户进入空间模式后，电子设备指令头戴式显示设备200显示大桌面和一种特殊DOCK，该DOCK中将同类型对象进行聚合展示(包括影视、游戏、手机应用等)，这样用户仅需在同类对象中移动射线定位目标对象，提升了用户定位对象的效率。

图14示出了本申请实施例提供的一种人机交互方法。该方法可提升空间模式和镜像模式的切换效率，其前提是电子设备100与头戴式显示设备200建立了连接。下面展开该方法。

进入空间模式

S601.头戴式显示设备200开启显示屏。

具体的，可参考图13实施例中的步骤S501，这里不再赘述。

S602.电子设备100显示图7B所示用户界面。关于该用户界面，可参考前述实施例中的相关描述，这里不再赘述。

S603.电子设备100可检测到用户点击图7B所示用户界面中的“空间模式”选项，即检测到打开“空间模式”的用户操作。

S604.响应于该用户操作，电子设备100可向头戴式显示设备200发送大桌面等界面数据。该界面数据用于描述出图6A所示的AR或VR空间中的用户界面。

S605.接收到该界面数据后，头戴式显示设备200可根据该界面数据在显示屏上显示图4所示的大桌面和DOCK，以向用户呈现AR或VR空间体验。该DOCK中包括镜像模式的快捷切换选项。该DOCK也可以包括图13实施例中提及的应用聚合项。

S606.响应于打开“空间模式”的用户操作，电子设备100还可以显示图7C所示用户界面，其中的触摸面板503可用于用户在AR或VR空间中实施点击、短按、长按、滑动等用户操作。关于图7C所示用户界面，可参考前述实施例中的相关描述，这里不再赘述。

切换到镜像模式

S607.电子设备100可检测到自己被移动。

参考前面实施例，用户可以通过移动电子设备100来控制射线，以在AR或VR空间中定位对象。

S608.电子设备100可向头戴式显示设备200发送移动射线指令，该指令可携带射线移动方向、射线移动角度等数据，以控制在AR或VR空间中的射线移动。

一种实现是，移动中的射线的显示数据也可由电子设备100发送给头戴式显示设备200。也即，电子设备100可根据自身的移动情况来生成射线移动图像，并向头戴式显示设备200传输该射线移动图像。头戴式显示设备200只需显示该射线移动图像即可。

S609.头戴式显示设备200在AR或VR空间中显示移动射线。

S610.电子设备100可计算出焦点对象为DOCK中的镜像模式的快捷切换选项。

关于如何确定出焦点对象，可参考图13实施例中的S510。

S611.在焦点对象是镜像模式的快捷切换选项的情况下，电子设备100可检测到用户点击图7B所示界面中的触摸面板305的操作。

S612.响应于该用户操作，电子设备100可向头戴式显示设备200发送电子设备100的屏幕流，以及空间模式的快捷切换选项的界面数据。

S613.接收到屏幕流以及空间模式的快捷切换选项的界面数据后，头戴式显示设备200可如图6B所示在AR或VR空间中显示电子设备100的屏幕镜像，并可伴随该屏幕镜像显示空间模式的快捷切换选项，以便用户快捷切换回空间模式，而无需用户取下头戴式显示设备200而去电子设备上进行该切换。

一种实现是，空间模式的快捷切换选项也可以显示在伴随屏幕镜像而出现的DOCK中。

切换回空间模式

S614.电子设备100可检测到自己被移动。

S615.电子设备100可向头戴式显示设备200发送移动射线指令，该指令可携带射线移动方向、射线移动角度等数据，以控制在AR或VR空间中的射线移动。

S616.头戴式显示设备200在AR或VR空间中显示移动射线。

S617.电子设备100可计算出焦点对象为空间模式的快捷切换选项。

S618.在焦点对象是空间模式的快捷切换选项的情况下，电子设备100可检测到用户点击图7B所示界面中的触摸面板305的操作。

S619.响应于该用户操作，电子设备100可向头戴式显示设备200发送大桌面等界面数据。该界面数据用于描述出图6A所示的AR或VR空间中的用户界面。

S620.接收到该界面数据后，头戴式显示设备200可根据该界面数据再次AR/VR空间中显示图6A所示的用户界面，以使用户返回AR或VR空间。

通过图14所示实施例，在用户进入空间模式后，电子设备指令头戴式显示设备200显示大桌面和一种特殊DOCK，该DOCK中包括镜像模式的快捷切换选项；并且，在用户进入镜像模式后，电子设备指令头戴式显示设备200显示电子设备的屏幕镜像和空间模式的快捷切换选项。这样，可支持用户在AR或VR空间中从空间模式切换到镜像模式，以及从镜像模式切回空间模式，无需用户摘下头戴式显示设备200去电子设备100上操作该切换，实现了用户操作的连续性，提升了用户操作效率。

图15示出了本申请实施例提供的一种人机交互方法。该方法可便于用户快速定位学习步骤，节约新手学习时间，其前提是电子设备100与头戴式显示设备200建立了连接。下面展开该方法。

进入空间模式

S701.头戴式显示设备200开启显示屏。

具体的，可参考图13实施例中的步骤S501，这里不再赘述。

S702.电子设备100显示图7B所示用户界面。关于该用户界面，可参考前述实施例中的相关描述，这里不再赘述。

S703.电子设备100可检测到用户点击图7B所示用户界面中的“空间模式”选项，即检测到打开“空间模式”的用户操作。

S704.响应于该用户操作，电子设备100可向头戴式显示设备200发送大桌面等界面数据。该界面数据用于描述出图4所示的AR或VR空间中的用户界面。

S705.接收到该界面数据后，头戴式显示设备200可根据该界面数据在显示屏上显示图4所示的大桌面和DOCK，以向用户呈现AR或VR空间体验。该DOCK中包括镜像模式的快捷切换选项。该DOCK也可以包括图13实施例中提及的应用聚合项。

S706.响应于打开“空间模式”的用户操作，电子设备100还可以显示图7C所示用户界面，其中的触摸面板503可用于用户在AR或VR空间中实施点击、短按、长按、滑动等用户操作。关于图7C所示用户界面，可参考前述实施例中的相关描述，这里不再赘述。

打开新手引导聚合页

S707.电子设备100可检测到自己被移动。

参考前面实施例，用户可以通过移动电子设备100来控制射线，以在AR或VR空间中定位对象。

S708.电子设备100可向头戴式显示设备200发送移动射线指令，该指令可携带射线移动方向、射线移动角度等数据，以控制在AR或VR空间中的射线移动。

一种实现是，移动中的射线的显示数据也可由电子设备100发送给头戴式显示设备200。也即，电子设备100可根据自身的移动情况来生成射线移动图像，并向头戴式显示设备200传输该射线移动图像。头戴式显示设备200只需显示该射线移动图像即可。

S709.头戴式显示设备200在AR或VR空间中显示移动射线。

S710.电子设备100可计算出焦点对象为大桌面中的“新手引导”的桌面图标。

关于如何确定出焦点对象，可参考图13实施例中的S510。

S711.在焦点对象是大桌面中的“新手引导”的桌面图标的情况下，电子设备100可检测到用户点击图7B所示界面中的触摸面板305的操作。

S712.响应于该用户操作，电子设备100可向头戴式显示设备200发送新手引导聚合页的界面数据。

S713.接收到该界面数据后，头戴式显示设备200可如图8所示在AR或VR空间中显示新手引导聚合页。该新手引导聚合页中包括各个步骤的学习卡片，例如“触摸面板”、“调整窗口”、“物理按键”、“扫一扫”等学习卡片。

定位学习目标

S714.电子设备100可检测到自己被移动。

S715.电子设备100可向头戴式显示设备200发送移动射线指令，该指令可携带射线移动方向、射线移动角度等数据，以控制在AR或VR空间中的射线移动。

S716.头戴式显示设备200在AR或VR空间中显示移动射线。

S717.电子设备100可计算出焦点对象为“触摸面板”学习卡片。

本实施例中，“触摸面板”仅是一个示例，焦点对象也可以是图8所示新手引导聚合页中的其他学习卡片。

S718.在焦点对象是“触摸面板”学习卡片的情况下，电子设备100可检测到用户点击图7B所示界面中的触摸面板305的操作。

S719.响应于该用户操作，电子设备100可向头戴式显示设备200发送图9A-图9C所示界面的界面数据。该界面数据用于描述出图9A-图9C所示用户界面。

S720.接收到该界面数据后，头戴式显示设备200可根据该界面数据在AR/VR空间中显示图9A-图9C所示界面，以便用户在AR或VR空间中学习如何移动射线、如何通过电子设备100上的触摸面板调整大桌面在AR或VR空间中的位置、如何使用头戴式显示设备200、如何在AR或VR空间中扫描二维码等等。

通过图15所示实施例，在用户打开“新手引导”后，电子设备指令头戴式显示设备200显示新手引导聚合页，新手教程中的各个学习步骤被独立成一个个学习卡片显示在该聚合页中，可便于用户快速定位学习目标，直接跳转所需步骤进行学习，不必进行全流程学习，节省用户时间。

本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过、、

等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，HTML)，层叠样式表(cascading stylesheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如HTML通过

、、

用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

应理解，本申请提供的上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请还提供一种电子设备，该电子设备可以包括：存储器和处理器。其中，存储器可用于存储计算机程序；处理器可用于调用所述存储器中的计算机程序，以使得该电子设备执行上述任意一个实施例中的方法。

本申请还提供了一种芯片系统，所述芯片系统包括至少一个处理器，用于实现上述任意一个实施例中电子设备执行的方法中所涉及的功能。

在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。

该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

可选地，该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。

可选地，该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起，也可以和处理器分离设置，本申请实施例并不限定。示例性地，存储器可以是非瞬时性处理器，例如只读存储器ROM，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型，以及存储器与处理器的设置方式不作具体限定。

示例性地，该芯片系统可以是现场可编程门阵列(field programmable gatearray，FPGA)，可以是专用集成芯片(application specific integrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processorunit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logic device，PLD)或其他集成芯片。

本申请还提供一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行上述任一个实施例中电子设备执行的方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)。当所述计算机程序被运行时，使得计算机执行上述任一个实施例中电子设备执行的方法。

本申请的各实施方式可以任意进行组合，以实现不同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

总之，以上所述仅为本发明技术方案的实施例而已，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。