掌桥专利:专业的专利平台
掌桥专利
首页

虚拟三维物体显示方法和头戴式显示设备

文献发布时间:2023-06-19 19:33:46


虚拟三维物体显示方法和头戴式显示设备

技术领域

本公开的实施例涉及计算机技术领域,具体涉及虚拟三维物体显示方法和头戴式显示设备。

背景技术

随着XR技术的发展,通过佩戴XR设备实现虚拟世界里的沉浸体验成为更多用户的追求。用户佩戴XR设备(例如头戴式显示设备)时,往往会显示虚拟三维物体,使得用户通过XR设备实现与虚拟三维物体的交互与操作。目前,用户操作虚拟三维物体通常采用的方式为:通过手柄等方式对虚拟三维物体进行旋转、缩放、移动的变换操作。

然而,当采用上述方式操作虚拟三维物体时,经常会存在如下技术问题:

通过手柄进行的变换操作较为简单,精确性较低,导致用户进行的变换操难以达到用户进行变换操作的目的,造成用户的重复操作,用户体验较差。

该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了虚拟三维物体显示方法和头戴式显示设备,来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面,本公开的一些实施例提供了一种虚拟三维物体显示方法,该方法包括:根据上述摄像头对目标场景所拍摄的场景图片集合,构建虚拟三维空间坐标系;对虚拟三维物体模型库进行显示;响应于检测到作用于上述虚拟三维物体模型库中任一虚拟三维物体模型的选择操作,将所选择的虚拟三维物体模型确定为目标虚拟三维物体;在上述虚拟三维空间坐标系中对上述目标虚拟三维物体和虚拟操作射线进行显示,其中,上述目标虚拟三维物体对应有虚拟三维物体框;响应于检测到上述虚拟操作射线与上述虚拟三维物体框满足预设线框显示条件,对上述虚拟三维物体框进行显示;响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,在上述虚拟三维物体框上显示对应上述变换操作的操作图标。

可选地,上述根据上述摄像头对目标场景所拍摄的场景图片集合,构建虚拟三维空间坐标系,包括:响应于检测到作用于拍摄确定控件的至少一次选择操作,通过上述摄像头对目标场景进行拍摄,得到场景图片集合;根据上述场景图片集合,构建虚拟三维空间坐标系。

可选地,在上述将所选择的虚拟三维物体模型确定为目标虚拟三维物体之后,上述方法还包括:获取用户手部数据;根据上述用户手部数据和头戴式显示设备位置数据,确定虚拟操作射线的射线坐标信息和射线状态信息。

可选地,在上述将所选择的虚拟三维物体模型确定为目标虚拟三维物体之后,上述方法还包括:响应于检测到上述头戴式显示设备与移动设备通信连接,获取上述移动设备的设备位姿信息和用户作用于上述移动设备的触摸信息;根据上述设备位姿信息和上述触摸信息,确定虚拟操作射线的射线坐标信息和射线状态信息。

可选地,上述方法还包括:响应于检测到上述目标虚拟三维物体处于锁定状态,显示三维物体刻度信息,其中,上述三维物体刻度信息包括以下中的至少一项:移动距离信息、旋转角度信息、缩放倍率信息。

可选地,上述显示三维物体刻度信息,包括:响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,根据预设变换倍率和上述触摸信息,生成三维物体刻度信息;对上述三维物体刻度信息进行显示。

可选地,上述响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,在上述虚拟三维物体框上显示对应上述变换操作的操作图标,包括:响应于检测到通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的顶点的选择操作,以及对于上述顶点的选择操作满足预设抖动条件,在上述虚拟三维物体框包括的顶点上显示缩放操作图标,其中,当存在至少一个顶点与上述虚拟三维物体共线时,所选择的顶点为上述至少一个顶点中与上述头戴式显示设备的距离满足预设缩放选中距离条件的顶点;响应于检测到上述触摸信息不为空,根据上述触摸信息,对上述目标虚拟三维物体进行缩放处理,以及对上述缩放操作图标持续显示。

可选地,上述缩放处理的缩放原点为上述虚拟三维物体框的中心点或上述虚拟三维物体框的各个顶点中与上述选择操作所选择的顶点的距离满足预设缩放原点距离条件的顶点。

可选地,上述响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,在上述虚拟三维物体框上显示对应上述变换操作的操作图标,还包括:响应于检测到通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的棱边的预设部分的选择操作,以及对于上述棱边的预设部分的选择操作满足上述预设抖动条件,在上述虚拟三维物体框包括的棱边的上述预设部分上显示旋转操作图标,其中,当存在至少一个棱边与上述虚拟操作射线相交时,所选择的棱边为上述至少一个棱边中与上述头戴式显示设备的距离满足预设旋转选中距离条件的棱边;响应于检测到上述触摸信息不为空,根据所选择的棱边,确定转轴,其中,上述转轴与所选择的棱边平行;根据上述触摸信息和上述转轴,对上述目标虚拟三维物体进行旋转处理,以及对上述旋转操作图标持续显示。

可选地,上述响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,在上述虚拟三维物体框上显示对应上述变换操作的操作图标,还包括:响应于检测到通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的平面的选择操作,以及对于上述平面的选择操作满足上述预设抖动条件,在上述虚拟三维物体框包括的平面的上显示移动操作图标,其中,当存在至少一个平面与上述虚拟三维物体相交时,所选择的平面为上述至少一个平面中与上述头戴式显示设备的距离满足预设移动选中距离条件的平面;响应于检测到上述触摸信息不为空,根据上述触摸信息,对上述目标虚拟三维物体进行移动处理,以及对上述移动操作图标持续显示。

可选地,上述方法还包括:响应于检测到上述触摸信息为空,确定上述目标虚拟三维物体处于锁定失效状态。

可选地,上述方法还包括:响应于上述射线坐标信息不满足预设成像显示区域坐标条件,确定上述目标虚拟三维物体处于锁定失效状态。

可选地,上述方法还包括:响应于检测到作用于上述目标虚拟三维物体的重置操作,以默认状态显示上述目标虚拟三维物体,其中,上述默认状态表征上述目标虚拟三维物体的尺寸为默认尺寸、上述目标虚拟三维物体的旋转角度为默认角度、且显示上述目标虚拟三维物体的视角为默认视角。

可选地,在上述对虚拟三维物体模型库进行显示之前,上述方法还包括:对虚拟托盘进行显示,其中,上述虚拟托盘包括托盘吸附面,上述托盘吸附面包括至少一个托盘网格面。

可选地,上述在上述虚拟三维空间坐标系中对上述目标虚拟三维物体和虚拟操作射线进行显示,包括:在上述虚拟三维空间坐标系中对上述目标虚拟三维物体、上述虚拟操作射线和上述虚拟托盘进行显示;响应于检测到上述目标虚拟三维物体和上述虚拟托盘满足预设吸附距离范围条件,在上述目标虚拟三维物体对应的托盘网格面上显示可吸附性亮光图像。

可选地,上述方法还包括:响应于检测到上述目标虚拟三维物体和上述虚拟托盘满足预设吸附距离阈值条件,确定上述目标虚拟三维物体和上述虚拟托盘处于托盘吸附状态。

可选地,上述响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,在上述虚拟三维物体框上显示对应上述变换操作的操作图标,还包括:响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,根据上述虚拟托盘的托盘吸附状态,在上述虚拟三维物体框上显示对应上述变换操作的操作图标。

第二方面,本公开的一些实施例提供了一种头戴式显示设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;显示屏幕,用于显示虚拟三维物体模型库、目标虚拟三维物体、虚拟操作射线以及虚拟三维物体框;摄像头,用于拍摄场景图片;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的虚拟三维物体显示方法,提高了变换操作的精确性,减少了用户的重复操作,进而提升了用户体验。具体来说,造成用户体验较差的原因在于:通过手柄进行的变换操作较为简单,精确性较低,导致用户进行的变换操难以达到用户进行变换操作的目的,造成用户的重复操作,用户体验较差。基于此,本公开的一些实施例的虚拟三维物体显示方法,首先,根据摄像头对目标场景所拍摄的场景图片集合,构建虚拟三维空间坐标系。由此,可以得到描述目标场景的虚拟三维空间坐标系。然后,对虚拟三维物体模型库进行显示。之后,响应于检测到作用于虚拟三维物体模型库中任一虚拟三维物体模型的选择操作,将所选择的虚拟三维物体模型确定为目标虚拟三维物体。由此,可以得到用于进行变换操作的目标虚拟三维物体。其次,在虚拟三维空间坐标系中对目标虚拟三维物体和虚拟操作射线进行显示。由此,可以实现上述目标虚拟三维物体从上述虚拟三维物体模型库中拖拽至上述虚拟三维空间坐标系中显示的视觉效果。然后,响应于检测到虚拟操作射线与虚拟三维物体框满足预设线框显示条件,对虚拟三维物体框进行显示。由此,可以显示供用户对目标虚拟三维物体进行变换操作的虚拟三维物体框。最后,响应于检测到通过虚拟操作射线作用于目标虚拟三维物体的变换操作,在虚拟三维物体框上显示对应变换操作的操作图标。由此,可以显示表征变换操作的操作图标。因为通过在虚拟三维物体框上显示对应变换操作的操作图标,可以提示用户正在进行的变换操作,避免用户在试图进行某项变换操作时,实际进行的是另一项变换操作而用户未能及时得知,从而提高了变换操作的精确性,使得用户进行的变换操可以达到用户进行变换操作的目的,进而减少了用户的重复操作,提升用户体验。

附图说明

结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。

图1是根据本公开的虚拟三维物体显示方法的一些实施例的流程图;

图2是适于用来实现本公开的一些实施例的头戴式显示设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。

需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

图1示出了根据本公开的虚拟三维物体显示方法的一些实施例的流程100。该虚拟三维物体显示方法,包括以下步骤:

步骤101,根据摄像头对目标场景所拍摄的场景图片集合,构建虚拟三维空间坐标系。

在一些实施例中,虚拟三维物体显示方法的执行主体(例如头戴式显示设备)可以根据上述摄像头对目标场景所拍摄的场景图片集合,构建虚拟三维空间坐标系。其中,上述目标场景可以为预先设定的拍摄场景。例如,上述目标场景可以为某个房间。上述场景图片集合中的场景图片可以为通过上述摄像头对上述目标场景进行拍摄所得到的图片。上述虚拟三维空间坐标系可以为描述上述目标场景的坐标系。例如,上述虚拟三维空间坐标系可以为以目标场景中的某个位置作为坐标原点,以预设的三个方向作为x轴,y轴,z轴的方向所建立的三维坐标系。实践中,根据上述摄像头对目标场景所拍摄的场景图片集合,可以通过SLAM(Simultaneous Localization and Mapping,定位建图与路径规划)算法构建虚拟三维空间坐标系。由此,可以得到描述目标场景的虚拟三维空间坐标系。

需要说明的是,上述计算设备可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。应该理解,根据实现需要,可以具有任意数目的计算设备。

在一些实施例的一些可选的实现方式中,首先,上述执行主体可以响应于检测到作用于拍摄确定控件的至少一次选择操作,通过上述摄像头对目标场景进行拍摄,得到场景图片集合。其中,上述拍摄确定控件可以为确定对目标场景进行拍摄的控件。然后,可以根据上述场景图片集合,构建虚拟三维空间坐标系。由此,可以通过用户作用于拍摄确定控件的手动操作,得到场景图片集合。

步骤102,对虚拟三维物体模型库进行显示。

在一些实施例中,上述执行主体可以对虚拟三维物体模型库进行显示。其中,上述虚拟三维物体模型库可以为存储了至少一个虚拟三维物体模型的数据库。上述虚拟三维物体模型可以为虚拟的三维物体模型。例如,上述虚拟三维物体模型可以为虚拟的正方体模型。由此,可以对虚拟三维物体模型库中的虚拟三维物体模型进行后续操作。

可选地,在上述步骤102之前,上述执行主体可以对虚拟托盘进行显示。其中,上述虚拟托盘包括托盘吸附面,上述托盘吸附面包括至少一个托盘网格面。上述虚拟托盘可以为用于盛放上述虚拟三维物体模型的托盘。上述托盘吸附面可以为上述虚拟托盘包括的用于吸附上述虚拟三维物体模型的任一面的某一面。例如,上述虚拟托盘可以为虚拟的长方体。上述托盘吸附面可以为长方体的顶层的一面。上述托盘吸附面可以通过网格划分为一个个为正方形的托盘网格面。上述托盘吸附面的长与宽均为上述托盘吸附面的边长的整数倍。其中,可以预先设置好托盘网格面的面积,再对托盘吸附面进行网格划分。

步骤103,响应于检测到作用于虚拟三维物体模型库中任一虚拟三维物体模型的选择操作,将所选择的虚拟三维物体模型确定为目标虚拟三维物体。

在一些实施例中,上述执行主体可以响应于检测到作用于上述虚拟三维物体模型库中任一虚拟三维物体模型的选择操作,将所选择的虚拟三维物体模型确定为目标虚拟三维物体。其中,上述选择操作可以包括但不限于:点击操作。由此,可以得到用于进行变换操作的目标虚拟三维物体。

可选地,在上述步骤103之后,首先,上述执行主体可以获取用户手部数据。上述用户手部数据可以为用于表征用户手部的关节点在上述虚拟三维空间坐标系中的坐标信息。然后,可以根据上述用户手部数据和头戴式显示设备位置数据,确定虚拟操作射线的射线坐标信息和射线状态信息。其中,上述头戴式显示设备位置数据可以为表征上述头戴式显示设备的位置的数据。例如,上述头戴式显示设备位置数据可以为传感器数据。上述射线坐标信息可以为表征上述虚拟操作射线在上述虚拟三维空间坐标系中的坐标信息。上述虚拟操作射线可以为由用户控制进行一系列操作(例如选择操作)的虚拟的射线。上述虚拟操作射线在上述虚拟三维空间坐标系中可以以射线的形式显示。上述射线状态信息可以为表征射线执行操作的状态信息。例如,上述射线状态信息可以表征射线正在执行选择操作,此时该射线状态信息可以为:射线处于选择状态。

可选地,在上述步骤103之后,首先,上述执行主体可以响应于检测到上述头戴式显示设备与移动设备通信连接,获取上述移动设备的设备位姿信息和用户作用于上述移动设备的触摸信息。其中,上述移动设备可以包括但不限于:智能手机、平板电脑、笔记本电脑。上述移动设备可以包括触敏屏。上述设备位姿信息可以为表征上述移动设备的位置和姿态的信息。例如,上述设备位姿信息可以为传感器中的传感数据。上述触摸信息可以为记录用于作用于上述移动设备的触敏屏的操作的信息。例如,上述触摸信息可以表征用户通过手指点击上述触敏屏。然后,可以根据上述设备位姿信息和上述触摸信息,确定虚拟操作射线的射线坐标信息和射线状态信息。作为示例,可以将上述设备位姿信息确定为射线坐标信息。响应于上述触摸信息表征用户通过手指点击上述触敏屏,可以确定射线状态信息为射线处于选择状态。

步骤104,在虚拟三维空间坐标系中对目标虚拟三维物体和虚拟操作射线进行显示。

在一些实施例中,上述执行主体可以在上述虚拟三维空间坐标系中对上述目标虚拟三维物体和虚拟操作射线进行显示。其中,上述目标虚拟三维物体对应有虚拟三维物体框。上述虚拟三维物体框可以为上述目标虚拟三维物体的最小外接矩形的边框。实践中,可以在上述虚拟三维空间坐标系中对虚拟操作射线进行显示,并以拖拽的方式显示上述目标虚拟三维物体,以实现上述目标虚拟三维物体从上述虚拟三维物体模型库中拖拽至上述虚拟三维空间坐标系中显示的视觉效果。

在一些实施例的一些可选的实现方式中,首先,上述执行主体可以在上述虚拟三维空间坐标系中对上述目标虚拟三维物体、上述虚拟操作射线和上述虚拟托盘进行显示。然后,响应于检测到上述目标虚拟三维物体和上述虚拟托盘满足预设吸附距离范围条件,可以在上述目标虚拟三维物体对应的托盘网格面上显示可吸附性亮光图像。上述预设吸附距离范围条件可以为上述目标虚拟三维物体和上述虚拟托盘之间的距离在预设距离范围内。上述目标虚拟三维物体对应的托盘网格面可以为上述目标虚拟三维物体投影至上述虚拟托盘的托盘吸附面时,所覆盖的各个托盘网格面。上述可吸附性亮光图像可以为高亮显示的图片。例如,上述托盘吸附面可以为黑色或灰色,上述目标虚拟三维物体对应的托盘网格面可以为白色。由此,可以在目标虚拟三维物体和上述虚拟托盘满足预设吸附距离范围条件时,提示上述目标虚拟三维物体和上述虚拟托盘进行吸附的区域。

步骤105,响应于检测到虚拟操作射线与虚拟三维物体框满足预设线框显示条件,对虚拟三维物体框进行显示。

在一些实施例中,上述执行主体可以响应于检测到上述虚拟操作射线与上述虚拟三维物体框满足预设线框显示条件,对上述虚拟三维物体框进行显示。这里,对上述预设线框显示条件的具体设定,不作限定。例如,上述预设线框显示条件可以为上述虚拟操作射线穿过上述虚拟三维物体框。由此,可以显示供用户对目标虚拟三维物体进行变换操作的虚拟三维物体框。

步骤106,响应于检测到通过虚拟操作射线作用于目标虚拟三维物体的变换操作,在虚拟三维物体框上显示对应变换操作的操作图标。

在一些实施例中,上述执行主体可以响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,在上述虚拟三维物体框上显示对应上述变换操作的操作图标。其中,上述变换操作可以包括但不限于:旋转操作,移动操作,缩放操作。这里,对于上述变换操作的具体设定,不作限定。例如,用户作用于上述虚拟操作射线的双击操作可以为旋转操作。上述操作图标可以为表征上述变换操作的图标。例如,上述操作图标可以为预设符号或预设图片。由此,可以显示表征变换操作的操作图标。

可选地,响应于检测到上述目标虚拟三维物体处于锁定状态,上述执行主体可以显示三维物体刻度信息。其中,上述三维物体刻度信息可以包括以下中的至少一项:移动距离信息、旋转角度信息、缩放倍率信息。上述锁定状态可以为表征显示三维物体刻度信息的状态。这里,对于上述锁定状态的具体设定,不作限定。例如,上述锁定状态还可以表征无法对目标虚拟三维物体进行变换操作。又如,上述锁定状态还可以表征无法对目标虚拟三维物体进行旋转操作与缩放操作,可以对目标虚拟三维物体进行移动操作。上述三维物体刻度信息可以为表征上述目标虚拟三维物体的移动距离、旋转角度、缩放倍率的信息。上述移动距离信息可以为表征上述目标虚拟三维物体通过移动操作所移动的距离的信息。上述旋转角度信息可以为表征上述目标虚拟三维物体通过旋转操作所旋转的角度的信息。上述缩放倍率信息可以为表征上述目标虚拟三维物体通过缩放操作所缩放的倍率的信息。例如,上述缩放倍率信息可以为:放大至1.2倍。由此,可以显示三维物体刻度信息。

可选地,上述显示三维物体刻度信息,可以包括:首先,响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,根据预设变换倍率和上述触摸信息,可以生成三维物体刻度信息。其中,上述预设变换倍率可以为预先设定的上述触摸信息所表征的触摸距离与上述变换操作对应的移动距离、旋转角度或缩放倍率之间的变换倍率。作为示例,上述变换操作为移动操作,此时上述变换操作对应移动距离。上述触摸距离可以为用户的手指作用于移动设备的触敏屏时,在触敏屏上移动的距离。则上述预设变换倍率可以为上述触摸信息所表征的触摸距离与上述变换操作对应的移动距离之间的变换倍率为1.5倍。例如,上述触摸距离可以为1厘米。上述变换操作对应的移动距离可以为1.5厘米。然后,可以对上述三维物体刻度信息进行显示。由此,可以通过移动设备控制变换操作。

在一些实施例的一些可选的实现方式中,首先,响应于检测到通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的顶点的选择操作,以及对于上述顶点的选择操作满足预设抖动条件,上述执行主体可以在上述虚拟三维物体框包括的顶点上显示缩放操作图标。其中,当存在至少一个顶点与上述虚拟三维物体共线时,所选择的顶点为上述至少一个顶点中与上述头戴式显示设备的距离满足预设缩放选中距离条件的顶点。其中,通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的顶点的选择操作时,上述虚拟操作射线与上述虚拟三维物体线框包括的顶点共线。上述预设缩放选中距离条件可以为与上述虚拟三维物体共线的各个顶点中距离上述头戴式显示设备的距离最近的顶点。由此,选择具体最近的顶点更加符合真实世界的观测逻辑,进一步优化了用户体验。上述预设抖动条件可以为上述虚拟操作射线执行选择操作时,上述虚拟操作射线因抖动造成的未持续与选择部位(例如:顶点、棱边、平面)相交时,上述虚拟操作射线与选择部位之间的距离小于等于预设抖动距离阈值。上述预设抖动距离阈值可以为预先设定的距离阈值。由此,可以避免因过于灵敏导致的将用户的手部抖动带来的误操作错认为未对顶点进行选择操作。上述缩放操作图标可以为表征缩放操作的图标。例如,上述缩放操作图标可以为预设符号或预设图片。然后,响应于检测到上述触摸信息不为空,根据上述触摸信息,可以对上述目标虚拟三维物体进行缩放处理,以及对上述缩放操作图标持续显示。作为示例,上述触摸信息可以表征触摸距离为1厘米,上述预设变换倍率可以为:1厘米触摸距离对应放大1.5倍。则可以对上述目标虚拟三维物体进行放大至1.5倍,并在放大过程中持续显示上述缩放操作图标。

可选地,上述缩放处理的缩放原点为上述虚拟三维物体框的中心点或上述虚拟三维物体框的各个顶点中与上述选择操作所选择的顶点的距离满足预设缩放原点距离条件的顶点。其中,上述预设缩放原点距离条件可以为上述虚拟三维物体框的各个顶点中与上述选择操作所选择的顶点的距离最远的顶点。由此,以上述虚拟三维物体框的中心点作为缩放处理的缩放原点,可以实现均匀缩放,在缩放过程中,中心点不变,用户的视角视野不需要随着缩放而转动;以上述虚拟三维物体框的各个顶点中与上述选择操作所选择的顶点的距离满足预设缩放原点距离条件的顶点作为缩放处理的缩放原点,相较于以中心点为缩放原点而言,在上述触摸信息表征的触摸距离相同时,满足预设缩放原点距离条件的缩放原点在缩放过程中缩放幅度更小,可以更加精确地控制缩放的倍率。

在一些实施例的一些可选的实现方式中,首先,响应于检测到通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的棱边的预设部分的选择操作,以及对于上述棱边的预设部分的选择操作满足上述预设抖动条件,上述执行主体可以在上述虚拟三维物体框包括的棱边的上述预设部分上显示旋转操作图标。其中,当存在至少一个棱边与上述虚拟操作射线相交时,所选择的棱边为上述至少一个棱边中与上述头戴式显示设备的距离满足预设旋转选中距离条件的棱边。其中,上述预设旋转选中距离条件可以为所选择的棱边为上述至少一个棱边中与上述头戴式显示设备的距离最近的棱边。上述棱边的预设部分可以为棱边的中段部分。上述旋转操作图标可以为表征进行旋转操作的图标。上述旋转操作图标可以为预设符号或预设图片。然后,响应于检测到上述触摸信息不为空,根据所选择的棱边,可以确定转轴。其中,上述转轴与所选择的棱边平行。实践中,可以将经过上述虚拟三维物体框的中心点且与所选择的棱边平行的直线确定为转轴。由此,可以避免因多次将不平行的多个棱边作为转轴进行旋转处理带来的目标虚拟三维物体的较大移动,进而避免因较大移动导致的用户视野眼球的跟随转动。通过确定的转轴旋转可以使得用户保持原来的位置,无需改变用户视野眼球的位置方向,提高用户体验。最后,根据上述触摸信息和上述转轴,可以对上述目标虚拟三维物体进行旋转处理,以及对上述旋转操作图标持续显示。作为示例,上述触摸信息可以表征触摸距离为1厘米,上述预设变换倍率可以为:1厘米触摸距离对应旋转15度。则可以对上述目标虚拟三维物体旋转15度,并在旋转过程中持续显示上述旋转操作图标。

在一些实施例的一些可选的实现方式中,首先,响应于检测到通过上述虚拟操作射线作用于上述虚拟三维物体线框包括的平面的选择操作,以及对于上述平面的选择操作满足上述预设抖动条件,上述执行主体可以在上述虚拟三维物体框包括的平面的上显示移动操作图标。其中,当存在至少一个平面与上述虚拟三维物体相交时,所选择的平面为上述至少一个平面中与上述头戴式显示设备的距离满足预设移动选中距离条件的平面。其中,上述预设移动选中距离条件可以为所选择的平面为上述至少一个平面中与上述头戴式显示设备的距离最近的平面。上述移动操作图标可以为表征移动操作的图标。例如,上述移动操作图标可以为预设符号或预设图片。然后,响应于检测到上述触摸信息不为空,根据上述触摸信息,可以对上述目标虚拟三维物体进行移动处理,以及对上述移动操作图标持续显示。

可选地,响应于检测到上述触摸信息为空,上述执行主体可以确定上述目标虚拟三维物体处于锁定失效状态。其中,上述触摸信息为空可以表征用户的手指脱离触敏屏,停止对触敏屏的按压。上述锁定失效状态可以为表征不显示三维物体刻度信息的状态。

可选地,响应于上述射线坐标信息不满足预设成像显示区域坐标条件,上述执行主体可以确定上述目标虚拟三维物体处于锁定失效状态。其中,上述预设成像显示区域坐标条件可以为上述射线坐标信息表征的虚拟操作射线的坐标在上述摄像头的FOV(Fieldof View,视场角)视野内。

可选的,响应于检测到作用于上述目标虚拟三维物体的重置操作,上述执行主体可以以默认状态显示上述目标虚拟三维物体,其中,上述默认状态表征上述目标虚拟三维物体的尺寸为默认尺寸、上述目标虚拟三维物体的旋转角度为默认角度、且显示上述目标虚拟三维物体的视角为默认视角。这里,对于上述重置操作的具体设定,不做限定。例如,上述重置操作可以为长按操作。

可选地,响应于检测到上述目标虚拟三维物体和上述虚拟托盘满足预设吸附距离阈值条件,上述执行主体可以确定上述目标虚拟三维物体和上述虚拟托盘处于托盘吸附状态。上述预设吸附距离阈值条件可以为上述目标虚拟三维物体和上述虚拟托盘之间的距离小于等于预设距离阈值。上述托盘吸附状态可以表征在视觉效果呈现上,实现上述目标虚拟三维物体放置在上述虚拟托盘上显示。此时的目标虚拟三维物体和虚拟托盘可以作为一个整体呈现,可以通过操作虚拟托盘进而控制目标虚拟三维物体。

在一些实施例的一些可选的实现方式中,响应于检测到通过上述虚拟操作射线作用于上述目标虚拟三维物体的变换操作,根据上述虚拟托盘的托盘吸附状态,上述执行主体可以在上述虚拟三维物体框上显示对应上述变换操作的操作图标。其中,上述虚拟托盘处于托盘吸附状态时,可以对上述目标虚拟三维物体进行移动操作和旋转操作。上述虚拟托盘未处于托盘吸附状态时,可以对上述目标虚拟三维物体进行缩放操作、移动操作和旋转操作。由此,可以通过操作虚拟托盘进而操作目标虚拟三维物体。

本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的虚拟三维物体显示方法,提高了变换操作的精确性,减少了用户的重复操作,进而提升了用户体验。具体来说,造成用户体验较差的原因在于:通过手柄进行的变换操作较为简单,精确性较低,导致用户进行的变换操难以达到用户进行变换操作的目的,造成用户的重复操作,用户体验较差。基于此,本公开的一些实施例的虚拟三维物体显示方法,首先,根据摄像头对目标场景所拍摄的场景图片集合,构建虚拟三维空间坐标系。由此,可以得到描述目标场景的虚拟三维空间坐标系。然后,对虚拟三维物体模型库进行显示。之后,响应于检测到作用于虚拟三维物体模型库中任一虚拟三维物体模型的选择操作,将所选择的虚拟三维物体模型确定为目标虚拟三维物体。由此,可以得到用于进行变换操作的目标虚拟三维物体。其次,在虚拟三维空间坐标系中对目标虚拟三维物体和虚拟操作射线进行显示。由此,可以实现上述目标虚拟三维物体从上述虚拟三维物体模型库中拖拽至上述虚拟三维空间坐标系中显示的视觉效果。然后,响应于检测到虚拟操作射线与虚拟三维物体框满足预设线框显示条件,对虚拟三维物体框进行显示。由此,可以显示供用户对目标虚拟三维物体进行变换操作的虚拟三维物体框。最后,响应于检测到通过虚拟操作射线作用于目标虚拟三维物体的变换操作,在虚拟三维物体框上显示对应变换操作的操作图标。由此,可以显示表征变换操作的操作图标。因为通过在虚拟三维物体框上显示对应变换操作的操作图标,可以提示用户正在进行的变换操作,避免用户在试图进行某项变换操作时,实际进行的是另一项变换操作而用户未能及时得知,从而提高了变换操作的精确性,使得用户进行的变换操可以达到用户进行变换操作的目的,进而减少了用户的重复操作,提升用户体验。

继续参考图2,其示出了适于用来实现本公开的一些实施例的头戴式显示设备的结构示意图。图2示出的头戴式显示设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。

如图2所示,头戴式显示设备200可以包括处理装置201(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中,还存储有头戴式显示设备200操作所需的各种程序和数据。处理装置201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。头戴式显示设备200还可以包括显示屏幕210和摄像头211。其中,显示屏幕210用于显示虚拟三维物体模型库、目标虚拟三维物体、虚拟操作射线以及虚拟三维物体框。摄像头211用于拍摄场景图片。

通常,以下装置可以连接至I/O接口205:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置206;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置207;包括例如磁带、硬盘等的存储装置208;以及通信装置209。通信装置209可以允许头戴式显示设备200与其他设备进行无线或有线通信以交换数据。虽然图2示出了具有各种装置的头戴式显示设备200,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图2中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。

需要说明的是,头戴式显示设备200可以为一体机,也可以为分体机。在头戴式显示设备200为分体机时,分体机可以包括眼镜和分体主机,眼镜和分体主机可以电连接。实际操作中,上述显示屏幕210和摄像头211可以配置在眼镜上。上述处理装置201、上述I/O接口205、上述存储装置208则可以配置在分体主机上。

特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置209从网络上被下载和安装,或者从存储装置208被安装,或者从ROM 202被安装。在该计算机程序被处理装置201执行时,执行本公开的一些实施例的方法中限定的上述功能。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

相关技术
  • 一种头戴式显示设备及透镜调整方法
  • 头戴式显示设备
  • 头戴式显示设备
  • 用于头戴式显示设备的虚拟物体呈现方法和装置
  • 用于头戴式显示设备的虚拟物体呈现方法和装置
技术分类

06120115957995