掌桥专利:专业的专利平台
掌桥专利
首页

一种虚拟现实设备及快捷交互方法

文献发布时间:2023-06-19 10:48:02


一种虚拟现实设备及快捷交互方法

技术领域

本申请涉及虚拟现实设备技术领域,尤其涉及一种虚拟现实设备及快捷交互方法。

背景技术

虚拟现实(Virtual Reality,VR)技术是通过计算机模拟虚拟环境,从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面以实现沉浸感的设备。虚拟现实设备在使用中,可以接收用户交互操作,并响应于不同的用户交互操作,执行不同的控制程序。由于虚拟现实设备多用于播放多媒体资源,因此截屏、录屏以及投屏是虚拟现实设备较常用的交互功能。

其中,截屏是指虚拟现实设备将某一时刻播放的媒资画面内容保存为图片文件的过程;录屏是指虚拟现实设备将某一时间段内播放的媒资画面保存为视频文件的过程;投屏是指虚拟现实设备将播放的媒资画面共享到智能电视等其他显示设备上,以通过其他显示设备的屏幕展示虚拟现实设备中的内容。

截屏、录屏以及投屏功能需要特定的交互动作触发完成,例如在播放菜单中选中相应的选项完成交互动作输入。但是,由于虚拟现实设备一般佩戴于用户的面部,且在佩戴过程中,用户无法观看到虚拟现实设备外部的内容,因此受限于虚拟现实设备的操作模式,在实际交互过程中,用户难以在播放媒资过程中直接输入交互动作以实施截屏、录屏以及投屏功能,降低用户体验。

发明内容

本申请提供了一种虚拟现实设备及快捷交互方法,以解决传统虚拟现实设备不能在播放过程中直接实施截屏、录屏以及投屏功能的问题。

第一方面,本申请提供一种虚拟现实设备,包括显示器和控制器,其中显示器,被配置为显示用户界面;控制器被配置为执行以下程序步骤:

获取用户输入的用于显示快捷中心界面的控制指令;

响应于所述控制指令,控制显示器显示快捷中心窗口,所述快捷中心窗口中包括截屏选项、录屏选项以及投屏选项中的至少一项;

接收用户针对所述快捷中心窗口的选中交互指令;

根据所述选中交互指令中指定的焦点选项,执行所述焦点选项所对应的操作。

第二方面,本申请还提供一种快捷交互方法,应用于虚拟现实设备,所述虚拟现实设备包括显示器和控制器,所述快捷交互方法包括:

获取用户输入的用于显示快捷中心界面的控制指令;

响应于所述控制指令,控制显示器显示快捷中心窗口,所述快捷中心窗口中包括截屏选项、录屏选项以及投屏选项中的至少一项;

接收用户针对所述快捷中心窗口的选中交互指令;

根据所述选中交互指令中指定的焦点选项,执行所述焦点选项所对应的操作。

由以上技术方案可知,本申请提供的虚拟现实设备及快捷交互方法可以在获取用户输入的用于显示快捷中心界面的控制指令后,控制显示器显示快捷中心窗口,并接收用户针对所述快捷中心窗口的选中交互指令;从而根据所述选中交互指令中指定的焦点选项,执行所述焦点选项的操作。其中,所述快捷中心窗口中包括截屏选项、录屏选项以及投屏选项。所述方法可以在播放媒资过程中直接输入交互动作以实施截屏、录屏以及投屏功能,提高用户体验。

附图说明

为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例中包括虚拟现实设备的显示系统结构示意图;

图2为本申请实施例中VR场景全局界面示意图;

图3为本申请实施例中全局界面的推荐内容区域示意图;

图4为本申请实施例中全局界面的应用快捷操作入口区域示意图;

图5为本申请实施例中全局界面的悬浮物示意图;

图6为本申请实施例中通过状态栏进入快捷中心示意图;

图7为本申请实施例中快捷中心窗口示意图;

图8为本申请实施例中通过按键进入快捷中心示意图;

图9为本申请实施例中进入快捷中心时快捷说明示意图;

图10为本申请实施例中选中截屏选项时快捷说明示意图;

图11为本申请实施例中选中录屏选项时快捷说明示意图;

图12为本申请实施例中选中投屏选项时快捷说明示意图;

图13为本申请实施例中开始截屏示意图;

图14为本申请实施例中截屏成功时提示文字窗口实体图;

图15为本申请实施例中开始录屏示意图;

图16为本申请实施例中录屏过程中界面示意图;

图17为本申请实施例中录屏控制按钮示意图;

图18为本申请实施例中录屏成功时提示文字窗口实体图;

图19为本申请实施例中存储空间不足时提示窗口示意图;

图20为本申请实施例中录屏中断时保存录屏结果示意图;

图21为本申请实施例中电量不足时提示窗口示意图;

图22为本申请实施例中开始录屏时电量不足提示界面示意图;

图23为本申请实施例中开始投屏示意图;

图24为本申请实施例中未开启wifi网络提示窗口示意图;

图25为本申请实施例中搜索界面示意图;

图26为本申请实施例中搜索结果示意图;

图27为本申请实施例中未搜索到可投屏设备的结果示意图;

图28为本申请实施例中投屏控制按钮示意图;

图29为本申请实施例中结束投屏时提示窗口示意图;

图30为本申请实施例中终端投屏选项示意图;

图31为本申请实施例中影视投屏窗口示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施例中的技术方案进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。

基于本申请中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等,意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此,本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外,在一个或多个实施例中,具体特征、结构或特性可以任何合适的方式进行组合。因此,在无限制的情形下,结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

本申请实施例中,所述虚拟现实设备500泛指能够佩戴于用户面部,为用户提供沉浸感体验的显示设备,包括但不限于VR眼镜、增强现实设备(Augmented Reality,AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述,应当理解的是,所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行,或者作为外接设备接入其他智能显示设备,其中,所述显示设备可以是智能电视、计算机、平板电脑、服务器等。

虚拟现实设备500可以在佩戴于用户面部后,显示媒资画面,为用户双眼提供近距离影像,以带来沉浸感体验。为了呈现媒资画面,虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例,虚拟现实设备500可以包括外壳、镜腿、光学系统、显示组件、姿态检测电路、接口电路等部件。实际应用中,光学系统、显示组件、姿态检测电路以及接口电路可以设置于外壳内,以用于呈现具体的显示画面;外壳两侧连接镜腿,以佩戴于用户面部。

在使用时,姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件,当用户头部移动或转动时,可以检测到用户的姿态,并将检测到的姿态数据传递给控制器等处理元件,使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。

需要说明的是,根据虚拟现实设备500的类型不同,其所呈现具体画面内容的方式也不同。例如,如图1所示,对于部分轻薄VR眼镜,其内置的控制器一般不直接参与显示内容的控制过程,而是将姿态数据发送给外接设备,如计算机中,由外接设备进行处理,并在外接设备中确定要显示的具体画面内容,再回传给VR眼镜中,以在VR眼镜中显示最终的画面。

在一些实施例中,所示虚拟现实设备500可以接入显示设备200,并与服务器400之间构建一个基于网络的显示系统,在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互,例如显示设备200可以从服务器400获取媒资数据并进行播放,以及将具体的画面内容传输给虚拟现实设备500中进行显示。

其中,显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

在进行数据交互的过程中,用户可通过移动终端100A和遥控器100B操作显示设备200。移动终端100A和遥控器100B可以与显示设备200之间采用直接的无线连接方式进行通信,也可以采用非直接连接的方式进行通信。即在一些实施例中,移动终端100A和遥控器100B可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时,移动终端100A和遥控器100B可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。

在另一些实施例中,移动终端100A和遥控器100B还可以通过无线路由器与显示设备200接入同一个无线网络,以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时,移动终端100A和遥控器100B可以将控制指令数据先发送给无线路由器,再通过无线路由器将控制指令数据转发给显示设备200。

在一些实施例中,用户还可以使用移动终端100A和遥控器100B还可以直接与虚拟现实设备500进行交互,例如,可以将移动终端100A和遥控器100B作为虚拟现实场景中的手柄进行使用,以实现体感交互等功能。

在一些实施例中,虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面,以及带来立体效果,显示组件中可以包括两个显示屏幕,分别对应于用户的左眼和右眼。在呈现3D效果时,左右两个屏幕中显示的画面内容会稍有不同,可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容,因此在佩戴时,可以观察到立体感较强的显示画面。

虚拟现实设备500中的光学系统,是由多个透镜组成的光学模组。光学系统设置在用户的双眼与显示屏幕之间,可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应,增加光程,使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时,为了适应不同用户的视力情况,光学系统还支持调焦,即通过调焦组件调整多个透镜中的一个或多个的位置,改变多个透镜之间的相互距离,从而改变光程,调整画面清晰度。

虚拟现实设备500的接口电路可以用于传递交互数据,除上述传递姿态数据和显示内容数据外,在实际应用中,虚拟现实设备500还可以通过接口电路连接其他显示设备或外设,以通过和连接设备之间进行数据交互,实现更为复杂的功能。例如,虚拟现实设备500可以通过接口电路连接显示设备,从而将所显示的画面实时输出至显示设备进行显示。又例如,虚拟现实设备500还可以通过接口电路连接手柄,手柄可以由用户手持操作,从而在VR用户界面中执行相关操作。

其中,所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如,用户界面可以包括全局界面,AR/VR终端启动后的全局UI如图2所示,所述全局UI可显示于AR/VR终端的显示屏幕中,也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。

推荐内容区域1用于配置不同分类TAB栏目;在所述栏目中可以选择配置媒资、专题等;所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务,并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。

在一些实施例中,推荐内容区域1的顶部还可以设置有状态栏,在状态栏中可以设置有多个显示控件,包括时间、网络连接状态、电量等常用选项。状态栏中包括的内容可以由用户自定义,例如,可以添加天气、用户头像等内容。状态栏中所包含的内容可以被用户选中,以执行相应的功能。例如,用户点击时间选项时,虚拟现实设备500可以在当前界面中显示时间设备窗口,或者跳转至日历界面。当用户点击网络连接状态选项时,虚拟现实设备500可以在当前界面显示WiFi列表,或者跳转至网络设置界面。

状态栏中显示的内容可以根据具体项目的设置状态呈现为不同的内容形式。例如,时间控件可以直接显示为具体的时间文字信息,并在不同的时间显示不同的文字;电量控件则可以根据虚拟现实设备500的当前电量剩余情况,显示为不同的图案样式。

状态栏用于使用户能够执行常用的控制操作,实现快速对虚拟现实设备500进行设置。由于对虚拟现实设备500的设置程序包括诸多项,因此在状态栏中通常不能将所有常用设置选项全部显示。为此,在一些实施例中,状态栏中还可以设置有扩展选项。扩展选项被选中后,可以在当前界面中呈现扩展窗口,在扩展窗口中可以进一步设置有多个设置选项,用于实现虚拟现实设备500的其他功能。

例如,在一些实施例中,扩展选项被选中后,可以在扩展窗口中设置“快捷中心”选项。用户在点击快捷中心选项后,虚拟现实设备500可以显示快捷中心窗口。快捷中心窗口中可以包括“截屏”、“录屏”以及“投屏”选项,用于分别唤醒相应的功能。

业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时,支持配置独立TAB,展示对应的页面内容。业务分类扩展区域2中的扩展分类,也可以对其进行排序调整及下线业务操作。在一些实施例中,业务分类扩展区域2可包括的内容:影视、教育、旅游、应用、我的。在一些实施例中,业务分类扩展区域2被配置为可展示大业务类别TAB,且支持配置更多的分类,其图标支持配置,如图3所示。

应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐,支持配置特殊图标样式替换默认图标,所述预装应用可指定为多个。在一些实施例中,应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件,用于选择不同的图标,如图4所示。

悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方,可配置为可替换形象、或配置为跳转链接。例如,悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页,如图5所示。在一些实施例中,悬浮物也可不配置跳转链接,单纯的用于形象展示。

在一些实施例中,全局UI还包括位于顶端的状态栏,用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄,即手持控制器选中图标后,图标将显示包括左右展开的文字提示,选中的图标按照位置自身进行左右拉伸展开显示。

例如,选中搜索图标后,搜索图标将显示包含文字“搜索”及原图标,进一步点击图标或文字后,搜索图标将跳转至搜索页面;又例如,点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。

在一些实施例中,可以通过外设执行交互,例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作,包括返回按钮;主页键,且其长按可实现重置功能;音量加减按钮;触摸区域,所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。

用户可以通过全局UI界面执行交互操作,并在部分交互模式下,跳转到特定的界面中。例如,为了实现对媒资数据的播放,用户可以通过在全局UI界面中点击任一媒资链接图标,启动播放该媒资链接对应的媒资文件并控制虚拟现实设备500跳转至媒资播放界面。

在跳转至特定的界面后,虚拟现实设备500还可以在播放界面的顶部显示状态栏,并依据设定的交互方式执行相应的设置功能。例如,如图6所示,在虚拟现实设备500播放视频媒资时,用户想要对媒资画面执行截屏操作时,可以通过点击状态栏上的扩展选项,调出扩展窗口,并在扩展窗口中点击快捷中心选项,使虚拟现实设备500在播放界面上显示快捷中心窗口如图7所示,最后点击扩展中心窗口中的“截屏”选项,使虚拟现实设备500可以执行截屏操作,对当前时刻的显示画面以图像方式进行存储。

其中,状态栏可以在虚拟现实设备500播放媒资画面时隐藏,以避免对媒资画面造成遮挡。而当用户执行特定交互动作时,触发显示。例如,在用户未使用手柄执行动作时,可以对状态栏进行隐藏,而在用户使用手柄执行动作时,显示状态栏。为此,虚拟现实设备500可以被配置为在播放媒资画面时对手柄中的方位传感器状态或者任一按钮的状态进行检测,当检测到方位传感器的检测值发生变化,或者按钮被按下时,可以控制在播放界面顶部显示状态栏。当检测到方位传感器在设定的时间内没有发生变化,或者按钮没有被按下,则控制在播放界面隐藏状态栏。

可见,上述实施例中,用户可以通过状态栏调出快捷中心,从而在快捷中心窗口中点击相应的选项来完成截屏、录屏以及投屏操作。快捷中心窗口还可以采用其他交互方式调用快捷中心,并显示快捷中心窗口。例如,如图8所示,用户可以通过双击手柄上的home键调用快捷中心窗口。

对于快捷中心窗口,还可以在窗口的部分区域显示说明信息,例如在窗口的右上角设置“快捷说明”选项。快捷说明选项用于控制在显示快捷中心窗口时,对快捷中心中的内容进行说明,实现对用户交互进行引导。

例如,如图9所示,在用户进入快捷中心窗口后,可以在窗口上方显示“手柄指向以下图标可查看相应说明”,用于指示用户选中快捷中心窗口中的任一图标。并且,在用户选择任一图标时,显示对应图标的说明内容。

如图10所示,当用户选择截屏图标时,可以在窗口上方显示截屏相关图形和文字描述,如显示截屏功能的操作方法,即显示文字内容为:“截屏说明,方法一:点击快捷中心的截屏按钮;方法二:同时点按确认键和音量+键”,用于提示用户如何完成截屏操作。

如图11所示,在用户选中录屏图标时,可以在窗口上方显示录屏相关图形和文字描述,如显示录屏功能的操作步骤,即显示文字内容为:“录屏说明,步骤一:点击快捷中心的录屏按钮开始录制;步骤二:再次点击录屏按钮结束录制并保存”。

如图12所示,在用户选中投屏图标时,可以在窗口上方显示投屏相关图形和文字描述,如显示投屏功能的操作步骤,即显示文字内容为:“投屏说明,步骤一:点击快捷中心的投屏按钮发起投屏;步骤二:选择投屏设备,实现投屏;步骤三:再次点击投屏按钮结束投屏”。

根据上述示例可知,上述快捷说明选项可以包括两种状态,一种是展开状态,以显示说明内容,另一种是收起状态,以隐藏说明内容。当处于展开状态时,可以在界面中显示提示文字,并根据用户的交互动作,改变提示文字内容。而当处于展开状态时,则不再显示提示文字。

由于快捷说明用于引导用户操作,因此在一些实施例中,可以根据用户是否首次调用快捷中心界面,设置初始的快捷说明状态。即,用户首次进入快捷中心时,默认快捷说明选项为展开状态,使得在用户第一次进入快捷中心时,能够显示说明内容;而在用户非首次进入快捷中心时,默认快捷说明选项为收起状态,即默认在用户往后的使用中,隐藏说明内容,以获得简约的UI交互界面风格。

用户可以在快捷中心窗口中选择任一图标后,启动相应的功能。其中,如何启动相应的功能,可以根据虚拟现实设备500的实际交互方式确定。例如,如图13所示,用户在调出快捷中心窗口后,可以通过手柄向下移动,使焦点标志移动至在快捷中心窗口的截屏选项上,再通过按下手柄上的“确认/OK”键,启动运行截屏功能。

在执行上述启动运行截屏功能以后,虚拟现实设备500可以调用截屏操作程序,并通过运行该截屏程序,对当前显示的画面执行截图。例如,虚拟现实设备500可以通过运行截屏程序,对所有图层的显示内容进行叠加合成,以生成当前显示图案的图片文件。针对生成的图片文件,还可以按照预先设定存储路径进行存储。

由于虚拟现实设备500包括两个显示器,分别对应于用户的左右眼。而在显示部分媒资画面时,为了获得立体的观影效果,两个显示器显示的内容分别对应于3D场景中的左右相机,即在两个显示器中所显示的画面有些许差异。从而在执行截屏操作时,不同的屏幕可以获得不同内容的截屏图片。

为此,虚拟现实设备500可以在执行截屏时,对截屏时刻显示的画面形式进行检测,当检测到用户使用3D模式时,可以对左显示器和右显示器所显示的画面分别执行截屏,即通过一次截屏操作输出两个截屏图片。而由于3D模式下左右两个显示器所显示的内容差异较小,部分用户并不需要2个截屏图片,因此为了节约虚拟现实设备500的存储空间,在部分实施例中,还可以在执行截屏操作时,通过截屏程序指定对两个显示器中的一个显示内容执行截屏,例如指定对左显示器显示的内容执行截屏,从而获得一个截屏图片,并进行存储。

在完成截屏图片的存储后,虚拟现实设备500还可以在显示的界面中显示提示内容,例如,如图14所示,可以在播放界面上浮动显示提示文本窗口(toast窗口),包括文字内容“截屏成功,已保存至××”,其中“××”为具体的保存路径。显然,提示文本窗口会在显示一定时间后自动取消显示,以避免其对播放界面的过度遮挡,如截屏成功后显示提示文本窗口,并在显示2s后消失。

并且,提示文本窗口还可以按照截屏图片的保存进程动态更改具体的提示文字内容。例如,在用户确定执行截屏功能操作后,通过提示文本窗口显示“截屏成功正在保存截屏图片”,而在保存完成后,再通过提示文本窗口显示“已保存至××”。

需要说明的是,由于用户在执行截屏操作时,一般不希望截屏图像中包含快捷中心界面,因此为了能够截取播放的媒资内容,在用户点击截屏图标以后,可以对快捷中心窗口进行隐藏。

在一些实施例中,还可以在截屏操作完成后,在播放界面上显示截屏结果,即在播放界面的上层浮动显示展示窗口,展示窗口中呈现截屏图片,以供用户查看。进一步地,在呈现截屏图片的过程中,还可以在展示窗口中显示一些图形工具选项,例如,画线工具、椭圆工具、矩形工具、文字工具等,用户可以通过点击这些工具对截屏图片进行遮挡、标注、裁切等处理,以输出更好的截屏图片结果。

可见,在上述实施例中,虚拟现实设备500可以通过快捷中心窗口或者快捷键快速执行截屏操作,以便根据虚拟现实设备500显示的内容保存截屏图片。根据不同的应用场景,截屏操作的截屏对象也可以不同。例如,虚拟现实设备500可以对显示器中显示的内容进行截图,也可以对渲染场景中的部分区域截屏。

在播放媒资时,虚拟现实设备500可以对媒资画面进行渲染,即在渲染场景中设置显示面板,用于呈现媒资画面内容,再通过添加座椅、音响等虚拟物体,构成虚拟场景,以便将虚拟场景进行拍摄,输出至虚拟现实设备500的显示器模拟影院、家庭等效果。此时,如果虚拟现实设备500对显示内容进行截屏,则截屏获得的图片中,不仅包括媒资画面,而且包括渲染的虚拟物体画面,即输出的截屏图片可以是整个显示器中显示的画面内容。

虚拟现实设备500还可以对渲染场景中的显示面板呈现的画面进行截屏,即可以仅对媒资画面内容进行截屏。具体的截屏方法可以是在对渲染场景中的显示面板画面区域执行截屏操作,或者虚拟现实设备500在解析媒资数据后,直接对媒资画面内容进行复制,从而获得不带有渲染的虚拟物体的画面。

在一些实施例中,虚拟现实设备500还可以对渲染场景中部分区域执行截屏,例如,可以在用户佩戴虚拟现实设备500活动至任一视角时,对当前视角下的显示面板区域和/或附近的画面内容执行截屏,从而获得重点区域或用户设置区域内的截屏画面内容。

在一些实施例中,截屏操作还可以针对向显示器上展示的内容进行截图,并且为了获得截屏结果更好的展示效果,在截屏过程中,还可以预先去掉非重要区域,保留用户关注的区域,从而获得宽高比符合虚拟现实设备500显示的图片规格。

例如,在用户通过上述快捷中心或者其他交互方式输入截屏操作指令并触发截屏事件后,虚拟现实设备500可以获取左眼虚拟相机(Camera)当前要渲染的待渲染图像信息(RenderTexture),并读取RenderTexture图像的宽度W和高度H。

通过计算RenderTexture的宽度的9/16为H1,即H1=W9/16。若H1小于高度H,则RenderTexture图像宽高比小于16/9,需要对RenderTexture图像的高度进行裁剪,以生成宽度为W,高度为H1的Texture,通过计算可知,裁剪区域左上角的起始点为(H-H1)/2;若H1不小于H,说明RenderTexture的宽高比大于等于16/9,此时不需要对高度进行裁剪,直接生成宽度为W,高度为H的Texture。经过裁剪后,将RenderTexture的像素信息输出到Texture中,从而使Texture按照jpg的编码输出到byte数组,得到截屏图像。

可见,在上述实施例中,虚拟现实设备500在执行截屏相关操作时,可以根据不同的用户需要获得渲染场景画面中的部分区域作为截屏的重点区域。从而使截取的图像不是完全的对屏幕上显示的内容进行保存,而是对显示的内容进行抠取保存,并且对图像按照特定的比例从中心位置抠取,能够保证图片的宽高比和常规图片的宽高比保持一致,使用户在通过其他图片播放器展示截屏图片时,获得更好的显示效果。

在一些实施例中,为了提高截屏结果的画面质量,还可以在渲染场景中设置一个专门用于截图的虚拟相机,该虚拟相机可以设置为只针对用户关心区域进行拍摄,以获得目标纹理图像(TargetTexture),并且能够输出到RenderTexture中。可以根据用户选择的图片分辨率输出截屏图像,从而获得特定区域内的图像。该虚拟相机在不截图时,默认是关闭的。

例如,在用户通过上述快捷中心或者其他交互方式输入截屏操作指令,并触发截屏事件后,虚拟现实设备500可以显示清晰度选择界面,以供用户选择保存图片的清晰度(包括:普通、高清和超高清)。虚拟现实设备500再根据用户选择的清晰度,设置用于截屏的虚拟相机对应RenderTexture图像的宽度和高度。如用户选择的图片为高清,则将RenderTexture图像的Size设置成1920*1080。

经过上述设置后,虚拟现实设备500通过继续运行截屏相关程序指令,将截图的Camera打开。将Camera的目标纹理图像(TargetTexture)输出到RenderTexture中,并将RenderTexture按照PNG的编码输出到byte数组,得到截屏图像。

可见,在上述实施例中,虚拟现实设备500可以在渲染场景中,设置只截取红框用户关心区域的虚拟相机,并使用该虚拟相机完成截屏,使获得的截屏结果在使用虚拟现实设备500观看时,沉浸感更强烈,并且在保存图片时可以设置图片的清晰度,从而满足不同用户的截屏画面要求。

为了满足截屏结果在不同设备上进行显示,在一些实施例中,还可以在渲染场景中设置多个数量的虚拟相机,并设置多个相机之间的相互位置关系,从而在执行截屏操作时,可以通过多个虚拟相机获得多个角度位置上的图像画面,即中间图像。再通过将多个角度上的中间图像进行拼接,从而输出不同图像类型,用于在不同的设备上展示截屏图像。

例如,可以在虚拟现实设备500的渲染场景(Unity 3D场景)中放置3个虚拟相机,依次为LeftCamera、RightCamera和CenterCamera。其中,LeftCamera放置在左侧,模拟用户的左眼;RightCamera放置在右侧,模拟用户的右眼;CenterCamera放在LeftCamera、RightCamera中间位置,三个Camera垂直方向均维持在居中角度。

当用户通过快捷中心窗口或按组合键触发截屏操作后,虚拟现实设备500可以将CenterCamera渲染出的画面,保存为2D截图。将LeftCamera和RightCamera渲染出的画面LeftImage(w*h)、RightImage(w*h),组合成一幅图,如输出图的左侧为LeftImage,输出图的右侧为RightImage,并保存为3D截图。

还可以在Unity 3D场景中放置4个相机,依次为LeftCamera、RightCamera、FrontCamera、BackCamera。其中,LeftCamera面朝左侧方向、RightCamera面朝右侧方向、FrontCamera面朝前方、BackCamera面朝后方。当用户触发截屏操作后,虚拟现实设备500将LeftCamera、RightCamera、FrontCamera、BackCamera渲染出的四个画面,进行拼接生成全景图,并保存为360全景截图。

由以上实施例可知,通过在渲染场景中设置多个虚拟相机,可以使虚拟现实设备500输出的截屏结果能够支持2D图片、3D图片以及360全景图片等模式进行播放,用以提高用户体验。

上述虚拟现实设备500截屏获得的图像可以支持在多种设备上进行展示,并获得较好的显示效果。显然,虚拟现实设备500还可以作为截屏图像的展示设备,即在虚拟现实设备500的显示器上显示本虚拟现实设备或其他虚拟现实设备截屏操作获得的截屏结果。在一些实施例中,在显示虚拟现实设备截屏获得的截屏图像时,虚拟现实设备500还可以根据截图所在的场景效果来创建图片播放器模型,从而将截图完整的呈现在播放器上。

例如,可以根据虚拟现实设备500的视场角(field angle of view,FOV)创建播放器模型,再将播放器模型导入到unity 3D引擎中。当获取截屏图像后,选择创建的播放器模型,并将截屏图像在该播放器模型上展示。在展示的过程中,可以在平面的截屏图像与球面的播放器模型之间执行纹理映射,将平面纹理映射到球面上,从而在渲染场景中还原截屏时的场景。

可见,上述实施例可以根据截图时Camera呈现的3D效果创建相对应的图片播放器模型,当截取的图片在该播放器上播放时,可以将图片呈现在用户的整个视野中,获得与截图场景相同的效果。

对于录屏功能,如图15所示,用户可以通过在快捷中心窗口中选择“录屏”图标,以控制虚拟现实设备500启动录屏功能。在启动录屏功能以后,虚拟现实设备500可以对所显示的画面内容逐帧进行保存,以输出视频文件。具体的录屏范围也可以根据不同的使用场景设定。

例如,对于媒资播放过程,用户可以选择仅对播放的媒资画面执行录屏,或者对整个显示内容执行录屏。对于仅对播放的媒资画面执行录屏的情形,虚拟现实设备500可以通过获取未经过渲染引擎渲染3D场景的媒资数据(即解析视频文件获得的数据),并将其复制,以输出录屏结果。而对于整个显示内容执行录屏的情形,虚拟现实设备500可以对显示器显示的最终画面逐帧进行截屏,以获得多个连续的截屏图像,从而形成视频文件,输出录屏结果。

为了表示当前虚拟现实设备500正在执行录屏操作,在启动录屏功能后,虚拟现实设备500可以在播放界面中显示录屏相关的提示内容。例如,如图16所示,可以在播放界面的右上角区域显示一个常驻的录制符号,该录制符号可以由可闪烁的圆点和时间框组成,当执行录制功能时,圆点通过闪烁来提醒用户正在进行录屏,时间框可以记录录屏获得的视频时长。

需要说明的是,对于录制符号,可以选择是否添加在录屏结果文件中。当选择添加在视频文件中时,可以在录屏视频的右上角区域也显示录制符号,用于标注视频播放进程。当选择不添加在录屏结果文件中时,则在录屏视频中不会带有录制符号。显然,这两种方式在屏幕录制的过程中,需要执行不同的录制程序。即添加录制符号时,虚拟现实设备500需要对所有图层内容叠加结果进行逐帧截取;而不添加录制符号时,虚拟现实设备500不对最顶层的图层执行屏幕截取,而是对最顶层以下的其他图层内容叠加结果进行逐帧截取。

在一些实施例中,执行录屏操作时虚拟现实设备500还可以在当前界面中显示文字提示窗口(toast),用于提示用户当前已开始录屏或引导用户执行录屏相关的交互操作。例如,显示的文字提示窗口中可以包括文字内容为“已开始屏幕录制”、“再次点击录屏按钮结束录制”等。同理,为了避免文字提示窗口影响屏幕录制过程,文字提示窗口可以在显示后的预设时间内停止显示。例如,toast显示2s后消失,同时显示常驻录制符号,并开始计时。

为了实现对录屏过程的控制,虚拟现实设备500可以在执行屏幕录制的过程中,显示录屏按钮,用于控制录屏的开始、暂停以及结束。如图17所示,录屏按钮可以由图标图案和提示文字组成,其中图标图案可以通过摄像机图案的简约示意图形表示录屏功能,图标图案可以随着不同的操作过程呈现为不同的形状,而提示文字可以随着不同的操作过程呈现为不同的文字内容。

例如,未开始录屏时,图标图案由一个摄像机简图和一个圆点图案组成,以用于表示当前录屏按钮功能为开始录屏,相应的提示文字为“开始录屏”。在用户点击该按钮时,控制虚拟现实设备500开始录屏。用户点击录屏按钮开始录屏后,录屏按钮的图标中的圆点可以变更为闪烁状态,以表示当前正在进行屏幕录制,相应的提示文字为“录屏中”。当用户再次点击录屏按钮后,虚拟现实设备500可以停止屏幕录制,此时录屏按钮中的圆点可以替换为双竖线,用于表示停止录制,相应的提示文字为“结束录制”。

用户点击结束录制功能的按钮后,虚拟现实设备500可以对录屏获得的视频文件进行保存。如图18所示,在一些实施例中,视频文件保存完成后,还可以通过提示文字窗口(toast)显示保存结果,如“录屏结束,已保存至××”,用于提示用户已完成屏幕录制。同理,提示文字窗口也可以在显示预设实现后取消显示,例如,toast显示2s后消失。

由于视频文件的数据量较大,需要占用较大的存储空间。因此,虚拟现实设备500在进行屏幕录制的过程中,通常是对视频数据流进行实时存储,即在进行屏幕录制的同时保存录屏获得的视频流,并在结束录屏后形成录屏文件。因此,为了能够最终生成录屏文件,虚拟现实设备500在执行录屏功能的过程中,还可以对剩余的存储空间进行检测,当检测到剩余的存储空间不足时,可以停止屏幕录制,并通过提示窗口提示用户。

即如图19所示,在一些实施例中,当检测到剩余存储空间不足时,可以显示存储空间的提示窗口。在提示窗口中,可以包括文字提示内容,如“存储空间不足,当前存储已满,请立即清理”的提示文字。

提示窗口中还可以设有控制选项,例如“前往清理”选项和“取消”选项。当用户点击“取消”选项时,虚拟现实设备500可以仅停止录屏,并将录屏文件进行保存。当用户点击“前往清理”选项时,虚拟现实设备500可以在保存录屏文件的同时,跳转至文件管理界面或者安全中心界面,以便用户可以在对应的界面中,执行文件转移、删除等操作,以增加剩余空间。

在一些实施例中,如果虚拟现实设备500是在录屏过程中跳转至文件管理界面,则用户可以通过返回操作快速返回至之前的界面,以便于继续进行屏幕录制。例如,用户在媒资播放界面执行录屏操作的过程中,虚拟现实设备500检测到剩余存储空间不足时,显示提示界面。用户通过点击提示界面中的“前往清理”,使虚拟现实设备500跳转至文件管理器界面。用户可以在文件管理器界面中选择部分文件删除,增加剩余存储空间。再按下手柄上的返回键,控制虚拟现实设备500跳转回媒资播放界面,以便用户继续执行录屏操作。

需要说明的是,因存储过程中需要一定的存储空间余量,才能保证顺利运行。因此虚拟现实设备500可以在检测剩余空间时,按照设定的剩余空间阈值触发上述控制过程。例如,如图20所示,当检测到剩余存储空间不足总存储容量的5%时,停止录屏并显示提示界面,以利用剩余的5%容量来完成录屏视频文件的生成和保存。

在一些实施例中,虚拟现实设备500在执行录屏操作时还可以对剩余电量进行检测,从而在剩余电量不足时,中断录屏操作,并显示电量提示窗口。例如,如图21所示,电量提示窗口中可以显示文字“电量不足,当前电量不足5%,录屏中断,请立即充电”。显然,在中断录屏操作后,虚拟现实设备500可以自动将已经生成的录屏结果进行保存,以形成视频文件。

由于电量过低将有可能导致录屏获得的视频文件无法及时保存,因此在虚拟现实设备500执行录屏程序前,还可以设置电量检测程序,对虚拟现实设备500的剩余电量进行检测。当剩余电量过低时,可以限制执行录屏程序,并通过电量提示窗口提示用户及时充电。例如,如图22所示,在用户点击快捷中心的录屏选项后,虚拟现实设备500可以检测自身剩余电量。当剩余电量小于或等于5%时,显示电量提示窗口,包括提示文字内容为“当前电量不足5%,无法录制视频,请立即充电”,以此来保证录屏结果得以正常生成和存储。

需要说明的是,虚拟现实设备500在执行录屏操作时,还有可能因其他问题导致录屏操作中断,例如,硬件故障、网络连接异常、片源异常等。在出现这些异常状况时,也可以在当前界面中显示对应的提示窗口,并且在提示窗口中通过文字、图形等对异常状态进行展示,并且在显示提示窗口的同时,对已经录屏获得的视频数据进行存储。

在一些实施例中,如图23所示,当用户在快捷中心窗口选中“投屏”选项时,虚拟现实设备500可以启动运行投屏功能。投屏功能是将虚拟现实设备500所显示的内容全部或部分同步到智能电视等显示设备200上进行显示。根据投屏协议的不同,投屏功能的数据传递方式以及具体的投屏内容也存在差异。

例如,当用户选择向显示设备200同步媒资数据时,虚拟现实设备500可以在接收到用户在投屏选项上的确认交互动作以后,向显示设备200发送当前媒资链接地址(URL信息),以使显示设备200可以访问该媒资链接地址,获得媒资数据并进行播放。当用户选择向显示设备200同步显示数据时,则在接收到确认交互动作后,通过录屏获得显示内容数据,并向显示设备200发送显示内容数据,以使显示设备200能够与虚拟现实设备500显示相同的内容。

投屏过程中,虚拟现实设备500需要与显示设备200处于相同的网络环境内,例如连接同一个WiFi网络,以使虚拟现实设备500可以向显示设备200发送媒资数据或显示数据等投屏数据。因此,在一些实施例中,在用户点击投屏功能图标以后,虚拟现实设备500会对自身的网络状态进行检测,确定是否开启wifi网络功能。

当检测到虚拟现实设备500没有开启wifi网络功能时,可以在当前界面中显示提示窗口,以通知用户开启wifi网络功能。例如,如图24所示,可以在提示窗口中显示文字内容为“未开启wifi网络,请前往设置,开启wifi网络并连接”。在提示文字下方还可以设置有两个按钮控件,即“取消”和“前往设置”按钮。

用户可以通过点击按钮控件执行相应的交互,如果用户点击“取消”按钮,则可以关闭投屏功能,并取消显示提示窗口;如果用户点击“前往设置”按钮,则可以跳转至网络设置界面,以便用户执行网络设置。即打开wifi网络功能开关,以及连接显示设备200所在的wifi网络。

当检测到虚拟现实设备500已开启wifi网络功能,则可以对当前网络中可连接的设备进行搜索,以便虚拟现实设备500能够发现显示设备200并建立无线网络连接。由于设备搜索需要消耗一定的时间,因此在执行设备搜索的过程中,虚拟现实设备500还可以在当前界面中显示搜索提示窗口,用于指示用户当前正在运行搜索功能。例如,如图25所示,可以在搜索提示窗口中显示文字“正在搜索可投屏设备……”。

为了获得更好的用户体验,还可以在搜索提示窗口中显示雷达形状的图形或动态图案。由于虚拟现实设备500和显示设备200之间可以通过不同的投屏方式传递投屏数据,因此在执行投屏过程中,还可以对当前投屏方式进行展示。例如,可以在搜索提示界面中显示当前投屏协议,即显示文字“采用Miracast协议投屏”。

同时,用户还可以通过搜索提示窗口对搜索过程进行控制,因此可以在搜索提示界面中添加控制按钮,如“重新搜索”按钮控件。虚拟现实设备500可以在用户点击“重新搜索”按钮时,再次对当前wifi网络中的可投屏设备进行搜索。

在执行搜索后,虚拟现实设备500还可以在当前界面中显示搜索结果窗口。如图26所示,在搜索结果窗口中可以包括可投屏设备列表,用户可以通过点击任一可投屏设备,控制虚拟现实设备500与该设备建立投屏连接。即虚拟现实设备500可以通过wifi网络,向显示设备200发送投屏连接请求,并在显示设备200回应后,按照投屏协议建立投屏数据通道。

如图27所示,如果虚拟现实设备500位搜索到可投屏设备,则可以在搜索结果窗口中显示文字“未搜索到可投屏设备”,并在搜索结果窗口中设置重新搜索按钮,以便用户再次执行搜索。由于投屏连接需要建立在同一个wifi网络环境中,因此在搜索提示窗口和搜索结果窗口中,还可以对wifi网络进行显示,例如,在窗口的底部显示“当前WiFi为‘Hisense’,请保持投屏设备与VR一体机在同一网络下”。

另外,在显示扫描结果窗口的过程中,可以按照预设的周期再次执行设备扫描,以保证搜索窗口中展示的设备维持在最新状态,便于完成连接。还可以在搜索结果窗口中设置手动搜索按钮,用户可以通过点击手动搜索按钮,执行重新搜索,以刷新可投屏设备列表。

当虚拟现实设备500开始投屏后,还可以自动返回至原界面。如图28所示,在显示原界面的过程中,虚拟现实设备500可以在界面中显示投屏控制按钮。投屏控制按钮维持Hover状态显示在当前界面的顶层,可供用户点击。

开始投屏后,投屏控制按钮的功能为结束投屏,即用户点击投屏控制按钮时,可以停止向显示设备200发送投屏数据,以结束投屏。显然,在用户点击投屏控制按钮后,虚拟现实设备500还可以通过对话框提示用户确认退出投屏。例如,如图29所示,通过确认窗口显示文字“是否结束投屏”,并显示“结束”和“取消”两个按钮,用户点击结束按钮时,则控制退出投屏;而当用户点击取消按钮时,则继续进行投屏。

在一些实施例中,在结束投屏后,虚拟现实设备500还可以在当前界面中将投屏控制按钮保持一段时间,同时设定此时的投屏控制按钮功能为开始投屏。如果用户再次点击投屏控制按钮,可以继续投屏,从而减少在连续多次投屏时重复搜索次数,提高投屏效率。

在一些实施例中,虚拟现实设备500还可以与智能终端建立投屏关系,并接收其他智能终端发送的投屏数据,以通过虚拟现实设备500进行显示。因此,虚拟现实设备500还可在快捷中心设置终端投屏选项,如图30所示,当用户点击该选项以后,可以控制虚拟现实设备500在建立投屏连接时作为投屏数据的接收端。

为此,在用户点击终端投屏选项以后,可以在虚拟现实设备500中显示投屏引导界面,以帮助用户完成终端投屏功能。例如,如图31所示,在投屏引导界面中,可以显示终端投屏步骤,即包括文字内容:“1.手机与VR设备连接相同网络;2.在手机打开视频APP,选择一个视频点击右上角TV按钮;3.选择投屏的VR设备,完成投屏”。用户可以按照投屏引导界面中显示的操作步骤,在手机等智能终端设备上执行相应的操作,从而向虚拟现实设备500发送投屏数据。

本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

相关技术
  • 一种虚拟现实设备及快捷交互方法
  • 虚拟现实交互系统与方法、计算机设备、可读存储介质及虚拟现实交互装置
技术分类

06120112686427