虚拟现实内容生成方法、装置及计算机可读存储介质

技术领域

本发明是有关于虚拟现实，尤其涉及一种虚拟现实内容生成方法、装置及计算机可读存储介质。

背景技术

用于虚拟现实内容的编辑软件通常昂贵且复杂，且软件的操作者通常需要具有计算机图像的专业知识。换句话说，终端使用者并无法参与虚拟现实内容的生成，影响了使用者体验。

发明内容

有鉴于此，本发明的目的在于提供一种虚拟现实内容生成方法、装置及计算机可读存储介质，可以提供使用者经由语音输入生成虚拟现实内容。

本发明一实施例提供一种虚拟现实内容生成方法，应用于头戴式装置中，所述方法包括：接收使用者的语音输入；对输入的语音对应的文本进行语义分析，获取多个分词的语义及词性；根据所述多个分词的语义及词性，从虚拟图像数据库搜寻并筛选取得与多个分词相关的多个虚拟图样对象；根据所述多个分词的语义及词性，结合所述多个虚拟图像对象，构建虚拟现实内容片段。

本发明一实施例还提供了一种用于虚拟现实内容生成的装置，所述装置为头戴式装置，所述装置包括处理器和存储器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令实现所述的虚拟现实内容生成方法。

本发明一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的虚拟现实内容生成方法。

相较于现有技术，本发明提供的虚拟现实内容生成方法、装置及计算机可读存储介质，可以让头戴式装置的使用者经由语音输入即可生成虚拟现实内容。

附图说明

图1为根据本发明一实施例的虚拟现实内容生成方法的应用环境架构图。

图2为根据本发明另一实施例的虚拟现实内容生成方法的应用环境架构图。

图3为根据本发明一实施例的虚拟现实内容生成方法的流程图。

图4为根据本发明一实施例的虚拟现实内容生成后的处理流程图。

图5为根据本发明一实施例的根据语音输入构建虚拟对象及场景的流程图。

图6为根据本发明一实施例的虚拟现实内容生成装置中主头戴式装置的方块图。

图7为根据本发明一实施例的虚拟现实内容生成装置中从头戴式装置的方块图。

主要元件符号说明

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于本发明技术领域的技术人员理解和实施本发明，下面结合附图与实施例对本发明进一步的详细描述，应当理解，本发明提供许多可供应用的发明概念，其可以多种特定型式实施。本发明技术领域的技术人员可利用这些实施例或其他实施例所描述的细节及其他可以利用的结构，逻辑和电性变化，在没有离开本发明的精神与范围之下以实施发明。

本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各组件的配置是为说明之用，并非用以限制本发明。且实施例中图式标号的部分重复，是为了简化说明，并非意指不同实施例之间的关联性。其中，图示和说明书中使用的相同的组件编号表示相同或类似的组件。本说明书的图示为简化的形式且并未以精确比例绘制。

再者，在说明本发明一些实施例中，说明书以特定步骤顺序说明本发明的方法以及(或)程序。然而，由于方法以及程序并未必然根据所述的特定步骤顺序实施，因此并未受限于所述的特定步骤顺序。本发明技术领域的技术人员可知其他顺序也为可能的实施方式。因此，于说明书所述的特定步骤顺序并未用来限定申请专利范围。再者，本发明针对方法以及(或)程序的申请专利范围并未受限于其撰写的执行步骤顺序，且本发明技术领域的技术人员可了解调整执行步骤顺序并未跳脱本发明的精神以及范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。下面结合附图，对本发明的一些实施方式作详细说明。

请参阅图1，所示为本发明一实施例的虚拟现实内容生成方法的应用环境架构图。如图1所示，所述虚拟现实内容生成方法可以应用在多个头戴式装置中，其中，所述多个头戴式装置包括一台主头戴式装置110和至少一台从头戴式装置120，形成主从式头戴式装置的部署系统。所述多个头戴式装置可以包括但不限于基于虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Realtiy，MR)等技术的头戴式装置。所述主头戴式装置110以及所述从头戴式装置120可以通过有线或无线通信连接到网络130。网络130可以包括通信网路。所述通信网路可以包括计算机网络，例如，局域网(LocalArea Network，LAN)或广域网(Wide Area Network，WAN)、互联网和/或电话网络等，或其几种的组合。主头戴式装置110和从头戴式装置120可以经由网络130相互传递信息。需要说明的是，图1仅是为了方便说明而举出的范例，在其他实施例中，多个头戴式装置可以包括两个以上的主头戴式装置110和/或两个以上的从头戴式装置120。

在一实施例中，主头戴式装置110和从头戴式装置120可以是相同或不同类型的头戴式装置。

在一实施例中，在主头戴式装置110或从头戴式装置120执行的部分或全部操作可以在另一个设备(例如，电子设备)中执行。例如，使用者可能拥有各种电子设备，例如桌面计算机、笔记本电脑、智能手机、智能平板以及可穿戴式装置(例如，智能手表或智能眼镜)，使用者可通过近程网络(例如，射频识别、近场通信、蓝芽等)将头戴式装置和电子设备进行配对，使得配对成功的电子设备可以执行头戴式装置的部分或全部操作。如图2所示，主头戴式装置110和从头戴式装置120分别和电子设备141、电子设备142进行配对，并藉由所述电子设备141、电子设备142通信连接网络130相互传递信息。

请参阅图3，所示为本发明一实施例的虚拟现实内容生成方法，可以应用在所述主头戴式装置110或所述从头戴式装置120。如图3所示，所述虚拟现实内容生成方法具体包括以下步骤，根据不同的需求，该流程图中的步骤的顺序可以改变，某些步骤可以省略。

步骤S302，接收使用者的语音输入。在一实施例中，语音可以经由麦克风或其他类型的音频换能器接收。

步骤S304，对使用者输入语音对应的文本进行语义分析，获取多个分词的语义及词性。

在一实施例中，可以将使用者输入的语音数据上传至语音服务器进行语音识别，获取使用者输入语音对应的文本。对使用者输入语音对应的文本进行语义分析，具体地，语义分析包括经由预先存储的分词系统对文本进行分词处理，得到多个分词。在一实施例中，当使用者输入的语音为汉语时，可以使用预设的汉语词法分析系统，例如NLPIR对使用者输入语音对应的文本进行分词；当使用者输入的语音为其它语言时，可以使用该语言对应的分词系统进行分词，在此不再一一赘述。

在另一实施例中，语义分析可以包括利用自然语言识别算法将使用者输入的语音数据处理成多个分词。其中，自然语言识别算法可以包括机器学期语言处理方法、统计/概率语言模型、判定树语言模型或其他类型的自然语言处理方法。

分析获取多个分词的语义同时，可以进一步获取多个分词的词性，其中，词性包括主词、名词、代名词、形容词、动词、副词、分词、介词、连接词与感叹词等。

步骤S306，根据语义分析结果搜寻取得多个虚拟图像对象，构建虚拟现实内容片段。

在一实施例中，根据语义分析结果获取的多个分词的语义及词性，从虚拟图像数据库中搜寻并筛选得到与多个分词相关的多个虚拟图像对象。在本实施例中，若在本地虚拟图像数据库中搜寻不到与多个分词相关的多个虚拟图像对象，则自动连接至云端虚拟图像数据库搜寻并筛选。

根据多个分词的语义及词性，结合取得的多个虚拟图像对象，构建虚拟现实内容片段。具体流程步骤可进一步参考图5。

步骤S308，当经过预设时长(例如，3秒)未接收到使用者的语音输入时，将所述虚拟现实内容片段并显示于显示屏幕，供使用者预览。

步骤S310，经由使用者界面提示使用者反馈是否需要修改，并接收使用者的选择输入。当使用者选择需要修改时，重新回到步骤S302，根据接收到的使用者语音输入，修改所述虚拟现实内容片段；当使用者选择不需要修改时，继续执行步骤S312。

在一实施例中，所述使用者界面为图形化使用者界面。在另一实施例中，经由使用者界面提示的步骤还可以包括输出语音提示信息、提示音及闪烁光，以引起使用者注意。在另一实施例中，头戴式装置还可以经由传感单元接收使用者的控制输入，例如，点头代表是、摇头代表否。

步骤S312，经由使用者界面提示使用者反馈是否编辑完成，并接收使用者的选择输入。当使用者选择尚未编辑完成时，执行步骤S314，暂存所述虚拟现实内容片段，并继续步骤S302，根据接收到的使用者语音输入，生成其它虚拟现实内容片段；当使用者选择编辑完成时，执行步骤S316，获取所有暂存的虚拟现实内容片段，拼接生成虚拟现实内容。

在一实施例中，根据使用者使用的头戴式装置为主头戴式装置或从头戴式装置，对生成的虚拟现实内容采取不同的后续处理。如图4所示，所述虚拟现实内容生成后的处理方法具体包括以下步骤，根据不同的需求，该流程图中的步骤的顺序可以改变，某些步骤可以省略。

步骤S402，判断自身是否为主头戴式装置，若自身是主头戴式装置，执行步骤S404；若自身是从头戴式装置，执行步骤S412。

步骤S404，经由使用者界面提示使用者反馈是否上传所述虚拟现实内容至云端平台。当使用者选择上传时，执行步骤S406，当使用者选择不上传时，执行步骤S408。

步骤S406，上传所述虚拟现实内容至云端平台。所述云端平台中存储的虚拟现实内容可供主头戴式装置及从头戴式装置下载。

步骤S408，经由使用者界面提示使用者反馈是否将所述虚拟现实内容显示于从头戴式装置的显示屏幕。当使用者选择将所述虚拟现实内容显示于从头戴式装置的显示屏幕时，执行步骤S410，传送所述虚拟现实内容置所述从头戴式装置；当使用者选择不将所述虚拟现实内容显示于从头戴式装置的显示屏幕时，结束处理流程。

需要说明的是，当主头戴式装置发现有多个从头戴式装置同时存在时，经由使用者界面提示使用者进一步从多个从头戴式装置中选择传送虚拟现实内容的目标从头戴式装置。

步骤S412，当自身是从头戴式装置时，将生成的虚拟现实内容传送至主头戴式装置进行内容审核。

在一实施例中，主头戴式装置在接收到从头戴式装置的虚拟现实内容后，经由使用者界面提示主头戴式装置的使用者对所述虚拟现实内容进行审核。当所述虚拟现实内容审核通过时，主头戴式装置的使用者可以经由使用者界面决定所述虚拟现实内容上传至云端平台及/或传送至目标从头戴式装置进行显示；当所述虚拟现实内容审核未通过时，放弃该虚拟现实内容，不进行任何处理。

在一实施例中，所述云端虚拟图像数据库、云端平台可以是位于同一服务器，也可以是位于不同的服务器。

请参阅图5，所示为本发明一实施例的虚拟现实内容生成方法中根据语音输入的语义分析结果构建虚拟对象及场景的方法流程，具体包括以下步骤，根据不同的需求，该流程图中的步骤的顺序可以改变，某些步骤可以省略。

步骤S502，根据多个分词的语义及词性，取得主词信息。

步骤S504，根据多个分词的语义及词性，取得与所述主词相关的形容词信息。

步骤S506，根据多个分词的语义及词性，取得与主词相关的副词信息。

步骤S508，根据多个分词的语义及词性，取得与主词相关的动词信息。

步骤S510，根据主词信息，与主词相关的形容词信息、副词信息以及动词信息从虚拟图像数据库搜寻并取得与主词对应的虚拟图像对象。

在一实施例中，首先于本地虚拟图像数据库中搜寻与主词对应的虚拟图像对象，若在本地虚拟图像数据库中搜寻不到与主词对应的虚拟图像对象，则自动从云端虚拟图像数据库中搜寻并取得与主词对应的虚拟图像对象。

在一实施例中，所述虚拟图像数据库包括分级内容，可以用于分级内容搜寻。其中，分级内容可以以有无包含敏感性内容进行区分，区分为一般性内容及敏感性内容。在一例中，敏感性内容包含恐怖、血腥、性暗示等类型的虚拟图像对象。

在一实施例中，根据语义分析结果获取的多个分词的词义及词性，判断是否于所述虚拟图像数据库进行分级内容搜寻。

例如，当使用者的语音输入为“亲爱的小朋友们，老师现在要讲一个关于可爱小恐龙的勇敢冒险故事”，则经由语义分析可以判断需进行分级内容搜寻。

步骤S512，经由使用者界面，提示使用者反馈确认搜寻到的虚拟图像对象是否符合需求。当使用者反馈确认搜寻到的虚拟图像对象符合需求时，继续执行步骤S514；当使用者反馈确认搜寻到的虚拟图像对象不符合需求时，返回步骤S510，继续搜寻并取得新的虚拟图像对象。

步骤S514，综合多个分词中除主词外的分词的语义及词性，决定所述主词对应的虚拟图像对象的呈现效果、场景对象及场景效果，构建虚拟现实内容片段。

以下说明为应用例。

当使用者语音输入为“在远古侏罗纪时代的一个森林里”，语义分析结果可以得到时间副词为“远古侏罗纪时代”以及地方副词为“森林”。

当使用者语音输入为“有着一只很可爱但是非常胆小的恐龙”，语义分析结果可以得到主词为“恐龙”，多个形容词为“可爱”及“胆小”。

当使用者语音输入为“有一天早晨，牠在森林里愉快地奔跑着”，语义分析结果可以得到时间副词为“早晨”、地方副词为“早晨”、动词为“奔跑”与动词相关的副词为“愉快地”。

在此例中，可以搜寻与主词“恐龙”相关的虚拟图像对象，并在搜寻时辅以“远古侏罗纪时代”及“可爱”进行精准搜寻，并进一步根据“奔跑”、“早晨”、“森林”等分词决定与主词相关的虚拟图像对象的呈现效果、需增加的场景对象及场景效果。其中，与主词相关的虚拟图像对象的呈现效果包含运动轨迹，场景效果包含音效及明亮度。在此例中，运动轨迹为“奔跑”，而场景效果根据“早晨”以及主词为“恐龙”可以增加恐龙奔跑时叫声的音效以及加强场景的明亮度。

请参阅图6，所示为本发明一实施例的虚拟现实内容生成装置中主头戴式装置110的方块图。如图6所示，主头戴式装置110包括处理器111、存储器112、显示单元113、音频单元114及传感单元115。本领域技术人员可以理解，图6仅是主头戴式装置110的示例，并不构成对主头戴式装置110的限制。主头戴式装置110可以包括比图标更多或更少的部件，或者组合某些部件，或者不同的部件，例如，所述主头戴式装置110还可以包括输入输出单元、通信单元、电源单元以及总线等。

所述处理器111可以以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器111还可以是专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门数组(Field-Programmable Gate Array，FPGA)或者其他可编成逻辑器件、分立门或者晶电管逻辑器件、分立硬件组件等。所述处理器111是所述主头戴式装置110的控制核心(Control Unit)，利用各种接口和线路连接整个主头戴式装置110的各个部件，通过运行或执行存储在所述存储器112内的计算机程序，以及调用存储在所述存储器112内的数据，以执行主头戴式装置110的各种功能和处理数据，例如执行生成虚拟现实内容的功能(具体参阅图3至图5)。

所述存储器112可以是所述主头戴式装置110的内部存储设备，例如硬盘或内存。所述存储器112也可以是所述主头戴式装置110的外部存储设备，例如插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器112还可以既包括内部存储设备，也包括外部存储设备。所述存储器112用于存储计算机程序以及所述主头戴式装置110所需的其他程序或数据，所述存储器112还可以用于存储已经输出或者将要输出的数据。

所述显示单元113包括显示屏幕，用于显示可视信息，包括虚拟现实内容、扩充现实内容以及混合现实内容等。在本实施例中，显示单元113能够基于处理器111的控制指令在显示屏幕中输出可视信息。需要说明的是，显示单元113能够在各种模式下在显示屏幕中输出可视信息，包括透明(see-through)模式、正常模式及投影模式。其中，透明模式中显示屏幕是透明的，使用者可以经由显示屏幕同时看到外部环境及可视信息；正常模式中显示屏幕是非透明的，使用者不能够经由显示屏幕看到外部环境，只能看到可视信息；投影模式下显示屏幕显示光经由诸如镜子的反射器反射到其上而没有直接投射到使用者眼睛的可视信息。

所述音频单元114包括麦克风和扬声器，用于接收及输出音频数据。在本实施例中，所述音频单元114还用于采集来自于使用者的语音输入。

所述传感单元115用于感测周围环境或者使用者的各种输入并以信号形式将传感数据传送给处理器111进行进一步处理。传感单元115包括重力传感器、运动传感器、地磁传感器、陀螺仪传感器、加速度传感器、红外线传感器、角度传感器以及定位传感器等。

请参阅图7，所示为本发明一实施例的虚拟现实内容生成装置中从头戴式装置120的方块图。如图7所示，从头戴式装置120包括处理器121、存储器122、显示单元123、音频单元124及传感单元125。本领域技术人员可以理解，图7仅是从头戴式装置120的示例，并不构成对从头戴式装置120的限制。从头戴式装置120可以包括比图标更多或更少的部件，或者组合某些部件，或者不同的部件，例如，所述从头戴式装置120还可以包括输入输出单元、通信单元、电源单元以及总线等。

所述处理器121可以以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器111还可以是专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门数组(Field-Programmable Gate Array，FPGA)或者其他可编成逻辑器件、分立门或者晶电管逻辑器件、分立硬件组件等。所述处理器121是所述从头戴式装置120的控制核心(Control Unit)，利用各种接口和线路连接整个从头戴式装置120的各个部件，通过运行或执行存储在所述存储器122内的计算机程序，以及调用存储在所述存储器122内的数据，以执行从头戴式装置120的各种功能和处理数据，例如执行生成虚拟现实内容的功能(具体参阅图3至图5)。

所述存储器122可以是所述从头戴式装置120的内部存储设备，例如硬盘或内存。所述存储器122也可以是所述从头戴式装置120的外部存储设备，例如插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器122还可以既包括内部存储设备，也包括外部存储设备。所述存储器122用于存储计算机程序以及所述从头戴式装置120所需的其他程序或数据，所述存储器122还可以用于存储已经输出或者将要输出的数据。

所述显示单元123包括显示屏幕，用于显示可视信息，包括虚拟现实内容、扩充现实内容以及混合现实内容等。在本实施例中，显示单元123能够基于处理器121的控制指令在显示屏幕中输出可视信息。需要说明的是，显示单元123能够在各种模式下在显示屏幕中输出可视信息，包括透明(see-through)模式、正常模式及投影模式。其中，透明模式中显示屏幕是透明的，使用者可以经由显示屏幕同时看到外部环境及可视信息；正常模式中显示屏幕是非透明的，使用者不能够经由显示屏幕看到外部环境，只能看到可视信息；投影模式下显示屏幕显示光经由诸如镜子的反射器反射到其上而没有直接投射到使用者眼睛的可视信息。

所述音频单元124包括麦克风和扬声器，用于接收及输出音频数据。在本实施例中，所述音频单元124还用于采集来自于使用者的语音输入。

所述传感单元125用于感测周围环境或者使用者的各种输入并以信号形式将传感数据传送给处理器121进行进一步处理。传感单元125包括重力传感器、运动传感器、地磁传感器、陀螺仪传感器、加速度传感器、红外线传感器、角度传感器以及定位传感器等。

本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过与计算机程序指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取存储介质包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁盘、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。

总结来说，本发明的虚拟现实内容生成方法、装置及计算机可读存储介质提供了头戴式装置的使用者经由语音输入生成虚拟现实内容的功能，并可将生成的虚拟现实内容分享给其它头戴式装置。

最后应说明的是，以上实施例仅用于说明而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。