一种虚拟影像实时可视化及交互的方法、系统及装置

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟影像实时可视化及交互的方法、系统及装置。

背景技术

元宇宙(Metaverse)，利用科技手段进行链接与创造，与现实世界映射、交互的虚拟世界，具备新型社会体系的数字生活空间。

混合现实Mix Reality，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。系统通常有三个主要特点：1、结合了虚拟和现实；2、在虚拟的三维环境注册(3D注册)；3、实时运行，可交互。

虚拟技术目前为固定环境内的交互方式，局限了适用范围。目前的全息投影，通常需要一系列的装置才能够实现，例如公开号为CN114632324A，名称为“一种沉浸式空间虚拟建立系统及方法”的发明专利中公开了虚拟舞台和虚拟投射的一整套设备，其包括虚拟舞台、场景制作、多屏幕联合、热成像以及显示模块等诸多单元，这样一套设备不仅繁杂而且造价昂贵，非常不利于普及，并且应用场景单一，无法适用于目前的广大用户的多种场景需求。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种虚拟影像实时可视化及交互的方法、系统及装置，以解决在现有技术中虚拟设备应用场景单一，无法适应多种场景需求，设备复杂且造价昂贵等技术问题。

为实现以上目的，本申请采用如下技术方案：

第一方面，

本申请提供一种虚拟影像实时可视化及交互的系统，包括：

动作捕捉单元，用于通过摄像装置捕捉用户的真实形象、动作、表情以及口型；

显示单元，用于传输虚拟影像到用户的视觉系统；

声音处理单元，用于实现声音的实时转换，将收集的声音经过处理多层次地展示给用户；

存储单元，用于存储获取的虚拟影像数据；

数据投放单元，用于输出虚拟影像数据到相应环境中；

感知单元，用于使用户感知虚拟环境中的环境元素。

进一步地，所述系统应用于终端设备中，所述终端设备包括：可随身携带的便携式协议终端、协议终端、虚拟内容创建终端和云数据存储平台；

所述可随身携带的便携式协议终端，用于查看并接收协议相关设备输出的虚拟影像、声音信息以及其他各类数据，同时也用于携带自己的虚拟形象及变声音频匹配数据用于输出；

所述协议终端，用于存储以及输出对应主体的虚拟形象、声音匹配、动作关节匹配、环境、氛围，以及各类虚拟数据；

所述虚拟内容创建终端，用于用户建立用户或者建筑等各类主体的虚拟输出内容；

所述云数据存储平台，为基于云端的服务器，用于存储关联于用户、设备的各类数据，以供用户所应用的设备使用。

进一步地，所述可随身携带的便携式协议终端，形态为眼镜、镜片或隐形眼镜；

所述可随身携带的便携式协议终端输出的虚拟影像包括：人、动物、物或环境；

用户佩戴所述终端设备所接收到的视觉结果是真实世界与虚拟内容相结合的，能查看到的虚拟内容取决于对方的协议设备是否开启，对方是否同意将自己的虚拟形象显示出来。

进一步地，所述协议终端的形态可以为任何形态，随身携带的形态可以是眼镜、胸针、领带夹、腰带或者项坠，应用于建筑环境虚拟输出设备形态可以是多边形立体终端；

所述协议终端还包括输出、读取以及输入功能。

进一步地，所述虚拟内容创建终端是基于Linux、MacOS、Windows或者各类操作系统的操作软体；

建立人物的虚拟内容包括：角色、人像、肤色、发型、身高、声音匹配、身体关节动作匹配、服装或配饰；

建立环境的虚拟内容包括：大楼整体结构虚拟样式、大楼外立面虚拟样式、室内结构虚拟样式、室内装饰及摆设虚拟样式或灯光与气氛展示设备的关联；

所述虚拟内容可以通过本终端初始创建，也可以导入第三方软件的输出结果进行二次编辑及匹配，对应的第三方软件包括但不限于：UnrealEngine的METAHUMAN、Maya、C4D、3D Max、Dimension、Rhino。

进一步地，所述虚拟内容创建终端结合气氛展示设备进行相应的气氛展示，包括但不限于用喷雾或水淋模仿冷空气或下雨，气流装置模仿自然风；

所述虚拟内容创建终端创建出来的数据，可以同时存储在云数据存储平台和对应的协议终端设备中，读取装置可以根据协议终端状态通过所述云数据存储平台或对应的协议终端设备便捷读取对应数据。

第二方面，

本申请提供一种虚拟影像实时可视化及交互的方法，包括：

在携带所述便携式协议终端的用户之间，当彼此见面时，具有相同协议的便携式协议终端均为开机状态的情况下则设备建立通讯；

系统从其佩戴的终端中获取对方的虚拟影像及声音信息；

所述虚拟影像及虚拟声音信息为用户现实动作、发声与在已安装创建环境的终端中创建的三维虚拟形象模型以及变声匹配的结果；

所述声音的创建与展示具有坐标及方向，当携带便携式协议终端设备的用户处于虚拟环境中，可以根据坐标感受到不同方向的声音；

所述便携式协议终端在获取对方用户的虚拟形象后，根据开启的动作捕捉单元完成对对方用户的真实形象的捕捉，同步捕捉对方用户的动作、表情以及口型，将捕捉到的动作实时渲染至虚拟形象，同时对方用户的真实发声通过变声匹配生成对应的虚拟声音信息，使虚拟形象及虚拟声音跟踪真实形象实现同步；

在携带所述便携式协议终端的用户进入安装有协议终端的房间或街道时，房间内的角落节点或者选取街道及建筑物的节点及若干个角度，放置有多个协议终端，所述用户的视觉系统可以接收到被虚拟构建之后的虚拟影像，同时听觉系统可以接收到协议终端输出的虚拟音频信息；

所述协议终端用于创建虚拟环境，可以进行多设备组网使用。

进一步地，所述动作捕捉，可以使用人体捕捉算法，通过建立用户的面部表情和肢体动作之间的匹配关系，使用户在做动作和表情时，基于所述匹配关系实现快速的同步驱动虚拟形象随之动作和作出相同表情。

进一步地，所述虚拟影像及声音信息为用户在已安装创建环境的终端中创建的三维虚拟形象模型以及变声匹配，具体为：利用虚拟主体创建程式创建虚拟形象，角色、造型、发型、肤色、配饰、表情、声音均可根据自身需要进行创建。

第三方面，

本申请提供一种终端设备，包括：

所述的一种虚拟影像实时可视化及交互的系统。

本申请采用以上技术方案，至少具备以下有益效果：

本申请在实际应用中，通过终端进行虚拟形象、声音、环境、天气等各类元素的设计，并储存至数据输出装置，此装置可独立使用也可组合组网使用。单独装置可使用较为便携的形态，独立使用时可储存携带者的虚拟形象、变声匹配数据，可随身携带，当装置打开时，范围内的协议读取装置可接收到发出装置的数据，继而通过类似于AR眼镜的装置，查看到装置携带者设备投射出的虚拟形象。组合使用时，将多个数据输出装置应用到希望投放的环境范围边缘节点，数据输出装置内存有相应的环境虚拟信息。采用本申请的技术方案，实现了数据传输、编译后进行虚拟影像的实时投影，使用户之间，用户与环境之间可以实时交互，用户的真实形象在携带显示装备的用户系统中可默认隐藏，环境的真实影像是否隐藏，可由环境创建系统设置，也可由携带显示装备的用户通过设置进行选择。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种虚拟影像实时可视化及交互的系统原理图；

图2是根据一示例性实施例示出的一种虚拟影像在房间环境中投放的参考图；

图3是根据一示例性实施例示出的一种虚拟影像在街道环境中投放的参考图；

图中，1、2、3为气氛展现装置。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

请参阅图1，图1是根据一示例性实施例示出的一种虚拟影像实时可视化及交互的系统原理图，如图1所示，该系统包括：

动作捕捉单元，用于通过摄像装置、传感装置或其他装置来捕捉用户的真实形象、动作、表情以及口型；

显示单元，用于传输虚拟影像及虚拟声音到用户的视觉系统及听觉系统；

声音处理单元，用于实现声音的实时转换，将收集的声音经过处理多层次地展示给用户；

存储单元，用于存储获取的虚拟影像数据；

数据投放单元，用于输出虚拟影像数据到相应环境中；

感知单元，用于使用户感知虚拟环境中的环境元素。

在一个实施例中，所述系统应用于终端设备中，所述终端设备包括：可随身携带的便携式协议终端、协议终端、虚拟内容创建终端和云数据存储平台；

所述可随身携带的便携式协议终端，用于查看和接收协议相关设备输出的虚拟影像、声音信息以及其他各类数据，同时也用于携带自己的虚拟形象及变声音频匹配数据用于输出；

所述协议终端，用于存储以及输出对应主体的虚拟形象、声音匹配、动作关节匹配、环境、氛围，以及各类虚拟数据；

所述虚拟内容创建终端，用于用户建立用户或者建筑等各类主体的虚拟输出内容；

所述云数据存储平台，为基于云端的服务器，用于存储关联于用户、设备的各类数据，以供用户所应用的设备使用。

具体的，可随身携带的便携式协议终端，形态一般为眼镜、镜片，未来也许是高度集成的隐形眼镜或微型眼前投射系统，主要功能为查看和接收协议相关设备输出的虚拟影像、声音信息以及其他各类数据，包括：人、物、环境等。同时也可以携带自己的虚拟形象、各类数据用于输出。佩戴此类设备所接收到的视觉结果应该是真实世界与虚拟内容相结合的，能查看到的虚拟内容取决于对方的协议设备是否开启，对方是否同意将自己的虚拟形象显示出来。

协议终端形态可以为任何形态，随身携带的形态可以很小，比如眼镜、胸针、领带夹、腰带或者项坠等，但应用于建筑环境虚拟输出设备形态可能也会很笨重，比如摄像机或者其他的大型设备等。这一类的设备主要作用是存储、输出以及控制对应主体的虚拟形象、声音匹配、动作关节匹配、环境、氛围等各类虚拟数据。

虚拟内容创建终端这部分是基于Linux、MacOS、Windows或者各类操作系统的操作软体，用户建立用户或者建筑等各类主体的虚拟输出内容，建立人物的虚拟内容包括：角色、人像、肤色、发型、身高、声音匹配、身体关节动作匹配、服装、配饰等。建立环境的虚拟内容包括：大楼整体结构虚拟样式、大楼外立面虚拟样式、室内结构虚拟样式、室内装饰及摆设虚拟样式、灯光与气氛展示设备的关联等。虚拟内容可以通过本终端初始创建，也可导入第三方软件的输出结果进行二次编辑及匹配。对应的第三方软件可以是但不限于：UnrealEngine的METAHUMAN、Maya、C4D、3D Max、Dimension、Rhino等各类3D制作软件。

云数据存储平台，这部分多半为基于云端的服务器，用于存储关联于用户、设备的各类数据，以供用户所应用的设备使用。

采用本申请的技术方案，可以结合虚拟环境与现实场景，使虚拟影像实时可视化，并实时互动，广泛应用于多种场景，满足用户的需求。

在一个实施例中，所述虚拟内容创建终端结合气氛展示设备进行相应的气氛展示，包括但不限于用喷雾或水淋模仿冷空气或下雨，气流装置模仿自然风；

所述虚拟内容创建终端创建出来的数据，可以同时存储在云数据存储平台和对应的协议终端设备中，读取装置可以根据协议终端状态通过所述云数据存储平台或对应的协议终端设备便捷读取对应数据。

在一个实施例中，虚拟影像实时可视化及交互的方法，包括：

在携带所述便携式协议终端的用户之间，当彼此见面时，具有相同协议的便携式协议终端均为开机状态的情况下则设备建立通讯；

系统从其佩戴的终端中获取对方的虚拟影像及声音信息；

所述虚拟影像及虚拟声音信息为用户现实动作、发声与在已安装创建环境的终端中创建的三维虚拟形象模型以及变声匹配的结果；

所述声音的创建与展示具有坐标及方向，当携带便携式协议终端设备的用户处于虚拟环境中，可以根据坐标感受到不同方向的声音；

所述便携式协议终端在获取对方用户的虚拟形象后，根据开启的动作捕捉单元完成对对方用户的真实形象的捕捉，同步捕捉对方用户的动作、表情以及口型，将捕捉到的动作实时渲染至虚拟形象，同时对方用户的真实发声通过变声匹配生成对应的虚拟声音信息，使虚拟形象及虚拟声音跟踪真实形象实现同步；

在携带所述便携式协议终端的用户进入安装有协议终端的房间或街道时，房间内的角落节点或者选取街道及建筑物的节点及若干个角度，放置有多个协议终端，所述用户的视觉系统可以接收到被虚拟构建之后的虚拟影像，同时听觉系统可以接收到协议终端输出的虚拟音频信息；

所述协议终端用于创建虚拟环境，可以进行多设备组网使用。

具体的，携带了便携式协议终端的用户之间，当彼此见面时，具有相同协议的终端均为开机状态的情况下则设备建立通讯，系统从其佩戴的终端中获取对方的虚拟影像及声音信息；该虚拟影像及声音信息为用户在已安装创建环境的终端种创建的三维虚拟形象模型以及变声匹配，例如利用虚拟主体创建程式创建自己的虚拟形象，角色、造型、发型、肤色、配饰、表情、声音等均可根据自身需要进行创建。

便携式协议终端在获取对方用户的虚拟形象后，根据开启的动作捕捉单元完成对对方用户的真实形象的捕捉，同步捕捉对方用户的动作、表情、口型等；将捕捉到的动作、表情、口型等动作实时渲染至虚拟形象，使虚拟形象跟踪真实形象实现同步。

参考图2、图3，图2为一种虚拟影像在房间环境中投放的参考图，图3为一种虚拟影像在街道环境中投放的参考图。

如图2所示，携带便携式协议终端的用户进入安装有协议设备的房间时，房间内的各个角落节点放置有协议设备，使房间的真实影像投影为虚拟影像，任何携带该种设备和协议的用户，只要进到该房间，就能看到房间的虚拟和现实相衔接的场景。房间内还设置有气氛展现装置1、2、3，用于模拟房间中的环境氛围，比如模仿下雨、喷雾、自然风等。

如图3所示，携带便携式协议终端的用户进入安装有协议设备的街道时，街道及建筑物的各个节点，若干个角度，例如街道楼外的拐角、楼顶等位置放置协议终端，使街道的真实影像投影为虚拟影像，携带该设备和协议的用户进到街道中，就能看到街道的虚拟和现实影像衔接。

此部分的虚拟场景开发过程，可使用虚拟引擎实现。该虚拟引擎内置多种网格体和编辑工具，例如利用动画蓝图可快速创建和控制复杂的动作行为，利用一些插件，如livelink，能够使得来自外部的实时数据流连接到虚幻引擎，可以从Maya或Motionbuilder之类的DCC工具流送角色动画、摄像机、光源和其他数据，也可以从包括ARKit面部跟踪系统在内的动作捕捉或表演捕捉系统流送，从而用某智能终端捕捉面部表演。LiveLink的设计确保了它能够通过虚幻插件扩展，从而使第三方能够为新的源添加支持。创建人像的工具还可以使用unrealengine的METAHUMAN，这是目前比较好的一个虚拟人像创建工具，当然也可以通过MAYA，C4D等3D制作软件自行制作后导入到本申请的终端设备中，进行表情动作的关联。

上述的ARKit面部跟踪系统，提供了用于修改视频中对象的图像的技术，例如以校正镜头畸变或美化面部。这些技术包括从源视频帧提取和验证对象的特征，随时间推移跟踪那些特征，估计对象的姿态，基于特征修改对象的3D模型，以及基于经修改的3D模型和经修改的本征矩阵和外在矩阵渲染经修改的视频帧。这些技术可实时应用于全息投影过程中的3D建模及渲染过程。

当用户进入街道时，协议终端可捕捉街道人员并通过协议扫描范围内的其他协议设备，当能够通过协议终端跟踪到对应的用户ID时，可通过协议终端或云服务平台获取对应用户的三维虚拟形象及各类数据。通过上述的ARKit面部跟踪系统，用户还可面对面的接收到携带协议设备的其他用户的面部表情、肢体动作以及变声后的声音信息。

白天有阳光的街道和夜晚有灯光的街道，在便协议终端处理时其虚拟影像的创建过程可能是有区别的，这些区别可能包括：利用一些光照工具，在保证实时性能的同时，创建逼真的室内和室外灯光效果，这些光照工具包括大气层和天空环境、体积雾、体积光照贴图、预计算的光照情景等。

在街道场景中，还存在声音模拟装置，例如人声、车流声音等，在此情形下，在模拟虚拟影像的同时，还需要进一步对其可能的声音进行模拟，包括实时合成人声、物理音频传播建模、多层声音并发等，以实现在虚拟影像的同步传输声音，使虚拟影像及场景的效果更加真实。

在此场景下协议终端的声音模拟装置可通过集成于该终端的方式提供声音的实时转换，同样地，所述协议终端的声音模拟装置可仅为一处理单元，将能够拾取的声音在经过一定程度的处理后多层次地展示给用户即可。

在一个实施例中，所述动作捕捉，可以使用人体捕捉算法，通过建立用户的面部表情和肢体动作之间的匹配关系，使用户在做动作和表情时，基于所述匹配关系实现快速的同步驱动虚拟形象随之动作和作出相同表情。

具体的，动作捕捉时可通过人体捕捉算法，精准捕捉用户的面部表情和肢体动作，通过建立用户的面部表情和肢体动作之间的匹配关系，使得用户在动作和表情时，基于上述匹配关系实现快速的同步驱动虚拟形象随之动作和作出相同表情。同步驱动的虚拟形象通过便携终端的显示单元传输至用户的视觉系统，使视觉系统接收对方用户的虚拟形象。

在一个实施例中，所述虚拟影像及声音信息为用户在已安装创建环境的终端中创建的三维虚拟形象模型以及变声匹配，具体为：利用虚拟主体创建程式或其他工具来创建虚拟形象，角色、造型、发型、肤色、配饰、表情、声音均可根据自身需要进行创建。

本申请中通过虚拟影像实时可视化及交互的方法、系统和终端设备，实现捕捉用户的真实形象、动作、表情以及口型等，传输虚拟影像到用户的视觉系统，声音实时转换，将收集的声音经过处理多层次地展示给用户，存储获取的虚拟影像数据，并输出虚拟影像数据到相应环境中。采用本发明的方案，使虚拟形象实现了实时可视化，本发明采用的设备可以独立或组合使用，可以读取到相应的虚拟环境数据，并通过视觉查看到虚拟环境的相应内容，使虚拟形象可以实现人与人或物的实时交互，可应用于多种场景，能满足用户的不同需求，也便于普及全息投影和各类虚拟影像等技术。

关于上述相关实施例中的一种虚拟影像实时可视化及交互的系统，其中各个单元执行操作的具体方式已经在上述有关方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”、“多”的含义是指至少两个。

应该理解，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者可能同时存在居中元件；当一个元件被称为“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件，此外，这里使用的“连接”可以包括无线连接；使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为：表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。