一种轻体扩展现实虚拟制片系统及方法

技术领域

本发明涉及虚拟制片领域，特别是涉及一种轻体扩展现实虚拟制片系统及方法。

背景技术

轻体扩展现实(Extended Reality，XR)虚拟制片，利用抠像技术，将需要的人或道具从绿箱、蓝箱中提取出来，结合对摄像机运动和镜头的追踪，用虚拟环境的画面填充覆盖真实的环境，再将抠像提取出的画面融合到虚拟环境中，是人物或道具融入虚拟环境，达到以假乱真的效果。

但是，现有技术中关于虚拟拍摄制片的过程中，不具备实时可塑性，并且依赖于LED屏幕保障图像质量。那么，在没有LED屏幕使用条件或者场地限制较大，比如场地面积小，不能搭建LED屏幕时，又或者只是作为临时拍摄场地，比如办公室、会议室这些非专业拍摄场地，如何实现便捷且实时的虚拟制片，目前还没有对应的研究。

发明内容

本发明的目的是提供一种轻体扩展现实虚拟制片系统及方法，实现便捷且实时的虚拟制片。

为实现上述目的，本发明提供了如下方案：

一种轻体扩展现实虚拟制片系统，所述系统包括：幕布、摄像模块、摄像追踪模块和渲染合成模块；

所述幕布设置在所述摄像模块处；所述摄像追踪模块与所述摄像模块连接；所述渲染合成模块分别与所述摄像模块和所述摄像追踪模块连接；

所述摄像模块用于实时捕获在所述幕布下的真实场景图像，并将所述真实场景图像传输至所述渲染合成模块；

所述摄像追踪模块用于获取所述摄像模块的摄像数据，并将所述摄像数据传输至所述渲染合成模块；所述摄像数据包括：变焦数据、位置数据和运动数据；

所述渲染合成模块，用于：

根据所述变焦数据和所述位置数据构建虚拟摄像模块；

控制所述虚拟摄像模块按照所述运动数据进行移动，并调取预设虚拟场景获取虚拟场景图像；

采用分布式实时渲染的方式，根据所述真实场景图像和所述虚拟场景图像进行渲染，得到渲染图像；

将所述渲染图像确定为虚拟制片并输出。

可选地，所述摄像追踪模块采用freed协议将所述摄像数据传输至所述渲染合成模块。

可选地，所述系统还包括：导播模块和播放模块；

所述导播模块与所述渲染合成模块连接；所述播放模块与所述导播模块连接；

所述导播模块用于将所述虚拟制片进行录制或者转播处理，得到处理后的虚拟制片；

所述播放模块用于播放处理后的虚拟制片。

可选地，所述系统还包括：音视频输入模块；

所述音视频输入模块分别与所述渲染合成模块和所述播放模块连接；

所述音视频输入模块用于添加音乐片段或者视频片段至所述虚拟制片，得到虚拟添加制片；

所述播放模块还用于播放所述虚拟添加制片。

可选地，所述幕布为蓝布或者绿布。

可选地，所述系统还包括：箱体；

所述箱体用于放置所述幕布。

可选地，所述系统还包括：同步锁模块；

所述同步锁模块与所述摄像模块连接；所述同步锁模块用于输出设定频率至所述摄像模块。

一种轻体扩展现实虚拟制片方法，所述方法采用上述所述的轻体扩展现实虚拟制片系统实现，所述方法包括：

获取摄像数据和实时的真实场景图像；所述真实场景图像是通过摄像模块在幕布下捕获的；所述摄像数据包括：变焦数据、位置数据和运动数据；

根据所述变焦数据和所述位置数据构建虚拟摄像模块；

控制所述虚拟摄像模块按照所述运动数据进行移动，并调取预设虚拟场景获取虚拟场景图像；

采用分布式实时渲染的方式，根据所述真实场景图像和所述虚拟场景图像进行渲染，得到渲染图像；

将所述渲染图像确定为虚拟制片并输出。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种轻体扩展现实虚拟制片系统及方法，摄像模块实时捕获在幕布下的真实场景图像，并将真实场景图像传输至渲染合成模块；摄像追踪模块获取摄像模块的摄像数据，并将摄像数据传输至渲染合成模块；摄像数据包括：变焦数据、位置数据和运动数据；渲染合成模块根据变焦数据和位置数据构建虚拟摄像模块，控制虚拟摄像模块按照运动数据进行移动，并调取预设虚拟场景获取虚拟场景图像；渲染合成模块采用分布式实时渲染的方式，根据真实场景图像和虚拟场景图像进行渲染，得到渲染图像，并将渲染图像确定为虚拟制片并输出；本发明能够实现便捷且实时的虚拟制片。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的轻体扩展现实虚拟制片系统的结构图；

图2为本发明实施例提供的轻体扩展现实虚拟制片方法的流程图。

符号说明：

幕布-1、摄像模块-2、摄像追踪模块-3、渲染合成模块-4、导播模块-5、播放模块-6、音视频输入模块-7。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种轻体扩展现实虚拟制片系统及方法，实现便捷且实时的虚拟制片。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图1所示，本发明实施例提供了一种轻体扩展现实虚拟制片系统，该系统包括：幕布1、摄像模块2、摄像追踪模块3和渲染合成模块4。

幕布1设置在摄像模块2处；摄像追踪模块3与摄像模块2连接；渲染合成模块4分别与摄像模块2和摄像追踪模块3连接。具体地，幕布1可以为蓝布或者绿布。

摄像模块2用于实时捕获在幕布1下的真实场景图像，并将真实场景图像传输至渲染合成模块4。

摄像追踪模块3用于获取摄像模块2的摄像数据，并将摄像数据传输至渲染合成模块4；摄像数据包括：变焦数据、位置数据和运动数据。具体地，摄像追踪模块3采用freed协议将摄像数据传输至渲染合成模块4。

渲染合成模块4用于根据变焦数据和位置数据构建虚拟摄像模块。

渲染合成模块4控制虚拟摄像模块按照运动数据进行移动，并调取预设虚拟场景获取虚拟场景图像。

渲染合成模块4还用于采用分布式实时渲染的方式，根据真实场景图像和虚拟场景图像进行渲染，得到渲染图像，并将渲染图像确定为虚拟制片并输出。

渲染合成模块4在真实场景图像和虚拟场景图像的基础上，叠加实时渲染的插入画面，已得到需求的渲染图像。该插入画面可以是预先存储好的场景画面，也可以现场根据实际情况实时添加的画面。

在一种实施例中，该系统还包括：导播模块5和播放模块6；导播模块5与渲染合成模块4连接；播放模块6与导播模块5连接；导播模块5用于将虚拟制片进行录制或者转播处理，得到处理后的虚拟制片。播放模块6用于播放处理后的虚拟制片。

具体地，导播模块5是负责多机位信号切换，可通过此功能实现多方位、多景别的不同画面效果的无缝切换。

播放模块6可以是虚拟合成录制系统或者虚拟合成监看的终端设备，也可以是制片现场推拉流系统。

在一种实施例中，该系统还包括：音视频输入模块7；音视频输入模块7分别与渲染合成模块4和播放模块6连接；音视频输入模块7用于添加音乐片段或者视频片段至虚拟制片，得到虚拟添加制片；播放模块6还用于播放虚拟添加制片。

作为一种可选地实施方式，该系统还包括：箱体；箱体用于放置幕布1。

系统还可以包括：同步锁模块；同步锁模块与摄像模块2连接；同步锁模块用于输出设定频率至摄像模块2。同步锁模块用以保障摄像模块2进行捕获在幕布1下的真实场景图像时，频率稳定，不会发生抖动现象，进而不会导致画面不稳定、不清楚情况的出现。

实施例2

如图2所示，本发明实施例提供了一种轻体扩展现实虚拟制片方法，该方法采用实施例1中的轻体扩展现实虚拟制片系统实现，该方法包括：

步骤100：获取摄像数据和实时的真实场景图像。

其中，真实场景图像是通过摄像模块在幕布下捕获的；摄像数据包括：变焦数据、位置数据和运动数据。

步骤200：根据变焦数据和位置数据构建虚拟摄像模块。

步骤300：控制虚拟摄像模块按照运动数据进行移动，并调取预设虚拟场景获取虚拟场景图像。

步骤400：采用分布式实时渲染的方式，根据真实场景图像和虚拟场景图像进行渲染，得到渲染图像。

步骤500：将渲染图像确定为虚拟制片并输出。

本发明通过绿布或者蓝布的方式代替LED屏做绿箱或者蓝箱环境，使用更便捷的方式实现XR虚拟拍摄制片。此外，在场地不能使用反光点光学追踪设备的情况下，想要摄像机追踪效果，采用了(景象处理套装(Mars CamTrack)方案代替了之前的追踪系统，例如：现有的redspy/mosys等需要反光点的光学相机追踪方案。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。