一种多地虚拟互动系统

技术领域

本发明涉及虚拟异地互动技术领域，特别是涉及一种多地虚拟互动系统。

背景技术

目前，对于多人物主体不在同一场地但需要在同一舞台交流的情形，人与人之间实时沟通交流的虚拟拍摄的效果仍有待提高，原本瞬间挪移中摄像机位表现力差，存在无法在有效的透视关系下运镜的难题。

发明内容

本发明的目的是提供一种多地虚拟互动系统，提高了人与人之间异地沟通交流虚拟拍摄的实时性。

为实现上述目的，本发明提供了如下方案：

一种多地虚拟互动系统，包括：至少一个远端绿背虚拟拍摄现场系统和一个近端虚拟制片现场系统；

所述近端虚拟制片现场系统包括第一MoCo拍摄系统，所述第一MoCo拍摄系统用于控制近端摄像机的运镜，并将控制近端摄像机运镜的MoCo运动信号发送到所述远端绿背虚拟拍摄现场系统；

各所述远端绿背虚拟拍摄现场系统均包括第二MoCo拍摄系统，所述第二MoCo拍摄系统用于接收所述MoCo运动信号，并根据所述MoCo运动信号控制远端摄像机的运镜。

可选地，所述近端虚拟制片现场系统还包括xR控制系统，所述xR控制系统用于将所述远端绿背虚拟拍摄现场系统的拍摄信号与所述近端虚拟制片现场系统的拍摄信号进行合成，实时输出合成后画面。

可选地，所述近端虚拟制片现场系统还包括第一推拉流系统，所述第一推拉流系统用于通过推拉流的方式，将所述近端虚拟制片现场系统输出的合成后画面，传输至所述远端绿背虚拟拍摄现场系统。

可选地，所述远端绿背虚拟拍摄现场系统还包括第二推拉流系统，所述第二推拉流系统用于通过推拉流的方式，将所述远端绿背虚拟拍摄现场系统的拍摄信号，传输至所述近端虚拟制片现场系统。

可选地，所述远端绿背虚拟拍摄现场系统还包括绿幕或者绿箱，所述绿幕或者所述绿箱用于为远端拍摄现场提供拍摄场地。

可选地，所述近端虚拟制片现场系统还包括Led屏幕显示系统，所述Led屏幕显示系统用于为近端制片现场的拍摄主题提供背景。

可选地，所述近端虚拟制片现场系统包括第一推拉流服务器，所述远端绿背虚拟拍摄现场系统包括第二推拉流服务器，所述第一推拉流服务器和所述第二推拉流服务器均具有固定的IP，所述第一推拉流服务器和所述第二推拉流服务器通过SRT进行数据传输。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明远端绿背虚拟拍摄现场系统和近端虚拟制片现场系统均设置有MoCo拍摄系统，通过MoCo拍摄系统控制摄像机的运镜，通过网络异地联动控制的形式，联动多台MoCo拍摄系统，实现同步互动，提高了人与人之间异地沟通交流虚拟拍摄的实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多地虚拟互动系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种多地虚拟互动系统，提高了人与人之间异地沟通交流虚拟拍摄的实时性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的一种多地虚拟互动系统，包括：至少一个远端绿背虚拟拍摄现场系统(远端)和一个近端虚拟制片现场系统(近端)。

所述近端虚拟制片现场系统包括第一Motion Cotrol(MoCo)拍摄系统，所述第一MoCo拍摄系统用于控制近端摄像机的运镜，并将控制近端摄像机运镜的MoCo运动信号发送到所述远端绿背虚拟拍摄现场系统。

各所述远端绿背虚拟拍摄现场系统均包括第二MoCo拍摄系统，所述第二MoCo拍摄系统用于接收所述MoCo运动信号，并根据所述MoCo运动信号控制远端摄像机的运镜。

所述近端虚拟制片现场系统包括第一推拉流服务器，所述远端绿背虚拟拍摄现场系统包括第二推拉流服务器，所述第一推拉流服务器和所述第二推拉流服务器均具有固定的IP，所述第一推拉流服务器和所述第二推拉流服务器通过安全可靠传输协议(SecureReliable Transport，SRT)进行数据传输。

在广域网络环境下，通过使用SRT开源互联网传输协议，把远端绿背虚拟拍摄现场的音视频以及控制流信号，通过端对端方式，实时传输至近端虚拟拍摄现场的推拉流服务器(第一推拉流服务器)中。媒体服务器通过采集流信号处理后，将远端绿背虚拟拍摄现场的人物形象通过抠像技术处理，把声音和画面做延时处理，再合成至近端虚拟拍摄现场系统中，同时把合成画面，通过第一推拉流服务器推至远端虚拟拍摄现场。形成虚拟拍摄现场人物与绿背虚拟拍摄现场人物，实时同台沟通并实时互动的功能。

SRT是一种基于(UDP-based DataTransferProtocol，UDT)协议的开源互联网传输协议。

影视特效通常指的是在影视中人工制造出来的假象和幻觉，被称为特技效果。影视特效可分为视觉特效(视效)和声音特效(音效)。影视特效在当下主要是指以电脑数字制作来代替传统拍摄手法无法完成的效果，例如科幻世界场景等。

本发明的影视特效指视觉特效，其硬件拍摄设备不同于常规的手持拍摄。将常用的摄像机结合经过改造的工业机械臂(MoCo拍摄系统)进行组合，让摄像机在预先设定好的机械臂运动轨迹下拍摄，这种拍摄能保证摄像构图、时间和同步。于此同时，通过网络异地联动控制的形式，可以联动多台MoCo拍摄系统，实现同步互动。

所述近端虚拟制片现场系统还包括Led屏幕显示系统、第一灯光系统、第一音响系统、第一摄像导播系统、摄像机追踪系统、xR控制系统、虚拟渲染系统和第一推拉流系统。

近端虚拟制片现场系统是一套完整的xR扩展现实系统，它在原有的系统基础上增加了第一MoCo拍摄系统和第一推拉流系统，将远端虚拟拍摄现场系统的拍摄主体实时合成到xR扩展现实系统中。

第一灯光系统为近端虚拟制片现场的拍摄场地和拍摄主体提供照明。

第一音响系统为近端虚拟制片现场的当前场地人员和异地沟通提供声音扩声，同时也是调整声音同步的重要组成部分。

第一MoCo拍摄系统是近端虚拟制片现场系统中特效拍摄(运动轨迹拍摄)的主要部分，任摄影师角色，负责摄像机的运镜。第一MoCo拍摄系统是运动轨迹拍摄的信号发送端，负责将第一MoCo拍摄系统的MoCo运动信号发送至远端虚拟拍摄现场系统，保证拍摄轨迹的一致。

所述Led屏幕显示系统用于为近端制片现场的拍摄主题提供背景。

所述xR控制系统用于将所述远端绿背虚拟拍摄现场系统的拍摄信号与所述近端虚拟制片现场系统的拍摄信号进行合成，实时输出合成后画面。

所述第一推拉流系统用于基于所述第一推拉流服务器，通过推拉流的方式，将所述近端虚拟制片现场系统输出的合成后画面，传输至所述远端绿背虚拟拍摄现场系统。

第一灯光系统、第一摄像导播系统、摄像机追踪系统、xR控制系统和虚拟渲染系统是xR扩展现实系统的配置部分。

在近端虚拟制片现场系统进行虚拟制片中，xR扩展现实系统是整个多地虚拟互动系统的核心部分。在瞬间挪移中用于将远端虚拟拍摄信号，合成到虚拟制片中并最终输出视觉效果的作用。

近端虚拟制片现场系统的工作过程为：拍摄主体在以Led屏幕显示系统的Led屏幕为背景，通过第一MoCo拍摄系统为拍摄装置的xR扩展现实系统中进行虚拟拍摄。

所述远端绿背虚拟拍摄现场系统还包括绿幕或者绿箱、第二灯光系统、第二音响系统、第二摄像导播系统和第二推拉流系统。

所述绿幕或者所述绿箱相当于舞台，用于为远端拍摄现场的拍摄主体提供拍摄场地。

第二灯光系统用于为远端拍摄现场的拍摄场地和拍摄主体提供照明。

第二音响系统用于为远端拍摄现场的当前场地人员和异地沟通提供声音扩声，同时也是调整声音同步的重要组成部分。

第二摄像导播系统用于影像画面的录制、转码和多机位镜头的切换。

第二MoCo拍摄系统是远端绿背虚拟拍摄现场系统中特效拍摄(运动轨迹拍摄)的主要部分，任摄影师角色，负责摄像机的运镜。第二MoCo拍摄系统，是瞬间挪移系统中运动轨迹拍摄的信号接收端，它受第一MoCo拍摄系统的控制。

所述第二推拉流系统用于基于所述第二推拉流服务器，通过推拉流的方式，将所述远端绿背虚拟拍摄现场系统的拍摄信号，传输至所述近端虚拟制片现场系统。具体地，第二推拉流系统将远端绿背虚拟拍摄现场的音频、视频和控制信号(摄像机运动轨迹控制信号)进行收集，通过推拉流的方式，传输至所述近端虚拟制片现场系统。

远端绿背虚拟拍摄现场系统的工作过程为：拍摄主体在绿幕或绿箱中表演，该拍摄主体形象被第二MoCo拍摄系统搭载的摄像机捕获(第二MoCo拍摄系统控制信号由近端虚拟制片现场发送，通过第二推拉流系统接收并控制)，影像信号传输至第二摄像导播系统，经过信号转码和分配后，再由第二摄像导播系统输出至第二推拉流系统，通过广域网传至近端虚拟制片现场系统。第二推拉流系统发送远端虚拟拍摄现场的音和视频信号到近端虚拟制片现场系统，同时接收近端虚拟制片现场系统处理完成的音频、视频和MoCo控制信号。

远端绿背虚拟拍摄现场系统和近端虚拟制片现场系统的协同工作过程：近端虚拟制片现场拍摄主体和远端虚拟拍摄现场拍摄主体，需要在异地间之间进行协同拍摄，并完成两人在声音、动作等方面的互动交流。故通过推拉流的方式，把远端虚拟拍摄现场的拍摄信号，传输至近端虚拟制片现场。在近端虚拟虚拟制片现场把远端影像进行抠像处理，再把近远端影像经过叠加，实时合成到xR扩展现实系统中，形成远端和近端同台交流互动的视觉效果。

具体成像过程包括：①远端拍摄的绿箱画面经过推流服务器(第一媒体服务器)实时传输到现场拉流服务器(第二媒体服务器)，同时远端和近端的音视频需要做延时调整，达到音画同步，实时视频对话的效果。

②近端XR控制系统服务器(第二媒体服务器)通过视频采集卡采集近端拉流服务器中的视频信号，将采集到的视频信号，通过一套成熟的抠像系统，将人物与绿箱背景分离出来，将远端的画面处理成一路带有透明通道的视频流。

③透明通道视频流，在XR控制系统中通过在软件的时间线上添加video图层叠加在合成输出画面上，实现两地画面同框的效果。

本发明在当前瞬间挪移技术的基础上，进一步进行升级。在近端虚拟制片现场和远端虚拟拍摄现场，同时加入影视特技MoCo拍摄系统，解决了原本瞬间挪移中摄像机位表现力差，无法运在有效的透视关系下运镜的难题，使得虚拟制片在效果还原上更上一筹。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。