一种应用于增强现实的同步方法

技术领域

本发明涉及增强现实技术领域，尤其是一种应用于增强现实的同步方法。

背景技术

增强现实(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，是指通过LED显示屏、摄像机、追踪设备、虚拟引擎服务器等多种硬件设备，打造出的一个虚拟环境。目前在影视拍摄过程中，增强现实技术应用十分广泛，主要的应用场景如下：

通过将虚拟引擎(Unreal Engine或者Notch引擎等)制作好的3D数字场景，实时渲染并且传输到合成服务器，摄像机拍摄真实图像(例如演员)，合成服务器通过采集卡接收摄像机拍摄内容，与虚拟引擎渲染的虚拟画面合成最终画面。

上述场景中，难以解决的问题是不能确保摄像机拍摄的画面与实时渲染的画面同步，当摄像机快速运动时演员与虚拟人物难以同步，只能限制摄像师移动摄像机速度，影响拍摄效果。

为此，我们提出一种应用于增强现实的同步方法以解决上述问题。

发明内容

本发明的目的在于提供一种应用于增强现实的同步方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种应用于增强现实的同步方法，包括如下步骤：

S1、测量虚拟路径与真实路径之间的延迟：用于拍摄的摄像机上设置有追踪设备，所述追踪设备采集所述摄像机的追踪数据，所述追踪数据传输到合成服务器，所述合成服务器根据追踪数据生成虚拟的标识图案，所述摄像机拍摄表演者与显示设备的真实画面，所述显示设备上显示有真实的标识图案，所述真实画面通过真实路径传输到合成服务器，通过合成服务器的显示器查看真实的标识图案和虚拟的标识图案是否一致，如果不一致则不断摇动摄像机并同时调整追踪数据的延迟时间直到一致为止，此时设置的延迟时间就是两条路径之间的延迟，再通过补偿软件补偿所述延迟，即可实现两条路径的画面一致；

S2、实际拍摄过程中，所述追踪设备传输追踪数据到虚拟引擎，虚拟引擎根据追踪数据实时渲染图像并且传输到合成服务器，同时摄像机拍摄的显示设备和表演者的画面也传输到合成服务器，合成服务器中的补偿软件根据S1中的延迟使上述两组数据中的画面一致，实现真实演员与虚拟人物的互动，所述摄像机、合成服务器和追踪设备都genlock同步，即同步锁相，以确保整个系统的延迟固定。

在进一步的实施例中，所述追踪设备为redspy红外相机追踪器，所述追踪设备固定在摄像机的顶部并与摄像机一起移动。

在进一步的实施例中，所述追踪数据包括所述摄像机的位置(x,y,z)、姿态(pan,tilt,roll)和视角(fov)信息，所述虚拟引擎渲染图像过程包括根据追踪数据生成与摄像机位置、姿态、视角一致的图像。

在进一步的实施例中，所述真实的标识图案和虚拟的标识图案都为并排设置的三条竖线，上部为真实的三条竖线，下部虚拟的三条竖线，所述画面一致是指上部的三条竖线和下部的三条竖线完全对接。

在进一步的实施例中，所述显示设备包括LED屏或者幕布。

在进一步的实施例中，所述虚拟引擎为Unreal Engine或者Notch。

与现有技术相比，本发明的有益效果是：演员与虚拟人物同步并且当摄像机快速运动时依然保持同步。

附图说明

图1为本专利的实际拍摄流程示意图；

图2为本专利的测量延迟流程示意图；

图3为本专利的实际测量延迟的试验图。

具体实施方式

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据图1-3所示，本发明提供了一种应用于增强现实的同步方法，包括如下步骤：

S1、测量虚拟路径与真实路径之间的延迟：用于拍摄的摄像机上设置有追踪设备，追踪设备采集摄像机的追踪数据，追踪数据传输到合成服务器，合成服务器根据追踪数据生成虚拟的标识图案，摄像机拍摄表演者与显示设备的真实画面，显示设备上显示有真实的标识图案，真实画面通过真实路径传输到合成服务器，通过合成服务器的显示器查看真实的标识图案和虚拟的标识图案是否一致，如果不一致则不断摇动摄像机并同时调整追踪数据的延迟时间直到一致为止，此时设置的延迟时间就是两条路径之间的延迟，再通过补偿软件补偿所述延迟，即可实现两条路径的画面一致，这里摇动摄像机主要是为了让虚拟和真实的画面动起来，便于调整延迟时间，找出虚拟的标识图案和真实的标识图案一致的时间点，其原理主要是摄像机在某个位置或者姿态拍摄的真实画面，虚拟引擎里也有一个虚拟摄像机拍摄虚拟场景，虚拟引擎的虚拟摄像机根据追踪传输过来的真实相机的位置和姿态拍摄虚拟图像，虚拟图像与真实图像合成一起，那么合成这一帧的虚拟图像和真实图像必须是同一个位置和姿态，如果摄像机静止，位置和姿态都是固定的，所以摄像机必须运动起来，让每次合成的那帧数据的虚拟图像和真实图像的位置和姿态是一样的，如果虚拟图像是个沙发，人坐在沙发上，摄像机运动时，如果合成的虚拟图像和真实图像不是同一个位置和姿态的生成图像，那么人和沙发就会有相对运动现象，不是相对静止的，画面看起来就会重影脱节，综上所述调整延迟时间后不仅某一帧一致，而且每帧都一致，保证虚拟图像的真实；

S2、实际拍摄过程中，追踪设备传输追踪数据到虚拟引擎，虚拟引擎根据追踪数据实时渲染图像并且传输到合成服务器，同时摄像机拍摄的显示设备和表演者的画面也传输到合成服务器，合成服务器中的补偿软件根据S1中的延迟使上述两组数据中的画面一致，实现真实演员与虚拟人物的互动，摄像机、合成服务器和追踪设备都genlock同步，即同步锁相，以确保整个系统的延迟固定。步骤S2中会用到步骤S1中测试的延迟结果，确保虚拟画面和真实画面的同步。

本实施方式中，追踪设备为redspy红外相机追踪器，追踪设备固定在摄像机的顶部并与摄像机一起移动。追踪数据包括摄像机的位置(x,y,z)、姿态(pan,tilt,roll)和视角(fov)信息，虚拟引擎渲染图像过程包括根据追踪数据生成与摄像机位置、姿态、视角一致的图像。

本实施方式中，真实的标识图案和虚拟的标识图案都为并排设置的三条竖线，上部为真实的三条竖线，下部虚拟的三条竖线，画面一致是指上部的三条竖线和下部的三条竖线完全对接。

显示设备包括LED屏或者幕布。虚拟引擎为Unreal Engine或者Notch。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。