一种多视点全景视频无缝切换播放的方法

技术领域

本发明属于视频处理技术领域，尤其是涉及一种多视点全景视频无缝切换播放的方法。

背景技术

为了更好的记录现场实际情况，目前经常利用多个镜头的全景相机对周围360°范围内的环境进行拍照或录像。最为常见的拍摄形式为定点拍摄全景视频，用户只能够在固定点观看全景视频。

但是现有的全景视频影像在播放时并不流畅，无法满足一些实验类项目的需求，例如，针对于汽车、电动车等火灾实体实验，需要通过视频在不同角度对火灾蔓延的情况进行观察和测量，同时还需要针对于某一特殊火灾蔓延情况，沿着蔓延轨迹进行逐帧观察，现有的全景视频的播放技术无法满足上述需求。

发明内容

有鉴于此，为克服上述缺陷，本发明旨在提出一种多视点全景视频无缝切换播放的方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种多视点全景视频无缝切换播放的方法，包括如下步骤：

S1、根据拍摄对象的外形尺寸，确定全景相机的数量和摆放位置；

S2、所有全景相机在实验视频录制过程中，需录入同一时间同步标记，基于时间同步标记，对设有全景相机录制的视频进行处理，以实现各个视频在时间上的同步播放；

S3、对所有全景相机的进行角度旋转矫正，使所有的全景相机的坐标系统一；

S4、对经过步骤S2和S3处理后的不同机位的视频进行拼接；

S5、多视点全景视频播放与交互。

进一步的，确定全景相机的数量和摆放位置的具体方法如下：

当长宽比大于等于3时，在每个短边设置1台全景相机，在每个长边设置2台全景相机；

当长宽比大于1小于3时，在每个长边和短边分别设置1台全景相机；

当长宽比等于1或者宽度小于30cm时，采用三角布置方法布置3台全景相机。

进一步的，所述时间同步标记为声音或光照或手势。

进一步的，基于时间同步标记，对设有全景相机录制的视频进行处理的方法如下：

将拍摄的所有视频录入到视频处理软件中，视频处理软件中设置时间轴，将所有视频的时间同步标记横移至时间轴上的同一时刻，用以保证每个视频在时间上同步。

进一步的，在视频处理软件中设置两条虚线，其中一条虚线用于标记实验开始时刻，另一条虚线用于标记实验结束时刻，所有视频的实验开始时刻之前的视频以及实验结束时刻之后的视频裁切掉，保留实验过程中的视频数据。

进一步的，步骤S3的具体方法如下：

以每个全景相机的中心点为原点，建立坐标系，每个全景相机包括多个机位，每个机位设置唯一标识，以Z轴表示坐标系的正方向，Z轴垂直于其中一个机位拍摄画面的中心位置，按照左手系规则，X轴与Z轴位于相机水平面上向右，Y轴垂直于X轴Z轴的平面向上，以此确定坐标系的X、Y、Z轴，每个全景相机在确定Z轴时，选取的机位相同，以保证每个全景相机的坐标系统一；

确定矫正方向，调整每个全景相机的Z轴朝向，使所有的全景相机的Z轴朝向均与矫正方向相同。

进一步的，在执行步骤S5前，还需执行以下方法：

将不同机位的视频片段拼接后，结合数据文件，以文件的形式进行记录；

数据文件包括机位数量、每个机位距离地面的高度、每个机位对应在完整视频中的时间段。

进一步的，步骤S5中，视频播放时，将处理完成的视频和数据文件导入到多视点全景视频的播放软件中进行播放；

全景相机中在不同视角观察过程中需要记录在该视角的停留时间，每次切换视角后，新视角的视频播放起始时间需要叠加之前所有时间的停留时间。

相对于现有技术，本发明所述的多视点全景视频无缝切换播放的方法具有以下优势：

(1)该发明所述的多视点全景视频无缝切换播放的方法，通过本专利提供的全景视频无缝跳转播放方式，可以实现多视角的全景相机无延时的同步跳转连续观看，并且跳转后的视角仍然保持在目标实验对象。

(2)该发明所述的多视点全景视频无缝切换播放的方法，可实现多个角度的全景记录火灾实体实验过程，同时可以对实验过程实现360°全景记录，对于火灾实体实验视频数据的记录提供了巨大的技术改进。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的方法流程图；

图2为全景视频时间同步原理示意图；

图3为多机位角度旋转矫正示意图；

图4为全景相机坐标系示意图；

图5为距离测量运算示意图；

图6为全景等距投影角度示意图；

图7为待测量点与相机的侧视图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种多视点全景视频无缝切换播放的方法，包括如下步骤：

步骤一(拍摄机位的摆放和机位数量确定方法)：需要对于火灾实验的对象外形尺寸进行测量确定全景相机的数量(每个全景相机包括多个镜头)。当长宽比大于等于3时，需要在每个短边设置1台全景相机，在每个长边设置2台全景相机；当长宽比大于1小于3时，在每个长边和短边分别设置1台全景相机；当长宽比等于1或者宽度小于30cm时，可采用三角布置方法布置3台全景相机。

步骤二(多视点视频拍摄过程)：在实体实验开始前完成所有机位的布置，并测量每个机位的相机中心距离地面的高度，打开所有布置好的全景相机，用全景视频拍摄的方式在不同的拍摄视角下记录火灾实验的完整过程。

在全景视频录制的过程中，需要通过特定的光照或手势信息，在视频中留下用于不同视频之间完成时间同步的标记(以下简称“时间同步标记”)，时间同步标记需要被所有机位拍到(后期会通过软件在视频中寻找该标记)。

步骤三(多视点全景视频数据处理---同步时间点设定)：将多个机位拍摄的全景视频导入到自主编写的处理软件中，在不同的机位视频中标记出步骤二提到的时间同步标记，标记出现的时间点为不同机位中的相同时刻。

如图2所示为多视点全景视频时间同步原理示意图。图中横轴为时间轴，虚线分别标记出了火灾实验的开始时间和结束时间，图中间的方块位置和长度表示不同机位的全景视频的开始时间和持续时长，每个机位全景视频覆盖了完整的火灾实验过程，且开始时间和持续时长都不同。图中的时间同步标记时刻为视频录制过程中的时间同步标记出现时间，通过将不同机位的时间同步标记找出便能同步整个火灾实验的时间，下图中不同机位所代表的方块位置前后错位便是将不同的机位进行时间同步后的结果。通过将虚线两边的多于视频片段进行裁切，保留下来的中间片段即为经过时间同步后的有效部分。

步骤四(多视点全景视频数据处理---坐标系变换)：通过在现场测量的每个机位的相机高度完成竖直方向的坐标统一。对于水平方向，由于全景相机通常为球形，每个全景相机包括多个机位，且现场拍摄时每个机位相机的朝向角度不同，因此需要通过在全景图像中进行标记，进而计算不同机位的空间位置关系，将不同机位的坐标系进行统一旋转矫正。

如图3所示为多机位角度旋转矫正示意图(以三个机位为例)。图中的中央为火灾实验的被拍摄主体，在它的三个不同方向上放置着全景相机进行视频拍摄，以每个全景相机的中心点为原点，建立坐标系，每个全景相机包括多个镜头(不同型号的全景相机镜头数量不同，但都大于等于2个)，每个镜头都设置有唯一的序号标识(例如镜头0、镜头1、镜头2、镜头3等，镜头的序号标识在出厂时就已确定，不需要额外设定)，在定义全景相机的相机坐标系时，坐标系Z轴垂直于其中一个参考镜头(全景相机最终会以它自带的一个固定镜头作为全景画面中心，将多个镜头拍摄的影像拼接合成一个2：1的全景影像，在选取相机坐标系Z轴对应的参考镜头时，优先选取全景影像中心所对应的镜头)拍摄画面的中心位置，按照左手系规则，X轴与Z轴位于相机水平面上向右，Y轴垂直于X轴Z轴的平面向上，以此确定坐标系的X、Y、Z轴，每个全景相机在确定Z轴时，选取的参考镜头应该相同，以保证每个全景相机的坐标系统一。

多个全景相机在选取Z轴时，机位的选择一定要相同，才能确保矫正角度后的全景相机的坐标系统一。

如图4所示，灰色区域代表全景相机录制的长宽比为2:1的全景视频，选取的用于确定Z轴朝向的参考镜头所拍摄的影像处于全景影像的中心位置，全景相机的相机坐标系原点位于全景球的中心，Z轴垂直向里。

假设图3中左上方的实线箭头为矫正方向，则图中的角度a，角度b和角度c代表需要矫正的角度，此过程通过自主开发的多视点视频处理软件完成。

调整每个全景相机的Z轴朝向，使所有的全景相机的Z轴朝向均与矫正方向相同。

步骤五(多视点全景视频数据处理---多机位视频拼接)：在经过步骤三和步骤四的处理后，可以获得经过时间同步处理和角度矫正的不同机位有效视频片段。

为了达到最终播放时的实时跳转效果，在这一步中先根据步骤三将多余的视频片段进行裁切，保留有效视频片段的数据；再通过步骤四得到的矫正角度，将不同的视频片段进行全景旋转，将他们的角度统一；最后将不同机位的视频片段进行拼接，拼接成一整段完整的视频。将机位数量，每个机位距离地面的高度，每个机位对应在完整视频中的时间段，以文件的形式进行记录。

步骤六(多视点全景视频播放与交互)：通过将处理完成的视频和数据文件导入到多视点全景视频的播放软件中。播放时会默认从第一个机位开始播放，在播放的过程中可以随时切换到其他机位，经过了步骤三、四、五的处理后，在机位跳转过程中可以保证用户在场景中的朝向角度不变，且时间同步。

机位跳转通过在完成的视频中进行时间跳转来完成，具体方法如下：

设当前机位序号为a，目标跳转到的机位序号为b，机位a在完整视频中的开始时间为t

t

跳转到t

在不同的机位测量地面距离时的具体方法如下：

结合步骤四中填入的每个机位的相机高度来进行运算。如图5所示为距离测量运算示意图，图中为相机的俯视图，O代表相机中心。

图5中P

由此看出求得d需要计算出d

在等距投影的相机模型中，相机的水平观测角度和垂直观测角度在全景图上均匀分布，图中的u和v分别代表待测量点P

如图7所示，为待测量点P

根据图6描述的对应关系可以得出如下关系式(角度采用弧度制)。

由式(6)(7)(8)即可求得图5中的d

需要说明的是，全景相机中在不同视角观察过程中需要记录在该视角的停留时间，每次切换视角后，新视角的视频播放起始时间需要叠加之前所有时间的停留时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。