基于倾斜摄影与全景视频融合的实景三维重建方法及系统

技术领域

本发明属于三维重建领域，尤其涉及一种基于倾斜摄影与全景视频融合的实景三维重建方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着行业应用的不断升级，传统地理信息作为智慧城市建设基本元素的局限性也日益突出，国内很多城市建设三维地理数据是基于已有的测绘成果数据，将采集来的地表和建筑物信息通过电脑建模，生成城市的三维模型。但这种传统手工建模的三维数据建设，周期长、精度低，应用效果有很大局限性。鉴于智慧城市对城市三维建模的巨大需求，以及三维技术的日渐成熟，倾斜摄影已成为智慧城市中三维地理空间信息获取的重要手段。发明人发现，虽然倾斜摄影测量技术构建的模型客观真实，但是需要采集大量数据，且处理时间长，无法实时显示三维场景。全景视频是通过360°全景摄像机拍摄，经过视频拼接算法，实时将静态的全景图片转化为动态的视频图像。全景视频拍摄可以实时记录周围所发生的一切，并且通过立体的方式展现出来，但全景视频只能查看到局部区域的场景，无法实现宏观上的三维可视化。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于倾斜摄影与全景视频融合的实景三维重建方法及系统，其通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，能够生成具备静态信息与动态信息的三维实景。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于倾斜摄影与全景视频融合的实景三维重建方法。

一种基于倾斜摄影与全景视频融合的实景三维重建方法，其包括：

基于目标场景的倾斜摄影数据，构建目标场景的初始三维模型；

获取目标场景的全景视频，建立全景视频帧与初始三维模型的仿射变换关系；

根据观测视角选取全景视频帧的局部区域，再通过仿射变换关系对全景视频的角度进行调整，将全景视频帧的局部区域投影嵌套到初始三维模型中，实时输出具备静态信息与动态信息的实景三维模型。

作为一种实施方式，基于全景视频与初始三维模型的共有特征来建立全景视频帧与初始三维模型的仿射变换关系。

上述技术方案的优点在于，利用共有特征能够准确地获取全景视频帧与初始三维模型的仿射变换关系，从而提高全景视频帧的局部区域投影嵌套到初始三维模型的准确性，最终输出准确地实时实景三维模型。

作为一种实施方式，通过特征点匹配来查找全景视频与初始三维模型的共有特征。

上述技术方案的优点在于，这样能够提高查找速度，从而提高实时实景三维模型的效率。

作为一种实施方式，目标场景的倾斜摄影数据包括采用目标场景的倾斜图像、GPS观测数据以及像控点。

作为一种实施方式，基于目标场景的倾斜摄影数据，通过Smart3D/StreetFactory自动构建目标场景的初始三维模型。

作为一种实施方式，对目标场景的初始三维模型中有偏差的区域进行优化。

作为一种实施方式，目标场景的全景视频由多视角的视频融合而成。

本发明的第二个方面提供一种基于倾斜摄影与全景视频融合的实景三维重建系统。

一种基于倾斜摄影与全景视频融合的实景三维重建系统，其包括：

初始三维模型构建模块，其基于目标场景的倾斜摄影数据，构建目标场景的初始三维模型；

仿射变换关系建立模块，其用于获取目标场景的全景视频，建立全景视频帧与初始三维模型的仿射变换关系；

实景三维模型实时输出模块，其用于根据观测视角选取全景视频帧的局部区域，再通过仿射变换关系对全景视频的角度进行调整，将全景视频帧的局部区域投影嵌套到初始三维模型中，实时输出具备静态信息与动态信息的实景三维模型。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于倾斜摄影与全景视频融合的实景三维重建方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于倾斜摄影与全景视频融合的实景三维重建方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明基于倾斜摄影与全景视频融合方法，解决了传统意义上的倾斜摄影测量技术数据处理时间长，而且无法实时显示三维场景以及单一的全景视频可以实时显示局部的三维场景，无法提供丰富的三维大场景信息的问题，通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，生成具备静态信息与动态信息的三维实景，通过提供实时的场景信息，为安防监控、智慧城市、无人驾驶及工业自动化等业务提供了重要实景信息支持。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的实景三维重建流程图；

图2是本发明实施例的倾斜摄影模型与全景视频融合流程图；

图3是本发明实施例的倾斜摄影模型与全景视频融合效果图1；

图4是本发明实施例的倾斜摄影模型与全景视频融合效果图2。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

如图1和图2所示，本实施例的基于倾斜摄影与全景视频融合的实景三维重建方法，其包括：

S101：基于目标场景的倾斜摄影数据，构建目标场景的初始三维模型。

在具体实施中，可先通过无人机搭载五目倾斜相机对目标场景进行全域拍摄，例如：地面分辨率小于5厘米。

再利用航摄成果、GPS观测数据、像控点进行空中三角测量工作；

进一步通过Smart3D/Street Factory进行自动三维模型建立；

最后对有偏差的区域再通过3Dmax工具进行优化。

此处需要说明的是，获取目标场景的倾斜摄影数据的设备除了五目倾斜相机之外，也可为其他现有的倾斜摄影设备。

构建目标场景的初始三维模型的工具除了Smart3D/Street Factory之外，也可采用其他现有的三维模型构建工具来实现。

S102：获取目标场景的全景视频，建立全景视频帧与初始三维模型的仿射变换关系。

在具体实施中，通过自有场景仪中的多视角摄像头获取各个位置的全景视频流。

需要说明的是，本实施例中采用获取三维模型及全景视频的方式只是本一个优选实施例，通过其他方式获取三维模型及全景视频，并不影响本发明的实质。

S103：根据观测视角选取全景视频帧的局部区域，再通过仿射变换关系对全景视频的角度进行调整，将全景视频帧的局部区域投影嵌套到初始三维模型中，实时输出具备静态信息与动态信息的实景三维模型。

作为一种具体实施方式，基于全景视频与初始三维模型的共有特征来建立全景视频帧与初始三维模型的仿射变换关系。

本实施例利用共有特征能够准确地获取全景视频帧与初始三维模型的仿射变换关系，从而提高全景视频帧的局部区域投影嵌套到初始三维模型的准确性，最终输出准确地实时实景三维模型。

具体地，通过特征点匹配来查找全景视频与初始三维模型的共有特征。这样能够提高查找速度，从而提高实时实景三维模型的效率。

此处需要说明的是，本实施例的全景视频可采用多帧全景图片或是球幕视频来实现，并不影响本发明的实质。

倾斜摄影模型与全景视频融合效果，如图3和图4所示。

本实施例提出的基于倾斜摄影与全景视频融合方法，能够通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，生成具备静态信息与动态信息的三维实景，通过提供实时的场景信息，为安防监控、智慧城市、无人驾驶及工业自动化等业务提供重要实景信息支持。

实施例二

本实施例提供了一种基于倾斜摄影与全景视频融合的实景三维重建系统，其包括：

(1)初始三维模型构建模块，其基于目标场景的倾斜摄影数据，构建目标场景的初始三维模型。

在具体实施中，可先通过无人机搭载五目倾斜相机对目标场景进行全域拍摄，例如：地面分辨率小于5厘米。

再利用航摄成果、GPS观测数据、像控点进行空中三角测量工作；

进一步通过Smart3D/Street Factory进行自动三维模型建立；

最后对有偏差的区域再通过3Dmax工具进行优化。

此处需要说明的是，获取目标场景的倾斜摄影数据的设备除了五目倾斜相机之外，也可为其他现有的倾斜摄影设备。

构建目标场景的初始三维模型的工具除了Smart3D/Street Factory之外，也可采用其他现有的三维模型构建工具来实现。

(2)仿射变换关系建立模块，其用于获取目标场景的全景视频，建立全景视频帧与初始三维模型的仿射变换关系。

在具体实施中，通过自有场景仪中的多视角摄像头获取各个位置的全景视频流。

需要说明的是，本实施例中采用获取三维模型及全景视频的方式只是本一个优选实施例，通过其他方式获取三维模型及全景视频，并不影响本发明的实质。

(3)实景三维模型实时输出模块，其用于根据观测视角选取全景视频帧的局部区域，再通过仿射变换关系对全景视频的角度进行调整，将全景视频帧的局部区域投影嵌套到初始三维模型中，实时输出具备静态信息与动态信息的实景三维模型。

作为一种具体实施方式，基于全景视频与初始三维模型的共有特征来建立全景视频帧与初始三维模型的仿射变换关系。

本实施例利用共有特征能够准确地获取全景视频帧与初始三维模型的仿射变换关系，从而提高全景视频帧的局部区域投影嵌套到初始三维模型的准确性，最终输出准确地实时实景三维模型。

具体地，通过特征点匹配来查找全景视频与初始三维模型的共有特征。这样能够提高查找速度，从而提高实时实景三维模型的效率。

此处需要说明的是，本实施例的全景视频可采用多帧全景图片或是球幕视频来实现，并不影响本发明的实质。

倾斜摄影模型与全景视频融合效果，如图3和图4所示。

本实施例提出的基于倾斜摄影与全景视频融合方法，能够通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，生成具备静态信息与动态信息的三维实景，通过提供实时的场景信息，为安防监控、智慧城市、无人驾驶及工业自动化等业务提供重要实景信息支持。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于倾斜摄影与全景视频融合的实景三维重建方法中的步骤。

本实施例提出的基于倾斜摄影与全景视频融合方法，能够通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，生成具备静态信息与动态信息的三维实景，通过提供实时的场景信息，为安防监控、智慧城市、无人驾驶及工业自动化等业务提供重要实景信息支持。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于倾斜摄影与全景视频融合的实景三维重建方法中的步骤。

本实施例提出的基于倾斜摄影与全景视频融合方法，能够通过将倾斜摄影获取的三维模型与多组的全景视频进行嵌套组合显示，生成具备静态信息与动态信息的三维实景，通过提供实时的场景信息，为安防监控、智慧城市、无人驾驶及工业自动化等业务提供重要实景信息支持。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。