用于大规模场景重建的深度图优化方法、装置及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及用于大规模场景重建的深度图优化方法、装置及存储介质。

背景技术

传统的基于深度图融合的方法在某些环境下获得了相对较高的精度，但由于在实现的过程中严重依赖纹理环境来计算照片的一致性，在对弱纹理的物理场景进行深度融合的时候会发生融合度不高的问题，例如在对具有大量玻璃材质的建筑和水面，传统的深度图融合方法不能满足高精度融合的需求。

目前，如何对若纹理区域进行重建，是亟需解决的问题。

发明内容

本申请实施例通过提供一种用于大规模场景重建的深度图优化方法，解决了现有技术中对若纹理区域的融合度不高的问题，实现了对于弱纹理区域的深度图能够对缺失处的填补，有效的对大型室外场景进行重建。

第一方面，本发明实施例提供了用于大规模场景重建的深度图优化方法，该方法包括：

对N张多视角图像进行预处理，确定每张所述多视角图像的深度估计范围；

选取N张所述多视角图像中的一张图像作为参考图像和M张图像作为源图像，其中M

根据所述参考图像的深度估计范围和所述源图像的深度估计范围，确定参考图像初始深度图和确定参考图像初始深度置信度图；

根据所述参考图像初始深度置信度图计算所述参考图像中像素点的置信度掩码值；

根据所述置信度掩码值，对所述参考图像初始深度图中每个像素点的深度值进行优化，确定优化深度图；

对所述优化深度图进行滤波，确定深度图。

结合第一方面，在一种可能的实现方式中，所述对N张多视角图像进行预处理，包括：

采用递增式运动恢复结构算法估计深度范围；

选取用于立体匹配的图像。

结合第一方面，在一种可能的实现方式中，所述确定参考图像初始深度图，包括：

计算所述参考图像中的每个像素点在参考视角的深度方向上的采样数量；

根据所述采样数量计算所述像素点的初始深度值，并确定参考图像初始深度图。

结合第一方面，在一种可能的实现方式中，所述确定参考图像初始深度置信度图，包括：

计算所述参考图像中每个像素点对应M张所述源图像的中像素点的匹配相关度值，确定所述参考图像中每个像素点的多个匹配相关度值；

对M张所述源图像的中每个像素点的多个所述匹配相关度值，计算均值，确定所述参考图像的每个像素点的初始深度置信度值；

根据所述参考图像的每个像素点的初始深度置信度值，确定所述参考图像初始深度置信度图。

结合第一方面，在一种可能的实现方式中，所述计算所述参考图像中像素点的置信度掩码值，包括：

确定约束条件为包括深度约束、平滑约束和法线约束，并确定目标函数；

根据所述参考图像的初始深度置信度图，计算所述参考图像中像素点的置信度掩码值；

所述参考图像中像素点的置信度掩码值用于计算所述目标函数最小值；

确定所述目标函数最小值为所述参考图像中像素点的优化深度值。

结合第一方面，在一种可能的实现方式中，所述对所述优化深度图进行滤波，包括：采用迭代滤波方法进行深度图滤波。

第二方面，本发明实施例提供了用于大规模场景重建的深度图优化装置，该装置包括：

深度范围估计模块，用于对N张多视角图像进行预处理，确定每张所述多视角图像的深度估计范围；

图像选取模块，用于选取N张所述多视角图像中的一张图像作为参考图像和M张图像作为源图像，其中M

初始深度图和初始深度置信度图确定模块，用于根据所述参考图像的深度估计范围和所述源图像的深度估计范围，确定参考图像初始深度图和确定参考图像初始深度置信度图；

置信度掩码确定模块，用于根据所述参考图像初始深度置信度图计算所述参考图像中像素点的置信度掩码值；

优化深度图确定模块，用于根据所述置信度掩码值，对所述参考图像初始深度图中每个像素点的深度值进行优化，确定优化深度图；

深度图确定模块，用于对所述优化深度图进行滤波，确定深度图。

结合第二方面，在一种可能的实现方式中，所述深度范围估计模块，用于采用递增式运动恢复结构算法估计深度范围；

选取用于立体匹配的图像。

结合第二方面，在一种可能的实现方式中，所述初始深度图和初始深度置信度图确定模块，用于计算所述参考图像中的每个像素点在参考视角的深度方向上的采样数量；

根据所述采样数量计算所述像素点的初始深度值，并确定参考图像初始深度图。

结合第二方面，在一种可能的实现方式中，所述初始深度图和初始深度置信度图确定模块，用于计算所述参考图像中每个像素点对应M张所述源图像的中像素点的匹配相关度值，确定所述参考图像中每个像素点的多个匹配相关度值；

对M张所述源图像的中每个像素点的多个所述匹配相关度值，计算均值，确定所述参考图像的每个像素点的初始深度置信度值；

根据所述参考图像的每个像素点的初始深度置信度值，确定所述参考图像初始深度置信度图。

结合第二方面，在一种可能的实现方式中，所述置信度掩码确定模块，用于确定约束条件为包括深度约束、平滑约束和法线约束，并确定目标函数；

根据所述参考图像的初始深度置信度图，计算所述参考图像中像素点的置信度掩码值；

所述参考图像中像素点的置信度掩码值用于计算所述目标函数最小值；

确定所述目标函数最小值为所述参考图像中像素点的优化深度值。

结合第二方面，在一种可能的实现方式中，所述深度图确定模块，用于采用迭代滤波方法进行深度图滤波。

第三方面，本发明实施例提供了用于大规模场景重建的深度图优化服务器，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机可执行指令；

所述处理器用于执行所述计算机可执行指令，以实现第一方面所提供的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，计算机执行所述可执行指令时能够实现以实现第一方面所提供的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明实施例通过采用了用于大规模场景重建的深度图优化方法，该方法包括，对N张多视角图像进行预处理，确定每张多视角图像的深度估计范围；选取N张多视角图像中的一张图像作为参考图像和M张图像作为源图像，其中M

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的用于大规模场景重建的深度图优化方法的步骤流程图；

图2为本申请实施例提供的用于大规模场景重建的深度图优化方法中图像进行预处理步骤流程图；

图3为本申请实施例提供的用于大规模场景重建的深度图优化方法中确定初始深度图步骤流程图；

图4为本申请实施例提供的用于大规模场景重建的深度图优化方法中确定初始深度置信度图；

图5为本申请实施例提供的用于大规模场景重建的深度图优化方法中的置信度掩码值计算步骤流程图；

图6为本申请实施例提供的用于大规模场景重建的深度图优化装置示意图；

图7为本申请实施例提供的用于大规模场景重建的深度图优化服务器示意图；

图8A为本申请实施例提供的用于大规模场景重建的深度图优化方法中的输入图像；

图8B为本申请实施例提供的用于大规模场景重建的深度图优化方法中的初始深度图；

图8C为本申请实施例提供的用于大规模场景重建的深度图优化方法中的置信度掩码图；

图8D为本申请实施例提供的用于大规模场景重建的深度图优化方法中的表面法线图；

图8E为本申请实施例提供的用于大规模场景重建的深度图优化方法中的优化后的深度图；

图8F为本申请实施例提供的用于大规模场景重建的深度图优化方法中的融合后的点云图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在大规模的室外场景中，由于弱纹理区域的照片一致性测量误差较大，传统的基于深度融合的方法，严重依赖纹理环境来计算照片的一致性，因此对很多弱纹理物体的场景，例如，具有大量玻璃材质的建筑和水面，原有的深度融合方法往往导致重建不完整，本大明提出的方法，该方法将非均匀和有噪声的深度图作为输入，分别优化各深度图，在优化过程中，首先使用基于深度学习的方法估计初始深度图和置信编码并各深度图，然后使用与其相邻深度图的深度一致性验证来过滤每个深度图，这个深度图优个集合滤波步骤被反复执行，直到深度点收敛为止。

本发明实施例提供了用于大规模场景重建的深度图优化方法，如图1所示该方法包括以下步骤：

步骤S101，对N张多视角图像进行预处理，确定每张多视角图像的深度估计范围。

步骤S102，选取N张多视角图像中的一张图像作为参考图像和M张图像作为源图像，其中M

步骤S103，根据参考图像的深度估计范围和源图像的深度估计范围，确定参考图像初始深度图和确定参考图像初始深度置信度图。

步骤S104，根据参考图像初始深度置信度图计算参考图像中像素点的置信度掩码值。

步骤S105，根据置信度掩码值，对参考图像初始深度图中每个像素点的深度值进行优化，确定优化深度图。

步骤S106，对优化深度图进行滤波，确定深度图。

在上述的步骤中，克服了传统的基于深度融合的方法在某些环境下深度融合精度不高的问题，加入参考图像像素点的置信度值来对像素点的深度值进行优化，实现了对于弱纹理区域的深度图能够对缺失处的填补，有效的对大型室外场景进行重建。

结合第一方面，在一种可能的实现方式中，对N张多视角图像进行预处理，如图2所示包括以下步骤：

步骤S201，采用递增式运动恢复结构算法估计深度范围。

步骤S202，选取用于立体匹配的图像。

在上述的步骤S201中，首先对同一区域的N长多视角图像进行预处理，采用递增式运动恢复算法估计相机内外参数并得到每张图像上每个像素点的深度估计范围[d

结合第一方面，在一种可能的实现方式中，确定参考图像初始深度图，如图3所示包括以下步骤：

步骤S301，计算参考图像中的每个像素点在参考视角的深度方向上的采样数量。

步骤S302，根据采样数量计算像素点的初始深度值，并确定参考图像初始深度图。

在实行步骤S301之前，根据步骤S101中的特征点匹配，将N张多视角图像进行分组，特征点匹配度越高，成为一组的可能性越大，在对N张都进行畸变校正。

在步骤S301中，选择分组后的一组中的一张图片作为参考图像，分组中其余的图像作为源图像。

参考图像中的像素点在源图像中的像素点深度方向上的采样数量D

其中，dmin表示参考图像中某像素点的深度最小值；dmax表示表示参考图像中某该像素点的深度最大值；ρ表示源图像中对应像素点投影到水平坐标系中的距离最下值。

参考图像的初始深度值D

其中，dmin表示参考图像中某像素点的深度最小值；dmax表示表示参考图像中某该像素点的深度最大值；D

结合第一方面，在一种可能的实现方式中，参考图像初始深度置信度图，如图4所示包括以下步骤：

步骤S401，计算参考图像中每个像素点对应M张源图像的中像素点的匹配相关度值，确定参考图像中每个像素点的多个匹配相关度值。

步骤S402，对M张源图像的中每个像素点的多个匹配相关度值，计算均值，确定参考图像的每个像素点的初始深度置信度值。

步骤S403，根据参考图像的每个像素点的初始深度置信度值，确定参考图像初始深度置信度图。

在步骤S401中，计算参考图像中每个像素的多个匹配相关度值的是用于归一匹配目标之间的相关度。通过在参考图像I

其中，I

在本申请的方法中，为了提高效率，可以在计算的过程中M源图像和一张参考图像中的匹配像素点的NCC平均值作为参考图像中对应的深度置信值。即为：

其中，p表示参考图像中待求深度置信值的像素点，

结合第一方面，在一种可能的实现方式中，计算参考图像中像素点的置信度掩码值，如图5所示包括以下步骤：

步骤S501,确定约束条件为包括深度约束、平滑约束和法线约束，并确定目标函数。

步骤S502，根据参考图像的初始深度置信度图，计算参考图像中像素点的置信度掩码值。

步骤S503，参考图像中像素点的置信度掩码值用于计算目标函数最小值。

步骤S504，确定目标函数最小值为参考图像中像素点的优化深度值。

在本申请中，在实行步骤S501之前，训练一个基于计算机视觉组（VisualGeometry Group，VGG）的全卷积网络，该网络带有对称编码和解码器，用于从所有图像中预测每个像素的表面法线。在步骤S501中，定义一个方程组来完成优化后深度图的绘制，目标函数定义为三个约束条件的加权和，约束条件分别为深度约束、平滑约束和法线约束。

在深度约束E

平滑约束E

法线约束E

在步骤S502中，MVS计算的深度图不可避免地包含噪声、异常和大孔洞，尤其是在较弱的纹理区域，因此直接对MVS深度图进行补全很难达到理想的效果。针对这一问题，根据MVS的输出置信度设计了一个置信度掩码，并加入深度约束E

其中，

当像素点的置信度大于

在步骤S501中的目标函数为：

其中，

结合第一方面，在一种可能的实现方式中，对优化深度图进行滤波，包括：采用迭代滤波方法进行深度图滤波。

在对参考图像中所有的像素点的初始深度值进行优化计算后，确定优化深度图。对优化深度提进行进一步的过滤。对于参考图像I

所有保留的深度点都已在过滤过程中进行交叉验证，这意味着它们在相邻图像中是一致的，因此将新添加的像素点的置信度掩码值设置为1，新生成的像素带点将被附近的像素点用来构建平滑约束条件，这将有助于这些像素点产生更精确的深度值。所以重复这个补全和过滤过程，直到点云中的点数变得稳定。而直接比较点云中的点数是多余的，因为需要额外的融合步骤。计算每次迭代后优化深度图中平均像素点数的增长率，如果平均像素点数

第二方面，本发明实施例提供了用于大规模场景重建的深度图优化装置600，如图6所示，该装置包括：深度范围估计模块601、图像选取模块602、初始深度图和初始深度置信度图确定模块603、置信度掩码确定模块604、优化深度图确定模块605、深度图确定模块606。

深度范围估计模块601，用于对N张多视角图像进行预处理，确定每张多视角图像的深度估计范围；采用递增式运动恢复结构算法估计深度范围，选取用于立体匹配的图像。

图像选取模块602，用于选取N张多视角图像中的一张图像作为参考图像和M张图像作为源图像，其中M

初始深度图和初始深度置信度图确定模块603，根据参考图像的深度估计范围和源图像的深度估计范围，确定参考图像初始深度图和参考图像初始深度置信度图；计算参考图像中的每个像素点在参考视角的深度方向上的采样数量；根据采样数量计算像素点的初始深度值，并确定参考图像初始深度图。计算参考图像中每个像素点对应M张源图像的中像素点的匹配相关度值，确定参考图像中每个像素点的多个匹配相关度值；对M张源图像的中每个像素点的多个匹配相关度值，计算均值，确定参考图像的每个像素点的初始深度置信度值；根据参考图像的每个像素点的初始深度置信度值，确定参考图像初始深度置信度图。

置信度掩码确定模块604，用于根据参考图像初始深度置信度图计算参考图像中像素点的置信度掩码值；确定约束条件为包括深度约束、平滑约束和法线约束，并确定目标函数；根据参考图像的初始深度置信度图，计算参考图像中像素点的置信度掩码值；参考图像中像素点的置信度掩码值用于计算目标函数最小值；确定目标函数最小值为参考图像中像素点的优化深度值。

优化深度图确定模块605，用于根据置信度掩码值，对参考图像初始深度图中每个像素点的深度值进行优化，确定优化深度图。

深度图确定模块606，用于对优化深度图进行滤波，确定深度图；用于采用迭代滤波方法进行深度图滤波。

第三方面，本发明实施例提供了用于大规模场景重建的深度图优化服务器，如图7所示包括存储器701和处理器702；存储器701用于存储计算机可执行指令；处理器702用于执行计算机可执行指令，以实现上述所提供的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有可执行指令，计算机执行可执行指令时能够实现上述的方法。

在本申请的一个具体的实施例中，图8A为具体的输入图像，图8B为初始深度图，图8C为置信度掩码图，图8D为表面法线图，图8E为优化后的深度图，图8F为融合后的点云图。

上述存储介质包括但不限于随机存取存储器（英文：Random Access Memory；简称：RAM）、只读存储器（英文：Read-Only Memory；简称：ROM）、缓存（英文：Cache）、硬盘（英文：Hard Disk Drive；简称：HDD）或者存储卡（英文：Memory Card）。所述存储器可以用于存储计算机程序指令。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照本实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。

本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（英文：Application Specific Integrated Circuit；简称：ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip pIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，移动终端，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络pC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上实施例仅用以说明本申请的技术方案，而非对本申请限制；尽管参照前述实施例对本申请进行了详细的说明，本领域普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请技术方案的范围。