一种结合边界探索的自主隐式室内场景重建方法

技术领域

本发明涉及机器人领域，具体涉及一种结合边界探索的自主隐式室内场景重建方法。

背景技术

室内环境的建图对于各种应用至关重要，包括场景可视化、机器人导航以及增强和虚拟现实。近年来，灵活的空中无人机等机动性较强的航空器的出现，引发了对使用近距离航空影像进行场景重建的日益关注。

隐式神经表示在3D物体方面已经展现出很大的潜力，可用于场景重建、场景编辑以及机器人和自主系统。通过利用隐式表示的表达能力，自主系统能够在线重建3D环境并规划最优视角路径以进行数据采集。然而，最近的一些隐式自主重建方法采用基于最佳下一视角的贪婪规划策略，容易在重建大型场景时陷入局部最优解，导致场景覆盖不完整。

场景探索方法要求机器人实现对目标场景的最大覆盖，同时整合全局信息，避免陷入局部最小值。受到这些方法的启发，我们提出利用自主隐式重建流程中的全局信息。具体来说，我们将基于边界的探索任务与自主隐式重建任务相结合，充分发挥两种方法的优势，以提高重建的整体效率和功效。

然而，结合这两种方法面临两个主要挑战。首先，随着场景规模的扩大，采样更广泛范围的视角并计算每个视角的信息增益所需的成本随着场景体积增加而增加。其次，探索任务和重建任务的协调需要在效率和效果之间进行权衡。基于隐式表示生成重建任务的时间复杂度通常比生成探索任务的时间复杂度高出数倍，在每次规划迭代中包含重建任务将导致规划时间的增加，而在每次迭代中仅在探索任务和重建任务之间切换可能会导致表面质量较差，或在扫描过程中陷入局部最优解。

发明内容

针对上述现有技术的不足，本发明提供一种结合边界探索的自主隐式室内场景重建方法，目标是实现基于移动机器人平台的隐式场景表示，完成复杂室内场景的高精度三维重建，解决当前自主隐式重建系统容易陷入局部最优，场景覆盖不全的问题。

本发明的目的是通过以下技术方案实现的：一种结合边界探索的自主隐式室内场景重建方法，该方法包括以下步骤：

S1：对当前室内观测位置获得的RGBD图片与相机位姿进行同步，通过单目预测网络Omnidata获取单目深度和法向量先验；

S2：对隐式表示，采用隐式表面重建方法MonoSDF建立隐式表面模型，输入S1获得的已同步的RGB图片和位姿，以及获得的单目深度和法向量图，输出场景空间点颜色值和不确定度；

S3：对体素表示，将S1获得的已同步的深度图和位姿转换为三维点云，融合至栅格地图，更新栅格状态，同时更新欧式符号距离地图ESDF Map；

S4：利用S2建立的隐式表面模型，得到空间点的符号距离值SDF，提取隐式表面，同时使用S2中空间点的不确定度，得到隐式表面S顶点的不确定度σ；

S5：利用S3中体素记录的栅格状态和欧式符号距离地图，检测边界信息，生成探索任务；

S6：利用S4获得的隐式表面顶点的不确定度、S3中体素记录的栅格状态和欧式符号距离地图，检测重建不确定度超过阈值的表面顶点，生成重建任务；

S7：利用S3中体素记录的栅格状态获取边界信息，判断当前机器人局部区域覆盖状态，选择工作模式，包括基于探索任务的探索模式以及基于探索任务和重建任务的合并模式；

S8：在当前选择的工作模式下，将生成的任务变成非对称旅行商问题ATSP，获取经过这些任务的最短路径；

S9：将S8获取的最短路径用于机器人自主运动，在路径上采集多张图片加速隐式重建；重复S1-S9，直至隐式表示收敛，完成当前场景的隐式重建。

进一步地，步骤S2中不确定度的获取方式具体为：

将隐式表面模型预测的每个采样点的颜色值看作服从独立高斯分布的随机变量，方差越大代表该点的不确定度越大；隐式表面模型的损失函数L为：

L＝λ

其中：

这里L

进一步地，步骤S4中，根据MonoSDF精确的表面特征，能够快速提取表面并分析重建表面的不确定性，该过程包括以下两个步骤：

首先，将空间划分为

接着，利用符号距离值SDF结合零水平集Marching Cubes算法提取场景的隐式表面S及所有来自S的顶点；

其次，由于关注表面不确定性评估，简化了体渲染过程，不考虑朝向表面点的射线方向，并从MonoSDF的渲染网络C中获得每个表面点x

进一步地，步骤S5中生成探索任务具体为：

根据S3中维护的体素地图V＝V

进一步地，步骤S6中生成重建任务具体为：

根据S4获得的隐式表面顶点的不确定度，首先，对表面顶点降采样；接着，选择机器人当前位置局部区域的表面顶点，作为待扫描体素，利用待扫描体素的不确定度，从最大值开始，迭代聚类出N

进一步地，视角v的信息增益g(v)计算公式为：

其中，N

进一步地，步骤S7中工作模式的选择方法具体为：采用自适应的模式切换方法，当机器人局部区域内边界数以及局部区域内边界数与所有剩余边界数的比率均各自大于设定阈值时，说明需要探索许多未知区域，以探索任务为主导，采用探索模式；否则，同时规划探索和重建任务，采用合并模式，以重建更精细的细节，并避免陷入局部区域。

进一步地，步骤S8中将生成的任务变成非对称旅行商问题，具体为：

其中，d(T

进一步地，步骤S9中在路径上采集多张图片加速隐式重建，具体为：

选择执行T

本发明的有益效果是：

1、本发明采用基于单目RGB的隐式表面重建方法，可以同时获得较高的图片质量和结构质量，由于深度图仅用于规划，对其精度要求不高。

2、现有的自主隐式重建方法大多采用最佳下一视角方法规划视角和路径，这种贪婪的策略不能保证场景覆盖，在复杂室内场景很容易陷入局部最优，本发明通过引入全局边界信息，通过扫面边界达到对场景的完整覆盖。

3、随着场景尺寸的扩大，对更广范围的视角进行采样和计算每个视角信息增益所需的开销，随着场景体积增加而增加。本发明评估表面质量，仅采样覆盖低质量表面的视角，并对视角中的表面不确定性进行求和，该方法将基于3D体积的复杂度降低到基于2D表面的复杂度。

4、由于探索任务和重建任务的协调需要在效率和效果之间进行权衡，本发明基于当前局部区域内边界数量，提出一种自适应模式切换方法。当一个代理进入新的区域时，主要执行探索任务；当对该区域有了初步概览时，会加入重建任务以便更专注于细节，从而以较低的时间成本达到高质量重建。

5、本发明设计了一种通用的ATSP规划器，可用于探索模式和合并模式下的任务规划。

6、本发明适用于任意形式的神经隐式表面表示。

7、本发明可用于真实室内场景的自主三维重建，并已成功部署。

附图说明

图1为本发明实施例中一种结合边界探索的自主隐式室内场景重建方法的架构图；

图2为本发明实施例中不同规划方法的重建几何结构对比图；

图3为本发明实施例中不同方法规划轨迹对比图；

图4为本发明实施例中真实场景部署效果图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

如图1所示，在本实施例中，提供了结合边界探索的自主隐式室内场景重建方法，实验场景为多个房间室内场景，该方法的实现包括以下步骤：

S1：对当前室内观测位置获得的RGBD图片与相机位姿进行同步，通过单目预测网络Omnidata获取单目深度和法向量先验；具体为：

对于仿真环境，Unity引擎渲染指定位姿视角的图片，对于真实场景，通过Droid-SLAM估计位姿。Droid-SLAM是一个基于深度学习的SLAM系统，具有高精度、高鲁棒性、强通用性等优点。Omnidata是一个视觉数据生成网络，通过输入单目RGB图像，可以预测深度图、法向量、语义信息等。

S2：对隐式表示，采用隐式表面重建方法MonoSDF建立隐式表面模型，输入步骤S1获得的已同步的RGB图片和位姿，以及获得的单目深度和法向量图，输出场景空间点颜色值、不确定度；具体为：

将隐式表面模型预测的每个采样点的颜色值看作服从独立高斯分布的随机变量，方差越大代表该点的不确定度越大；隐式表面模型的损失函数L为：

L＝λ

其中：

这里L

S3：对体素表示，将S1获得的已同步的深度图和位姿转换为三维点云，融合至栅格地图，更新栅格状态，同时更新欧式符号距离地图ESDF Map。

S4：利用S2建立的隐式表面模型，得到空间点的符号距离值SDF，提取隐式表面，同时使用S2中空间点的不确定度，得到隐式表面S顶点的不确定度σ；

具体地，根据MonoSDF精确的表面特征，能够快速提取表面并分析重建表面的不确定性，该过程包括以下两个步骤：

首先，将空间划分为

接着，利用符号距离值SDF结合零水平集Marching Cubes算法提取场景的隐式表面S及所有来自S的顶点；零水平集Marching Cubes算法是一种用于从三维体数据(比如体素网格中的SDF值)中生成三维表面的计算机图形学算法；

其次，由于关注表面不确定性评估，简化了体渲染过程，不考虑朝向表面点的射线方向，并从MonoSDF的渲染网络C中获得每个表面点x

S5：利用S3中体素记录的栅格状态和欧式符号距离地图检测边界信息，生成探索任务；具体为：

探索任务

为了更有效地探索未知区域，选择能够为边界提供更好覆盖的视角作为探索任务。具体来说，首先从维护的体素地图V＝V

最后，对于每个边界类F

S6：利用S4获得的隐式表面顶点的不确定度、S3中体素记录的栅格状态和欧式符号距离地图，检测重建不确定度超过阈值的表面顶点，生成重建任务；具体为：

重建任务

为了提高检测低不确定度表面顶点的效率，通过对表面S上的顶点进行N

假设机器人当前位置为p

对于每个表面类U

为了从这些候选视角中选择重建任务，定义视角v的信息增益g(v)为：

其中，N

信息增益仅集成二维表面上的点。表面不确定性和表面几何形状也有助于减少视角采样空间。然后，选择具有最高信息增益的视角

S7，利用S3中体素记录的栅格状态获取边界信息，判断当前机器人局部区域覆盖状态，选择工作模式，包括基于探索任务的探索模式以及基于探索任务和重建任务的合并模式；具体为：

正如前文所述，探索和重建任务的分配面临效率和功效之间的权衡挑战。为了解决这些挑战，设计了一种切换模式的方法来规划视角路径，以实现规划效率和高重建质量的双赢：当需要探索许多未知区域时，探索任务占主导地位；否则，会同时规划探索和重建任务，以重建更精细的细节，并避免陷入局部区域。

具体来说，切换条件取决于以下两个因素：1)当前机器人位置p

S8，在当前选择的工作模式下，将生成的任务变成非对称旅行商问题，获取经过这些任务的最短路径，具体为：

其中，d(T

S9，将S8获取的最短路径用于机器人自主运动，在路径上采集多张图片加速隐式重建；重复S1-S9，直至隐式表示收敛，完成当前场景的隐式重建；具体为：

随着任务的执行，地图状态会更新。选择执行T

图2展示了不同规划方法的重建几何结构对比图，图3展示了不同规划方法的轨迹，图4展示了真实环境中的无人机自主三维重建系统部署。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。