一种地外行星表面环境重建与增强可视化方法及系统

技术领域

本发明属于深空探测技术领域，具体涉及一种基于深度学习的地外行星表面环境重建与增强可视化方法及系统。

背景技术

地外行星表面场景重建首先是利用无人探测车采集的立体像对，通过立体匹配算法恢复场景三维信息。根据匹配基元的不同，立体匹配算法可大致分为基于区域的匹配和基于特征的匹配两类。基于区域的匹配算法包括归一相关算法、图像匹配绝对值算法，以及Zabih提出是Rank算法和Census算法；基于特征的匹配首先使用Förstner算子、SIFT算子、SURF算子等提取特征点，然后采用核线约束、从粗到精策略和三角网约束等匹配策略实现密集点匹配。随着深度学习方法与计算机视觉、计算机图形学理论融合的深入，有研究人员提出了基于卷积神经网络的MC-CNN-acrt架构、基于编码器-解码器架构的DispNet以及端到端网络GC-Net。然而，尽管当前的立体匹配算法在场景重建方面已取得一定进展，但在处理地外行星表面复杂地貌、光照变化以及纹理缺乏的情况下可能表现不佳，导致重建结果的精度和可视化效果不尽如人意。

而在地外行星表面环境可视化过程中，地外行星表面的障碍物是一类独特而重要的地物。未能正确识别和规避障碍物可能导致探测车陷入困境、卡在地形障碍上或发生其他不可逆的损坏。因此，准确提取障碍物信息对确保探测车的顺利行进至关重要。当前，在计算机视觉领域，有许多研究人员实现了影像中给定目标的精确提取。其中目标检测方法有如YOLOv8、Efficientdet等，可以在二维图像中识别和定位不同类型的目标。语义分割算法如SegViT、SegFormer等，可以在影像中的每个像素都给予所代表目标的标签。但它们通常仅限于分析图像的表面信息。另一方面，在三维场景中对非地面物体进行提取的方法也有很多，比如点云分割方法PointNet++以及点云滤波方法CSF。这些方法适用于从传感器数据中提取非地面物体的三维形状和位置信息，但它们通常不包括图像信息的融合，因此忽略了与障碍物相关的纹理和外观特征。目前，缺乏融合二维影像和三维点云数据的方法，特别是适用于地外行星表面环境的障碍物提取。

发明内容

针对行星探测车导航相机所拍摄的地外行星表面图像数据，现有方法场景重建的质量欠缺和可视化效果不足的问题，本专利提出一种基于深度学习的地外行星表面环境重建与增强可视化方法及系统，可根据采集的立体像对数据进行实时场景重建并通过符合人类认知规律的方式进行增强可视化。

为了解决上述技术问题，本发明所设计的采用如下的技术方案：

首先，获取行星探测车导航相机所拍摄的地外行星表面立体像对数据，构建基于深度学习的立体匹配网络，进行表面环境重建；然后，基于重建表面环境的点云场景，提取地外行星表面的障碍物中心点。最后，依据中心点关键词，提出了一种基于SAM大模型的增强可视化方法，优化重建结果的可视化效果。

一种基于深度学习的地外行星表面环境重建与增强可视化方法，包括如下步骤：

步骤1，获取行星探测车导航相机所拍摄的可见光影像，经过彩色复原和彩色校正处理的地外行星表面彩色立体像对数据；构建实时立体匹配场景重建网络，将左右像对输入神经网络中获得重建场景；

步骤2，由立体匹配场景重建网络获得视差图后，根据投影关系将视差图恢复至三维空间获得点云；由地面滤波算法分割获得地外行星表面障碍物，如石块等。并重投影至二维影像获得二维中心点关键词。

步骤3，将中心点关键词作为SAM大模型的提示，从原始可见光影像中分割获得石块区域；根据人类对地球地形认知习惯结合深空探测任务需求，对可见光影像进行增强可视化，获取增强可视的地外行星表面场景图。

进一步地，步骤1中的立体匹配网络具体包括多尺度特征提取器、组合几何编码体、基于ConvGRU的更新算子和空间上采样模块组成。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，由立体匹配场景重建网络获得视差图后，根据投影关系将视差图计算得到深度图。深度图中的每个像素表示了该点的深度信息。计算公式如下：

其中，

步骤2.2，对于深度图中的每个像素

其中，

步骤2.3，采用CSF地面滤波算法过滤地面点云。CSF是一种基于布料模拟的机载激光雷达滤波方法。模拟布料节点与相应的激光雷达点之间的相互作用，可以确定布料节点的位置以生成地面的近似值。然后，通过比较原始激光雷达点和生成的表面，从激光雷达点云中提取地面点和非地面点。

步骤2.4，基于欧式聚类算法，对提取到的非地面点点云进行聚类，并计算每一类的中心点。通过将点云中聚类得到的地面障碍物中心点

其中，

进一步的，步骤3的具体实现包括如下子步骤：

进一步地，构建影像SAM大模型包含主要包含三个部分，分别是ViT-Tiny的轻量图像编码器、掩码解码器和关键词解码器。

优选地，对可见光影像进行增强可视化具体如下：

获得网络输出的左图像中每像素对应的视差，利用指数函数对预测的视差

d为原始视差，d’表示通过增强的视差，m为指数函数的指数值。过实验统计，指数

对增强视差图进行可视化，生成增强可视化结果。视差图采用颜色映射的方式将数组转为RGB影像，叠加显示在RGB影像中，得到增强可视化视差图。颜色映射方式可采用Jet映射。叠加的过程如公式：

公式中

对增强可视化视差图进行分割地面障碍物的增强显示。将由关键中心点分割得到的地面障碍物掩码以叠加显示到增强可视化的视差图上。与上一步不同，由于地面障碍物对地外行星探测器是非常致命的危险，所以这里采用替换的方式，由掩码区域生成对应的条纹叠加显示在增强图像中。

与现有技术相比，本发明具有以下优点和有益效果：

本发明以探测车双目导航相机采集图像数据为研究对象，针对其数据特点，提出了一种基于深度学习的地外行星表面环境重建与增强可视化方法。结合深度学习神经网络，实现对采集图像和数据的实时分析和处理，进行环境信息的重建。并结合场景重建信息，设计了一种基于SAM大模型的分割方法，对地外行星表面的障碍物进行提取。融合场景重建信息和障碍物提取信息对原始立体像对进行可视化增强。该方法可以较好针对地外行星地形地貌特点，充分考虑研究人员与用户的地球地形地貌认知习惯，对重建结果进行可视化增强和障碍物标注，从而实现更快速、准确的地外行星表面环境可视化。

附图说明

图1本发明实施例中流程图。

图2本发明实施例中立体匹配神经网络结构图。

图3本发明实施例中SAM大模型网络结构图。

图4本发明实施例中可视化增强流程图。

具体实施方式

以下结合附图和实施例对本发明技术方案进行说明。

实施例一

本实施例所设计的一种地外行星表面环境重建与增强可视化方法，选择嫦娥三号月球探测车双目导航相机采集图像数据为研究对象对本发明提出的方法进行具体说明。参见图1，本发明实施例包含以下步骤：

步骤1，获取行星探测车导航相机所拍摄的可见光影像，经过彩色复原和彩色校正处理的地外行星表面彩色立体像对数据；构建实时立体匹配场景重建网络，将左右像对输入神经网络中获得重建场景；

步骤2，由立体匹配场景重建网络获得视差图后，根据投影关系将视差图恢复至三维空间获得点云；由地面滤波算法分割获得外地行星表面障碍物，如石块等。并重投影至二维影像获得二维中心点关键词。

步骤3，将中心点关键词作为SAM大模型的提示，从原始可见光影像中分割获得石块区域；根据人类对地球地形认知习惯结合深空探测任务需求，对可见光影像进行增强可视化，获取增强可视的地外行星表面场景图。

进一步的，步骤1中的立体匹配网络具体包括多尺度特征提取器、组合几何编码体、基于ConvGRU的更新算子和空间上采样模块组成。

进一步的，步骤1中的特征提取器包含特征提取网络和上下文网络两个部分。在特征提取网络中，对于初始的左右像对

进一步的，对于步骤1中的组合几何编码体，以特征提取器中产生的左右像对的

其中，公式（1）中的

其中

进一步的，步骤1中的基于ConvGRU的更新算子。根据公式（3）从几何编码体积

其中

其中

其中

进一步的，步骤1中的空间上采样模块通过预测1/4分辨率下的视差

进一步的，步骤1中的立体匹配网络中的损失包含从GEV回归的初始视差

其中

其中γ=0.9，

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，由立体匹配场景重建网络获得视差图后，根据投影关系将视差图计算得到深度图。深度图中的每个像素表示了该点的深度信息。计算公式如下：

其中，

步骤2.2，对于深度图中的每个像素

其中，

步骤2.3，采用CSF地面滤波算法过滤地面点云。CSF是一种基于布料模拟的机载激光雷达滤波方法。模拟布料节点与相应的激光雷达点之间的相互作用，可以确定布料节点的位置以生成地面的近似值。然后，通过比较原始激光雷达点和生成的表面，从激光雷达点云中提取地面点和非地面点。

步骤2.4，基于欧式聚类算法，对提取到的非地面点点云进行聚类，并计算每一类的中心点。通过将点云中聚类得到的地面障碍物中心点

其中，

进一步的，步骤3的具体实现包括如下子步骤：

步骤3.1，构建影像SAM大模型包含主要包含三个部分，分别是ViT-Tiny的轻量图像编码器、掩码解码器和关键词解码器。

轻量级图像编码器由四个部分组成，逐渐降低分辨率。第一阶段由具有倒置残差的卷积块构成，而其余三个阶段由Transformer模块组成。在模型的开头，有2个步长为2的卷积块，用于对分辨率进行下采样。不同阶段之间的下采样操作由步长为2的卷积块处理。最后一个下采样卷积中的步长2设置为1，以使最终分辨率与ViT的分辨率相匹配。

关键词解码器针对投影生成的地面障碍物中心点进行编码。首先获得它的位置编码，然后根据它是前景还是背景生成已学习的一维向量特征。将位置编码和特征进行融合得到点的关键词特征。

由于原始SAM中的掩模解码器已经是轻量级的，专利采用其解码器架构。掩码解码器可以有效的将图像编码特征、中心点关键词提示特征和输出标记映射到掩码。解码器基于Transformer的解码器块修改，在解码器后添加了动态掩码预测头。解码器使用了提示自注意力和交叉注意力。完成后，对图像进行上采样再使用MLP将输出标记映射到动态线性分类器上，最终分割出图像中的地面障碍物。

步骤3.2，获得网络输出的左图像中每像素对应的视差，利用指数函数对预测的视差

d为原始视差，d’表示通过增强的视差，m为指数函数的指数值。过实验统计，确定在指数

步骤3.3，对增强视差图进行可视化，生成增强可视化结果。视差图采用颜色映射的方式将数组转为RGB影像，叠加显示在RGB影像中。根据经验，颜色映射方式可采用Jet映射。采用Jet映射，相较于其他颜色映射方式有更多的色彩变化，而且红-黄-蓝的色彩分布也更符合人类的认知感觉，近处的红色代表危险的需要重点关注的区域，而远处的区域光线较少采用较暗的蓝色。也符合地外行星探测器的运行规则，探测器运行时要注意周围的环境是否存在较大坡度、可通行障碍等。叠加的过程如公式（13）：

公式中

步骤3.4，对增强可视化视差图进行分割地面障碍物的增强显示。由于JET颜色映射包含红黄蓝等常见的色彩，且常用于标注危险信息的红色在图中已经使用。所以本专利采用红色条纹，将由关键中心点分割得到的地面障碍物掩码以叠加显示到增强可视化的视差图上。与上一步不同，由于地面障碍物对地外行星探测器是非常致命的危险，所以这里采用替换的方式，由掩码区域生成对应的条纹叠加显示在增强图像中。

利用嫦娥三号月球探测车双目导航相机采集图像数据，经过本发明方法处理之后，无人运行速度可在2秒内处理一对立体影像，并提供增强可视化产品。说明本发明可在实时的时间效率内提供快速、准确的地外行星表面环境可视化结果。并且在3D重建评估数据集ETH3D数据集上进行立体匹配，匹配结果的像素错误率低至3.6。

实施例二

基于同一发明构思，本方案还设计一种地外行星表面环境重建与增强可视化系统，包括三维重建模块，获取行星表面数据，重建行星表面场景；

中心点关键词获取模块，从重建场景中的视差数据获取三维空间点云；并分割获得行星地面上的障碍物，并重投影至二维影像获得二维中心点关键词；

增强可视化模块，将中心点关键词作为SAM大模型的提示，从原始可见光影像中分割获得石块区域；对深度图进行增强可视化，获取增强可视的地外行星表面场景图。

由于本发明实施例二所介绍的设备为实施本发明实施例一种地外行星表面环境重建与增强可视化系统，故而基于本发明实施例一介绍的方法，本领域所属技术人员能够了解该电子设备的具体结构及变形，故而在此不再赘述。

实施例三

基于同一发明构思，本发明还提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实施例一中所述的方法。

由于本发明实施例三所介绍的设备为实施本发明实施例一一种地外行星表面环境重建与增强可视化方法所采用的电子设备，故而基于本发明实施例一介绍的方法，本领域所属技术人员能够了解该电子设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一种方法所采用的电子设备都属于本发明所欲保护的范围。

实施例四

基于同一发明构思，本发明还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例一中所述的方法。

由于本发明实施例四所介绍的设备为实施本发明实施例一一种地外行星表面环境重建与增强可视化方法采用的计算机可读介质，故而基于本发明实施例一介绍的方法，本领域所属技术人员能够了解该电子设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一方法所采用的电子设备都属于本发明所欲保护的范围。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。