一种基于深度学习的浑浊水体中激光深度图重建方法

技术领域

本发明涉及激光雷达深度图计算领域，特别涉及一种基于深度学习的浑浊水体中激光深度图重建方法。

背景技术

深度图一般是灰度图，像素灰度值代表真实场景距离摄像机的远近。深度图信息在计算视觉、目标检测、遥感测绘以及电影游戏等方面具有重要的应用。现有技术大多采用RGB-D系统重建深度图，但是对于水下浑浊环境，被动观测数据的可探测深度低，可探测距离大大受限。激光雷达相比于可见光相机，可快速获得高距离分辨率的空间信息，从而广泛应用于遥感测绘和自动驾驶等领域。然而基于激光雷达点云的深度图重建在应用于水下探测时，受到浑浊水体的干扰，会发生难以避免的激光多次散射和折射效应，导致深度图重建结果参数较大偏差。

发明内容

本发明的目的在于提供一种基于深度学习的浑浊水体中激光深度图重建方法，通过结合可见光图像数据、激光雷达散射截面截面数据，基于多模态数据融合和深度学习技术，搭建用于快速求解目标全空间激光雷达散射界面的方法框架，为有限测量条件下获取目标全空间激光观测特性，提供一条可行的技术途径。

为实现上述目的，本发明通过以下技术方案实现：

一种基于深度学习的浑浊水体中激光深度图重建方法，包括步骤：

S1、将观测目标分别置于空气介质和浑浊水体中，采集神经网络训练数据；

S2、基于所述神经网络训练数据，对基于生成对抗模型的生成式神经网络进行训练，获得激光深度图重建模型；

S3、采集观测目标的激光雷达点云数据及实测时的水体信息、观测视角，输入所述激光深度图重建模型，获取重建激光深度图。

可选的，步骤S1中，

所述神经网络训练数据包括不同水体信息的各相同观测视角的空气介质深度图和浑浊水体深度图组成的匹配数据集。

可选的，步骤S1包括：

S11、将所述观测目标置于空气介质中，采集所述观测目标的不同观测视角的激光雷达点云数据，将各观测视角的激光雷达点云数据分别转化为空气介质深度图，存储各所述空气介质深度图及其对应的观测视角；

S12、将所述观测目标置于浑浊水体中，按照步骤S11中的各观测视角分别采集所述观测目标的激光雷达点云数据，将各观测视角的激光雷达点云数据分别转化为浑浊水体深度图，存储各所述浑浊水体深度图及其对应的水体信息和观测视角；

S13、改变浑浊水体的水体信息；

S14、重复步骤S11到S13，直至所述水体信息的分布覆盖实际应用场景的典型值时停止循环，生成神经网络训练数据。

可选的，所述激光雷达点云数据转化为深度图是通过将激光雷达点云数据中的各时间信息基于ToF方法转化为对应的距离信息实现的。

可选的，所述水体信息为浑浊水体的吸收系数和散射系数。

可选的，步骤S2包括：

S21、将所述水体信息和观测角度作为条件向量，将各所述浑浊水体深度图作为输入图像，将各所述空气介质深度图作为目标图像，输入所述生成式神经网络；

S22、以所述目标图像和所述生成式神经网络的输出图像的均方误差作为目标损失函数；

S23、通过同步训练生成对抗网络中的生成器和判别器的方式，降低目标损失函数，直至所述输出图像与目标图像之间的误差小于预设值，获得所述激光深度图重建模型。

可选的，步骤S3包括：

S31、对于处在浑浊水体中的观测目标进行实测，通过激光雷达获取实测激光雷达点云数据；

S32、将所述实测激光雷达点云数据转化为带有误差的深度图；

S33、记录实测时的水体信息和观测视角，转化成条件向量；

S34、将带有误差的深度图和条件向量输入所述激光深度图重建模型，生成重建激光深度图。

综上所述，与现有技术相比，本发明提供的一种基于深度学习的浑浊水体中激光深度图重建方法，具有如下有益效果：

1.本发明能有效利用激光雷达点云的主动探测能力，通过深度学习方法滤除水体多次散射效应导致的误差影响，从而大大提升了水下激光深度图的重建精度，有利于水下探测和测绘相关研究；

2.本方法采用的结合深度学习的方法操作简单，通过将空气中获取的深度图作为真实值，利用深度学习的黑盒模型去逆向去除噪声黑盒的影响，无需构建复杂计算模型，无需水体散射效应，仅需要大量采样有水体干扰和无水体干扰的激光探测点云数据即可实现端到端的深度图生成；同时，方法涉及的深度学习模型具备替换性，可随技术发展进行更迭。

附图说明

图1为本发明的基于深度学习的浑浊水体中激光深度图重建方法的流程图。

具体实施方式

以下结合附图和具体实施方式对本发明提出的基于深度学习的浑浊水体中激光深度图重建方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

需要说明的是，在本发明中，诸如和等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括明确列出的要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明的原理为：通过激光点云数据与人工智能相结合的方式，基于浑浊水体对激光的散射效应的影响可视为噪声黑盒的假设，将空气中获取的深度图作为真实值，利用深度学习的黑盒模型去逆向去除噪声黑盒的影响，实现浑浊水体下激光深度图的重建精度的提升。

本发明提供一种基于深度学习的浑浊水体中激光深度图重建方法，用于重建浑浊水体的激光深度图，如附图1所示，包括以下步骤：

S1、将观测目标分别置于空气介质和浑浊水体中，采集神经网络训练数据；其中，所述神经网络训练数据包括不同水体信息的各相同观测视角的空气介质深度图和浑浊水体深度图组成的匹配数据集；包括步骤：

S11、将观测目标置于空气介质中，采集所述观测目标的不同观测视角的激光雷达点云数据，将各观测视角的激光雷达点云数据分别转化为空气介质深度图，存储各空气介质深度图及其对应的观测视角；其中，激光雷达点云数据转化为空气介质深度图是通过将激光雷达点云数据中的各时间信息基于ToF(Time of Flight，飞行时间)方法转化为对应的距离信息实现的；

S12、将观测目标置于浑浊水体中，按照步骤S11中的各观测视角分别采集所述观测目标的激光雷达点云数据，将各观测视角的激光雷达点云数据分别转化为浑浊水体深度图，存储各浑浊水体深度图及其对应的水体信息和观测视角，此时相同观测视角的浑浊水体深度图和空气介质深度图构成了当前水体信息的不同介质比对数据；其中，水体信息为所述浑浊水体的吸收系数和散射系数；激光雷达点云数据转化为浑浊水体深度图是通过将激光雷达点云数据中的各时间信息基于ToF方法转化为对应的距离信息实现的；步骤S11、S12中的观测视角的分布需覆盖实际应用场景的典型值；

S13、改变浑浊水体的水体信息；

S14、重复步骤S11到S13，直至水体信息的分布覆盖实际应用场景的典型值时停止S11到S13的循环；此时，所存储的全部数据构成神经网络训练数据。

S2、基于神经网络训练数据，对基于生成对抗模型的生成式神经网络进行训练，获得激光深度图重建模型；包括步骤：

S21、将水体信息和观测角度作为条件向量，将各浑浊水体深度图作为输入图像(输入值)，将各空气介质深度图作为目标图像(真实值)，输入所述生成式神经网络；

S22、以目标图像和所述生成式神经网络的输出图像的均方误差作为目标损失函数；

S23、通过同步训练生成对抗网络中的生成器和判别器的方式，降低目标损失函数，直至输出图像与目标图像之间的误差小于预设值，获得激光深度图重建模型。

S3、采集观测目标的激光雷达点云数据及实测时的水体信息、观测视角，输入激光深度图重建模型，获取重建激光深度图；包括步骤：

S31、对于处在浑浊水体中的观测目标进行实测，通过激光雷达获取实测激光雷达点云数据；

S32、将实测激光雷达点云数据转化为带有误差的深度图；其中，激光雷达点云数据转化为带有误差的深度图是通过将激光雷达点云数据中的各时间信息基于ToF方法转化为对应的距离信息实现的；

S33、记录实测时的水体信息和观测视角，转化成条件向量；

S34、将带有误差的深度图和条件向量输入激光深度图重建模型，生成经过修正的深度图，即重建激光深度图。

进一步，提供一个具体实施例进行说明：

S1、通过将观测目标分别置于空气介质和浑浊水体中，采集神经网络训练数据；本实施例中，观测目标为长度0.5米的椭球体模型；包括步骤：

S11、采集所述观测目标的不同观测视角的激光雷达点云数据，其中，观测视角指以观测目标的球心为圆心的球坐标系下的观测矢量

S12、在水中加入无机盐以及泥沙并充分搅拌形成浑浊水体；将观测目标置于浑浊水体中，按照步骤S11中的各观测视角分别采集所述观测目标的激光雷达点云数据，将各观测视角的激光雷达点云数据分别转化为浑浊水体深度图，存储各浑浊水体深度图及其对应的水体信息和观测视角，此时相同观测视角的浑浊水体深度图和空气介质深度图构成了当前水体信息的不同介质比对数据；

S13、调整无机盐和泥沙的配比改变浑浊水体的水体信息；

S14、重复步骤S11到S13，直至水体信息的分布覆盖实际应用场景的典型值停止循环；此时，所存储的全部数据构成神经网络训练数据，共包括5000个样本。

S2、基于神经网络训练数据，对基于生成对抗模型的生成式神经网络进行训练，获得激光深度图重建模型；其中，生成对抗模型采用pix2pixHD的架构；包括步骤：

S21、将水体信息和观测角度作为条件向量，将各浑浊水体深度图作为输入图像(输入值)，将各空气介质深度图作为目标图像(真实值)，输入所述生成式神经网络；

S22、以目标图像和所述生成式神经网络的输出图像的均方误差作为目标损失函数，本实施例中采用L2误差损失函数；

S23、通过同步训练生成对抗网络中的生成器和判别器的方式，降低目标损失函数，直至输出图像与目标图像之间的误差小于预设值，本实施例共训练100轮迭代，获得激光深度图重建模型。

S3、采集观测目标的激光雷达点云数据及实测时的水体信息、观测视角，输入激光深度图重建模型，获取重建激光深度图；包括步骤：

S31、对于处在浑浊水体中的观测目标进行实测，通过激光雷达获取实测激光雷达点云数据；

S32、将实测激光雷达点云数据转化为带有误差的深度图；其中，激光雷达点云数据转化为带有误差的深度图是通过将激光雷达点云数据中的各时间信息基于ToF方法转化为对应的距离信息实现的；

S33、记录实测时的水体信息和观测视角，转化成条件向量；

S34、将带有误差的深度图和条件向量输入激光深度图重建模型，生成经过修正的深度图，即重建激光深度图。

综上所述，本发明提供的一种基于深度学习的浑浊水体中激光深度图重建方法，能够有效利用激光雷达点云的主动探测能力，通过深度学习方法滤除水体多次散射效应导致的误差影响，从而大大提升了水下激光深度图的重建精度，有利于水下探测和测绘相关研究；所采用的结合深度学习的方法操作简单，通过将空气中获取的深度图作为真实值，利用深度学习的黑盒模型去逆向去除噪声黑盒的影响，无需构建复杂计算模型，仅需要大量采样有水体干扰和无水体干扰的激光探测点云数据即可实现端到端的深度图生成。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。