一种基于语义分割的点云强度补全方法及系统

技术领域

本发明属于无人驾驶领域，尤其涉及一种基于语义分割的点云强度补全方法及系统。

背景技术

激光雷达是无人驾驶数据采集的主要工具，在无人车车顶的激光雷达，一般有16/32/64/128线激光雷达，激光雷达的成本随着线数的增加而增加，但少线束的激光雷达收集到的点云较少，稀疏的点云难以用于高精度计算。

此外，在实际采集时，激光雷达返回光束的能量受到距离和传播介质的影响。远距离的物体无法返回光束或返回光束能量低于探测阈值；此外受到大气中微观粒子的影响，雨雪雾等气象条件会造成激光雷达发射的光束能量损耗，造成物体无法返回光束或返回光束能量低于探测阈值。这两种情况最终会导致接收器无法接收信号、接收信号被削弱或掺杂噪声。

当前的点云补全工作主要有如下局限：(1)局限于局部对象的点云补全，特别是室内场景或者单个物体的补全；(2)局限于局部依赖的补全，即基于相邻区域进行插值，缺乏对更大范围的具有相同语义的区域的参考；(3)在大型整体场景的补全工作中，注重的是深度补全工作，而针对反射强度补全工作研究较少。但是在反射强度值中，可以折射出物体之间的不同物理属性，例如车身和车轮，道路和树干。其次，补全的反射强度值可以为下游任务语义分割或者实例分割提供更多的有效信息，提高下游任务的精度。

在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：

点云：是指通过激光雷达d等测量仪器得到的关于物体外观表面的点数据，每个点数据包含x、y、z坐标，深度以及反射强度信息。

RGB图像：是指通过单目相机采集得到的彩色图像，为三通道图像。

二维点云反射强度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，是单通道图像，其数值为点云中对应点的反射强度值。

二维点云深度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，是单通道图像，其数值为点云中对应点的深度值。

标签：表示用于语义分割神经网络监督训练的类别标签，对每个像素点的类别进行了标注。

发明内容

本发明的目的在于克服现有技术缺陷，提出了一种基于语义分割的点云强度补全方法及系统。

为了实现上述目的，本发明提出了一种基于语义分割的点云强度补全方法，所述方法包括：

步骤1)由相机采集路面的RGB图像，由激光雷达同步采集该路面的点云数据；

步骤2)利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；

步骤3)对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经特征拼接及粗粒度补全处理，得到二维粗粒度反射强度投影图；

步骤4)对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；

步骤5)根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。

作为上述方法的一种改进，所述步骤2)具体包括：

利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维图像平面上，像素值为反射强度值，从而得到二维反射强度投影图；

利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维灰度图像的平面上，像素值为深度值，对空缺的部分以0值填补，从而得到二维深度投影图；其中，第i点的深度值

其中，(x

作为上述方法的一种改进，所述步骤3)具体包括：

步骤301)对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；对二维反射强度投影图进行剪裁，得到尺寸为(352,1216,1)的二维反射强度投影图，将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维反射强度拼接图像；

步骤302)将二维反射强度拼接图像输入预先建立和训练好的粗粒度反射强度补全子模型，得到单通道反射强度投影图；

步骤303)对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；对二维深度投影图进行剪裁，得到尺寸为(352,1216,1)的二维深度投影图；将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维深度拼接图像；

步骤304)将二维深度拼接图像输入预先建立和训练好的深度补全子模型，得到单通道深度投影图；

步骤305)将RGB图像、单通道反射强度投影图和单通道深度投影图进行粗粒度反射强度融合处理，得到二维粗粒度反射强度投影图。

作为上述方法的一种改进，所述粗粒度反射强度补全子模型的输入为尺寸为(352,1216,4)的拼接图像，输出为尺寸为(352,1216,1)的单通道反射强度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；关于反射强度的损失函数Loss

其中：n为具有有效反射强度值的像素点数目，i为具有反射强度值的像素点，R

作为上述方法的一种改进，所述深度补全子模型的输入为尺寸为(352,1216,4)的二维深度拼接图像，输出为尺寸为(352,1216,1)的单通道深度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；将表面法线作为中间约束，深度补全损失函数Loss

Loss

其中，Loss

其中，N

作为上述方法的一种改进，其特征在于，所述粗粒度反射强度融合处理的损失函数Loss为：

Loss＝Loss

其中，λ

作为上述方法的一种改进，所述步骤4)具体包括：

对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；

对二维深度投影图进行剪裁，得到尺寸为(352,1216,1)的二维深度投影图；

将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维深度拼接图像；

将二维深度拼接图像输入预先建立和训练好的语义分割模型，得到尺寸为(352,1216,10)的分类结果，其中10表示语义分割预测类别层数为10层，每层通道上每一点的取值为标签的概率值，范围为0到1，同一点在10层上的取值之和为1；

在每个像素点的10个概率值中，选取最大概率值对应的类别作为语义分割对应的标签，将图像上的不同的语义根据颜色进行区分，并且将相同颜色标注区域提取出来，获得各个待补全区域。

作为上述方法的一种改进，所述语义分割模型采用softmax函数作为分类函数，损失函数Loss

其中，n为有效像素点的数目，m为语义分割的标签类别数目，C

作为上述方法的一种改进，所述步骤5)具体包括：

将各个待补全区域分别和二维粗粒度反射强度投影图对齐，在语义指导下，创建和语义分割标注图相同大小的各个反射强度待补全区域：将具有反射强度值的点标注为1，无反射强度值的点标注为0；

对待补全区域内标注为0的点，设像素点为i，坐标为(x,y)，反射强度值为r(x,y)；

当该点为待补全区域边界上的点时，对语义分割标注图使用OpenCV的canny算子提取边缘，作为补全区域的边缘，利用边缘上的相邻两个点和区域内部的一点向内插值，三个点分别记为(x

当该点为待补全区域内部的点时，采用双线性插值法插值，选取距离该点最近的两个点：(x

一种基于语义分割的点云强度补全系统，所述系统包括：相机、激光雷达、点云数据预处理模块、粗粒度反射强度补全模块、语义分割模块和细粒度反射强度补全模块；其中，

所述相机，用于采集路面的RGB图像；

所述激光雷达，用于同步采集该路面的点云数据；

所述点云数据预处理模块，用于利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；

所述粗粒度反射强度补全模块，用于对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经特征拼接及粗粒度补全处理，得到二维粗粒度反射强度投影图；

所述语义分割模块，用于对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；

所述细粒度反射强度补全模块，用于根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。

与现有技术相比，本发明的优势在于：

1、本发明的方法可以同时完成深度补全、语义分割和反射强度补全，输出深度补全图、语义分割图像和反射强度补全图；

2、本发明的方法根据物理特性和深度学习方法对点云深度信息和反射强度信息之间的映射关系进行建模，利用深度图像和RGB图像补全深度信息，重建了稠密的点云三维空间结构，为反射强度补全提供了更完备的信息；

3、本发明的方法利用语义分割划分待补全区域，克服了插值算法造成的局部依赖问题，借助语义分割的引导信息可以准确、有效地补全反射强度，提高反射强度补全精度。

附图说明

图1是本发明实施例1的一种基于语义分割的点云强度补全方法的流程示意图；

图2是本发明实施例1的利用RGB图像、反射强度投影图、深度投影图，进行粗粒度反射强度补全的流程示意图；

图3是本发明实施例1的利用RGB图像和深度投影图，进行语义分割处理，并得到各个待补全区域的流程示意图；

图4为本发明实施例1的融合待补全区域和粗粒度反射强度投影图，对局部区域采用插值算法，进行细粒度反射强度补全的流程示意图。

具体实施方式

本发明所涉及的激光雷达反射强度补全，包含两个方面的工作：一方面是点云补全，另一方面是反射强度值补全。针对这两个方面的工作，一个新颖的思路是，基于多模态数据，挖掘各模态数据的空间特征，例如，RGB图像可以以较高精度提供边缘信息和纹理信息，点云数据可以提供深度信息，而且在多模态数据融合下可以同时实现深度补全与反射强度补全。

本发明提供了一种基于语义分割的点云强度补全方法，包括步骤：

1、利用单目相机和激光雷达，采集路面上的RGB图像和包含空间信息和反射强度信息的四维点云数据；

2、根据激光雷达点云数据，基于雷达和相机的标定结果对点云进行空间变换，生成单通道的二维反射强度投影图，深度投影图；

3、基于RGB图像、二维反射强度投影图和二维深度投影图，进行点云补全和粗粒度的反射强度补全，得到粗粒度补全之后的二维反射强度投影图；

4、基于RGB图像和二维深度投影图，进行语义分割，得到各个待补全区域；

5、融合语义分割之后的边缘数据和粗粒度补全的反射强度投影图，针对待补全区域，进行细粒度的激光雷达反射强度补全，输出二维反射强度投影图。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

如图1所示，本发明的实施例1提出了一种基于语义分割的点云强度补全方法，具体实施步骤如下：

步骤1)通过单目相机和激光雷达分别获取同一场景的三通道RGB图像和点云数据；具体包括：

步骤101)通过车载单目相机获取路况的RGB图像CI；

采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集前方场景的图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。

步骤102)通过车载激光雷达获取路况的点云数据PC；

在本实施例中，场景图像信息和场景点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。

为了便于计算，本发明下述实施例中所涉及的点云，均为360°点云中正对车辆前方，即图像所在方向的部分。并且，由于相机和激光雷达已经完成标定，可以确定点云投影到像素平面的转换矩阵，以方便后续点云信息和图像信息的处理。

对相机的标定，采用张氏标定法，先设定相机坐标系与世界坐标系，利用相机在预设位置放置的棋盘格上的成像，计算棋盘格的角点位置在成像中的二维坐标，再与棋盘格角点的真实三维坐标计算出变换矩阵；对激光雷达的标定，先设定激光雷达坐标系与真实世界坐标系，在预设位置放置若干障碍物并对齐进行激光雷达扫描，利用障碍物获得的点云在激光雷达坐标系中的坐标和障碍物在真实世界坐标系中的坐标计算得到两个坐标系的变换矩阵，其余参数，包括激光雷达的扫描分辨率、扫描速度、激光雷达与相机的时间对齐等，由各自的硬件信息与安装时的测量可以获得。标定将获得世界坐标系与相机的成像坐标系、世界坐标系与激光雷达坐标系之间的相互转换矩阵。

步骤2)通过点云数据PC,获取二维单通道的反射强度投影图和深度投影图，包括：

步骤201)将点云PC从三维坐标系投影到二维灰度图像的平面上，像素值为反射强度值PDR；

具体地，考虑激光雷达和前向摄像头已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K

步骤202)和上述步骤相同，只将点云PC从三维坐标系投影到二维灰度图像的平面上，每个像素点的取值为深度值，其中第i点的深度值

步骤3)输入RGB图像、反射强度投影图PCR、深度投影图PCD，利用自监督神经网络实现点云补全和粗粒度反射强度投影图；如图2所示，包含两条路径，具体包括：

步骤301)反射强度补全路径：将RGB图像CI、反射强度投影图PCR，作为粗粒度反射强度补全子模型的输入，输出点云反射强度投影图像PCR1；

鉴于本领域技术人员应当理解神经网络模型的训练过程，描述如下：

粗粒度反射强度补全子模型可以是任何具有预测功能，或者语义分割功能，图像生成功能的神经网络。考虑到实际场景中难以获得逐点的对点云反射强度的人工标注，所以神经网络的基础骨干采取自监督模型，将自身的输入值做为神经网络的监督标签值，下面描述神经网络的示例性训练流程。

在进行神经网络训练之前，需要对三通道RGB图像CI和单通道反射强度投影图像PCR进行预处理，将两部分图像的大小都裁剪为(352,1216)的大小，这时，单通道反射强度投影图像PCR的尺寸为(352,1216,1)，三通道RGB图像的尺寸为(352,1216,3)，将这两者的特征进行拼接，网络的输入大小为(352,1216,4)。网络的目标输出为(352,1216,1)。

基于工具PyTorch实现自监督神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数、各轮的学习率等需要人为定义的超参数之后，开始训练，编码器计算得到中间层的隐向量，再由解码器解码得到图像，在每个编码块和解码块中都采用ResNet网络结构，根据损失函数计算误差，利用反向传播算法更新网络参数，完成第一轮训练，直到完成所有轮的训练。为了加快网络的训练速度，在训练网络时，网络的激活函数选取为ReLU函数。

用于粗粒度反射强度补全路径的神经网络的损失函数为：

其中：

i：具有反射强度值的像素点；

n：具有有效反射强度值的像素点数目；

R

Loss

步骤302)点云补全路径：RGB图像CI，深度投影图PCD输入点云补全子模块，利用表面法线作为中间约束，输出深度投影补全图。

与步骤301)中的预处理过程相似，在进行神经网络训练之前，需要对三通道RGB图像CI和单通道深度投影图像PCR进行预处理，将两部分图像的大小都裁剪为(352,1216)的大小，这时，单通道深度投影图像PCD的尺寸为(352,1216,1)，三通道RGB图像的尺寸为(352,1216,3)，将这两者的特征进行拼接，网络的输入大小为(352,1216,4)。网络的目标输出尺寸为(352,1216,1)。

基于工具PyTorch实现自监督神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数、各轮的学习率等需要人为定义的超参数之后，开始训练，编码器计算得到中间层的隐向量，再由解码器解码得到图像，在每个编码块和解码块中都采用ResNet网络结构，根据损失函数计算误差，利用反向传播算法更新网络参数，完成第一轮训练，直到完成所有轮的训练。为了加快网络的训练速度，在训练网络时，网络的激活函数选取为ReLU函数。

为了保证深度补全的精度，将表面法线作为中间约束，因此用于点云补全路径的神经网络的损失函数为：

Loss

其中：

D

d

i：拥有像素值的点；

n：有效像素值点的总数目；

N

Loss

Loss

步骤303)结合两条路径，将三通道RGB图像CI，单通道反射强度投影图PCR，单通道深度投影图PCD作为粗粒度反射强度模型的输入，如图2所示，并联步骤301)和步骤302)中的两条路径，

在总的损失函数下，对神经网络进行训练，损失函数如下：

Loss＝Loss

步骤4)通过语义分割模块，如图3所示，对RGB图像CI和深度图PCD对神经网络进行训练，得到语义分割结果，通过语义分割模块，获取各个待补全区域L

语义分割模型可以是任何有预测功能，图像生成功能的神经网络，该神经网络可以是经过预训练的，也可以是根据本地数据进行训练的，并使用图像语义分割标签作为监督标签。示例性地，假定标签上的取值为0到9的10个整数。

对于预处理流程，考虑到深度图可以提供更多的深度信息，网络的输入包括RGB图像CI和单通道二维深度投影图PCD，将图像统一裁剪为(352,1216)的大小，这时，单通道深度投影图像PCD的尺寸为(352,1216,1)，三通道RGB图像的尺寸为(352,1216,3)，将这两者的特征进行拼接，网络的输入大小为(352,1216,4)。网络的目标输出尺寸为(352,1216,10)。其中10代表语义分割中的预测类别总数。每层通道上每一点的取值范围为0到1，同一点在10层上的取值之和为1。

用于点云图像语义分割的神经网络在训练过程中，采取softmax函数作为分类函数，交叉熵函数作为损失函数：

其中：

n为有效像素点的数目，m为语义分割的标签类别数目，C

在每个像素点的10个概率值中，最大概率值对应的类别即为语义分割中对应的标签，将不同的语义根据不同的颜色进行区分，并且将相同颜色标注区域提取出来，获得各个待补全区域L

步骤5)将各个待补全区域L

步骤501)待补全区域边界上的点，记为(x,y)，反射强度值表示为：r(x,y)。对语义分割标注图使用OpenCV中canny算子提取边缘，作为补全区域的边缘。利用边缘上的相邻两个点和区域内部的一点向内插值，三个点分别记为(x

步骤502)将待补全区域L

实施例2

基于上述方法，本发明的实施例2提出了一种基于语义分割的点云强度补全系统，主要包括相机、激光雷达和四个模块，分别为点云数据预处理模块、粗粒度反射强度补全模块、语义分割模块、细粒度反射强度补全模块，其中：

相机，用于采集路面的RGB图像；

激光雷达，用于同步采集该路面的点云数据；

点云数据预处理模块：根据激光雷达点云数据，基于雷达和相机的标定结果对三维点云进行空间变换，生成单通道的二维反射强度投影图和单通道的二维深度投影图；

粗粒度反射强度补全模块：采用RGB图像、二维反射强度投影图、深度投影图像作为输入，利用神经网络进行点云补全和反射强度补全，输出粗粒度反射强度补全图；

语义分割模块：采用RGB图像和二维深度图像作为输入，利用神经网络根据所属类别划分各个待补全区域，用于细粒度反射强度补全；

细粒度反射强度补全模块：语义分割之后的局部区域边缘特征和粗粒度反射强度补全图输入到细粒度补全模块，输出最终补全的反射强度投影图。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。