一种基于激光点云的三维目标检测系统及其检测方法
文献发布时间:2023-06-19 10:48:02
技术领域
本发明属于目标检测技术领域,具体涉及一种基于激光点云的三维目标检测系统及其检测方法,适用于提高三维目标检测精度。
背景技术
随着激光雷达在无人驾驶中的广泛应用,基于点云的三维目标检测方法成为未来主流研究方向,现有的基于点云的三维目标检测方法一方面,在点云体素化时通常只采用单一体素尺寸划分,单一体素尺寸设置容易丢失点云数据某些局部结构,不足以表示检测场景中所有可用信息,降低了检测精度,另一方面,对体素化点云数据进行特征编码时没有考虑到点与点之间的位置关系,导致点云数据的特征表示不丰富,不利于特征学习,进一步降低了检测精度。
中国专利:申请公布号CN111199206A、申请公布日2020.05.26的发明公开了一种三维目标检测方法、装置、计算机设备和存储介质,首先采用三维目标检测模型检测待检测点云,得到多个检测框,然后扩张多个检测框,将扩张后的各检测框中激光点的坐标转换至以激光点所在的检测框中心点为原点的局部坐标系下,得到局部坐标系下的待检测点云,其次将局部坐标系下的待检测点云映射至体素空间,根据局部坐标系下的待检测点云的坐标以及待检测点云的体素空间位置坐标,生成体素特征,再次采用稀疏卷积网络对体素特征进行特征提取,得到目标特征,最后采用区域候选网络检测目标特征,得到目标物体的检测结果,该设计虽然通过先将待检测点云映射至体素空间生成特征,再采用稀疏卷积网络对体素特征进行特征提取得到目标特征,有利于目标特征的提取,但是在点云体素化时只采用单一体素尺寸划分,容易丢失点云数据局部结构,不足以表示场景中所有可用信息,仍然存在检测精度较低的问题。
发明内容
本发明的目的是克服检测精度较低的问题,提供一种具有较高检测精度的基于激光点云的三维目标检测系统及其检测方法。
为实现以上目的,本发明提供了以下技术方案:
一种基于激光点云的三维目标检测系统,所述检测系统包括体素尺寸划分模块、特征编码模块、特征提取与融合模块、目标回归与检测模块,所述体素尺寸划分模块的信号输出端依次通过特征编码模块、特征提取与融合模块与目标回归与检测模块的信号输入端相连接;
所述体素尺寸划分模块用于获得三维目标的点云数据并采用不同体素尺度对点云数据进行体素划分,得到多个体素化点云数据,然后将其发送至特征编码模块;
所述特征编码模块用于先对体素化点云数据进行特征编码,然后将编码后的体素化点云数据发送至特征提取与融合模块;
所述特征提取与融合模块用于先对编码后的体素化点云数据依次进行特征提取、加权融合得到最终特征图,然后将最终特征图发送至目标回归与检测模块;
所述目标回归与检测模块用于根据最终特征图得到三维目标检测框。
所述检测系统还包括激光雷达,所述体素尺寸划分模块的信号输入端与激光雷达的信号输出端相连接。
一种基于激光点云的三维目标检测系统的检测方法,所述检测方法依次包括以下步骤:
步骤一、所述体素尺寸划分模块先从激光雷达处获得三维目标的点云数据并采用不同体素尺度对其进行体素划分,得到多个体素化点云数据,然后将多个体素化点云数据发送至特征编码模块;
步骤二、所述特征编码模块先对体素化点云数据进行特征编码,然后将编码后的体素化点云数据发送至特征提取与融合模块;
步骤三、所述特征提取与融合模块先对编码后的体素化点云数据进行特征提取得到三维特征图,然后对三维特征图进行转维得到二维特征图,最后将所有二维特征图进行加权融合得到最终特征图;
步骤四、所述目标回归与检测模块根据最终特征图得到三维目标检测框,所述三维目标检测框为最终三维目标检测结果。
步骤二中,所述特征编码具体为:以体素化点云数据内每个点的坐标、每个点相对于体素化点云数据的重心的坐标偏移值、每个点相对于体素化点云数据的正中心点的坐标偏移值、反射强度作为体素化点云数据内每个点的特征值。
所述步骤四具体为:所述目标回归与检测模块先将最终特征图经过卷积得到热力图,然后提取热力图中心点并基于该热力图中心点回归得到三维目标检测框的中心点、长、宽、高、旋转角,最后得到三维目标检测框,所述三维目标检测框为最终三维目标检测结果,其中,所述热力图中心点为热力图上大于设定阈值的峰值。
所述三维目标检测框中心点的回归步骤具体为:通过回归得到三维目标检测框中心点的Z值,并以热力图中心点的X值、Y值结合预测得到的偏置值回归得到三维目标检测框中心点的X值、Y值,回归完成。
步骤一中,所述体素划分具体为:分别根据0.1m*0.1m*0.4m体素尺度、0.2m*0.2m*0.4m体素尺度、0.4m*0.4m*0.4m体素尺度将点云数据体素化。
步骤三中,所述特征提取具体为:先对每个编码后的体素化点云数据分别通过卷积神经网络中的流行卷积、稀疏卷积进行特征提取并得到流行卷积结果、稀疏卷积结果,然后将流行卷积结果、稀疏卷积结果进行组合得到三维特征图。
与现有技术相比,本发明的有益效果为:
1、本发明一种基于激光点云的三维目标检测方法先采用不同体素尺度对三维目标的点云数据进行体素划分,得到多个体素化点云数据,再对不同体素尺度下的体素化点云数据依次进行特征编码、特征提取与融合,能保证点云数据的结构特征不丢失,从而提高三维目标检测精度。因此,本发明提高了三维目标检测精度。
2、本发明一种基于激光点云的三维目标检测方法以体素化点云数据内每个点的坐标、每个点相对于体素化点云数据的重心的坐标偏移值、每个点相对于体素化点云数据的正中心点的坐标偏移值、反射强度作为体素化点云数据内每个点的特征值,该设计在保留点云数据原始特征的基础上,通过每个点相对于体素化点云数据的正中心点的坐标偏移值体现了点与体素化点云数据的位置关系、通过每个点相对于体素化点云数据的重心的坐标偏移值体现了点与点之间的位置关系,使点云数据的特征表示更丰富,有利于点云数据的特征学习,从而进一步提高了三维目标检测精度。因此,本发明进一步提高了三维目标检测精度。
3、本发明一种基于激光点云的三维目标检测方法先将最终特征图经过卷积得到热力图,然后通过提取热力图中心点并基于该热力图中心点回归得到三维目标检测框的中心点、长、宽、高、旋转角,最后得到三维目标检测框作为最终三维目标检测结果,该设计通过无锚框的三维目标检测方式避免了使用锚框所带来的复杂计算和超参数调整,减少了网络推导时间,从而提高了三维目标检测效率。因此,本发明提高了三维目标检测效率。
附图说明
图1为本发明的结构示意图。
图2为本发明的流程图。
图中,体素尺寸划分模块1、特征编码模块2、特征提取与融合模块3、目标回归与检测模块4、激光雷达5。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。
参见图1、图2,一种基于激光点云的三维目标检测系统,所述检测系统包括体素尺寸划分模块1、特征编码模块2、特征提取与融合模块3、目标回归与检测模块4,所述体素尺寸划分模块1的信号输出端依次通过特征编码模块2、特征提取与融合模块3与目标回归与检测模块4的信号输入端相连接;
所述体素尺寸划分模块1用于获得三维目标的点云数据并采用不同体素尺度对点云数据进行体素划分,得到多个体素化点云数据,然后将其发送至特征编码模块2;
所述特征编码模块2用于先对体素化点云数据进行特征编码,然后将编码后的体素化点云数据发送至特征提取与融合模块3;
所述特征提取与融合模块用于先对编码后的体素化点云数据依次进行特征提取、加权融合得到最终特征图,然后将最终特征图发送至目标回归与检测模块4;
所述目标回归与检测模块4用于根据最终特征图得到三维目标检测框。
所述检测系统还包括激光雷达5,所述体素尺寸划分模块1的信号输入端与激光雷达5的信号输出端相连接。
一种基于激光点云的三维目标检测系统的检测方法,所述检测方法依次包括以下步骤:
步骤一、所述体素尺寸划分模块1先从激光雷达5处获得三维目标的点云数据并采用不同体素尺度对其进行体素划分,得到多个体素化点云数据,然后将多个体素化点云数据发送至特征编码模块2;
步骤二、所述特征编码模块2先对体素化点云数据进行特征编码,然后将编码后的体素化点云数据发送至特征提取与融合模块3;
步骤三、所述特征提取与融合模块3先对编码后的体素化点云数据进行特征提取得到三维特征图,然后对三维特征图进行转维得到二维特征图,最后将所有二维特征图进行加权融合得到最终特征图;
步骤四、所述目标回归与检测模块4根据最终特征图得到三维目标检测框,所述三维目标检测框为最终三维目标检测结果。
步骤二中,所述特征编码具体为:以体素化点云数据内每个点的坐标、每个点相对于体素化点云数据的重心的坐标偏移值、每个点相对于体素化点云数据的正中心点的坐标偏移值、反射强度作为体素化点云数据内每个点的特征值。
所述步骤四具体为:所述目标回归与检测模块4先将最终特征图经过卷积得到热力图,然后提取热力图中心点并基于该热力图中心点回归得到三维目标检测框的中心点、长、宽、高、旋转角,最后得到三维目标检测框,所述三维目标检测框为最终三维目标检测结果,其中,所述热力图中心点为热力图上大于设定阈值的峰值。
所述三维目标检测框中心点的回归步骤具体为:通过回归得到三维目标检测框中心点的Z值,并以热力图中心点的X值、Y值结合预测得到的偏置值回归得到三维目标检测框中心点的X值、Y值,回归完成。
步骤一中,所述体素划分具体为:分别根据0.1m*0.1m*0.4m体素尺度、0.2m*0.2m*0.4m体素尺度、0.4m*0.4m*0.4m体素尺度将点云数据体素化。
步骤三中,所述特征提取具体为:先对每个编码后的体素化点云数据分别通过卷积神经网络中的流行卷积、稀疏卷积进行特征提取并得到流行卷积结果、稀疏卷积结果,然后将流行卷积结果、稀疏卷积结果进行组合得到三维特征图。
本发明的原理说明如下:
本发明一种基于激光点云的三维目标检测方法中体素化点云数据的重心为体素化点云数据内所有点的坐标均值,每个点相对于体素化点云数据的重心的坐标偏移值、每个点相对于体素化点云数据的正中心点的坐标偏移值可以作为体素化点云数据内点的局部聚集特征,与点的原始特征,即每个点的坐标、反射强度,一起编码卷积,从而使提取得到的最终特征图能更好的学习三维目标形状信息。
现有技术通常采用区域生成网络RPN设定锚框的方式得到三维目标检测框,为保证三维目标检测框的检测效果,设定的锚框数量远大于实际待检测框的数量,需要使用NMS非极大值抑制算法过滤多余或重复的锚框,导致检测速度较低,本设计获得最终特征图后将最终特征图经过卷积得到热力图,热力图上每个点值都在0–1的范围内,点值越大表示该点为热力图中心点的概率越高,通过提取热力图上大于设定阈值的局部峰值能够直接得到热力图中心点,再基于该热力图中心点回归得到三维目标检测框的中心点、长、宽、高、旋转角,最后恢复出三维目标检测框,避免了使用NMS非极大值抑制算法过滤多余或重复的锚框,提高了检测效率。
实施例1:
参见图1、图2,一种基于激光点云的三维目标检测系统,所述检测系统包括体素尺寸划分模块1、特征编码模块2、特征提取与融合模块3、目标回归与检测模块4、激光雷达5,所述激光雷达5的信号输出端依次通过体素尺寸划分模块1、特征编码模块2、特征提取与融合模块3与目标回归与检测模块4的信号输入端相连接;
上述一种基于激光点云的三维目标检测系统的检测方法,所述检测方法依次按照以下步骤进行:
步骤一、所述体素尺寸划分模块1先从激光雷达5处获得三维目标的点云数据,并分别采用0.1m*0.1m*0.4m体素尺度、0.2m*0.2m*0.4m体素尺度、0.4m*0.4m*0.4m体素尺度将点云数据体素化,得到3个体素化点云数据,然后将3个体素化点云数据发送至特征编码模块2;
步骤二、所述特征编码模块2先以体素化点云数据内每个点的坐标、每个点相对于体素化点云数据的重心的坐标偏移值、每个点相对于体素化点云数据的正中心点的坐标偏移值、反射强度作为体素化点云数据内每个点的特征值,对每个体素化点云数据进行特征编码,然后将3个编码后的体素化点云数据发送至特征提取与融合模块3;
步骤三、所述特征提取与融合模块3先对每个编码后的体素化点云数据分别通过卷积神经网络中的流行卷积、稀疏卷积进行特征提取并得到流行卷积层、稀疏卷积层,然后将流行卷积层、稀疏卷积层进行组合得到三维特征图,再对三维特征图进行转维得到二维特征图,最后将3个二维特征图进行加权融合得到最终特征图;
步骤四、所述目标回归与检测模块4先将最终特征图经过卷积得到热力图,然后提取热力图上大于设定阈值的峰值作为热力图中心点,并基于该热力图中心点回归得到三维目标检测框的中心点、长、宽、高、旋转角,最后得到三维目标检测框,所述三维目标检测框为最终三维目标检测结果;
所述三维目标检测框中心点的回归步骤具体为:通过回归得到三维目标检测框中心点的Z值,并以热力图中心点的X值、Y值结合预测得到的偏置值回归得到三维目标检测框中心点的X值、Y值,回归完成。
- 一种基于激光点云的三维目标检测系统及其检测方法
- 基于激光点云的输电线路巡检检测系统及检测方法