一种基于激光点云的三维信息增强的检测识别方法及装置

技术领域

本发明属于人工智能和目标检测识别技术领域，具体涉及一种基于激光点云的三维信息增强的检测识别方法。

背景技术

由于成像激光雷达具有角分辨率高、抗干扰能力强、探测精度高等优点，可获取反映目标场景三维几何形状、角度和距离信息的三维(3D)点云数据。因此，基于激光雷达的3D点云目标检测技术在无人驾驶领域具有广泛的应用价值。

现有的3D点云目标检测方法大多使用基于体素或基于原始点云两种处理方法，从稀疏和空间不规则的点云数据中学习特征。通过体素化将点云数据转换为规则网格，这样就可以使用2D卷积有效地进行3D对象检测，但是这种量化不可避免带来信息损失，以至于降低定位精度。相反直接从原始点云中学习特征并完成预测的方法可以保留准确点云位置信息但是这样的计算成本很高，且存在感受野受限问题。

现有研究提出基于体素化的点云表征方法得到了点云的体素化特征，然后通过3D卷积将点云转化成高维的体积的表达，最后通过区域建议网络输出检测结果，但因为体素化导致对点云位置信息有误差且感受野不灵活。另一研究提出将激光雷达产生的原始的点云信息直接作为输入，设计了端到端的点云数据处理网络，但是，点云数据处理网络提取的是每一个独立的点的特征描述以及全局点云的特征描述，并没有考虑局部特征和结构约束，从而影响了它在复杂场景中处理点云数据的性能。

可见，现有方法存在点云数据特征提取困难、点云目标检测精度较低的问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于激光点云的三维信息增强的检测识别方法及装置。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于激光点云的三维信息增强的检测识别方法，包括步骤：

对原始点云数据进行体素化处理，得到若干体素；

利用稀疏卷积网络提取所述若干体素中每个非空体素的点云体素特征，得到若干特征图；

将所述若干特征图输入到区域建议网络中生成第一阶段候选框；

将所述第一阶段候选框输入点云空间形状补全网络中以补全点云空间形状，得到目标点集；

使用多尺度分组策略从所述目标点集中提取点云结构信息，得到全局结构信息；

从所述原始点云数据中采样每个关键点附近的所述非空体素特征结合作为关键点特征；

利用图神经网络和注意力机制结合的特征提取模块对所述关键点特征进行提取，得到网格点特征；

将所述网格点特征和所述全局结构信息进行融合，得到增强特征；

对所述增强特征进行置信度预测和候选框细化，得到置信度和边界框参数。

在本发明的一个实施例中，对原始点云数据进行体素化处理，得到若干体素，包括：

将所述原始点云数据按照固定分辨率划分为立体网格，得到所述若干体素。

在本发明的一个实施例中，利用稀疏卷积网络提取所述若干体素中每个非空体素的点云体素特征，得到若干特征图，包括：

构建所述稀疏卷积网络；

将所述每个非空体素中点的平均坐标和所述原始点云数据中的反射率作为初始特征输入至所述稀疏卷积网络，输出所述若干特征图。

在本发明的一个实施例中，将所述第一阶段候选框输入点云空间形状补全网络中以补全点云空间形状，得到目标点集，包括：

利用ROI感知池化模块对所述第一阶段候选框内部的点集进行处理，得到第一矩阵；

将所述第一矩阵输入多层感知机获取第一中间特征，并将所述第一中间特征输入最大池化层获取第二中间特征；

将所述第二中间特征与所述第一中间特征结合得到第三中间特征；

将所述第三中间特征依次输入多层感知机和最大池化层获取全局特征；

将所述全局特征通过全连接层叠加以生成所述目标点集。

在本发明的一个实施例中，使用多尺度分组策略从所述目标点集中提取点云结构信息，得到全局结构信息，包括：

使用最远点采样算法从所述目标点集中选择若干点组成目标集合；

利用多层感知机和最大池化层提取所述目标集合中每个点的局部上下文，得到第二矩阵；

利用所述多尺度分组策略从所述第二矩阵中提取结构信息，得到目标张量；

将所述目标张量通过全连接层生成所述全局结构信息。

在本发明的一个实施例中，从所述原始点云数据中采样每个关键点附近的所述非空体素特征结合作为关键点特征，包括：

使用最远点采样算法从所述原始点云数据中采取若干关键点；

计算每个所述关键点在稀疏卷积网络的第k个稀疏卷积模块中以所述关键点为圆心的目标半径范围内的非空体素特征集合：

其中，

利用所述非空体素特征集合生成每个所述关键点在所述第k个稀疏卷积模块的输出特征：

其中，M(·)表示随机采样操作，G(·)表示多层感知机进行的操作；

将每个所述关键点在每个稀疏卷积模块的输出特征连接起来，得到所述关键点特征。

在本发明的一个实施例中，所述网格点特征为：

其中，Ω(r)表示网格点的固定半径r内的所有点，W(·)表示用于将图边映射到标量或向量权重空间中，σ

在本发明的一个实施例中，将所述网格点特征和所述全局结构信息进行融合，得到增强特征，包括：

利用透视通道注意模块将所述网格点特征和所述全局结构信息进行融合，得到增强特征。

在本发明的一个实施例中，对所述增强特征进行置信度预测和候选框细化，得到置信度和边界框参数，包括：

将所述增强特征依次输入两层多层感知机提取特征向量，并将所述特征向量输入第一分支网络进行置信度预测，输入第二分支网络进行候选框细化，得到所述置信度和所述边界框参数。

本发明的另一个实施例提供了一种基于激光点云的三维信息增强的检测识别装置，包括：

点云体素化模块，用于对原始点云数据进行体素化处理，得到若干体素；

特征图提取模块，用于利用稀疏卷积网络提取所述若干体素中每个非空体素的点云体素特征，得到若干特征图；

候选框生成模块，用于将所述若干特征图输入到区域建议网络中生成第一阶段候选框；

点云空间形状补全模块，用于将所述第一阶段候选框输入点云空间形状补全网络中以补全点云空间形状，得到目标点集；

全局结构信息提取模块，用于使用多尺度分组策略从所述目标点集中提取点云结构信息，得到全局结构信息；

关键点特征采样模块，用于从所述原始点云数据中采样每个关键点附近的所述非空体素特征结合作为关键点特征；

网格点特征提取模块，用于利用图神经网络和注意力机制结合的特征提取模块对所述关键点特征进行提取，得到网格点特征；

增强特征融合模块，用于将所述网格点特征和所述全局结构信息进行融合，得到增强特征；

置信度和边界框参数计算模块，用于对所述增强特征进行置信度预测和候选框细化，得到置信度和边界框参数。

与现有技术相比，本发明的有益效果：

本发明的检测识别方法，对点云空间形状进行补全，因此提取的结构信息包含更多的语义表示，增强了点云数据的特征表示，比现有方法所采用的特征提取方式具有更强的表征能力，克服了现有方法对点云数据特征提取困难的问题，提高了激光点云目标检测精度。

附图说明

图1为本发明实施例提供的一种基于激光点云的三维信息增强的检测识别方法的流程示意图；

图2为本发明实施例提供的另一种基于激光点云的三维信息增强的检测识别方法的流程示意图；

图3为本发明实施例提供的一种基于激光点云的三维信息增强的检测识别方法的过程示意图；

图4为本发明实施例提供的一种结合图神经网络和注意力机制的特征提取方法的流程示意图；

图5为本发明实施例提供的一种基于激光点云的三维信息增强的检测识别装置的结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1、图2和图3，图1为本发明实施例提供的一种基于激光点云的三维信息增强的检测识别方法的流程示意图，图2为本发明实施例提供的另一种基于激光点云的三维信息增强的检测识别方法的流程示意图，图3为本发明实施例提供的一种基于激光点云的三维信息增强的检测识别方法的过程示意图。该检测识别方法包括步骤：

S1、对原始点云数据进行体素化处理，得到若干体素。

具体的，将所述原始点云数据按照固定分辨率划分为立体网格，得到所述若干体素。其步骤为，假设3D空间中点云的范围为沿X、Y、Z轴的长L、宽W、高H，然后相应的定义每个体素的长、宽和高为vL、vW和vH，其中，v小于1，从而在点云区域中形成若干体素。

S2、利用稀疏卷积网络提取所述若干体素中每个非空体素的点云体素特征，得到若干特征图。

S21、构建稀疏卷积网络。

具体的，稀疏卷积网络由若干稀疏卷积模块依次连接组成，每个模块由若干阶段依次连接组成，每个阶段包括若干子流形卷积层和一个正常稀疏卷积层。本实施例中，稀疏卷积网络由三个相同的稀疏卷积模块依次连接组成，每个模块由两个阶段依次连接组成，每个阶段包含2个子流形卷积层和一个正常稀疏卷积层。

S22、将所述每个非空体素中点的平均坐标和所述原始点云数据中的反射率作为初始特征输入至所述稀疏卷积网络，输出所述若干特征图。

具体的，将每个非空体素中点的平均坐标(x,y,z)和原始点云数据中的反射率R作为初始特征输入稀疏卷积网络，稀疏卷积网络可在z轴上执行下采样，将得到的网络输出体素特征向量作为提取的特征图。

S3、将所述若干特征图输入到区域建议网络中生成第一阶段候选框。

具体的，建立区域建议网络，将提取得到的若干特征图输入到区域建议网络中，得到第一阶段候选框。

S4、将所述第一阶段候选框输入点云空间形状补全网络中以补全点云空间形状，得到目标点集。

具体的，构建点云空间形状补全网络，该网络包括依次连接的ROI感知池化模块、多层感知机、最大池化层、特征结合模块、多层感知机、最大池化层和全连接层。

S41、利用ROI感知池化模块对所述第一阶段候选框内部的点集进行处理，得到第一矩阵。

具体的，假设选定一个第一阶段候选框，将其内部点集表示为{P

S42、将所述第一矩阵输入多层感知机获取第一中间特征，并将所述第一中间特征输入最大池化层获取第二中间特征。

具体的，将n×3的第一矩阵M输入到多层感知机中，输出第一中间特征v'；然后将第一中间特征v'输入至最大池化层中，得到256维第二中间特征v。

S43、将所述第二中间特征与所述第一中间特征结合得到第三中间特征。

具体的，将256维第二中间特征v与第一中间特征v'进行向量拼接操作，得到512维的第三中间特征w'。

S44、将所述第三中间特征依次输入多层感知机和最大池化层获取全局特征。

具体的，将得到的512维的第三中间特征w'再次输入多层感知机，并将多层感知机的输出特征输入最大池化层，最终得到1024维的局特征w。

S45、将所述全局特征通过全连接层叠加以生成所述目标点集。

具体的，将1024维的全局特征w通过全连接层(FCN)叠加以生成目标点集

S5、使用多尺度分组策略从所述目标点集中提取点云结构信息，得到全局结构信息。

S51、使用最远点采样算法从所述目标点集中选择若干点组成目标集合。

具体的，使用最远点采样算法(Farthest Point Sampling，FPS)从目标点集

S52、利用多层感知机和最大池化层提取所述目标集合中每个点的局部上下文，得到第二矩阵。

具体的，将目标集合S输入至多层感知机中，并将多层感知机的输出输入至最大池化层中，最大池化层输出目标集合S中每个点的局部上下文，得到一个大小为m×C1的第二矩阵N，其中C1表示通道数。

S53、利用所述多尺度分组策略从所述第二矩阵中提取结构信息，得到目标张量。

具体的，利用多尺度分组(Multi-Scale Grouping，MSG)策略从第二矩阵N中提取结构信息，输出大小为m×(C

S54、将所述目标张量通过全连接层生成所述全局结构信息。

具体的，将m×(C

S6、从所述原始点云数据中采样每个关键点附近的所述非空体素特征结合作为关键点特征。

S61、使用最远点采样算法从所述原始点云数据中采取若干关键点。

具体的，首先使用最远点采样算法(Farthest Point Sampling，FPS)从原始点云数据中采样n个关键点d

然后采样每个关键点附近的非空体素特征结合作为关键点特征F

S62、计算每个所述关键点在稀疏卷积网络的第k个稀疏卷积模块中以所述关键点为圆心的目标半径范围内的非空体素特征集合。

具体的，首先定义

其中，

S63、利用所述非空体素特征集合生成每个所述关键点在所述第k个稀疏卷积模块的输出特征。

具体的，利用非空体素特征集合，生成关键点d

其中，M(·)表示随机采样操作，G(·)表示多层感知机进行的操作。

S64、将每个所述关键点在每个稀疏卷积模块的输出特征连接起来，得到所述关键点特征。

具体的，针对每个关键点d

S7、利用图神经网络和注意力机制结合的特征提取模块对所述关键点特征进行提取，得到网格点特征。

具体的，构建图神经网络和注意力机制结合的特征提取模块，并将关键点特征F

请参见图4，图4为本发明实施例提供的一种结合图神经网络和注意力机制的特征提取方法的流程示意图。该特征提取方法的步骤如下：

S71、图神经网络将点云的每个点视为图结构的节点，以每个点和邻点生成边；图结构中节点i的特征F

其中，W(·)表示用于将图边映射到标量或向量权重空间中，⊙表示学习权重和图节点之间的标量向量积，

S72、在注意力机制概念中，

其中，W(·)表示softmax函数。

S73、合并式(3)和式(4)，得到网格点特征：

其中，Ω(r)表示网格点的固定半径r内的所有点，W(·)表示用于将图边映射到标量或向量权重空间中，σ

式(5)结合了基于图神经网络和注意力机制的原理，是一种灵活有效的特征提取方法；其通过具有学习性的门函数，能够自适应地从几何信息Q

S8、将所述网格点特征和所述全局结构信息进行融合，得到增强特征。

具体的，如图3所示，构建透视通道注意模块，将网格点特征F

S9、对所述增强特征进行置信度预测和候选框细化，得到置信度和边界框参数。

具体的，将所述增强特征依次输入两层多层感知机提取特征向量，并将所述特征向量输入第一分支网络进行置信度预测，将特征向量输入第二分支网络进行候选框细化，得到所述置信度和所述边界框参数，从而得到检测识别结果。进一步的，边界框参数可以确定检测识别的目标范围，置信度用于判断该边界框参数的准确度。

首先进行置信度预测。具体的，通过计算3D预测候选区域与其对应的真值框之间的交并比(IoU)作为置信度预测。对于第k个3D预测候选区域，其置信度值y

y

其中，IOU

然后进行候选框细化。具体的，通过对每个3D预测候选框的点进行编码，实现对候选框的细化。

进一步的，在得到置信度和边界框参数之后，通过

其中，x＝ti-ti

通过损失函数的优化，可以衡量算法检测的目标结果与实际真实目标的识别率。

进一步的，本实施例通过仿真对目标检测的识别率进行验证。

1.仿真条件

本实施例采用的计算机系统为“容天”MultiGPU SCS4880系列超算服务器。CPU处理器为Intel至强E5-2630V4处理器。其中集成了8块NVIDIA RTX 2080Ti 11GB的显卡，硬盘由1个系统盘和2个存储盘构成。操作系统采用Ubuntu16.0.4，运行环境为NET.Framework4.5。并安装CUDA9.0、Python3.5、CUDNN 0.7等相关库的支持。

2.仿真内容

根据上述检测识别方法，计算目标检测识别率。通过计算，目标检测识别率为78.9％。可见，本实施例所采用的基于激光点云的三维信息增强的检测识别方法充分挖掘了点云数据中所包含的信息，可以取得更高的检测识别精度，具有先进性。

综上，本实施例的检测识别方法，对点云空间形状进行补全，因此提取的结构信息包含更多的语义表示，增强了点云数据的特征表示，比现有方法所采用的特征提取方式具有更强的表征能力，克服了现有方法对点云数据特征提取困难的问题，提高了激光点云目标检测精度，可用于无人驾驶领域如障碍物识别和路径规划。

实施例二

在实施例一的基础上，请参见图5，图5为本发明实施例提供的一种基于激光点云的三维信息增强的检测识别装置的结构示意图。该检测识别装置包括：点云体素化模块、特征图提取模块、候选框生成模块、点云空间形状补全模块、全局结构信息提取模块、关键点特征采样模块、网格点特征提取模块、增强特征融合模块、置信度和边界框参数计算模块，其中，

点云体素化模块用于对原始点云数据进行体素化处理，得到若干体素。特征图提取模块与点云体素化模块连接，用于利用稀疏卷积网络提取所述若干体素中每个非空体素的点云体素特征，得到若干特征图。候选框生成模块与特征图提取模块连接，用于将所述若干特征图输入到区域建议网络中生成第一阶段候选框。点云空间形状补全模块与候选框生成模块连接，用于将所述第一阶段候选框输入点云空间形状补全网络中以补全点云空间形状，得到目标点集。全局结构信息提取模块与点云空间形状补全模块连接，用于使用多尺度分组策略从所述目标点集中提取点云结构信息，得到全局结构信息。关键点特征采样模块与点云体素化模块、特征图提取模块连接，用于从所述原始点云数据中采样每个关键点附近的所述非空体素特征结合作为关键点特征。网格点特征提取模块与关键点特征采样模块连接，用于利用图神经网络和注意力机制结合的特征提取模块对所述关键点特征进行提取，得到网格点特征。增强特征融合模块与全局结构信息提取模块、网格点特征提取模块连接，用于将所述网格点特征和所述全局结构信息进行融合，得到增强特征。置信度和边界框参数计算模块与增强特征融合模块连接，用于对所述增强特征进行置信度预测和候选框细化，得到置信度和边界框参数。

上述各模块的具体实施方法请参见实施例一，本实施例不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。