一种基于图卷积的激光雷达点云胞体特征增强方法

技术领域

本发明涉及自动驾驶领域，具体涉及一种基于图卷积的激光雷达点云胞体特征增强方法。

背景技术

在无人驾驶中技术中，环境感知为最基本的功能模块。无人驾驶车辆依赖激光雷达、毫米波雷达、摄像头传感器等对环境进行感知，如车道线检测、3D目标检测等都属于环境感知模块的基本功能。环境感知为无人驾驶汽车反馈环境信息，用以对车辆行驶行为进行决策以及控制，从而保障车辆的行驶安全以及道路安全。

3D目标检测是环境感知任务中十分重要的一环，其需要检测出无人驾驶汽车周围的所有有意义目标，包括车辆、行人等交通参与者。该功能为自动驾驶车辆后续的规划和控制提供约束条件，直接与行驶安全密切相关，因此高精度的目标检测是实现无人驾驶的必要条件。

当前，国内外均对3D目标检测技术进行了大量的研究。从使用传感器的类别角度进行分类，可主要分为基于激光雷达等3D传感器以及基于摄像头等2D图像传感器。其中基于激光雷达所产生的3D点云数据实现的目标检测相较于基于摄像头产生的2D图像数据实现的目标检测具有更高识别精度。

当前使用激光雷达点云数据进行目标检测的算法框架主要分为两类：直接处理点云数据、胞体化后处理点云数据。其中胞体化技术主要包括：栅格化、体素化、柱状化等。此类技术均将点云在原始数据空间或特征空间进行多胞体划分，在胞体内部使用特定方法提取特征或信息。其中栅格化技术通常在与地面平行的方向上进行栅格划分，统计栅格内的点云分布信息作为该栅格的特征；体素化技术通常在3D空间内进行三维体素划分，统计体素内点云的分布信息作为体素的特征；柱状化技术通常在二维平面上进行栅格划分，使用神经网络通过学习的方法得到该柱状特征进而生成2D伪图像。这些方法虽采用不同的数据划分方法以及不同的处理方法，但都可归结为按照某一特定规则进行胞体划分，使用某一特定方法提取胞体内部的信息作为该胞体的特征，通称为胞体化。此类胞体化方法能够在尽可能保留原始点云信息的基础上大大减少后端需要处理的数据量，从而加速算法的运行进而达到实时的效果。

但此胞体化类方法存在一个固有缺陷，即无论采用何种胞体划分方法，都不可避免的存在将单个实例目标分割为不同胞体中的可能性。这导致单个胞体无法提取到此实例目标的完整信息从而限制目标检测的精度。虽然在理想状况下可以设计一个极其精细的胞体划分规则使得任意一个实例目标的所有数据都恰好位于同一个胞体中。但因缺少先验的语义信息，通用的理想划分规则在实际中是不存在的。所以，胞体划分导致的目标割裂问题是胞体化方法存在的固有缺陷。

发明内容

本发明的目的在于克服上述技术缺陷，提出了一种基于图卷积的激光雷达点云胞体特征增强方法，通过提取胞体之间的相关信息，可以使单个胞体捕捉到更加完整的实例特征，从而增强目标检测精度。该过程是一种点云胞体特征增强的方式，使用增强后的胞体特征进行3D目标检测可以验证该方法的有效性。

为实现上述目的，本发明的实施例1提出了一种基于图卷积的激光雷达数据胞体特征增强方法，所述方法包括：

步骤1)对实时采集的雷达点云数据进行胞体划分以及信息提取，得到胞体化数据；

步骤2)对胞体化数据进行构图，形成图结构；

步骤3)将图结构输入图卷积单元，对图结构中的每个节点进行特征增强，将特征增强后的图结构再次输入图卷积单元，反复执行多次，直至达到循环次数；

步骤4)将最后一次图卷积单元输出的增强后的胞体特征传递给后端目标检测网络，完成目标检测任务。

作为上述方法的一种改进，所述步骤2)具体包括：

将每个胞体都视为图上一个节点，所有的节点组成点集合V＝{v

计算当前节点v

作为上述方法的一种改进，所述图卷积单元包括：边卷积特征提取子单元、注意力权重及更新子单元、距离特征抑制子单元和最大池化特征聚合子单元；

所述边卷积特征提取子单元，用于对图结构中每个节点使用边卷积进行性特征更新，将所有的边特征和节点特征输出至注意力权重及更新子单元；

所述注意力权重及更新子单元，用于根据节点特征计算注意力权重，利用注意力权重对边特征进行更新，将更新后的边特征输入距离特征抑制子单元；

所述距离特征抑制子单元，用于根据节点之间的空间距离对更新后的边特征进行特征抑制，将据距离抑制的结果输入最大池化特征聚合子单元；

所述最大池化特征聚合子单元，用于根据距离抑制的结果进行特征聚合，作为节点的增强后特征。

作为上述方法的一种改进，所述边卷积特征提取子单元的具体实现过程包括：

对图结构中所有节点进行边卷积：

其中，e

作为上述方法的一种改进，所述注意力权重及更新子单元的具体实现过程包括：

计算节点i的一维键向量k

q

式中，α与β为键值对参数，通过学习得到，α为键参数，β为值参数；

计算一维键向量k

V

使用该相关性矩阵作为注意力权重对节点i的边特征进行更新，输出更新后的边特征

作为上述方法的一种改进，所述距离特征抑制子单元的具体实现过程包括：

计算节点i和节点j之间距离d

d

式中，d(v

计算抑制系数σ

式中，γ为距离抑制参数，通过学习得到；

利用抑制系数对边特征

输出抑制后的边特征

作为上述方法的一种改进，所述最大池化特征聚合子单元的具体实现过程包括：

使用最大值函数max进行特征聚合，得到节点i的增强后的节点特征

将节点特征

作为上述方法的一种改进，所述方法还包括：对图卷积单元进行训练和验证的步骤。

本发明的实施例2提出了一种终端设备，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明的实施例3提出了一种存储介质，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的方法。

本发明的优势在于：

1、本发明的方法提出对胞体之间信息进行融合，提升了个个胞体捕捉实例目标信息的能力，提高了3D目标检测方法的准确性；

2、本发明的方法在常见的栅格化以及体素化等胞体化方法上进行了验证，结果显示本发明可以提升目基于激光雷达点云数据的目标检测精度，尤其可以有效地提升3D目标检测中的小目标识别精度；

3、本发明的方法可在一定程度上缓解此类胞体化导致的目标割裂所带来的负面影响。

附图说明

为了更清楚的说明本发明，下面将对本发明中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本发明的一些实施例，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的基于图卷积的激光雷达点云胞体特征增强方法的流程图；

图2为本发明实施例1提供的图卷积单元运算示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明的实施例1提出了一种基于图卷积的激光雷达点云胞体特征增强方法，包括步骤如下：

步骤1)实时采集雷达点云数据，并按照某一特定胞体化方法进行胞体划分以及信息提取，得到胞体化数据；

步骤2)使用图(Graph)这种数据类型对胞体化数据进行构图；

将每个胞体都视为图上一个节点(Vertex)，计算每个节点与当前节点的欧几里得距离，取距离最小的K个节点作为邻居在图上进行连接形成边(Edge)，从而形成图结构(V,E)：

其中，D

步骤3)将图结构输入图卷积单元，反复运行直至达到循环次数；

图2所示为本发明中的图卷积单元结构示意图，其对应图1中图卷积单元中的4个部分；其中EdgeConv对应边卷积特征提取子单元；ATT对应注意力权重及更新子单元；DISS对应距离特征抑制子单元；MAX对应最大池化特征聚合子单元；

每次图卷积单元运算具体包括以下几步：

步骤3-1)根据图结构对所有节点进行边卷积：

其中，e

步骤3-2)根据与每个节点相连的邻居的特征计算注意力权重，该权重来源于特征之间的降维之后的相关性；具体来讲，包括：

(a)计算节点i的一维键向量k

q

式中，α与β为键值对参数，通过学习得到，α为键参数，β为值参数。

(b)计算键值向量之间的相关性矩阵V

V

(c)使用该相关性矩阵作为注意力权重对节点i的特征进行更新：

步骤3-3)根据节点之间的空间距离进行特征抑制；包括：

(a)计算节点之间距离d

d

式中，d(v

(b)计算抑制系数σ

式中，γ为距离抑制参数，通过学习得到。

(c)特征抑制：

步骤3-4)使用最大值函数max进行特征聚合，得到增强后的胞体特征

图卷积单元需要预先进行训练和验证。为确保相关实验公开有效，本发明在公开数据集KITTI进行相关的实验验证。

步骤4)将步骤3)得到的增强后的胞体特征传递给后端目标检测网络，完成目标检测任务。

实施例2

本发明的实施例2还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。

在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：

执行实施例1的方法的步骤。

实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

实施例3

本发明实施例3提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现实施例1中方法的各个步骤。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。