激光雷达点云目标检测方法、系统及装置

技术领域

自动控制技术领域，特别涉及一种高分辨率激光雷达点云目标检测方法及装置。

背景技术

LaserNet++算法是一种基于点云和图像结合的三维点云目标检测算法，该方案使用图像和点云前视图栅格分别使用两个卷积网络提取特征，将两个特征结合后，再使用LaserNet中的点云目标检测方法进行检测。

针对机械式激光雷达数据；主要针对图像和点云结合，没有提取点特征，其中图像特征和电云栅格特征结合需要摄像头和激光雷达标定。其中三维空间索引操作复杂，不利于部署时硬件实现；关键点选取使用最远点采样方式采样，对高分辨率雷达，会损失一定在雷达近处的点。

PVRCNN算法是一种纯点云三维目标检测算法，该方案通过构建三维栅格进行特征提取，在第一阶段检测后，对检测结果反向在点云和特征图中组合特征，在第二阶段对框进行微调。

以往三维目标检测方法大部分针对传统机械式雷达数据，这类数据较稀疏，使用俯视图栅格方式能够基本满足信息保存需求，但是对于高分辨率雷达数据，其在扫描到障碍物时，会在竖直方向有很大重合性，因此使用俯视图栅格会造成很大程度信息丢失；此外，仅使用栅格特征会丢失原始点云点之间的信息。

发明内容

1、本发明的目的

本发明为了解决高分辨率雷达数据，扫描到障碍物时，会在竖直方向有很大重合性，以及使用栅格特征会丢失原始点云点之间的信息的问题，而提出了一种高分辨率激光雷达点云目标检测方法及装置。

2、本发明所采用的技术方案

本发明公开了一种激光雷达点云目标检测方法，包括：

对点云信息构建前视图栅格，分别对前视图栅格提取特征以及对每一个前视图栅格内最近点提取点特征并结合，再通过三维目标检测器检测障碍物。

优选的，包括：

输入特征构建步骤，对获取的点云，构建前视图栅格，对于点云中视场范围内每个点，投影到前视图栅格中，记录每个栅格中离激光雷达中心最近的点的统计量作为特征值，并作为前视格栅图的输入特征；将每个前视图栅格中有点栅格内离激光雷达中心最近点的坐标和反射强度进行提取，得到点云输入特征；

特征提取步骤，在上述步骤中提取了前视图栅格输入特征和点云输入特征，前视图栅格输出特征使用卷积神经网络进行特征提取；点云输出特征使用点云特征提取网络进行特征，调整输出每个点特征；将点云输出特征投影构造成和前视图栅格输出特征图尺寸相同大小的特征图；使用对应关系，将点云输出特征投影构造成和栅格图输出特征图尺寸相同大小的特征图，保持原有维度，以此和前视图栅格输出特征与点云输出特征进行合并；

检测器检测步骤，使用基于前视图的三维目标检测其进行障碍物检测。

优选的，输入特征构建步骤：

对于所获取的点云P，首先构建前视图栅格，定义栅格图长和宽为L和W，选取点云的垂直视场范围为[-a,a]，水平视场方位为[-b,b]，则根据圆柱体映射方法，对于点云P中视场范围内每个点，投影到前视图栅格中。

优选的，输入特征构建步骤：

记录前视图栅格每个栅格中最近的点，该点的统计量作为特征值，统计量包括占据栅格、反射强度、高度、水平方位角、垂直方位角，作为前视图栅格输入特征Ifv；然后将每个前视图栅格中有点栅格内离激光雷达中心最近点的坐标和反射强度进行提取，得到点云输入特征Ipoint。

优选的，根据网络输入对点数进行限制操作，如Fpoint中点数没达到限制数，随机选取其中的点进行补充，如超过限制数目，则使用随机选取点进行去除；此外记录点特征和栅格特征的对应关系index。

优选的，所述的特征提取步骤：提取了前视图栅格输入特征Ifv和点云输入特征Ipoint，使用卷积神经网络进行特征提取得到前视图栅格输出特征Ffv；使用点云特征提取网络进行特征提取得到点云输出特征Fpoint，输出每个点特征；使用index对应关系，将Fpoint投影构造成和Ffv特征图尺寸相同大小的特征图，保持原有维度，以此和前视图栅格输出特征与点云输出特征Ffv进行合并得到检测器检测模型输入特征Finput。

优选的，检测器检测步骤，基于前视图的三维目标检测其进行障碍物检测以及对Finput特征进行目标检测。

本发明提出了一种激光雷达点云目标检测系统，包括输入特征构建模块、特征提取模块、检测器检测模块模块；

对点云信息构建前视图栅格，分别对前视图栅格提取特征以及对每一个前视图栅格内最近点提取点特征并结合，再通过三维目标检测器检测障碍物。

优选的，包括：输入特征构建模块，用于对获取的点云，构建前视图栅格，对于点云中视场范围内每个点，投影到前视图栅格中，记录每个栅格中离激光雷达中心最近的点的统计量作为特征值，并作为前视格栅图的输入特征；将每个前视图栅格中有点栅格内离激光雷达中心最近点的坐标和反射强度进行提取，得到点云输入特征；

特征提取模块，用于在上述模块中提取了前视图栅格输入特征和点云输入特征，前视图栅格输出特征使用卷积神经网络进行特征提取；点云输出特征使用点云特征提取网络进行特征，调整输出每个点特征；将点云输出特征投影构造成和前视图栅格输出特征图尺寸相同大小的特征图；使用对应关系，将点云输出特征投影构造成和栅格图输出特征图尺寸相同大小的特征图，保持原有维度，以此和前视图栅格输出特征与点云输出特征进行合并；

检测器检测模块，用于使用基于前视图的三维目标检测其进行障碍物检测。

优选的，输入特征构建模块：用于对于所获取的点云P，首先构建前视图栅格，定义栅格图长和宽为L和W，选取点云的垂直视场范围为[-a,a]，水平视场方位为[-b,b]，则根据圆柱体映射方法，对于点云P中视场范围内每个点，投影到前视图栅格中。

优选的，输入特征构建模块：用于记录前视图栅格每个栅格中最近的点，该点的统计量作为特征值，统计量包括占据栅格、反射强度、高度、水平方位角、垂直方位角，作为前视图栅格输入特征Ifv；然后将每个前视图栅格中有点栅格内离激光雷达中心最近点的坐标和反射强度进行提取，得到点云输入特征Ipoint。

优选的，根据网络输入对点数进行限制操作，如Fpoint中点数没达到限制数，随机选取其中的点进行补充，如超过限制数目，则使用随机选取点进行去除；此外记录点特征和栅格特征的对应关系index。

优选的，所述的特征提取模块：提取了前视图栅格输入特征Ifv和点云输入特征Ipoint，使用卷积神经网络进行特征提取得到前视图栅格输出特征Ffv；使用点云特征提取网络进行特征提取得到点云输出特征Fpoint，输出每个点特征；使用index对应关系，将Fpoint投影构造成和Ffv特征图尺寸相同大小的特征图，保持原有维度，以此和前视图栅格输出特征与点云输出特征Ffv进行合并得到检测器检测模型输入特征Finput。

优选的，检测器检测模块，基于前视图的三维目标检测其进行障碍物检测以及对Finput特征进行目标检测。

本发明提出了一种基于激光雷达点云目标检测装置，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法步骤。

3、本发明所采用的有益效果

(1)本发明针对在室外交通道路场景下，对高分辨率激光雷达点云进行三维点云目标检测，分别对前视图栅格提取特征以及对每一个前视图栅格内离激光雷达中心最近点提取点特征并结合，再通过三维目标检测器检测障碍物，对高分辨率点云信息能够有好的保留，使得检测性能更好。

(2)本发明对高分辨率激光雷达点云能够更充分提取特征，提高检测性能；计算量根据前视图栅格和选取点云点数确定，可以根据硬件条件调节；该方案中的没有过于复杂的操作，利于硬件部署。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的流程图；

图2为本发明的整体框图；

图3为输入特征构建步骤流程图；

图4为特征提取步骤流程图。

具体实施方式

下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实例作进一步地详细描述。

实施例

本发明所描述的三维点云目标检测方法，如图2所示，包括：输入特征构建步骤、特征提取步骤、检测器检测步骤。

S100，输入特征构建步骤，如图3所示；

S101，对于所获取的点云P，首先构建前视图栅格，定义栅格图长和宽为L和W，选取点云的垂直视场范围为[-a,a]，水平视场方位为[-b,b]，则根据圆柱体映射方法，对于点云P中视场范围内每个点，可以投影到栅格图中，记录每个栅格中最近的点，该点的统计量作为特征值，统计量包括但不限于占据栅格、反射强度、高度、水平方位角、垂直方位角，以此作为前视图栅格输入特征Ifv；

S102，然后将每个前视栅格有点栅格内离激光雷达中心最近点的坐标和反射强度进行提取，得到点云输入特征Ipoint；

S103，由于网络限制，这里需要根据网络输入对点数进行限制操作，假如Fpoint中点数没达到限制数，随机选取其中的点进行补充，若超过限制数目，则使用随机选取点进行去除；此外记录点特征和栅格特征的对应关系index。

S200，特征提取步骤，如图4：

S201，在步骤S100中提取了前视图栅格输入特征Ifv和点云输入特征Ipoint，使用卷积神经网络进行特征提取得到前视图栅格输出特征Ffv，其中卷积神经网络可以选择包括但不限于全卷积网络、Unet等等；

S202，使用点云特征提取网络进行特征提取得到点云输出特征Fpoint，输出每个点特征，特征维度可灵活调整，其中点云特征提取网络包括但不限于PointNet++[6]、PointNet[7]等等。

S203，使用index对应关系，将Fpoint投影构造成和Ffv特征图尺寸相同大小的特征图，保持原有维度，以此和前视图栅格输出特征与点云输出特征Ffv进行合并得到检测器检测模型输入特征Finput。

S300，检测器检测步骤，本步骤可以使用基于前视图的三维目标检测其进行障碍物检测，可以使用包括但不限于LaserNet[2]等方法对Finput特征进行目标检测。

本发明所描述的装置框架如图1所示，包含数据获取模块、数据处理模块和通信模块，其中数据获取模块主要通过激光雷达获取环境点云信息，数据处理模块对点云进行三维目标检测，通信模块对检测的障碍物结果进行传输。上述三维目标点云方法中，特征提取和检测器检测中涉及到三个模型，这三个模型可以结合起来，使用带有标签的数据进行端到端训练，包括：输入特征构建模型、特征提取模型、检测器检测模型。

输入特征构建模型，对于所获取的点云P，首先构建前视图栅格，定义栅格图长和宽为L和W，选取点云的垂直视场范围为[-a,a]，水平视场方位为[-b,b]，则根据圆柱体映射方法，对于P中视场范围内每个点，可以投影到栅格图中，记录每个栅格中最近的点，统计该点的统计量作为特征值，统计量包括但不限于占据栅格、反射强度、高度、水平方位角、垂直方位角，以此作为前视图栅格输入特征Ifv；然后将每个前视栅格有点栅格内离激光雷达中心最近点的坐标和反射强度进行提取，得到点云输入特征Ipoint，由于网络限制，这里需要根据网络输入对点数进行限制操作，假如Fpoint中点数没达到限制数，随机选取其中的点进行补充，若超过限制数目，则使用随机选取点进行去除；此外记录点特征和栅格特征的对应关系index。

特征提取模型，在第一步中提取了前视图栅格输入特征Ifv和点云输入特征Ipoint，使用卷积神经网络进行特征提取得到前视图栅格输出特征Ffv，其中卷积神经网络可以选择包括但不限于全卷积网络[4]、Unet[5]等等；对Fpoint使用点云特征提取网络进行特征提取得到点云输出特征Fpoint，输出每个点特征，特征维度可灵活调整，其中点云特征提取网络包括但不限于PointNet++[6]、PointNet[7]等等。然后使用index对应关系，将Fpoint投影构造成和Ffv特征图尺寸相同大小的特征图，保持原有维度，以此和前视图栅格输出特征与点云输出特征Ffv进行合并得到检测器检测模型输入特征Finput。

检测器检测模型，本步骤可以使用基于前视图的三维目标检测其进行障碍物检测，可以使用包括但不限于LaserNet[2]等方法对Finput特征进行目标检测。

机器可读存储介质作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的虚拟现实对象控制方法对应的程序指令/模块(所示的获取模块、第一确定模块、第二确定模块以及对象控制模块)。处理器通过检测存储在机器可读存储介质中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的虚拟现实对象控制方法，在此不再赘述。

机器可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，机器可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中，机器可读存储介质可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至虚拟现实设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、虚拟现实设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、虚拟现实设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的虚拟现实设备、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。