一种基于多点云协同融合的道路静态环境描述方法

技术领域

本发明涉及无人车周围静态环境的感知领域，尤其是涉及一种基于多点云协同融合的道路静态环境描述方法。

背景技术

地面无人车的研究在自动驾驶车、无人消杀车、无人送餐车等多个方面具有广阔的应用前景。地面无人车在道路上的行驶轨迹规划要避开周围环境中的障碍物，以避免碰撞、刮蹭等事故发生。行人、自行车、小轿车、交通锥等障碍物，其外观、尺寸等特征较为规则，可被认为是规则障碍物。但生活中不仅仅存在规则障碍物，还存在着许多不规则形状、特征难以统一的非规则障碍物，例如，长板车、叉车、形状各异的快递箱、道路中间的长挡板、废弃轮胎、倒落的树木等地面异常凸起物。

基于深度学习的目标检测方法从训练集中学习各种障碍物的特征，从而可以对实车运行过程中遇到的障碍物进行推理检测。这种方法可以对训练集中出现的障碍物类型进行良好的识别，但是对于训练集中未曾出现或极少数存在的障碍物类型识别效果很差，甚至难以识别训练集中障碍物类型的某些变换形态，例如，马路上蹲着的行人、放倒的交通锥等。此外，每次想要应对一些特殊场景的目标检测，需要采集特殊场景的数据并进行标注，加入训练集中重新训练模型，这是非常耗费人力和时间的事情。实际上，在无人车领域，行人、自行车、小轿车、交通锥、普通标志牌等常见规则障碍物使用基于深度学习的目标检测方法可以得到良好的检出率，但是对于复杂环境的非规则障碍物，基于深度学习的目标检测方法则经常会视而不见。在无人车行驶过程中，非规则障碍物的漏检会造成极大的安全隐患，因此，需要一种高效准确的通用障碍物检测方法作为兜底方案。通用障碍物检测方法不受障碍物形状、大小、外观等的影响，可以对无人车采集的数据直接进行分析处理和目标检测。在自动驾驶领域中，现有的通用障碍物检测方法主要有：结合超声波雷达、毫米波雷达和激光雷达进行多传感器融合来检测通用障碍物；在图像中利用可行驶区域分割和传统的计算机视觉方法来进行通用障碍物检测；基于占据栅格地图进行通用障碍物检测。

尽管地面无人车的障碍物检测方法已经取得很大进展，但实时准确地描述道路静态环境的感知方法仍有很大改善空间。对于道路上影响无人车行驶的形态各异的静态障碍物，基于深度学习的目标检测方法往往会忽视未在训练集中存在的障碍物类型，从而造成漏检。基于多传感器融合的通用障碍物检测方法，需要针对所用传感器的数据分别进行过滤等预处理操作，并需要额外做存在性推理等来判别障碍物是否真实存在，且毫米波雷达容易引入误检。基于图像可行驶区域分割的通用障碍物检测方法，稳定性和泛化性一般，容易出现漏检和误检，且对障碍物位置的估计不够准确。传统基于占据栅格地图的通用障碍物检测方法，存在占用大量内存和计算成本过大的缺点，难以部署在实车环境。而单个激光传感器用于通用障碍物检测存在盲区范围较大、由静转动的障碍物占据状态更新滞留等问题。

发明内容

针对现有技术的不足，本发明提供一种基于多点云协同融合的道路静态环境描述方法，实时性高、鲁棒性好，具体技术方案如下：

一种基于多点云协同融合的道路静态环境描述方法，包括如下步骤：

步骤一：在无人车的车身安装并标定多个多线激光传感器，并确保所安装的多线激光传感器完成对无人车周围360度环境的全覆盖；

步骤二：利用步骤一标定好的多线激光传感器采集无人车周围道路环境的点云信息，并对多个点云信息进行时间同步和空间对齐，再经自车点云过滤,得到当前激光扫描点云数组；

步骤三：将步骤二得到的当前激光扫描点云数组利用多点云协同进行地面分割，并经转换形成当前帧对应的二维障碍物点云数组和二维地面点云数组；

步骤四：将步骤三得到的二维障碍物点云数组和二维地面点云数组均与自车的位姿信息相结合，构造局部概率栅格地图；然后对多点云光线跟踪模型的结果进行融合来更新局部概率栅格地图；

步骤五：根据步骤四得到的局部概率栅格地图，通过二值化得到描述占据信息的二值图，再通过形态学运算对二值图进行去噪，最后进行障碍物轮廓提取、简化与分割。

进一步地，所述步骤二中，对多个点云信息进行时间同步和空间对齐后，再进行自车点云过滤和远距离点云过滤，从而得到当前激光扫描点云数组。

进一步地，所述步骤一包含：

在车身安装并标定一个多线激光传感器，作为主激光传感器；

在车身其他n个位置分别安装并标定一个多线激光传感器，作为辅助激光传感器。

进一步地，所述步骤二包括如下子步骤：

(2.1)获取主激光传感器的时间戳作为当前帧时间戳，并将其点云信息存入当前激光扫描点云数组；然后，根据当前帧时间戳，依次查找所有辅助激光传感器的点云信息，若某个辅助激光传感器存在时间差小于设定阈值t

(2.2)将当前激光扫描点云数组中的辅助激光传感器的点云信息转换到主激光传感器的坐标系上，利用矩形滤波对当前激光扫描点云数组中的点云信息进行自车点云过滤和远距离点云过滤。

进一步地，所述步骤三包括如下子步骤：

(3.1)分别以各个激光传感器的位置为圆心，构建扇形栅格地图，并将当前激光扫描点云数组中的每个激光点依次投影到对应的扇形栅格中；找到每个扇形栅格中z值最小的激光点，利用区域生长方法提取地面，得到地面表达式；然后，计算所有激光点与其所在区域地面表达式之间的高度差，作为初始离地高度；

(3.2)对于主激光传感器扫描的点云，将所有激光点依次坐标转换并投影到辅助激光传感器所对应的扇形栅格地图中，然后根据所在区域的地面表达式计算高度差；由此，每个主激光传感器扫描的激光点得到(n+1)个高度差值；对这些高度差值赋予不同的权重，计算出最终离地高度；

对于辅助激光传感器扫描的点云，将所有激光点依次坐标转换并投影到其余辅助激光传感器所对应的扇形栅格地图中，根据所在区域的地面表达式计算高度差；由此，每个辅助激光传感器的激光点得到了n个高度差值；对这些高度差值赋予不同的权重，计算出最终离地高度；

(3.3)根据给定的离地高度阈值d

进一步地，所述步骤四包括如下子步骤：

(4.1)根据自车当前的位姿信息，通过坐标变换计算出各个激光传感器在车体坐标系的位姿信息，再将二维障碍物点云数组和二维地面点云数组中的点坐标转换到车体坐标系；以当前车体中心为原点，根据给定偏移量确定局部概率栅格地图的中心位置；

(4.2)对于每个激光传感器，将其车体坐标系中的位置作为起点，依次将属于该激光传感器的二维障碍物点云和二维地面点云中的点在车体坐标系中的位置作为终点，利用光线跟踪模型更新非占据区域和占据区域的概率，更新过程中，若多个激光传感器的光线跟踪模型对同一个栅格都作占据操作，则将其栅格概率叠加相应个数的占据因子r

进一步地，所述步骤五包含如下子步骤：

(5.1)将局部概率栅格地图利用二值化操作转换为二值图，并利用图像形态学的开闭运算去除噪声；

(5.2)利用边缘提取方法获取占据区域的外轮廓信息并进行边缘平滑，然后将外轮廓多边形进行简化和分割，用作描述无人车周围道路的静态环境信息。

进一步地，所述主激光传感器安装在车头顶部中间位置，所述辅助激光传感器为3个，分别安装在车头左侧、车头右侧和车尾正中间位置。

进一步地，所述步骤(4.1)中，车前方的给定偏移量大于车后方的给定偏移量，从而更重视无人车前方区域的静态环境信息。

进一步地，所述辅助激光传感器的安装位置低于所述主激光传感器的安装位置，从而更容易获取无人车周围的地面信息，且减少盲区范围。

本发明的基于多点云协同融合的道路静态环境描述方法，首先利用多点云协同进行地面分割，提取出障碍物点云。然后，融合多点云光线跟踪模型的结果，得到实时更新的局部概率栅格地图。最后，通过图像学相关方法得到若干多边形用于描述道路静态环境。相对于现有技术，有益效果如下：

(1)本发明所提出的道路静态环境描述方法，算法条理易懂，激光传感器的数量、标定方法以及障碍物轮廓提取、多边形分割等操作均可根据具体情况灵活改变。

(2)与基于深度学习的目标检测方法相比，本发明的方法不仅对规则障碍物有良好的检出率，还对非规则障碍物的检测效果有明显优势，且无需花费大量人力和时间进行数据采集标注和模型训练工作。

(3)与基于多传感器融合的通用障碍物检测方法相比，本发明的方法只采用了激光传感器这一种传感器，从而无需针对多种传感器进行不同的数据处理、障碍物融合等操作。

(4)与基于图像可行驶区域分割的通用障碍物检测方法相比，本发明的方法具有良好的稳定性和泛化性，较少出现漏检和误检的情况，且能够准确估计障碍物的位置。

(5)与传统的基于占据栅格地图的通用障碍物检测方法相比，本发明的方法内存占用和计算成本较低，可轻松部署在实车环境，且时延小，能实时描述道路静态环境。

(6)与单个激光传感器用于通用障碍物检测方法相比，本发明利用多点云协同的方式进行地面分割，可以更准确地分割出地面，提取出障碍物点云。此外，采用多个多线激光传感器，盲区小，范围广，能够全方位360度检测无人车周围环境的静态障碍物，进一步克服单个激光检测存在大范围盲区的缺点。

附图说明

图1为本发明中道路静态环境描述方法的流程图。

图2为各激光传感器相对位姿变换关系示意图。

图3为多点云覆盖范围及时空对齐效果示例。

图4为多点云协同融合得到的静态环境描述示例。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明其中一个实施例的基于多点云协同融合的道路静态环境描述方法的流程图如图1所示，首先利用多点云协同进行地面分割，提取出障碍物点云。然后，融合多点云光线跟踪模型的结果，得到实时更新的概率栅格地图。最后，通过图像学相关方法得到若干多边形用于描述道路静态环境。具体包括如下步骤：

步骤一：在无人车的车身安装并标定多个多线激光传感器，并确保所安装的多线激光传感器完成对无人车周围360度环境的全覆盖。图2展示了各激光传感器相对位姿变换关系示意图。具体包括以下子步骤：

(1.1)在车身安装并标定一个多线激光传感器，作为主激光传感器；

无人车行驶过程中，前方的障碍物信息对规划控制的影响要高于左侧、右侧及后侧。可将主激光传感器安装于车头顶部中间位置，用于采集更密集更远距离的点云信息，保证无人车的静态环境描述范围满足实际行车需求。主激光传感器的标定，主要是指获得主激光传感器到组合导航的坐标转换关系的过程。本实施例采用经典的手眼标定方法AX＝XB进行主激光传感器的标定。其中，X是主激光传感器到组合导航的坐标转换矩阵，A是主激光传感器两次移动的坐标转换，B是组合导航两次移动的坐标转换。使用最小二乘法，即可求解出主激光传感器到组合导航的坐标转换关系X。

(1.2)在车身其他n个位置安装并标定多线激光传感器，作为辅助激光传感器。

将主激光传感器安装在车头顶部正中间位置，可以满足无人车更好地观察车辆前方信息的需求，但是会造成主激光传感器在车身左侧、右侧，尤其是后侧区域有较多的点会打在自车的车身上反射回来，从而造成无人车左侧、右侧和后侧有较大的盲区。因此，可以在车头左前方、车头右前方和车尾正后方安装激光传感器作为辅助传感器，且安装高度低于主激光传感器，用于采集更加贴近无人车本身的点云信息，减少盲区范围，并有助于更准确地检测到地面。辅助激光传感器安装位置低，主要是用于覆盖无人车周围的盲区范围，因此线数可以低于主激光传感器，从而降低成本。辅助激光传感器的标定主要是为了获取激光传感器之间的转换关系。本实施例采用广义迭代最近点(Generalized IterativeClosest Point,GICP)点云配准方法，用于求取辅助激光传感器到主激光传感器的转换关系。对于每个辅助激光传感器，在车辆静止状态下，用主激光传感器和辅助激光传感器同时采集无人车周围环境信息。然后，根据主激光传感器和辅助激光传感器的安装位置和安装角度，可以粗略确定一个转换关系作为标定初值。接着，选取时间戳小于特定时间阈值t

步骤二：利用步骤一标定好的多线激光传感器采集无人车周围道路环境的点云信息，并对多个点云信息进行时间同步和空间对齐，再经自车点云过滤，得到当前激光扫描点云数组。图3展示了多点云覆盖范围及时空对齐效果示例。其中，(a)为主激光传感器点云信息，(b)为左侧补盲激光传感器点云信息，(c)为右侧补盲激光传感器点云信息，(d)为后侧补盲激光传感器点云信息，(e)为这4个多线激光传感器时间同步和空间对齐得到的融合点云信息。从图3中可以看出，主激光传感器在车身左侧、右侧和后侧存在大量盲区，安装的多个补盲激光传感器可以覆盖这些盲区。

具体包括以下子步骤：

(2.1)获取主激光传感器的时间戳作为当前帧时间戳，并将其点云信息存入当前激光扫描点云数组；然后，根据当前帧时间戳，依次查找所有辅助激光传感器的点云信息时间，若某个辅助激光传感器存在时间差小于设定阈值t

(2.2)将当前激光扫描点云数组中的辅助激光传感器的点云信息转换到主激光传感器的坐标系上，利用矩形滤波对当前激光扫描点云数组中的点云信息进行自车点云过滤。去除自车点云，可以防止扫描到自车的点云被误检成障碍物，导致无人车无法行动。在此基础上，可以进一步去除远距离点云，从而有效降低后续处理的点云数量。

步骤三：将步骤二得到的当前激光扫描点云数组利用多点云协同进行地面分割，并经转换形成当前帧对应的二维障碍物点云数组和二维地面点云数组。具体包括以下子步骤：

(3.1)分别以各个激光传感器的位置为圆心，绕中心轴线一周360度均匀等分为p个扇形，再将每个扇形沿着径向方向按照给定的分辨率划分为q个环形区域，由此构建出扇形栅格地图。扇形栅格地图符合激光传感器的点云生成特性，越靠近圆心的栅格划分得越细密，便于细粒度地获取更加靠近无人车的障碍物信息。然后，将当前激光扫描点云数组中的每个激光点依次投影到对应的扇形栅格中。对于落到同一个扇形栅格的多个激光点，打到地面上的激光点应该具有最小的高度值。因此，找到每个扇形栅格中z值(垂直于地面向上为z轴)最小的激光点，然后对给定方向上的连续栅格利用区域生长方法提取地面，得到地面表达式f＝ax+b。其中，f为栅格区域的地面高度，x为激光点的距离，a和b为表达式系数。将激光点投影到扇形栅格并对每个扇形栅格只选取z值最小的一个点的方式，可以大幅降低地面拟合的时间复杂度，降低计算成本和内存消耗。而且，这种方法受点云数量上涨的影响较小，最终的计算成本主要跟扇形栅格地图的分辨率有关。最后，计算所有激光点与其所在栅格区域的地面表达式之间的高度差，作为初始离地高度h

(3.2)对于主激光传感器扫描的点云，将所有激光点依次坐标转换并投影到辅助激光传感器所对应的扇形栅格地图中，然后根据所在栅格区域的地面表达式计算高度差。由此，每个主激光传感器扫描的激光点得到了(n+1)个高度差值。对这些高度差值赋予不同的权重，利用计算公式h＝a

对于辅助激光传感器扫描的点云，将所有激光点依次坐标转换并投影到其余辅助激光传感器所对应的扇形栅格地图中，根据所在栅格区域的地面表达式计算高度差。由此，每个辅助激光传感器的激光点得到了n个高度差值。对这些高度差值赋予不同的权重，利用计算公式h＝a

(3.3)根据给定的离地高度阈值d

步骤四：将步骤三得到的二维障碍物点云数组和二维地面点云数组均与自车的位姿信息相结合，构造局部概率栅格地图，然后对多点云光线跟踪模型的结果进行融合来更新局部概率栅格地图。具体包括以下子步骤：

(4.1)对于在广阔环境行驶的无人车来说，使用全局概率栅格地图是十分奢侈的。因此，本发明方法使用的是局部概率栅格地图，只对无人车周围一定范围内的静态环境进行描述。首先，根据自车当前的位姿信息，通过坐标变换计算出各个激光传感器在车体坐标系的位姿信息，再将二维障碍物点云数组和二维地面点云数组中的点坐标转换到车体坐标系。以当前车体中心为原点，根据给定偏移量确定局部概率栅格地图的中心位置。这里，由于无人车更关注车前方的障碍物，所以，车前方的给定偏移量大于车后方的给定偏移量。

(4.2)对于每个激光传感器，将车体坐标系中的位置作为起点，依次将属于该激光传感器的二维障碍物点云和二维地面点云中的点在车体坐标系中的位置作为终点，利用光线跟踪模型更新非占据区域和占据区域的概率。在局部概率栅格地图的概率更新阶段，根据当前时刻和上一时刻的局部概率栅格地图的中心位置变化，对局部概率栅格地图进行平移，同时保留重叠区域。当二维障碍物点云数组中的点作为终点时，将光线起点到终点所经过的栅格(不包含终点所在的栅格)，栅格概率依次减去非占据因子r

步骤五：根据步骤四得到的局部概率栅格地图，通过二值化得到描述占据信息的二值图，再通过形态学运算对二值图进行去噪，最后进行障碍物轮廓提取、简化与分割。图4展示了多点云协同融合得到的静态环境描述示例。其中，图(a)展示了当前帧点云信息，图(b)展示了本发明方法的检测效果示例，图(c)是当前帧对应的检测框。步骤五具体包括以下子步骤：

(5.1)概率栅格地图可以表示地图上每个位置的障碍物占据概率，在本发明的方法中扮演着至关重要的角色。然而，概率栅格地图会存在噪声。为此，需要通过二值化操作将概率栅格地图转换为二值图，以有效地去除噪声并提高地图的可用性。二值化操作可以使用基于阈值的方法，将障碍物占据概率大于特定阈值p

(5.2)利用Canny边缘检测法获取占据区域的外轮廓信息并进行边缘平滑，然后将外轮廓多边形进行简化和分割，用作描述无人车周围道路的静态环境信息。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。