面向矿车装车过程的车辆三维点云获取方法

技术领域

本发明涉及矿区矿车自动驾驶技术领域，具体为面向矿车装车过程的车辆三维点云获取方法。

背景技术

随着自动驾驶的兴起，矿区的自动驾驶的发展，通过3D点云获取矿车装车过程的车辆位置，能够有利于矿区自动驾驶的发展，3D点云是一种常见的空间几何结构表达方式，在计算机视觉、机器人技术等都有着广泛的应用。近年来，3D传感器的不断出现和发展，获取点云数据变得越来越便利，目前，学术界和工业界对自动驾驶和智能机器人的浓厚兴趣，也凸显出了点云处理及三维场景的重要性。在自动驾驶领域中，3D点云标注也发挥着重要作用。为保证自动驾驶矿车车辆的正常行驶。自动驾驶首先应具备一套完整的感知系统，来代替驾驶员的大脑，随着自动驾驶中人为干预程度越来越小，感知系统获取自身及周围环境的信息的准确性、高效性和全面性要求变得越来越高，这也是自动驾驶的重要环节.为了让自动驾驶矿车车辆能够“看得见”，车内应具备激光雷达、摄像头、雷达设备、超声波系统和相关人工智能技术。目前自动驾驶矿车车辆主要是依靠激光雷达来对车外环境做出感应，使自动驾驶矿车车辆能在道路上安全行驶。

在矿区矿车自动驾驶需要使用到三维点云获取方法中国专利公开了道路点云数据处理方法及系统(CN108280866A)，根据车辆位姿，计算得到三维点云地图数据；在三维点云地图数据中，提取与多个预设形状参数中每个预设形状参数对应的重复结构数据，得到提取后的三维点云地图数据；确定压缩后的三维点云地图数据。本发明实施例解决了现有技术中三维点云地图数据量大，难于传输和保存的问题，压缩后的三维点云地图数据在向无人车传输时，传输速度快，但是再使用中，矿区的驾驶环境更为复杂，其高低不一的驾驶环境，给自动驾驶带动了一定的困扰，为使用中造成一定的烦劳；

因此，本领域技术人员提供了面向矿车装车过程的车辆三维点云获取方法，以解决上述背景技术中提出的问题。

发明内容

针对现有技术的不足，本发明提供了面向矿车装车过程的车辆三维点云获取方法，解决了上述背景技术中提出现有的的问题。

为实现以上目的，本发明通过以下技术方案予以实现：面向矿车装车过程的车辆三维点云获取方法，获取所述矿山道路云数据与所述矿山道路点云数据相对应的矿山矿车车辆位置数据；

根据所述矿山道路点云数据相对应的矿车车辆位置数据，通过纯点云以及体素华的方法得到矿车矿车车辆的三维点云；

根据三维点云投影到二维栅格中；

所述其投影到二维栅格中的具体步骤包括：

(a)、将激光雷达的点云数据投影到鸟瞰图的Grid(栅格)中，每个栅格包含了最高点,平均点和最低点的信息；

(b)、包含高度信息的整个深度地图被编码之后作为模型的输入；

(c)、所述步骤(a)基于CNN的两极探测器由两部分组成,一部分是区域生成网络(RPN,区域提出层),另一部分在姿势敏感特征图上用pre-RoI-pooling convolutions的方法对之前提出的区域进行分类。

进一步的，所述矿山矿车车辆内装载有激光雷达、摄像头、雷达设备和超声波系统。

进一步的，所述根据所述矿山矿车车辆位置数据，计算得到三维点云地图数据包括离散的3D点云P＝{p

矿车车辆检测网络：识别网络由一个区域提取子网络(RPN)和分类子网络组成。

进一步的，所述每个栅格的分辨率为0.05mx0.05m。

进一步的，所述特征提取网络是ResNet50,RPN和分类时可以同时分享提取出来的网络组成。

进一步的，所述应用了Faster R-CNN的滑窗和锚点技术在特征图上生成提议区域,由于矿车车辆的尺寸变化比较小,所以这里也将Faster R-CNN的锚点方法由多尺度降为一个尺度，同时加快了速度；

(Δx,Δy,Δy,w,l,θ)为表示方式，前两项为矿车车辆中心点到激光雷达坐标中心在x-y平面内的偏移，后面三个分别是矿车车辆的宽，长和转角(yaw)。

进一步的，所述重合面积(Intersection over Unit,IOU)大于0.7则记为正，小于0.5则记为负，中间可以忽略，计算损失面积。

进一步的，所述损失函数如下所示：

进一步的，所述其中

L

L

由于点云的稀疏性，没有数据的空锚点被直接删除。

进一步的，所述为了增加特征的长度将ResNet-50卷积层中的stride步长从2减为一，从而双重强化特征图的大小。

本发明提供了面向矿车装车过程的车辆三维点云获取方法，具备以下有益效果：

激光雷达生成的3D点云图像经过，通过上述技术方案，通过获取获取所述矿山道路云数据与所述矿山道路点云数据相对应的矿山矿车车辆位置数据，根据三维点云地图数据包括离散的3D点云，可以得到大量密集的点，这些点带有三维坐标(XYZ)、激光反射强度和和颜色信息(RGB)等信息，它们共同创建了可识别的三维结构，能够准确得到矿车装车过程的车辆的位置，方便后续进行自动点位和创建，利用点云从另一种角度认识矿区车辆位置数据，从而满足自动驾驶的需求，并从中取得较大的商业价值。

附图说明

图1为本发明矿车三维点云展示示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，本发明提供技术方案：面向矿车装车过程的车辆三维点云获取方法，面向矿车装车过程的车辆三维点云获取方法，获取矿山道路云数据与矿山道路点云数据相对应的矿山矿车车辆位置数据；

根据矿山道路点云数据相对应的矿车车辆位置数据，通过纯点云以及体素华的方法得到矿车矿车车辆的三维点云；

根据三维点云投影到二维栅格中；

其投影到二维栅格中的具体步骤包括：

(a)、将激光雷达的点云数据投影到鸟瞰图的Grid(栅格)中，每个栅格包含了最高点,平均点和最低点的信息；

(b)、包含高度信息的整个深度地图被编码之后作为模型的输入；

(c)、步骤(a)基于CNN的两极探测器由两部分组成,一部分是区域生成网络(RPN,区域提出层),另一部分在姿势敏感特征图上用pre-RoI-pooling convolutions的方法对之前提出的区域进行分类。

矿山矿车车辆内装载有激光雷达、摄像头、雷达设备和超声波系统。

根据矿山矿车车辆位置数据，计算得到三维点云地图数据包括离散的3D点云P＝{p

矿车车辆检测网络：识别网络由一个区域提取子网络(RPN)和分类子网络组成。

每个栅格的分辨率为0.05mx0.05m。

特征提取网络是ResNet50,RPN和分类时可以同时分享提取出来的网络组成。

应用了Faster R-CNN的滑窗和锚点技术在特征图上生成提议区域,由于矿车车辆的尺寸变化比较小,所以这里也将Faster R-CNN的锚点方法由多尺度降为一个尺度，同时加快了速度；

(Δx,Δy,Δy,w,l,θ)为表示方式，前两项为矿车车辆中心点到激光雷达坐标中心在x-y平面内的偏移，后面三个分别是矿车车辆的宽，长和转角(yaw)。

重合面积(Intersection over Unit,IOU)大于0.7则记为正，小于0.5则记为负，中间可以忽略，计算损失面积，感兴趣区域池化，这一层在区域提取阶段和分类阶段之间，而Faster R-CNN每次对RoIs分类一次都要执行上百次的卷积，为了节约时间，可以把大量的卷积步骤提到感兴趣区域池化之前，也就是上图下半部分的pre-RoI-pooling；

但由于这样的操作会导致分类精度和位置回归受较大影响，为了解决这个问题就又提出了pose sensitive feature maps，每个RoI被分为4个部分，每个部分分别提取车的左上，右上，左下，右下区域，通过selective RoI pooling的操作，将四个区域融合成为一个"spliced feature map"。

损失函数如下所示：

其中

L

L

由于点云的稀疏性，没有数据的空锚点被直接删除。

为了增加特征的长度将ResNet-50卷积层中的stride步长从2减为一，从而双重强化特征图的大小。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。