无人驾驶车载传感器数据采集与处理系统与方法

技术领域

本发明属于无人驾驶车载传感器数据处理领域，特别是无人驾驶车载传感器数据采集与处理系统与方法。

背景技术

无人驾驶汽车是一种智能汽车，也称轮式移动机器人，以车内计算机系统作为计算单元，通过激光雷达、摄像头及惯性导航系统等车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，规划一条安全无碰撞的路径，控制车辆的速度与转向，从而使车辆能够安全、可靠地在道路上自动驾驶。

无人驾驶车载传感器作为车辆行驶的“眼睛”，其数据准确性会直接影响无人驾驶系统感知结果与路径规划的准确度，从而影响车辆行驶安全性。

在无人驾驶车载激光雷达点云数据处理领域，网格化的滤波算法被广泛研究、应用。Desbrun等人提出一种基于平均曲率流的方法，它是用平均曲率的变化来表达目标的几何轮廓的变化，平均曲率是正常曲率在2π范围内的代数平均，这种方式使得目标特征发生不可避免的弯曲；Fleishman等将图像滤波领域的双边带滤波运用到三维网格模型滤波中，这类方式运行速度快，但是处理后的点云数据在保持目标原始特征方面效果不好；Johes等提出具有良好鲁棒性的非循环两部算法，但是该类滤波算法运行速度较慢，实时性不足。

在低照度环境下摄像头图像数据处理领域方法较多，应用最广泛的有直方图均衡化方法、Retinex图像增强方法等。直方图均衡化方法在提高图像对比度、减少运行时间等方面有较大优势，但容易出现过增强及增强不均等现象。Retinex图像增强方法颜色保真度较好，更加适用于低照度环境下的图像增强，但由于算法时间复杂度较高，不易满足无人驾驶系统实时性需求。

发明内容

本发明的目的在于提供种通用的体积较小、接口丰富、功耗较低无人驾驶车载传感器数据数据采集与处理的计算平台，同时解决激光雷达点云滤波中算法实时性与滤波精度不足、低照度环境下摄像头图像识别精度不足等问题，以实现提高无人驾驶系统感知精度，保证无人驾驶车辆行驶安全。

实现本发明目的的技术解决方案为：

一种无人驾驶车载传感器数据采集与处理系统，包括：

传感器模块，用于获取车辆行驶过程中的道路信息；

I/O检测模块，用于检测接口模块中数据类型，启动数据处理模块中相应的传感器数据处理节点；

所述数据处理模块包括雷达数据处理单元、摄像头数据处理单元；

所述摄像头图像数据处理单元，用于对原始图像数据基于多尺度Retinex图像增强算法，通过两次一维高斯函数卷积代替二维高斯函数卷积，得到多尺度增强后的图片，并在此基础上结合双边滤波，得到增强后的图像；

所述雷达数据处理单元，用于将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点，得到各栅格点云集重心集合；

时空配准模块，用于将处理后的传感器数据以激光雷达工作频率为基准进行时间配准，并将经过点云滤波后的激光雷达点云数据与低照度环境下摄像头图像增强数据处理进行像素级融合，实现空间配准，输入具有时空一致性的融合数据，最后将融合后的时空配准节点发布，作为无人驾驶系统下游模块提供输入数据。

一种无人驾驶车载传感器数据采集与处理方法，其特征在于，包括以下步骤：

步骤1、对IMU、GPS、激光雷达、摄像头，毫米波雷达进行标定，分别获取摄像头内部参数以及激光雷达、毫米波雷达外部参数，并将IMU、GPS坐标转换至车体质心坐标下；

步骤2、通过判断数据类型来启动相应传感器数据采集节点与数据处理节点；

步骤3、在各传感器数据处理节点中，通过对激光雷达点云数据中存在的噪点、离群点进行点云滤波处理，对低照度环境下摄像头图像进行增强处理，对毫米波雷达进行信号处理与杂点滤波处理，对IMU/GPS进行数据融合处理，然后将各数据处理节点发布；

步骤4、将处理后的激光雷达点云数据、摄像头图像数据、毫米波雷达数据及IMU/GPS数据以激光雷达工作频率为基准进行时间配准；将激光雷达点云数据与摄像头图像数据进行像素级融合，实现空间配准，最后生成具有时空一致性的融合数据。

本发明与现有技术相比，其显著优点是：

(1)采用“Jetson TX2核心板+底板”作为系统计算平台能够实现在满足计算能力的基础上实现体积更小、接口类型丰富，能够适应于目前无人驾驶嵌入式计算平台发展方向，同时便于开发人员二次开发、迭代。

(2)通过两次一维高斯函数卷积代替二维高斯函数卷积，并在此基础上结合双边滤波对多尺度Retinex图像增强方法进行改进，丰富了图像细节、解决了低照度环境下摄像头感知精度较低，图像边缘缺失及多尺度Retinex图像增强技术中过增强的问题。

(3)通过将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体(即栅格)，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点。能够解决体素栅格滤波算法中存在的滤波去噪效果不明显、特征点丢失、实时性不足等问题。

附图说明

图1为本发明的车载传感器数据采集与处理系统硬件设计框架图。

图2为本发明的基于ROS系统的无人驾驶车载传感器数据采集与处理流程图。

图3为本发明的改进后的多尺度Retinex图像增强算法流程图。

图4为本发明的改进后的体素栅格化点云滤波算法流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1，本发明所述的无人驾驶车载传感器数据采集与处理系统，基于JetsonTX2核心板设计具有相应接口的载板，将核心板与载板作为无人驾驶研究的工控平台。所采用的Jetson TX2核心板包含两块CPU和一块有256个CUDA核心的GPU，其中CPU由两个ARM v864位CPU集群组成，这就极大保证了系统的实时性、准确性。

该系统设有传感器模块、电源管理模块、接口模块、I/O检测模块、数据处理模块、时空配准模块及无人驾驶下游模块(感知模块、规划模块、控制模块)。

所述传感器模块包含GPS、IMU、激光雷达、摄像头、毫米波雷达，用于获取车辆行驶过程中的车辆、行人、交通标志等道路信息。

所述电源管理模块包含12V-5V、12V-3V、12V-1.8V电源转换部分，选用TPS53015芯片实现3.3V、5V电压输出，并采用APW8805实现1.8V电压稳定输出，通过DC/DC转换，为硬件平台接口模块提供相应电压需求。

所述接口模块根据传感器模块中各接口类型设计，包含USB通信模块、Ethernet通信模块、CAN通讯模块、UART通讯模块及用于连接显示器的HDMI接口、用于后期调试的Debug_UART接口。

所述I/O检测模块用于检测接口模块中数据类型，启动数据处理模块中相应的传感器数据处理节点。

所述数据处理模块包含激光雷达数据处理单元、摄像头数据处理单元、毫米波雷达数据处理单元与GPS/IMU数据处理单元。其中，毫米波雷达数据处理单元的处理方法与IMU/GPS数据数据处理单元的处理方法属于无人驾驶数据处理领域较为通用方法，不做展开，针对激光雷达点云数据处理方法与低照度环境下摄像头图像数据处理方法进行详细展开。

结合图3，所述摄像头图像数据处理单元基于多尺度Retinex图像增强算法，通过两次一维高斯函数卷积代替二维高斯函数卷积，并在此基础上结合双边滤波，有效提高算法的实时性、丰富了图像细节、解决了低照度环境下摄像头图像边缘缺失及多尺度Retinex图像增强技术中过增强的问题，具体过程如下：

(1)摄像头获取图像S(x,y)、外界环境相关的入射分量L(x,y)以及与外界环境无关的反射分量R(x,y)表示关系为：

S(x,y)＝L(x,y)R(x,y)

转换为对数关系：

logS(x,y)＝logL(x,y)+logR(x,y)

logR(x,y)＝logS(x,y)-logL(x,y)

(2)通过将多尺度Retinex增强算法中二维高斯函数改进为两步一维高斯函数卷积，先对原始图像数据按照行像素点进行一维高斯卷积，再对所得结果进行列像素点进行一维高斯卷积；

(3)卷积处理后的反射分量的对数域logR(x,y)进行量化处理得到多尺度增强后的图片I(x,y)；

(4)增强后的图像结果I(x,y)采用双边滤波进行保边去噪处理，采用双边滤波器模板w(i,j,k,l)可表示为值域核与空间域核的乘积，公式为：

其中，r(i,j,k,l)为值域核，d(i,j,k,l)为空间域核。(k,l)为模板窗口中心坐标，k为横坐标，l为纵坐标，f(k,l)表示图像在模板窗口中心坐标(k,l)处的像素值。(i,j)为模板窗口其他系数坐标，i为横坐标，j为纵坐标，f(i,j)表示图像在模板窗口其他系数坐标(i,j)处的像素值。σ

最后的增强后的图像R(x,y)表示为：

R(x,y)＝I(x,y)*w(i,j,k,l)

由于图像质量与像素值关系密切，所以将值域核二维函数改为采用两次一维滤波分别先后处理水平与竖直方向，降低算法计算量的同时具备保边去噪功能。

结合图4，所述激光雷达数据处理单元将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体(即栅格)，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点。通过该方法进行点云滤波算法解决体素栅格滤波算法中存在的滤波去噪效果不明显、特征点丢失、实时性不足等问题，具体过程如下：

(1)确定三维立方体包围盒；

根据三维点云坐标，计算出在坐标x轴、y轴、z轴三个方向的最大及最小坐标值，三维立方体包围盒各边边长L

其中，X

三维立方体包围盒体积V为：

V＝L

(2)确定小立方体栅格边长l

小立方体栅格边长l

其中，α表示比例因子，用来调节小立方体栅格边长大小；β表示比例系数；n表示单位小立方体栅格内点云数量。

单位小立方体栅格点云数量n为：

n＝N/V

其中，N表示点云三维立方体包围盒内所有点云数量；V表示三维立方体包围盒体积。

小立方体栅格边长可表示为：

(3)选择g邻近点

对点云数据中任一数据点p

(4)估计点云法向量

对于三维立方体包围盒中每个点云数据中任一数据点p

其中，

通过对任一数据点p

(5)选取栅格点云集重心，激光雷达点云滤波后的数据即各栅格点云集重心集合。

栅格点云重心(X

其中，x

所述时空配准模块包含时间配准与空间配准，将数据处理模块中进行处理后的传感器数据以激光雷达工作频率为基准进行时间配准，并将经过点云滤波后的激光雷达点云数据与低照度环境下摄像头图像增强数据处理进行像素级融合，实现空间配准，输入具有时空一致性的融合数据，最后将融合后的时空配准节点发布(publish)，作为无人驾驶系统下游模块(感知模块、规划模块与控制模块)提供输入数据。

所述下游模块包含感知模块、规划模块、控制模块，通过将时空配准后的具有时空一致性的融合数据作为输入分别进行环境感知、路径规划与车体控制，保证车辆的运行。

结合图2，基于ROS系统设计的车载传感器数据处理方法，包括以下步骤：

步骤1、对IMU、GPS、激光雷达、摄像头，毫米波雷达进行标定，分别获取摄像头内部参数以及激光雷达、毫米波雷达外部参数，并将IMU、GPS坐标转换至车体质心坐标下，转入步骤2；

步骤2、I/O检测脚本中通过函数select监控各接口连接的设备文件(如IMU连接的/dev/ttySAC1、GPS连接的/dev/ttySAC3等)，当检测有传感器数据输入，则通过判断数据类型来启动(launch)相应传感器数据采集节点与数据处理节点，转入步骤3；

步骤3、在各传感器数据处理节点中，通过对激光雷达点云数据中存在的噪点、离群点进行点云滤波处理，对低照度环境下摄像头图像进行增强处理，对毫米波雷达进行信号处理与杂点滤波处理，对IMU/GPS进行数据融合处理，然后将各数据处理节点发布(publish)，进入步骤4；

由于毫米波雷达数据处理方法与IMU/GPS数据数据方法属于无人驾驶数据处理领域较为通用方法，不做展开，针对激光雷达点云数据处理方法与低照度环境下摄像头图像数据处理方法进行详细展开。

步骤3.1结合图3，改进的低照度环境下图像增强处理方法基于多尺度Retinex算法，通过两次一维高斯函数卷积代替二维高斯函数卷积，并在此基础上结合双边滤波，有效提高算法的实时性、丰富了图像细节、解决了低照度环境下摄像头图像边缘缺失及多尺度Retinex图像增强技术中过增强的问题，包括以下步骤：

步骤3.1.1摄像头获取图像S(x,y)、外界环境相关的入射分量L(x,y)以及与外界环境无关的反射分量R(x,y)表示关系为：

S(x,y)＝L(x,y)R(x,y)

转换为对数关系：

logS(x,y)＝logL(x,y)+logR(x,y)

logR(x,y)＝logS(x,y)-logL(x,y)

步骤3.1.2通过将多尺度Retinex增强算法中二维高斯函数改进为两步一维高斯函数卷积，先对原始图像数据按照行像素点进行一维高斯卷积，再对所得结果进行列像素点进行一维高斯卷积；

步骤3.1.3卷积处理后的反射分量的对数域logR(x,y)进行量化处理得到多尺度增强后的图片I(x,y)；

步骤3.1.4增强后的图像结果I(x,y)采用双边滤波进行保边去噪处理，采用双边滤波器模板w(i,j,k,l)可表示为值域核与空间域核的乘积，公式为：

其中，r(i,j,k,l)为值域核，d(i,j,k,l)为空间域核。(k,l)为模板窗口中心坐标，k为横坐标，l为纵坐标，f(k,l)表示图像在模板窗口中心坐标(k,l)处的像素值。(i,j)为模板窗口其他系数坐标，i为横坐标，j为纵坐标，f(i,j)表示图像在模板窗口其他系数坐标(i,j)处的像素值。σ

最后的增强后的图像R(x,y)表示为：

R(x,y)＝I(x,y)*w(i,j,k,l)

由于图像质量与像素值关系密切，所以将值域核二维函数改为采用两次一维滤波分别先后处理水平与竖直方向，降低算法计算量的同时具备保边去噪功能。

步骤3.2结合图4，改进的体素栅格点云滤波算法是将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体(即栅格)，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点。通过该方法进行点云滤波算法解决体素栅格滤波算法中存在的滤波去噪效果不明显、特征点丢失、实时性不足等问题，包括以下步骤：

步骤3.2.1确定三维立方体包围盒；

根据三维点云坐标，计算出在坐标x轴、y轴、z轴三个方向的最大及最小坐标值，三维立方体包围盒各边边长L

其中，X

三维立方体包围盒体积V为：

V＝L

步骤3.2.2确定小立方体栅格边长l

小立方体栅格边长l

其中，α表示比例因子，用来调节小立方体栅格边长大小；β表示比例系数；n表示单位小立方体栅格内点云数量。

单位小立方体栅格点云数量n为：

n＝N/V

其中，N表示点云三维立方体包围盒内所有点云数量；V表示三维立方体包围盒体积。

小立方体栅格边长可表示为：

步骤3.2.3选择g邻近点

对点云数据中任一数据点p

步骤3.2.4估计点云法向量

对于三维立方体包围盒中每个点云p

其中，

通过对p

步骤3.2.5选取栅格点云集重心，激光雷达点云滤波后的数据即各栅格点云集重心集合。

栅格点云重心(X

其中，x

步骤4、将处理后的激光雷达点云数据、摄像头图像数据、毫米波雷达数据及IMU/GPS数据以激光雷达工作频率为基准进行时间配准。将激光雷达点云数据与摄像头图像数据进行像素级融合，实现空间配准，最后生成具有时空一致性的融合数据，为无人驾驶系统中感知模块、规划模块与控制模块提供准确数据的信息。