无人驾驶系统感知方法

技术领域

本发明涉及煤矿生产技术领域，具体为无人驾驶系统感知方法。

背景技术

煤矿生产中根据运输任务不同，可分为主要运输和辅助运输，煤矿辅助运输泛指煤矿生产中除煤炭运输之外各种运输的总和，主要包括材料、设备和人员等的运输，目前国内外大中型井工煤矿较常用的新型高效辅助运输设备主要有无轨运输设备（无轨胶轮车）、轨道运输设备和单轨吊车三大类，我国西北煤田主力生产矿井以斜井开拓为主，主要采用无轨胶轮车完成煤矿辅助运输作业，由于煤矿辅助运输线路随工作地点的迁移而经常变化、运输线路水平和倾斜互相交错连接、运输线路环节多、待运物料品种繁多且形状各异等客观因素，导致井下辅助运输作业环节用工数量多、安全事故频发，国家八部委联合制定并发布了《关于加快煤矿智能化发展的指导意见》等文件，吹响了全国范围内煤矿智能化建设的冲锋号，作为煤矿智能化建设的关键环节，煤矿井下无轨胶轮车无人驾驶的研究正受到行业高度关注。

发明内容

本发明的目的在于提供无人驾驶系统感知方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：无人驾驶系统感知方法，感知方法采用井下可通行区域检测算法、车道线检测算法、障碍物检测算法、信号灯检测算法和标识牌检测识别算法；

井下可通行区域检测算法基于多个传感器的融合算法，包括原始数据级的融合和单个传感器感知结果的融合；

车道线检测算法基于深度学习的车道线检测算法，通过构建端到车道端的深度神经网络，技术实现车道线特征提取、车道线检测、俯仰角变换、车道线建模等一系列步骤，通过网络学习得到视角变换参数，确保了对道路平面变化的鲁棒性，使其不依赖于固定的、预定义的参数，拟合出直线/曲线的车道线模型；

障碍物检测算法针对摄像头、激光雷达、毫米波雷达，采用多传感器融合滤波算法对可通行区域进行检测与障碍物的识别，通过多传感器联合标定，将毫米波雷达与摄像头和激光雷达的检测目标进行融合，结合数据关联算法，通过多帧数据之间的关系稳定输出可通行区域与障碍物类别；

信号灯检测算法采用传统图像去抖动/去噪算法和深度学习算法相结合的方式检测交通信号灯，利用传统算法去除由车身抖动造成的重影，以及去除由反光造成的噪声，利用深度学习构建端到交通信号灯端的信号灯检测与识别模型，稳定识别出交通信号灯的状态；

标识牌检测识别算法采用基于RF射频识别和ZigBee互联的方案，在井下每个巷道口部署超高频RFID，在自动驾驶车辆上安装Impinj阅读器，在十几米外即可以检测到RFID标签，车辆可以提前做出相应判断。

优选的，所述井下可通行区域检测算法首先实现激光雷达和视觉图像像素级的精确定位关系，然后利用统一的深度学习架构来实现目标检测和场景分割，目标检测的结果和毫米波雷达来进行结果级融合，视觉识别车道线和交通标志的信息和地图中的信息进行匹配，最后可以得到行驶场景的感知表达，发送给预测规划模块进行进一步的分析决策，融合算法性能在MDC上可以同时处理5路视频、2路激光雷达和6个毫米波雷达的原始数据。

优选的，所述毫米波雷达采用30～300GHz(波长为1～10mm)的方案，毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的优点，毫米波雷达有穿透雾、烟、灰尘的能力强，可以满足全天候检测的能力，另外，毫米波雷达能分辨识别很小的目标，并且能同时识别多个目标。

优选的，所述激光雷达拥有发射激光束探测目标的位置、速度等特征，其原理是向目标发射探测信号，然后将接收到的从目标反射回来的信号与发射信号进行分析后获得目标的相对坐标信息，同时发射多个激光束就能获取目标的外部轮廓从而进行目标的识别，单个激光雷达的可通行区域检测算法，采用地面坡度阈值法对激光点云的地面进行局部分割，在局部范围内采用坡度阈值，可有效实现点云地面的分割，我们将激光数据转换成深度图像（range image），每个像素点存储测量物体的距离，计算激光上下两线之间地面检测的角度alpha，

优选的，所述摄像头一般具有视频拍摄、影像抓取等功能，它是由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号后由软件再进行图像还原，提供前后方视频画面，还提供了顶部视野的俯瞰图和侧方姿态图，给驾驶员提供了360°无死角的观察视野，针对单个摄像头的可通行区域的检测算法，采用传统图像去雾算法和深度学习算法相结合的方式，消除粉尘环境对图像质量的影响，增加图像的可视度，从而提高通信区域的可辨识度，传统去雾算法可根据具体工况联合采用暗通道先验、最大对比度、颜色衰减先验、色度不一致等方法，提高图像质量，而深度学习方法采用end2end系统，直接学习并估计传输率与有雾图像的关系，由特征提取、多尺度映射、局部极值和非线性回归训练组成的端到端去雾模型，利用神经网络来对大气退化模型中的t(x)进行估计，模型输入雾图，输出传输率t(x)映射图，然后通过大气退化模型来恢复无雾霾图像。

优选的，所述摄像头、激光雷达和毫米波雷达采用多传感器融合滤波算法对可通行区域进行检测，通过多传感器联合标定，将毫米波雷达与摄像头和激光雷达的检测目标进行融合，结合数据关联算法，通过多帧数据之间的关系稳定输出可通行区域。

优选的，所述标识牌检测识别算法中，在每个岔路口中安车辆检测装置，将车辆通行信息通过ZigBee发布到无线节点，车辆在经过巷道口时即可提前判断是否有车辆汇入，是否需要减速让行，每个RFID标签和Zigbee传输设备在巷道中都对应一个系坐标，利用此信息通过扩展卡尔曼滤波算法进行融合对车辆做定位辅助，RFID在不同的标识和巷道口安装RF标签，在岔道安装通行传感器，检测是否有测量通过，通过车和环境的通信感知岔路状况，从而判断是否需要减速让行，同时还可以辅助车辆进行全局定位。

与现有技术相比，本发明的有益效果如下：

本发明通过五类检测算法进而根据定位地图数据和车辆环境信息规划无人驾驶车辆行驶环境，使无人驾驶车辆感知定位地图数据和环境及车辆环境信息共同规划无人驾驶车辆行驶的路径，从而可以减少车辆安装传感器的数量，降低环境对传感器精度的影响，从而降低了无人驾驶系统行驶路径规划的成本，提高无人驾驶系统感知精确度。

附图说明

图1为本发明每个像素点存储测量物体的距离示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

无人驾驶系统感知方法，感知方法采用井下可通行区域检测算法、车道线检测算法、障碍物检测算法、信号灯检测算法和标识牌检测识别算法；

井下可通行区域检测算法基于多个传感器的融合算法，包括原始数据级的融合和单个传感器感知结果的融合；

车道线检测算法基于深度学习的车道线检测算法，通过构建端到车道端的深度神经网络，技术实现车道线特征提取、车道线检测、俯仰角变换、车道线建模等一系列步骤，通过网络学习得到视角变换参数，确保了对道路平面变化的鲁棒性，使其不依赖于固定的、预定义的参数，拟合出直线/曲线的车道线模型；

障碍物检测算法针对摄像头、激光雷达、毫米波雷达，采用多传感器融合滤波算法对可通行区域进行检测与障碍物的识别，通过多传感器联合标定，将毫米波雷达与摄像头和激光雷达的检测目标进行融合，结合数据关联算法，通过多帧数据之间的关系稳定输出可通行区域与障碍物类别；

信号灯检测算法采用传统图像去抖动/去噪算法和深度学习算法相结合的方式检测交通信号灯，利用传统算法去除由车身抖动造成的重影，以及去除由反光造成的噪声，利用深度学习构建端到交通信号灯端的信号灯检测与识别模型，稳定识别出交通信号灯的状态；

标识牌检测识别算法采用基于RF射频识别和ZigBee互联的方案，在井下每个巷道口部署超高频RFID，在自动驾驶车辆上安装Impinj阅读器，在十几米外即可以检测到RFID标签，车辆可以提前做出相应判断。

通过五类检测算法进而根据定位地图数据和车辆环境信息规划无人驾驶车辆行驶环境，使无人驾驶车辆感知定位地图数据和环境及车辆环境信息共同规划无人驾驶车辆行驶的路径，从而可以减少车辆安装传感器的数量，降低环境对传感器精度的影响，从而降低了无人驾驶系统行驶路径规划的成本，提高无人驾驶系统感知精确度。

井下可通行区域检测算法首先实现激光雷达和视觉图像像素级的精确定位关系，然后利用统一的深度学习架构来实现目标检测和场景分割，目标检测的结果和毫米波雷达来进行结果级融合，视觉识别车道线和交通标志的信息和地图中的信息进行匹配，最后可以得到行驶场景的感知表达，发送给预测规划模块进行进一步的分析决策，融合算法性能在MDC上可以同时处理5路视频、2路激光雷达和6个毫米波雷达的原始数据。

毫米波雷达采用30～300GHz(波长为1～10mm)的方案，毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的优点，毫米波雷达有穿透雾、烟、灰尘的能力强，可以满足全天候检测的能力，另外，毫米波雷达能分辨识别很小的目标，并且能同时识别多个目标。

激光雷达拥有发射激光束探测目标的位置、速度等特征，其原理是向目标发射探测信号，然后将接收到的从目标反射回来的信号与发射信号进行分析后获得目标的相对坐标信息，同时发射多个激光束就能获取目标的外部轮廓从而进行目标的识别，单个激光雷达的可通行区域检测算法，采用地面坡度阈值法对激光点云的地面进行局部分割，在局部范围内采用坡度阈值，可有效实现点云地面的分割，我们将激光数据转换成深度图像（range image），每个像素点存储测量物体的距离，计算激光上下两线之间地面检测的角度alpha，

摄像头一般具有视频拍摄、影像抓取等功能，它是由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号后由软件再进行图像还原，提供前后方视频画面，还提供了顶部视野的俯瞰图和侧方姿态图，给驾驶员提供了360°无死角的观察视野，针对单个摄像头的可通行区域的检测算法，采用传统图像去雾算法和深度学习算法相结合的方式，消除粉尘环境对图像质量的影响，增加图像的可视度，从而提高通信区域的可辨识度，传统去雾算法可根据具体工况联合采用暗通道先验、最大对比度、颜色衰减先验、色度不一致等方法，提高图像质量，而深度学习方法采用end2end系统，直接学习并估计传输率与有雾图像的关系，由特征提取、多尺度映射、局部极值和非线性回归训练组成的端到端去雾模型，利用神经网络来对大气退化模型中的t(x)进行估计，模型输入雾图，输出传输率t(x)映射图，然后通过大气退化模型来恢复无雾霾图像。

摄像头、激光雷达和毫米波雷达采用多传感器融合滤波算法对可通行区域进行检测，通过多传感器联合标定，将毫米波雷达与摄像头和激光雷达的检测目标进行融合，结合数据关联算法，通过多帧数据之间的关系稳定输出可通行区域。

标识牌检测识别算法中，在每个岔路口中安车辆检测装置，将车辆通行信息通过ZigBee发布到无线节点，车辆在经过巷道口时即可提前判断是否有车辆汇入，是否需要减速让行，每个RFID标签和Zigbee传输设备在巷道中都对应一个系坐标，利用此信息通过扩展卡尔曼滤波算法进行融合对车辆做定位辅助，RFID在不同的标识和巷道口安装RF标签，在岔道安装通行传感器，检测是否有测量通过，通过车和环境的通信感知岔路状况，从而判断是否需要减速让行，同时还可以辅助车辆进行全局定位。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。