一种基于驾驶先验知识的端到端自动驾驶决策方法

技术领域

本发明属于自动驾驶领域，具体提供一种基于驾驶先验知识的端到端自动驾驶决策方法。

背景技术

自动驾驶成为当今科技发展的重点与热点领域，自动驾驶决策作为自动驾驶实现过程中的核心步骤，其准确性与安全性将直接影响到自动驾驶系统的性能；自动驾驶车辆损坏财物以及伤人的报道频繁出现，安全性成为限制自动驾驶推广的重大因素。传统的基于规则的自动驾驶决策方法对传感器要求高、输入信息量需求大、系统实现成本高昂，且实现过程步骤复杂；自动驾驶系统需要根据当前车辆周围环境，结合人工构建的规则库进行决策并实现对车辆的实时控制，其驾驶习惯与人类驾驶员存在差别，乘坐感受并不舒适，且遇到规则库中未进行定义的场景时，存在安全隐患。

端到端自动驾驶决策方法利用深度神经网络将自动驾驶实现的步骤进行统一处理，直接根据少量感知信息输出控制量对车辆进行控制映射，而无需对各子模块进行拆分优化，只需对算法进行全局优化即可；该方法减少了工程的复杂度，降低了对传感器以及输入信息量的要求，便于部署，并能够更好地发挥整个系统的性能；但是，由于大多数研究关注的是经验的获得与归纳，即样本的学习过程，这导致了端到端模型的严谨性与可解释性被忽略。

在深度学习时代之前，汽车驾驶指令的得出需要人工进行额外的预处理，包括图像的灰度处理与归一化、对输入信息进行正则化处理、拉伸或旋转图像以扩充数据集等，这是技术限制下结合先验知识提高性能的应用方法。先验表示根据历史上的经验得知当下事件发生的概率，对于经验丰富的司机来说，一定的车道线曲率对应了一定的方向盘转角，充分利用先验信息可以对训练数据集的整体特征进行补充，使模型有基础地搜索最优策略，使得算法更快收敛，同时也在一定程度上增强了模型的准确性。基于此，本发明提供一种基于驾驶先验知识的端到端自动驾驶决策方法，将车道线二值图像作为先验知识与原始图像共同输入决策网络，对自动驾驶输出转角做出决策，提高决策精度。

发明内容

本发明的目的在于提供一种基于驾驶先验知识的端到端自动驾驶决策方法，用以解决现有技术中由于单传感器输入导致的信息不足、端到端模型的可解释性低等问题。本发明在端到端模型中融入先验知识，将车道线特征作为人为先验的特征进行提取，将车道线先验知识图像与原始驾驶图像共同输入决策网络，提升了决策系统的收敛速度和决策精度。

为实现上述目的，本发明采用的技术方案如下：

一种基于驾驶先验知识的端到端自动驾驶决策方法，包括以下步骤：

步骤1：将t

步骤2：将原始图像P

步骤3：将时间滑窗序列W

进一步的，步骤1中，所述先验知识提取模块采用LaneNet车道线检测网络，具体过程为：

步骤1-1：原始图像P

步骤1-2：采用二值化图像P

步骤1-3：对屏蔽后的图像像素进行聚类，得到每一条车道线的实例，最终输出车道线先验知识图像P

进一步的，所述步骤2的具体过程为：

步骤2-1：将t

步骤2-2：将w

基于上述技术方案，本发明的有益效果在于：

本发明提供一种基于驾驶先验知识的端到端自动驾驶决策方法，考虑到安全性、车道线漏检与误检问题、模型可解释性等因素，将车道线特征作为先验知识进行提取，再将车道线先验知识与原始驾驶图像进行共同输入，并结合时序构造将当前输入与之前时刻的输入构造的时间序列，最终基于时间序列由端到端决策网络输出当前时刻的自动驾驶决策转角；在该过程中，车道线特征特征作为先验知识与原始驾驶图像共同参与决策，同时将当前输入与之前时刻的输入共同参与决策，使得决策精度(准确度)显著提升；将本发明决策方法应用于自动驾驶系统中，在不增长算力的同时，能够降低自动驾驶系统部署成本，提高自动驾驶系统的精确度与安全性，有助于自动驾驶车辆的研发、推广及使用。

附图说明

图1为本发明中基于驾驶先验知识的端到端自动驾驶决策方法的流程示意图。

图2为本发明中先验知识提取模块的结构示意图图。

图3为本发明中端到端决策模块的结构示意图。

图4为本发明中LSTM网络的神经元结构示意图。

图5为本发明中时序输入构造所采用时间滑窗示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的目的、技术方案及有益效果，下面结合附图和具体实施例对本发明作进一步的详细说明。

本实施例提供一种基于驾驶先验知识的端到端自动驾驶决策方法，其流程如图1所示，主要包括：先验知识提取模块，用作提取车道线相应的语义图形，从而将车道线语义的二值图像作为车道线轮廓的先验知识图像；端到端决策模块，用作接收车道线先验知识与原始图像的共同输入，通过LSTM决策网络输出方向盘转角决策值。

本实施例中，所述先验知识提取模块采用LaneNet车道线检测网络，如图2所示，由共享编码器、实例分割分支、语义分割分支以及聚类损失函数组成；LaneNet车道线检测网络将车道线检测问题转换为实例分割问题，利用LaneNet的语义分割分支和实例分割分支，将驾驶图片作为模块输入，直接输出车道线检测的二值化图像和实例分割图像；在使用二值化图像映射屏蔽实例分割图像背景像素后，基于同一条车道线内的点距离近、不同车道线的点之间距离远这一思想，将车道线像素点相互聚类，得到每一条车道线实例，并通过端到端训练达到像素级的分割。

更为具体的讲：

本实施例采用的数据集为DIPLECS中的Indoor数据集，该组数据集由带旋转摄像头的遥控车绕着两条轨道(P形赛道和O形赛道)行驶采集；以P形赛道为例，共有8组数据，每组数据为遥控车绕赛道环形运动约3圈，其中，前4组为顺时针绕行，后四组为逆时针绕行；摄像头采集的图像数量为每组1350张，共计10800张，图像尺寸为1280×960像素，皆以.jpg的格式进行储存；每张图像对应的转角值按组保存在8个.dat文件中，DIPLECS数据库中的数据按照每秒15帧的速度录制，遥控车的行驶速度保持恒定。

本实施例基于的软硬件环境如表1所示：

表1.软硬件环境表

所述LaneNet车道线检测网络基于tusimple数据集训练，所用参数如表2所示：

表2.LaneNet训练参数设置表

在将图像输入LaneNet网络前使用Opencv的resize函数将图像尺寸调整至512×256，将Indoor车道线数据集输出的车道线先验特征图也以512×256的尺寸保存，详细的图像尺寸与通道数如表3所示：

表3.LaneNet涉及图像参数表

本实施例中，所述端到端决策模块如图3所示，由时序输入构造与LSTM决策网络两部分组成；将均不作额外处理的车道线先验知识图像和原始摄像头图片共同输入LSTM决策网络，把网络的输入特征数量扩充一倍，将原本对应一个时刻的单张原始摄像头图像扩充为原始摄像头图像和对应的车道线图像，使先验知识与驾驶信息都能参与决策。并且，由于驾驶是连续过程，决策会受到上一时刻决策的直接或间接的影响，例如当前转角会随上一时刻转角过大而减小；因此，本实施例将连续驾驶过程的当前输入与之前时刻的输入构造为时间序列共同参与当前时刻的决策，以应对更多的情况。虽然输入特征的数量加倍导致了计算资源消耗的增加，但是车道线先验知识的输入使得图像中的像素点特征关系更加明显，且在车道线检测出错时，也能通过原始的图像特征弥补并纠正；该方法的优势还在于不需要对先验知识图片进行再处理，决策模型网络改动小，同时直接输入车道线先验知识图像也能够直观地观察先验知识对决策的影响；包含了车道线图像作为先验知识的端到端决策网络与只输入原始摄像头图像的端到端网络相比，可解释性得到了提升。

更为具体的讲：

本实施例中LSTM网络采用4层双向传播的LSTM层，在前三层中以隐含神经元数量为30进行输入特征映射关系的提取与计算，在第4层中以隐含神经元数量为1的设置对网络进行预测输出。LSTM各层的隐含神经元结构如图4所示，S为短期记忆、也是该神经元隐含层的直接输出，L为长期记忆；在t时刻，长期的记忆在神经元内的流动路径较为直接，在L

表4.LSTM网络参数设置

/>

其他参数设置为：初始化网络，并设置模型训练的超参数，网络的学习率设置为0.001，使用平均绝对误差作为模型的损失函数，选择Adam优化算法作为训练中的优化器，设置模型的训练迭代轮数epoch为100，批长度batch size设置为450。使用Python中Opencv库完成输入图像的预处理操作；首先进行输入图像的尺寸调整，使用resize函数将输入图像缩小为40×30的尺寸，并统一图像读入的通道数，采用cv.INTER_LINEAR双线性插值的插值类型；接着利用normalize函数进行像素点数值的归一化，本实施例采用默认参数将归一化范围设置为[0,1]；最后用Numpy中numpy.array函数将特征格式转换为numpy.array类型以供模型做同一输入。

本实施例中时序输入构造的时间滑窗如图5所示，所述时间滑窗采用图片组构造方式，每一个图片组由同一帧的一张先验知识图像与一张原始图像组成；设置时间滑窗长度为10、时间步长也为10，因此，每次的输入图像序列为10个连续帧，其中，靠后9帧又是下一个输入序列的靠前9帧，依次类推。

最终，本实施例提供的基于驾驶先验知识的端到端自动驾驶决策方法相比现有技术，在训练耗时每百轮增加0.05秒、与真实转角绝对误差阈值设为0.05的情况下，自动驾驶转角决策准确率提高了8％。由此可见，本发明实现了车道线先验知识的提取及其与摄像头原始图像的共同输入，有效提高了端到端自动驾驶决策的准确率；将本发明决策方法应用于自动驾驶系统中，在不增长算力的同时，能够降低自动驾驶系统部署成本，提高自动驾驶系统的精确度与安全性，有助于自动驾驶车辆的研发、推广及使用。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。