基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备

技术领域

本发明涉及一种车道线检测系统，属于人工智能及检测技术领域。

背景技术

感知、决策、控制是智能汽车实现真正落地应用的核心技术，环境感知作为决策和控制的先导技术，对智能汽车行驶的安全性、可靠性、舒适性起到至关重要的作用。车道线检测作为智能汽车环境感知的任务之一，是利用车载相机或激光雷达对道路表面的车道线标识进行检测和识别，为后续的规划和决策提供约束信息，是环境感知的基础任务。然而，真实道路交通场景中的车道线检测不仅要求算法要保证精度和速度，还要在遮挡、炫光、恶劣天气等环境下实现准确、鲁棒的检测，这是十分困难的。

2012年深度学习技术兴起后，深度学习成为了车道线检测的主流方法，按照对车道线的描述方式可以把这些方法划分为四种：1)基于图像分割(segmentation)；2)基于锚定模型(anchor)；3)基于行分类(row-wise)；4)基于多项式模型(polynomial)。方法1)是利用图像分割对图片上所有的像素进行分类，提取出属于车道线的像素，这种方法精度较高，但需要分类所有像素，效率很低；方法2)利用预设好的锚定模型来描述车道线，并预测真实车道线与锚定模型间的偏差，相对方法1)效率有所提高，但自由度较低，并且往往需要非极大值抑制算法进行后处理；方法3)先对图像按行进行分组，仅预测车道线像素是否在该组上，相较方法1)在计算速度上有较大提升。按前三种车道线描述方式设计的模型，模型的输出不能直接给后续的规划、决策模块，而是需要聚类、回归等后处理，才能生成规划需要的车道线参数模型。方法4)能直接预测车道线的几何参数模型，例如二次多项式或三次多项式，但该方法的精度与其他方法相比不足以应用到实际场景中。

在复杂的智能汽车车辆系统中，端到端的实现，及算法输出能直接应用于后续模块是算法设计的目标方向。然而现有的端到端车道线检测的方法精度低，非端到端算法精度高计算效率却很低。因此，设计一种高精度、端到端的车道线检测算法是目前智能汽车无人驾驶场景下车道线检测算法需要解决的难题。

发明内容

本发明是为了解决目前车道线检测算法尚没有一种能够兼顾算法精度和计算效率的检测方法的问题。

基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统，包括：

路况图像获取单元，用于获取路况图像并提供给车道线的检测单元进行处理；

车道线的检测单元，利用车道线检测神经网络模型对路况图像进行车道线的检测；

所述车道线检测神经网络模型包括：

特征提取网络：用于对输入图像进行特征提取，获得不同尺度的车道线特征，并分别输入到多项式解码器和分割解码器；

多项式解码器：以特征提取网络得到的最高维特征作为输入，经过两层卷积以及两层全连接操作，最终获得车道线的曲线参数，多项式解码器的输出参数为N*(a+b+1)个，其中N表示图像中车道线的数量，a表示多项式的系数数量，b表示这条车道线在图像坐标中的定义域，1表示车道线存在的概率；输出了车道线的曲线参数就确定了车道线模型，所述的车道线模型为多项式，车道线曲线即多项式对应的曲线；

分割解码器：以特征提取网络的不同尺度的特征图作为输入，分别对其进行卷积和上采样操作，然后拼接成融合特征图，融合特征图是与输出分割掩码相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码；

教学模块：对多项式解码器的第一层输出的特征进行上采样得到三种尺度的特征图，多项式解码器对应的上采样之后的特征图大小分别与分割解码器中不同尺度的特征图大小相同；然后与分割解码器的不同尺度的特征进行特征相似度的衡量，进行特征相似度的衡量的过程中先对不同尺度的特征进行全局平均金字塔池化，使每种尺度的特征分别生成三种不同尺度的新特征，再利用均方差损失函数评判多项式解码器侧的新特征和分割解码器侧的新特征对应的特征间的相似度；

测试模块：以多项式解码器的第二层输出特征和分割解码器的融合特征图作为输入，先多项式解码器的第二层输出特征进行上采样，上采样之后的特征图大小与分割解码器中的融合特征图大小相同；然后分别对多项式解码器上采样之后的特征图和分割解码器中的融合特征图进行通道求和与空间softmax操作，之后利用均方误差损失评判输出特征间的相似度；

车道线检测神经网络模型分为训练模式下、部署模式下的处理方式：

训练模式用于车道线检测神经网络模型的训练过程，利用车道线检测用的训练集进行训练，训练过程中将训练集分批次输入到模型中，按照所述的车道线检测神经网络模型的全部结构对图像进行处理，输出车道线参数和分割掩码；训练过程中将多项式解码器的输出与分割解码器的输出作为教学模块和测试模块的输入，使得多项式解码器能够学习到分割解码器的能力；

部署模式用于车道线的检测，在模型部署下仅部署车道线检测神经网络模型的特征提取网络和多项式解码器，输出车道线参数，以确定车道线模型。

进一步地，在车道线检测神经网络模型的训练过程中，将教学模块、测试模块、多项式解码器、分割解码器的损失函数进行加权求和，作为模型最终的损失，根据最终的损失对车道线检测神经网络模型训练。

进一步地，所述的特征提取网络获得三种不同尺度的车道线特征。

进一步地，所述特征提取网络为ResNet模型的主干网络。

进一步地，采用二次多项式或三次多项式描述车道线模型。

进一步地，所述的路况图像获取单元包括：

图像获取模块，用于获取车载相机拍摄的路况图像；

分辨率调整模块，用于调整车载相机拍摄的路况图像的分辨率，将调整后的图像作为车道线检测神经网络模型的输入。

进一步地，车道线检测神经网络模型的输入的图像大小为288*800。

基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法，首先利用车载相机拍摄路况图像，然后将车载相机拍摄的路况图像输入所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统进行车道线的检测。

一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统。

一种基于辅助监督和知识蒸馏的智能汽车端到端车道线检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统。

有益效果：

1、本发明提出的车道线检测模型为端到端模型，能根据输入图像直接输出车道线参数用于后续规划、决策算法。部署流程简单，消除了后处理对算法实时性和复杂度的影响。

2、本发明提出的车道线检测算法利用语义分割多任务分支作为辅助监督，强化了主干网络对车道线相关特征的提取能力；此外，提出的教学和测试模块充分发挥了分割算法检测车道线精度高的优势，将分割解码器的知识传递给多项式解码器，从而解决了基于多项式的车道线检测算法精度低的问题。

3、本发明在训练阶段运用多任务辅助监督、知识蒸馏等手段提升模型的精度，并在部署阶段仅使用主干模型和多项式解码器以保证算法计算效率，实现了准确性与实时性的平衡。

附图说明

图1为车道线检测神经网络模型结构图；

图2为CULane数据集中正常场景下检测出的车道线可视化结可视化结果；

图3为CULane数据集中拥挤场景下检测出的车道线可视化结果；

图4为CULane数据集中炫光场景下检测出的车道线可视化结果；

图5为CULane数据集中阴影场景下检测出的车道线可视化结果；

图6为CULane数据集中有标识箭头标识场景下检测出的车道线可视化结果；

图7为CULane数据集中无标识箭头标识场景下检测出的车道线可视化结果；

图8为CULane数据集中弯曲道路场景下检测出的车道线可视化结果；

图9为CULane数据集中夜晚场景下检测出的车道线可视化结果；

图10为TuSimple数据集的测试集下检测出的车道线可视化结果；

图11为TuSimple数据集的测试集下检测出的车道线可视化结果；

图12为TuSimple数据集的测试集下检测出的车道线可视化结果；

图13为TuSimple数据集的测试集下检测出的车道线可视化结果。

具体实施方式

本发明的目的是设计一个端到端的车道线检测神经网络模型，应用于智能汽车无人驾驶场景，解决目前车道线检测领域难以同时满足速度和精度的问题。应用本算法后，智能汽车能以超过200帧/秒的速度实现1080p视频下的高精度端到端车道线检测。并且该算法受环境因素影响较小，在常规道路、拥堵道路(遮挡)、暗光环境、炫光环境下均能实现准确的检测功能，为智能汽车提供安全可靠的感知输出。下面结合具体实施方式对本发明进行说明。

具体实施方式一：

基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法依赖基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统来实现。

本实施方式为基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统，包括：

路况图像获取单元，用于获取路况图像并提供给车道线的检测单元进行处理；

所述的路况图像获取单元包括：

图像获取模块，用于获取车载相机拍摄的路况图像；

分辨率调整模块，用于调整车载相机拍摄的路况图像的分辨率，将调整后的图像作为车道线检测神经网络模型的输入；本实施方式中，将图像的分辨率压缩为288*800以降低模型的计算量；

车道线的检测单元，利用车道线检测神经网络模型对路况图像进行车道线的检测；

所述车道线检测神经网络模型的结构如图1所示，车道线检测神经网络模型的处理过程如下：

将输入图像经过特征提取网络实现对输入图像进行特征提取，本实施方式中，特征提取网络选择ResNet模型的主干网络(图1中浅蓝色长方体)，获得三种不同尺度的车道线特征(图1中后三个长方体块堆后向下或向右输出的箭头)，这些特征分别输入到多项式解码器和分割解码器中完成各自的车道线预测任务；其中，

多项式解码器是利用特征提取网络得到的最高维特征作为输入，经过两层卷积，以及两层全连接操作，最终获得车道线的曲线参数，进而确定描述车道线模型，所述的车道线模型为多项式，车道线曲线即多项式对应的曲线；本发明中使用二次多项式或三次多项式来描述车道线模型；

以二次多项式为例，多项式解码器的输出参数为N*(3+2+1)个，其中N表示图像中车道线的数量，3表示二次多项式的三个系数，2表示这条车道线在图像坐标中的定义域，1表示这条车道线存在的概率。

分割解码器以三种不同尺度的特征图作为输入，分别对其进行卷积和上采样操作后，将其拼接成融合特征图，融合特征图是与输出分割掩码(mask)相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码。

车道线检测神经网络模型需要经过训练，才能部署到实际应用中，因此这里分别介绍车道线检测神经网络模型的训练和部署过程。

(1)训练过程：车道线检测有许多公开数据集，如CULane，TuSimple等，这里以CULane数据集为例进行说明。

将数据集的训练集分批次输入到模型中，按照所述的车道线检测神经网络模型结构对图像进行处理，输出车道线参数和分割掩码。训练过程中将多项式解码器第一层的输出特征与分割解码器的三种不同尺度的特征作为教学模块的输入，使多项式解码器学习到分割解码器的能力，并利用多项式解码器的第二层输出特征和分割解码器融合特征图作为测试模块的输入，来确保多项式解码器已经切实学习到了分割解码器的相关特征；

教学模块对多项式解码器的第一层输出的中间特征进行上采样得到三种尺度的特征图，上采样之后的特征图大小分别与分割解码器中三种不同尺度的特征图大小相同；然后与分割解码器的三种不同尺度的特征进行特征相似度的衡量，首先对这些特征进行全局平均金字塔池化，使每种尺度的特征分别生成三种不同尺度的新特征，再利用均方差损失函数评判多项式解码器侧的新特征和分割解码器侧的新特征对应的特征间的相似度。

测试模块则是利用多项式解码器的第二层输出特征和分割解码器的融合特征图作为输入，首先对多项式解码器的第二层输出特征进行上采样，上采样之后的特征图大小与分割解码器中的融合特征图大小相同；然后分别将多项式解码器上采样之后的特征图和分割解码器中的融合特征图在进行通道求和与空间softmax操作，之后利用均方误差损失评判输出特征间的相似度，保证两个编码器信息切实完成了传递。

针对教学模块、测试模块、多项式解码器、分割解码器，对以上四部分的损失函数进行加权求和，作为模型最终的损失，利用优化算法(例如梯度下降法)完成模型参数的更新，从而完成对车道线检测神经网络模型的训练。

(2)部署过程：为了保证模型实际运行时的实时性，在模型部署时，仅部署车道线检测神经网络模型的特征提取网络和多项式解码器(即浅蓝色长方体部分和多项式解码器所在虚线框部分)，因为此时的多项式解码器已经拥有了准确检测图像中车道线的能力，无需分割解码器进行辅助监督。此时车道线检测神经网络模型的运行过程是：车载相机的视频流以连续图像帧的形式输入到模型中，图像经过降采样到288*800后，经过特征提取网络和多项式解码器，直接输出车道线参数模型给后续的规划模块，实现端到端的车道线检测。

具体实施方式二：

本实施方式所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法，包括以下步骤：

首先获取车载相机拍摄的路况图像，然后将车载相机拍摄的路况图像输入车道线检测神经网络模型进行车道线的检测；本实施方式中利用车道线检测神经网络模型进行车道线的检测的具体过程包以下步骤：

步骤一、准备车道线检测公开数据集，如TuSimple，CULane等，按数据集规定将其划分为训练集、验证集和测试集，并为训练集和验证集准备匹配的标签；

步骤二、对步骤一所述的原始图像进行降采样，将分辨率降为288*800，并对训练集进行随机旋转、裁剪和水平翻转等数据增强处理用于神经网络模型训练；

步骤三、设计端到端神经网络模型，此模型是本发明不同于现有技术的主要部分，也是本发明的创新主要体现。本发明提出的车道线检测神经网络模型的结构如附图1所示，该模型的结构介绍和工作原理如下。该模型以车载相机拍摄的路况图像为输入，经过步骤二的预处理后，输入到ResNet模型的主干网络(附图1中浅蓝色长方体)实现对输入图像进行特征提取，获得三种不同尺度的车道线特征(附图1中后三个长方体块堆后向下或向右输出的箭头)，这些特征分别输入到多项式解码器和分割解码器中完成各自的车道线预测任务。其中多项式解码器是利用最高维特征作为输入，经过两层卷积，以及两层全连接操作，最终获得车道线的曲线参数。本发明中使用二次多项式或三次多项式来描述车道线，本实施例中采用二次多项式，多项式解码器的输出参数为N*(3+2+1)个，其中N表示图像中车道线的数量，3表示二次多项式的三个系数，2表示这条车道线在图像坐标中的定义域，1表示这条车道线存在的概率。分割解码器以三种不同尺度的特征图作为输入，分别对其进行卷积和上采样操作后，将其拼接成与输出分割掩码(mask)相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码。

步骤四、端到端车道线检测模型训练。将数据集的训练集分批次输入到模型中，按照步骤三描述的模型结构对图像进行处理，输出车道线参数和分割掩码。训练过程中将多项式解码器的中间输出与分割解码器的中间输出作为教学模块和测试模块的输入，使得多项式解码器能够学习到分割解码器的能力。教学模块是对分割解码器的中间特征进行上采样后与三种不同尺度的分割解码器的中间特征进行特征相似度的衡量，方法是对这些特征进行三种不同尺度的全局平均池化，利用均方差损失函数评判特征间的相似度。测试模块则是利用多项式解码器和分割解码器最后的特征，在通道求和和空间softmax操作后利用均方误差损失评判输出特征间的相似度，保证两个编码器信息切实完成了传递。最后，教学模块、测试模块、多项式解码器、分割解码器，对以上四部分的损失函数进行加权求和，作为模型最终的损失，利用优化算法(例如梯度下降法)完成模型参数的更新。

步骤五、端到端车道线检测模型部署。为了保证模型实际运行时的实时性，在模型部署时，仅部署模型的主干网络(即特征提取网络)和多项式解码器(即附图1中浅蓝色长方体部分和多项式解码器所在虚线框部分)，因为此时的多项式解码器已经拥有了准确检测图像中车道线的能力，无需分割解码器进行辅助监督。此时模型的运行过程是：车载相机的视频流以连续图像帧的形式输入到模型中，图像经过降采样到288*800后，经过主干网络和多项式解码器，直接输出车道线参数模型给后续的规划模块，实现端到端的车道线检测。

本发明提出的车道线检测模型可以依据具体的实际需求更改细节结构。其中可更改的内容有特征提取网路和车道线模型(即车道线的曲线)。其中本方法使用的主干网络模型为ResNet-34的特征提取部分，若实际对速度或精度有其他要求，可将其替换为ResNet-18，ShuffleNet，MobileNet等常规神经网络的主干网络，替换后对模型进行微调即可；车道线模型根据实际道路情况，可以替换为一次多项式、三次多项式或者更高次的多项式模型，具体替换方式为将多项式解码器的最后一层全连接层的输出维度替换为N*(M+1+2+1)，其中M为多项式模型的最高次数，替换后再对模型进行微调即可。

将本发明提出的车道线检测算法利用语义分割多任务分支作为辅助监督，强化了主干网络对车道线相关特征的提取能力；此外，提出的教学和测试模块充分发挥了分割算法检测车道线精度高的优势，将分割解码器的知识传递给多项式解码器，从而提升多项式解码器预测车道线模型的精度。在实际部署应用时，仅主干网络和多项式解码器工作，能够端到端地检测出车道线的曲线模型，并且保持较高的精度。

在实施例中，将本发明在TuSimple和CULane这两个车道线检测数据集上和现有方法进行了对比。其中TuSimple使用精度(Accuracy)作为评价指标，而CULane使用F1-Measure作为评价指标。二者的计算公式如下：

其中，S

表1 TuSimple比较结果

表2 CULane比较结果

从表1和表2可以看出，本发明提出的端到端车道线检测模型在精度和速度上均达到了最佳方法的水平，并且更适合在实际无人驾驶场景中部署。在CULane数据集的测试结果中，本方法在达到了最高的F1-Measure的同时，模型的运行速度也是所有方法中最高的，体现出本方法相较现有方法的优越性。本发明在CULane数据集的测试集下的可视化结果如图2至图9所示，图2至图9展示了八种不同场景下本方法的车道线检测情况，在拥挤、炫光、暗光等环境下均能准确检测出车道线。本发明在TuSimple数据集的测试集下的可视化结果如图10至图13所示。

具体实施方式三：

本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统。

应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，所述指令可以用于编程计算机系统，或其他电子装置，以执行的过程。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层；或者适合于存储电子指令的其他类型的介质。

具体实施方式四：

本实施方式为所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；

所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。