基于轻量化边缘计算的车道线识别方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于轻量化边缘计算的车道线识别方法、装置、计算机设备及存储介质。

背景技术

基于神经网络的深度学习方法是机器学习的技术和研究领域之一，是一种以人工神经网络为架构，对数据进行表征学习的算法。随着大数据时代的到来，含更多隐含层的深度卷积神经网络具有更复杂的网络结构，与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的成绩。为了不断提高卷积神经网络的表征能力，提高图像分类、目标检测、图像分割等任务的性能，大量优秀的网络结构被各界学者提出。其中，经典的深度卷积网络往往拥有相当深的层级结构，在带来性能提升同时，引入了大量的参数，导致计算量急速上涨，模型存储问题和运算速度问题越来越突出，难以达到实际应用标准。

车道线检测是计算机视觉领域的一个基础问题，有着悠久的研究历史和广泛的应用，例如：高级辅助驾驶系统、无人驾驶系统等。对于车道线检测，目前主流的方法有两种：传统的图像处理方法和深度学习的图像分割方法。

传统的图像处理方法通常是基于视觉信息来解决车道检测问题，这些方法的主要思想是通过处理图像利用可见的三通道视觉信息，如HSI颜色模型和边缘检测算法。当视觉信息不够强（如遮挡、强光、弱光）时，跟踪是另一种流行的后处理解决方案，后处理方法除跟踪外，有些还采用了马尔可夫和条件随机场。随着机器学习的发展，采用模板匹配、支持向量机等算法也随之兴起，SAD方法通过自蒸馏来解决车道线检测问题，SAD基于分割的密集预测特性，该方法计算量大，计算效率低下达不到实时检测效果。

深度学习的方法一般把车道检测问题转化为语义分割任务，语义分割是对图像中的每个像素点都逐一进行分类，计算复杂度较高。例如，VPGNet提出了一个由消失点引导的多任务网络用于车道线的标记和检测。SCNN在分割模块中使用了特殊的卷积运算来更有效地利用视觉信息，该方法通过处理切片特征并将它们逐一相加，从而聚合来自不同维度的信息。除了主流的分割算法外，还有序列预测、聚类等算法。LSTM采用长短时记忆网络处理车道的长线结构；同样的原理，Fast-Draw方法预测每个车道点上车道的方向，并依次绘制。车道检测问题也可以视为二值聚类问题，且可以利用三维信息，一定程度上解决路面不平整问题。深度学习的分割方法自然比传统的图像处理方法具有更强的语义表达能力，但由于密集的多通道海量像素级计算，这种消息传递需要更多的计算成本，在计算力有限的车上部署达不到实际的检测效果；此外，车道线表示为分割的二值特征而不是连续的直线或者曲线，不能很好地利用车道线原本具有的平滑连贯性特质，往往检测出来的车道线会有突变的现象。

另外，随着自动驾驶和其他应用的落地，大规模的实时视频处理和轻量化的边缘计算对模型的处理速度提出了更高的要求。从实时性运算的角度来看，从静态图像处理到视频处理的转变意义重大，因为实时方面对于需要低延迟和实时响应的视频应用比单帧图像应用更重要，而现有方法往往缺乏复用视频序列中关键帧的特征，在有限的边缘计算设备资源上的运算速度往往有较大的瓶颈。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于轻量化边缘计算的车道线识别方法、装置、计算机设备及存储介质，其能解决现有技术运算速度慢、效率低的问题。

第一方面，本发明提供一种基于轻量化边缘计算的车道线识别方法，包括：

基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层；

基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层包括根据所述第二特征图形成的特征图层和第一特征图层；

根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。

优选的，根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，包括：

根据上一次关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第一特征图。

优选的，根据所述第一特征图形成多个第一特征图层，包括：

将所述第一特征图进行降采样处理，输出每一个第一特征图的最后一层作为第一目标特征图层进行卷积计算，得到卷积计算后的第一参考特征图层；

排除采样倍数最低的第一特征图后将其他第一特征图所对应的第一参考特征图层作为第一特征图层。

优选的，所述第一特征图层的采样倍数包括4倍、8倍、16倍和32倍。

优选的，根据所述第一特征图形成多个第一特征图层，包括：

将第一特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第一特征图进行卷积计算得到顶层的第一特征图层；

所述顶层的第一特征图层作为首个上一级第一特征图层，将上一级第一特征图层进行上采样后与所述上一级第一特征图层对应层级的下一级第一特征图进行相加得到第一目标特征图层，将第一目标特征图层进行卷积计算得到下一级第一特征图的第一特征图层。

优选的，所述上采样的方式为最近邻值插值法。

优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图，包括：根据当前非关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第二特征图。

优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：

将所述第二特征图进行降采样处理，输出每一个第二特征图的最后一层作为第二目标特征图层进行卷积计算，得到卷积计算后的第二参考特征图层；

排除采样倍数最低的第二特征图后将其他第二特征图所对应的第二参考特征图层作为第二特征图层。

优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：

将第二特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第二特征图进行卷积计算得到顶层的第二特征图层；

所述顶层的第二特征图层作为首个上一级第二特征图层，将上一级第二特征图层进行上采样后与所述上一级第二特征图层对应层级的下一级第二特征图进行相加得到第二目标特征图层，将第二目标特征图层进行卷积计算得到下一级第二特征图的第二特征图层；

将采样倍数为8倍和16倍的第一特征图所对应的第一特征图层替代采样倍数为8倍和16倍的第二特征图所对应的第二特征图层，形成新的第二特征图层。

优选的，基于所述网格分类图预测车道线具体为，基于所述网格分类图以及公式一预测车道线，其中，公式一为：

其中，C为设定的最大车道数，h为设定的网格分类图的行网格数，w为设定的网格分类图的每行网格单元数， X为全局特征图像，f

第二方面，本申请提供一种基于轻量化边缘计算的车道线识别装置，包括：

第一特征采集模块：用于基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层；

第二特征采集模块：用于基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层包括根据所述第二特征图形成的特征图层和第一特征图层；

车道线识别模块：用于根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。

优选的，根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，包括：

根据上一次关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第一特征图。

优选的，根据所述第一特征图形成多个第一特征图层，包括：

将所述第一特征图进行降采样处理，输出每一个第一特征图的最后一层作为第一目标特征图层进行卷积计算，得到卷积计算后的第一参考特征图层；

排除采样倍数最低的第一特征图后将其他第一特征图所对应的第一参考特征图层作为第一特征图层。

优选的，所述第一特征图层的采样倍数包括4倍、8倍、16倍和32倍。

优选的，根据所述第一特征图形成多个第一特征图层，包括：

将第一特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第一特征图进行卷积计算得到顶层的第一特征图层；

所述顶层的第一特征图层作为首个上一级第一特征图层，将上一级第一特征图层进行上采样后与所述上一级第一特征图层对应层级的下一级第一特征图进行相加得到第一目标特征图层，将第一目标特征图层进行卷积计算得到下一级第一特征图的第一特征图层。

优选的，所述上采样的方式为最近邻值插值法。

优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图，包括：根据当前非关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第二特征图。

优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：

将所述第二特征图进行降采样处理，输出每一个第二特征图的最后一层作为第二目标特征图层进行卷积计算，得到卷积计算后的第二参考特征图层；

排除采样倍数最低的第二特征图后将其他第二特征图所对应的第二参考特征图层作为第二特征图层。

优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：

将第二特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第二特征图进行卷积计算得到顶层的第二特征图层；

所述顶层的第二特征图层作为首个上一级第二特征图层，将上一级第二特征图层进行上采样后与所述上一级第二特征图层对应层级的下一级第二特征图进行相加得到第二目标特征图层，将第二目标特征图层进行卷积计算得到下一级第二特征图的第二特征图层；

将采样倍数为8倍和16倍的第一特征图所对应的第一特征图层替代采样倍数为8倍和16倍的第二特征图所对应的第二特征图层，形成新的第二特征图层。

优选的，基于所述网格分类图预测车道线具体为，基于所述网格分类图以及公式一预测车道线，其中，公式一为：

其中，C为设定的最大车道数，h为设定的网格分类图的行网格数，w为设定的网格分类图的每行网格单元数， X为全局特征图像，f

第三方面，本申请提供一种计算机设备，包括存储器以及一个或多个处理器，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请第一方面任一所述的基于轻量化边缘计算的车道线识别方法。

第四方面，本申请提供一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如本申请第一方面任一所述的基于轻量化边缘计算的车道线识别方法。

相比现有技术，本发明的有益效果在于：

本发明通过根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层是根据所述第二特征图形成或者根据第一特征图层形成，根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线；通过对全图特征图像进行降采样处理得到不同尺寸的特征图，利用上一次采集的关键帧图像中处理得到的高分辨率的第一特征图层转化为第二特征图层，大大节省了计算时间和成本，提高运算效率，达到实时性能，并且保留了高分辨率细节，提高运动中的车道线识别准确性。

附图说明

图1为本发明的车道线网格分类示意图；

图2为本发明的一种基于轻量化边缘计算的车道线识别方法的流程图；

图3为本发明的网格分类图；

图4为本发明的基于轻量化边缘计算的车道线识别方法的原理图；

图5为本发明的一种基于轻量化边缘计算的车道线识别装置的结构示意图；

图6为本发明的一种计算机设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本发明实施例提供一种基于轻量化边缘计算的车道线识别方法、装置、计算机设备及存储介质。本申请实施例通过根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层是根据所述第二特征图形成或者根据第一特征图层形成，根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线；通过对全图特征图像进行降采样处理得到不同尺寸的特征图，利用上一次采集的关键帧图像中处理得到的高分辨率的第一特征图层转化为第二特征图层，大大节省了计算时间和成本，提高运算效率，达到实时性能，并且保留了高分辨率细节，提高运动中的车道线识别准确性。

本申请实施例提供一种在嵌入式芯片上进行车道线识别计算的方式，设备采用NVIDIA Jetson AGX Xavier，该边缘设备配备了带有张量核的集成Volta GPU、双深度学习加速器、32GB内存，最高可达32TeraOPS，此外，Xavier是NVIDIA Jetson系列中唯一一个同时支持FP16和INT8张量核的架构，这是TensorRT优化所需要的。TensorRT是NVIDIA的深度学习推理优化器，它提供混合精度支持、最优张量布局、网络层融合和内核特化。使用TensorRT加速模型的一个主要部分是将模型权重量化到INT8或FP16精度(也称为：定点化)。由于FP16具有比INT8更广泛的精度范围，因此它以消耗更多计算时间为代价获得了更好的精度，考虑到不同深度网络组件(网络骨干、分割模块、分类模块等)的权值有不同的范围，这种速度与精度的权衡需要根据不同模块的性质具体分析。本方法将每个模型组件模块独立转换为TensorRT，并探索INT8和FP16权重之间的最佳组合，在保持精度的同时最大程度进行加速。

为了将模型中的每个模块量化到INT8精度，需要一个校准步骤，该步骤中TensorRT收集每一层激活的直方图，生成几个具有不同阈值的量化分布，并使用KL散度将每个量化分布与参考分布进行比较。此步骤确保模型在转换为INT8精度时损失的性能尽可能少。本方法通过实验，结合精度和速度两个层面的权衡，使用50或100张图像进行校准可以达到最好的效果。

在本发明实施例中，车道线表示位于预定义行的一系列水平“行网格”（也可称为“行锚”）。为了表示位置，第一步是网格化，在每个行上，位置被划分为许多单元格，车道线的检测可以描述为在预定义的行网格上选择特定的单元格，如图1所示。

下面分别进行详细说明。

图2给出了本申请实施例提供的一种基于轻量化边缘计算的车道线识别方法，本申请实施例提供的基于轻量化边缘计算的车道线识别方法可以由基于轻量化边缘计算的车道线识别装置来执行，该基于轻量化边缘计算的车道线识别装置可以通过硬件和/或软件的方式实现，并集成在计算机设备中。

下述以基于轻量化边缘计算的车道线识别装置执行基于轻量化边缘计算的车道线识别方法为例进行描述，参考图2，该基于轻量化边缘计算的车道线识别方法包括如下步骤：

101：基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层。

本申请实施例中，对车道线的识别基于上一次采集的全局特征图像以及本次采集的全局特征图像，本实施例中记为当前采集的全局特征图像。

具体的，基于上一次采集的全局特征图像的关键帧图像和当前采集的全局特征图像的非关键帧图像进行结合和转换，最终形成特征图层进行车道线的计算和识别。本实施例与深度语义分割方法相比，该深度语义分割方法是利用图像的全局特征在图像的预定行中选择车道位置的方法，而不是基于局部的感受域对车道线的每个像素进行分割，避免了分割每个像素的复杂计算量，且可以有效提高推理速度；该方法利用全局特征进行预测，比分割公式具有更大的接收域，通过这种方式，无视觉线索的问题也可以得到解决；本方法使用了一种结构损失（Structural Loss）来利用车道线的平滑、连续等先验信息，保证车道线的连续性和正确性；此外还结合视频的关键帧特征信息与tensorRT的量化加速，进一步提升该模型在圆边设备上的计算速度。

在本实施例中，可具体通过高清摄像机实施采集前方道路视频，因此对于本实施例的边缘计算设备，输入视频序列为{ Ii }，本实施例基于该视频绪论快速准确预测每一帧图像中{ yi= N(Ii) }中每条车道线的位置。

首先通过深度卷积网络提起每一帧图像的特征，结合残差网关ResNet中的残差模块，用于提起输入图像的多尺度特征图。具体的，获取上一次关键帧图像，进行降采样处理，得到不同采用倍数的第一特征图，第一特征图包含原图分辨率大小、2-16倍采样大小的特征图，如图5中的C1-C5，也即是根据上一次关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第一特征图。

之后基于第一特征图进行处理得到第一特征图层。具体的，包括两个阶段，其中一个是自底向上的路径（Up-bottom pathway），将所述第一特征图进行降采样处理，输出每一个第一特征图的最后一层作为第一目标特征图层进行卷积计算，得到卷积计算后的第一参考特征图层；排除采样倍数最低的第一特征图后将其他第一特征图所对应的第一参考特征图层作为第一特征图层。

如图4中的C1-C5，每一级往上用步长为2(step=2)的降采样，输出尺寸相同的网络部分叫同一级(stage)，选择每一级的最后一层特征图，作为Up-bottom pathway的对应相应层数，经过1x1卷积过后元素相加的参考。用2~5级参与预测(因为第一级的语义特征比较低)，附图1中的{C2,C3,C4,C5}表示conv2，conv3，conv4和conv5的输出层(ResNet最后一个残差block层)作为特征层，分别对应于输入图片的下采样倍数为{4，8，16，32}。

第二个阶段是自顶向下的路径与跳跃式链接(Top-down pathway and lateralconnections)，将第一特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第一特征图进行卷积计算得到顶层的第一特征图层；

所述顶层的第一特征图层作为首个上一级第一特征图层，将上一级第一特征图层进行上采样后与所述上一级第一特征图层对应层级的下一级第一特征图进行相加得到第一目标特征图层，将第一目标特征图层进行卷积计算得到下一级第一特征图的第一特征图层。

上述中，上采样的方式为最近邻值插值法。该过程通过上采样(up-sampling)的方式将顶层的小特征图放大到上一级(stage)的特征图一样的大小。可以在上采样的过程中最大程度地保留特征图的语义信息，从而与自底向上(bottom-up)过程中相应的具有丰富的空间信息(高分辨率，有利于定位)的特征图进行融合，从而得到既有良好的空间信息又有较强烈的语义信息的特征图。如图5中的P3~P7层，该过程具体为：C5层先经过1x1卷积，改变特征图的通道数(本方法中设置为d=256)得到P5层，P5通过上采样，再加上(特征图中每一个相同位置元素直接相加)C4经过1x1卷积后的特征图得到P4。这个过程再做一次分别得到P3。得到最终的P3，P4，P5层特征作为后面模块的输入。

102：基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层是根据所述第二特征图形成或者根据第一特征图层形成。

本步骤中，形成第二特征图的具体方式与步骤101所展示的步骤原理相同，具体的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图，包括：根据当前非关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第二特征图。

根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：将所述第二特征图进行降采样处理，输出每一个第二特征图的最后一层作为第二目标特征图层进行卷积计算，得到卷积计算后的第二参考特征图层；排除采样倍数最低的第二特征图后将其他第二特征图所对应的第二参考特征图层作为第二特征图层；将采样倍数为8倍和16倍的第一特征图所对应的第一特征图层替代采样倍数为8倍和16倍的第二特征图所对应的第二特征图层，形成新的第二特征图层。

作为另一个阶段，将第二特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第二特征图进行卷积计算得到顶层的第二特征图层；所述顶层的第一特征图层作为首个上一级第二特征图层，将上一级第二特征图层进行上采样后与所述上一级第二特征图层对应层级的下一级第二特征图进行相加得到第二目标特征图层，将第二目标特征图层进行卷积计算得到下一级第二特征图的第二特征图层；将采样倍数为8倍和16倍的第一特征图所对应的第一特征图层替代采样倍数为8倍和16倍的第二特征图所对应的第二特征图层，形成新的第二特征图层。

103：根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。

本步骤中，结合图1、图2和图3，基于所述网格分类图预测车道线具体为，基于所述网格分类图以及公式一预测车道线，其中，公式一为：

其中，C为设定的最大车道数，h为设定的网格分类图的行网格数，w为设定的网格分类图的每行网格单元数， X为全局特征图像，f

本实施例利用网格分类模块识别车道线，网格分类模块主要关注车道线之间的内部关系，该模块是一种结合全局上下文特征和局部特征的辅助特征聚合方法，这是利用多尺度特征来建模局部特征的辅助分割任务。该模块仅在模型训练阶段激活，在推理预测阶段不进行激活，因此即使增加了额外的分割任务，该任务并不会影响到本方法的推理预测速度。

本申请中，采用部分特征转话方法，在保证不影响速度的前提下提高转化后的特征的质量。对于关键帧，本申请计算所有第一特征图对应的第一特征图层，对于非关键帧，只计算该特征的一个自己，包含计算全部高分辨率的C1、C2、C3、P3，跳过计算低分辨率的P4、P5，而该分辨率的特征则直接从上一个关键帧I k的P4、P5转化得到近似的该非关键帧的特征，即附图中的W4和W5，其中P6、P7由W5下采样得到。将计算出的C3特征和转化后的W4特征合成P3，即P3 = C3 + up(W4)，其中up(·)表示上采样(upsampling)。最后，我们使用P3特征来进行后面的模块计算。通过这种方式，与其他方法不同的是，我们可以保留生成特征的高分辨率细节，因为高分辨率C3特征是计算而不是由上一关键帧转化的，因此在运动估计中不会出现错误。尽管计算每个帧的C1 ~ C3骨干特征(即关键帧和非关键帧都进行计算)，避免计算骨干特征中计算量最大的部分，因为在特征金字塔网络的不同阶段的计算成本是高度不平衡的，通过实验得到：Renet-101骨干网络中的66%以上的计算量在C4上，而骨干网络的计算占了整个Renet-101一半以上的推理时间。通过只计算特征金字塔的较低层次，并对其余部分进行转化，可以大大加快本方法的模型，达到实时性能。

本申请的模型首先将两帧运动信息编码为二维的运动流，记为

有效地估计物体的运动是进行准确且快速特征转化的基础。而现有方法中一般直 接执行流导向特征变换，采用现成的像素级光流网络进行运动估计。例如，FlowNetS分三个 阶段进行流量估计：首先将原始RGB图片帧作为输入，使用神经网络批量计算其特征图；然 后通过递归上采样和跳跃式连接特征映射来提炼特征子集，以生成包含高感受野的全局特 征(运动幅度大)和低感受野的精细局部特征(运动幅度小)；最后，它使用这些特性来预测 最终的光流图。在本方法中，为了提升计算效率增加处理帧率，没有使用现有光流方法来处 理原始输入图片帧，而是重用由我们模型的特征骨干网络计算的特征，骨干网络已经产生 了一组语义丰富的特征，在本方法中称为“运动特征流网络”，在第一阶段中采用的不是从 原始RGB图像输入计算特征堆栈，而是重用来自ResNet骨干(附图1中的C3层)的特征，并使 用更少的卷积层，通过这样处理后的特征流计算网络在计算上可以达到更快的速度，同事 也可以达到更好的效果。使用运动特征流网络来计算两帧的运动流

其中θ表示双线性差值在不同空间位置的权重。

本步骤具体计算中，还进行损失函数计算，包括分类损失、结构损失和分割损失， 其中分类损失采用公式

在网络分类模块中，假设T i,j,:是正确位置的单标签，表示为one-hot向量形式，那么网络分类模块的训练优化目标（即损失函数）如下，使用标准的交叉熵损失：

上述公式的计算复杂度和基于图像分割方法之间的差异如图3所示。假设图像大小为H×W，一般情况下，预定义的行网格数和每个网格的网格单元数都远远小于图像的大小，也就是说，h远小于H且w+1远小于W。基于图像分割的方法需要进行C+1维的H×W分类(C为输出的类别通道数)，而该函数只需要解决w+1维的C×h分类问题。上述损失函数计算复杂度为C×h×(w+1)，而分割算法的计算复杂度为H×W×(C +1)，前者远小于后者。例如，使用CULane数据集的常用设置，本方法的计算量是1.7×104，图像分割计算量是1.15×106，可以看出比常用的分割方法简单得多，计算速度有明显的提升。

结构损失由相似性损失和位置损失构成，相似性损失的损失函数是由车道线连续性的这一性质推导出来，即相邻行网格中的车道点应该彼此接近。在本方法中称之为相似性损失函数，公式如下：

其中，Pi,j:是第j行网格的预测位置，||.||为L1范数。位置损失的损失函数侧重于车道线的形状。一般情况下大多数车道线都是直的，即使是曲线车道，车道线仍然表现出比较好的连续性和平滑性。因为当车道线接近直线的时候，其二阶偏导值为0，所以本方法使用二阶偏导来约束车道的形状。对于任意车道线索引i和行网格索引j，位置Loci,j可以表示为:

其中Probi,j,k表示第i个车道线在第j个行网格、第k个位置的概率。Pi,j,1:w是w维向量，Probi j:分别表示在每一个位置的概率。因为不包含背景网格单元，计算范围仅为1到w。这种定位方法的好处有两个方面：第一个是期望函数是可微的；二是通过离散的随机变量来恢复连续的位置。根据上述公式，其二阶微分约束损失可以表示为：

其中Loci,j为第i条车道线，第j个行网格上预测的位置。

最后，整体结构损失可以表示为：

其中λ结构损失函数中两个损失函数相应的权重系数。

本实施例使用交叉熵作为辅助分割损失，Lseg表示如下：

其中yi表示像素i的label，N∈[0, H*W]，

本实施例还提供基于轻量化边缘计算的车道线识别装置，如图5所示，包括：

第一特征采集模块501：用于基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层；

第二特征采集模块502：用于基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层是根据所述第二特征图形成或者根据第一特征图层形成；

车道线识别模块503：用于根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。

另外一方面，本申请实施例还提供一种计算机设备，如图6所示，包括存储器601以及一个或多个处理器602，所述存储器601用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器602执行，使得所述一个或多个处理器实现如本发明任一所述的基于轻量化边缘计算的车道线识别方法，该车道线识别方法包括基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层；基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层是根据所述第二特征图形成或者根据第一特征图层形成；根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任一所述的基于轻量化边缘计算的车道线识别方法。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。