基于响应知识蒸馏的轻量化交通标志检测方法及系统

技术领域

本发明涉及采用深度学习方法的无人驾驶环境感知技术领域，尤其涉及一种基于响应知识蒸馏的轻量化交通标志检测方法及系统。

背景技术

无人驾驶和高级辅助驾驶系统的环境感知旨在代替人类驾驶员的直觉感知，并为路径规划和决策控制提供关键信息。作为环境感知的重要组成部分，交通标志检测是通过车载传感器采集车周场景图像，从中对交通标志进行检测和识别，实现对道路交通的预判，增加无人驾驶反应时间并及时做出调整。因此准确实时的交通标志检测有助于减少交通事故保障道路运行畅通。现有交通标志检测方法主要分为基于传统特征提取和基于深度学习两种方法。传统特征提取的效果完全依赖人工设计，在复杂环境下和交通标志数量较多时不能满足实际检测需求。随着卷积神经网络的发展，基于深度学习的交通标志检测不需要人工干预调整可以自主完成对交通标志的特征提取和检测识别，同时在遮挡、恶劣天气等极端环境下检测性能表现优异。而且随着交通场景信息的增加以及检测方法的迭代更新，交通标志检测的实时性和鲁棒性越来越重要。考虑到无人驾驶车载设备的存储计算资源相对有限，现有检测方法虽然性能优异但是很难直接部署在这些设备上使用。

发明内容

本发明针对现有检测模型难以在无人驾驶车载端部署且推理速度较慢的问题，提出一种基于响应知识蒸馏的轻量化交通标志检测方法及系统，以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，然后采用预训练的Yolov5s作为教师模型，通过基于尺度缩放的响应知识蒸馏对作为学生模型的轻量化Yolov5s-MobileNeXt进行监督训练，同时借助切片辅助推理作为本地离线数据增强手段以提高模型的泛化能力和检测性能，使得轻量化后的检测模型学习到教师模型知识的同时可以具有较高的推理速度，从而可以部署在无人驾驶车载设备上实际使用。

为了实现上述目的，本发明采用以下技术方案：

本发明一方面提出一种基于响应知识蒸馏的轻量化交通标志检测方法，包括：

步骤1，教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；

步骤2，构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；

步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；

步骤4，监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；

步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。

进一步地，在所述步骤1之前，还包括：

对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。

进一步地，所述步骤3中，得到的加权的交通标志检测蒸馏损失函数LOSS

LOSS

式中，

其中f

进一步地，所述分类损失f

本发明另一方面提出一种基于响应知识蒸馏的轻量化交通标志检测系统，包括：

教师模型预训练模块，用于教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；

学生模型构建模块，用于构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；

蒸馏损失函数构建模块，用于构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；

模型监督训练模块，用于监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；

交通标志检测模块，用于基于模型监督训练模块得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。

进一步地，还包括：

数据预处理模块，用于对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。

进一步地，所述蒸馏损失函数构建模块中，得到的加权的交通标志检测蒸馏损失函数LOSS

LOSS

式中，

其中f

进一步地，所述分类损失f

与现有技术相比，本发明具有的有益效果：

交通标志为无人驾驶提供前方道路信息，保障无人驾驶行车安全，在保证交通标志检测准确性的同时尽可能的使检测模型易于部署且实现实时监测，对无人驾驶以及高级辅助驾驶系统的发展具有重要意义。本发明针对现有检测模型性能优异但模型大小难以在无人驾驶车载端侧部署应用的问题，提出采用响应知识蒸馏方法训练改进的轻量化交通标志检测模型，它的有益效果体现在以下几个方面。

a)采用迁移学习方法，初始化在COCO基准数据集上的模型权重并在交通标志检测数据集上重新训练，可以加速模型的收敛速度，使教师模型具有更加优异的检测性能和泛化能力；

b)在待检测交通标志图像输入模型前，对数据集使用滑窗切片方法进行数据处理和扩增，使待检图像以较小分辨率进入模型，避免了数据预处理阶段从较大分辨率裁剪图像造成的交通标志信息丢失问题，极大的提高了模型的检测性能；

c)采用轻量化卷积神经网络MobileNeXt对检测模型Yolov5s骨干网络进行替换重构，解决了检测模型参数量大、计算复杂度高的问题，重构之后的模型只需占用较小的内存空间就可以完成部署，且推理速度大大提升；

d)采用基于对象性缩放响应的知识蒸馏方法监督引导改进的轻量化检测模型训练，既解决了轻量化造成的检测性能损失问题，又使轻量化学生模型的检测准确率和召回率大大提升，甚至对于某些类别的交通标志检测结果优于教师模型，且所得学生模型对无人驾驶车载端硬件设备和计算资源要求很低。

附图说明

图1为本发明实施例的一种基于响应知识蒸馏的轻量化交通标志检测方法的流程图；

图2为本发明实施例教师模型构建流程图；

图3为本发明实施例轻量化交通标志检测模型Yolov5s-MobileNeXt架构示意图；

图4为本发明实施例基于响应蒸馏的学生模型构建流程图；

图5为本发明实施例基于响应的对象性缩放蒸馏框架；

图6为本发明实施例一种基于响应知识蒸馏的轻量化交通标志检测系统的架构示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的解释说明：

本发明提出的一种基于响应知识蒸馏的轻量化交通标志检测方法，如图1所示，该方法以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，然后采用预训练的Yolov5s作为教师模型，通过基于尺度缩放的响应知识蒸馏对作为学生模型的轻量化Yolov5s-MobileNeXt进行监督训练，同时借助切片辅助推理作为本地离线数据增强手段以提高模型的泛化能力和检测性能，使得轻量化后的检测模型学习到教师模型知识的同时可以具有较高的推理速度，从而部署在无人驾驶车载设备上实际使用。其中教师模型构建方式采用在COCO数据集上预训练，并在交通标志检测数据集上进行迁移学习的Yolov5s模型。另一方面，学生模型采用改进的轻量化Yolov5s-MobileNeXt模型。在整体上采用教师-学生模型结构监督训练目的是使学生模型尽可能的学习教师模型的预测输出，当学生模型性能收敛时保存最佳检测模型并转化为最终在无人驾驶端侧芯片部署的模型。

该方法具体包括：

步骤1，构建采用预训练的交通标志检测教师模型：深度学习模型的检测结果直接受到数据集规模的影响，考虑到现有交通标志数据集标签缺失以及类别不均衡问题，教师模型采用在COCO数据集上预训练，然后在交通标志数据集上进行迁移学习的Yolov5s检测模型。教师模型训练流程如图2所示。

步骤2，重构采用轻量化卷积神经网络的学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；

通常来说深度学习模型参数量的大小直接影响模型性能，然而，参数规模巨大但推理性能优越的深度学习模型无法在计算存储资源有限的设备上部署，而可以部署的模型结构相对简单、复杂度低、推理性能差，无法满足实际的使用需求。骨干网络作为检测网络模型的核心组成部分，旨在提取待检测目标信息得到不同倍率的下采样特征图，以满足对目标不同尺度和种类的检测需求。从网络结构设计角度专门为Yolov5模型设计的Darknet53骨干网络，其残差结构采用大量的卷积核构成，在交通标志检测中会产生大量冗余的特征信息，使得Yolov5模型在计算资源相对有限的无人驾驶车载设备上运行速度非常缓慢；

采用轻量化卷积神经网络MobileNeXt替换Darknet53骨干网络实现对Yolov5s模型的重构，模型结构如图3所示。由深度可分离卷积代替原始卷积层提取特征，大幅度减少网络计算量和参数量，使模型更适合无人驾驶车载设备的交通标志检测需要。

步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数。

步骤4，采用响应的知识蒸馏训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型。

具体地，知识蒸馏是模型压缩和增强的一种常用方法，不同于模型压缩中的剪枝和量化，知识蒸馏的主要思想是训练一个小的网络模型来模仿一个预先训练好的大型网络，它允许以可接受范围内的性能损失为代价实现教师模型到学生模型的知识传递，从而使结构简单、复杂度低的学生模型得到媲美教师网络的性能表现。学生模型的训练流程如图4所示。

为了使轻量化后的检测模型仍然拥有较高的预测性能，采用知识蒸馏方法使学生模型模仿性能优异的教师模型的预测输出。在目标检测中，教师模型的响应知识不仅包括分类概率，还包括检测对象定位的边界框和置信度信息，所以基于对象性缩放方法综合考虑教师模型响应输出软标签后与学生模型损失函数进行加权计算，得到最终的蒸馏损失函数，从而在蒸馏损失函数的引导下经过更少轮次的训练和参数更新最终得到收敛的学生检测模型。

步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。

进一步地，在所述步骤1之前，还包括：

对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。

作为一种具体可实施方式，为实现性能优异的交通标志检测模型的压缩精简以及在无人驾驶车载设备上的部署应用，本发明提出采用基于响应知识蒸馏思想构建改进的轻量化模型的交通标志检测方法，具体实施如下：

以Yolov5s作为基线模型，对其骨干网络及整体架构进行轻量化改进，然后将Yolov5s检测模型作为教师模型，以改进的轻量化交通标志检测模型Yolov5s-MobileNeXt作为学生模型，采用基于响应的知识蒸馏方法在教师-学生网络架构下训练更新。

1教师模型的构建

以在COCO基准数据集上构建的预训练模型初始化网络参数，然后针对交通标志检测任务在交通场景数据集上进行迁移训练，以联合损失函数引导模型的参数优化方向，当损失函数收敛时得到教师模型Yolov5s。

损失函数通过计算输出值与目标值来指导训练模型的优化方向，并直接决定检测模型的性能好坏。交叉熵损失函数常用于图像分类领域，而在目标检测中通常还包括对象定位损失。所以，损失函数是边界框回归损失、目标分类损失以及置信度预测损失三部分的加权和，公式表示如下：

其中f

特别地分类损失f

式中n表示样本数目，ω

其中α表示平衡权重系数，ν度量宽高比的相似度，ρ(b,b

2交通标志检测模型的轻量化

本发明采用轻量化卷积神经网络MobileNeXt作为Yolov5s的骨干网络进行模型重构。MobileNeXt网络中的Sandglass Bottleneck基于倒置残差块将shortcut从瓶颈结构处放在了高维特征表示之间,并在高维特征上使用深度卷积编码空间信息。瓶颈结构处采用1×1逐点卷积编码通道间的信息，在深度方向上对输入的特征图进行加权组合得到新的特征信息避免目标特征提取出现零化现象，首尾处两次深度可分离卷积保留了交通标志待检测目标更多的空间信息从而有助于检测性能的提升。Sandglass Bottleneck的特殊结构允许高维特征信息可以由底层传递到深层，同时模型所需参数量相比于同类型模型更少，在相当的计算花销下可以取得更好的性能。作为新骨干网络的轻量化卷积神经网络MobileNeXt的结构如表1所示。

表1轻量化骨干网络的结构

/>

将MobileNeXt以0.33的网络深度和0.50的网络宽度与Yolov5s模型结合重构，使整体检测网络结构基本保持不变的情况下得到轻量化的Yolov5s-MobileNeXt交通标志检测模型，基于其深度可分离卷积和残差结构的特性显著降低了检测模型的参数量。

3基于响应的对象性缩放蒸馏训练

本发明选择经过预训练的Yolov5s作为教师模型，改进的轻量化Yolov5s-MobileNeXt作为学生模型进行蒸馏训练。整体知识蒸馏框架如图5所示。学生模型的损失函数计算方法同教师模型一样，包括边界框回归损失、目标分类损失以及置信度预测损失三部分的加权和。

而在蒸馏训练中，教师模型最后一层的密集预测输出会导致学生模型的边界框错误学习，所以基于对象性缩放策略避免学生网络学习教师网络的背景预测，即学生模型只在教师模型置信度很高时才学习目标回归框和类别概率，否则仍按原有计算方式度量损失。对象性缩放的蒸馏损失函数如下所示。

其中ε为加权系数，表示蒸馏损失部分占总损失函数的比例，当ε＝0时三个函数相加等价于公式(1)。ε值越大，表示学习教师模型的知识越多。c

/>

其中T为蒸馏温度系数，较高的温度可以蒸馏出教师模型更多的知识，弱化每个类别的概率分布，当T趋近于无穷时所有的类别具有相同的概率。

综上所述，蒸馏训练的损失函数(即蒸馏损失函数)可以表示为

LOSS

为验证本发明效果，进行如下实验：

实验参数设置如下：AdamW优化器用于调整网络参数，并且初始学习率设置为0.01。动量设置为0.937，使用0.0005的权重衰减来防止模型过拟合，以批大小为256共训练300轮。图像马赛克增强概率设置为1.0，并且关闭图片翻转。实验均以640分辨率单尺度训练，对数据集进行聚类得到三种尺度的锚框大小：[5,6,7,7,9,10]、[12,12,15,16,19,20]、[25,26,33,35,51,52]。在蒸馏训练进程中，采用Yolov5s作为教师模型蒸馏学生模型Yolov5s-MobileNeXt，网络通过使用预训练模型初始化来加速模型收敛速度，其余参数设置均保持默认共训练200轮。此外，蒸馏训练温度T取20，加权系数ε取0.5。

表2中将常用的轻量化卷积神经网络作为骨干与我们提出的方法在同样的条件下进行了对比。可以明显的看到在待检测图像输入大小相同的情况下，提出的方法仅需很少的层和参数量，相比于基准模型Yolov5s参数量缩减约54.8％，在模型层面大大提高了检测模型的可移植能力。

表2不同轻量化模型性能对比

表3展示模型推理速度对比，FPS表示每秒填充图像的帧数。从数据集中随机抽取1000张图片来评估模型检测速度，为了公平比较模型结果，在FP16精度下以相同的实验条件进行测试，所有结果均在没有非最大抑制的情况下以批大小为1进行报告。此外还提供了基于TensorRT的GPU推理以及基于ONNX的CPU推理速度。所提的方法推理速度可以在GPU上达到188.7FPS(不使用TensorRT)，比相同条件下的Yolov5s基准模型快15.9％。即使在计算能力相对较弱的CPU上，本方法的推理速度实现了从4.7FPS到12.9FPS的显著增长，尤其实现了基于ONNX的31.6FPS实时推理速度。

表3模型推理速度对比

表4在相同的实验条件下评估不同检测模型性能结果。所提轻量化模型Yolov5s-MobileNeXt仅仅需要6.8M的占用内存就可以实现88.6％的检测精度，相比于基线模型Yolov5s性能仅仅下降2.9％，同时经蒸馏训练之后mAP@0.5仅下降1.3％就可以获得竞争性的检测结果。相比于Yolov5方法的最小模型Yolov5n，只需要额外消耗2.8MB的内存占用检测性能就可以获得显著性的提升。此外，在COCO数据集的基准下对大、中、小交通标志进行性能评估，所提蒸馏方法在中尺度和大尺度上的平均精度(AP)比作为教师模型的Yolov5s分别高0.2和2.3，表明教师模型的检测知识在蒸馏训练中得到了有效传递。虽然我们方法的小目标平均召回率以66.7％的值低于Yolov5s，但是在中目标和大目标的平均召回率(AR)比其他模型有明显的提高。

表4不同模型检测性能对比

在上述实施例的基础上，如图6所示，本发明还提出一种基于响应知识蒸馏的轻量化交通标志检测系统，包括：

教师模型预训练模块，用于教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；

学生模型构建模块，用于构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；

蒸馏损失函数构建模块，用于构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；

模型监督训练模块，用于监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；

交通标志检测模块，用于基于模型监督训练模块得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。

进一步地，还包括：

数据预处理模块，用于对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。

进一步地，所述蒸馏损失函数构建模块中，得到的加权的交通标志检测蒸馏损失函数LOSS

LOSS

式中，

其中f

进一步地，所述分类损失f

综上，交通标志为无人驾驶提供前方道路信息，保障无人驾驶行车安全，在保证交通标志检测准确性的同时尽可能的使检测模型易于部署且实现实时监测，对无人驾驶以及高级辅助驾驶系统的发展具有重要意义。本发明针对现有检测模型性能优异但模型大小难以在无人驾驶车载端侧部署应用的问题，提出采用响应知识蒸馏方法训练改进的轻量化交通标志检测模型，它的有益效果体现在以下几个方面。

a)采用迁移学习方法，初始化在COCO基准数据集上的模型权重并在交通标志检测数据集上重新训练，可以加速模型的收敛速度，使教师模型具有更加优异的检测性能和泛化能力；

b)在待检测交通标志图像输入模型前，对数据集使用滑窗切片方法进行数据处理和扩增，使待检图像以较小分辨率进入模型，避免了数据预处理阶段从较大分辨率裁剪图像造成的交通标志信息丢失问题，极大的提高了模型的检测性能；

c)采用轻量化卷积神经网络MobileNeXt对检测模型Yolov5s骨干网络进行替换重构，解决了检测模型参数量大、计算复杂度高的问题，重构之后的模型只需占用较小的内存空间就可以完成部署，且推理速度大大提升；

d)采用基于对象性缩放响应的知识蒸馏方法监督引导改进的轻量化检测模型训练，既解决了轻量化造成的检测性能损失问题，又使轻量化学生模型的检测准确率和召回率大大提升，甚至对于某些类别的交通标志检测结果优于教师模型，且所得学生模型对无人驾驶车载端硬件设备和计算资源要求很低。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。