一种基于少量跨域数据学习的道路缺陷检测方法

技术领域

本发明涉及道路缺陷检测技术领域，特别是涉及一种基于少量跨域数据学习的道路缺陷检测方法。

背景技术

基于车载摄像头的道路缺陷检测对于路况管理和维护具有重要意义，这些路面缺陷主要是指深坑洼、浅坑洼、开裂以及龟裂等，近年来，在定位此类缺陷然后对其进行分类方面取得了巨大进步，尤其是随着计算机视觉技术的进步，显著减少了人工缺陷巡查所需的工作量和时间。

到目前为止，基于视觉的道路缺陷检测的主流方法可以分为两类，分别为基于图像处理的传统方法和基于深度学习的方法，在传统方法中，如Gabor滤波器、粒子滤波器或中值滤波器等等图像滤波器用于使裂缝在图像中更加突出，然后使用阈值分割或canny边缘检测等常规检测方法来定位这些裂缝。

这些传统方法虽然具有悠久的历史，并提供了深刻的理论贡献，但在低照度和恶劣天气条件下会存在检测精度低的问题，相比之下，基于深度学习的方法利用神经网络自动学习更强大的特征，并且可以有效提高在不良条件下的准确性。

更具体地说，基于深度学习的方法通常利用监督或非监督学习方案来获取道路缺陷检测的相关知识，基于监督学习的方法严重依赖于标注良好的数据集，它们的性能也取决于给定数据集的规模和质量，由于数据标注费时费力，所以限制了这些方法的实际应用。

基于无监督学习的方法不需要如此繁重的数据标注，因此近年来变得非常流行，其中一个普遍的想法是仅通过正常道路图像来构建和训练对抗性生成模型，而将道路缺陷确定为测试图像中的异常区域，尽管无监督方法可以避免标记大量数据，但它们只能定位缺陷而不能对它们进行分类，所以现有技术中关于道路缺陷检测的方法不能同时满足以下两点：一、无需依赖于大量标注良好的数据；二、具有同时定位和分类道路缺陷的能力。

发明内容

为了解决以上技术问题，本发明提供一种基于少量跨域数据学习的道路缺陷检测方法，包括以下步骤

S1、基于Faster R-CNN目标检测模型，设计道路缺陷加权分支，构建并形成少样本检测模型；

S2、将现有的大型图像数据集划分成若干个子检测任务t

S3、构建道路缺陷检测数据集，并将其划分成训练集与测试集；

S4、构建数据增强方法，计算原始输入图像至增强图像之间的映射关系，并对作为训练集的道路缺陷检测数据集进行增强；

S5、利用增强处理后的作为训练集的道路缺陷检测数据集对少样本检测模型进行参数微调；

S6、利用作为测试集的道路缺陷检测数据集评估微调后的少样本检测模型性能，并将少样本检测模型部署至车载计算设备中，利用车载相机的视频流作为输入，实现道路缺陷检测。

本发明进一步限定的技术方案是：

进一步的，步骤S1具体包括以下分步骤

S1.1、利用Faster R-CNN目标检测模型的特征提取网络将输入图像数据映射为询问特征图q；

S1.2、构建与Faster R-CNN目标检测模型的特征提取网络共享权重的映射网络，将每类道路缺陷的30张参考图像映射为特定缺陷类别相关的支持特征图s

S1.3、构建道路缺陷定位加权模块，以询问特征图q与支持特征图s

S1.4、将各缺陷类型相关的加权特征图p

S1.5、构建道路缺陷分类加权模块，利用下式建立M个兴趣区域r

其中，o表示加权的RoI特征图集合，函数f

前所述的一种基于少量跨域数据学习的道路缺陷检测方法，步骤S1.3中，对任意支持特征图s

其中，函数g表示全局平均池化操作，N表示道路缺陷的类别数量，p

前所述的一种基于少量跨域数据学习的道路缺陷检测方法，支持特征图s

前所述的一种基于少量跨域数据学习的道路缺陷检测方法，步骤S2具体包括以下分步骤

S2.1、收集大型开源数据集FSOD，其覆盖真实世界中1000个物体类别，总计182591个物体检测框；

S2.2、将大型开源数据集FSOD划分成若干个子检测任务t

其中，询问集Q

前所述的一种基于少量跨域数据学习的道路缺陷检测方法，步骤S3具体包括以下分步骤

S3.1、从开源道路缺陷检测数据集或者互联网上搜集150张包含五种常见类型道路缺陷的图像数据作为道路缺陷支持集，其中每种常见类型道路缺陷的图像数据均为30张，并通过道路缺陷加权分支提供Faster R-CNN目标检测模型有关特定类型道路缺陷的外观先验知识；

S3.2、对车辆行驶于道路缺陷较多的路段的驾驶数据进行采集，并于该车辆的引擎盖处安装用于实时拍摄与记录路面状况的高清相机；

S3.3、对上一步骤中高清相机实时拍摄的视频进行分帧，筛选出具有道路缺陷的视频帧数据，并人工标注该视频帧数据所在位置与对应缺陷类型，形成道路缺陷检测数据集；

S3.4、将标注好的道路缺陷检测数据集划分为用于参与模型微调的训练集和用于参与模型性能评估的测试集。

前所述的一种基于少量跨域数据学习的道路缺陷检测方法，道路缺陷检测数据集划分为训练集和测试集，两者的比例设置为2:8。

前所述的一种基于少量跨域数据学习的道路缺陷检测方法，步骤S4具体包括以下分步骤

S4.1、将开源数据集或者互联网图像记做p

S4.2、假设车载相机的拍摄角度为β，0≤β≤90°，焦距为f

S4.3、通过下式计算图像p

其中，α表示拍摄开源数据集或者互联网图像的相机的拍摄角度，f

S4.4、根据相机安装角度α和β、高度h

假设高度h

S4.5、利用计算的转换关系H与设置的增强系数C，增强所有图像p

S4.6、增强后的图像呈现梯形而非矩形，利用非缺陷区域填充使其恢复矩形。

本发明的有益效果是：

(1)本发明中，首次尝试利用稀缺和跨域数据，基于Faster R-CNN目标检测模型，开发了基于有限样本的道路缺陷检测模型，具体地，本发明设计并利用了缺陷加权分支提取五种缺陷类别的代表特征，实现了基于有限样本训练情况下的道路缺陷检测，显着降低现有深度方法对标注数据的依赖；

(2)本发明中，提出了一种数据增强方法，以扩大标记数据的丰富性，解决了现有公开数据集(或互联网图像)与车载摄像头拍摄的图像之间的域差距引起的跨域问题，实现了基于公开数据集(或互联网图像)训练的模型能够有效应用于基于车载相机的道路缺陷检测任务中。

附图说明

图1为本发明实施例检测方法的流程图；

图2为本发明实施例中少样本检测模型的结构示意图；

图3为本发明实施例中道路缺陷定位加权模块的结构示意图；

图4为本发明实施例中道路缺陷分类加权模块的结构示意图；

图5为本发明实施例中图像p

具体实施方式

本实施例提供的一种基于少量跨域数据学习的道路缺陷检测方法，考虑到现有道路缺陷检测方法往往需要依赖大量标注良好的数据进行训练拟合才能达到预期的性能，为了降低检测模型对训练数据量的需求，本文基于Faster R-CNN模型提出了适用于少样本场景下的道路缺陷检测方法，具体地，设计了一个缺陷加权分支来提取每种道路缺陷的外观特征，使得Faster R-CNN能够基于给定的道路缺陷外观特征，快速定位图像中的道路缺陷；此外还提出了一种数据增强方法，不仅扩大了标记数据的丰富度，还缓解了应用时可能存在的跨域问题，从而有效提升了少样本情况下道路缺陷检测模型的精度，有望被实际应用到实际道路养护任务中。

如图1所示，一种基于少量跨域数据学习的道路缺陷检测方法，包括以下步骤

S1、基于Faster R-CNN目标检测模型，设计道路缺陷加权分支，构建并形成少样本检测模型，如图2所示，少样本检测模型包括特征提取网络、定位加权模块、区域提议模块(RPN)、分类加权模块以及定位与分类器；

S1.1、利用Faster R-CNN目标检测模型的特征提取网络将输入图像数据映射为询问特征图q；

S1.2、构建与Faster R-CNN目标检测模型的特征提取网络共享权重的映射网络，将每类道路缺陷的30张参考图像映射为特定缺陷类别相关的支持特征图s

S1.3、构建道路缺陷定位加权模块，其结构如图3所示，包含全局平均池化和逐深度乘法两块，该道路缺陷定位加权模块功能在于以询问特征图q与支持特征图s

对任意支持特征图s

其中，函数g表示全局平均池化操作，p

S1.4、将各缺陷类型相关的加权特征图p

S1.5、构建道路缺陷分类加权模块，其网络结构如图4所示，包含三个交互分支以及张量堆叠操作，三个交互分支分别生成原始特征图、差分特征图以及相似度特征图；

利用下式建立M个兴趣区域(RoI)r

其中，o表示加权的RoI特征图集合，函数f

S2、将现有的大型图像数据集划分成一个个子检测任务t

S2.1、收集大型开源数据集FSOD，其覆盖真实世界中1000个物体类别，总计182591个物体检测框；

S2.2、将该大型数据集划分成若干个子检测任务t

其中，t

S3、构建道路缺陷检测数据集，并将其划分成训练集与测试集；

S3.1、从开源道路缺陷检测数据集或者互联网上搜集共计150张包含五种常见类型的道路缺陷(坑洞、横向裂缝、纵向裂缝、网状裂缝以及龟裂)的图像数据，其中每类30张，作为道路缺陷支持集并通过加权分支提供Faster R-CNN目标检测模型有关特定类型道路缺陷的外观先验知识；

S3.2、驾驶数据采集车辆行驶于道路缺陷较多的路段，并于该采集车辆引擎盖处安装高清相机，用来实时拍摄与记录路面状况；

S3.3、对步骤S32中拍摄的视频进行分帧，筛选具有道路缺陷的视频帧数据并人工标注其所在位置与对应缺陷类型；

S3.4、将标注好的数据集划分为训练集(20％)和测试集(80％)，训练集参与模型微调，测试集参与模型性能评估。

S4、构建数据增强方法，计算原始输入图像至增强图像之间的映射关系，并对道路缺陷检测数据集(训练集)进行增强；

S4.1、因开源数据集或者互联网图像(记做p

S4.2、假设车载相机的拍摄角度为β，0≤β≤90°，焦距为f

S4.3、如图5所示，为图像p

其中，α表示拍摄开源数据集或者互联网图像的相机的拍摄角度，f

S4.4、根据相机安装角度(α，β)与高度(h

增强系数C定义为每张原始图像生成的增强图像数量，若C＝K，则意味着每张原始图像被增强为K张增强图像，且它们的高度h

S4.5、利用计算的转换关系H与设置的增强系数C，增强所有图像p1；

S4.6、增强后的图像呈现梯形而非矩形，利用非缺陷区域填充使其恢复矩形。

S5、利用增强处理后的道路缺陷检测数据集(训练集)对少样本检测模型进行参数微调；

S6、利用道路缺陷检测数据集(测试集)评估微调后的少样本检测模型性能，并将其部署至车载计算设备中，利用车载相机的视频流为输入，实现道路缺陷检测。

如表1所示，以单类别的平均精度(AP)与总类别的平均精度均值(mAP)的结果形式展示了当每个缺陷类型被提供样本数(即K)设置为1、2、3、5、10和30时本实施例方法对五类道路缺陷的检测性能。

表1五种类别道路缺陷的平均精度(AP)和所有类别的平均精度(mAP)

根据表1，当K等于30时，本实施例方法的mAP达到37.32％，这表明即使每个道路缺陷类别仅提供30个标注样本，实施例方法也可以获得较好的检测性能。

此外，随着提供的样本量的增加，该框架的性能逐渐提升，当K为1时，mAP仅为2.72％，当K为30时，mAP增加至37.32％；并且本实施例方法对道路坑洼的检测精度最高(K为30时AP为46.92％)，总的来说，实验结果表明本实施例方法能够有效提升了基于车载相机的道路缺陷检测精度，通过设计一个缺陷加权分支来提取每种道路缺陷的外观特征，使得Faster R-CNN能够基于给定的道路缺陷外观特征，快速定位图像中的道路缺陷；此外还提出了一种数据增强方法，不仅扩大了标记数据的丰富度，还缓解了应用时可能存在的跨域问题，从而有效提升了少样本情况下道路缺陷检测模型的精度，有望被实际应用到实际道路养护任务中。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。