一种基于激光雷达的道路养护检测系统及其检测方法

技术领域

本发明涉及道路养护技术领域，尤其涉及是一种基于激光雷达的道路养护检测系统及其检测方法。

背景技术

我国高速公路总里程已超过14万公里，居世界首位，近40％的货物通过高速公路实现流转。公路网给人们带来便捷生活方式的同时，公路路网路况及附属设施的异常及潜在病害也在严重威胁着交通安全以及人们的生命安全。因此，道路路网路况及附属设施的全域场景养护检测工作就显得尤为重要。

目前，国外道路养护检测基本已进入自动化检测的实际应用阶段，而我国的公路路面养护检测技术尚处于发展阶段，大部分地区的道路养护检测仍然主要依靠人工巡检，部分路段使用道路检测车。人工巡检效率低下且缺乏安全性；现有的多功能道路检测车主要由车辆、相机、激光位移传感器、编码器、工控计算机、辅助照明设备和供电设备等设备构成，其中相机对路面进行二维成像，激光位移传感器通过测距实现道路平整度的检测，具有成本高、设备集成度差、资源开销较大、检测成本较高、检测周期较长、数据处理较为耗时等问题，无法满足道路养护检测的需求，性能亟待提升。

发明内容

针对现有道路养护检测存在的技术问题，本发明提出一种基于激光雷达的道路养护检测系统及其检测方法，具有成本低、设备集成度高、效率高、智能化的优点。

本发明保护一种基于激光雷达的道路养护检测系统，主要由装载于车辆或无人机上的传感器、边缘计算模块、边云协同模块、存储模块、通信模块及供电模块，以及中心云组成，所述传感器连接所述边缘计算模块，所述边云协同模块连接所述边缘计算模块和所述通信模块，所述边缘计算模块与所述边云协同模块直接交互或者通过所述存储模块交互；

所述传感器包括3D扫描激光雷达，用于获取道路路面路况及附属设施的全域场景数据信息；所述边云协同模块用于判断是否进行边云协同，若进行边云协同，则边缘计算模块与中心云协同完成全域场景数据信息的异常目标识别，否则边缘计算模块独立完成全域场景数据信息的异常目标识别。

进一步的，边缘计算模块对全域场景数据信息进行异常目标识别，首先判断边缘计算模块的软硬件资源是否充足，

若资源充足，则再判断应用场景与用户需求对召回率和稳定性要求的高低，若召回率和稳定性满足其一，则采用基于点云的深度学习算法对全域场景数据信息进行异常目标识别；

若资源不充足，或召回率与稳定性均不满足，则采用基于Range Image的非深度学习算法对全域场景数据信息进行异常目标识别。

本发明还保护基于上述道路养护检测系统的道路养护检测方法，包括以下步骤：

步骤1，3D扫描激光雷达采集点云数据，获取全域场景数据信息；

步骤2，边云协同模块根据资源配置情况、资源利用率和预设条件综合判断是否进行边云协同；

步骤3，若进行边云协同，则边缘计算模块与中心云协同完成全域场景数据信息的异常目标识别；若不进行边云协同，则判断边缘计算模块的软硬件资源是否充足；

步骤4，若资源充足，则再判断应用场景与用户需求对召回率和稳定性要求的高低，若召回率和稳定性满足其一，则边缘计算模采用基于点云的深度学习算法实现全域场景数据信息的异常目标识别；

若资源不充足，或召回率与稳定性均不满足，则边缘计算模块采用基于RangeImage的非深度学习算法实现全域场景数据信息的异常目标识别；

步骤5，边缘计算模块独立完成全域场景数据信息的异常目标识别后，将全域场景数据信息和识别结果通过通信模块与中心云进行交互，并对识别结果进行可视化显示，中心云对全域场景数据信息和识别结果进行记录和维护。

进一步的，传感器还包括相机、定位设备，采用基于点云的深度学习算法对全域场景数据信息进行异常目标识别前，先对来源于3D扫描激光雷达、相机的数据信息进行特征融合，然后通过定位设备引入时间、空间信息，形成时空多维度融合的全域场景数据信息。

进一步的，基于Range Image的非深度学习算法，包括以下步骤：

步骤A1，读取3D扫描激光雷达采集的点云数据；

步骤A2，对点云数据进行切片处理；

步骤A3，对切片处理后的点云数据进行体素网格过滤；

步骤A4，对体素网格过滤后的点云数据进行分割、聚类、添加边界框；

步骤A4，通过分类器对异常类型进行目标识别；

步骤A5，将异常目标识别结果映射至点云数据中。

进一步的，基于点云的深度学习算法通过深度神经网络结合点云顺序无关的算子实现两阶段的异常目标检测；第一阶段，利用RPN网络生成点云数据三维候选框，并进一步从点云数据中提取出包含异常目标的三维区域；第二阶段，利用深度神经网络从三维候选区的目标点中提取局部特征，结合第一阶段学习到的全局特征，在标准坐标系下进行三维边框回归参数和置信度预测，最终得到异常目标识别结果。

本发明的有益效果：1、3D激光扫描雷达的使用，实现多车道及道路附属设施的3D全域数据采集，替代现有检测系统的多类/多个传感器，使得系统高度集成化；2、多传感器融合算法结合基于深度学习的目标识别算法实现高精度、高鲁棒性的目标检测；3、结合云计算与边缘计算，相比于单纯的云端解决方案，包含边缘侧的混合方案可以减少延迟、提高可扩展性、增强对信息的访问量；4、边云协同的异常目标识别配合边缘计算模块的双模式异常目标识别，提高检测效率，支持系统在线实时检测，使得道路检测系统更加全面、更加智能化，能够应对不同场景，实现高精度检测与目标定位。

附图说明

图1为基于激光雷达的道路养护检测系统架构图；

图2为基于激光雷达的道路养护检测方法流程图；

图3(a)为路面破损示意图；

图3(b)为路面障碍或抛洒物示意图；

图3(c)为交通标识牌损坏示意图；

图3(d)为护栏损坏示意图；

图4(a)为激光雷达鸟瞰图；

图4(b)为激光雷达前视图；

图4(c)为相机图像；

图5为多传感器数据融合后的输出图；

图6是基于非深度学习的路面病害及道路附属设施异常目标识别算法流程示意图；

图7是基于深度学习的路面病害及道路附属设施异常目标识别算法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

一种基于激光雷达的道路养护检测系统，主要由装载于车辆或无人机上的传感器、边缘计算模块、边云协同模块、存储模块、通信模块及供电模块，以及中心云组成。

所述传感器连接所述边缘计算模块，所述边云协同模块连接所述边缘计算模块和所述通信模块，所述边缘计算模块与所述边云协同模块直接交互或者通过所述存储模块交互，如图1所示。

所述传感器包括3D扫描激光雷达，用于获取道路路面路况及附属设施的全域场景数据信息；所述边云协同模块用于判断是否进行边云协同，若进行边云协同，则边缘计算模块与中心云协同完成全域场景数据信息的异常目标识别，否则边缘计算模块独立完成全域场景数据信息的异常目标识别，参照图2。图3为四种常见道路病害及其附属设施异常的示意图，分别对应一种异常目标类型。

本发明将结合云计算与边缘计算，边缘计算模块采用分布式结构，更接近数据源头，即设备端，缩短了数据传输距离，减少延迟时间，显著提高响应时间。相比于单纯的云端解决方案，包含边缘侧的混合方案可以减少延迟、提高可扩展性、增强对信息的访问量。

然而，进行边云协同需要满足特定条件，需要根据资源配置情况、资源利用率和预设条件进行综合判断。通常情况下，当边缘侧计算资源不足(如缺乏必要的软硬件配置、软硬件资源占用率过高等)或计算时间开销过大时，可进行边云协同；当边缘侧资源充足时，边缘计算模块独立可完成全域场景数据信息的异常目标识别。

一、边云协同完成

边缘计算模块与中心云协同完成全域场景数据信息的异常目标识别。边云协同时，资源、数据、应用等均可进行协同。通常而言，资源(如计算、时间等)开销大的工作主要在云进行。

二、边缘计算模块独立完成

深度学习算法在目标识别领域已经广泛应用，但是算法本身需要消耗一定的软硬件资源，在非边云协同模式下，对边缘计算模块的软硬件具有一定的要求。此外，应用场景或用户需求对召回率和稳定性要求较低时，也不适宜继续通过深度学习算法进行目标识别。因此，为提高系统检测效率和准确度，边缘计算模块提供深度学习算法和非深度学习算法两条路径。

首先，判断边缘计算模块的软硬件资源是否充足，若资源充足，则再判断应用场景与用户需求对召回率和稳定性要求的高低，若召回率和稳定性满足其一，则采用基于点云的深度学习算法对全域场景数据信息进行异常目标识别；若资源不充足，或召回率与稳定性均不满足，则采用基于Range Image的非深度学习算法对全域场景数据信息进行异常目标识别，参照图2。

上述基于激光雷达的道路养护检测系统的道路养护检测方法包括以下步骤：

步骤1，3D扫描激光雷达采集点云数据，获取全域场景数据信息；

步骤2，边云协同模块根据资源配置情况、资源利用率和预设条件综合判断是否进行边云协同；

步骤3，若进行边云协同，则边缘计算模块与中心云协同完成全域场景数据信息的异常目标识别；若不进行边云协同，则判断边缘计算模块的软硬件资源是否充足；

步骤4，若资源充足，则再判断应用场景与用户需求对召回率和稳定性要求的高低，若召回率和稳定性满足其一，则边缘计算模采用基于点云的深度学习算法实现全域场景数据信息的异常目标识别；

若资源不充足，或召回率与稳定性均不满足，则边缘计算模块采用基于RangeImage的非深度学习算法实现全域场景数据信息的异常目标识别；

步骤5，边缘计算模块独立完成全域场景数据信息的异常目标识别后，将全域场景数据信息和识别结果通过通信模块与中心云进行交互，并对识别结果进行可视化显示，中心云对全域场景数据信息和识别结果进行记录和维护。

必要时，传感器可包括多个3D扫描激光雷达，并且除3D扫描激光雷达外，还可以包括其他传感器。以传感器还可以包括相机、定位设备为例，采用基于点云的深度学习算法对全域场景数据信息进行异常目标识别前，先对来源于3D扫描激光雷达、相机的数据信息进行特征融合，然后通过定位设备引入时间、空间信息，形成时空多维度融合的全域场景数据信息。图4和图5展示了一种多传感器融合算法输入数据和对应输出数据的示意图，其中图4(a)、(b)、(c)分别为激光雷达鸟瞰图、激光雷达前视图、相机图像，图5为多传感器数据融合后的输出图。

多传感器融合算法主要采用前融合方法，先采用基于深度学习方法对不同来源数据进行特征提取和特征融合，再对其进行处理，结合不同传感器的数据特征、目标特征、场景需求，对算法进行优化，以能够更好的挖掘同一特征不同维度和不同特征之间的联系，从而得到更好的检测结果，尤其对小物体和远处的物体有很好的效果。

下面分别对异常目标识别的非深度学习算法和深度学习算法进行论述。

1、基于Range Image的非深度学习算法，如图6所示，包括以下步骤：

步骤A1，读取3D扫描激光雷达采集的点云数据；

步骤A2，对点云数据进行切片处理；

步骤A3，对切片处理后的点云数据进行体素网格过滤；

步骤A4，对体素网格过滤后的点云数据进行分割、聚类、添加边界框；

步骤A4，通过分类器对异常类型进行目标识别，异常类型包括但不限于图3所示；

步骤A5，将异常目标识别结果映射至点云数据中。

2、基于点云的深度学习算法，如图7所示，通过深度神经网络结合点云顺序无关的算子实现两阶段的异常目标检测：第一阶段，利用RPN网络生成点云数据三维候选框，并进一步从点云数据中提取出包含异常目标的三维区域；第二阶段，利用深度神经网络从三维候选区的目标点中提取局部特征，结合第一阶段学习到的全局特征，在标准坐标系下进行三维边框回归参数和置信度预测，最终得到异常目标识别结果。

RPN网络用于判断特征图的局部是否存在要检测的目标，深度神经网络用于根据输入的三维候选区目标点，输出对应的数据标签。在本发明中，不同的数据标签对应不同的异常类型，从而实现异常目标识别。网络模型是通过标签过的样本数据训练而成，样本数据是根据网络模型所要起到的功能进行筛选的。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。