一种基于车载边缘设备的轻量化路面病害巡检方法

技术领域

本发明涉及路面病害监测技术领域，具体为一种基于车载边缘设备的轻量化路面病害巡检方法。

背景技术

为了加快公路养护管理长效机制，提升公路养护管理水平，在国家各级部门的支持下，自动检测装备与人工智能等技术在公路养护中的应用比例，检测精准度正在不断提升。在路面病害巡检中，智能路面病害检测装备主要装配在车辆上，在行驶的过程中采集公路路面数据，根据采集的数据检测并识别路面病害的位置与类型。

然而目前投入使用的智能检测装备设备成本及复杂度高，如激光设备等，无法随时拆卸，且多数解决方案是以检测设备安装到大型车辆上集成为检测车，这种车辆体积较大，在部分低等级公路上通过性差，不能胜任所有的检测任务，所以智能病害检测的轻量化极为重要。另外路面病害巡检日常产生的数据量极大，其中含有病害的数据占比很低，全量保存数据对存储设备容量要求高，既不经济也无法满足轻量化需求。

现有方案主要步骤是通过轻量化的车载图像采集设备来获取路面图片数据，基于上述图片，使用者目标检测算法或循环神经网络算法进行路面病害的检测识别，全部检测结果存储在本地硬盘中。

但是，现有的轻量化技术方案主要注重硬件设备体积的轻量化，并未在巡检识别算法上进行针对性的轻量化优化，由于目前对路面病害的检测识别的计算设备算力要求和数据存储空间较高，因此，现有的轻量化技术方案中图像采集、算法推理、结果分析各流程节点间相互分割整体集成度低，极大的限制了设备的轻量化程度。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于车载边缘设备的轻量化路面病害巡检方法，通过提出基于病害检测的实际场景，进行针对性的模型结构设计，在保证检测精度的情况下，降低模型复杂度；同时通过使用模型量化技术，加速算法在车端芯片上的运行速度的方式，使得本发明降低其资源占用，从而更快的获取病害巡检结果。以解决上述背景技术中提出的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于车载边缘设备的轻量化路面病害巡检方法，包括

连续获取设定范围内的ROI区域图像，建立路面图像样本集；

引入优化后的backbone neck head检测网络结构进而构建轻量级推理引擎，以降低车载边缘设备端的计算资源；

基于轻量级推理引擎对输入的ROI区域图像进行预处理，得到表征当前路面图像中病害边界数据所在检测框的结果数据流；

解析所述结果数据流生成对病害边界数据进行病害分类的预测值数据后，上传至云服务器，结束巡检。

作为本发明的第二方面，提出了一种基于车载边缘设备的轻量化路面病害巡检系统，包括

图像采集模块，用于连续获取设定范围内的ROI区域图像，建立路面图像样本集；

车载边缘设备端处理模块，用于通过优化网络构建轻量级推理引擎，对输入的ROI区域图像进行预处理，得到表征当前路面图像中病害边界数据所在检测框的结果数据流；

目标检测模块，用于解析所述结果数据流生成对病害边界数据进行病害分类的预测值数据后，上传至云服务器，结束巡检。

作为本发明的第三方面，提出了一种基于车载边缘设备的轻量化路面病害巡检装置，

包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行基于车载边缘设备的轻量化路面病害巡检方法。

作为本发明的第四方面，提出计算机可读存储介质，其上存储有计算机程序，且该程序被处理器执行时实现基于车载边缘设备的轻量化路面病害巡检方法。

与现有技术相比，本发明的有益效果：

1、本发明通过提出轻量化巡检整体设计思路，区别于现有技术，本发明采用更加轻量化的车载边缘硬件设备，并且配套硬件的完整方案设计，能够最大程度的发挥轻量化设备的性能，真正实现路面病害巡检轻量化；

2、区别于现有技术，本发明通过提出基于病害检测的实际场景，进行针对性的模型结构设计，在保证检测精度的情况下，降低模型复杂度；同时通过使用模型量化技术，加速算法在车端芯片上的运行速度的方式，使得本发明降低其资源占用，从而更快的获取病害巡检结果。

附图说明

参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制，在附图中，相同的附图标记用于指代相同的部件。其中：

图1为本发明一实施例中所提出的车载边缘设备进行轻量化路面病害巡检的整体流程结构示意图；

图2为本发明一实施例中所提出的连续获取设定范围内的ROI区域图像的选择示意图。

具体实施方式

容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

以下结合附图对本发明作近一步详细说明，但不作为对本发明的限定。

作为对本发明技术构思以及实现原理的理解，现有的轻量化技术方案主要注重硬件设备体积的轻量化，并未在巡检识别算法上进行针对性的轻量化优化，由于目前对路面病害的检测识别的计算设备算力要求和数据存储空间较高，因此，现有的轻量化技术方案中图像采集、算法推理、结果分析各流程节点间相互分割整体集成度低，极大的限制了设备的轻量化程度。

为此，为实现上述技术构思，以及解决现有的技术方案缺陷。

作为本发明的一实施例，提出一种基于车载边缘设备的轻量化路面病害巡检方法，包括：

第一步，连续获取设定范围内的ROI区域图像，建立路面图像样本集。

基于上述技术构思，需要说明的是，由于（图像采集设备）相机原取景框取景范围内存在较大面积无用的天空或远处景物，同时在固定抓拍距离下，相邻抓拍图片存在固定的重复区域，为此，本发明提出在源头上减小抓拍图像数据大小，且不损失图像显示精度的设计思路，即，提出连续获取设定范围内的ROI区域图像，包括如下步骤：S10，搭载图像采集设备（本发明一实施例中优选前置工业相机），定距离发送触发抓拍信号；S11，基于触发抓拍信号，在其固定抓拍距离下，获取相邻抓拍图像存在的重复区域；S12，根据获取的重复区域设定图像采集设备抓拍ROI区域，进而只生成设定范围内的ROI区域图像。

当生成设定范围内的ROI区域图像，接着将连续的抓拍ROI区域图像输入到车载边缘计算设备中，同时在车载边缘计算设备芯片中烧写有轻量级推理引擎。

可以理解的是，本发明目的在于根据硬件特征，主要从模型结构设计和模型量化两个方面搭建轻量级推理引擎、轻量化病害检测算法，从而达到在服务器端训练模型，车端进行模型推理。为此

本发明继续提出第二步：引入优化后的backbone neck head检测网络结构进而构建轻量级推理引擎，以降低车载边缘设备端的计算资源，可以理解的是，本发明通过提出轻量化巡检整体设计思路，区别于现有技术，本发明采用更加轻量化的车载边缘硬件设备，并且配套硬件的完整方案设计，能够最大程度的发挥轻量化设备的性能，真正实现路面病害巡检轻量化。

基于上述技术构思，需要说明的是，在模型结构设计上，如果不加额外优化，同类型算法模型通常规模越大，检测识别效果越好，其规模的增大主要依靠其中模块化结构的串联或并联堆叠而不是结构整体算法逻辑的改变，因此其消耗的计算和存储资源也会更大。不同于在服务器端算法设计，服务器端推理显卡算力和显存都远超车端AI芯片，可以使用大规模的算法。然而车端的AI芯片无法支撑大规模算法模型的推理，必须根据其小算力和小显存的特性，在维持整体算法逻辑不变的情况下，将模块化结构的堆叠数量降到最低，设计出最精简的模型结构。

基于此，本发明提出构建轻量级推理引擎的方法，包括：

S20，引入backbone neck head检测网络结构以优化轻量级推理引擎的模型结构，即，使用backbone-neck-head检测网络结构的设计形式，其中，backbone neck head检测网络结构包括输入、EfficientNet、BiFPN和GFLHead；

Backbone结构是特征提取网络，利用改进后的EfficientNet替换其原有的骨干网络，用于提取路面图像特征信息；

Backbone结构相比于常见的检测网络使用ResNet或者Darknet作为Backbone，考虑轻量化的需求，本发明优选用轻量级的EfficientNet作为Backbone，还可以根据车载边缘设备的不同替换为MobileNet、ShuffleNet、LCNet等结构；

Neck结构的作用主要是将Backbone提取的特征信息进行二次加工，方便Head结构进行最终的处理。由于Backbone提取特征能力相比于大规模模型较弱，所以需要效果更好的neck结构来二次加工特征信息，本发明选用BiFPN作为Neck结构，相比于传统的FPN结构，BiFPN多次使用残差连接来融合特征，在不额外增加参数的情况下为Head结构提供更有效的特征信息，以将backbone上的多个层级的特征图进行融合加工，增强网络的表达能力；

基于上述技术构思，应用在路面病害检测场景中，以裂缝类病害为例，裂缝越靠近边缘越窄，其宽度是由粗到细变化的，实际边缘的位置也较为模糊。因此为了更好的从图像中检测出病害位置，本发明采用GFLHead作为最后的结构，GFLHead结构分别输出ROI区域图像的类别概率和边界框位置信息，具体实施方式包括：

首先，对当前ROI区域图像中病害边界数据进行分布建模，等间隔分成n份；

其次，通过计算n份分布的数学期望，获得ROI区域图像的预测检测框坐标；

再次，将分布的前k个检测框坐标与实际框坐标之间进行IOU迭代计算，获取IOU值最接近1的模型作为优化后的模型，将此时的IOU值作为病害边界数据分类的预测值，以获得更准确的定位与分类结果；

最后，输出ROI区域图像中病害边界数据类别概率和检测到的边界框位置信息。

在构建好轻量级推理引擎的模型结构后，由于在服务端训练模型时，模型参数数据类型为float32型，其占用的显存大于int8类型，在深度学习算法模型参数数量普遍较大的情况下，使用int类型的参数，存储从4个字节下降到1个字节，比使用float类型的参数要节省75的显存空间，同时也加快了运算速度，因此，可以将原先服务器级别的算法应用到车载边缘设备中，极大的提升轻量化水平，即，对构建好的轻量级推理引擎的模型结构进行量化，以加快车载边缘设备端的运算速度。

在本发明的一具体实施例中，具体量化方法为：

选取若干个模型结构参数构建量化公式：

（1）

式中，X_q表示为量化之后的int8参数值、X_f表示量化之前的float32参数值；Z表示float32类型0值对应的量化后值；S表示量化后可表示的最小刻度，其中，

依据公式

（2）

（3）

求取S和Z的值；

则S=(

Z=0-round(

X_q=X_f/S+Z。以上述方式完成模型所有参数量化工作，达成算法模型量化的效果。

作为本发明的一实施例，本发明设计了轻量化病害检测推理引擎，引擎主要承担图像预处理，算法推理驱动，推理结果结构化三方面工作。首先是图像预处理，由于巡检过程中检测车辆车速会不断发生变化，定距离抓拍的连续两张图像直接的时间间隔不确定，如果每抓拍一张图像就同步进行一次推理，会导致计算资源占用比例变化极大，从而造成计算资源的浪费，为此，

本发明继续提出第三步，基于轻量级推理引擎采用异步推理方式对输入的ROI区域图像进行预处理，得到表征当前路面图像中病害边界数据所在检测框的结果数据流。

基于上述技术构思，异步推理的方法包括：首先，基于轻量级推理引擎设置图像预处理缓存池；其次，将获取的ROI区域图像经深度学习模型预处理后暂时缓存；再次，将轻量级推理引擎缓存中的多张ROI区域图像组成一个批次的图像流；最后，输入当前批次的图像流至轻量级推理引擎进行推理。

在具体实施时，本发明可使用C++引擎驱动算法推理，相比于其他语言，其推理速度更快。

从算法中获取到算法推理结果后，需要将结果数据结构化，这样的数据上传到云端后，能方便管理平台读取和进行数字化展示，由于图像预处理后提供的是图像流，推理获得的结果也是多个图像推理结果的集合，因此，需要引擎对其进行解析，将不同图像的推理结果分开，最终生成包含图像名称、病害信息、检测时间、检测位置（其他硬件提供）等信息的结构化数据，上传至云端结束巡检。

作为本发明的第二方面，提出了一种基于车载边缘设备的轻量化路面病害巡检系统，包括

图像采集模块，用于连续获取设定范围内的ROI区域图像，建立路面图像样本集；

车载边缘设备端处理模块，用于通过优化网络构建轻量级推理引擎，对输入的ROI区域图像进行预处理，得到表征当前路面图像中病害边界数据所在检测框的结果数据流；

目标检测模块，用于解析所述结果数据流生成对病害边界数据进行病害分类的预测值数据后，上传至云服务器，结束巡检。

作为本发明的第三方面，提出了一种基于车载边缘设备的轻量化路面病害巡检装置，

包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行基于车载边缘设备的轻量化路面病害巡检方法。

作为本发明的第四方面，提出计算机可读存储介质，其上存储有计算机程序，且该程序被处理器执行时实现基于车载边缘设备的轻量化路面病害巡检方法。

本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。