一种路面裂缝检测方法、系统及存储介质

技术领域

本发明涉及路面裂缝检测技术，特别是一种路面裂缝检测方法、系统及存储介质。

背景技术

为了保持公路、桥梁等基础工程的良好状态，及时有效地维护路面是很必要的，这样可以最大程度地减少维护成本并提高效率。目前主要通过人工检查的方式由观察员进行裂缝检查并对路面裂缝的严重性进行评分，但人工检查方式效率低。随着图像技术发展，也存在利用图像技术对路面裂缝进行识别，但是由于路面裂缝细微，且裂缝与正常路面在色彩形状上相近，如果仅仅由路面图像利用传统的图像识别技术进行判断，预测效果差。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种路面裂缝检测方法、系统及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，一种路面裂缝检测方法，包括以下步骤：

控制无人机沿规划路径飞行并获取路面图像；

使所述路面图像经过级联的多个多重卷积模块提取图像特征并输出多个多尺度特征图，其中，所述多尺度特征图包含所述图像特征，所述多重卷积模块与所述多尺度特征图一一对应，所述多重卷积模块包括n个卷积层，第a个所述卷积层的输入为前(a-1)个所述卷积层的输出；

将所有所述多尺度特征图融合得到融合特征图；

根据所述融合特征图得到判断结果，其中，所述判断结果用于表示所述路面图像对应的路面是否存在裂缝。

根据本发明的第一方面，所述路面图像包括坐标信息，所述路面裂缝检测方法还包括以下步骤：

当所述判断结果表示所述路面图像对应的路面存在裂缝，输出所述路面图像及对应的所述坐标信息。

根据本发明的第一方面，所述路面裂缝检测方法，还包括以下步骤：

根据多个所述多尺度特征图获取多个第一损失函数，其中，所述第一损失函数与所述多尺度特征图一一对应；

根据所述融合特征图获取第二损失函数；

根据所述多个第一损失函数和所述第二损失函数得到总损失函数，其中总损失函数用于平衡所述路面图像中的裂缝像素和非裂缝像素对损耗的贡献。

根据本发明的第一方面，在所述将所有所述多尺度特征图融合得到融合特征图的步骤之前，还包括以下步骤：

将所有所述多尺度特征图统一尺寸。

本发明的第二方面，一种路面裂缝检测系统，包括：

无人机，所述无人机用于沿规划路径获取路面图像；

处理器，所述处理器与所述无人机通信连接，所述处理器设有深度学习网络，所述深度学习网络包括：

第一特征提取模块，所述第一特征提取模块包括级联的多个多重卷积模块，所述多重卷积模块包括n个卷积层，第a个所述卷积层的输入端与前(a-1)个所述卷积层的输出端连接，所述第一特征提取模块用于根据所述路面图像提取图像特征并输出n个多尺度特征图，其中，所述多尺度特征图包含所述图像特征，所述多重卷积模块与所述多尺度特征图一一对应；

特征融合模块，所述特征融合模块用于将所有所述多尺度特征图融合得到融合特征图；

预测模块，所述预测模块用于根据所述融合特征图得到所述判断结果，其中，所述判断结果用于表示所述路面图像对应的路面是否存在裂缝。

根据本发明的第二方面，所述路面图像包括坐标信息，所述深度学习网络还包括输出模块，所述输出模块响应于表示所述路面图像对应的路面存在裂缝的所述判断结果，输出所述路面图像及对应的所述坐标信息。

根据本发明的第二方面，所述深度学习网络还包括：

第一损失函数计算模块，用于根据多个所述多尺度特征图获取多个第一损失函数，其中，所述第一损失函数与所述多尺度特征图一一对应；

第二损失函数计算模块，用于根据所述融合特征图获取第二损失函数；

总损失函数计算模块，根据所述多个第一损失函数和所述第二损失函数得到总损失函数，其中总损失函数用于平衡所述路面图像中的裂缝像素和非裂缝像素对损耗的贡献。

根据本发明的第二方面，所述深度学习网络还包括尺寸调整模块，所述尺寸调整模块用于将所有所述多尺度特征图统一尺寸。

根据本发明的第二方面，相连的两个所述多重卷积模块之间设有转换模块，所述转换模块用于压缩从前一个所述卷积模块所提取的所述图像特征以减少冗余特征。

本发明的第三方面，存储介质存储有能被处理器执行的指令，所述指令被处理器执行以实现如本发明的第一方面所述的路面裂缝检测方法。

上述方案至少具有以下的有益效果：通过无人机能快速方便且安全地获取路面图像；多个多重卷积模块级联，且在每个多重卷积模块中，每一层卷积层都是采用先前各层卷积层的输出作为输入，最大化网络中所有层之间的信息流，同时能减轻在训练过程中梯度消散的问题；另外，由于大量的图像特征被复用，使得即使只使用少量的路面图像以及少量的卷积核就可以生成大量的图像特征，进而使网络模型体积小，且能提高检测细微的路面裂缝的准确性和鲁棒性，也提高了检测效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例一种路面裂缝检测方法的步骤图；

图2是本发明实施例一种路面裂缝检测方法的另一步骤图；

图3是本发明实施例一种路面裂缝检测系统的结构图；

图4是深度学习网络的具体结构图；

图5是多重卷积模块的结构图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

由于路面裂缝细微，且裂缝与正常路面在色彩形状上相近，如果仅仅由路面图像利用传统的图像识别技术进行判断，预测效果差。

参照图1和图5，本发明的第一方面的实施例，提供了一种路面裂缝检测方法。

路面裂缝检测方法包括以下步骤：

步骤S100、控制无人机21沿规划路径飞行并获取路面图像；

步骤S200、使路面图像经过级联的多个多重卷积模块31提取图像特征并输出多个多尺度特征图，其中，多尺度特征图包含图像特征，多重卷积模块31与多尺度特征图一一对应，多重卷积模块31包括n个卷积层33，第a个卷积层33的输入为前(a-1)个卷积层33的输出，a∈n，n为大于1的整数；

步骤S300、将所有多尺度特征图融合得到融合特征图；

步骤S400、根据融合特征图得到判断结果，其中，判断结果用于表示路面图像对应的路面是否存在裂缝。

在该实施例中，通过无人机21能快速方便且安全地获取路面图像；多个多重卷积模块31级联，且在每个多重卷积模块31中，每一层卷积层33都是采用先前各层卷积层33的输出作为输入，最大化网络中所有层之间的信息流，同时能减轻在训练过程中梯度消散的问题；另外，由于大量的图像特征被复用，使得即使只使用少量的路面图像以及少量的卷积核就可以生成大量的图像特征，进而使网络模型体积小，且能提高检测细微的路面裂缝的准确性和鲁棒性，也提高了检测效率。

需要说明的是，第k个多重卷积模块31中第a个卷积层33的输出可以通过以下的式子表示：D

需要说明的是，前一个多重卷积模块31的输出需要经过池化层压缩图像特征，以减少冗余特征。

本发明的第一方面的某些实施例，在步骤S100中，输入起点和终点，根据地图全局规划得到规划路径，方法如下：

初始化随机树，随机数的根节点为X

从状态空间随机选取一个抽样点X

在随机树上选择与X

判断X

在添加到随机树中的新节点X

遍历集合X

重复上述过程直至随机树T存在一点与目标点之间的距离小于所规定的阈值，停止搜索；

倒序找路，生成完整的规划路径。

本发明的第一方面的某些实施例，在步骤S100中，还在全局路径规划的基础上进行避障规划，方法如下：

在速度空间中进行采样，以速度窗口的形式表示，在短时间内对运动轨迹进行预测，最后对运动轨迹进行评分以选择最佳速度指令。该算法计算速度快，能对传感器感知到的环境信息做出反应。

参照图2，本发明的第一方面的某些实施例，由于拍摄的路面图像中，非裂纹像素的数量远远大于裂纹像素的数量，这种数量上的不均衡容易使得深度学习网络23难以正确收敛。为了平衡路面图像中的裂缝像素和非裂缝像素对损耗的贡献，路面裂缝检测方法，还包括以下步骤：

单个像素的损失函数定义为：

步骤S510，根据多个多尺度特征图获取多个第一损失函数，其中，第一损失函数与多尺度特征图一一对应，则第一损失函数表示为

步骤S520，根据融合特征图获取第二损失函数，则第二损失函数表示为

步骤S530；根据多个第一损失函数和第二损失函数得到总损失函数，其中总损失函数用于平衡路面图像中的裂缝像素和非裂缝像素对损耗的贡献，总函数表示为

本发明的第一方面的某些实施例，在将所有多尺度特征图融合得到融合特征图的步骤之前，还包括以下步骤：步骤S600，将所有多尺度特征图统一尺寸。由于经过用于计算第一损失函数的模块处理，多尺度特征图的尺寸存在差异，这有利于多个多尺度特征图融合。

本发明的第一方面的某些实施例，路面图像包括坐标信息，路面裂缝检测方法还包括以下步骤：

在步骤S400之后，当判断结果表示路面图像对应的路面存在裂缝，输出路面图像及对应的坐标信息。

在该实施例中，无人机21上携带GPS，能获取坐标信息，根据坐标信息，能使维修人员快速到达存在裂缝的地面的地点，对裂缝进行维修。

参照图3和图5，本发明的第二方面的实施例，提供了一种路面裂缝检测系统。

路面裂缝检测系统包括：

无人机21，无人机21用于沿规划路径获取路面图像；

处理器22，处理器22与无人机21通信连接，处理器22设有深度学习网络23，深度学习网络23包括：

第一特征提取模块11，第一特征提取模块11包括级联的多个多重卷积模块31，多重卷积模块31包括n个卷积层33，第a个卷积层33的输入端与前(a-1)个卷积层33的输出端连接，第一特征提取模块11用于根据路面图像提取图像特征并输出n个多尺度特征图，其中，多尺度特征图包含图像特征，多重卷积模块31与多尺度特征图一一对应；

特征融合模块12，特征融合模块12用于将所有多尺度特征图融合得到融合特征图；

预测模块13，预测模块13用于根据融合特征图得到判断结果，其中，判断结果用于表示路面图像对应的路面是否存在裂缝。

在该实施例中，通过无人机21能快速方便且安全地获取路面图像；在深度学习网络23中，利用级联的多个多重卷积模块31，且在每个多重卷积模块31中，每一层卷积层33都是采用先前各层卷积层33的输出作为输入，最大化网络中所有层之间的信息流，同时能减轻在训练过程中梯度消散的问题；另外，由于大量的图像特征被复用，使得即使只使用少量的路面图像以及少量的卷积核就可以生成大量的图像特征，进而使网络模型体积小，且能提高检测细微的路面裂缝的准确性和鲁棒性，也提高了检测效率。

需要说明的是，多重卷积模块31的每个卷积层33后还可以连接有ReLU激活函数层。

参照图4，本发明的第二方面的某些实施例，路面图像包括坐标信息，深度学习网络23还包括输出模块52，输出模块52响应于表示路面图像对应的路面存在裂缝的判断结果，输出路面图像及对应的坐标信息。在该实施例中，无人机21上携带GPS，能获取坐标信息，根据坐标信息，能使维修工程师快速到达存在裂缝的地面的地点，对裂缝进行维修。输出模块52与用户侧的输出设备如显示器等连接，输出路面图像及对应的坐标信息至显示器显示。

本发明的第二方面的某些实施例，深度学习网络23还包括：

第一损失函数计算模块41，第一损失函数计算模块41用于根据多个多尺度特征图获取多个第一损失函数，其中，第一损失函数与多尺度特征图一一对应，则第一损失函数计算模块41的输入端与其对应的第一特征提取模块11的输出端连接，第一损失函数表示为

第二损失函数计算模块42，第二损失函数计算模块42用于根据融合特征图获取第二损失函数，第二损失函数计算模块42的输入端与特征融合模块12的输出端连接，第二损失函数表示为

总损失函数计算模块43，根据多个第一损失函数和第二损失函数得到总损失函数，其中总损失函数用于平衡路面图像中的裂缝像素和非裂缝像素对损耗的贡献，总函数表示为

本发明的第二方面的某些实施例，深度学习网络23还包括尺寸调整模块51，尺寸调整模块51用于将所有多尺度特征图统一尺寸。由于经过用于计算第一损失函数的模块处理，多尺度特征图的尺寸存在差异，这有利于多个多尺度特征图融合。

本发明的第二方面的某些实施例，相连的两个多重卷积模块31之间设有转换模块32，转换模块32用于压缩从前一个卷积模块所提取的图像特征以减少冗余特征。具体地，转换模块32由1×1卷积层33和2×2最大池层组成，其中1×1卷积层33可以集成在多重卷积模块31的不同卷积层33中以保留更多有利信息。

本发明的第二方面所提供的路面裂缝检测系统采用如本发明的第一方面所提供的路面裂缝检测方法，路面裂缝检测系统的各模块对应于路面裂缝检测方法的各步骤，具有相同的技术效果，在此不再详述。

本发明的第三方面的实施例，提供了存储介质。存储介质存储有能被处理器执行的指令，指令被处理器执行以实现如本发明的第一方面实施例的路面裂缝检测方法。

存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。