一种路面裂缝检测方法、介质及系统

技术领域

本发明涉及路面裂缝检测技术领域，尤其涉及一种路面裂缝检测方法、介质及系统。

背景技术

以卷积神经网络为代表的深度学习算法，被大量研究人员应用到路面裂缝的检测任务上，其检测速度和准确度远远优于传统方法。然而，在实际工程应用场景中，由于路面背景存在复杂性(例如阴影、污渍、标线、修补等干扰)和裂缝种类存在多样性(例如浅色裂缝、模糊裂缝、潮湿裂缝、白裂缝等)，仅使用浅层卷积神经网络模型虽然可以对裂缝的位置信息起到粗略的定位作用，但在许多图像中无法有效区分部分噪声与裂缝信息。相比之下深层模型经多次卷积和池化操作后可以抽象出更高级的特征，但某些特征不明显的裂缝易被过滤，只有响应很高的裂缝部分被筛选出来，识别正确率同样较低。

发明内容

本发明实施例提供一种路面裂缝检测方法、介质及系统，以解决现有技术检测路面裂缝的正确率较低的问题。

第一方面，提供一种路面裂缝检测方法，包括：

构建路面裂缝检测模型，其中，所述路面裂缝检测模型包括：通过残差网络优化的卷积神经网络、平均池化模块和注意力机制模块，所述卷积神经网络包括：依次连接的第一卷积神经网络子模块、第二卷积神经网络子模块，第三卷积神经网络子模块、第四卷积神经网络子模块、第五卷积神经网络子模块、叠合模块、赋权模块、识别模块和激活模块，所述平均池化模块包括：第一平均池化层、第二平均池化层、第三平均池化层和第四平均池化层；

在路面图像中标注多个正方形子图像块后，将所述路面图像输入所述卷积神经网络，分别由所述第一卷积神经网络子模块、所述第二卷积神经网络子模块，所述第三卷积神经网络子模块、所述第四卷积神经网络子模块和所述第五卷积神经网络子模块输出第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；

将所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图，分别输入第一平均池化层、第二平均池化层、第三平均池化层和第四平均池化层后，分别输出第六特征图、第七特征图、第八特征图和第九特征图；

将所述第五特征图、所述第六特征图、所述第七特征图、所述第八特征图和所述第九特征图输入叠合模块进行叠合后，输出第十特征图；

将所述第十特征图输入注意力机制模块，输出权重矩阵；

将所述第十特征图和所述权重矩阵输入所述赋权模块，使所述第十特征图与所述权重矩阵点乘后，输入所述识别模块，输出第十一特征图；

将所述第十一特征图输入所述激活模块，输出表征所述路面图像的每一所述正方形子图像块是否具有裂缝的预测矩阵，其中，所述预测矩阵的每一元素对应所述路面图像的每一所述正方形子图像块，所述预测矩阵的每一元素的取值为0或1，所述元素的取值为0表示对应的所述正方形子图像块不具有裂缝，所述元素的取值为1表示对应的所述正方形子图像块具有裂缝。

第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述第一方面实施例所述的路面裂缝检测方法。

第三方面，提供一种路面裂缝检测系统，包括：如上述第二方面实施例所述的计算机可读存储介质。

这样，本发明实施例，充分利用了卷积神经网络模型的多尺度特征图结构，弥补了传统卷积神经网络模型仅使用单尺度特征图造成的漏识别率较高的问题；采用通道间注意力机制对叠合后的多尺度特征图进行处理，对多尺度信息进行进一步筛选，从而提升模型的特征提取效果；可显著提升复杂路面背景下裂缝识别准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的路面裂缝检测方法的流程图；

图2是本发明实施例的路面裂缝检测模型的结构示意图；

图3是本发明实施例的卷积神经网络的结构示意图；

图4是本发明实施例的卷积神经网络和平均池化模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种路面裂缝检测方法。如图1所示，该方法包括如下的步骤：

步骤S101：构建路面裂缝检测模型。

具体的，如图2所示，路面裂缝检测模型包括：通过残差网络优化的卷积神经网络、平均池化模块和注意力机制模块。

其中，卷积神经网络包括：依次连接的第一卷积神经网络子模块、第二卷积神经网络子模块，第三卷积神经网络子模块、第四卷积神经网络子模块、第五卷积神经网络子模块、叠合模块、赋权模块、识别模块和激活模块。该用于裂缝识别的卷积神经网络，使用深层卷积神经网络，并可将多尺度特征图的信息进行结合，从而在准确定位裂缝部分的同时尽量保留较多的原始信息，减少漏识别的情况。

具体的，第一卷积神经网络子模块包括依次连接的第一残差块和第一最大池化层。第一残差块包括依次连接的第一卷积层和第二卷积层。第一卷积层和第二卷积层的卷积核大小均为5×5，且均具有32个卷积核。

第二卷积神经网络子模块包括依次连接的第二残差块和第二最大池化层。第二残差块包括依次连接的第三卷积层和第四卷积层。第三卷积层和第四卷积层的卷积核大小均为3×3，且均具有64个卷积核。

第三卷积神经网络子模块包括依次连接的第三残差块和第三最大池化层。第三残差块包括依次连接的第五卷积层和第六卷积层，第五卷积层和第六卷积层的卷积核大小均为3×3，且均具有128个卷积核。

第四卷积神经网络子模块包括依次连接的第四残差块和第四最大池化层。第四残差块包括依次连接的第七卷积层和第八卷积层。第七卷积层和第八卷积层的卷积核大小均为3×3，且均具有256个卷积核。

第五卷积神经网络子模块包括依次连接的第五残差块和第五最大池化层。第五残差块为第九卷积层。第九卷积层的卷积核大小为3×3，且具有256个卷积核。

卷积核可以提取到不同空间尺度的特征，3×3的卷积核则能提取到一个3×3共9个元素的矩形空间，因此它可以对这个矩形空间内的所有元素之间的空间位置相关关系进行建模。与此类似，5×5的卷积核能够提取到更大范围的5×5的矩形空间，因此可以对相距更远的元素之间的关系进行建模。

第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层和第五最大池化层的窗口大小均为2×2。

第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层输出的图像均经过激活函数(sigmoid)处理。

第一最大池化层、第二最大池化层、第三最大池化层和第四最大池化层输出的图像均经过批标准化((BatchNormalization)处理。

通过使用上述的ReLU激活函数，可增加非线性并缓解梯度消失的问题。通过上述的批标准化处理，可防止内部数据的分布变化。

识别模块为第十卷积层。第十卷积层的卷积核大小为1×1，且具有1个卷积核。

应当理解的是，该卷积神经网络中设置有初始化的网络参数。其中，网络参数包括权重和偏置。

平均池化模块包括：第一平均池化层、第二平均池化层、第三平均池化层和第四平均池化层。

注意力机制模块包括：依次连接的全局池化层、第一全连接层和第二全连接层。

步骤S102：在路面图像中标注多个正方形子图像块后，将路面图像输入卷积神经网络，分别由第一卷积神经网络子模块、第二卷积神经网络子模块，第三卷积神经网络子模块、第四卷积神经网络子模块和第五卷积神经网络子模块输出第一特征图、第二特征图、第三特征图、第四特征图和第五特征图。

路面图像可通过摄像头等采集设备采集得到。采集的路面图像的分辨率为采集设备设定的。为了使路面图像的分辨率适合本发明实施例的卷积神经网络，可预先对路面图像进行预处理。

具体的，路面图像预先通过在路面图像的右侧和下侧填充像素处理，使路面图像的像素满足第一预设像素分辨率，其中，填充的像素的灰度值为255；此外，在路面图像中标注多个正方形子图像块后，将路面图像中的每一正方形子图像块压缩为第二预设像素分辨率。

例如，原始采集的路面图像的分辨率为3024×2048像素，则在该路面图像的右侧和下侧填充像素，将图像填充(padding)为3400×2200像素。标注的正方形子图像块的像素为100×100，为了方便计算同时减少参数计算量，本发明实施例对原始的路面图像进行32/100倍的缩放，即将该图像压缩为32×32像素，使得原始路面裂缝图像上的每个100×100像素的正方形子图像块映射到压缩后的32×32的正方形子图像块上。这样，路面图像被划分为34×22个正方形子图像块。

不同层的特征图均可看作三维矩阵，其维度分别为图像长度、图像宽度和通道数。需要说明的是，对于输入是大尺寸路面裂缝图像的情况，对GPU算力的要求较高。因此，为了减轻计算压力，本发明实施例采取单通道灰度图用于网络计算，即输入为Batch size×1×H×W。Batch size表示每次送入网络中的样本数量，H表示图像长度，W表示图像宽度；第一特征图、第二特征图、第三特征图、第四特征图和第五特征图的大小分别为[H/2,W/2,32]、[H/4,W/4,64]、[H/8,W/8,128]、[H/16,W/16,256]、[H/32,W/32,256]。

步骤S103：将第一特征图、第二特征图、第三特征图和第四特征图，分别输入第一平均池化层、第二平均池化层、第三平均池化层和第四平均池化层后，分别输出第六特征图、第七特征图、第八特征图和第九特征图。

由于第一特征图、第二特征图、第三特征图、第四特征图和第五特征图的大小均不同，后续步骤中无法直接沿第三维(通道)进行合并，因此在进行合并之前，首先通过本步骤对高层较大的特征图进行平均池化操作。该操作既能保持模型的局部特征，又能自由缩放特征图的大小。

具体的，第一平均池化层的窗口大小为16×16，第二平均池化层的窗口大小为8×8，第三平均池化层的窗口大小为4×4，第四平均池化层的窗口大小为2×2。

步骤S104：将第五特征图、第六特征图、第七特征图、第八特征图和第九特征图输入叠合模块进行叠合后，输出第十特征图。

叠合后的特征图的三维矩阵长宽不变，通道数为全部多尺度特征图通道数之和，本发明实施例为736个通道。

通过将不同层次的特征图全部进行叠合，可将更多原始图像的细节信息加入识别过程当中，防止路面图像中特征不明显、响应不高的裂缝部分在层次加深的过程中被过滤。

步骤S105：将第十特征图输入注意力机制模块，输出权重矩阵。

全局池化层用于将第十特征图进行全局池化，提取第十特征图的每一通道的特征值。第十特征图一共有736个通道。

第一全连接层用于将第十特征图的每一通道的特征值编码为预设长度的特征向量。其中，预设长度为64。

第二全连接层用于从每一特征向量中学习得到权重，组成权重矩阵，即不同特征图所占的权重。

通过对特征图增加权重，可更加有效地结合多尺度特征图的信息。

步骤S106：将第十特征图和权重矩阵输入赋权模块，使第十特征图与权重矩阵点乘后，输入识别模块，输出第十一特征图。

赋权方法为点乘，即特征图内全部像素值点乘以权重，得到的新特征图，即为赋权后的结果。

在本发明实施例的裂缝检测中，由于图像标注具有相对位置关系，因此识别模块选择不改变位置关系的卷积层，其具体参数如前文所述，在此不再赘述。

步骤S107：将第十一特征图输入激活模块，输出表征路面图像的每一正方形子图像块是否具有裂缝的预测矩阵。

该步骤的过程具体包括：

(1)将第十一特征图中的每一正方形子图像块的特征参数值通过激活函数映射到0～1之间，得到每一正方形子图像块的路面裂缝预测概率值。

(2)通过预设的路面裂缝预测概率阈值对每一特征参数值进行二值化判断。

根据判断结果不同，具体有如下两种情况。

(3)当该正方形子图像块的路面裂缝预测概率值大于路面裂缝预测概率阈值时，将该正方形子图像块的特征参数值标记为1，则预测矩阵的对应该正方形子图像块的元素赋值为1。

(4)当该正方形子图像块的路面裂缝预测概率值不大于路面裂缝预测概率阈值时，将该正方形子图像块的特征参数值标记为0，则预测矩阵的对应该正方形子图像块的元素赋值为0。

通过上述的过程可知，预测矩阵的每一元素对应路面图像的每一正方形子图像。预测矩阵的每一元素的取值为0或1。元素的取值为0表示对应的正方形子图像块不具有裂缝，元素的取值为1表示对应的正方形子图像块具有裂缝。

考虑到裂缝特征的连续性，将整张路面图像作为输入，对每个正方形子图像块中是否包含有裂缝进行端到端的分割预测。在一具体实施例中，设放缩后的图片像素大小为H×W，则总共有H/32行，W/32列正方形子图像块。与之相对应的，经过网络五次下采样后，原始输入的路面图像的长和宽分别变为原来的1/32，最终返回的是否具有路面裂缝的预测矩阵的大小为H/32×W/32。具体的，如前所述的3400×2200像素的路面图像，输出34×22的预测矩阵。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述实施例所述的路面裂缝检测方法。

本发明实施例还公开了一种路面裂缝检测系统，包括：如上述实施例所述的计算机可读存储介质。

为了评估本发明实施例中提出的优化模型的检测效果，将优化前的原始模型也进行了训练，并将测试结果与本发明实施例的优化模型进行了对比。主要使用的对比模型包括与本发明实施例的优化模型相对应的如图3所示的直线型卷积神经网络模型CNN-1和如图4所示的多尺度特征图叠合后模型CNN-2。

本发明实施例在实际路面裂缝数据集上，对各个模型进行训练和测试，对比结果如表1所示。评价指标选用正样本相似度指标coefficient，计算公式如下：

其中，X表示由原始图像经过网络前馈形成的概率矩阵，Y表示由标记文件形成的标记矩阵。||X||

表1不同模型的相似度指标

通过表1结果可以看出，特征图叠合后，CNN-2相较于CNN-1模型，正样本相似度指标有了明显提升；本发明实施例进一步增加注意力模块，提出的优化模型正样本相似度指标最好，这证明了本发明实施例提出的优化方法，对于复杂路面背景下有无裂缝的判别更加精确。

综上，本发明实施例，充分利用了卷积神经网络模型的多尺度特征图结构，弥补了传统卷积神经网络模型仅使用单尺度特征图造成的漏识别率较高的问题；采用通道间注意力机制对叠合后的多尺度特征图进行处理，对多尺度信息进行进一步筛选，从而提升模型的特征提取效果；可显著提升复杂路面背景下裂缝识别准确率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。