一种改进ResNet-50网络结构的路面裂缝检测方法

技术领域

本发明涉及深度学习技术领域，尤其涉及一种改进ResNet-50网络结构的路面裂缝检测方法。

背景技术

裂缝是评价路面受损状况最直接的表现形式，能够及时反映当前路面的真实状况。在道路日常的养护中，对路面进行定期检测可以及时发现裂缝并对其进行修复，减少裂缝对路面安全的影响，提高公路的使用寿命。原始的人工检测方法不仅耗时耗力，而且易受主观因素影响，导致检测精度较低。早些年随着计算机视觉的不断发展，许多研究者采用数字图像处理技术对裂缝进行自动检测，但是由于裂缝形状的各异性，如横向裂缝，纵向裂缝，块状裂缝和龟裂裂缝以及道路周围环境的复杂性，如光照强度不均匀，复杂多变的路面环境导致这些检测方法不能从全局的角度对裂缝进行检测，造成裂缝检测的准确率较低，近年来也出现了很多基于深度学习的裂缝检测方法，但是仍会出现因复杂多变的裂缝拓扑结构以及裂缝图像噪声的影响导致检测精度低的问题。

发明内容

本发明的目的在于提供一种改进ResNet-50网络结构的路面裂缝检测方法，改善现有的基于深度学习的裂缝检测方法中提取特征不完整以及检测准确率低的技术问题。

为实现上述目的，本发明提供了一种改进ResNet-50网络结构的路面裂缝检测方法，包括下列步骤：

采集路面图像集；

筛选含有裂缝的路面图像构建路面裂缝数据集；

使用所述路面裂缝数据集对改进ResNet-50网络模型进行训练；

测试评估训练结果，获得裂缝检测网络模型；

使用所述裂缝检测网络模型进行裂缝分类和严重程度评估。

其中，在筛选含有裂缝的路面图像构建路面裂缝数据集的过程中，筛选路面图像集中含有裂缝的路面图像，将路面裂缝图像裁剪成小分辨率图像块，以多边形的形式标注路面裂缝图像并得到路面真实情况数据，构建训练集和测试集，并对训练集和测试集进行标注。

其中，所述改进ResNet-50网络模型包括下列步骤：

将ResNet-50网络去除平均池化层和全连接层；

将混合扩张卷积模块融入网络后三层中，每层设置不同的空洞率；

将空间-通道注意力机制模块融入第二层与第三层、第三层与第四层、第四层与第五层之间；

将每层提取的特征进行侧边输出，使用1×1的卷积进行处理；

将处理后的特征使用多尺度特征融合模块进行融合。

其中，所述混合扩张卷积模块的空洞率排列方式采用锯齿波形结构即将连续的卷积层分为一组，每组采用不同的空洞率，空洞率按照由小到大的方式递增，下一组采用相同的模式。空洞率小的卷积可以提取本地信息，空洞率大的可以提取长距离信息，这样顶层卷积层可以从更大范围的像素中提取特征，确保网络能获取全局特征信息。

其中，所述空间-通道注意力机制模块由空间注意力机制和通道注意力机制相加得来，能够得到更为精确的特征图，所述空间注意力机制首先从一个通道的维度出发对输入大小为H×W×C(其中H代表输入特征的高度，W代表输入特征的宽度，C代表输入特征的通道数)的特征F求平均池化和最大池化，得到两个H×W×1(其中H代表输出特征的高度，W代表输出特征的宽度，1代表输出特征的通道数)的特征，其次将这两个特征合并得到一个通道数为2的特征，最后使用卷积核大小为7×7的卷积对特征进行处理后得到权重系数Ms，并将Ms和特征F相乘得到新的特征F

其中，所述多尺度特征融合模块首先对ResNet-50网络每层输出的特征使用1×1的卷积进行处理，然后将得到的特征图上采样到与输入图像相同的大小，并进行融合，最后将融合的特征使用1×1的卷积进行处理得到最终预测结果。多尺度特征融合模块集成多尺度、多层次的特征图，使最终预测结果更接近路面真实状况。

其中，在测试评估训练结果，获得裂缝检测网络模型的过程中，使用路面裂缝数据集中的测试集对训练后的网络模型进行测试，根据测试结果计算准确率(Precision)、召回率(Recall)、F-score来评价准确性，准确率(Precision)、召回率(Recall)、F-score如公式(1)-(3)所示，其中TP为检测结果中被正确检测并判断为裂缝像素点个数，FP为将背景像素误检为裂缝像素点个数，FN为将裂缝像素误检为背景像素点个数。

若最终预测结果以及评估指标值满足要求，保存输出裂缝检测网络模型；

否则，修改网络模型的超参数重新训练。

本发明提供了一种改进ResNet-50网络结构的路面裂缝检测方法，通过移除ResNet-50网络的全连接层和平均池化层，将混合扩张卷积融入网络后三层中，在第二层与第三层、第三层与第四层、第四层与第五层之间加入空间-通道注意力机制，并使用多尺度特征融合的方式对提取的特征进行融合形成改进ResNet-50网络，并使用路面裂缝数据集对改进后的网络模型进行训练获得裂缝检测网络模型，最后使用裂缝检测网络模型进行裂缝分类和严重程度评估，改进的扩张卷积模块可以从更大范围的像素中提取特征，确保网络能获取全局特征信息，多尺度特征融合的方式对提取的特征融合提高了准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种改进ResNet-50网络结构的路面裂缝检测方法的流程示意图。

图2是本发明的裂缝检测网络模型的网络结构示意图。

图3是本发明的混合扩张卷积模块示意图。

图4是本发明的空间-通道注意力机制结构示意图。

图5是本发明的多尺度特征融合模块结构示意图。

图6是本发明具体实施例的DeepCrack、CFD和CRACK500数据集测试结果图像集。

图6(a)为DeepCrack、CFD和CRACK500数据集的原图。

图6(b)为DeepCrack、CFD和CRACK500数据集的标签图。

图6(c)为HED方法的测试结果图。

图6(d)为RCF方法的测试结果图。

图6(e)为U-Net方法的测试结果图。

图6(g)为CrackW-Net方法的测试结果图。

图6(h)为DeepCrack方法的测试结果图。

图6(i)为FPHBN方法的测试结果图。

图6(j)为本发明方法的测试结果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提出了一种改进ResNet-50网络结构的路面裂缝检测方法，包括下列步骤：

S1：采集路面图像集；

S2：筛选含有裂缝的路面图像构建路面裂缝数据集；

S3：使用所述路面裂缝数据集对改进ResNet-50网络模型进行训练；

S4：测试评估训练结果，获得裂缝检测网络模型；

S5：使用所述裂缝检测网络模型进行裂缝分类和严重程度评估。

在筛选含有裂缝的路面图像构建路面裂缝数据集的过程中，筛选路面图像集中含有裂缝的路面图像，将路面裂缝图像裁剪成小分辨率图像块，以多边形的形式标注路面裂缝图像并得到路面真实情况数据，构建训练集和测试集，并对训练集和测试集进行标注。

S21：所述改进ResNet-50网络模型包括下列步骤：

S22：将ResNet-50网络去除平均池化层和全连接层；

S23：将混合扩张卷积模块融入网络后三层中，每层设置不同的空洞率；

S24：将空间-通道注意力机制模块融入第二层与第三层、第三层与第四层、第四层与第五层之间；

S25：将每层提取的特征进行侧边输出，使用1×1的卷积进行处理；

S26：将处理后的特征使用多尺度特征融合模块进行融合。

所述混合扩张卷积模块的空洞率排列方式采用锯齿波形结构即将连续的卷积层分为一组，每组采用不同的空洞率，空洞率按照由小到大的方式递增，下一组采用相同的模式。空洞率小的卷积可以提取本地信息，空洞率大的可以提取长距离信息，这样顶层卷积层可以从更大范围的像素中提取特征，确保网络能获取全局特征信息。

所述空间-通道注意力机制模块由空间注意力机制和通道注意力机制相加得来，能够得到更为精确的特征图，所述空间注意力机制首先从一个通道的维度出发对输入大小为H×W×C的特征F求平均池化和最大池化，得到两个H×W×1的特征，其次将这两个特征合并得到一个通道数为2的特征，最后使用卷积核大小为7×7的卷积对特征进行处理后得到权重系数Ms，并将Ms和特征F相乘得到新的特征F

所述多尺度特征融合模块首先对ResNet-50网络每层输出的特征使用1×1的卷积进行处理，然后将得到的特征图上采样到与输入图像相同的大小，并进行融合，最后将融合的特征使用1×1的卷积进行处理得到最终预测结果。多尺度特征融合模块集成多尺度、多层次的特征图，使最终预测结果更接近路面真实状况。

在测试评估训练结果，获得裂缝检测网络模型的过程中，使用路面裂缝数据集中的测试集对训练后的网络模型进行测试，根据测试结果计算准确率(Precision)、召回率(Recall)、F-score来评价裂缝检测的准确性；

若最终预测结果以及评估指标值满足要求，保存输出裂缝检测网络模型；

否则，修改网络模型的超参数重新训练。

以下结合本发明中的各个模块作进一步说明：

本发明将裂缝检测分为特征提取，特征处理和特征融合三部分。在特征提取阶段，首先使用改进的ResNet-50网络(去除平均池化层和全连接层)提取裂缝特征。因为后三层所提取的语义特征比较弱，在后三层中融入了混合扩张卷积模块来提高语义特征。将第三层的四个块组成一组并将它们的空洞率分别改为1、2、5和9。将第四层的六个块分为两组，将它们的空洞率分别改为1、2、5，下一组保持相同的模式。将第五层的三个块分为一组，将它们的空洞率改为5，9和17。除此之外，在第二层与第三层，第三层与第四层，第四层与第五层之间加入空间-通道注意力机制模块。空间-通道注意力机制模块可以在特征提取过程中有效的增强裂缝特征，抑制非裂缝特征，减少噪声的影响，提高裂缝检测的精度。在特征处理阶段，使用卷积核大小为1×1去处理不同层次提取的裂缝特征。在特征融合阶段，引入多尺度特征融合模块，首先对不同层次提取的特征使用卷积核大小为1×1卷积进行处理，然后将处理后的特征上采样到与输入图像大小的尺寸，最后将不同层次提取的特征图进行融合后在使用1×1的卷积进行处理得到最终预测图。本发明所提出的裂缝检测模型如图2所示，网络模型实现了像素级别的裂缝检测，提高了裂缝检测的准确率。

(1)混合扩张卷积模块

混合扩张卷积的空洞率排列方式采用锯齿波形即将多个卷积层分成一组，每一组的空洞率按照由小到大的方式递增，下一组采用相同的模式，如图3所示。空洞率小的卷积可以提取本地信息，空洞率大的可以提取长距离信息，这样顶层卷积层可以从更大范围的像素中提取特征，确保网络能获取全局特征信息。混合扩张卷积在不增加额外的模块的情况下自然地扩大网络的感受野，而且能够自然地融入网络的原始层中，可以稳健地提取上下文语义信息和不同类型的裂纹特征。

混合扩张卷积中每组的空洞率需满足以下条件：(1)每组叠加卷积层的空洞率不能有一个固定的变换因子，即不要有大于1的公约数，例如[2、4、8]的公约数为2，不满足大于1；(2)每组空洞率需按照从小到大的方式进行排列，下组也采用相同的模式，例如[1、2、3、1、2、3]循环结构；(3)定义两个非零点之间的最大距离如公式(4)所示，

M

其中M

(2)空间-通道注意力机制

如图4所示，空间-通道注意力机制模块由空间注意力机制和通道注意力机制相加得来，该模块在特征提取阶段可以有效的增强裂缝特征，抑制非裂缝特征，减少噪声对最终预测结果的干扰。空间注意力机制首先从一个通道的维度出发对输入大小为H×W×C的特征F求平均池化和最大池化，得到两个H×W×1的特征，其次将这两个特征合并得到一个通道数为2的特征，最后使用卷积核大小为7×7的卷积对特征进行处理后得到权重系数Ms，并将Ms和特征F相乘得到新的特征F

(3)多尺度特征融合

多尺度特征融合模块主要用于融合多尺度、多层次的裂缝特征，使最终的预测结果更接近路面的真实情况。如图5所示，多尺度特征融合模块首先对ResNet-50网络每层输出的特征使用1×1的卷积进行处理，然后将得到的特征图上采样到与输入图像相同的大小，并进行融合，最后将融合的特征使用1×1的卷积进行处理得到最终预测结果。多尺度特征融合模块不仅适用于该发明中，还能够应用于各种检测类型的任务中，只要将每层提取的特征图输入到多尺度特征融合模块中，然后根据需要设置上采样大小，就可以获得最终的预测结果。多尺度特征融合模块融合了多尺度，多层次的特征，使得最终的预测结果与路面的真实情况更接近。

本发明还提出了一个具体实施例，在三个公开裂缝数据集DeepCrack、CFD和CRACK500上进行验证，并与当前流行的边缘检测方法HED(Holistically-nested EdgeDetection)、RCF(Richer Convolutional Feature for Edge Detection)、图像分割方法U-Net、CrackW-Net、DeepCrack和FPHBN(Feature Pyramid and Hierarchical BoostiongNetwork)进行对比，并使用准确率(Precision)、召回率(Recall)、F-score。在三个数据集上的测试结果如图6所示，从视觉角度来看，本发明所提取的裂缝特征清晰且特征图受噪声影响较小，有些方法受噪声影响导致裂缝特征模糊甚至残缺。从客观角度出发，本发明使用准确率(Precision)、召回率(Recall)、F-score对最终的预测结果进行评估，从表1、表2、表3可以看出本发明的各项指标大都高于其他方法，且F-score值在提升高达12％。综上所述，本发明提出的裂缝检测方法效果优于其他方法，具有较好的效果。

表1在DeepCrack数据集上评价指标值

表2在CFD数据集上评价指标值

表3在CRACK500数据集上评价指标值

综上所述，本发明具有以下优点：

1、改进的扩张卷积模块，将空洞率排列方式按照锯齿波形的方式进行排列，即将多个卷积层分成一组，每一组的空洞率按照由小到大的方式递增，下一组采用相同的模式，这样顶层卷积层可以从更大范围的像素中提取特征，确保网络能获取全局特征信息。

2、改进的注意力机制模块，将空间和通道注意力机制结合组成空间-通道注意力机制，该模式下网络可以增强裂缝特征，抑制非裂缝特征，减少噪声的影响，提高裂缝检测的准确率。

3、改进的特征融合模块，将多尺度、多层次特征进行融合，分别提取不同层次获取的特征图，通过卷积、上采样等一系列操作处理后，将不同层次的特征图进行融合，使最终的预测结果更接近路面真实情况。

4、改进的ResNet-50网络，移除ResNet-50网络的全连接层、平均池化层，将混合扩张卷积融入网络后三层中，在第二层与第三层、第三层与第四层、第四层与第五层之间加入空间-通道注意力机制，并使用多尺度特征融合的方式对提取的特征进行融合，实现了像素级别的裂缝检测。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。