联合线性引导与网格优化的混凝土裂缝检测方法及系统

技术领域

本发明属于裂缝检测技术领域，具体属于一种联合线性引导与网格优化的混凝土裂缝检测方法及系统。

背景技术

裂缝作为混凝土表面常见的病害之一，过大的裂缝会降低混凝土工程结构的承载力、防水性能以及耐久性。如果混凝土表面的裂缝不能及时发现修补，可能会导致严重的安全事故发生。因此，定期对混凝土建筑表面进行裂缝检测至关重要。早期的裂缝检测依靠经验丰富的工作人员进行人工检测，速度慢、成本高，存在主观臆断性，无法满足现代建筑健康监测的需求。随着计算机视觉技术的日益发展，研究人员开始将其应用于裂缝检测中，提出大量的裂缝检测方法。这些方法主要分为两类：一种是基于传统方法的裂缝分割，另一种是基于深度学习的裂缝分割。

传统的裂缝分割方法主要是通过人工或机器学习方法获取的浅层特征来实现裂缝分割，取得一定效果，但分割精度不佳，易受外界环境因素干扰，且模型鲁棒性差，难以满足实际场景的应用需求。

随着深度学习的快速发展，基于卷积神经网络的深度学习模型被广泛应用于裂缝分割之中，虽然现有基于深度学习的裂缝分割方法取得不错成效，但仍存在以下不足：编解码特征在提取过程中，网络专注挖掘最显著的裂缝特征信息，容易忽略局部细微裂缝信息，造成细微裂缝漏分；编码器浅层特征包含丰富的空间信息，但同时带来了背景噪声，对后续的编解码特征融合造成背景干扰，会出现将背景错分为裂缝，导致模型错分；虽然空洞卷积能够扩大网络的感受野，但无法有效捕捉到裂缝的线性结构，会导致分割出的裂缝总体结构模糊不清晰，从而网络分割精度不高。

发明内容

为了解决现有技术中存在的问题，本发明提供一种联合线性引导与网格优化的混凝土裂缝检测方法及系统，解决现有的检测方法不能准确检测出混凝土裂缝的问题。

为实现上述目的，本发明提供如下技术方案：一种联合线性引导与网格优化的混凝土裂缝检测方法，具体步骤如下：

S1构建线性引导与网格优化联合网络，以Unet为主干网络，在Unet网络编码器端池化下采样后并列嵌入多分支线性引导模块和网格细节优化模块，在Unet网络跳跃连接处嵌入混合注意力模块，并将跳跃连接的连接方式修改为先进行特征融合，再进行通道合并；

S2采用裂缝图像训练数据集对线性引导与网格优化联合网络进行训练，得到训练好的线性引导与网格优化联合网络模型；

S3将待检测图像输入线性引导与网格优化联合网络模型，输出混凝土裂缝检测结果。

进一步的，S1中，多分支线性引导模块包含1条全局平均池化分支以及3条自适应单维度池化分支，其中，全局平均池化分支对输入特征图进行全局平均池化、1×1卷积和上采样操作，得到特征图；自适应单维度池化分支根据不同延伸率对输入特征图进行自适应单维度池化，得到特征图；将全局平均池化分支和自适应单维度池化分支输出的特征图进行逐元素特征融合、1×1卷积得到最优特征图F

其中：每条自适应单维度池化分支包括沿高度和宽度方向的自适应单维度池化。

进一步的，S1中，3条自适应单维度池化分支的延伸率α分别为1、0.5和0.25，3条自适应单维度池化分支进行的自适应单维度池化具体为核大小为H×1和1×W的自适应单维度池化；核大小为

进一步的，S1中，网格细节优化模块具体操作步骤如下：

1)沿着通道维度对输入特征图执行切片操作得到切片特征；

2)使用平均池化对切片特征进行空间区域划分，将整个空间域划分为若干个网格，得到网格描述特征；

3)对网格描述特征进行细节优化操作，提取每个网格中的局部细节特征；

4)进行网格细节合并操作，通过双线性插值对局部细节特征进行上采样，合并各个网格的信息，将细节特征非线性映射到整个空间域得到分支特征；

5)将多个分支特征按照通道维度拼接，卷积得到特征Y

进一步的，1)中，沿着通道维度对输入特征图执行切片操作得到四个切片特征；

2)中，分别使用3×3、4×4、5×5、6×6平均池化对四个切片特征进行空间区域划分，得到网格描述特征；

3)中，细节优化操作具体为对网格描述特征进行卷积、批归一化和ReLU激活函数处理，得到局部细节特征。

进一步的，S1中，混合注意力模块包括空间注意力模块和通道注意力模块，空间注意力模块用于对特征图进行空间维度上的重标定，得到空间维度重标定的特征图；通道注意力模块用于对特征图进行通道方向上的重标定，得到通道特征权重矩阵，将通道特征权重矩阵与空间维度重标定的特征图相乘得到经过空间和通道维度重标定的特征图。

进一步的，空间注意力模块具体操作过程如下：

1)将特征图U∈R

2)对特征图U

3)对特征图

4)对大小为H×W×1特征图进行Sigmoid函数映射得到空间特征权重矩阵W

进一步的，通道注意力模块具体操作过程如下：

1)将特征图U∈R

2)对注意力特征图U

3)对全局信息特征图U

4)将通道特征权重矩阵W

进一步的，跳跃连接的连接方式具体为：

首先，将混合注意力模块输出的经过空间与通道维度重标定的浅层特征与深层特征进进行特征融合；

其次，再将经过特征融合的浅层特征与深层特征进行通道合并。

之后将合并后特征进行上采样操作，将深层特征上采样为原始分辨率大小。

本发明还提供一种联合线性引导与网格优化的混凝土裂缝检测系统，包括：

网络构建模块，用于构建线性引导与网格优化联合网络，以Unet为主干网络，在Unet网络编码器端池化下采样后并列嵌入多分支线性引导模块和网格细节优化模块，在Unet网络跳跃连接处嵌入混合注意力模块，并将跳跃连接的连接方式修改为先进行特征融合，再进行通道合并；

网络训练模块，用于采用裂缝图像训练数据集对线性引导与网格优化联合网络进行训练，得到训练好的线性引导与网格优化联合网络模型；

裂缝检测模块，用于将待检测图像输入线性引导与网格优化联合网络模型，输出混凝土裂缝检测结果。

与现有技术相比，本发明至少具有以下有益效果：

本发明提供一种联合线性引导与网格优化的混凝土裂缝检测方法，采用线性引导与网格优化联合网络进行混凝土裂缝检测的检测，能够更加准确的实现复杂背景干扰下的混凝土裂缝分割与识别，改善现有方法对混凝土表面裂缝线性形态识别不完整、图像细节信息丢失的问题，提高混凝土表面裂缝的检测精度。

本发明的线性引导与网格优化联合网络以Unet为主干网络，在主干网络中引入多分支线性引导模块和网格细节优化模块，通过多分支线性引导模块的自适应单维度池化增强网络对裂缝线性结构的表达能力，让不同区域的裂缝建立联系，增强全局上下文信息感知能力，提高网络分割精度；通过网格细节优化模块的分区-优化-合并三步骤，将整个空间域划分为若干个空间网格，提取空间网格中的细微裂缝信息，防止细微裂缝漏分；并且还在主干网络的跳跃连接处嵌入混合注意力模块，实现了从空间和通道双维度突出裂缝特征，减少背景干扰的目的，提高了混凝土裂缝检测的检测精度。

本发明的线性引导与网格优化联合网络模型在Deepcrack537、Crack500和CFD裂缝数据集上，所提模型的IoU值分别达到77.07％、58.96％和56.55％，F1-score值分别达到87.05％、74.19％和72.24％，明显优于大多数现有方法，具有更高的分割精度。

附图说明

图1线性引导和网格优化联合网络框架；

图2自适应单维度池化和常规池化对比；

图3多分支线性引导模块；

图4网格细节优化模块；

图5混合注意力模块；

图6Crack500数据集各种模型的裂缝分割结果；

图7Deepcrack537数据集各种模型的裂缝分割结果；

图8CFD数据集各种模型的裂缝分割结果；

图9消融实验的可视化结果。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

本发明提供一种联合线性引导与网格优化的混凝土裂缝检测方法，具体步骤如下：

1)获取不同背景下的混凝土裂缝图像，并对裂缝图像加注标签，构建裂缝图像训练数据集和验证数据集。

2)构建了线性引导与网格优化联合网络(Linear Guidance and MeshOptimization Joint Network,LGMO-Net)，1)选择Unet作为主干网络，Unet网络相比于其它网络分割精度较高，在Unet基础上对网络进行改进能够获得最佳裂缝分割网络；2)在Unet网络的编码阶段加入基于自适应单维度池化的多分支线性引导模块(Multi-branchLinear Guidance Module,MLGM)，通过自适应单维度池化提高网络对裂缝线性结构的捕获能力，加强空间不同区域之间的信息交流，增强模型的全局信息感知能力，从而提高网络的分割精度。3)通过设计网格细节优化模块(Mesh Detail Optimization Module,MDOM)，利用分区-优化-合并三步骤，对特征图的空间区域进行网格划分，学习网格中的局部细节信息，避免细微裂缝特征信息的丢失。4)采用混合注意力模块(Mixed Attention Module,MAM)，过滤Unet网络编码器浅层特征中的背景噪声，在空间与通道双维度突出裂缝特征信息，抑制背景信息对裂缝分割结果的干扰。

3)首先对训练数据集进行预处理操作，对裂缝图像进行随机缩放，水平旋转等操作。然后对线性引导与网格优化联合网络模型进行训练，将图像通过主干网络Unet、多分支线性引导模块(MLGM)、网格细节优化模块(MDOM)和混合注意力模块(MAM)得到特征图，再经过上采样后进行图像语义分割，将得到的预测值与真实值进行交叉熵运算，衡量预测值与真实值的误差，通过反向传播算法对网络模型进行迭代优化训练，训练到整个模型收敛为止；

4)将验证数据集的图像输入到训练好的线性引导与网格优化联合网络模型中，得到混凝土裂缝检测结果，并计算预测值与真实值的交并比(IoU)，评估预测准确度；

1.线性引导和网格优化联合网络LGMO-Net

1.1网络结构

线性引导和网格优化联合网络LGMO-Net的框架具体如图1所示，主要包括主干网络Unet、多分支线性引导模块MLGM、网格细节优化模块MDOM、混合注意力模块MAM。

首先，在Unet网络编码器端池化下采样后添加MLGM模块，通过自适应单维度池化提高网络对裂缝线性拓扑结构的捕捉能力，获取图像全局感受野，将多分支线性引导模块捕获的裂缝线性结构信息融入编码端特征中。同时在Unet网络编码器端池化下采样后加入MDOM模块，将网格细节优化模块所提取的细节信息与编码端特征相融合，避免因连续卷积和池化操作导致细节信息丢失，造成细微裂缝漏分。

对于编码器输出的浅层特征包含了大量的空间信息，但同时也带来背景噪声。这对编码特征与解码特征在跳跃连接处进行特征融合带来背景干扰。为此，本发明在跳跃连接处嵌入MAM模块，通过注意力机制过滤编码特征中的背景噪声。

同时改变跳跃连接的连接方式，先将经过背景噪声过滤后的浅层特征与深层特征进行特征融合，再将经过特征融合的浅层特征与深层特征进行通道合并，弥补之前跳跃连接方式在语义融合上的不足。

1.2多分支线性引导模块

图2是裂缝图像，裂缝呈现出细长且不规则的结构。如图2(a)所示，当网络采用常规池化进行信息聚合时，因其池化核与裂缝形状不契合，无法捕捉裂缝的线性结构，并且将裂缝和背景的特征信息汇聚在一起，导致分割精度不高。同时裂缝分布于全图，通过常规池化操作，只能获取局部区域的裂缝信息，造成区域信息交流闭塞，区域之间的裂缝无法建立联系，难以获取完整的裂缝。

针对上述问题，本发明使用自适应单维度池化代替常规池化。与固定尺寸的常规池化不同，自适应单维度池化的形状会根据输入特征图尺寸进行自适应调整，让其形状与目标尺度相匹配。并且自适应单维度池化只沿高度或宽度维度进行信息聚合。当输入特征图空间维度大小为H×W，则自适应单维度池化形状为(α*H)×1或1×(α*W)，α为延伸率。如图2(b)所示，自适应单维度池化其形状更加契合裂缝的形态结构，能够更好捕获裂缝的线性结构。并且让图像不同区域的裂缝建立联系，避免区域之间孤立。

基于上述分析，为了尽可能多地捕获裂缝信息，本发明设计了基于自适应单维度池化的多分支线性引导模块，多分支线性引导模块包含1条全局平均池化分支以及3条自适应单维度池化分支，具体结构如图3所示，通过对特征图执行自适应单维度池化操作，学习到更丰富的裂缝信息。

对于自适应单维度池化分支，分别采用公式(1)(2)(3)对输入特征图F

对于全局平均池化分支，采用公式(4)对输入特征图F

F

F

F

F

式中，Conv

将全局平均池化和自适应单维度池化分支输出特征图进行逐元素特征融合。该步骤在保持特征图维度不变的情况下，增加特征图空间与通道维度的信息量，有效降低因特征融合所带来的参数和计算量，生成含有丰富裂缝信息的特征图；之后通过1×1卷积操作，实现特征图的跨通道信息交互，获得最优特征图F

式中，

1.3网格细节优化模块

由于网络在编码阶段不断地卷积和池化操作过程中，图像细节信息丢失严重，导致细微裂缝漏分。因此，本发明设计了网格细节优化模块，以减少模型在下采样过程中细节信息的损失，增强网络对小尺度裂缝的关注度。

网格细节优化模块结构如图4所示，首先，通过不同尺寸的池化核进行池化操作可以获取不同区域的裂缝细节信息，并将结果进行融合，从而获得丰富的细微裂缝信息，减少细微裂缝漏分。如果切片数量过多，会导致模块的参数量上升，模型的计算量增多，因此本发明沿着通道维度对输入特征图F∈R

以切片特征F

式中，z表示网格描述特征，f

然后对网格描述特征z进行细节优化操作，利用卷积操作提取每个网格中的局部细节特征，其具体过程如公式(7)所示：

s＝f

式中，s表示局部细节特征，f

最后进行网格细节合并操作，通过双线性插值对局部细节特征s进行上采样，合并各个网格的信息，将细节特征非线性映射到整个空间域。其具体过程如下所示：

Y

式中，Y

对于四个切片特征

式中：

之后将四条分支特征Y

Y

式中，Conv表示卷积操作，concat表示通道拼接操作。

1.4混合注意力模块

注意力机制赋予不同特征不同的权重，减小无关特征的权重来抑制网络模型对其的学习，同时增大目标特征的权重来加强网络对目标的学习。在裂缝分割任务中，受复杂背景的干扰，存在裂缝分割精度不高、提取不完整等问题。为了缓解上述问题，本发明在网络的跳跃连接处嵌入混合注意力模块(Mixed Attention Module,MAM)得到经过空间和通道维度重标定的特征图，具体的，混合注意力模块包括空间注意力模块和通道注意力模块，通过混合注意力模块为特征图中裂缝区域赋予较高的权重，背景区域赋予较低的权重，提高网络对裂缝的关注度，进而提高网络的特征学习和表达能力。

1.4.1空间注意力模块

空间注意力机制通过对特征图不同位置的像素元素重新赋予权重，挖掘特征图空间信息，更好地聚焦裂缝区域。空间注意力模块结构如图5所示：

首先，空间注意力模块通过1×1卷积操作，将特征图U∈R

U

U

W

式中：σ为sigmoid激活函数，Up表示上采样，Conv

1.4.2通道注意力模块

通道注意力模块通过建模各个通道的重要程度，自适应的建立特征通道间的依赖关系，根据依赖关系对原特征图的各通道进行加权处理，使网络关注某些权重值大的通道。在通道注意力机制中，通常采用全局池化的方法将通道信息全局编码，但忽略了位置信息和空间结构，造成分割精度降低。为此，本发明设计了全新的通道注意力模块，如图5所示：

首先，通道注意力模块为了避免全局池化造成位置信息丢失，将二维的全局池化分解为2个并行的自适应单维度池化。把特征图U∈R

然后对两个注意力特征图进行降维融合，得到两个通道特征图的全局信息特征图U

U

U

W

式中：σ为sigmoid激活函数，Conv

1.5将混合注意力模块得到的经过空间与通道维度重标定的浅层特征与深层特征进行卷积操作，实现特征融合。再将经过特征融合的浅层特征与深层特征进行通道合并。

之后将合并后特征进行上采样操作，将深层特征上采样为原始分辨率大小。

1.5损失函数

损失函数是用于衡量标签真实值与网络输出预测值之间差距的指标，通过不断减小损失值来训练网络模型，从而更好地拟合样本数据。本发明采用二分类交叉熵损失函数，y

Loss＝-(y

2实验分析与讨论

2.1实验配置和数据集

本发明实验是在Ubuntu 18.04.2系统下进行的，GPU型号为GTX2080Ti。深度学习框架采用Pytorch-1.10.2，实验环境配置为CUDA 11.4+python3.6.8。在网络训练过程中，设置训练参数batch_size为8，epoch为400轮，初始学习率为0.0005，使用Adam优化器进行网络优化，学习率衰减策略采用余弦退火方法。

为了验证LGMO-Net的有效性，采用Crack500、Deepcrack537和CFD公共裂缝数据集进行实验对比。Deepcrack537裂缝数据集共有537张大小为544×384的裂缝图像，包括300张训练图像和237张测试图像以及对应的标签图。部分裂缝图像中含有较多的噪声干扰，如水坑、斑点、碎石、阴影等噪声，用以验证LGMO-Net在噪声干扰下的性能。Crack500裂缝数据集由3368张裂缝图像构成，图像中包含横向、纵向、龟裂等形状各异的裂缝，并且部分图像中裂缝与背景颜色相似，分割难度较大。该数据集按照训练集(1896张)、验证集(1124张)和测试集(348张)进行划分。CFD裂缝数据集由118张大小为480×320的裂缝图像构成，这些图像中的裂缝都是具有一定分割难度的狭长裂缝，裂缝占比小且难以辨认。该数据集按照8：2比例随机划分为训练集和测试集。

2.2分割评价指标

为了更好评价网络的分割性能，本发明使用了4种常见的分割评价指标，包括准确率、召回率、F1分数(F1-score)和交并比IoU。将裂缝定义为正样本，非裂缝定义为负样本。上述的评价指标可以通过混淆矩阵进行计算，其中TP、FN、FP、TN的含义如表1所示：

表1混淆矩阵

2.3实验结果分析

为了证明LGMO-Net模型的优越性，与UNet、PSPNet、DeepCrack18、LightCrackNet、FFEDN等网络模型分别在Deepcrack537、Crack500和CFD裂缝数据集上进行对比实验。并且为了验证LGMO-Net模型各模块对混凝土裂缝分割任务的有效性，在Deepcrack537、Crack500和CFD裂缝数据集上进行消融实验。

2.3.1Crack500裂缝数据集实验结果分析

图6是在Crack500数据集上，LGMO-Net模型与其它网络模型的分割结果对比。通过对比图6(a)和图6(b)的红框区域，可以看出FCN、SegNet等网络都出现了不同程度的裂缝漏分现象，部分裂缝区域没有分割出来。而LGMO-Net所提出的多分支线性引导模块，能够精确关注到裂缝的线性结构，获取更加丰富的裂缝特征信息，较为完整的分割出整个裂缝。通过图6(c)的红框区域，可以看出SegNet等模型在裂缝分割过程中丢失了特征图的细节信息，导致细微裂缝的分割效果不佳。而LGMO-Net利用网格细节优化模块，提取空间网格中的细节信息，可以较好的分割出细微裂缝。在图6(d)的红框中，由于裂缝图像中裂缝与背景特征相似，导致DeeplabV3、DeepCrack18等模型将背景错分割成裂缝。而LGMO-Net利用混合注意力模块在空间和通道两个维度强化裂缝特征，抑制背景噪声的干扰，没有出现将背景错分为裂缝的现象。

不同模型在Crack500数据集中分割结果的定量分析如表2所示，在Crack500数据集上，本发明所提的LGMO-Net在准确率、召回率、F1-score和IoU评价指标上，分别达到78.11％、70.64％、74.19％和58.96％，其中准确率、F1-score和IoU获得最高分数。FFEDN网络在裂缝分割过程中，通过注意力和深度监督机制减少裂缝样本漏分现象的发生，使其召回率指标获得最高分数。LGMO-Net相比于FFEDN网络，更专注于获取裂缝的特征信息，提高裂缝分割的准确率，其召回率有待提高。与其它算法相比，虽然本发明算法在Recall指标没有获得最高分数，但Precision指标远超其它算法，并且在综合考虑准确率和召回率的F1-score指标上取得最高分数，表明LGMO-Net的分割性能更佳。与主干网络U-Net相比，本发明方法的准确率提高8.82％，F1-score提高2.75％，IoU提高3.39％。与最佳对比算法FFEDN相比，LGMO-Net的评价指标得到一定程度的提升，准确率提高7.1％，IoU提高0.4％，F1-score提高0.32％，说明LGMO-Net通过多分支线性引导和网格细节优化模块提高网络对裂缝线性结构的捕获能力，在一定程度上缓解裂缝图像分割过程中细微裂缝漏分问题，并通过混合注意力机制抑制背景因素的干扰，从而提高网络的分割精度。

表2Crack500数据集定量分析实验结果

2.3.2Deepcrack537裂缝数据集实验结果分析

LGMO-Net与其它网络在Deepcrack537数据集上的可视化结果如图7所示。从图7(a)红框区域可以看出，HRNet、Unet等模型的分割效果较差，裂缝漏分现象严重，整体分割效果不理想。此外在图7(b)的红框区域中，SegNet和UNet错分现象较为严重，把背景区域错分为裂缝。而本发明方法在上述的红框区域都能进行精确的裂缝分割，表明LGMO-Net与其它方法相比能够获得更加丰富的裂缝特征信息，并且对于复杂背景下各种强干扰具有较好的鲁棒性。在图7(c)、(d)、(e)中，其它网络对于大面积的裂缝区域分割效果较好，但出现细微裂缝漏分现象。而LGMO-Net能克服细微裂缝漏分的缺陷，对于细小特征的裂缝具有较好的分割效果。

表3Deepcrack537数据集定量分析实验结果

在Deepcrack537裂缝数据集上，对各种网络模型的分割结果进行定量分析，结果如表3所示。本发明所提出的LGMO-Net在Precision、Recall、F1-score和IoU指标上，分别达到84.61％、89.64％、87.05％和77.07％。与其它网络模型相比，本发明算法的Recall、F1-score和IoU指标获得了最高分数。对比主干网络U-Net，LGMO-Net的各项评价指标都得到大幅度提升，准确率提高3.28％，召回率提高1.50％，IoU提高2.45％，以及F1-score提高3.76％。与对比算法FFEDN相比，召回率、F1-score和IoU分别提高4.02％、0.88％和1.37％。

2.3.3CFD裂缝数据集实验结果分析

在CFD数据集图像中的裂缝形状细长且难以辨认，分割难度较大。为进一步验证LGMO-Net模型的有效性，各模型在CFD裂缝数据集进行裂缝分割对比实验，对比结果如图8所示。在图8(c)的红框区域中，FCN、DeeplabV3等网络模型在对细微裂缝进行分割时出现漏分现象。而LGMO-Net通过网络细节优化模块保留裂缝的细节信息，能够完整分割出细微裂缝。在图8(b)中，裂缝图像左下角存在一片阴影区域，这会干扰模型的分割结果。如DeepCrack18受阴影区域的干扰，将阴影区域错分为裂缝。而受阴影部分的干扰，UNet、HRNet等网络模型在阴影区域发生漏分现象，分割效果差强人意。而LGMO-Net能够克服阴影干扰，成功分割出裂缝。从图8的整体分割结果可以看出，LGMO-Net相比于其它网络模型分割效果更佳，说明本发明算法对于细长结构的裂缝，具有更好的特征捕获能力。

不同模型在CFD裂缝数据集分割结果的定量分析如表4所示，在CFD数据集上，本发明所提的LGMO-Net在准确率、召回率、F1-score和IoU评价指标上，分别达到71.07％、73.46％、72.24％和56.55％，其中准确率、F1-score和IoU获得了最高分数。与U-Net相比，本发明方法的准确率提高3.09％，召回率提高0.33％，IoU提高2.16％，F1-score提高1.78％。

综上所述，从DeepCrack537、Crack500和CFD裂缝数据集对比实验的可视化结果和定量分析上，可以看出LGMO-Net模型的裂缝分割效果最好，有效地解决了网络分割精度低、细微裂缝漏分、背景干扰等问题，能准确分割出混凝土的裂缝区域。

表4CFD数据集定量分析实验结果

2.3.4消融实验

为了更好的验证所提模型以及各个模块对混凝土裂缝分割的有效性，在Deepcrack537、Crack500和CFD裂缝数据集上进行消融实验。所提模型是以UNet为主干网络，MLGM表示多分支线性引导模块，MDOM表示网格细节优化模块，MAM表示混合注意力模块。表5给出了在Deepcrack537数据集上的消融实验结果，UNet的Precision、Recall、F1-score和IoU的结果分别是81.33％、88.14％、84.60％和73.31％；添加MLGM模块后，指标分别上升1.19％、0.81％、1.04％和1.57％；添加MDOM模块后，指标相比主干网络Unet分别上升1.21％、0.87％、1.05％和1.60％；添加MAM模块后，Precision、F1-score和IoU三个指标分别上升2.97％、0.71％以及1.07％。表6展示了在Crack500数据集上的消融实验结果，当主干网络Unet添加MLGM模块后，Precision、F1-score和IoU分别提高7.8％、2.56％和3.16％；添加MDOM模块后，指标相比Unet分别上升3.89％、1.81％和2.22％；添加MAM模块后，Precision、F1-score和IoU三个指标分别上升5.75％、2.00％以及2.46％。CFD数据集的消融实验结果如表7所示，Unet添加MLGM模块后，Precision、F1-score和IoU分别提高2.24％、0.23％和0.28％；添加MDOM模块后，Recall、F1-score和IoU指标相比Unet网络分别上升2.41％、0.15％以及0.18％；添加混合注意力模块后，Recall、F1-score和IoU三个指标分别上升4.29％、1.36％和1.64％。

图9为消融实验的可视化结果对比图，在图9(c)的红框区域中，UNet网络分割出的裂缝形状较为粗糙，并且出现将背景错分为裂缝以及细微裂缝漏分的问题。而图9(d)红框区域内，当UNet添加MLGM和MDOM模块后，网络分割出的裂缝整体更加完整并且没有发生细微裂缝漏分的现象。在图9(e)红框区域内，当UNet添加MAM模块后，网络通过注意力机制抑制背景区域对分割结果的干扰，没有将背景区域错分为裂缝。在图9(f)红框中，LGMO-Net相比于Unet网络在细节和背景干扰方面表现良好，没有发生漏分和错分的现象。

消融实验结果充分表明，多分支线性引导模块能够捕获到更多的裂缝线性结构信息，得到更多的裂缝特征信息。而网格细节优化模块能够获取到裂缝特征图的细节信息，减少细微裂缝漏分。混合注意力模块通过注意力机制能够抑制背景噪声对分割结果的干扰，避免将背景预测为裂缝。

表5Deepcrack537数据集消融实验结果

表6Crack500数据集消融实验结果

表7CFD数据集消融实验结果

2.3.5不同延伸率组合的对比实验

在实验过程中，采用本发明算法LGMO-Net进行实验。通过改变LMGO-Net中MLGM模块的延伸率α组合，验证不同延伸率组合对LGMO-Net性能的影响，并在Deepcrack537、CFD数据集上进行对比实验。

表8Deepcrack537数据集对比实验结果

表8给出了在Deepcrack537数据集上的对比实验结果，当MLGM延伸率选择1、0.5和0.25组合时，LGMO-Net网络的Precision、Recall、F1-score和IoU指标分别为84.61％、89.64％、87.05％和77.07％。而当MLGM延伸率为1、0.75、0.5和0.25的组合时，LGMO-Net网络的指标分别下降3.25％、0.71％、2.07％、3.19％。表9给出了在CFD数据集上的对比实验结果，当MLGM延伸率选择1、0.5和0.25组合时，LGMO-Net的Precision、Recall、F1-score和IoU指标分别为71.07％、73.46％、72.24％和56.55％。而当MLGM延伸率为1、0.75、0.5和0.25的组合时，LGMO-Net的Precision、F1-score和IoU指标分别下降5.29％、2.34％和2.82％。

表9CFD数据集对比实验结果

从上述实验结果的定量分析中，可以发现当LGMO-Net中MLGM模块的延伸率选择1、0.75、0.5、0.25组合时，模型的各项评价指标有一定幅度的下降，模型的分割性能不佳，并且随着MLGM模块分支数的增多会导致其参数量的上升。因此，本发明MLGM模块选择延伸率为1、0.5、0.25的组合。

2.4复杂性分析

表10参数量和浮点运算次数

表10展示了不同模型的复杂度比较结果，表中Params表示模型的参数量，能够衡量模型的空间复杂度；表中的FLOPs(Floating-point Operations)表示浮点运算次数，能够衡量模型的时间复杂度。为了统一衡量各个模型的复杂度，所有模型的输入都是大小为512×512×3的张量。从表10的比较结果可以看出，本发明方法的模型参数量比UNet多10.98M，但是比PSPNet的模型参数量少了25.08M。与UNet相比，本发明方法以增加少量参数量为代价，获得更好的裂缝分割性能。与PSPNet相比，本发明方法以更小的模型参数量，拥有更好的裂缝分割性能。因此，LGMO-Net在模型复杂度和模型精度之间得到较好的平衡。

本发明所提模型在UNet模型的基础上，在网络的编码阶段运用多分支线性引导模块，来引导网络捕获裂缝的线性结构，提高裂缝分割精度。同时利用网格细节优化模块，提取特征网格中的细节信息，避免细微裂缝特征信息的丢失，进一步提高分割精度。并且改变编码阶段和解码阶段的跳跃连接方式，在跳跃连接上运用空间-通道混合注意力模块过滤编码器特征中的背景噪声，减少背景因素的干扰。本文所提出的网络在Deepcrack537、Crack500和CFD三个公开裂缝数据集上的F1-score指标为87.05％、74.19％和72.24％，IoU指标为77.07％、58.96％和56.55％，两个指标均获得最高分数。实验结果表明，所提网络具有较好的裂缝分割能力。