一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统

技术领域

本发明涉及图像识别技术领域，具体涉及一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统。

背景技术

随着我国综合国力的增强，交通运输业发展迅速。同时，桥梁建设也取得了空前的发展，它不仅跻身世界前列，还取得了知名世界的成就，例如2018年建成的港珠澳大桥。因此，桥梁的安全与维护问题进入了越来越多人的视线，影响桥梁安全的威胁有很多，例如钢筋渗漏、桥面材质脱落以及桥体出现裂缝等，而桥梁裂缝作为主要威胁之一，是桥梁坍塌的重要隐患。为保证桥梁的安全，定期对桥梁进行检测和维护是非常有必要的。

然而，桥梁的检查环境复杂又危险，传统的桥梁裂缝检测即目视检查，不仅会浪费人力和时间，而且也有可能威胁到检查人员的人身安全。除此之外，目视检查无法精确的定位桥梁损失部位，严重的拖延了桥梁维护的最佳时间。为了及时发现并修复桥梁裂缝，以减少检查人员的风险指标和工作量，迫切需要一种自动检测桥梁裂缝的方法。

发明内容

基于上述问题，本发明提供了一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统。该方法可以解决桥梁裂缝目视检查的人工成本高，传统检测方法精度不够等问题。为了解决上述问题，本发明提供了以下技术：

一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统，其特征在于，所述方法具体包括以下步骤：

S1、使用图像采集设备采集桥梁裂缝图像，并创建用于深度学习模型训练的桥梁裂缝数据集；

S2、用循环残差卷积块(RRCNN)替换标准卷积，得到新型的特征编码器-解码器网络模型；

S3、使用包含空洞卷积、密集空洞卷积块(DAC)以及残差多核池化块(RMP)的上下文提取器网络；

S4、结合新型特征编码器-解码器网络以及上下文提取器网络构建桥梁裂缝自动检测模型；

S5、通过桥梁裂缝数据集对桥梁裂缝自动检测模型进行训练，得到理想的精确度；

S6、根据训练所得的参数，输入待检测图像，输出结果。

进一步的，所述步骤S1具体包括：

S11、利用DUI桥梁检查车靠近桥梁待检测区域，通过手持便携式裂缝宽度测量仪(型号：TD-FCV-21)和Sony摄像机(推荐型号：A7M3)采集到不同类型的桥梁裂缝图像，并将图像依据裂缝类型进行分类；

S12、使用LabelMe软件对裂缝图像进行标记，利用滑动窗口技术扩增图像数量，搭建桥梁裂缝数据集。

S13、根据深度学习模型训练所需的比例，按照6：2：2的比例随机分割桥梁裂缝数据集，分别得到训练集、验证集以及测试集。

进一步的，所述步骤S2具体包括：

S21、循环残差卷积块(RRCNN)是用循环卷积网络加入了一个残差网络的改进模块，主要成分是递归卷积层，通过将特征编码器的标准卷积替换成循环残差卷积块，并且不会额外增加参数，得到新型的特征编码器；

S22、特征编码器与特征解码器之间通过跳跃连接直接相连。

进一步的，所述步骤S3具体包括：

S31、空洞(Atrous)卷积是在参数相同的条件下，增大了卷积核使感受野变大，从而不需要下采样操作；

S32、密集空洞卷积块(DAC)中包含了四条级联分支，由不同扩张率的空洞卷积组成，形成了四种不同的感受野，并且在最后三条分支中加入了一个1×1的卷积神经网络来校正线性激活；

S33、残差多核池化块(RMP)中包含了四种不同大小的池化层，用来充当接受域，编码全局的上下文信息。并且在每个池级后面增加一个1×1的卷积层，将特征映射的维数降低到1/N，其中N表示原始特征映射中的通道数。

进一步的，所述步骤S4具体包括：

S41、将采集到的桥梁裂缝图像输入到特征编码模块中，特征编码器每层的输出包含了标准卷积以及上一循环卷积层的输入；

S42、包含DAC块和RMP块的上下文提取器的输入是特征编码器的输出，通过DAC块的四种级联分支，接着输入到RMP块，通过池化操作和上采样降低特征图的维度，保证上下文提取器的输出与原特征图的尺寸特征相同；

S43、从上下文提取器得到的输出，输入到特征解码器，特征解码器运用转置卷积恢复高分辨率的特征信息。

进一步的，所述步骤S5具体包括：

S51、选取深度学习模型训练的实验环境，网络结构基于

S52、确定模型的最佳参数和迭代次数，通过比较梯度下降的方法，选定小批量梯度下降法(MBGD)训练模型，选择自适应优化方法Adam作为模型优化器；

S53、使用加入了二元交叉熵损失的Dice损失函数作为模型的损失函数，其损失函数公式可表示为：

L

L

其中N是像素数，p

S54、根据S52、S53的方法，确定模型的批量大小为8、动量为0.9、重量衰减为0.0001、学习率为2e

S55、模型评估方法选用典型的深度学习模型评估指标精度(Precision)、召回率(Recall)以及F1评分(F1-score)，以及语义分割模型评价指标平均相交比(mIoU)。模型使用S52获得的最佳参数和迭代次数均能获得最好的评估指标值，其评估指标公式可表示为：

其中，真阳性(TP)、假阳性(FP)、真阴性(TN)和假阴性(FN)分别代表裂纹检测四种不同的状态。它们分别表示被识别为裂缝的地面真实裂缝子图像、被识别为裂缝的非裂缝子图像、未被识别为裂缝的地面真实裂缝子图像和未被识别为裂缝的非裂缝子图像。在最佳参数和迭代次数的条件下，模型的Precision、Recall、F1-score以及mIoU的值分别为99.28％,98.62％,98.95％以及80.93％。

进一步的，所述步骤S6具体包括：

根据步骤5确定的最佳参数和迭代次数，将数据库中的测试集用于模型测试，选用不同类型的裂缝和处于不同噪音条件下的裂缝评估检测结果。

本发明与现有技术相比，有益效果是：

1.本发明成本低，针对桥梁裂缝图像采集，不需要太精密的仪器就可以获取，普通相机即可；

2.本发明公开实现了一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统，实现了裂缝检测的高精确度，并且有效的消除了桥梁本身含有的噪音对裂缝检测的影响。

3.本发明模型的训练不需要太多的图像，因此所需的人工成本低；

附图说明

图1是本发明流程示意图；

图2是本发明实施例中数据采集与数据库建立流程图；

图3是本发明实施例中使用滑动窗口技术扩增数据集示意图；

图4是本发明实施例中融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统框架图；

图5本发明实施例中特征编码器、上下文提取器、特征解码器模块的框架图；

其中，图5(a)是空洞卷积示意图，图5(b)是RRCNN块示意图，图5(c)是DAC块示意图，图5(d)是RMP块示意图，图5(e)是特征解码器模块示意图；

图6是本发明实施例中自动桥梁裂缝检测系统模型训练过程中损失值与准确度随着迭代次数的变化；

图7是本发明实施例中桥梁裂缝检测效果图；

其中图7(a)是检测不同类型裂缝的检测结果，图7(b)是检测处于不同噪音条件下裂缝的检测结果；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

实施例1：

如图1所示，一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统，包括以下步骤：

步骤1.使用图像采集设备采集桥梁裂缝图像，并创建用于深度学习模型训练的桥梁裂缝数据集；以下步骤：

S11、利用如图2所示的DUI桥梁检查车靠近桥梁待检测区域，通过手持便携式裂缝宽度测量仪(型号：TD-FCV-21)和Sony摄像机(推荐型号：A7M3)图像采集设备采集到不同类型的桥梁裂缝图像，并将图像依据裂缝类型进行分类；

S12、使用深度学习标记工具LabelMe软件对裂缝图像进行标记。接着利用如图3所示的滑动窗口技术扩增图像数量，使用240×240固定大小的窗口对桥梁裂缝图像进行无重叠的滑动，得到了符合深度学习模型训练数量的桥梁裂缝数据集。

S13、根据深度学习模型训练所需的比例，按照6：2：2的比例随机分割桥梁裂缝数据集，分别得到训练集、验证集以及测试集。

步骤2.用循环残差卷积块(RRCNN)替换标准卷积，得到新型的特征编码器-解码器网络模型；

S21、用如图5(b)所示的RRCNN块，替换特征编码器中的标准卷积块。RRCNN是用循环卷积网络加入了一个残差网络的改进模块，主要成分是递归卷积层，在改进网络的基础下不会额外增加参数，并且得到新型的特征编码器；

S22、如图5(e)所示是特征解码器块，特征编码器与特征解码器之间通过跳跃连接直接相连如图4所示。

步骤3.使用包含空洞卷积、密集空洞卷积块(DAC)以及残差多核池化块(RMP)的上下文提取器网络；

S31、空洞卷积是在参数相同的条件下，通过增加atrous来扩展接收野，在参数和计算数目相同的条件下，使原来的3×3卷积核变为5×5或更大，增加了感受野，从而不需要下采样操作，其原理图如图5(a)所示；

S32、DAC块中包含了四条级联分支，由不同扩张率的空洞卷积组成，形成了四种不同的感受野，并且在最后三条分支中加入了一个1×1的卷积神经网络来校正线性激活，其原理图如图5(b)所示；

S33、RMP块中包含了四种不同大小的池化层，用来充当接受域，编码全局的上下文信息。并且在每个池级后面增加一个1×1的卷积层，将特征映射的维数降低到1/N，其中N表示原始特征映射中的通道数，其原理图如图5(c)所示。

S34、由空洞卷积块、DAC块、RMP块共同组成了上下文提取器网络。

步骤4.结合新型特征编码器-解码器网络以及上下文提取器网络构建桥梁裂缝自动检测模型；

S41、如图4所示将数据集中尺寸为224×224的待检测桥梁裂缝图像输入到特征编码模块中，特征编码器每层的输出包含了标准卷积以及上一循环卷积层的输入；

S42、包含DAC块和RMP块的上下文提取器的输入是特征编码器的输出，通过DAC块的四种级联分支，接着输入到RMP块，通过池化操作和上采样降低特征图的维度，保证上下文提取器的输出与原特征图的尺寸特征相同；

S43、从上下文提取器得到的输出，输入到特征解码器，特征解码器运用转置卷积恢复高分辨率的特征信息。

步骤5.通过桥梁裂缝数据集对桥梁裂缝自动检测模型进行训练，得到理想的精确度；

S51、选取深度学习模型训练的实验环境，基于Pytorch的深度学习框架，使用的操作系统是Windows 10，它具有

S52、确定模型的最佳参数和迭代次数，通过比较梯度下降的方法，选定小批量梯度下降法(MBGD)训练模型，选择自适应优化方法Adam作为模型优化器；

S53、使用加入了二元交叉熵损失的Dice损失函数作为模型的损失函数，其损失函数公式可表示为：

L

L

其中N是像素数，p

S54、根据S52、S53的方法，确定模型的批量大小为8、动量为0.9、重量衰减为0.0001、学习率为2e

S55、模型评估方法选用典型的深度学习模型评估指标精度(Precision)、召回率(Recall)以及F1评分(F1-score)，以及语义分割模型评价指标平均相交比(mIoU)。模型使用S52、S53、S53获得的最佳参数和迭代次数均能获得最好的评估指标值，其评估指标公式可表示为：

其中，真阳性(TP)、假阳性(FP)、真阴性(TN)和假阴性(FN)分别代表裂纹检测四种不同的状态。它们分别表示被识别为裂缝的地面真实裂缝子图像、被识别为裂缝的非裂缝子图像、未被识别为裂缝的地面真实裂缝子图像和未被识别为裂缝的非裂缝子图像。在最佳参数和迭代次数的条件下，模型的Precision、Recall、F1-score以及mIoU的值分别为99.28％,98.62％,98.95％以及80.93％。

步骤6、根据步骤5确定的最佳参数和迭代次数，将数据库中的测试集用于模型测试，选用不同类型的裂缝和处于不同噪音条件下的裂缝评估检测结果。如图7所示，图7(a)展示了斜裂缝、交叉裂缝、网状裂缝以及宽裂缝的裂缝检测结果，图7(b)展示了在含有笔迹、阴影、低光照以及钢筋噪音条件下的裂缝检测结果。

本发明的上述实例仅仅是为了清楚地说明本发明而所作的举例，并不能代表本发明所适用的范围限制。对于本领域的普通技术人员来说，再不脱离本发明构思的基础上，可以做出合理的变化和推动，这些变动都包含在本发明权利的保护范围。