一种对混凝土损伤进行快速检测和分类的深度学习方法

技术领域

本发明涉及图像特征提取领域，尤其是一种对混凝土损伤进行快速检测和分类的深度学习方法。

背景技术

钢筋混凝土结构广泛应用于基础设施建设中。随着使用年限的增长或是自然灾害等原因，混凝土容易出现开裂、腐蚀等损伤。因此需要及时对混凝土损伤进行相关检测。

深度学习作为机器学习的一个新兴研究方向受到瞩目。由于深度学习和其它相关检测技术相比有显著的技术优势，人们开始逐渐应用深度学习技术进行混凝土损伤的相关检测。衡量一个混凝土损伤检测技术的指标主要是其推理速度和检测精度。由此，本发明提出一种对混凝土损伤进行快速检测和分类的深度学习方法，能更好地预测混凝土损伤检测技术的推理速度和检测精度。

发明内容

本发明提供一种对混凝土损伤进行快速检测和分类的深度学习方法，包括以下步骤

建立混凝土损伤数据集，所述数据集中包含有用于训练的若干枚原始图像，所述原始图像为RGB格式；

对原始图像进行标注；

对原始图像进行预处理；

建立损伤检测网络体系；

将数据输入损伤检测网络体系中进行训练；

记录所述损伤检测网络的推理速度和检测准确率，作为训练结果输出

进一步地，所述对原始图像进行标注，具体包括：

设定类别标签，所述类别标签包括裂纹、斑点、钢筋外露和剥落；

设定类别标签的对应颜色，红色对应裂纹、绿色对应斑点、蓝色对应钢筋外露、灰色对应剥落；

生成一个带有类别标签的矩形定位边界盒，盒中包括若干个识别矩形，所述识别矩形与类别标签相关联，使用类别标签的对应颜色进行标记并附带有类别标签所对应的标签信息和分类概率；

使用labelimg软件对原始图像进行标注

进一步地，所述对数据进行预处理，具体包括：

对尺寸超过预设阈值的原始图像进行剪切；

对部分已损坏无法读取的原始图像进行过滤；

调整原始图像的色度、对比度和清晰度；

对图像进行运动模糊处理。

进一步地，所述运动模糊处理，具体包括以下步骤：

将所述原始图像由RGB格式转换为LAB格式，提取其中的L通道图像为输入图像；

计算输入图像的平均像素强度；

根据输入图像上的每个像素的像素强度和原始图像的平均像素强度计算每个像素的隶属度；

根据预设规则和输入图像的像素强度计算得到模糊输出集；

对所述模糊输出集进行反模糊处理；

计算模糊输出集中每个像素的质心值；

根据所述隶属度和质心值对所述模糊输出集中每个像素的像素强度进行标准化处理，得到处理后的L通道图像；

将所述处理后的L通道图像与AB通道合并，再转换为RGB格式图像。

进一步地，所述损伤检测网络体系，包括以下网络体系：经改进的快速YOLO目标检测网络体系；经改进的MobileNetV3 SSD目标检测网络体系。

进一步地，所述经改进的快速YOLO目标检测网络体系，在现有的快速YOLO网络体系基础上，在以下方面作出改进：

在主干特征提取网络中加入干块与大结构块；

将残差网络替换为逆残差网络；

进一步地，所述大结构块中含有深度为1×1、3×3和/或5×5的卷积层；

对所述卷积层应用批量归一化进行优化；

对所述卷积层应用Swish激活函数。

进一步地，所述经改进的MobileNetV3 SSD目标检测网络体系，在现有的SSD目标检测网络体系的基础上，在以下方面作出改进：

使用MobileNetV3网络替代原有的VGG主干提取网络；

使用由线性瓶颈逆剩余结构的bneck模块替代MobileNetV3网络原有的Conv结构；

将常规卷积替换为深度可分离卷积；

在残差模块中增加挤压和激励注意力机制；

采用H-Swish非线性激活函数作为激活函数。

进一步地，将数据输入损伤检测网络体系中进行训练后，还包括：根据预设的复合系数，对所述损伤检测网络体系进行复合模型缩放。

进一步地，所述计算所述损伤检测网络的检测精度，具体包括：

获取混凝土损伤数据集中损伤的类型，记录为真实框；

获取目标检测网络体系对所述混凝土损伤数据集的训练结果，记录为真实框；

计算所述预测框和所述真实框的重合程度，公式如下：

其中，Si表示预测框和真实框之间的重叠区域，Su表示预测框和真实框占用的总面积，相交区域与并集区域的比率为IOU；

当IOU≥0.5时，表示正确检测到的真实框数，记录为TP，当IOU≤0.5时，表示错误预测框数，记录为FP；

此外，未检测到的真实框数用FN表示；

计算精确度Precision和召回率Recall，公式如下；

其中，β表示预设的召回权重，F1表示精确度和召回率的加权平均值；

根据精确度和召回率绘制P-R曲线，曲线与横轴间的面积表示平均精度AP；

将AP和F1作为检测精度输出。

本发明具有以下有益效果：本发明针对经改进的目标检测网络体系，设计了一种深度学习方法。本方法通过选择丰富的图像数据集，对数据进行标注和预处理，并选择合适的评价指标，适合对经改进的快速YOLO目标检测网络体系和经改进的MobileNetV3 SSD目标检测网络体系进行针对性的训练，从而令上述体系的推理速度和检测精度得到提升。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种对混凝土损伤进行快速检测和分类的深度学习方法流程示意图；

图2是运动模糊处理流程图

图3是现有技术的快速YOLO目标检测网络体系示意图；

图4是用于对快速YOLO目标检测网络体系进行改进的大结构块架构图；

图5是快速YOLO目标检测网络体系的相关参数设置示意图；

图6是经改进的MobileNetV3 SSD目标检测网络体系示意图；

图7是MobileNetV3 SSD目标检测网络体系相关参数设置示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1是本发明一种对混凝土损伤进行快速检测和分类的深度学习方法流程示意图。分为

建立混凝土损伤数据集、对原始图像进行标注、对原始图像进行预处理、建立损伤检测网络体系、将数据输入损伤检测网络体系中进行训练、记录训练结果并进行相应计算等步骤。

关于建立混凝土损伤数据集：本深度学习方法实施例采用由高分辨率摄像机所采集的1250幅混凝土损伤图像组成，其中的损伤有裂缝、斑点、钢筋外露和剥落四种模式。在采集时，相机距离被测物体约0.5m至1m，同时尽量选择交通稀疏、客流较少的区域，并收集各种混凝土制基础设施。数据集中包括了各种光照条件下的采集图像，以提高对目标检测网络的训练精度。除此之外本实施例还在CODEBRIM数据集中选取部分包括钢筋外露和剥落损伤的混凝土损伤图像，作为对数据集的进一步丰富。

关于对原始图像进行标注：本实施例首先设定关于数据集中各种损伤的类别标签，将四种类型的损伤分别用蓝色、红色、绿色和黄色进行标记。其次生成一个带有类别标签的矩形定位边界盒，盒中有识别矩形，每个矩形边界框表示已识别的损伤区域，并附有分类标签信息和分类概率；最后使用labelImg1.8.3软件对原始图像进行标注。

关于对原始图像进行预处理：本实施例对部分过大的原始图像进行剪切，将原始图像的尺寸统一为1024×1024像素，同时将损坏图像过滤并编号，以防止在对目标检测网络进行训练时出现欠拟合的情况。本实施例中对图像进行旋转，遮挡，水平、竖直平移，色度、对比度、清晰度调整和运动模糊等操作。引入运动模糊的原因是拍摄时相机若是处于运动状态，则拍摄图像通常包括模糊的损伤，因此有必要使用模糊实例对训练集进行拓展，从而提高目标检测网络的鲁棒性。运动模糊的处理流程如图2所示，首先，将输入图像从RGB格式转换为LAB格式，整个模糊逻辑推理系统在L通道上进行，然后计算图像的平均像素M值，对图像进行模糊处理。对于每个像素，根据像素强度和M值计算每个类别的隶属度，M值介于[0,255]之间；模糊化后进行推理，根据预设规则集和输入像素的像素强度计算模糊输出集；得到模糊输出集后对模糊输出集进行反模糊处理。同时，为每个像素计算模糊输出集的质心值，质心介于[-5；305]之间，将输出像素强度进行标准化处理。对L通道进行相应修改后，将L通道合并回原来的AB通道中，最后将图像转换回RGB格式。在后续深度学习中，选取70％的图像进行训练，20％的图像用于计算，10％的图像用于验证。

关于经改进的快速YOLO目标检测网络：现有的快速YOLO目标检测网络体系如图3所示。本实施例在现有的快速YOLO网络体系上进行了改进以适应混凝土损伤的特点，如不规则边缘和特殊纹理等。主要改进之处在于对骨干特征提取网络进行了相关替换，利用主干结构和大结构块结构组成新的骨干特征提取网络。在主干结构中，使用逆残差网络替代原有的残差网络，此举可最大限度地减少不同维数特征的信息损失，减少参数数目，同时提高目标检测网络的运算速度。在主干结构中接入大结构块可以对图像的特征提取方法进行优化，从而提高特征的提取能力。经改进后的骨干特征提取网络由一个阀杆结构和七个大结构块组成，阀杆结构包括步长为2的卷积块和深度为3×3的滤波器。大结构块的结构如图4所示，由两部分组成：去纵向可分离卷积和反向残余结构。大结构块的具体流程为：使用1×1的卷积块对图像进行尺寸缩减后，输入深度为3×2或5×5的可分离卷积网络中，在可分离卷积网络之后，有有一个关于信道的注意机制结构，注意机制被分为全局平均池、激发、特征压缩和扩展四个类别，最后再使用1×1的卷积块增加图像的尺寸。改进后的快速YOLO目标检测网络体系的参数设置如图5所示，本实施例对输入图像的训练过程为：首先将尺寸调整为416×416，然后使用逆剩余网络结构将图像压缩至208×208，完成第一次压缩；之后将图像输入至第一个大结构块的内部，在大结构块内部，图像的维数降低1×1、对每一层应用BatchNorm(批量归一化)和Swish激活函数，获得一个尺寸为208×208×32的特征图；之后将特征图输入一个注意机制，在注意机制中，首先将特征图划分为32个独立的通道并进行全局合并，然后对每个通道的所有特征值进行相加和平均，将特征映射调整为1×1×32然后压缩到1×1×8，最后对拓展后的特征进行通道叠加，将特征图的大小缩小到208×208×32，再对特征图进行1×1的卷积，使大结构块形成逆剩余结构；其它大结构块的流程如上所示，区别在于后续的特征提取不需要压缩特征图的长度和宽度，以及第一、五、七个大结构块的步长为1，第二、三、四、六个大结构块的步长为2；在最后的特征利用部分，对特征图的中间层、中下层和底层的三个有效特征层进行卷积运算，一部分输出特征层对应的输出结果，另一部分进行上采样后与其他特征层合并；此即整个网络的训练过程。

关于经改进的MobileNetV3 SSD目标检测网络体系：本实施例在原有的SSD目标检测体系的基础上，使用MobileNetV3特征提取网络替换原有的VGG主干特征提取网络，以克服原有网络存在的卷积层数少，特征提取不足的问题。MobileNetV3特征提取网络如图6所示，其主要优势在于bneck结构，该结构包含有以下四种结构特征：深度可分离卷积神经网络、带线性瓶颈的反向残差、挤压和激励轻量级注意力机制、H-swish函数。该结构在大幅度降低网络参数的同时，促进特征融合，将高层语义信息融合到底层网络的特征信息中，可丰富预测回归盒和分类任务输入的多尺度特征图，提高检测精度。MobileNetV3 SSD目标检测网络体系的具体参数设置如图7所示，训练过程为：首先将输入图像调整为300×300，然后将图像输入线性瓶颈结构；在线性瓶颈结构中，输入图像首先通过1×1卷积层以减少维数。然后对不同的输入通道进行深度卷积，再使用逐点卷积合并上述输出，最后采用1×1的卷积层来增强维数；训练最终可六种不同尺寸的特征图像。

为实现准确度和检测效率的平衡，本实施例介绍了一种复合模型缩放方法，用于减少模型参数数量、提高网络检测速度和保证检测精度，在卷积网络的分辨率、深度和宽度三个维度进行平衡。首先，对目标检测网络的主干特征提取网络进行优化，获得一个优秀的基线网络，提高目标检测算法的精度；其次，利用简单有效的复合系数，对所有优化的基线网络尺寸(包括网络深度、宽度和分辨率)进行统一缩放。本实施例通过增加网络深度来处理高分辨率混凝土损伤图像，使网络体系能够学习到更重要的图像特征，这些特征在高分辨率图像中通常包含更多像素；相应地，当分辨率较低时，网络宽度也会得到增加以捕获混凝土损伤模式下的小颗粒特征。

关于计算检测精度：本实施例通过对预测框和真实框进行IOU重合度计算来衡量检测精度。使用如下公式(1)计算：

其中，Si表示预测框和真实框之间的重叠区域，Su表示预测框和真实框占用的总面积。相交区域与并集区域的比率为IOU。在这个实验中，IOU≥0.5为阳性样本；否则为阴性样本。召回率、准确率、得分和AP被用来衡量每个目标检测实验的性能。得分F1可以看作是模型准确度和召回率的加权平均值，通常用来衡量方法的性能，如公式(2)所示：

TP表示正确检测到的真实框，FN表示未检测到的真实框数，FP表示错误预测框数，β表示召回权重。召回率代表在所有真实框中正确检测到的真实框的比例，精度表示正确预测的框与所有预测框的比率。AP表示P-R曲线下的面积，该曲线是通过使用不同精度和召回点的组合获得的。采取不同的置信水平，可以得到不同的精度和不同的召回率。当这些值足够密集时，能够得到足够精确的精度和召回率。

本实施例中描述了该深度学习方法的实验结果，其中，快速YOLO目标检测网络经训练优化后，其推理速度比原有网络提高了24.1％，检测精度提高了3.25％；MobileNetV3SSD目标检测网络经训练优化后，其推理速度比原有网络提高了53.5％，检测精度提高了4.04％。训练后的目标检测网络体系能够识别具有多种不同损伤类型的混凝土图像的损伤，可以认为具有一定的识别复杂损伤的能力；然而，对于一些模糊或损伤太小的情况，存在着识别缺失的问题，其原因可能是背景信息与待识别的损伤信息具有相似的表面纹理。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。