基于混合神经网络的混凝土结构表面缺陷分类方法与系统

技术领域

本发明属于混凝土结构安全监测领域，具体涉及一种基于混合神经网络的混凝土结构表面缺陷分类方法与系统。

背景技术

混凝土是目前结构工程中使用最为广泛的建筑材料。混凝土结构的安全性和稳定性对于社会福祉至关重要。随着使用时间的增加，混凝土结构不可避免地会出现各种缺陷。传统的缺陷检测方法主要依靠人工目视检测，劳动强度大，危险性大，检测结果具有主观性。因此，开发一种不需要人工干预的自动化缺陷检测方法就成为亟待解决的问题。

基于计算机视觉的自动化缺陷检测可以克服以人为主体的视觉检测的局限性，引起了研究人员的广泛关注。目前的计算机视觉检测方法可以分为传统的手动特征提取和端到端的深度学习。传统视觉方法(如边缘检测、阈值分割和小波变换)的缺点在于不同类型的对象需要用不同类型的特征来描述，手工设计的特征对多样性的变化不具有鲁棒性。深度学习使用反向传播算法来指导机器如何更新其内部参数，从而发现大数据集中的复杂结构，避免复杂的特征工程设计，这为深度学习在计算机视觉中的应用提供了巨大的潜力。

目前，研究人员大都使用卷积神经网络来检测混凝土结构具体的缺陷。但是卷积神经网络的主要问题是感受野小，通常通过多层堆叠来获得全局感受野，图像信息没有得到充分利用。基于自注意力的Transformer架构引起了计算机视觉领域研究人员的兴趣。与卷积神经网络相比，Transformer在视觉任务中对全局上下文建模，具有很大的灵活性，并且引入的归纳偏差更少。虽然Transformer具有强大的建模能力，但它会造成巨大的计算成本，这是由自注意力机制带来的，尤其是在浅层中。为了实现检测模型的高效训练与测试，有必要结合卷积神经网络和Transformer架构的优点。

现有已公开的专利名称为“结合卷积神经网络和支持向量机的隧道表面缺陷检测方法”(公开号为CN 111507972A)，公开了一种结合卷积神经网络和支持向量机的隧道表面缺陷检测方法，获取地铁隧道表面图像数据，图像数据预处理增强及划分数据集，对筛选后的图像进行预处理，从扩充后的图像数据集中划分出训练集和测试集；构建缺陷检测网络模型：构建一个四层的卷积神经网络结构来提取图像特征，后面将提取到的特征输入支持向量机模块中；进行缺陷网络模型训练，采用训练集样本步骤三构建的卷积神经网络和支持向量机相结合的缺陷检测模型进行训练，隧道表面缺陷检测测试，自动生成隧道表面缺陷检测结果。本发明可以快速识别隧道表面缺陷特征，并检测出隧道表面缺陷，具有效率高，准确率高，实用性强的优点。

对比文件采用卷积神经网络进行图像特征提取，通过逐步池化操作来缩小特征图的尺寸，以及通过多层卷积操作来提取不同层次的特征。然而，在这个过程中，会出现一些低层次和高层次特征之间的信息丢失，导致模型对于抽象的、语义级别的特征表示能力不足。

发明内容

为解决现有技术中存在的不足，本发明提供一种基于混合神经网络的混凝土结构表面缺陷分类方法，以实现混凝土结构表面缺陷的自动化检测，进一步提高缺陷检测效率、降低检测成本。

本发明采用如下的技术方案。

S1、搜集混凝土结构表面缺陷图像，构建混凝土结构表面缺陷原始图像数据集；

S2、将数据集中的混凝土结构表面缺陷原始图像裁剪为多个子图，并将同一类混凝土缺陷图像放于同一个文件夹内；

S3、将构建的混凝土缺陷数据集进一步划分为训练集和测试集；

S4、搭建用于缺陷分类的混合神经网络模型；

S5、利用训练集中的数据对混合神经网络进行训练，并采用迁移学习的方法赋予模型初始化参数，直至模型收敛获得全局最优解；

S6、训练完成后使用划分的测试集对模型泛化能力和鲁棒性进行测试；

S7、基于测试完成的混合神经网络模型，输入拍摄的混凝土结构表面图像，模型即可自动输出图像中的结构缺陷类型。

进一步地，所述S5中，所述混合神经网络使用卷积核尺寸为7×7，步幅为2的卷积层作用在输入图像上来降低图像特征图尺寸，同时提高通道数；

所述混合神经网络使用ReLU激活来增强模型的非线性。

进一步地，所述混合神经网络模型使用组归一化进行数据标准化，同时降低模型对训练批量大小的敏感性。

进一步地，所述混合神经网络模型使用池化层对输入的特征图进行分块，将每个分块中的最大像素值作为该分块的输出，进一步降低空间计算复杂度和特征图尺寸。

进一步地，所述混合神经网络使用线性投影层进行特征图维度变化，使其满足于编码块输入要求；

特征图维度变化公式为：y＝Wx+b

其中，x是输入特征图，b是偏置向量，y是输出特征图，W为模型的权重。

进一步地，所述混合神经网络使用类别标签和位置编码来为模型提供缺陷的类别信息和位置属性，然后将其整体输入到编码块中进行注意力的计算。

进一步地，所述混合神经网络的编码块使用缩放点积注意力计算方式，模型可以基于相同的注意力机制学习到不同的行为，然后将不同的行为作为知识组合起来，捕获序列内各种范围的依赖关系；

注意力计算包含以下步骤：步骤1：计算注意力分数e

假设当前层为l，那么对于一个查询向量q

e

步骤2：计算注意力权重α

其中，n是键向量的数量；

步骤3：计算注意力输出向量；

其中，v

进一步地，所述混合神经网络参数优化使用Adam优化器，初始学习率为0.0005，权重衰减为0.001，批量大小为16，并且使用poly学习率调整策略在训练过程中动态调整学习率。

进一步地，所述混合神经网络使用交叉熵损失函数来衡量预测结果与真实标签的差异程度，计算公式如下：

一种基于混合神经网络的混凝土结构表面缺陷分类系统，所述系统包括模型构建模块、模型训练模块、缺陷分类模块；

所述模型构建模块，用于根据混凝土缺陷数据集构建混合神经网络模型；

所述模型训练模块，用于根据混凝土缺陷数据集中的训练集进行训练，并采用迁移学习的方法赋予混合神经网络模型初始化参数，直至模型收敛获得全局最优解；

所述缺陷分类模块，用于基于训练完成的混合神经网络模型，输入拍摄的混凝土结构表面图像，模型即可自动输出图像中的结构缺陷类型。本发明的有益效果在于，与现有技术相比：

1.本发明基于混合神经网络，在取得高精度分类性能的同时，降低了参数量，具有较高的效率。

2.本发明可以同时处理图像中的空间信息和序列信息，从而提升分类任务的性能。

3.本发明采用自注意力进行特征提取，能够从复杂的图像数据中提取关键特征，并进行准确的缺陷分类。

4.注意力机制允许模型自动学习输入序列中不同位置的重要性，缩放点积注意力在此基础上进一步改进，能够更好地捕捉序列中的长距离依赖关系，提高了模型对于上下文信息的建模能力。本发明中缩放点积注意力在解决数值稳定性问题、加速计算和提高建模能力等方面都具有优势。

附图说明

图1为基于本发明所述方法设计的整体流程图；

图2为本发明所述混合神经网络结构图；

图3为用本发明所述混合神经网络混凝土结构缺陷检测结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，本发明的道路表面裂缝图像分割的方法，具体步骤如下：

S1、利用单反相机、无人机、手机等电子拍照设备搜集混凝土结构表面缺陷图像，构建混凝土结构表面缺陷原始图像数据集。

S2、将数据集中的混凝土结构表面缺陷原始图像裁剪为多个子图，构建混凝土缺陷数据集；

所述步骤S2裁剪后的子图像素分辨率为256×256。

S3、将构建的混凝土缺陷数据集进一步划分为训练集(数据集的60％)和测试集(数据集的40％)；

训练集占数据集的60％，测试集占数据集的40％。

S4、搭建用于缺陷分类的混合神经网络模型。

S5、利用训练集中的数据对混合神经网络进行训练，并采用迁移学习的方法赋予混合神经网络模型初始化参数，直至模型收敛获得全局最优解。

如图2所示，所述混合神经网络使用卷积核尺寸为7×7，步幅为2的卷积层作用在输入图像上来降低图像特征图尺寸，同时提高通道数。

所述混合神经网络使用ReLU激活来增强模型的非线性。

所述混合神经网络使用组归一化进行数据标准化，同时降低模型对训练批量大小的敏感性。

所述混合神经网络使用池化层对输入的特征图进行分块，将每个分块中的最大像素值作为该分块的输出，进一步降低空间计算复杂度和特征图尺寸。

所述混合神经网络使用线性投影层进行特征图维度变化，使其满足于编码块输入要求。

特征图维度变化公式为：y＝Wx+b

其中，x是输入特征图，b是偏置向量，y是输出特征图，W为模型的权重。

所述混合神经网络使用类别标签和位置编码来为模型提供缺陷的类别信息和位置属性，然后将其整体输入到编码块中进行注意力的计算。

所述混合神经网络的编码块使用缩放点积注意力计算方式，模型可以基于相同的注意力机制学习到不同的行为，然后将不同的行为作为知识组合起来，捕获序列内各种范围的依赖关系。

注意力计算包含以下步骤：

步骤1：计算注意力分数e

假设当前层为l，那么对于一个查询向量q

e

其中，T为

步骤2：计算注意力权重α

其中，n是键向量的数量，e

步骤3：计算注意力输出向量；

其中，v

所述混合神经网络参数优化使用Adam优化器，初始学习率为0.0005，权重衰减为0.001，批量大小为16，并且使用poly学习率调整策略在训练过程中动态调整学习率。

所述混合神经网络使用交叉熵损失函数来衡量预测结果与真实标签的差异程度，计算公式如下：

式中：y

S6、训练完成后使用划分的测试集对模型泛化能力和鲁棒性进行测试；

S7、基于测试完成的混合神经网络模型，输入拍摄的混凝土结构表面图像，模型即可自动输出图像中的结构缺陷类型。如图3所示，为用本发明所述混合神经网络混凝土结构缺陷检测结果。

一种基于混合神经网络的混凝土结构表面缺陷分类系统，所述系统包括模型构建模块、模型训练模块、缺陷分类模块；

所述模型构建模块，用于根据混凝土缺陷数据集构建混合神经网络模型；

所述模型训练模块，用于根据混凝土缺陷数据集中的训练集进行训练，并采用迁移学习的方法赋予混合神经网络模型初始化参数，直至模型收敛获得全局最优解；

所述缺陷分类模块，用于基于训练完成的混合神经网络模型，输入拍摄的混凝土结构表面图像，模型即可自动输出图像中的结构缺陷类型。

本发明的有益效果在于，与现有技术相比：

1.本发明基于混合神经网络，在取得高精度分类性能的同时，降低了参数量，具有较高的效率。

2.本发明可以同时处理图像中的空间信息和序列信息，从而提升分类任务的性能。

3.本发明采用自注意力进行特征提取，能够从复杂的图像数据中提取关键特征，并进行准确的缺陷分类。

4.注意力机制允许模型自动学习输入序列中不同位置的重要性，缩放点积注意力在此基础上进一步改进，能够更好地捕捉序列中的长距离依赖关系，提高了模型对于上下文信息的建模能力。本发明中缩放点积注意力在解决数值稳定性问题、加速计算和提高建模能力等方面都具有优势。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。