基于STFT频谱图与改进ShuffleNet v2的CFST结构不平衡脱空识别方法

技术领域

本发明属于钢管混凝土结构脱空识别技术领域，具体涉及一种基于STFT频谱图与改进ShuffleNet v2的CFST结构不平衡脱空识别方法。

背景技术

众所周知，钢管混凝土(CFST)结构由于优异的结构性能，已被广泛应用于大跨度桥梁、高层建筑以及输电塔等重大结构的关键承重部位。CFST主要由核心混凝土和钢管组成，核心混凝土填充在钢管内部。当上述两种材料分别单独工作时，其自身局限性会被暴露。例如，混凝土抗拉强度不足，钢管容易发生局部屈曲。而当它们被有效组合为CFST结构时，人们发现，由于二者之间的协同作用，以上缺陷得到了有效地减缓或避免，组合后，结构的抗压强度、抗震性能和延展性得到显著提升。然而，由于温差效应、混凝土收缩等原因，混凝土和钢管之间经常出现间隙现象(称为脱空)，严重影响了二者之间的协同作用。众多研究表明，内部脱空严重危害CFST结构的承载力，并缩短其使用寿命。因此，迫切需要开展脱空的精准检测，为下一步CFST结构的可靠评估和有效维护奠定基础。

针对CFST结构的内部缺陷检测，主要分为有损检测法和无损检测法。有损检测法包括钻芯法和直接钻孔法，它们是呈现缺陷状况最直观最可靠的方式，但缺点也十分明显，如破坏结构整体性、耗时、费力等。无损检测法包括X射线法、红外热成像法、冲击回波法、超声波法、光纤传感器法以及压电智能传感器法。这些丰富的手段，为工程师们了解结构健康状况提供了多种途径，但它们也存在一定不足。X射线法，不仅设备昂贵，而且室外操作难度大、检测速度慢，导致该方法在室内和室外的研究都较少。红外热成像法，能够以图像的形式直观地呈现缺陷的区域边界，但其易受环境温度影响，不适用于室外高空环境。冲击回波法具有轻便和直观性好等优势，但其精度高度依赖于声波的速度，且易受被测结构形状变化的干扰。超声波法是钢管混凝土结构检测的重要手段，但其难以识别缺陷的类型，且信号接收易受换能器与结构耦合程度的影响。光纤传感器法和压电智能传感器法，是近年开发的智能传感器，但它们均需要预埋传感器，因此并不适用于已建成的CFST结构。

近年来，得益于传感技术、智能材料和计算机信息技术的高速发展，人工敲击法已逐渐发展成为利用人工智能的现代敲击检测法。与人工敲击法不同的是，现代敲击检测法，利用压电技术采集回弹力信号取代人手对冲击锤的感触，采用麦克风等语音设备采集声音信号取代人耳的听觉，通过人工智能技术进行病害识别取代人脑的经验判断。该技术摆脱了对检测人员的主观依懒性，智能化程度和检测精度显著提升，已在螺栓松动、木结构空腔、混凝土含水量和裂缝方向等领域取得了开发与应用。在CFST结构的脱空检测方面，Chen等人提出了功率谱密度(PSD)+SVM的识别方法，通过开展两组具有不同脱空深度的CFST构件的敲击试验，验证了方法的有效性和准确性。在此基础上，他们还建立了另一种机器学习模型——决策树(DT)进行对比，结果表明，该方法在100次重复试验中的平均精度达到了96.33％。Chen等人利用扩张卷积神经网络(CNN)、全局平均池化(GAP)和类激活映射(CAM)等技术构建新型网络模型，以小波时频图作为输入，对CFST脱空进行识别。他们发现，所提方法获得的精度要优于DT和朴素贝叶斯方法。然而，上述研究主要是基于数据平衡和单一条件下的脱空识别，在现场检测环境中，不同脱空程度的检测数据之间的平衡性是很难保证的，且不同CFST结构所承受的荷载也不尽相同。因此，开展数据不平衡和钢管约束条件变化下的CFST脱空识别研究，具有重要的理论价值和工程意义。

此外，智能检测算法需要能直接应用于检测设备，并在较短时间内对检测数据进行识别，才能突显其工程实用性。在计算机视觉领域，大型智能算法取得了较快的发展，例如AlexNet、VGGNet、GoogLeNet及ResNet等多种深度学习模型，为计算机视觉任务的完成做出了突出贡献。然而，上述深度学习网络不仅体积较大、结构复杂，而且计算成本高。很难直接应用于现场检测设备上，实现结构的快速检测。

发明内容

针对现有技术存在的问题，本发明提出了一种基于STFT频谱图与改进ShuffleNetv2的CFST结构不平衡脱空识别方法，目的在于结合现代敲击检测法与轻量级卷积神经网络的优势，提供一种适用于CFST结构脱空检测的高效、小内存、高精度的新方法，以便在工程检测中应用。

为了实现上述目的，本发明的具体方案如下：

基于STFT频谱图与改进ShuffleNet v2的CFST结构不平衡脱空识别方法，包括如下步骤：

S1，设计并制备带有不同深度和宽度脱空缺陷的钢管混凝土试件；

S2，采集不同加载工况下的钢管混凝土试件的敲击声音信号，并根据随机概率函数，结合组合移动、音量改变、倍速变换和拉伸四种增强技术对敲击声音信号进行增强；

S3，对步骤S2增强后的敲击声音信号进行短时傅里叶变换提取特征图谱，再利用特征图谱构建具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集；

S4，采用仿CSP网络、迁移学习和ECA注意力对ShuffleNet v2卷积神经网络进行改进，获得仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型；再利用仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在步骤S4构建的数据集上分别进行模型训练、验证和测试。

进一步地，步骤S2中所述组合移动和音量改变增强技术在每次增强过程中均应用；所述倍速变换和拉伸增强技术通过Python中的random()随机概率函数控制，在每次增强过程中，random()随机概率函数随机生成p，p为0至1的任意一个数字，当0.6＜p≤1时采用倍数变换增加技术，当0.3＜p≤0.6时采用拉伸增强技术，否则倍速变换和拉伸增强技术同时应用。

进一步地，所述对声音信号进行短时傅里叶变换提取特征图谱的方法，包括如下步骤：

S41，采用在时间上可滑移的长度固定的时间窗截取敲击声音信号；

S42，对所截取的部分敲击声音信号进行傅里叶变换，以得时间窗内的局部频谱；

S43，通过该时间窗对整个时间范围内的平移，得到整个时间段的一组局部频谱。

进一步地，步骤S42所述对所截取的部分敲击声音信号进行傅里叶变换后的函数如下：

式(1)中，x(t)为敲击声音信号；ψ(t-τ)为窗函数，t∈(-∞,∞)；w为时域分析的频率；τ为时延；j为虚数单位，d为微分符号；t为时间。

进一步地，步骤S4中所述具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集均包括训练集数据、验证集数据和测试集数据，用于训练集数据和验证集数据之和的比例低于用于测试集数据的比例；

在具有不同加载工况的不平衡数据集中，用于训练集数据和验证集数据采用三种工况，用于测试集数据采用另外三种工况。

进一步地，用于训练集数据和验证集数据之和的比例40％、30％或20％。

进一步地，步骤S5所述获得仿CSP网络、迁移学习和ECA注意力改进的ShuffleNetv2模型的方法，包括如下步骤：

S51，搭建ShuffleNet v2主干网络，所述ShuffleNet v2主干网络包括输入层、卷积层一、最大池化层、阶段二层、阶段三层、阶段四层、卷积层二和全连接层；

S52，采用简化的仿CSP网络取代步骤S51搭建的ShuffleNet v2主干网络中的局部网络，获得仿CSP网络改进的ShuffleNet v2模型；所述简化的仿CSP网络是采用普通模块取代CSPNet从其输入层分割成的特征提取模块和跨阶段层次结构模块后获得的网络，取代后，简化的仿CSP网络既具有原来CSPNet的梯度信息，又降低了计算量，在计算成本和分类精度之间取得较好的折中效果。

S53，采用迁移学习的方法对仿CSP网络改进的ShuffleNet v2模型进行预训练，以初始化模型的权重，得到仿CSP网络和迁移学习改进的ShuffleNet v2模型；

S54，在仿CSP网络和迁移学习改进的ShuffleNet v2模型中的阶段四层和卷积层二之间引入ECA注意力，从而得到仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型。加入ECA注意力作用是增强模型对脱空缺陷特征图的聚焦能力，并抑制无用信息的干扰。

进一步地，步骤S53所述采用迁移学习的方法对仿CSP改进的ShuffleNet v2模型进行预训练的步骤如下：在ImageNet数据集上训练仿CSP网络改进的ShuffleNet v2模型，然后下载模型文件的Pytorch版本；采用预训练权重初始化仿CSP网络改进的ShuffleNetv2模型权重，加载网络层参数时，忽略卷积层二和全连接层，而只加载输入层、卷积层一、最大池化层、阶段二层、阶段三层和阶段四层。

本发明的优点

本发明基于STFT频谱图与改进ShuffleNet v2的CFST结构不平衡脱空识别方法，重点改善现场环境中数据分布不均匀和加载工况变化条件下的识别性能，同时提高模型处理效率并缩减结构体积，以便在现场小型移动设备中应用。采用STFT技术有效地避免手动提取特征的过程，节约了识别的时间成本。仿CSP网络采用多梯度组合策略，丰富梯度信息，同时对多余的计算模块进行简化，以减少运算量和空间占用，实现了计算成本和精度的良好折中。然后，迁移学习利用外部数据库对脱空缺陷体识别模型进行预训练，对脱空缺陷体识别模型权重进行初始化，提高脱空缺陷体识别模型的训练起点。此外，采用ECA聚焦脱空缺陷体识别模型的关键特征，抑制无关特征的干扰，提高脱空缺陷体识别模型的识别精度和泛化能力。与原模型ShuffleNet v2相比，改进的模型procesing speed提高了48％，flops下降了47％，参数大小仅有0.77M。该CFST结构不平衡脱空识别方法是一种高效、轻量化且高精度的脱空识别模型。

附图说明

图1为本发明基于STFT频谱图与改进ShuffleNet v2的CFST结构不平衡脱空识别方法的流程图。

图2为图1中带有不同深度和宽度脱空缺陷的钢管混凝土试件的制备流程图。

图3为图2制备好的22根带有不同深度和宽度脱空缺陷的钢管混凝土试件实物图。

图4为图1中组合移动、音量改变、倍速变换和拉伸四种增强技术对敲击声音信号进行两次增强的过程。

图5为对图2中D4组的10种具有不同脱空程度构件的敲击声音信号对应的STFT图谱。其中，(a)为D4H0B0；(b)为D4H1B5；(c)为D4H2B5；(d)为D4H3B5；(e)为D4H4B5；(f)为D4H5B5；(g)为D4H3B3；(h)为D4H3B7；(i)为D4H3B9；(j)为D4H3B11。

图6为图1中构建脱空缺陷识别模型的框架示意图。

图7为不同的网络：(a)原始网络；(b)CSP网络；(c)仿CSP网络。

图8为原始ShuffleNet v2和基于仿CSP网络改进的ShuffleNet v2。

图9为ECA模块的结构。

图10为不同注意力机制的识别结果。

图11为不同卷积神经网络的识别结果。

图12为不同信噪比下的识别结果。

图13为图1中加载工况变化下一对一模式的识别结果。

图14为图1中加载工况变化下多对一模式的识别结果。

图15为图1中加载工况变化下多对多模式的识别结果。

具体实施方式

下面结合附图和具体实施例对本发明作进一步地解释和说明，需要注意的是，本具体实施例不用于限定本发明的权利范围。

如图1所示，本具体实施例提供的基于STFT频谱图与改进ShuffleNet v2的CFST结构不平衡脱空识别方法，包括如下步骤：

S1，设计并制备带有不同深度和宽度脱空缺陷的钢管混凝土试件(以下简称带脱空缺陷的CFST构件)；

本具体实施例共制备了22根带脱空缺陷的CFST构件(见图3)。根据钢管壁厚的不同，分别将壁厚为4mm和6mm组命名为D4和D6。在每组中，有1根构件不设置脱空缺陷(脱空深度h＝0，脱空宽度b＝0)，5根具有不同脱空深度(b＝5cm，h＝1,2,3,4,5cm)，以及5根具有不同的脱空宽度(h＝3cm，b＝3,5,7,9,11cm)。所有钢管的高度和内径都是一致的，分别为650mm和219mm。核心混凝土强度30MPa。为更真实地模拟空缺陷的CFST构件在实际环境中的非贯通和呈冠状的姿态特征，利用3D打印技术制备了具有不同深度和宽度的脱空缺陷体。3D打印的材料选用光敏树脂，该材料不仅强度高且易于打磨。脱空缺陷体的冠状部分的直径与钢管的内径相吻合，均为219mm，以便二者能够粘贴得更紧密。脱空缺陷体的壁厚小，只有2mm。缺陷体的深度H有5个规格：1cm/2cm/3cm/4cm/5cm(宽度B固定为5cm)，脱空缺陷体的宽度B也有5个规格：3cm/5cm/7cm/9cm/11cm(深度H固定为3cm)。如图2所示，带有不同深度和宽度脱空缺陷的钢管混凝土试件的制备流程如下：首先，采用环氧树脂将脱空缺陷体粘贴在钢管内壁已标记的中间位置，同时在钢管外壁做好相应的缺陷标记线。其次，将一块边长300mm、厚度1mm的钢板焊接在钢管底部，并将另一块具有同样尺寸但中间开有直径为180mm空洞的钢板，焊接在钢管顶部。接着，从有空洞的钢管一端浇筑混凝土，并进行振动密实。最后，待混凝土成型后，在钢管外壁和钢板的相应位置涂抹油漆，并在标准条件下养护28天即可。分别每根构件的关键信息对它们标记，如D43B5代表钢管壁厚为4m，脱空深度和宽度分别为3mm和5mm的构件。其中，D4H0B0和D6H0B0均代表没有设置脱空缺陷的构件，因此可视为各组中的健康构件。

S2，采集不同加载工况下的钢管混凝土试件的敲击声音信号，并根据随机概率函数，结合组合移动、音量改变、倍速变换和拉伸四种增强技术对敲击声音信号进行增强；

如图4所示，本具体实施例采用的主要仪器包括信号采集仪(DASP-V11；东方所)，电脑，声压传感器(型号INV9206；东方所)，冲击力锤(型号IEPE；东方所)，压力传感器(量程150kN)，千斤顶(量程100kN)和受力支撑支架。为考虑不同加载工况的影响，在结构变形的线形范围内，设置了0kN、30kN、45kN、60kN、75kN和90kN共6个不同工况。对于带脱空的构件，敲击点选择在脱空区域的中心位置，而对于健康构件，敲击点选择在沿钢管长度方向的中线上的某个随机固定的点。由于敲击声音持续时间较短，为获取更密集的数据，采集频率设置较高，为51kHz。每个敲击点均需连续敲击150次，每次采集时间长度为0.02s，从而获得共3300个声音信号。为减小气流对声音的影响，将声压传感器和敲击点的距离控制为10cm以内。

采用的试验平台配置如下：CPU为Intel(R)Core(TM)i9-9900X，频率为3.50GHz；显卡为NVIDIA制造NVIDIA TITAN Xp；开发环境是CUDA10.2，网络框架是Pytorch1.11。试验中，每张图片的输入大小为224*224，优化器采用Adam(Adaptive momentum)，批次大小设置为32，初始学习率为0.001，迭代次数为100。

由于卷积神经网络的训练属于监督学习，需要大量样本进行训练，为避免网络过拟合并增强模型分鲁棒性，本具体实施例通过组合移动、音量改变、倍速变换和拉伸四种技术来执行数据增强。组合移动能减少峰值响应的影响；音量改变能进一步模拟不同敲击力度的影响；倍速变换和拉伸能模拟不同的信号持续时间。此外，为实现数据增强的随机性，在数据增强过程中，采用Python中的random()随机概率函数对倍速变换和拉伸进行随机执行。random()函数可随机生成一个0到1的数(记为p)，当0.6＜p≤1时仅进行倍数变换，当0.3＜p≤0.6时仅进行拉伸，否则两种技术同时应用。而对于移动和音量改变这两种技术，在每次增强过程中都要执行。为了扩大数据集，进行了两次数据增强，第一次的移动因子和音量因子分别为0.5和1.2，第二次则分别为0.2和1.0。两次增强后，总共有9900个声音数据。图4显示了两次数据增强的过程。

S3，对步骤S2增强后的敲击声音信号进行短时傅里叶变换提取特征图谱(以下简称STFT图谱)，再利用特征图谱构建具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集；所述具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集均包括训练集数据、验证集数据和测试集数据，用于训练集数据和验证集数据之和的比例低于用于测试集数据的比例；在具有不同加载工况的不平衡数据集中，用于训练集数据和验证集数据采用三种工况，用于测试集数据采用另外三种工况。

短时傅里叶变换(STFT)是一种针对非平稳信号的时频分析方法，它能将钢管的敲击声音信号从一维转换到适合神经网络处理的二维特征谱。STFT的基本思想是采用在时间上可滑移的长度固定的时间窗截取敲击声音信号，然后对所截取的部分敲击声音信号进行傅里叶变换，以得时间窗内的局部频谱。通过该时间窗对整个时间范围内的平移，得到整个时间段的一组局部频谱。具体地，对某非平稳信号x(t)进行STFT的实现过程如下：首先构建一个中心为τ、高度为1、宽度有限的时间窗函数ψ(t)，然后通过ψ(t)观察x(t)，得到某时间段的局部信号ψ(t)x(t)。当时间窗的长度足够短时，ψ(t)x(t)可以看做一个局部平稳的信号。接着，将ψ(t)以τ为中心在时间轴上继续平移，以获得多个ψ(t)x(t)。对所有的ψ(t)x(t)进行傅里叶变换，得到x(t)的STFT变换后的函数

式中，x(t)为敲击声音信号；ψ(t-τ)为窗函数，t∈(-∞,∞)；w为时域分析的频率；τ为时延；j为虚数单位；d为微分符号；t为时间。

考虑到STFT变换对两个正弦波的区分能力，给定了时间窗函数ψ(t)及其傅里叶变换函数Ψ(w)时，带宽Δw可由下式计算

式中，分母为Ψ(w)的能量。

如果两个正弦波之间的频率间距大于Δw，那么这两个正弦波就能够被区分开，因此Δw称为STFT的频率分辨率。同理，时域内的分辨率Δt为

式中，分母为ψ(t)的能量。

如果两个脉冲的时间间距大于Δt时，两个脉冲之间就可以被区分开，因此，STFT的时间分别率为Δt。时间分辨率Δt和频率分辨率Δw不能同时任意小，根据变换对的不确定原理(Heisenberg不等式)，二者之间的乘积受到以下限制

ΔtΔw≥12(4)

式中，当且仅当窗函数为高斯函数时，等式成立。

从式(4)可以看出，当时间分辨率较低时，频率分辨率就会较高，因此，一般只能通过时间分辨率换取频率分辨率，反之亦然。因此，STFT计算过程中需要在时间分辨率和频率分辨率之间折中。钢管混凝土的敲击声音信号是受到锤子冲击而产生的，具有瞬时冲击的特点，但是其不会持续很长时间，其能量通常会集中在一定的时间和一定的频率范围内。STFT对于信号中能量较小的时间和频率间隔处，其变换结果幅值很小，因此能够较好地识别敲击声音信号的缺陷特征。

再根据如图5所示的D4组的10种具有不同脱空程度构件的敲击声音信号对应的STFT图谱构建具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集。所述具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集均包括训练集数据、验证集数据和测试集数据，用于训练集数据和验证集数据之和的比例低于用于测试集数据的比例；在具有不同加载工况的不平衡数据集中，用于训练集数据和验证集数据采用三种工况，用于测试集数据采用另外三种工况。图5中横坐标为时间，纵坐标为频率。可以观察到，D4H0B0在1024Hz～2048Hz之间具有两处明显且持续时间较长的峰值，可用于轻易区分除了D4H4B5和D4H3B3以外的脱空构件，因为这些构件的峰值较弱且持续时间基本较短。然而，这些构件之间，它们峰值点出现的位置和持续时间又具有较高相似性，使得很难直接将不同构件进行区分。特别是掺杂了现场环境噪音，那些较弱的峰值点很可能会被覆盖，辨别难度更大。因此，需要利用具有卓越特征学习能力的神经网络进行脱空识别。

构建具有不同比例的不平衡数据集：

在实际工程中，CFST结构的大部分区域处于健康状态。即使出现脱空，不同的脱空程度所发生的概率也不一样。因此，在现场检测工作中，健康的数据量往往远大于脱空的数据量，而不同脱空程度对应的数据量比例也不一，这称为数据不平衡。在数据不平衡下，参与训练、验证和测试的数据分布是非均匀性的，也即训练集、验证集和测试集的比例不再相同，从而削弱脱空识别模型的性能。

因此，本部分选择D4组在0kN工况下的数据，设置了3个具有不同比例的不平衡数据集来评估仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型的识别性能，并设置一个平衡数据集作为对照组，不同数据集的具体说明如表2所示。对于数据集A而言，不同标签的训练集和验证集的数据量总和均为50％，因此可视为平衡数据集。对于数据集B、C和D，它们包含的健康标签的训练集和验证集的数据量总和为50％，而其他标签的训练集和验证集的数据量总和有40％、30％和20％三种，因此可定义为不平衡数据集。对于测试数据集，不同标签均取50％，以确保模型在不同数据集中都能被相同数据量的测试集进行评估，便于模型的对比分析。为了避免随机因素的影响，每个试验均要重复10次。

表2不同数据集的具体说明

构建具有不同加载工况的不平衡数据集：

对于CFST结构而言，根据其类型、作用、所处部位以及服役阶段的不同，其所承受的荷载也不同。在数据采集过程，检测人员也无法保证能在不同荷载下进行等比例采集，甚至可能会缺失某些荷载状态下的数据。同时研究还表明，结构敲击声音对结构的约束条件非常敏感，约束条件的变化对识别模型的准确性有明显影响。因此，在现场脱空检测任务中，结构荷载变化和数据分布不均匀的情况时有发生，这无疑会影响识别模型的准确性。

因此，在CFST结构受力变形的线性范围内，选择D6组在0kN、30kN、45kN、60kN、75kN和90kN六种加载工况下的敲击声音数据，按照不平衡数据集D的比例建立训练集，以评估仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在加载工况变化和数据不平衡共同影响下的泛化能力。对于不同脱空程度构件的敲击数据，用于验证集和测试集的数据比例分别取10％和50％。为更充分了解加载工况变化对识别准确性的影响，设计三种不同的训练与测试模式：一对一模式、多对一模式和多对多模式。一对一模式指的是仅采用某一加载工况的数据进行训练和验证，然后测试另外一种加载工况的脱空标签。多对一模式采用5种加载工况的数据进行训练和验证，对剩余的一种加载工况的标签进行测试。多对多模式中，用于训练和验证的加载工况为3种，用于测试的为剩下3种。加载工况变化下的数据集描述见表5。

表5加载工况变化的数据集说明

S4，采用仿CSP网络、迁移学习和ECA注意力对ShuffleNet v2卷积神经网络进行改进，获得仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型；再利用仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在步骤S4构建的数据集上分别进行模型训练、验证和测试。

针对传统CFST结构脱空缺陷识别方法，存在的检测效率低、内存占用大、识别精度低等问题，通过优化局部网络、引入注意力机制和迁移学习等方法，以轻量级卷积神经网络ShuffleNet v2为骨干，设计出一种小内存高精度的仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型，仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型框架如图1所示，首先构建以ShuffleNet v2为骨减小模型的计算量和空间占用；提出仿CSP的简化网络，取代ShuffleNet v2中的局部网络，进一步降低模型的计算量和空间占用；通过迁移学习对模型进行预训练，初始化模型的权重，提高模型的训练起点；引入高效渠道注意力机制，改善网络细化特征的能力，使得有用特征得到增强，无用特征被抑制。

所述获得仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型的方法，具体如下步骤：

1、搭建ShuffleNet v2主干网络。在Pytorch1.1网络框架下，依次搭建输入层、卷积层一、最大池化层、阶段二层、阶段三层、阶段四层、卷积层二和全连接层，形成ShuffleNet v2主干网络。

2、提出简化的仿CSP网络，用于取代S51搭建的ShuffleNet v2主干网络中的局部网络，所述简化的仿CSP网络是采用普通模块取代CSPNet从其输入层分割成的特征提取模块和跨阶段层次结构模块后获得的网络，得到仿CSP网络改进的ShuffleNet v2。本具体实施例提出了简化的仿CSP网络结构，简化的仿CSP网络结构是根据CSPNet网络进行改进的，如图7(c)所示。

利用简化的仿CSP网络取代原始ShuffleNet v2的阶段二层，阶段三层和阶段四层的局部网络，实现对原始ShuffleNet v2网络的精简。具体替代如图8所示。

3、采用迁移学习的方法对仿CSP改进的ShuffleNet v2进行预训练，以初始化模型的权重，得到仿CSP和迁移学习改进的ShuffleNet v2，具体步骤如下：

在ImageNet数据集上训练仿CSP改进的ShuffleNet v2模型，然后下载模型文件的Pytorch版本；

采用预训练权重初始化仿CSP改进的ShuffleNet v2模型权重，加载网络层参数时，忽略卷积层2和全连接层，而只加载输入层、卷积层一、最大池化层、阶段二层、阶段三层和阶段四层。

4、在仿CSP和迁移学习改进的ShuffleNet v2中引入ECA注意力，从而得到仿CSP、迁移学习和ECA改进的ShuffleNet v2模型。具体是在在阶段4层和卷积层2之间加入ECA注意力，其作用是增强模型对脱空缺陷特征图的聚焦能力，并抑制无用信息的干扰。ECA是一种捕获局部跨通道交互的方法。其工作流程如下：其首先对输入的所有通道进行全局平均池化(GAP)，然后采用卷积核大小为k的1维卷积为每个通道生成注意力权重。这使得网络能聚焦带有脱空病害的STFT特征图谱，解决不同脱空程度的STFT特征图谱相似度高导致识别精度低的问题。ECA模块的结构如图9所示。图中，H、W、B分别为STFT特征图的高度、宽度和通道数，x为输入特征图，

对于输入特征x[H,W,B]，H、W、B分别为特征图的高度、宽度和通道数。首先利用GAPg(·)对每个通道的特征图的全局信息进行整合，获取均值向量φ，均值向量φ的公式如下：

式中，φ表示整合得到了均值向量；H和W分别为特征图的高度和宽度；x

然后，对均值向量φ进行卷积核大小为k的一维卷积核运算，快速生成每个通道的权重。其中，k的大小决定了跨通道信息交互的覆盖率，也即本地参与跨通道信息交互的通道数。接着，采用Sigmoid函数将通道的权重映射到[1,0]。这里，第m个通道的权重ω

ω

式中，φ

最后，通过乘法对原始的STFT特征图进行加权，从而得到具有通道注意力的特征图。

通过本具体实施例的数据不平衡试验中，本具体实施例的CFST结构脱空识别方法取得了99.60％的平均准确性，高于现有技术在数据平衡下获得的94.17％和96.33％，低于99.81％。在加载工况变化的条件下，整体保持90％以上的准确性，始终高于其他特征提取方法。与原模型相比，改进的模型procesing speed提高了48％，flops下降了47％，参数大小仅有0.77M。因此，在数据不平衡和加载工况变化条件下的试验表明，本具体实施例的CFST结构脱空识别方法具有良好的识别性能，是一种高效、轻量化且高精度的脱空识别模型。

下面对不同注意力机制、不同卷积神经网络、不同信噪比和其他缺陷识别方法进行对比分析，具体如下：

1、不同注意力机制的对比

在仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型中分别采用目前性能表现较好的SE、CBAM和SK取代ECA模块，其他条件保持一致，测试结果如图10。可以看出，在不同注意力机制下，平衡数据集A获得的准确性要高于不平衡数据集B，C和D，这表明数据不平衡的情况确实会降低模型的识别性能。此外，ECA模块获得的准确性高于99.4％，平均准确性高于99.5％，是4种注意力机制在同等条件下最高的。其次是，SE和CBAM。表现最差的是SK，对应的准确性和平均准确性分别高于98.35和98.6％。分析标准差发现，在不同数据集中，ECA模块的标准差都低于其他三种注意力机制模块，这表明ECA的特征增强效果使得仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在数据不平衡条件下更为稳定。因此，ECA在提高模型在不同比例的数据平衡条件之间的泛化方面具有重要贡献。

2、不同卷积神经网络的对比

为进一步验证本具体实施例所提方法的优越性，采用EfficientNetB0和Resnet18两种深度学习神经网络和Mobilenet-v2和ShuffleNet v2两种轻量级卷积神经网络以相同的方案进行对比测试，所得结果如图11和表3。

表3五种模型的参数大小，Flops和Processing Speed对比

可以观察到，仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在4个不同数据集中达到了99.6％的最高平均准确率，且准确性均高于99.4％。与EfficientNetB0,Resnet18,Mobilenet-v2和ShuffleNet v2相比，本具体实施例所提方法的平均准确性分别提高了2.86％，1.33％，0.85％和0.91％。进一步分析上述模型信息发现，对于参量大小而言，五种模型的大小排序为EfficientNetB0＞Resnet18＞Mobilenet-v2＞ShuffleNet v2＞本具体实施例；对于浮点数而言，EfficientNetB0＞Mobilenet-v2＞ShuffleNet v2＞本具体实施例＞Resnet18；而对于推理速度而言，本具体实施例＞ShuffleNet v2＞Resnet18＞Mobilenet-v2＞EfficientNetB0。也就是说，与目前最流行的四种卷积神经网络相比，本具体实施例不仅在准确性上表现更好，同时还具有更小的参数大小和浮点数，以及更快的图片处理速度，验证了本具体实施例所提方法的优越性。需要指出的是，本具体实施例所提方法是在ShuffleNet v2网络的基础改进的，与原模型相比，本具体实施例所提方法平均准确性提高了0.91％，推理速度提高了48％，浮点数下降了47％，参数大小仅有0.77M，充分说明了本具体实施例所提出的改进措施是有效而显著的。

3、不同信噪比的对比

现场检测环境往往会混杂各种复杂噪音，从而影响模型的识别准确性。为了验证本具体实施例所提方法在不同噪音环境和数据不平衡共同影响下的鲁棒性，也即将噪音添加到不平衡测试数据中。如图15所示，在测试数据中添加高斯白噪音，以获得相应的信噪比，定义为

式中，A

4、与其他缺陷识别方法的对比

为进一步说明本具体实施例所提方法的优越性，结合敲击法和机器学习模型对CFST脱空进行检测，并与现有技术进行了对比，结果如表4所示。由于每个试验设置并不完全相同，这里将试验设置和结果转化为与本具体实施例相同的显示形式，具体差异不赘述。

表4本具体实施例所提方法与其他识别方法的对比

文献1：Chen D,Montano V,Huo L,et al.Detection of subsurface voids inconcrete-filled steel tubular(CFST)structure using percussion approach[J].Construction and Building Materials,2020,262:119761.

文献2：Chen D,Montano V,Huo L,et al.Depth detection of subsurfacevoids in concrete-filled steel tubular(CFST)structure using percussion anddecision tree[J].Measurement,2020,163:107869.

文献3：Chen D,Shen Z,Huo L,et al.Percussion-based quasi real-time voiddetection for concrete-filled steel tubular structures using dense learnedfeatures[J].Engineering Structures,2023,274:115197.

在特征提取方面，文献1识别方法和文献2识别方法均采用需要手动提取特征的PSD技术，这无疑增加了试验的时间成本和精力，而本具体实施例采用SFFT频谱图无需手动提取的操作。在训练集中的标签比例的设计方面，在文献1识别方法、文献2识别方法和文献3识别方法中，不同标签在训练集中的比例均为1:1:1:1，而本具体实施例不仅有1:1:1:1，还有其他三个不同比例，4:3:2:1，4:2:1:3和4:1:3:2。也就是说，文献1识别方法、文献2识别方法和文献3识别方法均未考虑数据不平衡的情况，而本具体实施例进行了三种具有不同比例的数据不平衡的测试和验证。进一步地，在训练集:验证集:测试集的比例方面，文献1识别方法为3:0:1，文献2识别方法为7:0:3，文献3识别方法为6:1:3，而本具体实施例则为4:1:5和2:1:5。可以明显地发现，文献1识别方法、文献2识别方法和文献3识别方法用于训练和验证的数据比例明显高于其用于测试的数据比例，也就是说它们模型的性能过于依赖训练的数据量。而本具体实施例中，用于训练和验证的数据比例等于或低于用于测试的数据比例，在不依赖训练数据量的前提下，获取更高的准确性。在参数大小方面，文献1识别方法、文献2识别方法和文献识别方法所用的SVM、DT和CNN都属于传统的机器学习模型，其参数大小通常要大于轻量级卷积神经网络。本具体实施例仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型的参数大小要明显小于其他轻量级卷积神经网络，因此，可以说本具体实施例仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在参数大小方面要小于文献1识别方法、文献2识别方法和文献3识别方法。在准确性方面，文献1识别方法和文献2识别方法精度相对较低，分别为94.17％和96.33％，文献3识别方法与本具体实施例较高，分别为99.81％和99.6％。综上所述，本具体实施例提出的方法操作更加简便，验证条件更为严格，但识别准确性更高，参数大小更小。表明本具体实施例仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在同类方法中具有更大的应用价值和推广潜力。

下面对加载工况变化下一对一模式、多对一模式和多对多模式的识别进行对比分析，具体如下：

一对一模式的目的在于采用单一加载工况的数据进行训练和验证，并对其他某个加载工况的脱空缺陷进行识别，以期利用极少的训练数据量获得较高的识别准确性。在一对一的训练与测试模式下，识别结果如图13所示。图中对比了STFT、小波变换(WT)、短时傅里叶语谱(STFT-spe)和梅尔倒谱系数(MFCC)四种特征提取方法对结果的影响，其中STFT为本具体实施例使用的特征提取方法。可以观察到，四种特征提取方法获得的准确性均较低，未达到预期的效果。对于平均准确性，排在最高的是STFT，为73.2％，其次是WT，为53.7％，剩下的STFT-spe和MFCC特征均未超过50％。对于波动范围，WT在50％～60％之间波动，是所有特征中波动最小的。其次是STFT，波动范围在60％～90％之间。而MFCC和STFT-spe的波动较大，分别在30％～75％和10％～75％之间。结果表明，在训练工况有限的不利条件下，与其他3种特征提取方法相比，STFT依然表现出了更好的识别准确性和良好的稳定性。然而，总体上来说，在一对一的训练和测试模式下，所有模型并未能很好地学习到其他工况的特征，总体准确性偏低。因此，一对一模式对单个未知工况的进行预测，精度不足且效率过低。

多对一模式采用5种加载工况的数据进行训练和验证，对剩余的一种加载工况的数据进行测试，以评估模型所能获得的最佳性能，识别结果如图14所示。在增大训练的工况数量之后，STFT、STFT-spe和MFCC对应的识别平均准确性均得到了明显提升，分别为94.88％，89.55％和84.31％。与一对一模式相比，上述特征提取方法的平均准确性分别提升了21.68％、49.16％和36.58％。这表明在增加训练工况数量后，仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型对其他工况的特征学习能力得到了增强，对未知工况的脱空识别准确性提高。

多对多模式的识别结果如图15所示。缩减训练工况并扩大测试工况后，不同特征提取方法对应的平均准确性均出现了不同程度的下降。与多对一模式相比，STFT的平均准确性下降了2.9％，WT下降了1.72％，说明二者对训练和测试工况的变化并不算敏感。而STFT-spe和MFCC的平均准确性下降较为明显，分别下降了10.49％和7.09％。总体而言，STFT的平均准确性则仍在90％以上，是四种特征提取方法中最好的。结果表明，多对多模式下，仿CSP网络、迁移学习和ECA注意力改进的ShuffleNet v2模型在训练工况减少而测试工况增多的条件下，仍然保持良好的识别性能和稳定性。