一种基于深度学习的螺栓分步检测方法

技术领域

本发明涉及结构施工监测自动监控领域，尤其涉及一种基于深度学习的螺栓分步检测方法。

背景技术

螺栓作为基本的连接元件可靠性高、承载能力强、维修方便，受到广泛的应用。在桥梁运营期间，螺栓经常会受到振动荷载、温度作用、湿度变化等环境因素，导致螺栓产生损伤(松落、锈蚀)。螺栓松落会导致结构产生潜在性的部分损伤，如果未能及时发现并进行维护，将会导致结构缩短服役寿命，甚至造成倒塌。螺栓锈蚀会造成疲劳强度性能降低和局部刚度薄弱化，最终导致结构倒塌。据统计，英国铁路由于螺栓松落引起的事故超过1800起；韩国高速公路公司经营的钢桥结构缺陷报告，33.3％的桥梁存在螺栓病害。相比于桥梁裂缝病害、桥梁变形(挠度、位移)等方面的研究，螺栓病害检测方面的研究受到的关注较少，所以需要加强对螺栓病害检测方面的研究与发展。

传统的螺栓检测是通过检测人员的视觉判断，然后进一步发展为使用应变计、扭矩扳手等，但这些方式经验证后证明并不可靠。螺栓在服役过程中受到各种动荷载、环境因素的影响，处于一个动态的变化过程。所以它的松落过程主要分为两个阶段：先是预紧力的损失导致螺栓连接界面摩擦力变小；然后螺纹产生塑性变形，最终导致松落现象。所以大部分早期的螺栓检测都是通过使用接触式传感器检测螺栓预紧力来判断螺栓是否存在松落情况。

基于接触式传感器的方法主要有基于声学、压电主动感应、阻抗、导波等传感器方法。这些能够得到关于螺栓详细的力学特征、甚至能够检测螺栓内部是否存在微裂缝，检测精度高。而且基于传感器的力学性能信息，能够对螺栓进行建模，Tao Yin(2019)利用谱元法和基于传递矩阵的方法建立了带有螺栓法兰连接的全周期系统动力学模型。但是基于接触式传感器方法容易受到温度、湿度等环境因素的影响，导致最终的结果存在较大的误差。而且并不适用于大型桥梁的螺栓检测，因为桥梁中螺栓数量庞大，如果使用基于接触式传感器的方法，需要布置大量的传感器，成本高，安装过程费时费力。

为了解决接触式传感器存在的问题，进一步发展了非接触式螺栓检测的方法。Feblil Huda(2013)提出了一种用于检测螺栓松落的基于激光激发脉冲响应的振动检测和健康监测系统。Jay Kumar Shaha(2019)使用超声波脉冲传输技术对螺栓连接进行检测，研究了螺栓扭矩，腐蚀和连接处力学性能之间的相关性。但是由于此方法需要对螺栓进行逐个检测，所以实用性较差。

对于桥梁结构，以上方法均没办法达到快速、大范围的检测要求。机器视觉技术的发展，为突破这个难题带来了希望。因为螺栓锈蚀与明显的螺栓松动是能够通过视觉来判断的，没有必要通过布置大量传感器去检测每一个螺栓详细情况，通过视觉就能够得到一个客观和满足工程需要的结果。而且基于机器视觉与图像处理的方法不需要进行复杂的设备安装过程，而且设备成本低，检测速度快，范围广。主要的设备只需要：图像数据收集装置(CCD相机、CMOS相机、无人机等有拍照，录像功能的设备)和具有图像处理能力的电脑。Jae-Hyung Park(2015)使用Canny边缘检测器和圆形Hough变换分割每个螺母的图像，然后使用Hough变换螺母特征，估计每个螺母的旋转角，最后通过参考图像和当前图像的对比来检测螺栓的松动。Young-Jin Cha(2016)用智能手机作为图像手机装置，然后使用霍夫变换对图像中的螺栓特征特征提取，将提取的特征用于SVM训练，最终形成螺栓松、紧分类器。经过实验分析，得出该方法对于相机的角度和距离有一定的限制。Lovedeep Ramana(2018)使用Viola–Jones算法对图像中的螺栓进行定位，然后使用训练后的支持向量机(SVM)对定位到的螺栓进行松、紧分类。

大部分基于机器视觉的螺栓检测技术都基于实验室内的研究，并没有在现场实验中进行验证。说明以上的方法对于现场的适应性不强，而且图像处理技术基本上还处于机器学习的阶段，没法办法进行一个自主地、智能地学习与训练。Xuefeng Zhao(2018)结合深度学习和机器视觉，使用SSD模型进行目标检测，然后用图像处理技术进行角度分析来判断螺栓松落。Thanh-Canh Huynh(2019)使用RCNN神经网络对目标图像进行识别与裁剪，然后使用HLC算法对裁剪的图像进行特征提取(螺栓旋转角度)来进行松紧判断。由于在图像校正阶段需要人为干涉，所以需要进一步地进行改善。Hai Chien Pham(2020)使用由图形模型生成的螺栓合成图像来训练用于松动螺栓检测的深度学习模型。使用基于深度学习(RCNN)进行螺栓检测，然后基于霍夫变换的图像处理估计检测到的螺栓的旋转角度来对螺栓松动进行评估。Yang Zhang(2020)使用Faster R-CNN对螺栓进行识别、定位、分类，最终能够实现使用网络摄像对传输视频中的螺栓进行实时的检测，分类精度会受到照明条件、拍摄角度的影响，该方法只在实验室内进行验证。

上述的大部分研究都集中于通过螺栓旋转角度来判断螺栓松动，其实这不是必要的，因为螺栓锈蚀和松落都是具有发展阶段的破坏，并不是突然形成的，对于具有轻微锈蚀或松落倾向的螺栓对桥梁结构基本上是不会产生不利的影响。轻微锈蚀和松落的螺栓检测不是基于视觉检测技术的主要目标。大部分基于视觉与深度学习的螺栓检测技术采用的神经网络，在螺栓检测与分类这2个步骤都是采用同一种模型进行训练的，精度较低。

发明内容

发明目的：本发明的目的是提供一种能准确、自动地检测桥梁螺栓健康状况的基于深度学习的螺栓分步检测方法。

技术方案：本发明的螺栓分步检测方法，包括如下步骤：

S1，选择YOLO v5网络作为识别并分割图像中螺栓的深度学习网络；

S2，建立桥梁螺栓识别数据集，对拟检测的螺栓图像进行评估；若拟检测图像与数据集中的图像在螺栓种类、形状和背景上有区别，则加入总数据集5％～10％的拟检测图像，人工标记螺栓后，采用扩充后的数据集对选择的不同的YOLO v5网络模型进行训练，根据各YOLO v5网络模型的训练结果，选择最优模型作为螺栓监检测模型；

S3，由螺栓检测模型识别螺栓，记录螺栓位置，并根据识别结果将螺栓从图像中分割出来；分割出来的单个螺栓图像再经过efficientNet网络进行分类和判别。

进一步，步骤S2中，对YOLO v5系列网络通过调整depth multiple和widthmultiple分别控制网络的深度和宽度，选择s、m、l、x四种模型；

通过建立桥梁螺栓识别数据集，训练s、m、l、x四种模型，选取目标检测精度指标最高的模型最为螺栓检测模型。

进一步，建立桥梁螺栓识别数据集的实现步骤如下：

S21，选取三座在役桥梁的螺栓图像作为螺栓检测部分的图像，从每座桥梁螺栓图像中各抽取1000张，采用自适应尺度统一方法放大并分割图像，获得24000张处理后的螺栓图像；

S22，利用labelimg标记螺栓位置，其中正常螺栓标记为bolt，锈蚀螺栓标记为corrobolt，螺栓松动或缺失标记为loosebolt；

S23，按照8：1：1的比例将处理后的螺栓图像分为训练图像、测试图像和验证图像，并对标记的尺寸采用k-means聚类的方法计算12组anchor的尺寸。

进一步，步骤S3中，分割出来的单个螺栓图像再经过efficientNet网络进行分类和判别的实现步骤如下：

S31，对桥梁螺栓识别数据集进行处理，根据人工标记的结果将螺栓分割出来，形成三类螺栓图像，分别为正常螺栓、锈蚀螺栓和松动螺栓；将三类螺栓图像作为训练集训练efficientNet网络；

S32，将所标记的锈蚀螺栓和松动螺栓的标记名称改为普通螺栓，利用该数据集再次训练螺栓检测模型和efficientNet网络。

本发明与现有技术相比，其显著效果如下：

1、将螺栓检测分为螺栓识别分割和螺栓病害分类两个阶段，分别采用两种网络进行分割和分类操作，而现有方法则是直接采用目标检测网络对检测目标进行分割与分类。与现有方法相比，所提出方法具有更高的检测精度；在应用YOLO v5网络时进一步将网络分为s、m、l、x四种大小，分别测试，并选取最佳网络执行螺栓检测分割操作，而现有方法未进行改细分操作；

2、针对桥梁节点处螺栓数量众多，而采用无人机拍摄获取的图像尺寸有限，造成螺栓目标尺寸小难以完整识别分割的问题，在采用的YOLO v5网络的基础上增加一层小目标检测层，其尺寸根据螺栓数据集中的小尺度螺栓的尺寸设置为[5,6]、[8,14]、[11,15]三组，从而改善YOLO v5网络的下采样倍数大，较深的特征图很难学习到小目标特征信息的问题；

3、针对传统基于深度学习的螺栓检测方法直接应用目标检测网络识别螺栓同时判断病害的方法存在病害判别准确率较低的问题，提出采用两个网络分步判别的方法，先识别分割螺栓再判别螺栓病害；对比应用了最新的YOLO v5系列网络实现螺栓的快速识别与自动分割，并采用改进的efficientNet网络判别螺栓病害；通过与传统只采用单一模型检测的方法对比显示所提出的分步检测方法精度更高；

4、针对螺栓病害分类时由于不同种类病害(如松动和正常螺栓)之间的图像纹理特征区别小导致常用的分类网络可能难以学习到具有足够分类区分度的特征的问题，为实现更准确的螺栓病害分类，在原efficientNet网络的基础上将独热编码修改为平滑标签编码，通过在预测标签中加入概率预测函数从而增强模型对微小区分度的特征的分类能力；

5、本发明从数据采集、训练集制作和方法验证上都立足于在役桥梁工程，而不是大多数已有研究中的实验室构件；其中，在数据集的制作上，分别制作了螺栓目标检测数据集和螺栓病害分类数据集，用于分别训练基于改进的YOLO v5的螺栓识别分割模型和基于改进的efficientNet的螺栓病害分类模型。为了使数据集具有更强的泛化能力，在数据集的人工标记完成后，对数据集中的图像进行缩放、随机拼接处理增加数据集的数量，并对图像采用生成对抗网络加入随机的阴影遮挡、雨雾噪声、随机曝光和随机污渍，模拟在工程场景下可能遭遇的各种干扰因素，从而能增加模型的泛化能力；在悬索桥的验证中显示所提出方法不仅能准确、自动地检测桥梁螺栓健康状况，达到与人工检测相同的精度，其检测数十万颗螺栓的外业与内业耗时仅为半天，速率远超人工检测，证明所提出方法具备重要工程意义。

附图说明

图1为本发明的基于无人机桥梁螺栓快速检测方法框架示意图；

图2为本发明所采用的YOLO v5s网络结构示意图；

图3为本发明所使用的YOLO v5s模型的P-R曲线示意图；

图4为本发明所使用的YOLO v5m模型的P-R曲线示意图；

图5为本发明所使用的YOLO v5l模型的P-R曲线示意图；

图6为本发明所使用的YOLO v5x模型的P-R曲线示意图；

图7为本发明YOLO v5x模型的训练过程曲线示意图；

图8为本发明efficientNet网络的训练过程曲线示意图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

本发明采用了YOLO v5网络进行螺栓检测，然后使用efficientNet网络进行螺栓分类，具有针对性，提高了检测与分类的速度与精度。同时对检测到的模糊的螺栓图像进行识别，使用基于超分辨率的深度学习方法对图像进行优化，然后再输入到分类模型中进行分类

本发明应用最新的YOLO v5算法自动标记并将螺栓分割为单体，输入单体螺栓图像后利用efficientNet算法将其自动分类为正常螺栓、锈蚀螺栓、松动螺栓和缺失螺栓四类，至此完成从数据采集到螺栓检测的自动化分析方法流程。该方法框架如图1所示。

一种基于深度学习的螺栓分步检测方法，包括如下步骤：

步骤1，选择模型系列。由于工业应用中要求尽可能快的在线检测，以及要求模型所依赖的计算平台尽可能廉价，因此近几年深度学习在图像检测中的发展方向着重于高帧率、低计算性能需求方向，这两种性能对基于无人机的桥梁检测也至关重要。YOLO系列模型是性能最优、应用最广泛的模型之一，考虑到最新的YOLO v5系列模型已经具备了非常高的识别速率何检测精度，在大量数据库的验证中都表明其满足工程需求，并且YOLO v5系列模型具备很强的多平台可移植性，因此本发明直接应用最新的YOLO v5系列模型。图2是YOLOv5s的网络结构，YOLO v5系列的其它网络结构与之类似，只是采用了使用不同数量残差组件的CSP结构和不同卷积核数量的Focus结构。该网络分为输入端、Backbone、Neck、Prediction四个部分。

步骤2，训练模型并选择最优模型。

YOLO v5系列网络通过调整depth multiple和width multiple分别控制网络的深度和宽度，有s、m、l、x四种模型。建立桥梁螺栓识别数据集，训练四种模型，并对比四种模型的效果。训练结束后，YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x四个模型的mAP分别是0.841、0.934、0.936和0.940，网络深度和宽度最大的YOLO v5x精度最高，在不考虑实时检测的情况下，可以选择该模型作为螺栓检测模型。

YOLO v5s网络是YOLO v5系列中深度最小，特征图的宽度最小的网络。YOLO v5系列网络通过调整depth multiple和width multiple分别控制网络的深度和宽度，对于s、m、l、x四种模型的depth multiple和width multiple分别是[0.33,0.50]、[0.67,0.75]、[1.0,1.0]、[1.33,1.25]，模型大小随之增加。所增加的深度和宽度使模型具备了越来越高的AP，但计算效率随之下降。由于螺栓识别相对于多类型目标识别是一项较简单的检测工作，因此即使四种模型的AP在理论上应有区别，但可能在螺栓检测的数据集中表现差别不大，因此需要建立桥梁螺栓识别数据集，训练四种模型，并对比四种模型的效果。

建立桥梁螺栓识别数据集的实现步骤如下：

步骤21，螺栓检测部分的图像取自三座在役桥梁，分别从三座桥梁螺栓图像中抽取1000张，采用选择、随机拼接和生成对抗网络增强的方法扩充图像，获得24000张螺栓图像。

步骤22，利用labelimg标记螺栓位置，其中正常螺栓标记为bolt，锈蚀螺栓标记为corrobolt，螺栓松动或缺失标记为loosebolt。人工标记完成后形成训练所需的3类别桥梁螺栓数据库，标记结果显示数据库中包含237600颗正常螺栓，21583颗锈蚀螺栓和195颗松动螺栓。小跨度悬索桥的螺栓主要是索夹螺栓和桥底钢桁架连接螺栓，大跨度斜拉桥主要是钢桁架侧面的连接螺栓，大跨度悬索桥为索夹连接螺栓。

步骤23，模型的训练采用pytorch框架，训练所用计算机为i7 9700k CPU，32G内存，1块NVIDIA RTX3090显卡，训练步数均为50000步，在训练前首先按照8：1：1的比例将图像分为训练图像、测试图像和验证图像，统计分析所有训练集图像中的螺栓尺寸数据，采用k-means聚类的方法从尺寸数据中聚类出12组anchor的尺寸，从而使网络的预测尺寸符合数据集中的螺栓尺寸，在该尺寸的设置下模型即具有微小尺度、小尺度、中尺度和大尺度四种尺度的预测层，计算结果为[5,6，8,14，11,15，12,32,40,68,52,100,60,80,44,72,44,44,80,80,160,200,120,140]。

训练结束后，YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x四个模型的mAP分别是0.841、0.934、0.936和0.940，网络深度和宽度最大的YOLO v5x精度最高，在不考虑实时检测的情况下，可以选择该模型作为螺栓检测模型，四个模型训练过程中的P-R曲线分别如图3、图4、图5和图6所示。

步骤3，在螺栓数据库上自定义模型参数，并基于YOLO v5系列模型进一步优化螺栓检测方法。因为保证螺栓的正确识别是最重要的目的，所以基于此提出采用目标检测模型和分类模型分步检测的方法，首先由YOLO v5x模型识别螺栓，记录螺栓位置，并根据识别结果将螺栓从图像中分割出来；分割出来的单个螺栓图像再经过efficientNet网络进行分类，判别正常螺栓、锈蚀螺栓和松动螺栓。

从P-R曲线看，三类螺栓的识别准确率不同。训练结束后所测试的分类准确率为0.883，说明虽然三类螺栓的识别率很高，但一部分螺栓的类别识别错误，训练结束后抽取部分图像进行测试，测试结果表明一部分正常螺栓被识别为锈蚀螺栓。

进一步优化螺栓的检测方法可通过如下得到：

首先对前面建立的螺栓数据库进行处理，根据人工标记的结果将螺栓分割出来，形成三类螺栓图像，所分割的图像作为训练集训练efficientNet网络；

接着对标记的结果进行处理，将所标记的锈蚀螺栓和松动螺栓的标记名称改为普通螺栓，即修改完后形成的数据集是仅包含bolt一种类别的数据集，利用该数据集再次训练YOLO v5x模型，在保持其它参数一致的情况下，所训练模型的mAP达到了0.997，证明几乎所有螺栓都能被正确识别出。对efficientNet网络的训练同样采用pytorch框架，训练步数为5000步，学习率为0.001，训练完成后测试精度为0.993，远高于仅使用YOLO v5x模型同时进行识别和分类的精度。YOLO v5x模型和efficientNet网络训练过程的参数变化如图7、图8所示。训练完成且训练中测试的模型识别和分类精度均为99％以上，则所训练的模型可用于螺栓检测工作。

为充分验证本发明的实用性与检测效率，以在役桥梁作为测试对象，检验所提出方法是否满足工程检测要求。以下介绍本发明在一座在役桥梁的测试结果，主要检测桥梁底部和索夹螺栓。

(1)桥梁概况

测试桥梁为淮安入海水道工程中的人行悬索桥，该桥梁总长197.7米，中间跨径115.7米，桥面宽2.7米。桥面系为纵横槽钢结构，其中桥梁横向短槽钢总计53根，纵向槽钢5根，索夹106个。检测中关注的螺栓为桥梁底部槽钢连接螺栓和吊索索夹固定螺栓，其中槽钢连接螺栓371颗，索夹螺栓742颗。桥梁已服役18年，一部分螺栓已经出现松动和锈蚀，但由于桥梁位于入海水道上空，因此人工难以快速检测。

无人机的拍摄过程按照前面所述的拍摄方法，对于桥梁侧面的拉索，无人机分布悬停在靠桥梁两端和中间的三个位置，控制相机移动拍摄索夹螺栓；对于桥梁底部，同样悬停在底部两端和中间位置，向上拍摄。检测过程中总共拍摄了约94分钟的螺栓视频，覆盖所需检测的所有螺栓。视频分辨率为1920×1080pixel，帧率为30fps，拍摄时为使图像曝光等参数一致，设置快门速度为1/100s，感光度为自动。

(2)螺栓识别与病害判别结果

对于大批量桥梁螺栓的检测，确保所有螺栓病害都能被精确识别出来是工程中最重要的需求，因此本发明提出一系列提高螺栓自动识别精度和稳定性的方法。在本发明对桥梁螺栓的自动识别和病害判别中，同时采用螺栓病害直接识别并判别方法、螺栓先识别后判别方法和人工判别方法三种，对比三种方法的精度，以验证所提出方法的准确性。其中本发明所提出方法的具体实施方式为：首先将无人机检测中获取的螺栓视频逐帧导出得到螺栓图像，采用螺栓目标检测的单类别YOLO v5x模型进行螺栓识别，并将所识别的螺栓分割为单个螺栓图像；接着将单个螺栓图像输出到所训练的efficientNet网络，自动判别螺栓是否为正常螺栓、锈蚀螺栓或松动脱落螺栓。作为对比的现有方法实施方式为直接将尺度统一分割图像输出到训练的三类别YOLO v5x模型，直接将图像分割为三类别螺栓图像。人工判别方法则是由人工目视检测的方法观察无人机所拍摄图像中的螺栓是否存在病害，人工检查的结果作为ground truth。在训练所采用的计算机上两种自动识别方法的速度都非常快，其中YOLO v5x模型的识别速度约为0.08s/张，efficientNet模型的分类速度约为0.02s/张，自动判别全桥螺栓所需时间均不超过20分钟。但采用本发明所提出方法能达到与人工判别一致的螺栓检测结果，而采用直接识别分类的方法在螺栓识别和自动判别上都存在一定程度误判，其中有1.2％的螺栓未被识别，13.11％的螺栓类别判断错误。