一种输电线路中螺栓插销缺失缺陷检测方法及系统

技术领域

本发明涉及输电线路器件缺陷识别的技术领域，尤其是指一种二阶段的输电线路中螺栓插销缺失缺陷检测方法、系统、存储介质及计算设备。

背景技术

螺栓在输电线路中起到连接器具的作用，例如绝缘子串、导线夹具、接地线夹具等。这些螺栓确保了设备与结构之间的紧密连接，以确保线路的稳定性和可靠性。因为外部环境因素，如恶劣的环境条件，如高温、湿度、化学腐蚀等，以及人为因素，如输电线路的工人错误的安装或维护等，导致螺栓上的插销缺失。螺栓上的插销是一种安全装置，通常用于确保螺栓不会松动或脱落。目前对于螺栓的插销缺失缺陷的检测已经逐渐从人工巡检转变成机器人作业，例如输电线路上的专业机器人或者无人机等。而随着深度学习的兴起，用神经网络进行螺栓的插销缺失缺陷的检测发展迅速。

而基于深度学习的螺栓的插销缺失缺陷的检测已存在多种方法，例如使用目标检测网络对于螺栓插销缺失缺陷和正常情况下的螺栓分成两类，分别进行目标检测，但是由于异常样本数量较少，出现了样本不均衡的问题，导致检测精度低下；还有使用弱监督检测螺栓缺失的缺陷，但是由于标签的不完整性使得网络模型更加复杂并更加难以解释。

综上所述，虽已存在基于深度学习方法的螺栓插销缺失缺陷检测，但仍存在改进之处。例如异常样本较少，有样本不均衡的情况；或者可以缓解样本不均衡的问题，但是模型的复杂度和难解释性相应提升导致网络模型性能低下；或者对于缺陷识别的精度及效果不够准确。因此亟需提出一种克服样本不均衡的高精度轻量级的螺栓插销缺失缺陷的检测算法以解决上述问题。

发明内容

本发明的第一目的在于解决无人机电力巡检过程中输电线路中螺栓插销缺失缺陷检测时，由于异常样本较少导致的检测精度低下，或者由于网络模型结构复杂，导致推理判断缺陷时实时性无法保证的问题。提供了一种二阶段的输电线路中螺栓插销缺失缺陷检测方法，通过标注出的螺栓正常样本和异常样本，只使用正常样本进行生成对抗网络的训练，采用二阶段的神经网络检测方法，第一阶段使用螺栓区域检测神经网络检测出所有螺栓所在的区域，第二阶段用生成对抗网络判断是否存在插销缺失缺陷，生成对抗网络可以解决异常样本较少的问题，并且优化网络结构、减少参数量，保证检测的精度和实时性。

本发明的第二目的在于提供一种二阶段的输电线路中螺栓插销缺失缺陷检测系统。

本发明的第三目的在于提供一种存储介质。

本发明的第四目的在于提供一种计算设备。

本发明的第一目的通过下述技术方案实现：一种二阶段的输电线路中螺栓插销缺失缺陷检测方法，包括以下步骤：

1)收集整理无人机巡检输电线路时采集到的高分辨率图像进行螺栓目标检测数据集的构建，并标注出输电线路上的螺栓所在的矩形区域，裁剪出部分螺栓矩形区域图像，将图像作为螺栓区域数据集并划分为训练集和测试集，训练集只包含正常的图像，测试集包含正常图像和异常图像；

2)基于YOLOv7网络模型构建螺栓区域检测神经网络，将YOLOv7网络模型其中的ELAN模块中的Conv替换为FasterNet中的PConv，将其中的SPPSCPC模块后面加上BiFormer注意力机制中的BRA模块，以提升对于小目标检测的精度并降低螺栓区域检测神经网络的参数量，通过螺栓目标检测数据集进行训练和测试，保存最优性能的螺栓区域检测神经网络作为第一阶段使用的神经网络；

3)构建生成对抗网络进行螺栓插销缺失缺陷的判别，生成对抗网络的生成器网络基于Encoder-Decoder框架搭建，并将不同尺度的特征进行融合，以提升对于不同像素螺栓区域图像的识别精度，目的是生成正常情况下的螺栓图像；生成对抗网络的编码器网络使用5层卷积层进行搭建，提取输入图像的特征从而输出对应的潜在变量，目的是节省测试阶段的时间成本；生成对抗网络的判别器网络使用6层卷积层进行搭建，同时将生成的螺栓图像与真实的螺栓图像进行比对，并判断是否存在螺栓插销缺失的缺陷；

4)设计生成对抗网络的损失函数，将螺栓区域数据集进行数据增强操作，将螺栓区域数据集的训练集放入生成对抗网络进行训练，保存最优性能的生成对抗网络作为第二阶段使用的神经网络，再用包含正常图像和异常图像的测试集进行网络测试，得到具体的阈值用于缺陷判断；

5)将最优性能的螺栓区域检测神经网络和生成对抗网络进行串联，输入含有螺栓的输电线路的待测图像，经过第一阶段的螺栓区域检测神经网络检测出图像中螺栓所在的区域图像，再将区域图像输入第二阶段的生成对抗网络得到螺栓插销缺失缺陷的判别结果。

进一步，在步骤1)中，利用labelme标注软件标注无人机巡检时采集的高分辨率图像中所有可见的螺栓区域，得到标注后的图像和标注文件，使用python编写脚本程序，根据标注文件将所有螺栓区域图像裁剪并保存，再用labelme标注软件标注所有螺栓区域图像，将存在插销的螺栓图像标注为正常样本，将不存在插销的螺栓图像标注为异常样本，将螺栓区域图像作为螺栓区域数据集并划分为训练集和测试集，训练集只包含正常的图像，测试集包含正常图像和异常图像。

进一步，在步骤2)中，选用YOLOv7网络模型作为螺栓区域检测神经网络的基础，该螺栓区域检测神经网络基于YOLOv7网络模型扩展的高效层聚合网络和模型缩放策略，符合实时检测器的标准；

为了加强该螺栓区域检测神经网络对于小目标检测的敏感度，在YOLOv7网络模型结构中的SPPSCPC模块后添加BiFormer注意力机制中的BRA模块，BRA模块是一种新的双层路由机制，它以一种查询自适应的方式支持内容感知的稀疏模式，能有效提高小目标的检测精度；

为了减少该螺栓区域检测神经网络的参数量，将YOLOv7网络模型结构中的ELAN模块中的Conv替换为FasterNet中的PConv，PConv是一种新的卷积模块，能够通过同时减少冗余计算和内存访问，更有效地提取空间特征，只需在输入通道的一部分上应用正则Conv进行空间特征提取，而不影响其余通道，所以PConv的参数量仅为常规Conv的1/16，具体计算公式如下：

式中，Flops

将螺栓目标检测数据集输入螺栓区域检测神经网络进行训练和测试，保存最优性能的螺栓区域检测神经网络。

进一步，在步骤3)中，生成对抗网络的输入是一张分辨率无法确定的螺栓区域图像，输出的是螺栓插销缺失的判断结果，因此需要设计一个保证多分辨率下高准确率的生成对抗网络，该生成对抗网络的模型结构分为生成器网络、编码器网络和判别器网络；

生成器网络的作用是根据输入的图像输出最符合正常样本的图像，对于从无人机巡检输电线路采集的图像中检测出的螺栓区域像素无法确定，因此基于Encoder-Decoder框架搭建多尺度特征融合神经网络模型，生成器网络的前半部分是Encoder部分，分为三层，每层由固定数量的普通卷积层和残差卷积层进行对应尺度的特征处理，并由下采样层结束，生成器网络的后半部分是Decoder部分，该部分即为前半部分的倒转结构，Encoder到Decoder部分中间的特征融合方式采用的是非对称特征融合，即后半部分能够接受不同尺度的前半部分特征，先将输入图像进行两次的大小调整后，将三个不同尺度的图像同时传入Encoder部分的三层结构，以适应原本无法确定具体像素大小的螺栓区域图像；

编码器网络的作用是根据输入的图像输出该图像对应的潜在空间向量，便于后续的损失比较，判别器网络的作用是根据输入的真实数据和生成数据得出判别结果，对于编码器网络来说，使用5层卷积层进行下采样的操作，将生成器网络生成的数据压缩成固定维数的空间向量，对于判别器网络来说，用6层卷积层进行特征提取，根据给定的损失函数，在训练迭代后能完成判别器网络与生成器网络的平衡，达到整个生成对抗网络的收敛。

进一步，在步骤4)中，需要分别设计生成对抗网络三个部分的损失函数，生成器网络的损失函数L

L

式中，x表示真实数据，x～px表示真实数据服从的概率分布，E

编码器网络的损失函数L

L

式中，G

因为训练的过程中需要将生成器网络和编码器网络当作一个整体进行训练以达到收敛，所以总的损失函数L

L

式中，w

判别器网络的损失函数L

式中，D表示判别器网络的输出，G表示生成器网络的输出，

根据设计的生成对抗网络的损失函数进行网络的训练，训练过程如下：输入正常样本图片经过生成器网络的Encoder部分，输出与潜在空间变量相同大小维度的向量，经过生成器网络的Decoder部分，输出生成的图像数据，生成的图像数据经过编码器网络输出潜在空间变量，生成的图像数据

进一步，在步骤5)中，将两个网络进行串联实现二阶段判断螺栓插销缺失缺陷的判别，输入含有螺栓的输电线路的待测图像，由螺栓区域检测神经网络检测出所有螺栓所在区域，将区域图像输入到生成对抗网络进行缺陷判别，最终输出的是异常得分，根据测试集得到的阈值来判断是否存在缺陷，若输出小于阈值，说明由输入的真实图像数据生成的图像数据与正常样本接近，即没有缺陷，若输出大于或等于阈值，说明由输入的真实图像数据生成的图像数据与正常样本不够接近，即存在缺陷。

本发明的第二目的通过下述技术方案实现：一种二阶段的输电线路中螺栓插销缺失缺陷检测系统，用于实现上述的二阶段的输电线路中螺栓插销缺失缺陷检测方法，其包括：

数据集构建模块，收集整理无人机巡检输电线路时采集到的高分辨率图像进行螺栓目标检测数据集的构建，并标注出输电线路上的螺栓所在的矩形区域，裁剪出部分螺栓矩形区域图像，将图像作为螺栓区域数据集并划分为训练集和测试集，训练集只包含正常的图像，测试集包含正常图像和异常图像；

第一阶段神经网络构建模块，基于YOLOv7网络模型构建螺栓区域检测神经网络，将YOLOv7网络模型其中的ELAN模块中的Conv替换为FasterNet中的PConv，将其中的SPPSCPC模块后面加上BiFormer注意力机制中的BRA模块，以提升对于小目标检测的精度并降低螺栓区域检测神经网络的参数量，通过螺栓目标检测数据集进行训练和测试，保存最优性能的螺栓区域检测神经网络作为第一阶段使用的神经网络；

第二阶段神经网络构建模块，用于构建生成对抗网络进行螺栓插销缺失缺陷的判别，生成对抗网络的生成器网络基于Encoder-Decoder框架搭建，并将不同尺度的特征进行融合，以提升对于不同像素螺栓区域图像的识别精度，目的是生成正常情况下的螺栓图像；生成对抗网络的编码器网络使用5层卷积层进行搭建，提取输入图像的特征从而输出对应的潜在变量，目的是节省测试阶段的时间成本；生成对抗网络的判别器网络使用6层卷积层进行搭建，同时将生成的螺栓图像与真实的螺栓图像进行比对，并判断是否存在螺栓插销缺失的缺陷；

处理模块，用于设计生成对抗网络的损失函数，将螺栓区域数据集进行数据增强操作，将螺栓区域数据集的训练集放入生成对抗网络进行训练，保存最优性能的生成对抗网络作为第二阶段使用的神经网络，再用包含正常图像和异常图像的测试集进行网络测试，得到具体的阈值用于缺陷判断；

检测与判断模块，用于将最优性能的螺栓区域检测神经网络和生成对抗网络进行串联，输入含有螺栓的输电线路的待测图像，经过第一阶段的螺栓区域检测神经网络检测出图像中螺栓所在的区域图像，再将区域图像输入第二阶段的生成对抗网络得到螺栓插销缺失缺陷的判别结果。

本发明的第三目的通过下述技术方案实现：一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的二阶段的输电线路中螺栓插销缺失缺陷检测方法。

本发明的第四目的通过下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的二阶段的输电线路中螺栓插销缺失缺陷检测方法。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明针对螺栓插销缺陷样本较少、样本不均衡的问题设计了生成对抗网络，在训练阶段只需使用正常样本的数据来进行训练即能达到网络的收敛。

2、本发明采用基于YOLOv7网络模型构建的螺栓区域检测神经网络，在保证实时性的同时，针对于螺栓区域普遍是小目标的情况下，提升了网络对于小目标的检测精度。

3、本发明针对于螺栓区域大小不确定的问题，设计了多尺度融合的生成器网络，并且设计编码器网络辅助训练，使得生成器网络的生成效果更加逼真。

4、本发明设计的二阶段的输电线路中螺栓插销缺失缺陷检测方法在推理判断时，并不需要用到编码器网络，进一步保证了检测缺陷的实时性。

附图说明

图1为螺栓插销缺失的异常情况以及正常情况示意图。

图2为生成对抗网络的结构图。

图3为生成对抗网络的训练流程图。

图4为本发明系统的架构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例提供了一种二阶段的输电线路中螺栓插销缺失缺陷检测方法，其包括以下步骤：

1)整理无人机电力巡检中收集到的包含螺栓的输电线路图像(高分辨率图像)进行螺栓目标检测数据集的构建，使用labelme标注软件先标注出螺栓所在的区域，一份图像对应一份json格式的标注文件。随后使用python编程语言，使用自带的io库编写脚本，脚本的功能是根据对应的标注文件，把所有螺栓区域裁剪出来，并构成螺栓区域数据集。再次使用labelme标注文件进行图像级标注，将存在螺栓插销缺失缺陷的图像标注为异常样本，否则标记为正常样本，如图1所示。将螺栓区域数据集作为螺栓区域数据集并按照比例划分为训练集和测试集，在训练集中只包含正常的图像，在测试集中包含正常图像和异常图像。

2)构建螺栓区域检测神经网络作为第一阶段使用的神经网络，为了实现螺栓区域检测神经网络对于输电线路图像中螺栓区域的定位功能，螺栓区域检测神经网络需要对小目标有较强的敏感性，同时作为二阶段方法中的第一阶段检测环节，要设计的螺栓区域检测神经网络需要有良好的实时处理能力和较少的参数量，基于上述两种原因，选用YOLOv7网络模型作为螺栓区域检测神经网络的基础，该螺栓区域检测神经网络基于YOLOv7网络模型扩展的高效层聚合网络和模型缩放策略，符合实时检测器的标准，但是对于小目标检测的精度不够理想；

所以为了加强该螺栓区域检测神经网络对于小目标检测的敏感度，在YOLOv7网络模型结构中的SPPSCPC模块后添加BiFormer注意力机制中的BRA模块，SSPSCPC模块在提取完特征后，需要进行下采样操作，这一步会损失局部的特征，所以加上BiFormer注意力机制可以加强对于局部特征的学习，具体来说：BRA模块是一种新的双层路由机制，它以一种查询自适应的方式支持内容感知的稀疏模式，能有效提高小目标的检测精度；

螺栓区域检测神经网络的推理速度与网络的参数量息息相关，通常来说网络的参数量越多，推理速度越慢。为了减少该螺栓区域检测神经网络的参数量，将YOLOv7网络模型结构中的ELAN模块中的普通Conv替换为FasterNet中的PConv，具体来说：PConv是一种新的卷积模块，可以通过同时减少冗余计算和内存访问，可以更有效地提取空间特征，只需在输入通道的一部分上应用正则Conv进行空间特征提取，而不影响其余通道，所以PConv的参数量仅为常规Conv的1/16，具体计算公式如下：

式中，Flops

将螺栓目标检测数据集进行数据增强的操作，防止训练过程中出现过拟合的情况，将数据增强后的数据集输入基于YOLOv7网络模型构建的螺栓区域检测神经网络进行训练和测试，保存最优性能的螺栓区域检测神经网络。

3)为了解决螺栓图像异常样本极少的问题，构建生成对抗网络作为第二阶段使用的神经网络，通过该生成对抗网络实现高精度判断螺栓是否存在插销缺失缺陷，生成对抗网络(Generative Adversarial Networks，GANs)能够生成高质量的样本数据，包括图像、文本、音频等。这些生成的样本在视觉和感知上通常与真实数据难以区分，有助于提高数据生成任务的性能。生成对抗网络的输入是一张分辨率无法确定的螺栓区域图像，输出的是螺栓插销缺失的判断结果，因此需要设计一个保证多分辨率下高准确率的生成对抗网络；该生成对抗网络的模型结构分为生成器网络、编码器网络和判别器网络，如图2所示；

生成器网络的作用是根据输入的图像输出最符合正常样本的图像，对于从无人机巡检输电线路采集的图像中检测出的螺栓区域像素无法确定，因此基于Encoder-Decoder框架搭建多尺度特征融合神经网络模型，生成器网络的前半部分是Encoder部分，分为三层，在这次实施例中第一层的卷积层的高为64，宽为64，通道数为3，第二层的卷积层的高为16，宽为16，通道数为256，第三层的卷积层的高为4，宽为4，通道数为1024，最后Encoder部分输出的是一维向量。生成器网络的后半部分是Decoder部分，该部分即为前半部分的倒转结构，对应层的大小也相应调整。Encoder到Decoder部分中间的特征融合方式采用的是非对称特征融合，即后半部分可以接受不同尺度的前半部分特征，先将输入图像进行两次的大小调整，将三个不同尺度的图像分别是128*128，64*64，32*32，同时传入Encoder部分的三层结构，以适应原本无法确定具体像素大小的螺栓区域图像；

编码器网络的作用是根据输入的图像输出该图像对应的潜在空间向量便于后续的损失比较，判别器网络的作用是根据输入的真实数据和生成数据得出判别结果，对于编码器网络来说，使用5层卷积层进行下采样的操作，将生成器网络生成的数据压缩成固定维数的空间向量，对于判别器网络来说，用6层卷积层进行特征提取，根据给定的损失函数，在训练迭代后能完成判别器网络与生成器网络的平衡，达到整个生成对抗网络的收敛。

4)分别设计生成对抗网络三个部分的损失函数，用以网络训练时反向传播更新模型参数，生成器网络分为两个Encoder部分G

L

式中，x表示真实数据，x～px表示真实数据服从的概率分布，E

编码器网络的作用就是将生成器网络输出的重建图像压缩成向量，与生成器网络中Encoder部分输出的向量维度是一致的，在计算比较函数更新参数时使得生成器网络的生成效果更加逼真。编码器网络的损失函数L

L

式中，G

因为训练的过程中需要将生成器网络和编码器网络当作一个整体进行训练以达到收敛，所以总的损失函数L

L

式中，w

判别器网络的损失函数L

式中，D表示判别器网络的输出，G表示生成器网络的输出，

根据设计的生成对抗网络的损失函数进行网络的训练，训练过程如下：输入正常样本图片经过生成器网络的Encoder部分，输出与潜在空间变量相同大小维度的向量，经过生成器网络的Decoder部分，输出生成的图像数据，生成的图像数据经过编码器网络输出潜在空间变量，生成的图像数据

5)将最优性能的螺栓区域检测神经网络和生成对抗网络进行串联实现二阶段判断螺栓插销缺失缺陷的判别，输入含有螺栓的输电线路的待测图像，由螺栓区域检测神经网络检测出所有螺栓所在区域的坐标信息，根据坐标信息得到螺栓所在的区域，将对应区域的图像输入到生成对抗网络进行缺陷判别，在判别过程中不需要用到编码器网络，进一步提升了检测的实时性。生成对抗网络最终输出的是一个具体的异常得分，如果得分越高，说明存在异常的概率越大，得分越小说明是正常数据的概率越大。根据测试集得到的具体阈值来判断是否存在缺陷，若输出小于阈值，说明由输入的真实图像数据生成的图像数据与正常样本接近，即没有缺陷，若输出大于或等于阈值，说明由输入的真实图像数据生成的图像数据与正常样本不够接近，即存在缺陷。

最终，输出图像中所有螺栓插销缺失缺陷判断结果。

实施例2

本实施例公开了一种二阶段的输电线路中螺栓插销缺失缺陷检测系统，用于实现实施例1所述的二阶段的输电线路中螺栓插销缺失缺陷检测方法，如图4所示，该系统包括以下功能模块：

数据集构建模块，收集整理无人机巡检输电线路时采集到的高分辨率图像进行螺栓目标检测数据集的构建，并标注出输电线路上的螺栓所在的矩形区域，裁剪出部分螺栓矩形区域图像，将图像作为螺栓区域数据集并划分为训练集和测试集，训练集只包含正常的图像，测试集包含正常图像和异常图像；

第一阶段神经网络构建模块，基于YOLOv7网络模型构建螺栓区域检测神经网络，将YOLOv7网络模型其中的ELAN模块中的Conv替换为FasterNet中的PConv，将其中的SPPSCPC模块后面加上BiFormer注意力机制中的BRA模块，以提升对于小目标检测的精度并降低螺栓区域检测神经网络的参数量，通过螺栓目标检测数据集进行训练和测试，保存最优性能的螺栓区域检测神经网络作为第一阶段使用的神经网络；

第二阶段神经网络构建模块，用于构建生成对抗网络进行螺栓插销缺失缺陷的判别，生成对抗网络的生成器网络基于Encoder-Decoder框架搭建，并将不同尺度的特征进行融合，以提升对于不同像素螺栓区域图像的识别精度，目的是生成正常情况下的螺栓图像；生成对抗网络的编码器网络使用5层卷积层进行搭建，提取输入图像的特征从而输出对应的潜在变量，目的是节省测试阶段的时间成本；生成对抗网络的判别器网络使用6层卷积层进行搭建，同时将生成的螺栓图像与真实的螺栓图像进行比对，并判断是否存在螺栓插销缺失的缺陷；

处理模块，用于设计生成对抗网络的损失函数，将螺栓区域数据集进行数据增强操作，将螺栓区域数据集的训练集放入生成对抗网络进行训练，保存最优性能的生成对抗网络作为第二阶段使用的神经网络，再用包含正常图像和异常图像的测试集进行网络测试，得到具体的阈值用于缺陷判断；

检测与判断模块，用于将最优性能的螺栓区域检测神经网络和生成对抗网络进行串联，输入含有螺栓的输电线路的待测图像，经过第一阶段的螺栓区域检测神经网络检测出图像中螺栓所在的区域图像，再将区域图像输入第二阶段的生成对抗网络得到螺栓插销缺失缺陷的判别结果。

实施例3

本实施例公开了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例1所述的二阶段的输电线路中螺栓插销缺失缺陷检测方法。

本实施例中的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

实施例4

本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1所述的二阶段的输电线路中螺栓插销缺失缺陷检测方法。

本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑、可编程逻辑控制器(PLC，Programmable Logic Controller)、或其它具有处理器功能的终端设备。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其它的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。