基于改进YOLOX的输电线路螺栓缺销故障检测方法

技术领域

本发明属于智能电力巡检技术领域，具体涉及基于改进YOLOX的输电线路螺栓缺销故障检测方法。

背景技术

螺栓作为输电线路中连接各金具的重要部件，由于长期受到野外风吹、雨淋等天气影响，在外力的拉扯作用下，螺栓销子非常容易脱落，一旦缺失，被紧固件会产生松动、缺失等各种问题，进而引发安全隐患。及时检测出缺销螺栓并进行替换能保障输电线路安全运行。

螺栓在航拍图像中占比很小，加上拍摄角度的限制，缺销螺栓的销孔在图像中几乎不可见。此时，缺销螺栓和本身不含开口销的正常螺栓高度相似，容易被误认为正常螺栓。除此之外，由于电力系统绝大多数时间处于稳定状态，航拍图像中缺销螺栓数量远远小于正常螺栓。因此，与输电线路其他部件相比，缺销螺栓更难识别，现有技术中公开有如下现有技术，克服此识别困难的问题。

授权公开号为CN114677339A的中国专利，公开了一种引入注意力机制的输电线路螺栓脱销缺陷检测方法，能够用于在无人机平台上高效运行。该方法包括S1:基于无人机影像分拣标注获得输电线路螺栓脱销缺陷数据集；S2:预处理所述数据集，对数据进行清洗，使数据集内正常螺栓和脱销螺栓的样本数量符合1:1的比例，并将数据集按照4:1比例划分出训练集和测试集；S3:搭建注意力机制改进的FCOS模型，所述FCOS模型包括：主干网络、特征金字塔网络和引入注意力机制改进Head；S4:利用所述训练集对模型进行迭代训练，根据收敛效果确定模型；S5:利用测试集进行测试，通过性能指标对比，得到最优的螺栓脱销缺陷检测模型。

该专利用到的FCOS模型是一种无锚框的目标检测算法，具有计算量小、速度快的优点，但是和本文所提检测算法相比，还是存在一定不足，本专利平均检测精度达到83.25％，参数量为24.7MB，计算量(GFLOPs)为22.14G，FPS为4.45帧/秒。

授权公开号为CN115393714A的中国专利，公开了一种输电线路缺销螺栓弱监督检测方法，利用图像级标签训练集对输电线路中缺销螺栓进行检测，针对螺栓数据集中困难样本，在交叉熵损失函数中引入自适应损失值调节因子，形成自适应加权交叉熵损失函数，模型以难易样本的分类得分程度为依据，动态调节难易样本的损失值，增大困难样本在损失值中占比，增强模型对困难样本的学习程度，从而提高缺销螺栓的检测精度。

该专利以FasterR-CNN框架为基础来加入GRM模块并构建GR-RCNN，虽然能提高小目标检测精度，但是FasterR-CNN作为双阶段目标检测算法，其检测速度较慢，对于缺销螺栓检测要求具有较高的实时性，以提高检测效率。本专利采用YOLOX算法作为基础，并通过改进，不仅保持较高的检测精度，且其检测速度可达到4.45帧/秒，具有较大优势。

现有技术的缺陷：目前检测算法只是运用在电力巡检图像的检测上，还未部署到巡检无人机上进行实时检测。

发明内容

为了解决上述技术问题，本发明提供了一种基于改进YOLOX的输电线路螺栓缺销故障检测方法，减少训练参数，提升检测精度。

为了达到上述技术效果，本发明是通过以下技术方案实现的：一种基于改进YOLOX的输电线路螺栓缺销故障检测方法，包括以下步骤：

S1、构建输电线路缺销螺栓数据集，并将数据集划分为训练集、验证集和测试集；

S2、改进YOLOX模型进行：将加强特征提取网络替换为简化后的BiFPN模块，并在每个分支后添加CBAM注意力机制模块；

S3、用训练集对改进后的YOLOX网络进行训练，得到训练模型；

S4、根据训练模型，输入待检测的螺栓图片，输出检测图片，完成对输电线路图片中螺栓缺销的检测。

进一步的，所述S1中按8:1:1的比例将数据集划分为训练集、验证集和测试集；

进一步的，所述步骤S2中利用Focus、CBS、Resblockbodyi，以及SPPBottleneck模块构建主干特征提取网络，在主干特征提取网络中采用三个特征层输入BiFPN加强特征提取网络模块进行特征融和，其具体操作包括：

S2.1、采用普通卷积、批量归一化操作以及SiLU激活函数构建Conv2D_BN_SiLU模块，将残差块的堆叠进行拆分，主干部分继续进行残差堆叠，另一部分经过少量处理直接连接到最后构建CSPLayer层；

S2.2、输入图片在主干特征提取网络中进行特征提取，获取三个有效特征层P3、P4、P5，由1×1卷积进行通道调整获得加强特征提取网络的输入，通过上采样、下采样以及堆叠获得该模块的输出P3_out、P4_out、P5_out；

S2.3、将步骤S2.2获得的输出作为注意力机制CBAM的输入，进行通道以及空间的处理，分别进行全局平均池化和全局最大池化，再对处理的结果进行相加，然后取一个sigmoid，最后由空间注意力机制在每一个特征点上取最大值和平均值。

进一步的，所述步骤S3中，将训练分为冻结和解冻两个阶段，第一阶段冻结主干网络迭代50次，一次训练所选取的图片数Freeze_batch_size＝4，训练学习率Freeze_lr＝0.001；第二阶段对主干特征提取网络进行解冻，再迭代50轮次，此阶段一次训练所选取的图片数Unfreeze_batch_size＝4，训练学习率Unfreeze_lr＝0.0001。

本发明的有益效果是：

本发明提供的检测方法，采用简化后的BiFPN替代原网络中的PANet网络，增强模型对不同特征的学习能力；加入CBAM注意力机制，增强网络对小目标的识别能力，能更好的检测出电力巡检图片中的缺销螺栓；相较于现有的检测方法，检测精度更高和检测速度更快。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍。

图1为本发明的流程图。

图2为本发明提供的改进YOLOX网络的结构图。

图3为本发明提供的CBAM模块总体结构图。

图4为本发明提供的一种基于改进YOLOX算法的输电线路螺栓缺销故障检测方法的网络训练损失曲线图。

图5为本发明实验中缺销螺栓检测精度曲线图。

图6为本发明提供的实例检测效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参阅图1所示，本发明提供的一种基于改进YOLOX的输电线路螺栓缺销故障检测方法，具体包括如下步骤：

1)收集电力巡检过程中拍摄的图片数据，对图像数据进行预处理后，将预处理后的数据按比例划分为训练集、验证集和测试集；

所述预处理，具体为：

1-1)在电力巡检过程中，获得输电线路的图像数据；

1-2)根据所收集图像是否包含缺销螺栓以及数量，对图像进行筛选，使得正常螺栓和缺销螺栓数量大致相当；

1-3)使用labelimg图像标注工具，对初步筛选后的图像进行标注，主要标注出正常螺栓以及缺销螺栓的位置信息和分类信息；

1-4)按8:1:1比例，将标注后的数据划分为训练集、验证集和测试集。

2)对YOLOX模型进行改进，将其加强特征提取网络PANet替换为BiFPN，以提高特征融合能力，并在其分支后引入CBAM注意力机制模块；

在本实施例中，为了将BiFPN模块更好的引用到YOLOX网络中，将其简化为三输入结构，首先删去只有一条输入边的节点，以此产生一个简化的双向网络；其次在属于同一层级的输入、输出节点间增加横向连接；最后利用快速规范化融合为不同分辨率的特征增加权重，让网络能够学习到不同分辨率的特征。将其中间层融合特征描述为：

改进方法如下：

2-1)Focus模块，将输入的图片中每隔一个像素取一个值，获得四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到通道信息，输入通道随之扩充四倍；

2-2)Conv2D_BN_SiLU模块，由普通卷积、批量归一化和SiLU激活函数组成；

2-3)CSPLayer结构，将残差块的堆叠进行拆分，主干部分继续进行残差堆叠，另一部分经过少量处理直接连接到最后。

2-4)SPPBottleNeck结构，利用大小分别为1×1、5×5、9×9以及13×13的池化核对输入进来的特征层进行最大池化，将最大池化的结果再由Conv2D_BN_SiLU模块进行处理。

2-5)YOLOHead结构，将输入的特征层先经过Conv2D_BN_SiLU操作，分为分类层和回归预测层，最后输出结果。

对输入的特征层分别进行全局平均池化和全局最大池化，将得到的结果进行相加，然后取一个sigmoid，再将此值乘上原输入特征层；再把该方式得到的特征层进行逐特征点的通道上取最大值和平均值，然后再取一个sigmoid，最后乘上原输入特征层。

3)将图片输入大小设置为640×640×3。

4)利用Focus结构，对图片特征初步提取，此时图片大小为320×320×12。

5)进一步利用Conv2D_BN_SiLU结构对特征进行提取，此时图片大小为320×320×64。

6)进一步利用4次Conv2D_BN_SiLU+CSPLayer组合结构对特征进行提取，并在最后一个中加入SPPBottleNeck结构对特征进行提取，四次处理后的图片大小分别为160×160×128，80×80×256，40×40×512，20×20×1024。

7)从主干特征提取网络中引出3个有效特征层feat1、2、3，特征层大小分别为80×80×256，40×40×512，20×20×1024。

8)构建BiFPN层，从主干网络引出的初步特征层经过1×1卷积通道调整后，就可以作为输入P3_in、P4_in、P5_in，对P5_in进行上采样，上采样后与P4_in堆叠获得P4_td；之后对P4_td进行上采样，上采样后与P3_in堆叠获得P3_out；对P3_out进行下采样，下采样后与P4_in和P4_td堆叠获得P4_out；对P4_out进行下采样，下采样后与P5_in堆叠获得P5_out。

9)对BiFPN层得到的三个输出P3_out、P4_out和P5_out特征层加入通道、空间注意力机制对特征进一步的融合。

10)通过对三个特征层进行增强融合后，输入到YOLOHead网络进行分类预测，实现对电力巡检图像中正常螺栓和缺销螺栓的类别、预测的置信度以及位置信息。

使用VOC2007数据集对改进的YOLOX网络模型进行训练，获得预训练权重W

使用预训练权重，对网络再次进行训练，总共训练100轮次，前50轮将主干网络进行冻结训练，设置Freeze_batch_size＝4，学习率Freeze_lr＝0.001；后50轮对主干网络进行解冻训练，设置Unfreeze_batch_size＝4，学习率Unfreeze_lr＝0.0001。

取损失值最小的训练权重W2，输入测试集进行分类预测，预测结果的mAP值为92.56％。

综上，本发明提供的检测方法，采用简化后的BiFPN替代原网络中的PANet网络，增强模型对不同特征的学习能力；加入CBAM注意力机制，增强网络对小目标的识别能力，能更好的检测出电力巡检图片中的缺销螺栓；相较于现有的检测方法，检测精度更高和检测速度更快。

以上公开的本发明优选实施例只是用于帮助阐述本发明，优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。