一种基于深度学习的复合绝缘子均压环倾斜故障检测方法

技术领域

本发明涉及图像模式识别与计算机视觉的技术领域，尤其是指一种基于深度学习的复合绝缘子均压环倾斜故障检测方法。

背景技术

绝缘子在输电网中是非常重要且常见的部件，起着绝缘以及支撑等作用，一旦出现故障，就会造成输电线之间或者与杆塔发生接触，从而导致供电中断的事故，对社会经济和民生带来很大的影响。因复合绝缘子串具有质量轻、抗污闪性能优、安装维护方便等优点，被广泛应用。但是复合绝缘子的外形结构比较特殊，绝缘子串与输电线的杆塔、导线等金属部件之间存在的杂散电容，导致绝缘子串间的电压分布不均匀，且电压等级越高，所需的绝缘子串片数越多，电压分布便越不均匀，以致电场分布严重畸变，导线端的绝缘子承担的电压较高，因此会出现击穿、放电、劣化和加速老化等现象。而解决这类问题的一个非常有效的方法便是在绝缘子串上安装均压环，其可以使最大场强从高压电极与第一片绝缘子片间转移到均压环的外侧，降低最大场强值，电场分布趋于均匀，从而较少了电晕损耗、漏电起痕和电蚀损现象的产生。

均压环安装时，与复合绝缘子片的端面相互平行且同心时效果最好，但是均压环长期暴露在野外，受强电场、机械应力和恶劣天气等的影响，极易发生倾斜。均压环倾斜，加剧了电场畸变，使得上部两个支撑架联板处更容易放电，削弱了对绝缘子表面的电场的屏蔽能力，加剧了端部局部电弧对绝缘子表面的腐蚀和污闪。而且均压环倾斜导致的放电也是致使均压环发生断裂、表面腐蚀的主要原因。因此及时检测到均压环倾斜故障，是电力运维中很重要的一部分工作。

目前对均压环的巡检以人工巡检方式为主，直升机、机器人和无人机巡检为辅，取决于人工对图像的判读，这种方式不仅效率低下，也需要大量的人力成本。近年来随着数字图像处理和以深度学习为主要方法的机器视觉的发展，图像识别和分割等方向取得了重大的成就，将这些技术应用到输电线均压环的巡检中是未来巡检的趋势。目前针对均压环的检测研究不多，常采用的是通过图像处理方法局部的轮廓特征进行识别，但从检测结果来看，该方法对均压环的检测轮廓不完整，无法实现很准确的定位，在复杂背景下不具有鲁棒性。也有研究运用Faster R-CNN目标检测网络实现对均压环的识别与定位，为了判断均压环是否倾斜，其采取的手段为：根据目标检测网络得到的定位框的坐标，对定位框进行人为的扩大如(x

为了提高均压环倾斜故障检测的准确率并能在复杂背景下保持较好的鲁棒性，发明一种基于深度学习的复合绝缘子均压环倾斜故障检测方法具有较高的实际应用价值。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的复合绝缘子均压环倾斜故障检测方法，首先运用实例分割算法分割得到包含均压环在内的复合绝缘子局部图像，再设计一种适合于均压环关键点检测的深度学习网络模型(称为关键点检测模型)，并不断调参重复训练，提高均压环长轴两端端点的定位精度，最后再根据均压环两端端点坐标计算得到的直线角度和复合绝缘子整体角度两者的夹角，设定阈值判断倾斜状态，整个方法提高均压环倾斜故障检测的准确率并能在复杂背景下保持较好的鲁棒性。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的复合绝缘子均压环倾斜故障检测方法，包括以下步骤：

1)收集电力巡检过程中拍摄的电力设备可见光图，整理出其中主要含有复合绝缘子的图片来构建实例分割数据集，运用图像标注工具labelme人工标注复合绝缘子所在区域；

2)利用数据增强算法对实例分割数据集进行数据扩充，增大数据量；

3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出复合绝缘子所在区域的实例分割模型，运用该模型对实例分割数据集中的每张图片进行分割，并将分割得到的区域切割保存下来，汇总成为关键点检测数据集；

4)运用图像标注工具labelme人工标注关键点检测数据集中均压环长轴两端的端点作为关键点，每张图片生成一个标注文件，使用数据增强算法进行数据扩充；

5)针对关键点检测数据集，设计一个适合于均压环关键点检测的深度学习模型，称为关键点检测模型，设定不同的参数对模型进行调试训练，保存得到在验证集中表现最好的关键点检测模型；

6)在测试推理阶段，将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部复合绝缘子区域，输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值，根据两点的坐标值，计算两点构成的直线的角度，并计算其与整体复合绝缘子之间的夹角，最后根据设定的阈值判断均压环的倾斜状态。

在步骤1)中，为了步骤3)中切割出来的复合绝缘子所在区域尽可能地不包含背景，标注范围为整串复合绝缘子的最小外接多边形，且保证包含完整的均压环。

在步骤2)中，利用数据增强算法对图像进行数据扩充，包括：

a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；

b、随机图像裁剪：随机裁剪出整幅图像的五分之四；

c、随机水平翻转；

d、随机对比度与色彩转变。

在步骤3)中，采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度；该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜；运用训练好的该模型对实例分割数据集中的每张图片进行分割，便能够得到每张图片中各个复合绝缘子所在区域的掩膜以及其最小外接矩对应的图像部分，假设为R，计算掩膜二值图的角度也就是图像中复合绝缘子的朝向角度，并利用该角度对R和掩膜进行旋转，使得R中的复合绝缘子整体处于竖直方向，最后根据掩膜将R中复合绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据，这样处理的好处是切割下来的图像区域将最小程度地包含图像背景，且复合绝缘子都处在竖直的方向，减小了关键点检测模型将要学习的场景复杂度。

在步骤4)中，均压环在现实当中为一个圆环，但在二维的图像当中呈现出的是椭圆形的形状，为了方便计算均压环的朝向角度，运用图像标注工具labelme人工标注椭圆形均压环长轴两端的端点为关键点，标注类型选择为point，且标注关键点的时候需要注意顺序，当复合绝缘子整体朝上时，均压环左边的端点为第一个关键点，右边的端点为第二个关键点，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应；为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括：

a、随机水平或者垂直翻转；

b、随机对比度与色彩转变。

在步骤5)中，关键点检测数据集中的图片只包含一个复合绝缘子以及其均压环，而均压环在图中总是呈现出椭圆形，与图片其它部分相比识别度大，因此只需要设计一个轻量的适合于均压环关键点检测的深度学习网络模型即可，称为关键点检测模型，具体情况如下：

a、网络结构

将输入图像大小调整插值到一个固定的宽高，但要保证输入到网络中的图像宽高都为16的倍数，假设网络输入的图像规格为[b×3×h×w]，其中b为batch size，3为图片的RGB三个通道数，h为图片的高，w为图片的宽；

整个网络结构分成2个主要部分：特征提取骨干网络backbone和关键点坐标回归网络coord_head，各部分具体含义及详细结构如下：

特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果好且被广泛应用的HourglassNet，HourglassNet采用类似沙漏的下采样-上采样结构的基础模块Hourglass模块串接而成，通过Hourglass模块对称结构进行特征提取，使得网络不断重复自底向上和自顶向下的特征传递过程，从而整合局部和全局信息，捕捉不同尺度下的特征，更好地获取关键点之间的相对关系；特征提取骨干网络backbone由两个部分组成，第一部分的主要作用为将输入图像的通道数由3转换为128，具体网络设计采用的是两层的卷积核为1×1的二维卷积，第一层卷积将通道数变为64，第二层卷积将通道数变为128，即经过第一部分的两层二维卷积之后，网络中的数据流规格变为[b×128×h×w]；第二部分使用的是一个经典的Hourglass模块，该模块的下采样的左侧结构主要是卷积层和下采样池化层，目的是对图像特征进行提取，同时不断降低特征图的分辨率，以滤除冗余特征，学习鲁棒性更强的特征信息；而右侧的上采样结构主要由卷积层和上采样层构成，以恢复到与左侧特征图相同的分辨率，从而能够通过相同尺寸的特征图融合，来实现对底层和高层特征的信息融合，提高对关键点定位的精度；经过第二部分的Hourglass模块后，网络中的数据流规格依然为[b×128×h×w]；

关键点坐标回归分支coord_head的作用为直接回归得到图中关键点的坐标以及各坐标预测为关键点的置信度；该分支需要设定一个超参数N，因均压环只有两个关键点，因此令N＝2；该分支以特征提取骨干网络backbone的输出作为输入，其网络结构主要有第一卷积层、第一最大池化层、第二卷积层、第二最大池化层以及一个平均池化层；第一卷积层的参数为输出通道数为64，卷积核为3×3，步长为1，padding为1，即通过第一卷积层后数据流规格变为[b×64×h×w]；通过第一最大池化层后数据流规格变为[b×64×h/2×w/2]；第二卷积层的输出通道数设为N*3，因此通过第二卷积层后数据流规格变为[b×(N*3)×h/2×w/2]；通过第二最大池化层后数据流规格变为[b×(N*3)×h/4×w/4]；经过最后的平均池化层后数据流规格变为[b×(N*3)×1×1]；也就是每一张图将会有N*3个预测输出，其中前2*N个输出代表的是N个关键点的坐标，后面的N个输出是对应关键点坐标被预测为关键点的置信度；

b、损失函数设计

训练过程中的多任务损失Loss由两部分损失组成，分别定义为Coord

为了帮助模型的学习，有利于模型的拟合，训练模型的时候除了传进去标注文件中关键点的坐标之外，还需将根据关键点坐标生成的高斯热图heatmap

其中，i为行坐标，j为纵坐标，且0≤i＜w,0≤y＜h，w为图片P的宽度，h为图片P的高度，heatmap

其中，δ为高斯函数调节因子；

Coord

其中smooth

Score

Score

总的训练损失为两部分损失之和，设两者比重分别为α和β，得：

Loss＝α*Coord

c、设置训练参数

模型所有层均采用Kaiming参数初始化方法，设置实验优化器为Adam，初始学习率设为0.001。

在步骤6)中，在测试推理阶段，将训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部复合绝缘子区域，输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值(x

最后再设定一个角度阈值，当θ大于该阈值时，则判断均压环为倾斜故障，需要检修。

本发明与现有技术相比，具有如下优点与有益效果：

1、相对使用传统的数字图像处理算法识别与定位均压环而言，本发明使用深度学习的实例分割模型更具备通用性，且能够在复杂的背景下精确定位均压环。

2、现有技术使用目标检测算法得到均压环的定位框，再依据多次实验的经验人为地扩大定位框以包含绝缘子片，以便在后续处理中计算绝缘子片与均压环之间的夹角，该方法不仅需要耗费很多时间来做实验确定扩大定位框的方式，扩大后的定位框也不能保证大部分情况下都能将邻近绝缘子片包含进来，以至于后续处理无法进行。而本发明使用实例分割模型直接将包含均压环在内的复合绝缘子全部分割出来，便不存在以上问题，泛化性能好。

3、同样，采用Canny边缘检测识别均压环两端端点的方法精确度较低，难以满足后续计算角度所需要的高精度要求。而本发明设计了一个轻量的适合于均压环关键点检测的深度学习网络模型(称为关键点检测模型)，不仅能够达到实时的要求，同时能够精确地定位均压环两端的关键点。

附图说明

图1为本发明方法流程图。

图2为关键点检测模型训练与测试流程图。

图3为均压环与绝缘子片端面夹角示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1至图3所示，本实施例所提供的基于深度学习的复合绝缘子均压环倾斜故障检测方法，包括以下步骤：

1)电力公司积累下来的电力巡检红外图中包含有各式各样的电力设备，在本发明中只整理并使用那些其中主要目标为复合绝缘子且均压环完整可见的可见光图。为了步骤3)中切割出来的复合绝缘子所在区域尽可能地不包含背景，标注范围为整串复合绝缘子的最小外接多边形，且保证包含完整的均压环。得到实例分割数据集。

2)为了避免模型过拟合以及提高模型的泛化能力，利用数据增强算法对实例分割数据集进行数据扩充，包括(全部步骤的随机概率皆为0.5)：

a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；

b、随机图像裁剪：随机裁剪出整幅图像的五分之四；

c、随机水平翻转；

d、随机对比度与色彩转变。

3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出包含均压环在内的复合绝缘子所在区域的实例分割模型。

本实施例采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度，使得mAP等指标达到了接近二阶段实例分割网络Mask RCNN的水平。该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜。训练该模型时，各种超参数的设定参照Yolact++论文中试验出来的最佳参数，只需根据训练数据集中图片的规格大小修改输入到网络中的图片长和宽以及修改最终输出的类别名和类别数为1即可。运用训练好的该模型对实例分割数据集中的每张图片进行分割，便可以得到每张图片中各个复合绝缘子所在区域的掩膜以及其最小外接矩对应的图像部分(假设为R)，计算掩膜二值图的角度(也就是图像中该复合绝缘子的朝向角度)，并利用该角度对R和掩膜进行旋转，使得R中的复合绝缘子整体处于竖直方向，最后根据掩膜将R中复合绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据。得到关键点检测数据集。

4)运用图像标注工具labelme人工标注椭圆形均压环长轴两端的端点为关键点，标注类型选择为point，且需要注意标注的顺序，本实施例采用的方法为当复合绝缘子整体竖直朝上时，均压环左边的端点为第一个关键点，右边的端点为第二个关键点，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应。同样的为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括(全部步骤的随机概率皆为0.5)：

a、随机水平或者垂直翻转；

b、随机对比度与色彩转变。

5)经过上述步骤处理后，关键点检测数据集中的图片只包含一个复合绝缘子以及其均压环，而均压环在图中总是呈现出椭圆形，与图片其它部分相比识别度较大，因此只需要设计一个轻量的适合于均压环关键点检测的深度学习网络模型即可，称为关键点检测模型，具体情况如下：

a、网络结构

经统计，关键点检测数据集中的图片宽高比大约为1:5，因此输入网络前，将输入图像大小调整插值到宽为112像素，高为560像素，即网络输入的图像规格为[b×3×560×112](其中b为batch size，3为图片的RGB三个通道数)。

整个网络结构分成2个主要部分：特征提取骨干网络backbone和关键点坐标回归网络coord_head，各部分具体含义及详细结构如下：

特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果较好且被广泛应用的HourglassNet，HourglassNet采用类似沙漏的下采样-上采样结构的基础模块Hourglass模块串接而成，通过Hourglass模块对称结构进行特征提取，使得网络不断重复自底向上和自顶向下的特征传递过程，从而整合局部和全局信息，捕捉不同尺度下的特征，更好地获取关键点之间的相对关系。在本发明中，特征提取骨干网络backbone由两个部分组成，第一部分的主要作用为将输入图像的通道数由3转换为128，具体网络设计采用的是两层的卷积核为1×1的二维卷积，第一层卷积将通道数变为64，第二层卷积将通道数变为128，即经过第一部分的两层二维卷积之后，网络中的数据流规格变为[b×128×560×112]。第二部分使用的是一个经典的Hourglass模块，该模块的下采样的左侧结构主要是卷积层和下采样池化层，目的是对图像特征进行提取，同时不断降低特征图的分辨率，以滤除冗余特征，学习鲁棒性更强的特征信息；而右侧的上采样结构主要由卷积层和上采样层构成，以恢复到与左侧特征图相同的分辨率，从而可以通过相同尺寸的特征图融合，来实现对底层和高层特征的信息融合，大大提高对关键点定位的精度。经过第二部分的Hourglass模块后，网络中的数据流规格依然为[b×128×560×112]。

关键点坐标回归分支coord_head的作用为直接回归得到图中关键点的坐标以及各坐标预测为关键点的置信度。该分支需要设定一个超参数N，因均压环只有两个关键点，因此令N＝2。该分支以特征提取骨干网络backbone的输出作为输入，网络结构主要有第一卷积层、第一最大池化层、第二卷积层、第二最大池化层以及一个平均池化层。第一卷积层的参数为输出通道数为64，卷积核为3×3，步长为1，padding为1，即通过第一卷积层后数据流规格变为[b×64×560×112]；通过第一最大池化层后数据流规格变为[b×64×280×56]；第二卷积层的输出通道数设为N*3，因此通过第二卷积层后数据流规格变为[b×(N*3)×280×56]；通过第二最大池化层后数据流规格变为[b×(N*3)×140×28]；经过最后的平均池化层后数据流规格变为[b×(N*3)×1×1]。也就是每一张图将会有N*3个预测输出，其中前2*N个输出代表的是N个关键点的坐标，后面的N个输出是对应关键点坐标被预测为关键点的置信度。

b、损失函数设计

训练过程中的多任务损失Loss由两部分损失组成，分别定义为Coord

为了帮助网络的学习，有利于网络的拟合，训练网络的时候除了传进去标注文件中关键点的坐标之外，还需将根据关键点坐标生成的高斯热图heatmap

其中，i为行坐标，j为纵坐标，且0≤i＜w,0≤y＜h，w为图片P的宽度，h为图片P的高度，heatmap

其中，δ为高斯函数调节因子；

Coord

其中smooth

Score

Score

总的训练损失为两部分损失之和，由于该网络的主要目的为检测得到关键点的坐标值，因此坐标回归损失的比重应该更大一些，本实施例设置两者损失比重为7:3，即：

Loss＝0.7*Coord

c、设置训练参数

模型所有层均采用Kaiming参数初始化方法，设置实验优化器为Adam，初始学习率设为0.001。

6)在测试推理阶段，将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来(即局部复合绝缘子区域)输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值(x

在输电线路运行过程中，均压环相对于复合绝缘子的倾斜角不超过7.5°，依据此设定当0≤θ≤7.5°时，均压环状态正常，当θ超过阈值7.5°时，则需要进行检修。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。