输变电设备红外图像目标识别方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种输变电设备红外图像目标识别方法及系统。

背景技术

随着国家的快速发展，用电需求不断增加，电力设备遍布全国各地，这也导致了电力系统故障发生概率的增加。由于不断发生电力系统造成的事故，我国对电力设备的安全性和自动化程度的关注日益加强。输变电设备是电力设备的重要组成部分，其出现故障的主要表现为机械损坏、温度升高和电场变化。传统方式要想发现这些故障，需要大量人工的参与，并且对人工的专业程度有一定的要求，同时也增加了很多不确定性，加大了设备监测的难度。

传统的设备监测需要有经验的人工参与，成本高昂，容易出现较大的偏差，加大了电力巡检的困难，而非接触式设备监测可以有效解决这个问题。非接触式设备监测主要通过设备的红外图像识别出各类设备并完成各类故障的监测，测温范围广泛且准确率和稳定性都表现的更好，被广泛应用于输变电设备的监测。同时，随着各类目标检测算法的提出，将输变电设备红外图像和这些算法结合可以更快地完成对指定对象的识别与监测。其中基于深度学习的目标检测方法目前已经应用于各个图像识别领域，将该方法用于检测输变电设备可以很大程度地提高识别的精度和速度，进而实现对各类故障的快速反应，有效地提高了变电站的工作效率及安全性，并提高其智能化程度。

目前的输变电设备检测算法主要分为三种，分别是传统算法，基于机器学习的算法和基于深度学习的算法：

（1）传统算法主要通过不同的算法提取输变电设备红外图像的特征，这些算法包括灰度共生矩阵、小波变换等，提取完特征之后再通过分类器进行分类。而在实际运用环境当中，输变电设备的红外图像拍摄会存在一些问题，例如不同拍摄设备拍摄角度的不同，光照强度的影响以及不同场景下会存在的一些干扰，这些都会导致传统算法设计出的模型通用性不足，无法适应实际场景下的输变电设备红外图像监测。

（2）基于机器学习的算法通过支持向量机、决策树、随机森林等方法完成对红外图像中输变电设备的识别，它和深度学习的算法都属于数据驱动。

（3）基于深度学习的算法主要包括YOLO（You Only Look Once）系列的算法和R-CNN（Region based Convolutional Neural Network）系列的算法。其中，R-CNN使用选择性搜索算法或其他区域生成算法生成图像中的候选目标区域，然后从图像的每个候选区域中提取特征，对每个候选区域的特征进行分类，以预测目标的类别和位置。YOLO系列的算法一般通过各个模块从图像中提取特征，获取对象的特征信息，然后使用检测网络预测图像中对象的位置、类别、以及框的边界，最后使用非极大值抑制（Non-Maximum Suppression，NMS）算法删除重叠的检测框，以确保最终只剩下一个识别结果。无论是哪一种基于深度学习的方法，它们一般都是通过训练标记好的输变电设备红外图像得到一个模型，然后通过这个模型去预测未标记红外图像中的各类输变电设备。

对于基于深度学习的方法，R-CNN属于Two-stage网络，也就是将网络分为两个阶段，步骤相较于YOLO更为繁琐，除此以外，使用区域生成算法生成的候选目标区域会存在一些冗余，这会导致在复杂的变电站环境中模型的适应能力下降，同时也降低了算法的实时性。而对于YOLO系列的算法，每个版本都存在一些改进，最新的版本相较于上一个版本会在精度方面或是速度方面做出一些改善。比如YOLOv2相对于YOLOv1加入了回归先验框机制，并且使用新的网络结构Darknet-19，YOLOv3相对于YOLOv2加入了残差网络，还利用了多尺度特征融合进行目标检测。而最新的YOLOv8相较于之前的版本，加入了C2f模块，其分类损失为VFL Loss，其回归损失为CIoU Loss+DFL的形式，和之前的网络相比，其分类能力得到了有效地提高。但是其自带的CIoU并不是最优的选择，虽然CIoU通过中心点回归缓解了两框距离较远时难优化的问题，但是其算法中的长宽比的差异不是宽高分别与其置信度的真实差异，这会阻碍模型有效的优化。

当然，会有一些工作将Squeeze-and-Excitation block（SE），BottleneckAttention Module（BAM）和Convolutional Block Attention Module（CBAM）等注意力机制和这些网络结构结合来提高分类精度或者收敛速度，从而提高模型的效率，比如公布号为CN112101434A中提出的基于改进YOLOv3的红外图像弱小目标检测方法，但该方案中SE模块通过动态调整特征图中不同通道的重要性来增强网络的表征能力，只考虑了通道间信息的编码，而忽略了输入特征图的位置信息。而BAM模块使用Bottleneck结构来降低计算成本并帮助专注于目标对象。CBAM机制通过通道注意力模块计算通道注意力和通过空间注意力模块计算空间注意力，但通常会遭受收敛的困难或沉重的计算负担，同时这些注意力机制并没有充分利用空间注意和通道注意之间的相关性且卷积只能捕获局部位置信息。

发明内容

本发明所要解决的技术问题在于如何提高变电站对输变电设备识别的效率及其智能化水平。

本发明通过以下技术手段解决上述技术问题的：

一方面，本发明提出了一种输变电设备红外图像目标识别方法，所述方法包括：

采集输变电设备红外图像并输入至目标检测模型，所述目标检测模型包括骨干网络和检测头网络，所述骨干网络的头部和尾部分别添加有S

利用所述骨干网络提取所述红外图像的特征图，其中，所述S

利用所述检测头网络预测所述特征图中包含目标的位置和类别。

进一步地，所述S

多层感知器MLP_1将输入的特征图

空间位移操作层Spatial Shift_1和空间位移操作层Spatial Shift_2分别对子图

分散注意力模块Split Attention对所述矩阵进行处理后输出至多层感知器MLP_2。

进一步地，所述S

式中，

进一步地，所述骨干网络包括依次连接的卷积层conv_1、第一C2f模块、卷积层conv_2、第二C2f模块、卷积层conv_3、第三C2f模块、卷积层conv_4、第四C2f模块和SPPF模块，卷积层conv_1与第一C2f模块之间设置有第一S2-MLPv2模块，SPPF模块的输出连接有第二S2-MLPv2模块。

进一步地，所述检测头网络包括上采样层Upsample_1和上采样层Upsample_2，上采样层Upsample_1的输出经拼接层Concat_1与第一C2f-H模块连接，上采样层Upsample_2的输出经拼接层Concat_2与第二C2f-H模块连接；

第二C2f-H模块的输出连接检测器Detect_1和卷积层conv_5，卷积层conv_5的输出和第一C2f-H模块的输出连接拼接层Concat_3，拼接层Concat_3的输出连接第三C2f-H模块，第三C2f-H模块的输出连接卷积层conv_6和检测器Detect_2，卷积层conv_6的输出连接拼接层Concat_4，拼接层Concat_4的输出连接第四C2f-H模块，第四C2f-H模块的输出连接检测器Detect_3；

所述第二S2-MLPv2模块的输出连接上采样层Upsample_1和拼接层Concat_4，所述第三C2f模块的输出连接拼接层Concat_2，所述第四C2f模块的输出连接拼接层Concat_1。

进一步地，所述第一C2f模块、所述第二C2f模块、所述第三C2f模块及所述第四C2f模块中的Bottleneck块中使用残差连接。

进一步地，所述检测头网络采用Decoupled-Head头。

进一步地，所述目标检测模型采用YOLOv8目标检测网络架构，所述目标检测模型在训练过程中采用的损失函数

式中，

此外，本发明还提出了一种输变电设备红外图像目标识别系统，所述系统中部署采集模块和预先训练好的目标检测模型，包括：

采集模块，用于采集输变电设备红外图像并输入至所述目标检测模型，所述目标检测模型包括骨干网络和检测头网络，所述骨干网络的头部和尾部分别添加有S

所述骨干网络用于提取所述红外图像的特征图，其中，所述S

所述检测头网络用于预测所述特征图中包含目标的位置和类别。

此外，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的输变电设备红外图像目标识别方法。

本发明的优点在于：

（1）本发明通过在目标检测模型中的骨干网络Backbone中添加改进的S

（2）将目标检测模型训练过程时采用的回归损失函数中的CIoU替换为Alpha-IoU，实现对现有的基于IoU的损失进行统一的功率泛化，可以进行更加精确的Bounding box回归，保证模型的分类精度，实现对绝缘子类、导电线类、金具类、变压器套管等输变电设备的高精度目标识别，最终达到提高变电站安全系数以及自动化程度的目的。

（3）在骨干网络中，将YOLOv5的C3模块更换成C2f模块，C2f模块拥有更加丰富的梯度流，实现了进一步的轻量化。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一实施例提出的一种输变电设备红外图像目标识别方法的流程示意图；

图2是本发明一实施例中S

图3是本发明一实施例中目标检测模型的结构示意图；

图4是本发明一实施例中目标检测模型的训练过程中各项损失变化曲线；

图5是本发明一实施例中目标检测模型的训练过程中mAP变化曲线；

图6是本发明一实施例中目标检测模型预测的测试图一；

图7是本发明一实施例中目标检测模型预测的测试图二；

图8是本发明一实施例提出的输变电设备红外图像目标识别系统的结构示意。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例公开了一种输变电设备红外图像目标识别方法，所述方法包括以下步骤：

S10、采集输变电设备红外图像并输入至目标检测模型，所述目标检测模型包括骨干网络和检测头网络，所述骨干网络的头部和尾部分别添加有S

需要说明的是，本实施例可通过无人机搭载红外摄像设备拍摄输变电设备红外图像，并输入至预先训练好的目标检测模型中，进行目标识别，所识别的目标对象包括但不限于绝缘子类、导电线类、金具类、变压器套管等。

S20、利用所述骨干网络提取所述红外图像的特征图，其中，所述S

需要说明的是，在网络的训练过程中会将特征图构建的矩阵分成若干块小的矩阵，称为图像块。

S30、利用所述检测头网络预测所述特征图中包含目标的位置和类别。

需要说明的是，本实施例通过在骨干网络中添加两个S

在一实施例中，如图2所示，所述S

多层感知器MLP_1将输入的特征图

空间位移操作层Spatial Shift_1和空间位移操作层Spatial Shift_2分别对子图

分散注意力模块Split Attention对所述矩阵进行处理后输出至多层感知器MLP_2。

具体地，本实施例设计的SPATIAL-SHIFT MLPv2模块简称为S

进一步地，S

对于给定的输入特征图

式中，

然后将扩展的特征图

其中，

然后通过空间位移操作层Spatial Shift_1和空间位移操作层Spatial Shift_2分别对

将Spatial Shift_1和Spatial Shift_2的输出结果与

其中，

其中，

在一实施例中，所述S

式中，

需要说明的是，S

在一实施例中，如图3所示，所述骨干网络包括依次连接的卷积层conv_1、第一C2f模块、卷积层conv_2、第二C2f模块、卷积层conv_3、第三C2f模块、卷积层conv_4、第四C2f模块和SPPF模块，卷积层conv_1与第一C2f模块之间设置有第一S

在一实施例中，如图3所示，所述检测头网络包括上采样层Upsample_1和上采样层Upsample_2，上采样层Upsample_1的输出经拼接层Concat_1与第一C2f-H模块连接，上采样层Upsample_2的输出经拼接层Concat_2与第二C2f-H模块连接；

第二C2f-H模块的输出连接检测器Detect_1和卷积层conv_5，卷积层conv_5的输出和第一C2f-H模块的输出连接拼接层Concat_3，拼接层Concat_3的输出连接第三C2f-H模块，第三C2f-H模块的输出连接卷积层conv_6和检测器Detect_2，卷积层conv_6的输出连接拼接层Concat_4，拼接层Concat_4的输出连接第四C2f-H模块，第四C2f-H模块的输出连接检测器Detect_3；

所述第二S2-MLPv2模块的输出连接上采样层Upsample_1和拼接层Concat_4，所述第三C2f模块的输出连接拼接层Concat_2，所述第四C2f模块的输出连接拼接层Concat_1。

在一实施例中，所述第一C2f模块、所述第二C2f模块、所述第三C2f模块及所述第四C2f模块中的Bottleneck块中使用残差连接。

需要说明的是，目标检测模型主要分为Backbone部分和Head部分。其中Backbone部分用于提取输入对象的特征，Head部分也被称为检测头，作用是预测对象的位置和类别。一共有三个Detect检测器，它利用基于网格的anchor在不同尺度的特征图上进行目标检测。

两个改进的S

需要说明的是，目标检测模型采用YOLOv8目标检测网络架构，YOLOv8中的卷积层Conv由一个二维卷积层、BatchNorm层和一个SiLu激活层组成，它的主要作用是特征的提取。YOLOv8中的C2f模块参考了YOLOv5的C3模块以及YOLOv7中的ELAN模块的思想进行设计，让YOLOv8可以在保证轻量化的同时获得更加丰富的梯度流信息。

在一实施例中，检测头网络Head中的C2f-H模块和BackBone部分的C2f模块有一些不同，C2f模块中的Bottleneck块使用了残差连接，C2f-H模块没有使用残差连接。

进一步地，对于SPPF模块，原始的SPP模块结构又被称为空间金字塔池化，能将任意大小的特征图转换成固定大小的特征向量，而从形状上来说，SPP模块和SPPF模块的目的是相同的，只是在结构上略有差异，从SPP改进为SPPF后，模型的计算量变小了很多，模型速度得到了提升。

在一实施例中，检测头网络中的检测器Detect主要由卷积层组成，相对于YOLOv5的Coupled-Head，YOLOv8的检测器Detect使用了Decoupled-Head头，也就是解耦头，它主要优势在于：允许每个头专注于特定范围的对象大小，从而使网络能够更好地处理不同尺度的对象，这样可以实现更准确的检测，并提高对象检测任务的整体性能。

在一实施例中，所述目标检测模型在训练过程中采用的损失函数

式中，

需要说明的是，本实施例将模型训练过程中采用的回归损失中的CIoU替换为Alpha-IoU，对现有的基于IoU的损失进行了统一的功率泛化，可以进行更加精确的Bounding box回归。

进一步地，Alpha-IoU是交并比（Intersection over Union,IoU）的改进，在标准IoU指标中，预测边界框或掩膜之间的重叠是通过计算其交集与其并集的比率来测量的。但是，Alpha-IoU将现有的IoU损失推广到一个新的功率IoU系列损失，这些损失具有一个幂次IoU项和一个附加的幂次正则项。

具体来说，首先将IoU损失推广到α-IoU损失：

其中，

由于最先进的基于IoU的损失都是

其中，

进一步地，总的来说，Alpha-IoU应用幂变换来推广原版IoU损失和基于IoU的正则化损失，包括它们的IoU和正则化项。新的广义损失系列通过自适应地重新加权高和低IoU对象的损失和梯度来提高Bounding box回归精度。在实际测试中，通过调整

在一实施例中，所述目标检测模型的预先训练过程为：

1）制作数据集，通过无人机搭载红外摄像设备在不同场景拍摄各个角度的输变电设备红外图像，然后将图像中绝缘子类、导电线类、金具类、变压器套管等输变电设备标记出来并按4：1比例划分成数据集和验证集。2）训练数据集，通过上述构建的目标检测模型训练标记好的数据集，并通过调整网络各项超参数达到最优的效果。3）测试数据集，将测试的输变电红外图像输入进综合指标最好的模型，识别出各类设备并用于后续处理。

通过对输变电红图像的训练过程中各项指标的跟踪，其各项损失变化曲线如图4所示，其中，train/box_loss为训练集下的定位损失即Alpha-IoU，train/cls_loss为训练集下的分类损失，train/dfl_loss为训练集下yolo自带的一个损失，用来减少类不平衡造成的影响；val/box_loss为验证集下的定位损失即Alpha-IoU，val/cls_loss为验证集下的分类损失，val/dfl_loss为验证集下yolo自带的一个损失。可以看出，通过加入改进的S

本实施例采用基于S

此外，如图8所示，本发明第二实施例公开了一种输变电设备红外图像目标识别系统，所述系统中部署采集模块10和预先训练好的目标检测模型20，包括：

采集模块10，用于采集输变电设备红外图像并输入至所述目标检测模型20，所述目标检测模型20包括骨干网络和检测头网络，所述骨干网络的头部和尾部分别添加有S

所述骨干网络用于提取所述红外图像的特征图，其中，所述S

所述检测头网络用于预测所述特征图中包含目标的位置和类别。

本实施例通过在骨干网络中添加两个S

在一实施例中，所述S

多层感知器MLP_1将输入的特征图

空间位移操作层Spatial Shift_1和空间位移操作层Spatial Shift_2分别对子图

分散注意力模块Split Attention对所述矩阵进行处理后输出至多层感知器MLP_2。

在一实施例中，所述S

式中，

在一实施例中，所述骨干网络包括依次连接的卷积层conv_1、第一C2f模块、卷积层conv_2、第二C2f模块、卷积层conv_3、第三C2f模块、卷积层conv_4、第四C2f模块和SPPF模块，卷积层conv_1与第一C2f模块之间设置有第一S

在一实施例中，所述检测头网络包括上采样层Upsample_1和上采样层Upsample_2，上采样层Upsample_1的输出经拼接层Concat_1与第一C2f-H模块连接，上采样层Upsample_2的输出经拼接层Concat_2与第二C2f-H模块连接；

第二C2f-H模块的输出连接检测器Detect_1和卷积层conv_5，卷积层conv_5的输出和第一C2f-H模块的输出连接拼接层Concat_3，拼接层Concat_3的输出连接第三C2f-H模块，第三C2f-H模块的输出连接卷积层conv_6和检测器Detect_2，卷积层conv_6的输出连接拼接层Concat_4，拼接层Concat_4的输出连接第四C2f-H模块，第四C2f-H模块的输出连接检测器Detect_3；

所述第二S

在一实施例中，所述检测头网络采用Decoupled-Head头。

在一实施例中，所述目标检测模型采用YOLOv8目标检测网络架构，所述目标检测模型在训练过程中采用的损失函数

式中，

需要说明的是，本发明所述输变电设备红外图像目标识别系统的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。

此外，本发明第三实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上第一实施例所述的方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。