一种电力巡检图像语义分割方法

技术领域

本发明属于电力设备巡检技术领域，具体涉及一种电力巡检图像语义分割方法。

背景技术

在电力巡检任务中，图像语义分割是一项重要的技术，它可以帮助自动识别电力设备，缺陷和其他关键因素，从而提高巡检的效率和准确性。现有研究方法主要包括：(1)基于传统计算机视觉方法的语义分割。这类方法主要依赖于图像的低级视觉特征，常见的包括图割(Graph Cut)、聚类以及边缘检测等技术。(2)基于卷积神经网络(CNN)的语义分割。这类模型采用编码器-解码器结构，其中编码器负责提取图像的特征，而解码器则负责将这些特征映射回像素级别的分割结果。在编码器部分，常见的网络结构包括VGGNet、ResNet等。解码器部分通常使用转置卷积层来进行上采样和还原分辨率。(3)基于注意力机制的语义分割方法。这类方法允许模型在处理图像时自动学习图像中不同位置之间的上下文依赖关系，自适应地聚焦于图像中与语义分割任务相关的区域，根据图像内容来动态分配不同区域的权重。

基于传统计算机视觉方法的语义分割，往往依赖于人工设计图像的低级特征，无法很好地表征高级语义信息，不能有效学习像素之间的上下文关系，难以对电网全景进行语义理解，在环境复杂多变的电力巡检场景下表现不佳；基于卷积神经网络的语义分割只能提取局部特性，难以捕获像素之间的长距离依赖关系，无法很好的处理复杂场景下重叠遮挡的对象，对电力设备因环境、照明等因素而导致的外观变化较为敏感，在不同场景中泛化性较差；基于注意力机制的语义分割方法通常需要计算每个位置与其他位置之间的相关性权重。对于大尺寸的图像或高分辨率的特征图，模型的计算复杂性会显著增加，导致训练和推理的时间成本增大，难以满足无人机巡检等场景对低算力和高实时性的要求。

发明内容

针对现有技术中的上述不足，本发明提供的电力巡检图像语义分割方法解决了现有的语义分割模型难以针对电力巡检缺陷检测时，存在遮挡和外观变化的复杂场景下语义分割的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种电力巡检图像语义分割方法，包括以下步骤：

S1、采集电力巡检的多模态图像数据；

其中，多模态图像数据包括RGB图像、热力图和深度图；

S2、分别提取RGB图像、热力图和深度图的特征，并对其特征图进行跨模态特征融合，获得跨模态特征图；

S3、对跨模态特征图进行实例区域粗分割，获得粗分割实例区域；

S4、基于粗分割实例区域，提取跨模态特征图中像素级到实例级的特征关联信息；

S5、基于特征关联信息，进行跨模态特征图中的像素级特征增强，进而获得预测的语义分割结果图。

进一步地，所述步骤S2中，通过MobileNet模型提取RGB图像的电力图像视觉特征，得到视觉特征图XF；

通过ShuffleNet模型提取热力图中像素热量强弱变化特征，得到热力特征图XT；

通过PointNet模型提取深度图中包含线路和设备的结构特征，得到深度特征图XD。

进一步地，所述步骤S2中，采用双向注意力机制进行跨模态特征融合，获得跨模态特征图X，其表达式为：

XF′＝XF+Attention(XF，XD)+Attention(XF，XT)

XD′＝XD+Attention(XD，XF)+Attention(XD，XT)

XT′＝XT+Attention(XT，XD)+Attention(XT，XF)

X＝Concat(XF′，XD′，XT′)

式中，XF'为融合了热力信息和深度信息的视觉特征图，XD'为融合了视觉信息和热力信息的深度特征图，XT'为融合了视觉信息和深度信息的热力特征图，Attention(·)为注意力机制，Concat(·)为拼接操作。

进一步地，所述步骤S3具体为：

S31、利用不同空洞率的空洞卷积核w在跨模态特征图X上进行卷积运算，获得卷积运算后的跨模态特征图X′；

S32、对卷积运算后不同空洞率的跨模态特征图X′依次全局平均池化、1×1卷积升维以及拼接操作实现多尺度信息融合，得到多尺度跨模态特征图X″；

S33、通过跳跃连接将多尺度跨模态特征图X″的深层语义特征和初始跨模态特征图X的浅层语义特征融合，获得编码特征；

S34、利用转置卷积对编码特征进行上采样解码，获得各实例对应的粗分割实例区域。

进一步地，所述步骤S31中，卷积运算后的跨模态特征图X′上任意位置X′

式中，k表示卷积核上的位置，r表示空洞卷积的空洞率，w为空洞卷积核，X为跨模态特征图；

所述步骤S34中，粗分割实施区域为：

M＝Deconv(X+X″)

式中，X为跨模态特征图，Deconv(·)为转置卷积操作。

进一步地，所述步骤S4具体为：

S41、对同类实例对应粗分割实例图像中的像素级表示进行加权求和，获得实例级表示；

S42、利用同类实例对应像素级别表示和实例级表示的相似度，提取每个像素级表示与实例级表示的特征关联信息。

进一步地，所述步骤S41中，实例级表示f

式中，X

所述步骤S42中，特征关联信息w

式中，

进一步地，所述步骤S5具体为：

S51、将特征关联信息作为权重，加权聚合K个区域的实例级表示得到关联特征；

S52、利用关联特征增强跨模态特征图中的每个像素级表示，获得增强后的像素级特征表示；

S53、对增强后的像素级特征表示进行转置卷积操作，获得最终预测的语义分割结果图。

进一步地，所述步骤S51中，第i个像素级表示的特征关联信息作为权重时对应的关联特征Y

式中，ρ(·)和δ(·)均为变换函数，w

所述步骤S52中，增强后的像素级特征表示Z为：

Z＝Concat(X，Y)

式中，Concat(·)为拼接操作，X为跨模态特征图；

所述步骤S53中，语义分割结果图表示为：

R＝Deconv(Z)

式中，R为语义分割结果图中每个像素表示的语义标签，Deconv(·)为转置卷积操作。

本发明的有益效果为：

(1)本发明充分考虑了电力巡检场景下的多模态、多尺度信息。针对不同模态的输入图像，采用了不同类型的轻量化骨干网络来提取关键特征。

(2)本发明利用多空洞率空洞卷积进一步提取语义特征，并使用转置卷积上采样得到效果较好的粗分割实例区域。

(3)本发明通过利用像素-实例区域的特征关联信息，将像素与对象区域之间的依赖信息聚合到像素表示中，使得像素表示能够更好地近似于该像素所属实例的抽象表示，从而得到精化的语义分割结果。

(4)与传统方法以及基于CNN的图像分割方法相比，本发明方法能够更充分地表征特征间的上下文关系以及全局语义信息，与基于注意力机制的图像分割方法相比，本发明方法具有更小的参数量和更快的推理速度。

附图说明

图1为本发明提供的电力巡检图像语义分割方法流程图。

图2为本发明提供的跨模态特征图构建示意图。

图3为本发明提供的像素级到实例级的特征关联以及特征增强示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

本发明实施例提供了一种电力巡检图像语义分割方法，如图1所示，包括以下步骤：

S1、采集电力巡检的多模态图像数据；

其中，多模态图像数据包括RGB图像、热力图和深度图；

S2、分别提取RGB图像、热力图和深度图的特征，并对其特征图进行跨模态特征融合，获得跨模态特征图；

S3、对跨模态特征图进行实例区域粗分割，获得粗分割实例区域；

S4、基于粗分割实例区域，提取跨模态特征图中像素级到实例级的特征关联信息；

S5、基于特征关联信息，进行跨模态特征图中的像素级特征增强，进而获得预测的语义分割结果图。

本发明实施例的步骤S1中，在电力巡检时通过高清真彩摄像头、热成像仪、激光测距仪等多种设备采集电力巡检的多模态图像数据，包括RGB图像、热力图和深度图；其中，由高清摄像头拍摄的电力线路和设备的RBG高清图像，提供视觉信息；由热成像仪检测电力设施表面及周边区域的热量分布的热力图，以发现电力线路和设备可能存在的过载问题；由激光测距仪进行3D结构扫描获取深度图，提供线路和设备的三维空间位置、尺寸等结构信息。

在本发明实施例的步骤S2中，如图2所示，设计采用并行多分支结构，学习不同模态图像的特征图，具体为：

RGB图像Xf主要表现视觉信息如边缘、纹理等，因此，采用基于深度可分离卷积的MobileNet模型提取RGB图像的电力图像视觉特征，得到视觉特征图XF；其中，将MobileNet模型作为其轻量化骨干网络，高效的提取电力图像视觉特征，深度可分离卷积由深度卷积和逐点卷积两个步骤组成，首先对输入特征图的每个通道进行独立的卷积操作，然后在此基础上应用1*1卷积操作，进行升维或降维。

热图Xt主要表达像素热量强弱变化信息，更关注设备的位置关系、局部模式，因此，通过ShuffleNet模型提取热力图中像素热量强弱变化特征，得到热力特征图XT；其中，采用ShuffleNet作为其轻量化骨干网络，通过组卷积减低计算复杂度，同时应用通道洗牌操作提升特征的表达能力，得到热力特征图XT。这种方式适用于图像内热量变化规律以及局部模式的表征。

深度图Xd主要包含线路和设备的三维空间位置、尺寸等结构信息，因此，通过PointNet模型提取深度图中包含线路和设备的结构特征，得到深度特征图XD；其中，采用PointNet作为其轻量化骨干网络，通过多层感知机直接对每个点学习独立特征，然后对所有点特征进行Max-Pooling，得到最大响应值作为整体特征，最终得到深度特征图XD，这种方式可以在保留局部独立特征的同时学习到全局信息。

在本发明实施例的步骤S2中，对于提取出的视觉特征图XF、深度特征图XD和热力特征图XT，采用双向注意力机制进行跨模态特征融合，获得跨模态特征图X，其表达式为：

XF′＝XF+Attention(XF，XD)+Attention(XF，XT)

XD′＝XD+Attention(XD，XF)+Attention(XD，XT)

XT′＝XT+Attention(XT，XD)+Attention(XT，XF)

X＝Concat(XF′，XD′，XT′)

式中，XF′为融合了热力信息和深度信息的视觉特征图，XD′为融合了视觉信息和热力信息的深度特征图，XT′为融合了视觉信息和深度信息的热力特征图，Attention(·)为注意力机制，Concat(·)为拼接操作。

本实施例得到得跨模态特征图，在保留每个模态独立信息的同时，实现深入的跨模态融合，充分挖掘三模态特征之间的关联性和互补性。

本发明实施例的S3中，基于跨模态特征图X，采用不同空洞率的空洞卷积核w，提取了多尺度上下文信息，对特征图进行编码，并对编码特征上采样解码，获得最终的粗分割实例区域。基于此，本发明实施例的步骤S3具体为：

S31、利用不同空洞率的空洞卷积核w在跨模态特征图X上进行卷积运算，获得卷积运算后的跨模态特征图X′；

S32、对卷积运算后不同空洞率的跨模态特征图X′依次全局平均池化、1×1卷积升维以及拼接操作实现多尺度信息融合，得到多尺度跨模态特征图X″；

S33、通过跳跃连接将多尺度跨模态特征图X″的深层语义特征和初始跨模态特征图X的浅层语义特征融合，获得编码特征；

S34、利用转置卷积对编码特征进行上采样解码，获得各实例对应的粗分割实例区域。

在本实施例的步骤S31中，卷积运算后的跨模态特征图X′上任意位置X′

式中，k表示卷积核上的位置，r表示空洞卷积的空洞率，w为空洞卷积核，X为跨模态特征图；其中，r可以理解为对X上元素采样的步幅，可以通过调整空洞率来调节感受野大小。

在本实施例的步骤S32中，通过全局平均池化表征全局上下文信息。

在本实施例的步骤S33中，由于在卷积提取特征的过程中，特征图丢失了大量细节信息，因此通过跳跃连接将抽象能力强的深层语义特征与细节丰富的浅层语义特征相融合。

在本实施例的步骤S34中，基于上述方法，通过监督学习得到的粗分割实例区别M为：

M＝Deconv(X+X″)

式中，X为跨模态特征图，Deconv(·)为转置卷积操作。

本发明实施例的步骤S4中，根据前面得到的粗分割结果，可以得到实施例级特征表示进而得到特征关联信息；具体地，如图3所示，步骤S4具体为：

S41、对同类实例对应粗分割实例图像中的像素级表示进行加权求和，获得实例级表示；

S42、利用同类实例对应像素级别表示和实例级表示的相似度，提取每个像素级表示与实例级表示的特征关联信息。

在本实施例的步骤S41中，假设共有K-1种电力设备，包括背景共有K类分割目标。设每个粗糙对象区域M

式中，X

本实施例步骤S42中，特征关联信息w

式中，

本发明实施例的步骤S5具体为：

S51、将特征关联信息作为权重，加权聚合K个区域的实例级表示得到关联特征；

S52、利用关联特征增强跨模态特征图中的每个像素级表示，获得增强后的像素级特征表示；

S53、对增强后的像素级特征表示进行转置卷积操作，获得最终预测的语义分割结果图。

本实施例步骤S51中，第i个像素级表示的特征关联信息作为权重时对应的关联特征Y

式中，ρ(·)和δ(·)均为变换函数，w

本实施例的步骤S52中，增强后的像素级特征表示Z为：

Z＝Concat(X，Y)

式中，Concat(·)为拼接操作，X为跨模态特征图；

本实施例的步骤S53中，语义分割结果图表示为：

R＝Deconv(Z)

式中，R为语义分割结果图中每个像素表示的语义标签，Deconv(·)为转置卷积操作。

在本发明实施例中，使用上述方法进行图像语义分割前，需要进行参数训练，本发明采用平均交并比mIoU作为监督学习的评价指标，针对每一个类别的实例，求是预测像素点与真实标注像素点的交集与并集之比，然后再求平均值，其公式如下：

其中p

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。