一种变压器多源异构数据多尺度特征融合方法

技术领域

本发明涉及一种用于变压器在线监控领域的变压器多源异构数据多尺度特征融合方法。

背景技术

智能电网的快速发展促进了供电环节和供电技术的跨越式发展。其中，在变电环节实现对变电设备的状态检测不仅是传统变电环节的重要一环，也成为了变电站朝向智能化发展不得不克服的难点。

目前国内外学者对变压器温度监测的主流方法包括：红外成像测温、光纤测温、红外测温。其中，红外测温技术在变电设备的监测与故障诊断中的应用最为广泛，它能够根据热辐射的差异把目标和背景色区别开来，这种方式最大的优点就是不受天气情况的影响。但是红外图像分辨率差、对比度低、视觉效果模糊这些缺点成为了制约这种监测方式的一大弊端。相反，可见光图像则和人的视觉系统具有相同的成像机理，和红外成像相比，可见光图像能够提供目标清晰的纹理特征和细节信息，但是容易受到环境因素的影响。

发明内容

本发明的目的是为了克服现有技术的不足，提供一种变压器多源异构数据多尺度特征融合方法，将红外图像具有的热辐射信息和可见光图像具有的细节信息结合起来，主要采用卷积自编码融合网络实现对红外和可见光图像的融合，这样不仅可以解决红外图像分辨率低，退化严重的问题，还能改善可见光图像受外部环境影响大的缺点。

实现上述目的的一种技术方案是：一种变压器多源异构数据多尺度特征融合方法，包括如下步骤：

S1，分别对变压器进行红外图像拍摄和可见光图像拍摄，得到红外图像和可见光图像；

S2，利用卷积编码网络，分别从红外图像和可见光图像中提取细节特征，产生在不同维度上包含源图像各项信息的红外特征图和可见光特征图；

S3，对红外特征图和可见光特征图利用融合规则进行融合，得到包含两类源图像信息的融合特征图；

S4，利用卷积解码网络对融合特征图进行重建，最终得到包含两类源图像信息的融合图像。

进一步的，S2中，卷积编码网络提取源图像的深层特征，使用卷积计算的方式，利用卷积的平移不变性，对图像上的每个像素进行卷积运算，在训练过程中，每层的卷积核会根据损失函数进行训练修正，以此降低损失，卷积计算公式如下表示：

其中，

再进一步的，所述损失函数为针对于红外与可见光图像融合任务的损失函数，其由两部分构成，如公式(2)所示:第一项的目的是将输入图像的全局显著性信息保留在融合图像中；第二项的目的是将输入图像的梯度纹理信息保留在融合图像中:

I

进一步的，S3中，融合规则为等权重相加的融合策略；

其定义如下：

P

与现有技术相比，本发明的有益效果如下：

1、所提出网络模型在不同大小的公共数据集上，网络收敛较快，具有很强的泛化能力。

2、该融合方法用于红外与可见光图像融合时，能同时保持红外图像的整体目标信息以及可见光图像的纹理细节信息，融合后图像能够清晰地突出目标与丰富细节信息。

附图说明

图1为加权融合策略下的不同融合权重的SSIM曲线。

具体实施方式

为了能更好地对本发明的技术方案进行理解，下面通过具体地实施例进行详细地说明：

自编码器主要用于降维和特征学习的任务，对提取的高阶特征信息进行编码与解码，是一种无监督学习的非线性特征提取方法，其输出与输入具有相同的维度，隐藏层被用来对原始数据的特征进行编码。自动编码器是指保持输入与输出尽可能一致(通过信息损失来判定)的情形下，实现无监督方式下的隐层特征提取与参数学习。目的是让神经网络的输出能和原始输入一致。相当于在特征空间上学习一个恒等式y＝x。将原始图像作为输入，对图像进行编码解码，使提取到的特征保持输入与输出接近一致。本发明将利用自编码器的结构思想，利用两个并行的编码网络分别对两类图像进行特征提取，然后对两类特征图进行融合，最后对融合后的特征图重建出与输入图像大小相同的融合结果。传统的自编码器因其无监督特征提取方法的特点，其虽可快速提取特征，但特征提取准确性与还原性却无法保证。

本发明的一种变压器多源异构数据多尺度特征融合方法，包括如下步骤：

S1，分别对变压器进行红外图像拍摄和可见光图像拍摄，得到红外图像和可见光图像；

S2，利用卷积编码网络，分别从红外图像和可见光图像中提取细节特征，产生在不同维度上包含源图像各项信息的红外特征图和可见光特征图；

S3，对红外特征图和可见光特征图利用融合规则进行融合，得到包含两类源图像信息的融合特征图；

S4，利用卷积解码网络对融合特征图进行重建，最终得到包含两类源图像信息的融合图像。

卷积神经网络(CNN)是一种特殊的可训练权重和偏置的前馈神经网络，是深度学习中最经典的算法之一，诞生于上世纪80年代，当时只是应用于支票数字的识别，随着计算机硬件的发展和算法的创新，CNN已经在计算机视觉领域发挥了巨大的作用。CNN因为具有深度结构，以及局部感受野与共享权重的特点，使其可以提取更加完整的特征信息。以二维图像为例，CNN可以直接处理二维图像数据，通过卷积核和池化操作对原始输入进行特征提取，对输入数据进行特征表示，然后通过反向传播算法(Back Propagation，BP)进行参数的更新。CNN仿造生物的视觉感知机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得CNN能够以较小的计算量对像素点提取特征。因此本文将利用CNN的优点，与自编码结构结合，提出一种卷积自编解码融合网络。

由于自编码网络提取信息准确率较低，单一的卷积神经网络忽略浅层特征，本发明将卷积神经网络与自动编码器相结合，构建出CAEFuse网络。根据红外与可见光图像融合的特性设置卷积核的参数、调整网络框架，并根据融合特性提出一种基于图像纹理梯度信息的损失函数来指导网络训练。该网络分为三个部分，第一部分是提取特征图的卷积编码层，第二部分为融合过程，将提取的两类图像的卷积特征图进行融合，第三部分是对于融合后的卷积特征图进行重建的解码层。第一、三部分构成一个自编码网络，需要利用数据集提前被训练，自编码网络的结构包含了三个3×3卷积核的卷积层，其步长为1，其参数设置如表1所示；在自编码网络训练好的基础上，利用第二部分的融合策略来实现编码网络中特征图的融合，再由解码网络重建融合图像。

表1CAEFuse结构

CAEFuse网络结构中的卷积编码层用来提取源图像的深层特征，使用卷积计算的方式，利用卷积的平移不变性，对图像上的每个像素进行卷积运算。在训练过程中，每层的卷积核会根据损失函数进行训练修正，以此降低损失卷积计算公式如下表示：

其中，

损失函数是深度学习优化中至关重要的一部分，没有一个适合所有深度学习任务的损失函数，常见的损失函数有L1损失、L2损失等，这些损失函数在分类任务中表现良好，但是在融合任务中表现不足。为了更加精准地重建源图像中包含的纹理结构，本发明改进了传统的损失函数，提出一种，CAEFuse网络将通过最小化该损失函数训练得到。

CAEFuse的损失函数由两部分构成，如公式(2)所示:第一项的目的是将输入图像的全局显著性信息保留在融合图像中；第二项的目的是将输入图像的梯度纹理信息保留在融合图像中:

I

S3中，本发明选择特征图等权重相加的融合策略。

图1为融合图像的平均SSIM指标随融合权重变化曲线。由图可知在等权重策略或6/4(红外图像/可见光图像)融合权重下SSIM达到峰值。本发明选择等权重相加的融合策略，其定义如下：

P

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。