一种用于电力设备红外图像重建能力的提升方法及系统

技术领域

本发明涉及红外图像处理技术领域，具体而言，涉及一种用于电力设备红外图像重建能力的提升方法及系统。

背景技术

红外热成像技术是通过光电转换与信号处理等手段，量化被探测设备到的热量信号并将其转换为电信号，最终将被探测物体的温度分布状态以图像形式直观表现出来的技术。在当前电力设备态势感知广泛采用电力物联网的大背景下，红热外成像技术可以实现电力设备的实时在线检测，将运行中的电力设备内外温度情况直观表现出来，进而观察出设备的潜在故障及缺陷，评估出电力设备的运行状态是否健康。但因高分辨率红外探测器对芯片尺寸以及单位像素尺寸等条件有较高的硬件要求，导致红外探测器想要达到高分辨率时造价也会极其高昂，从而很难在电网中实现大范围应用，继而软件算法上将红外图像分辨率提高的需求尤为迫切。

超分辨率重建是一种序列或单帧分辨率较低的图像的基础上对原始图像高分辨率进行估计的技术，传统的图像恢复技术只是在光学成像衍射频率内估计图像，而超分辨率图像重建则能够在衍射极限频率以外复原出图像更多的纹理细节，被广泛应用在红外成像、视频处理、人脸成像、医学成像等领域中作为重要的图像处理研究方向。

超分辨率重建方法主要包括三种方法：分别为基于重建的方法、基于插值的方法和基于学习的方法。其中基于学习的方法是目前的主流方法，其重建效果也是最好的。此方法首先初始化并定义低分辨率图像与高分辨率图像之间的映射关系为网络框架，然后将框架中的参数在大量图像数据的基础上进行训练，继而将两者之间的对应关系学习出相应模型，这种方法无论是客观评价还是主观评价都比其他两种方法有较为明显的提高，但电力设备红外图像重建时只加强了边缘特征的学习能力，未加强图像内部特征的学习能力，因此，设计一种具有更高电力设备红外图像重建能力的改进边缘注意力生成式对抗网络，以提升对于图像内部特征的学习能力，促进超分辨率重建方法在实际中的应用效果。

发明内容

为了解决上述问题，本发明的目的是设计一种用于提高电力设备红外图像重建能力的改进的边缘注意力生成式对抗网络，将自激活函数模块替换掉原边缘注意力生成式对抗网络中的激活函数，并为原网络的每个神经元设计不同的激活方式，从而增强网络特征表达能力，来提升对于红外图像的重建能力。

为了实现上述技术目的，本申请提供了一种用于电力设备红外图像重建能力的提升方法，包括以下步骤：

基于边缘注意力生成式对抗网络EA-GAN，采用Meta-Aconc激活函数代替EA-GAN中的激活函数，依据位置注意力模块和通道注意力模块组成的双注意力模块，对EA-GAN的生成器的残差块中边缘注意力模型进行替换，并将双注意力模块添加EA-GAN的判别器的第六个残差块尾端，对EA-GAN进行改进；

采集电力设备红外图像，通过改进后的边缘注意力生成式对抗网络，进行重建，提升电力设备红外图像的分辨率。

优选地，在获取改进后的边缘注意力生成式对抗网络的过程中，改进后的边缘注意力生成式对抗网络的生成器，包括：由依次连接的第一卷积块、第一自适应激活函数Meta-Aconc、第二卷积块、第一批归一化层、边缘注意力模块、第二批归一化层、第二自适应激活函数Meta-Aconc、第三卷积块、双注意力模块、第三批归一化层、第一元素融合模块组成的第一生成器网络结构；

与第一生成器网络结构连接的与第一生成器网络结构的结构相同的第二生成器网络结构；

与第二生成器网络结构连接的第三生成器网络机构由依次连接的第四卷积块、第四批归一化层、第二元素融合模块、第五卷积块、亚像素卷积层、第三自适应激活函数Meta-Aconc、第六卷积块组成。

优选地，在设置自适应激活函数Meta-Aconc的过程中，自适应激活函数Meta-Aconc用于对输入图片特征进行是否激活判断，激活是否线性判断并激活。

优选地，在设置双注意力模块的过程中，双注意力模块用于捕获通道和空间的全局依赖。

优选地，在构建改进后的生成器的过程中，

第一卷积块为卷积核大小为9，64个卷积核的卷积块；

第二卷积块为卷积核大小为3，64个卷积核的卷积块；

第三卷积块为卷积核大小为3，64个卷积核的卷积块；

第四卷积块为卷积核大小为3，64个卷积核的卷积块；

第五卷积块为卷积核大小为3，256个卷积核的卷积块；

第六卷积块为卷积核大小为9，3个卷积核的卷积块。

优选地，在获取改进后的边缘注意力生成式对抗网络的过程中，改进后的边缘注意力生成式对抗网络的判别器，由依次连接卷积结构、第一全连接层、第二激活函数LeakyReLU、第二全连接层、激活层sigmoid组成，其中，卷积结构由八个依次连接的由卷积块+第一激活函数LeakyReLU结构组成，在第六个卷积块+第一激活函数LeakyReLU结构与第七个卷积块+第一激活函数LeakyReLU结构之间设置有双注意力模块。

优选地，在获取改进后的判别器的过程中，激活函数LeakyReLU用于对输入图片特征进行线性激活；

第一全连接层的输出为1024；

第二全连接层的输出为1；

激活层sigmoid用于将输入图片特征进行非线性激活。

本发明还公开了一种用于电力设备红外图像重建能力的提升系统，包括：

图像采集模块，用于采集电力设备红外图像；

图像增强模块，用于通过改进的边缘注意力生成式对抗网络EA-GAN，对电力设备红外图像进行重建，提升电力设备红外图像的分辨率，其中，基于边缘注意力生成式对抗网络EA-GAN，采用Meta-Aconc激活函数代替EA-GAN中的激活函数，依据位置注意力模块和通道注意力模块组成的双注意力模块，对EA-GAN的生成器的残差块中边缘注意力模型进行替换，并将双注意力模块添加EA-GAN的判别器的第六个残差块尾端，生成改进的边缘注意力生成式对抗网络EA-GAN。

优选地，图像增强模块还包括改进后的边缘注意力生成式对抗网络的生成器，其中，改进后的生成器由依次连接的第一卷积块、第一自适应激活函数Meta-Aconc、第二卷积块、第一批归一化层、边缘注意力模块、第二批归一化层、第二自适应激活函数Meta-Aconc、第三卷积块、双注意力模块、第三批归一化层、第一元素融合模块组成的第一生成器网络结构；

与第一生成器网络结构连接的与第一生成器网络结构的结构相同的第二生成器网络结构；

与第二生成器网络结构连接的第三生成器网络机构由依次连接的第四卷积块、第四批归一化层、第二元素融合模块、第五卷积块、亚像素卷积层、第三自适应激活函数Meta-Aconc、第六卷积块组成。

优选地，图像增强模块的自适应激活函数Meta-Aconc用于对输入图片特征进行是否激活判断，激活是否线性判断并激活。

优选地，图像增强模块的双注意力模块用于捕获通道和空间的全局依赖。

优选地，改进后的生成器的第一卷积块为卷积核大小为9，64个卷积核的卷积块；

第二卷积块为卷积核大小为3，64个卷积核的卷积块；

第三卷积块为卷积核大小为3，64个卷积核的卷积块；

第四卷积块为卷积核大小为3，64个卷积核的卷积块；

第五卷积块为卷积核大小为3，256个卷积核的卷积块；

第六卷积块为卷积核大小为9，3个卷积核的卷积块。

优选地，图像增强模块的改进后的边缘注意力生成式对抗网络的判别器，由依次连接卷积结构、第一全连接层、第二激活函数LeakyReLU、第二全连接层、激活层sigmoid组成，其中，卷积结构由八个依次连接的由卷积块+第一激活函数LeakyReLU结构组成，在第六个卷积块+第一激活函数LeakyReLU结构与第七个卷积块+第一激活函数LeakyReLU结构之间设置有双注意力模块。

优选地，改进后的判别器的激活函数LeakyReLU用于对输入图片特征进行线性激活；

第一全连接层的输出为1024；

第二全连接层的输出为1；

激活层sigmoid用于将输入图片特征进行非线性激活。

本发明公开了以下技术效果：

本发明对于电力设备红外图像的重建效果更好并且评价指标更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例所述的EA-GAN生成器网络模型；

图2是本发明实施例所述的EA-GAN判别器网络模型；

图3是本发明实施例所述的改进的EA-GAN生成器网络模型；

图4是本发明实施例所述的改进的EA-GAN判别器网络模型；

图5是本发明实施例所述的双注意力模块整体框架；

图6是本发明实施例所述的ACON动态学习模型；

图7是本发明实施例所述的训练集PSNR迭代曲线；

图8是本发明实施例所述的训练集SSIM迭代曲线；

图9是本发明实施例所述的方法流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1-9所示，实施例1：本发明提供了一种用于提高电力设备红外图像重建能力的改进的边缘注意力生成式对抗网络，将自激活函数模块替换掉原边缘注意力生成式对抗网络中的激活函数，并为原网络的每个神经元设计不同的激活方式，从而增强网络特征表达能力，来提升对于红外图像的重建能力。具体包括如下过程：

如图1-2所示，生成式对抗网络是Lan Goodfellow等学者在2014年提出的一种新型的神经网络结构，它可以在无监督的情况下进行自我学习。网络结构整体分为两大部分，分别是生成器与判别器，其中，生成器负责根据输入的数据生成一组模拟数据，判别器负责判别生成模拟数据的真实性，两个网络通过交替训练达到博弈的效果，继而使生成器生成的模拟数据与真实数据差距更小，模拟度更高。边缘注意力生成器对抗网络中的生成器在提取输入图像信息时采用的是添加了边缘注意力机制的深度残差模块，并且将两层1*1的卷积层添加到了上采样部分。EA-GAN在构建深度残差模块时采用的是局部残差与全局残差相融合的方法其中的每一个单元模块都是由批量归一化和卷积层组成的，残差结构是由一个特征融合层构成，从而能够使图像特征被挖掘的更高效。子像素卷积层在使输入图像尺寸扩大时是将输入特征图扩展通道再排列成一定格式，最终通过学习相应参数使放大效果更加精确。判别器在提取输入图像特征后，判断出是重建高分辨率图像还是原始输入的高分辨率图像并将结果反馈给网络。

与结构单一的深度学习网络不同的是，边缘注意力生成式对抗神经网络在构造上运用了博弈论的思想，运用生成器网络与判别器网络进行对抗，最终生成重建图像。

本发明将边缘注意力模块与双注意力模块相结合，并且将原网络的激活函数替换为自激活函数，对原网络进行改进，提高了网络的特征表达能力。

改进的边缘注意力生成式对抗网络结构框架同样是由生成器与判别器构成。相较于原边缘注意力生成网络，改进的边缘注意力生成式对抗网络在不减少边缘信息丰富程度的同时，加大了全局信息的提取程度，从而能够将原模型提取全局信息相对不足的缺陷进行一定弥补。原模型中所用到的激活函数在对网络结构中神经元进行激活时，由于神经元的无差别激活会使神经网络的特征表达能力受到限制，为了改善这一缺陷，改进的边缘注意力生成式对抗网络中生成器中采用Meta-Aconc激活函数代替原有网络中的传统激活函数，将网络的全局特征表达能力进行增强。生成器部分在原网络的基础上引入双注意力模块将残差块中边缘注意力替换掉。判别器部分，将双注意力模块嵌入到原网络中的第六个残差块尾端。

双注意力模块中通道注意力与空间注意力的关系是并联的结构，两个子模块分别应用自身的自注意力机制捕获通道和空间的全局依赖。

本发明提到的改进的EA-GAN网络结构说明：

生成器部分从上往下为：

卷积块(9，64，4)：卷积核大小为9，64个卷积核，对输入图片做填充；

自适应激活函数Meta-ACONC:对输入图片特征进行是否激活判断，激活是否线性判断并激活；

卷积块(3，64，1)：卷积核大小为3，64个卷积核，对输入图片做填充；

批归一化层：对每一批数据进行归一化；

边缘注意力模块：提高图像边缘特征学习能力；

批归一化层：对每一批数据进行归一化；

自适应激活函数Meta-ACONC:对输入图片特征进行是否激活判断，激活是否线性判断并激活；

卷积块(3，64，1)：卷积核大小为3，64个卷积核，对输入图片做填充；

双注意力模块：用自身的自注意力机制捕获通道和空间的全局依赖；

批归一化层：对每一批数据进行归一化；

元素融合：模块输入特征与模块输出特征进行元素之和；

横线部分：中间8个模块；

卷积块(3，64，1)：卷积核大小为3，64个卷积核，对输入图片做填充；

批归一化层：对每一批数据进行归一化；

元素融合：模块输入特征与模块输出特征进行元素之和；

卷积块(3，256，1)：卷积核大小为3，256个卷积核，对输入图片做填充；

亚像素卷积层：图像分辨率在网络中最后提升；

自适应激活函数Meta-ACONC:对输入图片特征进行是否激活判断，激活是否线性判断并激活；

卷积块(9，3，4)：卷积核大小为9，3个卷积核，对输入图片做填充；

判别器部分从上往下为：

卷积块(3，64，1)：卷积核大小为3，64个卷积核，对输入图片做填充；

激活函数LeakyReLU:对输入图片特征进行线性激活；

卷积块(3，64，2)：卷积核大小为3，64个卷积核，对输入图片做填充；

全连接层(1024)：全连接层输出为1024；

全连接层(1)：全连接层输出为1；

激活层sigmoid：将输入图片特征进行非线性激活。

如图3-4所示，改进的EA-GAN网络结构详细描述及功能介绍：改进的EA-GAN网络可以在无监督的情况下进行自我学习。网络结构整体分为两大部分，分别是生成器与判别器，其中，生成器负责根据输入的数据生成一组模拟数据，判别器负责判别生成模拟数据的真实性，两个网络通过交替训练达到博弈的效果，继而使生成器生成的模拟数据与真实数据差距更小，模拟度更高。相较于原边缘注意力生成网络，改进的边缘注意力生成式对抗网络在不减少边缘信息丰富程度的同时，加大了全局信息的提取程度，从而能够将原模型提取全局信息相对不足的缺陷进行一定弥补。原模型中所用到的激活函数在对网络结构中神经元进行激活时，由于神经元的无差别激活会使神经网络的特征表达能力受到限制，为了改善这一缺陷，改进的边缘注意力生成式对抗网络中生成器中采用Meta-Aconc激活函数代替原有网络中的传统激活函数，将网络的全局特征表达能力进行增强。生成器部分在原网络的基础上引入DA模块将残差块中边缘注意力替换掉。判别器部分，将DA模块嵌入到原网络中的第六个残差块尾端。

双注意力模块中通道注意力与空间注意力的关系是并联的结构，两个子模块分别应用自身的自注意力机制捕获通道和空间的全局依赖，双注意力模块的整体框架如图5所示，特征图分别输入到通道注意力模块CAM和位置注意力模块PAM中,两个子模块的输出最后融合从而能够兼顾通道和位置的侧重程度。

通道注意力模块为特征图A在输入之后分别进行重构和转置重构，从中得到的两个新的特征矩阵进行相乘，然后通过softmax层计算得出通道注意力的图X∈R

将X进行转置与进行重构的A矩阵相乘输出重构尺寸为C×H×W的结果，C、H、W分别表示为特征图的通道数、高与宽，并乘以权值β与A中元素进行加法运算，从而得出特征E,其中的元素值E

位置注意力模块为特征图通过卷积层降维生成新的特征图B∈R

特征图F∈R

通过模型中CAM与PAM两个注意力模块可以将通道域与空间域的特征相关性进行充分的挖掘，从而通道域和空间域的特征可以自适应的在全局的角度进行整合，最终两个模块的特征阵输出以element-wise sum方式进行融合特征。

ACON激活函数进一步打破了Swish函数梯度上下界的固定性，使梯度的上下界的参数也可学习，并且也拥有动态的非线性度。而超参β则控制着Smooth maximum平滑函数的类型，即控制着激活函数是线性还是非线性。为了使ACON-C激活函数的线性非线性能力更加灵活，由一个G(x)模块来通过输入的特性图X(C×H×W)进行动态的学习参数β，从而能够动态的控制函数线性以及非线性的能力。为了动态学习参数β，选择自适应空间的layer-wise，channel-wise，pixel-wise中的channel-wise空间，首先对W，H纬度分别求均值，继而通过两个卷积层，使通道中所有像素可以进行权重共享，最后通过sigmoid激活函数将β求出。为了达到参数减少的目的，两个中间的通道缩放参数设置为16。

本发明针对于原网络中只加强了边缘注意力特征提取，而对全局信息提取不足的缺陷，本发明将双注意力模块与边缘注意力模块进行融合。针对于原网络函数中默认将所有神经元都进行相同形式的激活，本发明将自激活函数模块替换掉原网络中的激活函数，为每个神经元设计不同的激活方式，增强网络特征表达能力。本发明可应用在需要将电力设备低分辨率红外图像重建为高分辨率红外图像从而来判断电力设备故障情况。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。