基于多尺度感知的变电设备红外图像识别方法及相关装置

技术领域

本申请涉及图像处理技术领域，尤其涉及基于多尺度感知的变电设备红外图像识别方法及相关装置。

背景技术

变电站作为电力系统的重要组成部分，其一次设备的实时监测对保障变电站安全稳定运行具有十分重要的意义。及时准确的变电设备识别技术能够为工作人员进一步分析设备状态、实现故障诊断提供良好的先行条件，从而减少设备故障发生频率，有利于增加变电站运行可靠性、降低设备运维成本。

在变电站设备的识别上，相关人员通常是在可见光图像的基础上实现设备识别。这类方法能够识别出目标设备种类，但是可见光图图像容易受到外界环境干扰，且人为识别效率和准确率较低。红外测温技术因其具有非接触式测量、精度高且不受电磁干扰等诸多优点，常用于电力设备异常检测，包括缺油故障、局部过热故障等。红外图像通过辐射差异将目标设备与背景进行区分，具有较强的穿透力，不易受到天气和光照条件影响。随着红外技术日益成熟，红外图像识别技术在设备故障诊断中发挥着越来越重要的作用。

现有较为成熟的针对变电设备的红外图像识别技术是基于机器学习的图像分析方法，但是该方法需要人为设计图像特征提取过程，图像识别效果对图像特征提取准确度的要求较高，导致该方法仍然存在特征提取量大，精确度较低的问题。

发明内容

本申请提供了基于多尺度感知的变电设备红外图像识别方法及相关装置，用于解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。

有鉴于此，本申请第一方面提供了基于多尺度感知的变电设备红外图像识别方法，包括：

对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；

采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，所述预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；

通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，所述预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；

采用预设多头自注意力机制输出层对所述混合特征图进行识别分析，得到红外图像识别结果。

优选地，所述对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列，包括：

采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；

通过第二预设卷积核对第一预置数量的所述调整特征图进行卷积计算，得到卷积特征图；

对第二预置数量的所述调整特征图进行最大池化计算，得到池化特征图，所述第一预置数量和第二预置数量之和为所述调整特征图的总数量；

拼接所述卷积特征图和所述池化特征图，得到修剪特征图序列。

优选地，所述采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，包括：

基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；

采用所述第一多尺度混合卷积层对所述修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；

通过所述多尺度感知聚合层对不同尺度下的所述空间特征图进行重组聚合操作，得到聚合特征图。

优选地，所述通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，包括：

基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；

采用所述前馈神经网络层提取所述聚合特征图中的浅层特征图；

通过所述预设交叉网络的交叉堆叠网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到深层特征图；

结合所述浅层特征图和所述深层特征图得到混合特征图。

本申请第二方面提供了基于多尺度感知的变电设备红外图像识别装置，包括：

图像修剪单元，用于对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；

卷积聚合单元，用于采用预设多尺度感知调制器对所述修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，所述预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；

关联分析单元，用于通过预设交叉网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到混合特征图，所述预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；

识别分析单元，用于采用预设多头自注意力机制输出层对所述混合特征图进行识别分析，得到红外图像识别结果。

优选地，所述图像修剪单元，具体用于：

采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；

通过第二预设卷积核对第一预置数量的所述调整特征图进行卷积计算，得到卷积特征图；

对第二预置数量的所述调整特征图进行最大池化计算，得到池化特征图，所述第一预置数量和第二预置数量之和为所述调整特征图的总数量；

拼接所述卷积特征图和所述池化特征图，得到修剪特征图序列。

优选地，所述卷积聚合单元，具体用于：

基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；

采用所述第一多尺度混合卷积层对所述修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；

通过所述多尺度感知聚合层对不同尺度下的所述空间特征图进行重组聚合操作，得到聚合特征图。

优选地，所述关联分析单元，具体用于：

基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；

采用所述前馈神经网络层提取所述聚合特征图中的浅层特征图；

通过所述预设交叉网络的交叉堆叠网络捕捉所述聚合特征图中的局部与全局特征依赖关系，得到深层特征图；

结合所述浅层特征图和所述深层特征图得到混合特征图。

本申请第三方面提供了基于多尺度感知的变电设备红外图像识别设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于多尺度感知的变电设备红外图像识别方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的基于多尺度感知的变电设备红外图像识别方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了基于多尺度感知的变电设备红外图像识别方法，包括：对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得到混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；采用预设多头自注意力机制输出层对混合特征图进行识别分析，得到红外图像识别结果。

本申请提供的基于多尺度感知的变电设备红外图像识别方法，采用多尺度混合卷积层中不同尺度的卷积核可以提取到变电设备红外图像的空间特征，并且不同尺度的卷积核可以扩展对图像的感受野，增强的图像特征的表达能力；此外，通过预设交叉网络还能够对特征图中局部与全局的特征关系进行深度分析，确保特征表达的可靠性，使得参与识别分析的混合特征图能够更加精准的描述变电设备特性，继而确保识别结果的准确性。因此，本申请能够解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。

附图说明

图1为本申请实施例提供的基于多尺度感知的变电设备红外图像识别方法的流程示意图；

图2为本申请实施例提供的基于多尺度感知的变电设备红外图像识别装置的结构示意图；

图3为本申请实施例提供的基于卷积网络的图像修剪流程示意图；

图4为本申请实施例提供的预设多尺度感知调制器的图像处理过程流程示意图；

图5为本申请实施例提供的预设多尺度感知调制器网络结构示意图；

图6为本申请实施例提供的预设交叉网络的网络结构示意图；

图7为本申请实施例提供的基于多尺度感知的变电设备红外图像识别方法网络结构示例图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的基于多尺度感知的变电设备红外图像识别方法的实施例，包括：

步骤101、对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列。

进一步地，步骤101，包括：

采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；

通过第二预设卷积核对第一预置数量的调整特征图进行卷积计算，得到卷积特征图；

对第二预置数量的调整特征图进行最大池化计算，得到池化特征图，第一预置数量和第二预置数量之和为调整特征图的总数量；

拼接卷积特征图和池化特征图，得到修剪特征图序列。

需要说明的是，当前变电设备红外图像可以是实时提取的图像信息，也可以留存的目标图像信息，具体的在此不作限定。而且为了便于开展本实施例的研究分析，还可以对图像进行一些预处理操作，例如去噪等质量预处理，翻转等增强处理，裁剪等大小调整处理等，具体的可以根据实际情况选取，在此不作赘述。

本实施例选取的当前变电设备红外图像的大小为224×224，即H=224，W=224，输入图像维度可以表达为H×W×C。请参阅图3，本实施例通过卷积网络中的卷积计算对当前变电设备红外图像进行修剪操作；当前变电设备红外图像输入卷积网络中，首先采用第一预设卷积核3×3对其进行卷积操作，步长为2，输出维度为M的调整特征图，此处卷积计算主要是为了改变特征图的通道数量C；然后卷积网络分为两个支路分别对调整特征图进行分析处理，其中第一预置数量的调整特征图采用卷积核1×1降低一半的通道数，再进行3×3大小，步长为2的卷积核进行下采样处理，得到卷积特征图；第二预置数量的调整特征图则进行最大池化处理，得到池化特征图；最后将两个分析网络得到的特征图拼接即可得到修剪特征图，所有处理的图像均可以按照这这样的方式进行处理，从而得到修剪特征图序列。为了确保修剪前后的图像规格不变，且后续处理的便利性，还可以在卷积网络的最后再进行一次1×1的卷积操作，用于还原通道数量。

步骤102、采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层。

进一步地，步骤102，包括：

基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；

采用第一多尺度混合卷积层对修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；

通过多尺度感知聚合层对不同尺度下的空间特征图进行重组聚合操作，得到聚合特征图。

请参阅图4，本实施例的预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层，除此之外还包括线性网络层，用于处理输入特征图，便于后续卷积。其中第一多尺度混合卷积层中引入了多个不同大小的卷积核构成的多个卷积层，使其能够在特征图中捕捉到多种尺度上的空间特征，并利用不同尺度或者不同粒度的特征图构建特征池；同时，多尺度卷积核还能够扩展对图像的感受野，增强其建模长距离依赖的能力，并提升卷积调制能力。本实施例为了增强不同尺度卷积网络之间的信息交互，增设了多尺度感知聚合层，该网络层可以对不同尺度卷积得到的特征图进行重组聚合，得到聚合特征图。

请参阅图5，在第一多尺度混合卷积层中引入了不同大小的卷积核，构成了多个不同的卷积层，其输入通道分为T个尺度，每个尺度都可以进行深度可分离卷积操作；将卷积核大小初始化为3×3，然后间隔为2逐个尺度递增，这样调整不同尺度数量可以调节感受野的范围和多粒度信息。多尺度混合卷积计算过程可以表达为：

；

其中，

本实施例深度可分离卷积层由深度卷积和点卷积结合进行卷积计算，能够对特征图进行深度特征提取和学习，深度卷积包括不同尺寸的卷积核，点卷积的卷积核则是1×1大小。通过卷积核进行特征提取后可以采用激活函数增强其非线性拟合能力：

；

其中，

；

其中，

请参阅图5，本实施例为了增强不同尺度卷积网络之间的信息交互，增设了多尺度感知聚合层，用于对不同尺度下的空间特征图进行重组聚合，但是为了避免增加算法计算量，引入的是轻量化多尺度感知聚合模块，即特征多尺度感知聚合。上述基于第一多尺度混合卷积层提取的不同粒度的空间特征图可以生成多个特征池，多尺度感知聚合层可以从每个特征池中随机提取特征构建特征组；然后在每个特征组内自上而下进行特征聚合，从而得到聚合特征图，聚合特征图包含了多个尺度特性，因此提升了特征图的尺度特征多样性；最后使用1×1卷积核进行组内-组间的跨组信息聚合，降低特征图的处理数量，从而实现轻量且高效的聚合效果。多尺度感知聚合计算过程为：

；

；

；

其中，

；

；

；

其中，

需要说明的是，本实施例中的预设多尺度感知调制器包括两个第一多尺度混合卷积层和两个多尺度感知聚合层，其具体的连接关系是一个第一多尺度混合卷积层与一个多尺度感知聚合层连接形成一个小单元，两个小单元连接形成复合网络，即预设多尺度感知调制器。可以理解的是，这样的小单元可以是两个或者多个，本实施例仅给出了两个小单元构成的调制器的示例，但是并不限于此，具体的多个小单元连接形成的调制器连接关系与两个小单元的连接关系相同，在此不作赘述。

步骤103、通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得到混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层。

进一步地，步骤103，包括：

基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；

采用前馈神经网络层提取聚合特征图中的浅层特征图；

通过预设交叉网络的交叉堆叠网络捕捉聚合特征图中的局部与全局特征依赖关系，得到深层特征图；

结合浅层特征图和深层特征图得到混合特征图。

本实施例中的预设交叉网络由第二多尺度混合卷积层和多头自注意力机制层构成，具体包括两个多尺度混合卷积层和两个多头自注意力机制层，连接关系为交叉堆叠连接，即一个多尺度混合卷积层输出与多头自注意力机制层的输入连接，该多头自注意力机制层的输出与另一个多尺度混合卷积层输入连接，最后接一个多头自注意力机制层。可以理解的是，这样的一个多尺度混合卷积层与一个多头自注意力机制层连接的子单元可以是本实施例中的两个，也可以是三个或者多个，本实施例仅给出了一种交叉堆叠连接的示例，但并不仅限于两个，多个子单元的情况与两个子单元的连接关系相同，在此不再赘述。

请参阅图6，预设交叉网络中除了包括第二多尺度混合卷积层和多头自注意力机制层外，还包括前馈神经网络层和标准化层。第二多尺度混合卷积层的卷积过程与第一多尺度混合卷积层中的卷积过程相同，具体的可以参阅上文多尺度混合卷积计算过程，在次不作赘述。前馈神经网络层可以提取聚合特征图中的浅层特征，得到浅层特征图并向前反馈；网络层中包括两个连续的线性变化，以及一个Relu激活函数，具体计算过程表达为：

；

其中，

为了防止网络层内数值的变化过大，并提升模型泛化性能和训练速度，本实施例引入标准化层对同一个网络层中的所有神经元进行标准化处理，具体的标准化计算过程表达为：

；

；

其中，

多头自注意力机制层通过概率分配的方式，对序列中的重要信息赋予较大的权值来突出重要信息；多头自注意力机制将每个注意力结果进行拼接，以获得不同层面变电设备红外特征信息；本实施例采用缩放点积注意力实现每个注意力的计算：

；

其中，

多头自注意力机制的函数表达为：

；

其中，

步骤104、采用预设多头自注意力机制输出层对混合特征图进行识别分析，得到红外图像识别结果。

需要说明的是，预设多头自注意力机制是基于多头注意力机制配置的输出层，此处的多头注意力机制与上文的多头自注意力机制层原理相同，所以不作赘述。混合特征图输入预设多头注意力机制输出层进行特征分析，并对重要特征进行不同权重分配，然后将计算得到特征进行拼接即得到识别结果，即红外图像识别结果。

需要说明的是，综合以上变电设备红外图像识别过程，请参阅图7，本实施例的识别过程可以分为4个阶段，前两个阶段采用多尺度感知调制器捕捉图像特征的局部相关性；第三个阶段将多尺度感知调制器和多头混合卷积进行混合堆叠，用来捕捉局部到全局依赖关系的转变；最后一个阶段使用多头自注意力机制来捕捉特征长时间尺度下的依赖关系。每个阶段的下采样频率分别为4，8，16，32，本实施例采用的红外图像的大小为224×224，每个阶段采用分块策略后图像的大小变为56×56，28×28，14×14以及7×7。

为了证实本实施例提供的基于多尺度感知的变电设备红外图像识别方法的准确性，本申请对变电站常见的绝缘子、变压器、断路器、套管、互感器和避雷器这6种电力设备进行了分类识别测试。所采用的图像数据集中有11000幅电力设备图像，图像尺寸从256像素×256像素到1024像素×1024像素，其中绝缘子、变压器、断路器、套管、避雷器均为2000幅图像，套管有1000幅图像。训练时，随机选择的绝缘子、变压器、断路器、套管、避雷器均为1900幅，输电线铁塔图像数量为800幅，其余的作为测试样本。得到的识别准确率请参阅表1。

表1 不同变电设备红外图像识别准确率

本申请实施例提供的基于多尺度感知的变电设备红外图像识别方法，采用多尺度混合卷积层中不同尺度的卷积核可以提取到变电设备红外图像的空间特征，并且不同尺度的卷积核可以扩展对图像的感受野，增强的图像特征的表达能力；此外，通过预设交叉网络还能够对特征图中局部与全局的特征关系进行深度分析，确保特征表达的可靠性，使得参与识别分析的混合特征图能够更加精准的描述变电设备特性，继而确保识别结果的准确性。因此，本申请实施例能够解决技术的识别效果对特征提取准确度要求较高，特征提取量大也无法保证识别精确度的技术问题。

为了便于理解，请参阅图2，本申请提供了基于多尺度感知的变电设备红外图像识别装置的实施例，包括：

图像修剪单元201，用于对当前变电设备红外图像进行图像修剪操作，得到修剪特征图序列；

卷积聚合单元202，用于采用预设多尺度感知调制器对修剪特征图序列进行多尺度混合卷积操作和多尺度感知聚合操作，得到聚合特征图，预设多尺度感知调制器包括第一多尺度混合卷积层和多尺度感知聚合层；

关联分析单元203，用于通过预设交叉网络捕捉聚合特征图中的局部与全局特征依赖关系，得到混合特征图，预设交叉网络包括第二多尺度混合卷积层和多头自注意力机制层；

识别分析单元204，用于采用预设多头自注意力机制输出层对混合特征图进行识别分析，得到红外图像识别结果。

进一步地，图像修剪单元201，具体用于：

采用第一预设卷积核对当前变电设备红外图像进行通道调整，得到调整特征图；

通过第二预设卷积核对第一预置数量的调整特征图进行卷积计算，得到卷积特征图；

对第二预置数量的调整特征图进行最大池化计算，得到池化特征图，第一预置数量和第二预置数量之和为调整特征图的总数量；

拼接卷积特征图和池化特征图，得到修剪特征图序列。

进一步地，卷积聚合单元202，具体用于：

基于第一多尺度混合卷积层和多尺度感知聚合层构建预设多尺度感知调制器；

采用第一多尺度混合卷积层对修剪特征图序列中的特征图进行多尺度空间特征提取操作，得到空间特征图；

通过多尺度感知聚合层对不同尺度下的空间特征图进行重组聚合操作，得到聚合特征图。

进一步地，关联分析单元203，具体用于：

基于前馈神经网络层，将第二多尺度混合卷积层和多头自注意力机制层进行交叉堆叠连接，得到预设交叉网络；

采用前馈神经网络层提取聚合特征图中的浅层特征图；

通过预设交叉网络的交叉堆叠网络捕捉聚合特征图中的局部与全局特征依赖关系，得到深层特征图；

结合浅层特征图和深层特征图得到混合特征图。

本申请还提供了基于多尺度感知的变电设备红外图像识别设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行上述方法实施例中的基于多尺度感知的变电设备红外图像识别方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的基于多尺度感知的变电设备红外图像识别方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。