一种基于多任务学习的绝缘子图像质量评价方法及系统

技术领域

本发明涉及绝缘子图像质量评价技术领域，具体而言，涉及一种基于多任务学习的绝缘子图像质量评价方法及系统。

背景技术

在输电线路中，绝缘子的数量众多，而且分布广泛。由于长期处于野外的环境中，绝缘子容易受到高压以及复杂气候环境的影响，很容易产生缺陷和裂缝等问题。对航空影像中绝缘子组件进行高效率、高精度的识别，对输电线路故障的及时诊断起着重要作用。但是由于摄像机像老化、损伤等自身因素，拍摄过程中的抖动、复杂环境等外界影响，造成拍摄的绝缘子图像出现失真、降质的情况，严重影响绝缘子的识别准确率、缺陷检测准确度。因此，亟需一种高性能的质量评价算法对采集的绝缘子图像进行质量监控与评估。

主观图像质量评价不仅费时费力，而且容易使人眼产生视觉疲劳；客观图像质量评价利用计算机对大量失真图像进行评分的系统，节约了人力物力，能快速对图像进行判断。全参考图像质量评价算法需要高清图像的参与，通过对比失真图像与高清图像之间的统计特性，计算出二者之间的差距或者相似性，从而给出评分。半参考图像质量评价对比高清图像和失真图像的部分特征来对图像进行评分。但是在实际应用中，往往找不到对应的高清图像，不需要高清图像的无参考图像质量评价算法(No Reference Image QualityAssessment,NR-IQA)在实际中被广泛使用。

无人机采集的绝缘子图像可能由于恶劣天气影响、相机运动等情况出现图像降质，而在实际应用中不存在高清图像来做对比，因此只能利用无参考图像质量评价算法，加大了评价的难度；目前公开的图像质量评价算法，在自然场景图像的评价上取得了不错的效果，但是一旦迁移到绝缘子图像上，会出现与人类意见不符的情况，因此需要开发一种针对绝缘子图像的图像质量评价算法；目前并不存在针对绝缘子图像的质量评价数据集，而数据集的创建需要大量带有人类意见评分的图像，人工评分带来巨大的人力和时间消耗。目前一般基于卷积神经网络(CNN)的无参考质量评价算法通常直接学习图像到主观分数之间的映射，但是这些算法倾向于直接解决复杂的回归问题；而且利用的全局特征不足以捕获复杂的失真，无法考虑多尺度失真模式。为了解决端到端训练复杂问题，有研究将图像质量评价划分为若干子任务，通过其它子任务来对图像质量评价任务进行辅助。然而，这些多任务学习方法主要关注共享特征，缺少任务之间的交互能力。

可见，现有技术中缺乏绝缘子图像的质量评价的可靠方法，因此更好地挖掘绝缘子图像的失真特征，实现充分捕获绝缘子图像失真特征的无参考图像质量评价方法是本发明解决的科学问题。除此之外，如何脱离人工评分对绝缘子图像质量进行质量评价和失真分级，创建基于绝缘子图像的质量评价数据集是亟需解决的问题。

发明内容

为了解决上述问题，本发明的目的是提供一种基于多任务学习的绝缘子图像质量评价方法及系统，通过构建绝缘子图像质量评价数据集，并加入细粒度的特征融合来增强多尺度失真信息，引入可变形混合器编码器模块和任务感知transformer解码器模块，突出显示关于不同任务的更多信息区域，并提高任务的交互能力，进而完成绝缘子失真图像的质量评价。

为了实现上述技术目的，本申请提供了一种基于多任务学习的绝缘子图像质量评价方法，包括以下步骤：

采集高清绝缘子图像，通过添加具有等级划分的失真，利用客观评价算法进行质量标签标注，构建绝缘子失真图像数据集；

基于绝缘子失真图像数据集，通过多尺度解耦的特征提取方式，将不同层次的细粒度特征进行融合后，通过编码器进行编码，将得到的编码特征，输入到任务感知transformer解码器的任务交互块；

基于任务交互块捕获每个任务的任务交互，解码每个任务的感知特征，并依据MLP网络，对绝缘子失真图像进行评价。

优选地，在进行质量标签标注的过程中，通过MDSI算法，对添加失真的高清绝缘子图像进行质量标签标注。

优选地，在进行质量标签标注的过程中，对进行质量标签标注的绝缘子失真图像，通过GMSD算法，进行皮尔逊线性相关系数检验，剔除错误标签。

优选地，在进行质量标签标注的过程中，依据失真等级，将标量质量得分的范围划分为离散的子区间，让每个子区间成为一个质量级别，作为质量等级标签。

优选地，在通过编码器进行编码前，将Resnet50网络的每层特征图的通道分成4组，将第一组通道的特征向下传递，将第二组到第四组通道的特征经过一个3×3卷积进行特征提取，并进行拼接还原后向下传递，再次利用1×1卷积融合4组通道信息，用于实现多尺度特征的提取。

优选地，在通过编码器进行编码的过程中，编码器为可变形混合器编码器，包括依次设置的用于进行图像特征降维的线性层、用于通过标准的逐点卷积进行通道混合的通道感知模块、第一GELU激活+BatchNorm模块、用于进行空间上下文聚合获取参考点的相应偏移量的空间感知模块、第二GELU激活+BatchNorm模块、残差模块和用于扁平化图像特征的Reshape模块，其中，残差模块分别将第一GELU激活+BatchNorm模块和第二GELU激活+BatchNorm模块的输出连接。

优选地，在通过任务感知transformer解码器进行解码的过程中，通过两个可变形混合器编码器，获取两个编码特征；

将两个编码特征，输入到任务感知transformer解码器进行解码，其中，任务交互块由多头自注意力模块MHSA和小型多层感知器sMLP组成，多头自注意力模块MHSA用于将特征进行投影，构建包括查询、键和值矩阵的自注意力策略；小型多层感知器sMLP用于依据自注意力策略，生成质量评分任务和质量评级任务的交互特征，小型多层感知器sMLP由一个线性层和一个LayerNorm组成。

优选地，在获取感知特征的过程中，基于交互特征，通过两个任务查询块，并行应用LayerNorm，获取解码任务的感知特征。

优选地，在进行质量评价的过程中，基于感知特征，依据两个相互独立的MLP网络，通过对绝缘子失真图像进行质量评分预测和失真等级预测，依据预测结果，对绝缘子失真图像进行质量评价，其中，损失函数采用动态的权重系数来决定两个任务的损失贡献，在训练初期专注于学习失真评级任务，模拟从易到难的学习规律，对得到的各分块的图像质量评分和失真等级取平均得到最终整幅图像的质量评分和失真等级，进而完成对绝缘子失真图像的质量评价。

本发明还提供了一种基于多任务学习的绝缘子图像质量评价系统，包括：

数据采集模块，用于采集高清绝缘子图像；

数据处理模块，用于根据高清绝缘子图像，通过添加具有等级划分的失真，利用客观评价算法进行质量标签标注，构建绝缘子失真图像数据集，并通过多尺度解耦的特征提取方式，将不同层次的细粒度特征进行融合后，通过编码器进行编码，得到编码特征；

评价模块，用于将编码特征，输入到任务感知transformer解码器的任务交互块，捕获每个任务的任务交互，解码每个任务的感知特征，并依据MLP网络，对绝缘子失真图像进行评价。

本发明公开了以下技术效果：

本发明脱离主观评分的方式，快速构建了绝缘子图像质量评价数据集；

本发明采用多尺度特征解耦的特征提取方法，充分聚合多尺度的失真信息；通过加入可变形混合器编码器模块和任务感知transformer解码器模块处理多任务学习问题，便于充分挖掘失真等级预测任务和质量评分预测任务之间的共享特征和各自的感知特征。

本发明同时对采集的绝缘子图像进行质量评估与失真分级，从而实现对绝缘子故障诊断应用中对失真绝缘子组件的筛选与预处理，对提升输电线路中绝缘子故障诊断算法的准确度有着重要作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述的基于多任务学习的绝缘子图像质量评价方法流程图；

图2是本发明所述的基于多任务学习的绝缘子图像质量评价方法网络结构图；

图3是本发明所述的多尺度解耦过程示意图；

图4是本发明所述的可变形混合器编码器示意图；

图5是本发明所述的任务交互块示意图；

图6是本发明所述的任务查询块示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1-6所示，实施例1：本发明首次构建了绝缘子失真图像数据集，并提出了基于多任务学习的绝缘子图像质量评价方法，引入质量分级预测任务，来帮助优化回归任务。利用多尺度解耦进行细粒度的特征提取，融合多尺度失真特征，引入可变形混合器编码器模块和任务感知transformer解码器模块来提升多任务学习能力，解决了当前技术中缺少可靠的对绝缘子图像进行质量评价方法的问题，以下是本发明具体的实现过程：

无人机采集的绝缘子图像受恶劣天气影响、相机运动等情况出现图像降质，亟需一种高性能的质量监测算法对采集的绝缘子图像进行质量监控与评估。以往公开的算法无法考虑多尺度失真模式，捕获的全局特征不足以提取复杂的失真；为了避免直接解决复杂的回归问题，一些学者将质量评价任务分成多个子任务，然而，这些方法主要关注共享特征，缺少任务之间的交互。本发明首先构建绝缘子失真图像数据集，提出采用多尺度解耦进行细粒度的特征提取和融合，尽可能准确提取各尺度的失真信息，引入了一个有效的可变形混合器编码器模块和任务感知transformer解码器，提高质量评分预测任务和失真等级预测任务之间的交互能力。基于多任务学习的绝缘子图像质量评价方法的流程图如图1所示。

首先利用高清绝缘子图像和客观全参考图像质量评价算法—MDSI进行分数标签标注，为了剔除错误标签，对同一内容的失真图像利用另一个先进的全参考图像质量评价算法—GMSD进行皮尔逊线性相关系数(Pearson linear correlation coefficient，PLCC)检验，构建了脱离主观评分的大型绝缘子失真图像数据集；然后将绝缘子失真图像分为训练集和测试集，并将质量评分进行失真等级的划分；利用训练集中的失真图像和相应的评分标签、失真等级标签进行网络模型的训练；待训练充分，将测试集中的失真图像输入进模型进行测试，得到相应的失真等级和质量评分。其中，基于多任务学习的绝缘子图像质量评价方法网络结构图如图2所示。

基于多任务学习的绝缘子图像质量评价方法主要由多尺度特征提取网络、编码器、解码器、多任务预测网络组成。

(1)多尺度特征提取网络：

在绝缘子图像质量评价中，需要提取不同程度的失真，往往有多种不同尺度的特征隐含在失真图像中，残差图像含有与图像质量有关的重要信息。针对这一特点，本发明提出图2中所示的多尺度特征提取网络，该网络从Resnet50基础网络中提取四层失真特征，并将它们下采样到相同尺寸后进行拼接融合。其中，下采样过程由3×3卷积实现，为了进行更细粒度的多尺度特征提取，将3×3卷积进行多尺度解耦，如图3所示。

首先对通道进行分组，组数scale为4，第一组的特征向下传递，第二组的特征经过一个3×3卷积进行特征提取，由此特征提取的感受野随之改变，以此类推，越到后面的组感受野越大，最后将各个组的特征进行拼接还原，再次利用1×1卷积融合通道信息，实现同一层中多尺度特征的提取。

(2)编码器：

为了提高网络的特征提取能力，本发明引入两个独立的可变形混合器编码器，输出两个预测任务的可变形特征。

可变形混合器编码器为空间感知可变形空间特征和通道感知位置特征的混合，自适应地为每个任务提供更有效的感受野和采样空间位置，以生成任务1的变形特征为例，如图4所示。

首先，通过线性层将图像特征X∈R

W

随后是GELU激活、BatchNorm和残差连接。Reshape操作将特征X∈R

可变形混合器编码器的输出是两个任务的特定特征，可作为后续解码器的输入。

(3)解码器：

为了提高多任务交互的能力，本发明引入任务感知transformer解码器。

任务感知transformer解码器包括一个任务交互块和两个任务查询块，分别用来捕捉任务交互特征以及进行相应预测。

任务交互块，由多头自注意力模块(MHSA)和小型多层感知器(sMLP)两部分组成，通过注意力机制捕获每个任务的任务交互，如图5所示。

首先，连接来自可变形混合器编码器的两个输出变形特征，

其中，X

为了实现高效的任务交互，特征首先被投影到维度dk的查询(Q)、键(K)和值(V)中，然后构造了一个自注意力策略：

Q＝LN(X

X′

其中，Q∈R

最后利用sMLP生成质量评分任务和质量评级任务的交互特征，如下面公式所示。

其中，

任务查询块从预测的任务交互特征中分别解码任务1和任务2的感知特征，如图6所示，以生成任务1的感知特征

首先并行应用LayerNorm来生成查询Q、键K和值V，变形特征

任务感知特征通过重塑操作从R

(4)质量分数回归及失真等级分类网络：

引入了一个从复杂的质量回归任务中简化而来的质量评级预测任务，旨在帮助优化回归任务。具体来说，将标量质量得分的范围划分为离散的子区间，让每个子区间成为一个质量级别，代表一个特定的质量水平，用于失真评级预测任务。网络包含两部分：图像质量评分预测模块和图像失真等级预测模块，都是使用简单的多层感知层(MLP)实现的。

本发明提出的基于多任务学习的绝缘子图像质量评价方法步骤如下：

第一步：在高清绝缘子图像上添加五种不同类型的失真，每种失真具有五个失真等级，利用客观评价算法进行质量标签的标注，并将标量质量得分的范围划分为离散的子区间，让每个子区间成为一个质量级别，作为质量等级标签。对绝缘子失真图像进行预处理，每张失真图像分割成若干224×224的小块。

第二步：特征提取采用多尺度解耦的特征提取方式，最后将不同层次的细粒度特征进行融合，形成新的特征，作为可变形混合器编码器的输入。把可变形混合器编码器的输出结果输入到任务感知transformer解码器的任务交互块中，捕获每个任务的任务交互；再将交互特征输入到任务查询块，以解码每个任务的感知特征。

第三步：将改进后的网络所得到的每个任务的感知特征，通过两个独立的MLP网络进行质量评分预测和失真等级预测，其中，损失函数中采用动态的权重系数来决定两个任务的损失贡献，使模型在训练初期专注于学习失真评级任务，模拟从易到难的学习规律。对得到的各分块的图像质量评分和失真等级取平均得到最终整幅图像的质量评分和失真等级，进而完成绝缘子失真图像的质量评价。

本发明具备如下特征：

(1)本发明首次构建了绝缘子失真图像数据集，对高清绝缘子图像进行不同模糊程度的高斯滤波、添加不同程度的白噪声、进行不同程度的JPEG2000压缩和JPEG压缩、添加不同模糊程度的运动模糊，模拟在实际航空影像中绝缘子组件采集过程中的各种失真，形成绝缘子图像质量评价数据集，解决了目前针对绝缘子图像质量评价公开数据集缺乏的问题。

(2)本发明脱离主观评分的方式，利用高性能的全参考图像质量评价算法来给每张绝缘子失真图像进行评分，并结合另一种高性能全参考图像质量评价算法对标签和失真图像进行筛选，实现对绝缘子图像质量评价数据集中标签的快速构建。

(3)本发明构建了有效的细粒度特征提取和融合模块，充分考虑不同尺度失真的影响，聚合多尺度失真信息，解决大多数算法未能充分考虑多尺度失真模式的问题。

(4)本发明还引入可变形混合器编码器模块，捕获与各个任务相关的更多信息区域；引入任务感知transformer解码器被用来关注每个任务的任务感知，缓解CNN中缺乏全局建模的问题，提高质量评分任务与失真分级任务的感知能力和交互能力。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。