基于深度学习的雾天高空电力设备锈蚀检测方法及系统

技术领域

本发明涉及无人机应用技术领域，具体涉及一种基于深度学习的雾天无人机高空电力设备锈蚀检测方法及系统。

背景技术

当前电网正逐步摒弃传统电力运维方式，辅以基于云大物移等技术的新型电力智能运维系统来保障电网高效运行，但由于户外架空电路的特殊性，数字化电网在探索及应用过程中暴露出诸多困难。

其中，现行视觉检测技术在定位电力设备外表面锈蚀这一不规则恶劣性隐患时，缺乏行之有效的高灵活性及鲁棒性检测方法，严重制约智能配用电领域健康发展及数字化电网的建设进程。

随着无人机技术的日益成熟，无人机架空输电智慧巡检方案在电网运维中展现出极高的应用价值，特别是利用无人机实现高空电力设备锈蚀故障的自动检测，可凭借无人机的高机动性，摆脱人力巡检低效耗时、代价昂贵的弊端，同时基于深度学习保障锈蚀识别的精确性，改善巡检人员主观经验依赖严重的现状。

现实无人机巡检时需综合考量高空线路环境的复杂因素，如电磁场安全距离、风速、日照等，制定可靠的巡检区域及路线，因此无人机会受一定的空间约束，致使其采集的可见光影像姿态多样，环境背景干扰较大，如枯叶、泥土或被检测部件处于迎光面时均易呈现出与锈蚀相像的视觉特征，增加误判风险。此外，当面临恶劣天气状况如大雾天时，锈蚀目标较小且对比度低，对视觉检测算法要求更高。因此，如何提供一种能解决上述技术问题的方案，是本领域的技术人员目前需要解决的问题。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于深度学习的雾天无人机高空电力设备锈蚀检测方法。

第一方面，本申请实施例提供了一种基于深度学习的雾天无人机高空电力设备锈蚀检测方法，该方法包括：

步骤S1：通过无人机采集高空电力设备含锈蚀目标的可见光原图；

步骤S2：通过不依赖真实场景深度信息的含雾数据，获取可供训练的锈蚀含雾样本图；

步骤S3：混合可见光原图和含雾样本图，划分训练集、验证集进行对抗训练，并将训练好的去雾模型作为MaskR-CNN的预处理模块，构建出基于DeblurGANv2去雾图和MaskR-CNN检测的无关联模型；

步骤S4：混合可见光原图、含雾样本图以及DeblurGANv2去雾图，划分训练集、测试集，优化MaskR-CNN的网络模型后进行训练；

步骤S5：针对MaskR-CNN算法的锈蚀检出结果，添加基于HSV颜色空间的防误检后处理模块，得到雾天高空电力设备表面锈蚀检测结果。

在其中一个实施例中，所述步骤S2包括：

步骤S2-1：对含雾数据进行优化过滤得到基准原图，对基准原图进行超像素过分割；

步骤S2-2：通过过分割子块的平均颜色特征，构建超像素邻接矩阵，设定基于颜色均值的欧几里得距离的粗合并阈值，进行超像素块粗合并；

步骤S2-3：获取天空域分割结果；

步骤S2-4：整合步骤S2-2及步骤S2-3的结果，构造基于超像素过分割及天空域分割的深度先验矩阵；

其中，d

步骤S2-5：归一化深度值d

在其中一个实施例中，所述骤S2-1包括：

对含雾数据进行过滤，剔除存在动态模糊、清晰度较低、过度曝光、色彩过暗、存在伪影的图像；

对过滤后的基准原图进行超像素过分割。

在其中一个实施例中，所述骤S2-3包括：

对基准原图进行灰度化处理，通过最大类间差算法进行天空域粗分割，求取其天空域中频率最高的像素值并记作；

基于thresh＝μ·N，其中，常数μ为修正系数，μ∈(0.5，0.9)，修正分割阈值thresh并得到天空域分割二值图，对二值图进行形态学开运算后查找所有轮廓，计算各轮廓面积并排序；

剔除小于图像总面积0.087％的误判为天空的小块地面零散区域。

在其中一个实施例中，所述骤S2-5：包括：

归一化深度值d

在其中一个实施例中，所述步骤S4包括：

步骤S4-1：对可见光原图、含雾样本图经过DeblurGANv2后的清洗样本进行混合，采用copy-paste进行数据扩充并采用labelme进行标注，依此构建出MaskR-CNN的训练集、测试集；

步骤S4-2：对训练集、测试集中的锈蚀个体的标注作外接矩形，求取所有外接矩形框的宽高值，通过k-means聚类有针对性地分析锈蚀目标的纵横比，获取符合锈蚀目标形态特征的最优anchor设定；

步骤S4-3：通过Bi-FPN模块对混合后的样本以加强锈蚀特征的融合。

在其中一个实施例中，所述通过k-means聚类有针对性地分析锈蚀目标的纵横比，获取符合锈蚀目标形态特征的最优anchor设定，包括：

Step1：设定聚类簇k，随机初始化聚类中心(W

Step2：计算锈蚀外接矩形框(w

Step3：按照下式，更新各个聚类中心；

Step4：循环Step2和Step3，直至聚类中心固定不变或完成总迭代数。

在其中一个实施例中，所述添加基于HSV颜色空间的防误检后处理模块，包括：

通过yolov5输出的坐标位置对可见光原图进行裁剪，获取存在锈蚀的ROI子图；

将ROI子图转为HSV颜色空间，对其进行分割。

第二方面，本申请实施例提供了一种基于深度学习的雾天无人机高空电力设备锈蚀检测系统，该系统包括：

采集模块，用于通过无人机采集高空电力设备含锈蚀目标的可见光原图；

获取模块，用于通过不依赖真实场景深度信息的含雾数据，获取可供训练的锈蚀含雾样本图；

混合模块，用于混合可见光原图和含雾样本图，划分训练集、验证集进行对抗训练，并将训练好的去雾模型作为MaskR-CNN的预处理模块，构建出基于DeblurGANv2去雾图和MaskR-CNN检测的无关联模型；

优化模块，用于混合可见光原图、含雾样本图以及DeblurGANv2去雾图，划分训练集、测试集，优化MaskR-CNN的网络模型后进行训练；

添加模块，用于针对MaskR-CNN算法的锈蚀检出结果，添加基于HSV颜色空间的防误检后处理模块，得到雾天高空电力设备表面锈蚀检测结果。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行程序时实现如本申请实施例描述的方法。

本申请的有益效果包括：

本申请提供的一种基于深度学习的雾天无人机高空电力设备锈蚀检测方法，从数据层面入手，提供了不依赖真实场景深度信息的含雾数据的模拟方法，可避免同一场景下雾图参考图像制备技术严苛的难题，节省人力物力，便于神经网络学习大雾环境下检测目标的特征权重配置。

本申请在构建深度先验矩阵时，通过超像素块粗合并策略计及了原图的空间特征信息，并单独分割天空域，可有效改善天空与地面远景交接处的合并效果，通过融合策略构建出的深度先验矩阵更加精确。基于超像素子块赋予同一场景物体相同景深，模拟出的雾图更贴近真实场景下雾气浓度分布，客观自然。

本申请构建了基于DeblurGANv2去雾和改进Mask R-CNN检测的无关联模型，为雾天高空设备锈蚀高精度巡检监测提供了创新方案。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的基于深度学习的雾天无人机高空电力设备锈蚀检测方法的流程示意图；

图2示出了根据本申请一个实施例的基于深度学习的雾天无人机高空电力设备锈蚀检测系统200的示例性结构框图；

图3为本申请中步骤S2模拟含雾锈蚀样本的流程图；

图4为本申请实施例中步骤S2-2构建深度信息矩阵的示意图；

图5为本申请实施例中步骤S2-3生成雾图样本的示意图；

图6为本申请中步骤S4基于DeblurGANv2去雾和改进MaskR-CNN检测的无关联模型的结构示意图；

图7示出了适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与申请相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

基于清晰数据集训练出的网络模型无法准确反映出真实雾天下的锈蚀特征，故检测结果置信度偏低，模型鲁棒性欠佳，事实上，模型检测性能掣肘于含雾数据集的质量及规模大小，而采集并制作大规模的高空锈蚀大雾样本会面临诸多现实难题，耗费较多财力、物力，因此，本发明以较容易采集的清晰原图入手，建立不依赖真实场景深度信息的大雾模拟生成机制，构建基于去雾和改进MaskR-CNN检测的无关联模型，最终达到锈蚀精确识别及定位的目的。

请参考图1-图6所示，本申请实施例提供了一种基于深度学习的雾天无人机高空电力设备锈蚀检测方法，该方法包括：

步骤S1：通过无人机采集高空电力设备含锈蚀目标的可见光原图；

步骤S2：通过不依赖真实场景深度信息的含雾数据，获取可供训练的锈蚀含雾样本图；

步骤S3：混合可见光原图和含雾样本图，划分训练集、验证集进行对抗训练，并将训练好的去雾模型作为MaskR-CNN的预处理模块，构建出基于Deb lurGANv2去雾图和MaskR-CNN检测的无关联模型；

步骤S4：混合可见光原图、含雾样本图以及DeblurGANv2去雾图，划分训练集、测试集，优化MaskR-CNN的网络模型后进行训练；

步骤S5：针对MaskR-CNN算法的锈蚀检出结果，添加基于HSV颜色空间的防误检后处理模块，得到雾天高空电力设备表面锈蚀检测结果。

具体的，上述方法包括：

步骤S1：无人机飞行视野开阔，电力巡检高度数十米至一千米左右，成像设备与电力设备距离狭长，故成像画面无关背景信息丰富，如经常出现的天空，以及农田、森林、建筑等，致使不含锈蚀的无关画面冗余，故利用无人机采集高空电力设备含锈蚀目标的可见光原图(或视频采帧)作为基准图像，具体为架空线路的均压环、螺母、螺钉、塔身、防震锤、电力拉环以及变电站户外设施的含锈蚀部件，奠定深度学习模型训练的数据基础。

步骤S2：大雾合成涉及到对原图深度的有效估计，而获取准确的深度信息技术成本较高且难以推广，如通过匹配双目立体图像求取深度或借由激光点云数据直接生成深度图等。为获取可供训练的锈蚀含雾样本，本发明设计出不依赖真实场景深度信息的雾图数据模拟方法。

进一步地，不依赖真实场景深度信息的雾图数据模拟，具体步骤如下：

步骤S2-1：对获取到的基准数据过滤，剔除存在动态模糊、清晰度较低、过度曝光、色彩过暗、存在伪影等不利于人工合成大雾的图像，对过滤后的基准原图进行超像素过分割。本实施例基于SLIC算法对基准原图进行超像素过分割，超像素块个数k值设置为800，颜色和空间相对重要性的平衡参数m设置为10，原图过分割结果如图4-a所示，过分割各子块如图4-b。

步骤S2-2：依据过分割子块的平均颜色特征，构建超像素邻接矩阵，设定基于颜色均值的欧几里得距离的粗合并阈值，进行粗合并，由于巡检场景物体颜色差异较大，故本实施例设定合并阈值为15，粗合并结果如图4-d，合并后的子块如图4-e，可以看出，天空区域及地面远景接合处的合并效果不佳。

步骤S2-3：为对天空域赋予更准确的深度估计，结合大津算法单独精确分割天空域。具体为：基准原图灰度化，使用最大类间差算法进行天空域粗分割，求取其天空域中频率最高的像素值并记作N，基于下式修正分割阈值thresh并得到天空域分割二值图，对其进行形态学开运算后查找所有轮廓，计算各轮廓面积并排序，剔除小于图像总面积0.087％的误判为天空的小块地面零散区域，本实施例中设定μ值为0.87，天空域分割结果如图5-b。

thresh＝μ·N

其中，常数μ为修正系数，μ∈(0.5，0.9)，避免分割阈值过高。

步骤S2-4：整合步骤S2-2及步骤S2-3的结果，构造基于超像素分割及天空分割的深度先验矩阵。具体为：遍历并计算粗合并后各子块质心的高centroid_h，依据下式为所有子块设定深度值，估计出的深度图如图4-f、图5-a，同一子块设定相同的深度值以便大雾合成结果更接近真实场景的雾气浓度分布，可以看出由于天空域只是作简单的粗合并，导致此区域估计的深度值并不精确，尤其是与地面远景接合位置。因此基于步骤S2-3天空域分割结果修正天空区域的深度值，将此区域赋值为255，以此构建出无雾原图的深度先验矩阵，深度先验矩阵如图5-c所示。

其中，d

步骤S2-5：归一化深度值d

其中，t

大气散射模型，具体为：

I

其中，I

本实施例中设定λ＝30，β＝0.04，A＝0.7。

步骤S3：

大雾条件下锈蚀检测的难点在于其缺陷轮廓不规则、面积小、深浅对比度低，为准确获取锈蚀目标的特征权重配置，构建基于DeblurGANv2的去雾预处理模块。

去雾预处理模型权值来源于基准原图及其雾图的对抗训练，并将训练好的去雾模型作为MaskR-CNN的预处理模块，构建出基于DeblurGANv2去雾和MaskR-CNN检测的无关联模型，如图6所示。

步骤S4：混合基准原图、雾图、DeblurGANv2去雾清晰图，划分训练集、测试集，改进MaskR-CNN网络模型，进行训练。

进一步地，步骤S4包含以下子步骤：

步骤S4-1：由于锈蚀目标总量较少，对含锈蚀的基准原图、雾图、经过DeblurGANv2后的清洗样本进行混合，采用copy-paste进行数据扩充并统一尺寸为1024×1024，采用labelme进行标注，依此构建出MaskR-CNN的训练集、测试集。

步骤S4-2：对所有锈蚀实例个体的标注作外接矩形，求取所有外接矩形框的宽高值，引入k-means聚类有针对性地分析锈蚀目标的纵横比，获取符合锈蚀目标形态特征的最优anchor设定，以最大程度匹配训练样本。

进一步地，k-means聚类获取最优anchor比例设定，流程如下：

Step1：设定聚类簇k，随机初始化聚类中心(W

Step2：计算锈蚀实例外接矩形框(w

Step3：按照下式，各个聚类中心更新；

Step4：循环Step2和Step3，直至聚类中心固定不变或完成总迭代数。

其中，依据MeanIoU值，度量各个簇内部紧密程度、簇间分离程度，即获取全部anchor与锈蚀实例真实框的平均IoU值。本实施例中，为降低冗余anchor个数和网络计算负担，选取k＝3，得到锈蚀最佳锚框覆盖效果的anchor比例为[0.25，1.5，4.48]。

步骤S4-3：引入Bi-FPN替换原始FPN模块以加强锈蚀特征的融合，以便特征图获取到更为丰富的锈蚀目标的语义信息及位置信息。原始RPN对于锚框生成机制设置了五种尺度的输出，即Pyramid2-6层分别对应(256

进一步地，MaskR-CNN网络的主干特征提取网络为ResNet101，对图像进行多尺度特征提取，得到5种层级的维度图并基于Bi-FPN进行特征融合，RPN层生成多个可能包含锈蚀的候选RoIs，接着RoIAlign层将其映射至特征图上，将生成的固定大小的候选区域送至head层，进行锈蚀目标类别可能性、边界框位置以及分割mask的输出。

步骤S5：添加基于HSV颜色空间的防误检后处理模块。具体为：依据yolov5输出的坐标位置对原图进行裁剪，获取存在锈蚀的ROI子图，为避免由于光照条件所产生的设备迎光面锈蚀误检，将ROI子图转为HSV颜色空间，对其进行H、S、V分量的分割，本发明实施例中，各分量阈值设定如下：

统计HSV阈值分割二值图中锈蚀区域总面积，若其小于ROI子图总面积的60％，则认为是误检，不予输出。

总之，通过设计含雾数据模拟方法，获取与现实相贴近的雾天设备锈蚀样本，构建基于去雾和改进Mask R-CNN的无关联检测算法，可有效解决雾天状况下无人机巡检设备锈蚀定位难的问题，提高极端环境下无人机作业能力。当然对于该方法也存在需改进的地方，例如，为了获取更为清晰自然的去雾效果，需要对去雾预处理模块中的域偏移问题进行优化。

采用上述技术方案，从数据层面入手，提供了不依赖真实场景深度信息的含雾数据的模拟方法，可避免同一场景下雾图参考图像制备技术严苛的难题，节省人力物力，便于神经网络学习大雾环境下检测目标的特征权重配置。通过超像素块粗合并策略计及了原图的空间特征信息，并单独分割天空域，可有效改善天空与地面远景交接处的合并效果，通过融合策略构建出的深度先验矩阵更加精确。基于超像素子块赋予同一场景物体相同景深，模拟出的雾图更贴近真实场景下雾气浓度分布，客观自然。构建了基于DeblurGANv2去雾和改进Mask R-CNN检测的无关联模型，为雾天高空设备锈蚀高精度巡检监测提供了创新方案。

应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步地，请参考图2，图2示出了本申请一个实施例的基于深度学习的雾天无人机高空电力设备锈蚀检测系统200的示例性结构框图，该系统包括：

采集模块210，用于通过无人机采集高空电力设备含锈蚀目标的可见光原图；

获取模块220，用于通过不依赖真实场景深度信息的含雾数据，获取可供训练的锈蚀含雾样本图；

混合模块230，用于混合可见光原图和含雾样本图，划分训练集、验证集进行对抗训练，并将训练好的去雾模型作为MaskR-CNN的预处理模块，构建出基于DeblurGANv2去雾图和MaskR-CNN检测的无关联模型；

优化模块240，用于混合可见光原图、含雾样本图以及DeblurGANv2去雾图，划分训练集、测试集，优化MaskR-CNN的网络模型后进行训练；

添加模块250，用于针对MaskR-CNN算法的锈蚀检出结果，添加基于HSV颜色空间的防误检后处理模块，得到雾天高空电力设备表面锈蚀检测结果。

应当理解，系统200中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于系统200及其中包含的单元，在此不再赘述。系统200可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。系统200中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统300的结构示意图。

如图3所示，计算机系统300包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本公开的实施例，上文参考图1-2描述的过程可以被实现为计算机软件程序或以HTTP接口形式提供相关处理服务。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1-2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一子区域生成单元、第二子区域生成单元以及显示区域生成单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，显示区域生成单元还可以被描述为“用于根据第一子区域和第二子区域生成文本的显示区域的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的应用于透明窗口信封的文本生成方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。