基于YOLO网络的绝缘子覆冰类型识别方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及基于YOLO网络的绝缘子覆冰类型识别方法及装置。

背景技术

针对低温雨雪冰冻天气导致的架空线路覆冰，电网公司利用大量配置有摄像头的在线监测装置，实现覆冰信息的采集。覆冰类别有雪淞、雾凇、雨凇、混合淞等，不同的覆冰类型与覆冰程度给不同材质的绝缘子带来的风险存在差异，对应的除冰方法也不同。分类辨识覆冰类型能为输电线路精准防冰工作决策提供细颗粒度技术支持，提高覆冰处置效率。

现有依赖人工经验的绝缘子覆冰图像检查受限于人员的知识技能水平，而且工作量较大，无法保障准确率，难以满足当前的绝缘子覆冰图像检测的需求。

发明内容

本申请提供了基于YOLO网络的绝缘子覆冰类型识别方法及装置，用于解决现有技术对人工操作依赖较大，不仅无法保证识别效率，还不能确保识别准确率的技术问题。

有鉴于此，本申请第一方面提供了基于YOLO网络的绝缘子覆冰类型识别方法，包括：

采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图；

依据所述改进YOLO网络模型中的链接网络对所述聚合特征图进行语义增强分析和视觉判断分析，得到优化特征图，所述链接网络包括特征金字塔网络和路径聚合网络；

基于所述改进YOLO网络模型中的预测网络对所述优化特征图进行预测分析，得到覆冰类型预测结果，所述覆冰类型预测结果包括绝缘子预测框和类别概率值。

优选地，所述采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图，之前还包括：

通过在线监测系统采集低温雨雪凝冻天气下的架空线路上的覆冰图像；

对采集到的所述覆冰图像进行清洗操作，得到有效覆冰图像，所述清洗操作包括剔除无绝缘子和镜头凝冻的覆冰图像。

优选地，所述采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图，之前还包括：

通过裁剪、拼接和排布的方式对所述有效覆冰图像进行增强处理，得到绝缘子训练图像集；

将所述绝缘子训练图像集中的覆冰图像进行类别标注操作，得到覆冰类型标签。

优选地，所述采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图，之前还包括：

基于绝缘子覆冰类型识别任务构建初始YOLO网络模型；

通过所述绝缘子训练图像集和所述覆冰类型标签对所述初始YOLO网络模型进行覆冰类型预测训练，得到所述改进YOLO网络模型。

优选地，所述依据所述改进YOLO网络模型中的链接网络对所述聚合特征图进行语义增强分析和视觉判断分析，得到优化特征图，包括：

根据所述改进YOLO网络模型中的特征金字塔网络对所述聚合特征图进行位置特征增强处理，得到语义特征图；

依据所述改进YOLO网络模型中的路径聚合网络对所述语义特征图进行视觉特征判断处理，得到优化特征图。

本申请第二方面提供了基于YOLO网络的绝缘子覆冰类型识别装置，包括：

特征提取单元，用于采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图；

特征强化单元，用于依据所述改进YOLO网络模型中的链接网络对所述聚合特征图进行语义增强分析和视觉判断分析，得到优化特征图，所述链接网络包括特征金字塔网络和路径聚合网络；

类别预测单元，用于基于所述改进YOLO网络模型中的预测网络对所述优化特征图进行预测分析，得到覆冰类型预测结果，所述覆冰类型预测结果包括绝缘子预测框和类别概率值。

优选地，还包括：

图像获取单元，用于通过在线监测系统采集低温雨雪凝冻天气下的架空线路上的覆冰图像；

图像清洗单元，用于对采集到的所述覆冰图像进行清洗操作，得到有效覆冰图像，所述清洗操作包括剔除无绝缘子和镜头凝冻的覆冰图像。

优选地，还包括：

图像增强单元，用于通过裁剪、拼接和排布的方式对所述有效覆冰图像进行增强处理，得到绝缘子训练图像集；

图像标注单元，用于将所述绝缘子训练图像集中的覆冰图像进行类别标注操作，得到覆冰类型标签。

优选地，还包括：

模型构建单元，用于基于绝缘子覆冰类型识别任务构建初始YOLO网络模型；

模型训练单元，用于通过所述绝缘子训练图像集和所述覆冰类型标签对所述初始YOLO网络模型进行覆冰类型预测训练，得到所述改进YOLO网络模型。

优选地，所述特征强化单元，具体用于：

根据所述改进YOLO网络模型中的特征金字塔网络对所述聚合特征图进行位置特征增强处理，得到语义特征图；

依据所述改进YOLO网络模型中的路径聚合网络对所述语义特征图进行视觉特征判断处理，得到优化特征图。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了基于YOLO网络的绝缘子覆冰类型识别方法，包括：采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图；依据改进YOLO网络模型中的链接网络对聚合特征图进行语义增强分析和视觉判断分析，得到优化特征图，链接网络包括特征金字塔网络和路径聚合网络；基于改进YOLO网络模型中的预测网络对优化特征图进行预测分析，得到覆冰类型预测结果，覆冰类型预测结果包括绝缘子预测框和类别概率值。

本申请提供的基于YOLO网络的绝缘子覆冰类型识别方法，基于YOLO网络进行针对性模型改进，然后采用改进的模型对绝缘子图像进行特征提取，语义增强分析和视觉判断分析，以此得到优化的特征图，从不同方面进行特征学习，使得覆冰类型预测结果更加准确可靠。而且不需要依赖人工经验检测，可以确保效率和准确率。因此，本申请能够解决现有技术对人工操作依赖较大，不仅无法保证识别效率，还不能确保识别准确率的技术问题。

附图说明

图1为本申请实施例提供的基于YOLO网络的绝缘子覆冰类型识别方法的流程示意图；

图2为本申请实施例提供的基于YOLO网络的绝缘子覆冰类型识别装置的结构示意图；

图3为本申请实施例提供的增强处理的绝缘子覆冰图像示例图；

图4为本申请实施例提供的雨凇绝缘子覆冰类型预测结果示例图；

图5为本申请实施例提供的湿雪绝缘子覆冰类型预测结果示例图；

图6为本申请实施例提供的雾凇绝缘子覆冰类型预测结果示例图；

图7为本申请实施例提供的混合凇绝缘子覆冰类型预测结果示例图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的基于YOLO网络的绝缘子覆冰类型识别方法的实施例，包括：

步骤101、采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图。

改进YOLO模型是根据绝缘子覆冰图像识别任务构建的网络模型，而且是基于相关训练图像训练后得到的优化模型，可以直接用于实时的图像检测识别中，具有较好的泛化性能。

跨阶段局部网络(Cross Stage Partial Network，CSP)可以对不同维度的图像特征进行切分、交叉和组合等一系列的处理，得到聚合特征图。当前绝缘子图像在输入模型进行特征提取时，首先需要将608×608×3的图像切分成4张304×304×12的图像块；然后再进行交叉卷积和组合得到304×304×32的特征图，也就是聚合特征图，这样可以最大程度的减少信息损失。

进一步地，步骤101，之前还包括：

通过在线监测系统采集低温雨雪凝冻天气下的架空线路上的覆冰图像；

对采集到的覆冰图像进行清洗操作，得到有效覆冰图像，清洗操作包括剔除无绝缘子和镜头凝冻的覆冰图像。

获取到大量的覆冰图像不能直接参与研究分析，还需要对图像的基本质量进行把控，所以本实施例对采集到的覆冰图像进行清洗操作，提出一些无效数据，例如覆冰图像中没有绝缘子，无法实现绝缘子的覆冰类型分析；镜头凝冻的覆冰图像清晰度较差，且容易产生畸变，无法达到较好的分析效果。此外还可以剔除一些积污或者有遮挡的图像，通过这些操作可以筛选出包含绝缘子的较为清晰的有效覆冰图像。除此之外还可以增设其他预处理操作，用于提升图像数据质量，在此不作限定。

进一步地，步骤101，之前还包括：

通过裁剪、拼接和排布的方式对有效覆冰图像进行增强处理，得到绝缘子训练图像集；

将绝缘子训练图像集中的覆冰图像进行类别标注操作，得到覆冰类型标签。

用于训练模型的图像集的数量需要尽可能的大，才能保证训练出来的模型具有较高的准确率；所以本实施例采用多种图像增强手段对有效覆冰图像进行增强处理，得到绝缘子训练图像集；除了裁剪、拼接和排布的方式，还可以增加其他的增强技术手段，在此不作限定。

对增强过程可以举例说明，请参阅图3，可以每次选取4张图像进行随机裁剪、随机排布和随机拼接，在此过程中，为了拼接和排布的契合，可以随机缩放填充图像边缘，得到增强后的图像，其尺寸为608px×608px。

绝缘子训练图像集能够用于训练模型的前提是要具备明确的类型标签，所以还需要对其中的覆冰图像进行类别标注操作，得到覆冰类型标签。本实施例中的覆冰类型标注图像数量不小于1000张。具体的覆冰类型和各类型的特点如表1所示。

表1架空线路绝缘子覆冰类型的图像特点

进一步地，步骤101，之前还包括：

基于绝缘子覆冰类型识别任务构建初始YOLO网络模型；

通过绝缘子训练图像集和覆冰类型标签对初始YOLO网络模型进行覆冰类型预测训练，得到改进YOLO网络模型。

构建的初始YOLO网络模型可以按照功能划分为骨干网络、链接网络和预测网络。骨干网络为结合Focus卷积核的跨阶段局部网络CSP，用于在不同粒度上映射并聚合并形成图像特征。Focus卷积核首先对将输入图像尺寸统一为608×608×3，然后切片与卷积，得到尺寸为304×304×32图像特征块。CSP网络由5个CSP模块与72层3×3卷积核组成，用于提取、组合并传播特征。

链接网络由自底向上传达图像位置特征的图金字塔网络(Feature PyramidNetworks，FPNnet)与自顶向下传达图像语义特征的路径聚合网络(Path AggregationNetworks，PANnet)组成。链接网络连接不同卷积层的图像特征参数，用自适应特征池化(Adaptive feature pooling)恢复候选区域和卷积层间的信息路径，聚合的图像特征并传递到预测层。其中，链接网络生成的3个特征图尺寸分别为76×76、38×38、19×19、深度为3×(5+C)，包含检测框的宽度、高度、中心点横、纵坐标及概率5个维度及C个类别的信息。

预测网络用于预测图像特征，对图像中的覆冰绝缘子绘制检测框和并判断其所属类别及概率。为了提高预测检测框对标注的检测框真值的合准确度，模型以GIOU_Loss为损失函数度量检测框之间的距离。此外，预测网络采用Sigmoid函数为网络的激活函数F(x)，用于加快收敛，避免梯度消失。

需要说明的是，在预测过程中，可以确定初始化预测框B的先验框T。将输入图像划分为S×S个网格，分别取大80×80、中40×40、小20×20共3个尺度，各尺度分别取3个共9个先验框T；然后提取9个先验框T的中心点(T

将先验框T平移、缩放得到预测框B。预测框B相对先验框T的中心点横、纵坐标偏移t

其中，B

本实施例中的YOLO5网络采用l

l

训练模型使交并比GIoU

在测试过程中，针对存在多目标框，本实施例中YOLO5网络采用加权非极大值抑制法筛选、合并9个预测框B，得到绝缘子识别框。

步骤102、依据改进YOLO网络模型中的链接网络对聚合特征图进行语义增强分析和视觉判断分析，得到优化特征图，链接网络包括特征金字塔网络和路径聚合网络。

进一步地，步骤102，包括：

根据改进YOLO网络模型中的特征金字塔网络对聚合特征图进行位置特征增强处理，得到语义特征图；

依据改进YOLO网络模型中的路径聚合网络对语义特征图进行视觉特征判断处理，得到优化特征图。

需要说明的是，对比YOLO4网络仅在Backbone主干网络中使用了CSP结构，本实施例中使用的是YOLO5网络，其中采用了两种CSP结构，分别应用于Backbone主干网络和Neck链接网络中。

在链接网络中，特征金字塔网络(Feature Pyramid Networks，FPN)与路径聚合网络(Path Aggregation Network，PAN)可以采集绝缘子的高维和低维图像特征。具体的，在FPN中，通过上采样增强绝缘子的位置特征，丰富图像的语义信息；在PAN中，通过下采样分离用于判断绝缘子的视觉特征。采样得到的绝缘子的多维图像特征尺度分别为76×76、38×38、19×19，从PAN映射到全连接(FullyConnect，FC)层。

步骤103、基于改进YOLO网络模型中的预测网络对优化特征图进行预测分析，得到覆冰类型预测结果，覆冰类型预测结果包括绝缘子预测框和类别概率值。

请参阅图4-图7，分别为雨凇绝缘子、湿雪绝缘子、雾凇绝缘子和混合淞绝缘子的覆冰类型预测结果示例图，预测结果中包括绝缘子预测框和对应的类别概率值。

本申请实施例提供的基于YOLO网络的绝缘子覆冰类型识别方法，基于YOLO网络进行针对性模型改进，然后采用改进的模型对绝缘子图像进行特征提取，语义增强分析和视觉判断分析，以此得到优化的特征图，从不同方面进行特征学习，使得覆冰类型预测结果更加准确可靠。而且不需要依赖人工经验检测，可以确保效率和准确率。因此，本申请实施例能够解决现有技术对人工操作依赖较大，不仅无法保证识别效率，还不能确保识别准确率的技术问题。

为了便于理解，请参阅图2，本申请提供了基于YOLO网络的绝缘子覆冰类型识别装置的实施例，包括：

特征提取单元201，用于采用改进YOLO网络模型中的跨阶段局部网络对当前绝缘子图像进行不同粒度的特征提取操作，得到聚合特征图；

特征强化单元202，用于依据改进YOLO网络模型中的链接网络对聚合特征图进行语义增强分析和视觉判断分析，得到优化特征图，链接网络包括特征金字塔网络和路径聚合网络；

类别预测单元203，用于基于改进YOLO网络模型中的预测网络对优化特征图进行预测分析，得到覆冰类型预测结果，覆冰类型预测结果包括绝缘子预测框和类别概率值。

进一步地，还包括：

图像获取单元204，用于通过在线监测系统采集低温雨雪凝冻天气下的架空线路上的覆冰图像；

图像清洗单元205，用于对采集到的覆冰图像进行清洗操作，得到有效覆冰图像，清洗操作包括剔除无绝缘子和镜头凝冻的覆冰图像。

进一步地，还包括：

图像增强单元206，用于通过裁剪、拼接和排布的方式对有效覆冰图像进行增强处理，得到绝缘子训练图像集；

图像标注单元207，用于将绝缘子训练图像集中的覆冰图像进行类别标注操作，得到覆冰类型标签。

进一步地，还包括：

模型构建单元208，用于基于绝缘子覆冰类型识别任务构建初始YOLO网络模型；

模型训练单元209，用于通过绝缘子训练图像集和覆冰类型标签对初始YOLO网络模型进行覆冰类型预测训练，得到改进YOLO网络模型。

进一步地，特征强化单元202，具体用于：

根据改进YOLO网络模型中的特征金字塔网络对聚合特征图进行位置特征增强处理，得到语义特征图；

依据改进YOLO网络模型中的路径聚合网络对语义特征图进行视觉特征判断处理，得到优化特征图。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。