一种利用合成样本增强电力业务目标检测精度的方法

技术领域

本发明涉及电力业务目标检测技术领域，具体涉及一种利用合成样本增强电力业务目标检测精度的方法。

背景技术

为服务新型电力系统建设，近年来人工智能技术在电力运检、安全监察、企业经营管理等方面深入应用，模型种类丰富、应用面广、更新迭代速度快，对于相同算法模型需求，可以通过自研、采购、合作等多种方式满足，导致模型的来源较广，一旦不满足质量要求的模型投入使用，将严重威胁电力系统的安全稳定运行。其中面向图像、视频类电力业务人工智能算法模型研究中，基于深度神经网络进行电力业务目标检测是一类重要发展方向，然而深度神经网络极度依赖于带注释的数据。通过手动注释的方法耗时且易出错，采用3D目标模型的图形渲染生成的合成图像的方法，会存在由于合成图像与真实图像之间的现实差距，造成目标检测模型存在预测误差的问题，从而影响电力业务人工智能算法模型运行的安全性与稳定性。为此需要找到一种可以充分利用合成数据提高深度神经网络对真实数据的预测能力的方法。

发明内容

本发明的目的在于提供一种利用合成样本增强电力业务目标检测精度的方法，该方法有利于提高电力业务目标检测精度。

为了实现上述目的，本发明采用的技术方案是：一种利用合成样本增强电力业务目标检测精度的方法，包括如下步骤：

S1：构建图像视频类电力业务的目标检测模型和有限训练数据，主要是识别和定位电力业务图像或视频中具有位置和语义类标签的目标实例；建立基于Faster R-CNN的目标检测模型，通过目标检测模型合成图像数据，再结合合成图像和真实图像，实现数据增强，得到电力业务的目标检测结果；

S2：通过目标检测模型，对单目标数据集进行扩充，生成大型带注释的实例数据集，得到多目标-图像复合数据集，将其用于目标检测中的深度神经网络；

S3：使用合成样本微调目标检测模型，构建真实3D模型的对抗模型，再利用步骤S2中构建的数据集，建立多任务损失函数，设置区块骨干层，进行迭代优化，对基于Faster R-CNN的目标检测模型进行微调，使用对抗样本改进深度神经网络做出错误预测。

进一步地，步骤S1中，给定具有纹理的3D纹理模型D(T)，通过可微神经渲染器得到可微神经渲染器渲染的2D图像模型P，表示为：

P＝r(D(T),l,β,γ,ξ)

式中，l、β、γ和ξ分别表示图像拍摄的距离、仰角、方位角和渲染参数；

经过可微分神经渲染器，从3D目标模型中生成带注释的单目标-图像样本，自动形成数据集；

在合成数据集中使用相关渲染图像的alpha通道，获得每个目标的精确边界框。

进一步地，采用的可微分神经渲染器为PyTorch3D。

进一步地，步骤S2包括以下步骤：

S21：收集电力业务目标实例图像，获得涵盖不同视角下的目标图像且都含有背景；

S22：收集电力业务场景图像，并作为训练数据集的背景图像，从而在获知测试场景的情况下收集对应的图像，从而轻易地处理新的场景；

S23：预测电力业务中目标对象的前置掩膜，预测将实例像素与背景像素分开地前置掩膜，从而提供可置于实际运行场景中的目标对象模板；

S24：在电力实际运行场景中粘贴目标实例，将目标粘贴到随机选择的背景图像上，放置目标时确保局部加工的不变性，保证训练模型不会关注边界上的亚像素差异；增加不同混合模式从而可使用不同的混合方式合成完全相同的场景，使训练模型对伪图像具有鲁棒性。

进一步地，步骤S2中还包括：

S25：判断目标图像遮挡：如果一个物体的边界框的交并比值大于设定的遮挡阈值，则认为该物体被另一个物体遮挡；

S26：调整目标图像尺寸：在每幅单目标图像中，每个目标占据了渲染图像的大部分空间；根据物体的边界框裁剪每个单张渲染图像；然后使用与背景图像大小随机选择的比率对裁剪后的图像进行尺寸调整；

S27：设置干扰对象：在每个图像合成中放置多个干扰对象，以进一步缩小所提出的合成图像样本与真实图像之间的现实差距。

进一步地，步骤S3包括以下步骤：

S31：建立整数球坐标，使用多个未标定图像的三维重建来创建具有真实感纹理的原始3D模型，然后只对纹理空间进行扰动，应用基于梯度的优化算法FGSM来计算基于一组渲染图像的纹理扰动，生成在所有视点下均可高成功率对抗深度神经网络的3D对抗模型；

S32：使用迭代FGSM来学习纹理空间中的对抗性扰动，在对抗学习过程由3D对抗模型生成对抗图像；

S33：基于多目标图像合成过程生成一组带注释的2D合成样本例；

S34：使用注释数据在COCO上预训练ResNet50-FPN主干进行基于Faster R-CNN的目标检测模型的微调。

进一步地，步骤S34中，可训练的ResNet层数设置为3，且前两个骨干层设置为不可训练。

进一步地，步骤S34中，模型优化过程使用超过35000次迭代的SGD优化器来执行，如果批大小为1，则认为迭代包括一次向前传递和向后传递。

进一步地，所述SGD优化器的参数为：学习率为0.001，动量为0.9，权重衰减为0.0005。

与现有技术相比，本发明具有以下有益效果：本发明提供了一种利用合成样本增强电力业务目标检测精度的方法，该方法首先构建图像视频类电力业务的目标检测模型和有限训练数据，然后对数据集通过图像合成进行扩充，通过将真实图像与所提出的合成图像组合在一起，可以充分利用合成数据，提高对电力业务目标检测的精度。本发明还使用3D对抗模型来增强目标检测模型的预测精度。因此，本发明具有很强的实用性和广阔的应用前景。

附图说明

图1是本发明实施例的方法实现流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种利用合成样本增强电力业务目标检测精度的方法，包括如下步骤：

S1：构建图像视频类电力业务的目标检测模型和有限训练数据，主要是识别和定位电力业务图像或视频中具有位置和语义类标签的目标实例；建立基于Faster R-CNN的目标检测模型，通过目标检测模型合成图像数据，再结合合成图像和真实图像，实现数据增强，得到电力业务的目标检测结果。

S2：通过目标检测模型，对单目标数据集进行扩充，生成大型带注释的实例数据集，得到多目标-图像复合数据集，其中的每个对象都包含多个具有随机大小、位置和背景图像，将其用于目标检测中的深度神经网络。

S3：使用合成样本微调目标检测模型，构建真实3D模型的对抗模型，再利用步骤S2中构建的数据集，建立多任务损失函数，设置区块骨干层，进行迭代优化，对基于Faster R-CNN的目标检测模型进行微调，使用对抗样本改进深度神经网络做出错误预测。

步骤S1中，给定具有纹理的3D纹理模型D(T)，通过可微神经渲染器得到可微神经渲染器渲染的2D图像模型P，表示为：

P＝r(D(T),l,β,γ,ξ)

式中，l、β、γ和ξ分别表示图像拍摄的距离、仰角、方位角和渲染参数。

经过可微分神经渲染器，从3D目标模型中生成带注释的单目标-图像样本，自动形成数据集；

在合成数据集中使用相关渲染图像的alpha通道，获得每个目标的精确边界框。

在本实施例中，采用的可微分神经渲染器为PyTorch3D。

在本实施例中，步骤S2包括以下步骤：

S21：收集电力业务目标实例图像，获得涵盖不同视角下的目标图像且都含有背景。

S22：收集电力业务场景图像，并作为训练数据集的背景图像，从而在获知测试场景的情况下收集对应的图像，从而轻易地处理新的场景。

S23：预测电力业务中目标对象的前置掩膜，预测将实例像素与背景像素分开地前置掩膜，从而提供可置于实际运行场景中的目标对象模板。

S24：在电力实际运行场景中粘贴目标实例，将目标粘贴到随机选择的背景图像上，放置目标时确保局部加工的不变性，保证训练模型不会关注边界上的亚像素差异；增加不同混合模式从而可使用不同的混合方式合成完全相同的场景，使训练模型对伪图像具有鲁棒性。

S25：判断目标图像遮挡：如果一个物体的边界框的交并比值大于设定的遮挡阈值，则认为该物体被另一个物体遮挡。

S26：调整目标图像尺寸：在每幅单目标图像中，每个目标占据了渲染图像的大部分空间；根据物体的边界框裁剪每个单张渲染图像；然后使用与背景图像大小随机选择的比率对裁剪后的图像进行尺寸调整。

S27：设置干扰对象：在每个图像合成中放置多个干扰对象，以进一步缩小所提出的合成图像样本与真实图像之间的现实差距。

在本实施例中，步骤S3包括以下步骤：

S31：建立整数球坐标，使用多个未标定图像的三维重建来创建具有真实感纹理的原始3D模型，然后只对纹理空间进行扰动，应用基于梯度的优化算法FGSM来计算基于一组渲染图像的纹理扰动，生成在所有视点下均可高成功率对抗深度神经网络的3D对抗模型。

S32：使用迭代FGSM来学习纹理空间中的对抗性扰动，在对抗学习过程由3D对抗模型生成对抗图像。

S33：基于多目标图像合成过程生成一组带注释的2D合成样本例。

S34：使用注释数据在COCO上预训练ResNet50-FPN主干进行基于Faster R-CNN的目标检测模型的微调。

其中，可训练的ResNet层数设置为3，且前两个骨干层设置为不可训练。

模型优化过程使用超过35000次迭代的SGD优化器来执行，如果批大小为1，则认为迭代包括一次向前传递和向后传递。

SGD优化器的参数为：学习率为0.001，动量为0.9，权重衰减为0.0005。

下面以一实施例作进一步说明。

一种利用合成样本增强电力业务目标检测精度的方法，包括如下步骤：

S1：构建某220kV变电站图像的目标检测和有限训练数据，将其与BigBIRD的3D目标模型进行实验，其中220kV变电站有9个目标与BigBIRD的目标重叠。从中选择5个目标，共包含了5645张真实图像，对其进行训练、测试拆分，其中3个场景用于训练，2个场景用于测试。图像合成过程中，使用的背景图像来自UW RGB-D场景数据集，其中包含7个变电站内的1128张图像。

S2：使用合成样本进行训练目标检测，扩充数据集。

图像单目标数据集(SO)和扰动后的图像单目标数据集(PSO)：数据集使用3种不同的距离、8种不同的方位角、5种不同的仰角和3种不同的环境颜色。因此，图像单目标渲染数据集(SO和PSO)包含2640个带注释的合成图像。

图像多目标符合数据集(C)和扰动后的图像多目标符合数据(PC)：数据集的最大遮挡为0.5，每个合成在1到4个目标之间，每个合成在1到4个干扰项之间，目标与背景的比率在0.1到0.4之间。目标的特定渲染在所有图像中出现的次数约为7。因此，图像多目标的复合数据集(C和PC)由2605个带注释的合成图像组成。

S3：3D对抗模型是使用在真实图像数据集(R)上训练的目标检测模型学习的。基础迭代FGSM参数包括epsilon 0.002和99％成功的攻击成功阈值(每个类别的召回率低于0.01)。表1显示了此实验中为每个3D目标模型执行的FGSM迭代次数。

表1每个3D目标模型的FGSM迭代次数。

最后在220kV变电站真实图像测试数据集上进行效果评估，实验结果如表2所示。

表2 220kV变电站真实图像测试数据集的评估实验结果

本发明中使用的评估指标是平均精度(AP)。在将目标检测推广到真实数据方面，仅使用图像目标的数据集(SO或PSO)或仅使用图像的多目标复合数据集(C或PC)似乎不如使用真实数据集(R)有效。但是，图像单目标数据集和真实数据集的串联(R+SO或R+PSO)或图像多目标复合和真实数据集的串联(R+C或R+PC)似乎比仅在真实数据集上训练的模型更好。特别是，使用数据集(R+C)训练的模型最高达到了mAP@0.50，真实和扰动复合(R+PC)的组合在mAP@0.50：0.05：0.95中比仅在真实数据集上训练的模型高出1.7分。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。