一种电力场景通用物品的目标检测方法、装置及存储介质

技术领域

本发明涉及目标检测技术领域，尤其涉及一种电力场景通用物品的目标检测方法、装置及存储介质。

背景技术

传统目标检测采用人工特征提取的方式，当背景环境和目标形态发生变化时，人工特征提取的方式鲁棒性较差，目标监测方法的精确度会降低。基于卷积神经网络的目标检测方法是将深度学习技术与计算机视觉技术相结合，具有局部感受野(视觉感受区域的大小)、结构层次、特征抽取与分类结合的全局训练特征。然而，现阶段视觉目标检测的研究方法和技术手段需要大量训练数据及复杂模型，存在数据标注成本太高、实时处理能力不强等问题。综上，如何提供实时性强、训练成本低的电力场景通用物品检测方法是亟待解决的问题。

发明内容

有鉴于此，有必要提供一种电力场景通用物品的目标检测方法、装置及存储介质，用以解决现有技术中电力场景目标检测实时性不高的问题。

本发明提供一种电力场景通用物品的目标检测方法，包括：

获取电力场景下的多幅样本图像，并对所述多幅样本图像进行数据增强，建立扩充数据集；

根据带有标注信息的所述扩充数据集，确定训练样本集，其中，标注信息经过数据增强后的多幅样本图像中存在的通用物品的实际类别和实际目标框；

将所述训练样本集输入至深度卷积神经网络模型，确定预测的通用物品的预测类别和预测目标框；

根据实际类别、实际目标框、预测类别和预测目标框，确定损失函数，根据所述损失函数的值调整所述深度卷积神经网络模型的参数直至满足收敛条件，完成对所述深度卷积神经网络模型的训练，并将通过使用基于数据增强的小样本学习方法训练完备的深度卷积神经网络模型进行存储；

将待测图像输入至训练完备的深度卷积神经网络模型中，识别预测通用物品，并输出对应的预测类别和预测目标框。

进一步地，所述获取多幅样本图像，并对所述多幅样本图像进行数据增强，建立扩充数据集包括：

获取所述多幅样本图像；

将所述多幅样本图像进行图像分块，确定对应的多张图像子块；

根据所述图像子块和对应的所述多张扩充子块，建立对每一张图像子块进行多种图像处理操作，得到对应的多张扩充子块；

所述多张扩充子块构成所述扩充数据集。

进一步地，所述多种图像处理操作包括调节图像亮度、调节图像色度、调节图像对比度、调节图像锐度以及人工加噪声中的至少一种。

进一步地，所述深度卷积神经网络模型的网络结构依次包括多个卷积层，每个卷积层具有对应的最大值池化层。

进一步地，所述根据实际类别、实际目标框、预测类别和预测目标框，确定损失函数包括：

根据所述预测目标框和所述实际目标框的重叠度，确定第一置信度损失；

根据所述预测目标框和所述实际目标框的误差，确定预测框误差损失；

计算将所述预测目标框和所述实际目标框的中心置于同一位置的重叠度，确定第二置信度损失；

根据所述预测目标框和所述实际目标框的坐标误差，确定坐标损失；

根据所述实际类别和所述预测类别，确定分类损失；

将所述第一置信度损失、所述预测框误差损失、所述第二置信度损失、所述坐标损失和所述分类损失和对应的权重相乘，确定所述损失函数。

进一步地，所述将待测图像输入至所述训练完备的深度卷积神经网络模型中，识别预测通用物品，并输出对应的预测类别和预测目标框包括：

采用特征工程，确定所述待测图像的目标候选区域；

将所述目标候选区域进行图像分块，确定对应的多张图像子块；

将所述多张图像子块输入至所述训练完备的深度卷积神经网络模型，识别预测通用物品，并采用非极大值抑制进行处理，输出对应的预测类别和预测目标框。

进一步地，所述待测图像通过电力作业机器人在电力场景下进行采集。

本发明还提供了一种电力场景通用物品的目标检测装置，包括：

获取单元，用于获取多幅样本图像，并对所述多幅样本图像进行数据增强，建立扩充数据集；

训练单元，用于根据带有标注信息的所述扩充数据集，确定训练样本集，其中，标注信息经过数据增强后的多幅样本图像中存在的通用物品的实际类别和实际目标框；还用于将所述训练样本集输入至深度卷积神经网络模型，确定预测的通用物品的预测类别和预测目标框；还用于根据实际类别、实际目标框、预测类别和预测目标框，确定损失函数，根据所述损失函数的值调整所述深度卷积神经网络模型的参数直至满足收敛条件，完成对所述深度卷积神经网络模型的训练，并将通过使用基于数据增强的小样本学习方法训练完备的深度卷积神经网络模型进行存储；

检测单元，用于将待测图像输入至所述训练完备的深度卷积神经网络模型中，识别预测通用物品，并输出对应的预测类别和预测目标框。

本发明还提供了一种电力场景通用物品的目标检测装置，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上所述的电力场景通用物品的目标检测方法。

本发明还提供了一种计算机可读存储介质，所述计算机该程序被处理器执行时，实现如上所述的电力场景通用物品的目标检测方法。

与现有技术相比，本发明的有益效果包括：首先，对电力场景下的多幅样本图像进行有效的获取，并对样本图像进行数据增强，扩充训练样本，避免重复繁琐的标注工作；然后，针对扩充数据集进行标注，由于扩充数据集是基于多幅样本图像的，因而标注效率可大量提高，快速得到充分的训练样本集；进而，基于实际类别、实际目标框、预测类别和预测目标框进行深度卷积神经网络模型的训练，并将训练完备的深度卷积神经网络模型进行存储；最后，将待测图像作为输入，利用所述训练完备的深度卷积神经网络模型即可识别预测通用物品。综上，本发明基于数据增强的小样本学习方法，有效避免环境变化的干扰，能准确地识别目标，同时，基于小样本学习的目标检测模型，避免了繁琐的数据标注过程，节约了训练成本，且检测速度快、检测准确率高，可用于物品实时自动识别检测，在保证速度的前提下，可提升相应的准确率，能对不同环境下的物品进行有效识别。

附图说明

图1为本发明提供的电力场景通用物品的目标检测方法一实施例的流程示意图；

图2为本发明提供的图1中步骤S1一实施例的流程示意图；

图3为本发明提供的深度卷积神经网络模型一实施例的网络结构示意图；

图4为本发明提供的图1中步骤S4一实施例的流程示意图；

图5为本发明提供的图1中步骤S5一实施例的流程示意图；

图6为本发明提供的电力场景通用物品的目标检测装置一实施例的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明实施例提供了一种电力场景通用物品的目标检测方法，结合图1来看，图1为本发明提供的电力场景通用物品的目标检测方法一实施例的流程示意图，包括步骤S1至步骤S5，其中：

在步骤S1中，获取电力场景下的多幅样本图像，并对所述多幅样本图像进行数据增强，建立扩充数据集；其中，数据增强包括多种图像处理的方式，使样本图像得到扩充；

在步骤S2中，根据带有标注信息的所述扩充数据集，确定训练样本集，其中，标注信息经过数据增强后的多幅样本图像中存在的通用物品的实际类别和实际目标框；其中，通用物品包括电力场景物品，具体包括，输电物品：输电铁塔、输电电线、输电电缆；变电物品：变压器、断路器、隔离开关；配电物品：配电柜、熔断器、按钮、指示灯、仪表；目标框包括目标的位置坐标，目标框的宽、高；

在步骤S3中，将所述训练样本集输入至深度卷积神经网络模型，确定预测的通用物品的预测类别和预测目标框；

在步骤S4中，根据实际类别、实际目标框、预测类别和预测目标框，确定损失函数，根据所述损失函数的值调整所述深度卷积神经网络模型的参数直至满足收敛条件，完成对所述深度卷积神经网络模型的训练，并将通过使用基于数据增强的小样本学习方法训练完备的深度卷积神经网络模型进行存储；

在步骤S5中，将待测图像输入至所述训练完备的深度卷积神经网络模型中，识别预测通用物品，并输出对应的预测类别和预测目标框。

在本发明实施例中，首先，对电力场景下的多幅样本图像进行有效的获取，并对样本图像进行数据增强，扩充训练样本，避免重复繁琐的标注工作；然后，针对扩充数据集进行标注，由于扩充数据集是基于多幅样本图像的，因而标注效率可大量提高，快速得到充分的训练样本集；进而，基于实际类别、实际目标框、预测类别和预测目标框进行深度卷积神经网络模型的训练，并将训练完备的深度卷积神经网络模型进行存储；最后，将待测图像作为输入，利用所述训练完备的深度卷积神经网络模型即可识别预测通用物品。

作为优选的实施例，结合图2来看，图2为本发明提供的图1中步骤S1一实施例的流程示意图，上述步骤S1包括步骤S11至步骤S14，其中：

在步骤S11中，获取所述多幅样本图像；

在步骤S12中，将所述多幅样本图像进行图像分块，确定对应的多张图像子块；

在步骤S13中，根据所述图像子块和对应的所述多张扩充子块，建立对每一张图像子块进行多种图像处理操作，得到对应的多张扩充子块；

在步骤S14中，所述多张扩充子块构成所述扩充数据集。

作为具体实施例，本发明实施例对数据进行有效的扩充，同时将样本数据减少，保证模型简单快速地进行检测，且避免了繁琐的标注工作。

作为优选的实施例，所述多种图像处理操作包括调节图像亮度、调节图像色度、调节图像对比度、调节图像锐度以及人工加噪声中的至少一种。作为具体实施例，本发明实施例采用多种图像处理操作手段，对样本图像进行有效的扩充。此处理在实际效果上有助于低照度可见光下、复杂背景下的电力场景物品识别，样本图像的数据增强有助于缓解过拟合问题,同时训练出的最终模型会具有更好的鲁棒性和泛化能力。

在本发明一个具体的实施例中，使用网络爬虫获取电力场景下的样本图像3000幅，并采集各种电力场景下图像12000幅，组成电力场景下通用物品检测数据库。

在本发明一个具体的实施例中，对样本图像进行预处理，将图像分成13*13块，对样本图像进行数据增强,具体包括图像亮度、色度、对比度、锐度以及人工加噪声等多种处理。通过数据增强后，图像数据集扩充到4万张。并扩充数据集，对数据集进行标注，得到训练样本集。

作为优选的实施例，结合图3来看，图3为本发明提供的深度卷积神经网络模型一实施例的网络结构示意图，所述深度卷积神经网络模型的网络结构依次包括多个卷积层，每个卷积层具有对应的最大值池化层。作为具体实施例，本发明实施例建立网络结构层次，保证模型检测的精度和速度。

在本发明一个具体的实施例中，构建16层深度卷积神经网络模型M。使用数据库对16层卷积神经网络模型M进行预训练，得到预检测模型M1；使用训练样本集对预检测模型M1进行二次训练，得最终目标检测模型M2。其中，对样本图像进行缩放，将图像分辨率缩小为512×512像素，然后对图像中目标进行人工标注,得到子图像。使用最终目标检测模型M2对子图像进行特征提取，得到目标框。

采用基于区域的深度卷积神经网络，在卷积层后接入感兴趣区域池化层，然后接入全连接层。本文采用的深度卷积神经网络结构参数如表1所示。算法模型如下式所示：

y＝M2(x)

其中，x为输入图像，y为物品分类以及其位置坐标，M2为卷积神经网络模型。网络由卷积网络层和最大值池化层组成。卷积网络层用于提取图像的特征，最大值池化层用于选择重要特征，使用最终目标检测模型M2对子图像进行特征提取。相关卷积网络结构参数如表1所示。

表1

作为优选的实施例，结合图4来看，图4为本发明提供的图1中步骤S4一实施例的流程示意图一，上述步骤S4包括步骤S41至步骤S46，其中：

在步骤S41中，根据所述预测目标框和所述实际目标框的重叠度，确定第一置信度损失；

在步骤S42中，根据所述预测目标框和所述实际目标框的误差，确定预测框误差损失；

在步骤S43中，计算将所述预测目标框和所述实际目标框的中心置于同一位置的重叠度，确定第二置信度损失；

在步骤S44中，根据所述预测目标框和所述实际目标框的坐标误差，确定坐标损失；

在步骤S45中，根据所述实际类别和所述预测类别，确定分类损失；

在步骤S46中，将所述第一置信度损失、所述预测框误差损失、所述第二置信度损失、所述坐标损失和所述分类损失和对应的权重相乘，确定所述损失函数。

作为具体实施例，本发明实施例结合实际类别、实际目标框、预测类别和预测目标框对训练函数进行有效的确定，保证网络的训练高效性，进而提高整个网络的识别准确度。

在本发明一个具体的实施例中，模型训练过程采用的损失函数如下式所示：

其中，λ

作为优选的实施例，结合图5来看，图5为本发明提供的图1中步骤S5一实施例的流程示意图，上述步骤S5包括步骤S51至步骤S53，其中：

在步骤S51中，采用特征工程，确定所述待测图像的目标候选区域；

在步骤S52中，将所述目标候选区域进行图像分块，确定对应的多张图像子块；

在步骤S53中，将所述多张图像子块输入至所述训练完备的深度卷积神经网络模型，识别预测通用物品，并输出对应的预测类别和预测目标框。

作为具体实施例，本发明实施例根据电力场景下作业机器人采集的图像进行预处理；采用特征工程确定目标候选区域，基于小样本学习的卷积神经网路模型进行目标检测，可有效提高速度和精度。

作为优选的实施例，所述待测图像通过电力作业机器人在电力场景下进行采集。作为具体实施例，本发明实施例利用电力作业机器人进行有效的图像采集。

需要说明的是，采用TensorFlow2.0等平台以及标准开源库对本文算法性能进行分析实验，并在树莓派3B平台上加装Intel神经计算加速棒进行算法实测比较；根据试验结果，调整参数重复实验。在不同条件下检验算法的实际效果，并根据实测结果对算法进行分析以及优化。为了兼顾跟踪性能和系统开销，采用手动调参实现信息的有效处理，并进行评估，当达到精度要求时终止训练过程，其中，系统测试平台参数如下表2所示：

表2

在本发明一个具体的实施例中，本发明提供的方法应用于电力作业机器人。具体实施场景如下：电力作业机器人的摄像头拍摄真实图像——对图像进行预处理(缩小)——用特征工程得到图像中的候选区域——事先训练好的检测模型(通过基于数据增强的小样本学习训练)——候选目标(产生多目标框)——最终目标(非极大值抑制)。利用小样本训练得到最终检测模型，并应用于实际场景。

本发明实施例还提供了一种电力场景通用物品的目标检测装置，结合图6来看，图6为本发明提供的电力场景通用物品的目标检测装置一实施例的结构示意图，电力场景通用物品的目标检测装置600包括：

获取单元601，用于获取多幅样本图像，并对所述多幅样本图像进行数据增强，建立扩充数据集；

训练单元602，用于根据带有标注信息的所述扩充数据集，确定训练样本集，其中，标注信息经过数据增强后的多幅样本图像中存在的通用物品的实际类别和实际目标框；还用于将所述训练样本集输入至深度卷积神经网络模型，确定预测的通用物品的预测类别和预测目标框；还用于根据实际类别、实际目标框、预测类别和预测目标框，确定损失函数，根据所述损失函数的值调整所述深度卷积神经网络模型的参数直至满足收敛条件，完成对所述深度卷积神经网络模型的训练，并将通过使用基于数据增强的小样本学习方法训练完备的深度卷积神经网络模型进行存储；

检测单元603，用于将待测图像输入至所述训练完备的深度卷积神经网络模型中，识别预测通用物品，并输出对应的预测类别和预测目标框。

本发明实施例还提供了一种电力场景通用物品的目标检测装置，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上所述的电力场景通用物品的目标检测方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如上所述的电力场景通用物品的目标检测方法。

本发明公开了一种电力场景通用物品的目标检测方法、装置及存储介质，首先，对电力场景下的多幅样本图像进行有效的获取，并对样本图像进行数据增强，扩充训练样本，避免重复繁琐的标注工作；然后，针对扩充数据集进行标注，由于扩充数据集是基于多幅样本图像的，因而标注效率可大量提高，快速得到充分的训练样本集；进而，基于实际类别、实际目标框、预测类别和预测目标框进行深度卷积神经网络模型的训练，并将训练完备的深度卷积神经网络模型进行存储；最后，将待测图像作为输入，利用所述训练完备的深度卷积神经网络模型即可识别预测通用物品。

本发明技术方案，基于数据增强的小样本学习方法，有效避免环境变化的干扰，能准确地识别目标，同时，基于小样本学习的目标检测模型，避免了繁琐的数据标注过程，节约了训练成本，且检测速度快、检测准确率高，可用于物品实时自动识别检测，在保证速度的前提下，可提升相应的准确率，能对不同环境下的物品进行有效识别。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。