一种基于transformer的无人机航拍绝缘子目标检测方法及装置

技术领域

本发明涉及一种基于transformer的无人机航拍绝缘子目标检测方法及装置，属于模式识别技术。

背景技术

绝缘子在输电线路中，起到支撑导线和防止电流回地两大重要作用。绝缘子一般工作在户外，长期暴露大自然环境中，受强紫外线照射、雨水侵蚀、空气污染、气候变化等因素影响，存在断串、内部击穿等故障风险，对线路安全运行造成重大威胁。因此，输电线路绝缘子检测是电网巡检的重点。近年来，随着无人机飞控、计算机视觉、北斗导航等技术的快速发展，基于无人机图像的绝缘子检测技术成为电网巡检的研究热点。但由于航拍输电线路图像中具有较多目标信息，导致图像背景复杂多样、绝缘子目标信息不够突出，进而严重影响了绝缘子目标检测的鲁棒性和准确性。

目前，对绝缘子识别的方法主要分为两大类：1 .传统图像处理和特征提取方法。使用HOG，SURF等特征提取方法，提取图像的纹理，颜色，梯度等特征，然后利用这些图像特征，根据不同大小的滑动窗口，在图像中进行滑动，训练图像特征分类器。2.使用基于神经网络的深度学习方法。基于深度学习的绝缘子定位算法使得绝缘子定位的准确度以及鲁棒性往前了很大的一步。但是以上绝缘子识别的方法大多是直接将深度学习目标检测算法应用在绝缘子目标检测场景，且研究思路主要是在绝缘子数据集上套用经典目标检测模型，注重模型使用和训练技巧，缺乏从绝缘子数据集自身的特性入手再结合深度学习方法的研究，导致检测准确度较低。

发明内容

本发明实施例的目的在于提供一种基于transformer的无人机航拍绝缘子目标检测方法及装置，以解决上述技术问题。

为实现上述目的，本发明采用的技术方案为：

一种基于transformer的无人机航拍绝缘子目标检测方法，包括如下步骤：

获取无人机航拍绝缘子的训练图像和测试图像，并标注出绝缘子在训练图像中的位置信息；

构建特征提取网络，进行特征提取；所述特征提取网络包括卷积神经网络、特征降维网络及位置编码器；

构建Transformer网络，并提取待预测特征；所述Transformer网络包括Transformer编码器、Transformer解码器；

构建预测网络；所述预测网络包括50个前馈神经网；

训练Transformer网络与预测网络；

基于训练完成的Transformer网络与预测网络，预测测试图像的绝缘子位置。

在一种实施方式中，所述卷积神经网络的主干网络由ResNet50构成，特征降维网络由1×1卷积网络构成。

在一种实施方式中，所述特征提取具体为：无人机航拍绝缘子训练图像输入卷积神经网络后，得到卷积特征feature1；将卷积特征feature1输入特征降维网络后，得到降维特征feature2；位置编码器生成位置编码positionalencodings1，并与降维特征feature2相加，得到带有位置编码信息的二维索引特征feature3；将二维索引特征feature3转换为一维索引特征feature4。

在一种实施方式中，所述Transformer编码器包括3个Transformer编码器模块，Transformer解码器包括3个Transformer解码器模块。

在一种实施方式中，所待预测特征提取具体过程为：将Transformer解码器的目标查询参数设置为50；特征feautre4输入Transformer编码器后，得到编码特征feature5；

将编码特征feature5输入Transformer解码器后，得到待预测特征feature6。

在一种实施方式中，所述前馈神经网络由2个隐层数为256的全连接网络构成；待预测特征feature6输入到预测网络后，得到50组预测结果；所述每组预测包括：图像中是否包含绝缘子的预测以及如果包含绝缘子，绝缘子所在锚框的预测。

在一种实施方式中，所述训练Transformer网络与预测网络具体包括：对Transformer网络中的Transformer编码器、Transformer解码器、以及预测网络中的50个前馈神经网络进行训练。

在一种实施方式中，所述基于训练完成的Transformer网络与预测网络，预测测试图像的绝缘子，具体包括：将无人机航拍绝缘子测试图像输入到特征提取网络，得到一维索引测试特征feature4

在一种实施方式中，所述训练Transformer网络V、预测网络VIII使用二分匹配损失函数。

本发明还提供了一种基于transformer的无人机航拍绝缘子目标检测装置，包括：

获取模块，用于获取无人机航拍绝缘子的训练图像与测试图像，并用标注出训练图像中的绝缘子位置信息；

特征提取模块，用于构建特征提取网络，进行特征提取；所述特征提取网络包括卷积神经网络、特征降维网络、位置编码器；

Transformer网络模块：用于构建Transformer网络；所述Transformer网络包括Transformer编码器、Transformer解码器；

预测网络模块，用于构建预测网；所述构建预测网包括50个前馈神经网络IX；

训练模块，用于训练Transformer网络与预测网络；

测试模块，用于基于训练完成的Transformer网络与预测网络，预测测试图像的绝缘子位置。

与现有技术相比，本发明有益效果：

本发明通过降低Transformer解码器的目标查询参数值，减少绝缘子目标检测定位查询信息，从而提升Transformer网络模型在无人机航拍绝缘子目标检测任务中的适用性；并通过构建无人机航拍绝缘子自动检测方案，提高绝缘子检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明一实施例提供的一种基于transformer的无人机航拍绝缘子目标检测方法的流程图；

图2为本发明一实施例提供的一种基于transformer的无人机航拍绝缘子目标检测装置的结构示意图；

图3为本发明一实施例获取的训练图像以及训练图像中绝缘子的位置信息示意图；

图4为本发明一实施例获取测试图像中绝缘子的位置示意图。

实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为一种基于transformer的无人机航拍绝缘子目标检测方法，该方法包括：

步骤S01：获取无人机航拍绝缘子的训练图像和测试图像，并标注出绝缘子在训练图像中的位置信息；

具体的，获取无人机航拍绝缘子训练图像x

步骤S02：构建特征提取网络，进行特征提取；所述特征提取网络包括卷积神经网络、特征降维网络及位置编码器；

本申请实施例中，卷积神经网络II的主干网络由ResNet50构成，特征降维网络由1×1卷积网络构成。

进一步，特征提取过程为：无人机航拍绝缘子训练图像输入卷积神经网络后，得到卷积特征feature1；

将卷积特征feature1输入特征降维网络后，得到降维特征feature2；

位置编码器生成位置编码positionalencodings1，并与降维特征feature2相加，得到带有位置编码信息的二维索引特征feature3；

具体的，特征提取网络I包括卷积神经网络II、特征降维网络III、位置编码器IV，满足：

卷积神经网络II的主干网络由ResNet50构成，特征降维网络III由1×1卷积网络构成；特征提取过程为：无人机航拍绝缘子训练图像x

进一步，特征feature1尺寸为2048×25×34，特征feature2尺寸为258×25×34，位置编码positionalencodings1尺寸为256×25×34，特征feature3尺寸为256×25×34，特征feature4的尺寸为850×256。

步骤S03：构建Transformer网络，并提取待预测特征；所述Transformer网络包括Transformer编码器、Transformer解码器；

本申请实施例中，Transformer编码器包括3个Transformer模块， Transformer解码器包括3个Transformer解码器模块。

待预测特征提取具体过程为：

将Transformer解码器的目标查询参数设置为50；

特征feautre4输入Transformer编码器后，得到编码特征feature5；

将编码特征feature5输入Transformer解码器后，得到待预测特征feature6。

具体的，构建Transformer网络，Transformer网络包括Transformer编码器、Transformer解码器，满足：

Transformer解码器包括3个Transformer编码器模块；Transformer解码器包括3个Transformer解码器模块；由于航拍无人机绝缘子的类别较少，将Transformer解码器的目标查询参数设置为50；特征feautre4输入Transformer编码器后，得到编码特征feature5；将编码特征feature5输入Transformer解码器后，得到待预测特征feature6。

进一步，编码特征feature5尺寸为850×256，待预测特征feature6尺寸为10×256。

步骤S04：构建预测网；所述预测网络包括50个前馈神经网；

本申请实施例中，前馈神经网络由2个隐层数为256的全连接网络构成；待预测特征feature6输入到预测网络后，得到50组预测结果；所述每组预测包括：图像中是否包含绝缘子的预测以及如果包含绝缘子，绝缘子所在锚框的预测。

进一步，构建预测网络，预测网络包括50个前馈神经网络，满足：

前馈神经网络由2个隐层数为256的全连接网络构成；待预测特征feature6输入到预测网络后，得到50组预测结果，每组预测包括图像中是否包含绝缘子的预测以及如果包含绝缘子，绝缘子所在锚框的预测；

步骤S05：训练Transformer网络与预测网络；

本申请实施例中，训练Transformer网络与预测网络具体包括：对Transformer网络中的Transformer编码器、Transformer解码器、以及预测网络中的50个前馈神经网络进行训练。

进一步，使用二分匹配损失函数训练Transformer网络与预测网络。

步骤S06：基于训练完成的Transformer网络与预测网络，预测测试图像的绝缘子位置。

本申请实施例中，基于训练完成的Transformer网络与预测网络，预测测试图像的绝缘子，具体包括：

将无人机航拍绝缘子测试图像输入到特征提取网络，得到一维索引测试特征feature4

将一维索引测试特征feature4

将待预测试测特征feature6

具体的，将无人机航拍绝缘子x

在一实施例中，提出了一种基于transformer的无人机航拍绝缘子目标检测装置，该装置的结构示意图如图2所示。该装置包括获取模块1、特征提取模块2、Transformer网络模块3、预测网络模块5、训练模块5及测试模块6；其中：

获取模块1，用于获取无人机航拍绝缘子的训练图像与测试图像，并用标注出训练图像中的绝缘子位置信息；

特征提取模块2，用于构建特征提取网络，进行特征提取；所述特征提取网络包括卷积神经网络、特征降维网络、位置编码器；

进一步，特征提取模块2包括卷积神经网络模块21、特征降维网络模块22、位置编码器模块23；其中卷积神经网络模块21主干网络由ResNet50构成，用于将无人机航拍绝缘子训练图像输入卷积神经网络后，得到卷积特征feature1；特征降维网络模块22由1×1卷积网络构成，用于将卷积特征feature1输入特征降维网络后，得到降维特征feature2；位置编码器模块用于生成位置编码positionalencodings1，并与降维特征feature2相加，得到带有位置编码信息的二维索引特征feature3，然后将二维索引特征feature3转换为一维索引特征feature4。

Transformer网络模块3：用于构建Transformer网络；所述Transformer网络包括Transformer编码器、Transformer解码器；

进一步，Transformer网络模块3包括Transformer编码器模块31、Transformer解码器模块32；其中Transformer编码器模块31包括3个Transformer模块，用于将一维索引特征feautre4转换为编码特征feature5；Transformer解码器模块32包括3个Transformer编码器模块，Transformer解码器模块的目标查询参数设置为50，用于将编码特征feature5转换为待预测特征feature6。

预测网络模块4，用于构建预测网；所述构建预测网包括50个前馈神经网络IX；

进一步，预测网络模块4包括前馈神经网络模块41；其中前馈神经网络模块中网络的数量与Transformer解码器模块的目标查询参数一致；每个前馈神经网络由2个隐层数为256的全连接网络构成；待预测特征输入到预测网络后，得到50组预测结果，每组预测结果包括图像中是否包含绝缘子的预测以及如果包含绝缘子，绝缘子所在锚框的预测。

训练模块5，用于训练Transformer网络与预测网络；

测试模块6，用于基于训练完成的Transformer网络与预测网络，预测测试图像的绝缘子位在。

需要说明的是，上述实施例提供的基于transformer的无人机航拍绝缘子目标检测装置在执行基于transformer的无人机航拍绝缘子目标检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于transformer的无人机航拍绝缘子目标检测装置与基于transformer的无人机航拍绝缘子目标检测方法实施例属于同一构思，其体现实现过程详见挖掘机的控制方法实施例，这里不再赘述。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包含的某些特征而不是其它特征，但是不同实施例的特征的组合同样意味着处于本发明的保护范围之内并且形成不同的实施例。例如，在上面的实施例中，本领域技术人员能够根据获知的技术方案和本申请所要解决的技术问题，以组合的方式来使用。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。