金具检测网络的训练方法、装置及金具识别方法、装置

技术领域

本发明涉及神经网络技术领域，尤其涉及一种金具检测网络的训练方法、装置及金具识别方法、装置。

背景技术

保障输电线路的可靠性是能源互联网和智能电网建设的重要内容之一，金具是输电线路上及其重要且大量存在的金属部件。相关技术中，通常使用无人机对输电线路进行巡检，无人机飞手根据安全飞行规范，操作无人机飞到指定位置对高压线塔上的地线挂接点位置的金具进行拍照并采集图像数据。输电线路巡检人员对无人机采集的图像数据逐张观察，检查挂接点的金具是否需要更换。

但是，相关技术中由于无人机需要在高压线塔的安全距离范围外对地线挂接点数据进行拍照，导致采集图像上的地线挂接点金具目标很小，使用现有图像识别领域的目标检查算法很难准确定位金具位置，并且很难准确识别金具边缘的有效位置。只能通过人工观察的方式，将图像放大几百倍，进而判断金具是否需要更换，无论是效率还是精确度均不如人意。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种金具检测网络的训练方法，以通过训练得到金具检测网络，实现高效精确地进行金具检测。

本发明的第二个目的在于提出一种金具检测网络的训练装置。

本发明的第三个目的在于提出一种金具检测方法。

本发明的第四个目的在于提出一种金具检测装置。

为达到上述目的，本发明第一方面实施例提出了一种金具检测网络的训练方法，所述金具检测网络包括区域生成子网络、N个识别子网络，所述方法包括：获取初始训练集；利用所述区域生成子网络生成的随机数，并根据所述随机数和N个预设尺寸从所述初始训练集中的训练图像中分割出N个目标区域图像，其中，N为正整数；分别将N个所述目标区域图像一一对应输入N个所述识别子网络进行金具识别，得到金具识别结果；根据所述金具识别结果和对应真实标签构建损失函数，并根据所述损失函数分别对所述区域生成子网络和所述识别子网络进行训练。

本发明实施例的金具检测网络的训练方法，通过获取初始训练集，利用区域生成子网络生成随机数，根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，从而分别将N个目标区域图像一一对应输入N个识别子网络进行金具识别，得到金具识别结果，根据金具识别结果和对应真实标签构建损失函数，根据损失函数对区域生成子网络和识别子网络进行训练。由此，可以实现对金具检测网络进行训练，以便可以利用金具检测网络进行金具检测，无需人工观察，实现更加精确高效的金具检测。

为达到上述目的，本发明第二方面实施例提出了一种金具检测网络的训练装置，所述金具检测网络包括区域生成子网络、N个识别子网络，所述装置包括：第一获取模块，用于获取初始训练集；分割模块，用于利用所述区域生成子网络生成的随机数，并根据所述随机数和N个预设尺寸从所述初始训练集中的训练图像中分割出N个目标区域图像，其中，N为正整数；第一识别模块，用于分别将N个所述目标区域图像一一对应输入N个所述识别子网络进行金具识别，得到金具识别结果；训练模块，用于根据所述金具识别结果和对应真实标签构建损失函数，并根据所述损失函数分别对所述区域生成子网络和所述识别子网络进行训练。

本发明实施例的金具检测网络的训练装置，通过获取初始训练集，利用区域生成子网络生成随机数，根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，从而分别将N个目标区域图像一一对应输入N个识别子网络进行金具识别，得到金具识别结果，根据金具识别结果和对应真实标签构建损失函数，根据损失函数对区域生成子网络和识别子网络进行训练。由此，可以实现对金具检测网络进行训练，以便可以利用金具检测网络进行金具检测，无需人工观察，实现更加精确高效的金具检测。

为达到上述目的，本发明第三方面实施例提出了一种金具检测方法，所述方法包括：获取待检测图像；将所述待检测图像输入根据上述的金具检测网络的训练方法训练得到的金具检测网络进行金具识别，得到金具识别结果。

本发明实施例的金具检测方法，通过获取待检测图像，并将待检测图像输入采用上述金具检测网络的训练方法训练得到的金具检测网络，得到金具识别结果，从而实现利用金具检测网络进行金具识别，无需人工观察，实现更加精确高效的金具检测。

为达到上述目的，本发明第四方面实施例提出了一种金具检测装置，所述装置包括：第二获取模块，用于获取待检测图像；第二识别模块，用于将所述待检测图像输入上述的金具检测网络的训练装置训练得到的金具检测网络进行金具识别，得到金具识别结果。

本发明实施例的金具检测装置，通过获取待检测图像，并将待检测图像输入采用上述金具检测网络的训练装置训练得到的金具检测网络，得到金具识别结果，从而实现利用金具检测网络进行金具识别，无需人工观察，实现更加精确高效的金具检测。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一个实施例的金具检测网络的训练方法的流程图；

图2是本发明一个示例的金具检测网络的训练方法的流程图；

图3是本发明一个示例的金具检测网络的示意图；

图4是本发明实施例的金具检测网络的训练装置的结构框图；

图5是本发明实施例的金具识别方法的流程图；

图6是本发明一个示例的金具检测方法的流程图；

图7是本发明实施例的金具检测装置的结构框图。

具体实施方式

下面参考附图描述本发明实施例的金具检测网络的训练方法、装置及金具识别方法、装置，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。参考附图描述的实施例是示例性的，不能理解为对本发明的限制。

下面参考附图描述本发明实施例的金具检测网络的训练方法。

图1是本发明一个实施例的金具检测网络的训练方法的流程图。

在本发明实施例中，金具检测网络包括区域生成子网络、N个识别子网络。识别子网络包括特征提取模块和预测判别模块，例如可以为YOLO V5特征提取模块及YOLO V5预测判别模块。

如图1所示，金具检测网络的训练方法，包括：

S11，获取初始训练集。

具体的，初始训练集，为根据实际应用过程中获得的金具图像设计得到的挂接点金具目标数据集，比如说，可以获取无人机巡检过程中采集得到的地线挂接点金具图像，根据图像设计得到由横担面U型金具正面典型目标和导线端U型金具侧面典型目标两类数据构成的数据集。

S12，利用区域生成子网络生成的随机数，并根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，其中，N为正整数。

具体的，获取初始训练集中的训练图像，并获取区域生成自网络生成的随机数，根据随机数在训练图像上确定初始点，从而根据初始点和预设尺寸从训练图像中分割出目标区域图像。

需要说明的是，由于训练图像中的金具目标位置已知，因而在获取目标区域图像后，可以知晓目标区域图像中是否包含完整金具，并可将目标区域图像中是否包含完整金具作为目标区域图像的真实标签。明显的，由于在最初时目标区域随机选取，从而导致目标区域图像的真实标签是个随机值。

作为一个示例，上述N的取值为3，3个预设尺寸分别为152*152像素点、304*304像素点、608*608像素点。

S13，分别将N个目标区域图像一一对应输入N个识别子网络进行金具识别，得到金具识别结果。

S14，根据金具识别结果和对应真实标签构建损失函数，并根据损失函数分别对区域生成子网络和识别子网络进行训练。

作为一个示例，首先根据识别结果和对应真实标签判断相应目标区域图像中是否存在完整金具，具体的，由于识别结果为目标区域图像中的矩形区域，可以比较识别到的矩形区域与训练图像中的金具所在的区域是否完全重合，若完全重合，则确定存在完整金具。若根据识别结果和对应真实标签确定相应目标区域图像中存在完整金具，则标记该目标区域图像对应的标签为1，并根据标签1得到真实分布；若根据识别结果和对应真实标签确定相应目标区域图像中不存在完整金具，则标记该目标区域图像对应的标签为0，并根据标签0得到非真实分布。

具体的，可以在得到目标区域图像对应的标签之后，结合金具在训练图像中的位置，得到两类标注目标的区域的位置信息的概率分布，具体包括标签为1的情况下金具在训练图像中位置的概率分布和标签为0的情况下金具在训练图像中位置的概率分布。上述标签为1的情况下金具在训练图像中位置的概率分布为真实分布，上述标签为0的情况下金具在训练图像中位置的概率分布为非真实分布。在获得真实分布和非真实分布后，可以根据真实分布和非真实分布计算得到交叉熵，并将该交叉熵作为损失函数。

在得到损失函数后，参见图2，采用上述根据交叉熵得到的损失函数对区域生成子网络和特征提取模块进行训练。对于预测判别模块，可以根据对目标区域图像的识别结果和对应的真实标签进行训练。

其中，在对区域生成子网络进行训练过程中，在输入至识别子网络的目标区域图像为正样本时，若目标区域图像对应的标签为1，则向区域生成子网络反馈正向激励；若目标区域图像对应的标签为0，则向区域生成子网络反馈负向激励；在输入至识别子网络的目标区域图像为负样本时，若目标区域图像对应的标签为1，则向区域生成子网络反馈负向激励；若目标区域图像对应的标签为0，则向区域生成子网络反馈正向激励。其中，若目标区域图像中包括完整金具，则为正样本，若目标区域图像中不包括完整金具，则为负样本，在目标区域图像为正样本时，输入区域生成子网络的布尔值为1，在目标区域图像为负样本时，输入区域生成子网络的布尔值为0。

由此，通过不断迭代，使得上述真实分布和非真实分布不断逼近所需要的分布，最终实现在区域生成子网络的输入为1时，输出的目标区域的位置类似真实分布，即为包含完整金具，在区域生成子网络的输入为0时，输出的目标区域的位置类似非真实分布，即不为包含完整金具。

在本发明的一个实施例中，区域生成子网络包括输入层、中间层和输出层，输入层接收的输入信号为一个布尔值，输出层输出的输出信号为两个随机数y

作为一个示例，上述区域生成子网络可以由3层DNN组成，输出层1个神经元，中间层200个神经元，输出层2个神经元。

其中，上述根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，包括：

根据下式在训练图像中确定起始点：

其中，(sx，sy)为起始点的坐标，W

进一步的，根据起始点和N个预设尺寸从金具图像中分割出N个目标区域图像。

由此，可以实现根据训练图像得到目标区域图像。

下面结合一个具体示例对本发明实施例进行详细说明。

在该具体示例中，参见图3，多尺度区域生成模型即为上述区域生成子网络，152*152尺度挂接点金具目标检测模型、304*304尺度挂接点金具目标检测模型和608*608尺度挂接点金具目标检测模型即为上述N个识别子网络。在该具体示例中，金具检测网络还包括线塔支架目标检测模型，用于从原始图像数据中获取待检测图像，线塔支架目标检测模型采用线塔支架目标数据集进行训练，线塔支架目标数据集由挂接点金具目标数据集得到。可见，上述3个挂接点金具目标检测模型组成金具检测网络的判别模型，且该判别模型为对抗部分，与多尺度区域生成模型共同构成了一个随机区域生成对抗模型。

具体地，在训练过程中，根据线塔支架目标数据集中的数据对线塔支架目标检测模型进行训练，并将挂接点金具目标数据集中的数据输入至多尺度区域生成模型，多尺度区域生成模型对挂接点金具目标数据集中的训练图像进行分割得到目标区域图像，并将目标区域图像输入至三个挂接点金具目标检测模型。其中，由于线塔支架目标数据集由挂接点金具目标数据集得到，因而可以将线塔支架目标数据集中的数据输入至多尺度区域生成模型以进行训练。而且，还需要将挂接点金具目标数据集中的数据输入挂接点金具目标检测模型，以将挂接点金具目标数据集中的训练图像中金具的位置输入挂接点金具目标检测模型，从而对挂接点金具目标检测模型和多尺度区域生成模型进行训练。

综上，本发明实施例的金具检测网络的训练方法，通过获取初始训练集，利用区域生成子网络生成随机数，根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，从而分别将N个目标区域图像一一对应输入N个识别子网络进行金具识别，得到金具识别结果，根据金具识别结果和对应真实标签构建损失函数，根据损失函数对区域生成子网络和识别子网络进行训练。由此，可以实现对金具检测网络进行训练，以便可以利用金具检测网络进行金具检测，无需人工观察，实现更加精确高效的金具检测。

进一步地，本发明提出一种金具检测网络的训练装置。

图4是本发明实施例的金具检测网络的训练装置的结构框图。

在本发明实施例中，金具检测网络包括区域生成子网络、N个识别子网络。

如图4所示，金具检测网络的训练装置100包括：第一获取模块101、分割模块102、第一识别模块103、训练模块104。

具体地，第一获取模块101，用于获取初始训练集；分割模块102，用于利用区域生成子网络生成的随机数，并根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，其中，N为正整数；第一识别模块103，用于分别将N个目标区域图像一一对应输入N个识别子网络进行金具识别，得到金具识别结果；训练模块104，用于根据金具识别结果和对应真实标签构建损失函数，并根据损失函数分别对区域生成子网络和识别子网络进行训练。

需要说明的是，本发明实施例的金具检测网络的训练装置的其他具体实施方式，可以参见上述实施例的金具检测网络的训练方法。

本发明实施例的金具检测网络的训练装置，通过获取初始训练集，利用区域生成子网络生成随机数，根据随机数和N个预设尺寸从初始训练集中的训练图像中分割出N个目标区域图像，从而分别将N个目标区域图像一一对应输入N个识别子网络进行金具识别，得到金具识别结果，根据金具识别结果和对应真实标签构建损失函数，根据损失函数对区域生成子网络和识别子网络进行训练。由此，可以实现对金具检测网络进行训练，以便可以利用金具检测网络进行金具检测，无需人工观察，实现更加精确高效的金具检测。

进一步的，本发明提出一种金具检测方法。

图5是本发明一个实施例的金具检测方法的流程图。

如图5所示，金具检测方法，包括：

S51，获取待检测图像。

具体的，首先获取原始图像数据，该原始图像数据为在实际应用过程中获取到的需要进行检测的图像，比如说，无人机飞手根据安全飞行规范，操作无人机飞到指定位置对高压线塔上的地线挂接点位置的金具进行拍照并采集得到的图像。

在获取拍摄图像后，将拍摄图像输入预先训练的线塔支架目标检测网络，得到待检测网络。为了训练线塔支架目标检测网络，需要获取线塔支架目标数据集，以利用线塔支架目标数据集对线塔支架目标检测网络进行训练。线塔支架目标数据集为根据实际应用过程中获得的金具图像设计得到的训练集，比如说，可以获取无人机巡检过程中采集得到的地线挂接点图像特点设计得到的数据集，由标记有地线挂接点金具位置的典型支架目标和没有地线挂接点金具的典型支架目标两类数据构成。

S52，将待检测图像输入根据上述金具检测网络的训练方法训练得到的金具检测网络进行金具识别，得到金具识别结果。

具体的，在将待检测图像输入金具检测网络之后，由于输入区域生成子网络的布尔值可以起到开关的作用，因而需要使输入区域生成子网络的布尔值取值为1。

此时，利用金具检测网络中的区域生成子网络，根据下式在待检测图像中确定起始点，并根据起始点和N个预设尺寸从待检测图像中分割出N个目标区域图像：

其中，(sx，sy)为起始点的坐标，W

进一步地，分别将N个目标区域图像一一对应输入金具检测网络的N个识别子网络进行金具识别，具体可以采用预设的结果融合算法，根据识别子网络的识别结果得到金具识别结果。

在本发明的一个实施例中，N的取值为3，N个目标图像尺寸包括：152*152、304*304、608*608，N个目标区域图像包括152*152尺寸的第一图像、304*304尺寸的第二图像和608*608尺寸的第三图像。

此时，上述分别将N个目标区域图像一一对应输入金具检测网络的N个识别子网络进行金具识别，参见图6，包括：将第一图像输入相应的第一识别子网络；若第一识别子网络从第一图像中识别到完整金具，则输出相应的金具识别结果，否则将第二图像输入相应的第二识别子网络；若第二识别子网络从第二图像中识别到完整金具，则输出相应的金具识别结果，否则将第三图像输入相应的第三识别子网络；若第三识别子网络从第三图像中识别到完整金具，则输出相应的金具识别结果，否则确定未检测到金具。

下面继续结合图3所示的示例对本发明实施例进行说明。

在该具体示例中，多尺度区域生成模型即为上述区域生成子网络，152*152尺度挂接点金具目标检测模型、304*304尺度挂接点金具目标检测模型和608*608尺度挂接点金具目标检测模型即为上述N个识别子网络。在该具体示例中，金具检测网络还包括线塔支架目标检测模型，用于从原始图像数据中获取待检测图像。

具体地，在检测过程中，获取无人机拍摄的原始图像数据，将原始图像数据输入线塔支架目标检测模型，得到待检测图像，进而将待检测图像输入至多尺度区域生成模型。多尺度区域生成模型从待检测图像中分割出目标区域图像，并将目标区域图像输入挂接点金具目标检测模型，以便挂接点金具目标检测模型对目标区域图像进行识别。而且，挂接点金具目标检测模型还获取线塔支架目标检测模型输出的待检测图像，以缩小目标检测的图幅范围，由于待检测图像为原始图像中的小范围区域，且该区域内包含金具，在该范围内进行金具识别，能够提高检测效率。

综上，本发明实施例的金具检测方法，通过获取待检测图像，并将待检测图像输入采用上述金具检测网络的训练方法训练得到的金具检测网络，得到金具识别结果，从而实现利用金具检测网络进行金具识别，无需人工观察，实现更加精确高效的金具检测。

进一步地，本发明提出一种金具检测装置。

图7是本发明实施例的金具检测装置的结构框图。

如图7所示，金具检测转置200，包括：第二获取模块201、第二识别模块202。

具体地，第二获取模块201，用于获取待检测图像；第二识别模块202，用于将待检测图像输入根据上述的金具检测网络的训练装置训练得到的金具检测网络进行金具识别，得到金具识别结果。

需要说明的是，本发明实施例的金具检测装置的其他具体实施方式，可以参见上述实施例的金具检测方法。

本发明实施例的金具检测装置，通过获取待检测图像，并将待检测图像输入采用上述金具检测网络的训练装置训练得到的金具检测网络，得到金具识别结果，从而实现利用金具检测网络进行金具识别，无需人工观察，实现更加精确高效的金具检测。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本说明书的描述中，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，除非另有说明，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。