一种基于视觉引导的搭线方法、系统及存储介质

技术领域

本发明涉及机器学习技术领域，特别涉及一种基于视觉引导的搭线方法、系统及存储介质。

背景技术

目前，高压带电作业仍然采用绝缘手套作业法，要求操作人员攀爬高压铁塔或借助绝缘斗臂车进行不停电作业。人工带电作业，意味着操作人员要处在高空、高压、强电磁场的危险环境中，劳动强度大，且人体姿态不易控制，即使严格遵守安全操作规范并增加绝缘防护措施，也无法完全缓解作业人员的精神压力和体力损耗，稍有不慎就容易发生人身伤亡事故，给家庭和社会带来严重的损失。为了配合加大电网改造力度、优化营商环境、提升配网不停电作业管理等一系列举措，使用智能机器人代替人工进行不停电作业已经是配网检修体系中急需解决的重要一环。

采用机器人进行带电作业，作业人员可远程遥控机器人，机器人控制信号由无线或光纤传输，可保证作业人员与高压电场隔离。但是带电作业机器人的操作员在主控室内，现场工作环境通过现场摄像机传输到主控台，操作员通过主控显示器上显示的现场视频操作主控台，用主手或键盘鼠标捏制作业机械臂完成带电作业。在进行位置精确的作业时，仅凭目视判断再通过手动控制机械臂到达目标点的操作方式容易造成位置错误，降低了作业效率和作业质量。而对于一些需要精确定位的操作，如拆接隔离刀闸、跌落式熔断器及避雷器两端导线、断接引线等，这都需要根据精准的空间信息来进行作业操作，因此通过自主检测与定位来实现对待作业元器件及搭线区域的空间信息的判定就显得尤为重要。

发明内容

本发明的目的在于克服上述背景技术中的不足，提升配电网作业效率及作业质量。

为实现以上目的，一方面，采用一种基于视觉引导的搭线方法，包括：

获取待检测图像；

利用YOLOv3网络对待检测图像进行分析，得到配电网待作业任务元器件的2D预测框；

利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框；

根据待作业元器件的3D预测框，进行搭线定位引导以完成作业任务。

进一步地，所述YOLOv3网络的损失函数包括用来判定坐标误差的损失函数、用来判定IOU误差的iouError损失函数和用来判定分类误差的classError损失函数。

进一步地，所述空间检测模型采用基于M3D-RPN网络的3D目标检测网络模型。

进一步地，所述M3D-RPN网络的损失函数包括分类损失函数、2D框回归损失函数和3D框回归损失函数。

进一步地，所述根据待作业元器件的3D预测框，进行搭线定位引导以完成作业任务，包括：

基于所述待作业元器件的3D预测框和先验信息，计算得到所述待作业元器件的搭线区域信息，基于搭线区域信息进行搭线定位引导以完成作业任务。

进一步地，在所述利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框之后，还包括：

将所述待作业元器件的3D预测框进行二维空间投影，得到待作业元器件的空间信息在平面图像上的投影，得到平面投影；

利用本地构建的目标检测网络对配电网的待作业元器件进行目标检测，得到2D预测框；

计算平面投影和2D预测框的IOU重合度；

判断IOU的重合度值是否大于设定阈值；

若是，将所述待作业任务元器件的3D预测框作为所述待作业元器件的空间坐标信息输出；

若否，则对所述待作业元器件的3D预测框进行矫正。

进一步地，所述对所述待作业元器件的3D预测框进行矫正，包括：

重新获取所述待检测图像；

根据重新获取的所述待检测图像，计算所述待作业元器件的新的3D预测框在二维平面上的投影，得到新的平面投影；

利用本地构建的目标检测网络对配电网的待作业元器件进行目标检测，得到新的2D预测框；

计算新的平面投影与新的2D预测框之间的IOU重合度；

判断该IOU重合度是否大于所述设定阈值

若是，将所述待作业任务元器件的新的3D预测框作为所述待作业元器件的空间坐标信息输出；

若否，对新的3D预测框进行补偿计算，得到所述待作业元器件的空间坐标信息。

第二方面，采用一种基于视觉引导的搭线系统，包括：摄像头和操作机器人，摄像头安装在操作机器人上，操作机器人内设有数据处理模块，该数据处理模块包括图像获取单元、目标检测单元和空间信息检测单元，其中：

图像获取模块用于获取摄像头采集的待检测图像；

目标检测单元用于利用YOLOv3网络对待检测图像进行分析，得到配电网待作业任务元器件的2D预测框；

空间信息检测单元利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框，以使操作机器人根据待作业元器件的3D预测框，进行搭线定位引导以完成作业任务。

第三方面，采用一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的基于视觉引导的搭线方法。

与现有技术相比，本发明存在以下技术效果：本发明方案有效避免了传统人工巡检的操作的低效率，自动化程度不高，以及定位结果易受到检测者主观因素的影响等技术问题，可实现精准自主的定位待作业元器件，提升作业质量，减少人力资源的投入。该方法可以有效提升作业效率、高效性强，降低对配电网作业的投资成本，降低安全隐患的能力。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于视觉引导的搭线方法的流程图；

图2是一种基于视觉引导的搭线方法的原理图；

图3是一种基于视觉引导的搭线方法的数据处理流程图；

图4是数据分析策略示意图；

图5是目标检测单元工作原理图；

图6是空间信息检测单元的工作原理图；

图7是空间信息校准及搭线区域定位示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1至图3所示，本实施例公开了一种基于视觉引导的搭线方法，包括如下步骤S1至S4：

S1、获取待检测图像；

S2、利用YOLOv3网络对待检测图像进行分析，得到配电网待作业任务元器件的2D预测框；

S3、利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框；

S4、根据待作业元器件的3D预测框，进行搭线定位引导以完成作业任务。

需要说明的是，实际应用中，可以采用摄像头等图像获取设备来对配电网的待检测元器件进行图像采集，得到待检测元器件的图像。

作为进一步优选的技术方案，本实施例在开源深度学习平台Pytorch上，搭建YOLOv3网络用于对配电网待检测元器件进行检测，针对配电网场景图像的特殊性，将backbone网络darknet53更改为CSPDarknet53。

作为进一步优选的技术方案，在上述步骤S2：利用YOLOv3网络对待检测图像进行分析，得到配电网待作业任务元器件的2D预测框之前，还包括：

对本地的配电网作业任务元器件图片数据库的元器件图像进行软件标注，构建具有多类配电网待检测元器件的训练集，图片数据库中存储有如：隔离刀闸、跌落式熔断器及避雷器两端导线，断接引线等图片信息；

将已标注好的训练样本集输入YOLOv3网络，进行网络的训练，得到训练好的检测配电网待检测元器件模型。

作为进一步优选的技术方案，上述步骤S2：利用YOLOv3网络对待检测图像进行分析，得到配电网待作业任务元器件的2D预测框，具体包括如下步骤：

将待检测图像输入到训练好的YOLOv3网络模型当中，判断待检测图像中是否出现配电网待检测的作业任务元器件；

若有，则将作业任务元器件调整到摄像头视野的中心位置，将配电网待作业元器件调整到摄像头视野的中心位置的图片信息保存下来，作为配电网操作机器人作业任务元器件空间信息检测单元的输入；若无，则直接判定当前图像中无配电网待作业元器件，继续运行。

作为进一步优选的技术方案，所述YOLOv3网络的损失函数包括用来判定坐标误差的损失函数、用来判定IOU误差的iouError损失函数和用来判定分类误差的classError损失函数，其中：

用来判定坐标误差的损失函数为：

其中，λ

用来判定IOU误差的iouError损失函数为：

其中，C

用来判定分类误差的classError损失函数为：

其中，p

作为进一步优选的技术方案，所述空间检测模型采用基于M3D-RPN网络的3D目标检测网络模型，3D目标检测网络模型是利用共享的2D和3D检测空间，建立一个独立的单目3D区域建议网络(M3D-RPN)，同时利用先验统计对每个3D参数进行强初始化。深度感知卷积来感知3D参数估计，从而使网络能学习更多的空间级高阶特征。并通过一个简单的方向估计后优化算法，该算法使用3D投影和2D检测来改善的估计。

作为进一步优选的技术方案，利用空间检测模型进行检测的具体过程如下：

1)使用M3D-RPN，提出构造3D锚点，使其在图像空间内发挥作用，使用每个锚点的3D参数的先验统计信息初始化所有锚点。因此，基于相机视角的一致性和2D尺度与3D深度的相关性，每个离散锚点在3D中具有很强的先验推理能力。

2)使用新的深度感知卷积层，学习空间感知的特征。为了同时预测2D框和3D框，需要在各自维度空间定义锚点模板。

要放置锚点并定义完整的2D、3D框，必须指定共享的中心像素位置(x,y)，其中2D表示的参数按照像素坐标表示。将相机坐标系下的3D中心位置(x,y,z)三维投影到给定已知投影矩阵P的图像中，将深度信息参数进行编码。均值统计每个点位坐标信息，以此充当强先验信息来减轻3D参数估算的难度。

具体而言，对每个锚点，统计那些先验值IOU超过0.5的匹配统计数据。因此，锚点表示离散的模板，其中3D先验可作为强的初始猜测，从而假设一个合理一致的场景几何。可视化锚点生成公式和预先计算的3D先验；

3)M3D-RPN网络的损失函数是个多任务学习问题，由分类损失，2D框回归损失函数和3D框回归损失函数构成。

对于每个生成的框，检查是否存在与GT的IOU≥0.5。如果存在的话，使用生成框的最佳匹配的GT来定义一个目标的类别索引τ，2D框和3D框。如果不存在的话，目标类别索引为背景类，忽视边界框回归。采用基于softmax的多项逻辑损失函数用于Lc：

4)通过对筛选下的3D框进行分类、使用回归对目标边界框进行筛选，对每一个ROI区域进行候选框预测得到最终的目标区域，完成3D目标检测。

作为进一步优选的技术方案，在上述步骤S3：利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框之前，还包括：

对本地的配电网作业任务元器件图片数据库的元器件图像进行3D目标检测标注，构建3D目标检测训练集；

构建深度学习M3D-RPN配电网作业任务元器3D目标检测网络；

将已标注好的配电网作业任务元器样本集输入到M3D-RPN模型中进行训练，得到训练好的配电网作业任务元器3D目标检测模型。

作为进一步优选的技术方案，如图4所示，在上述步骤S3：在所述利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框之后，还包括：

将所述待作业元器件的3D预测框进行二维空间投影，得到待作业元器件的空间信息在平面图像上的投影，得到平面投影；

计算平面投影和2D预测框的IOU重合度；

判断IOU的重合度值是否大于设定阈值；

若是，将所述待作业任务元器件的3D预测框作为所述待作业元器件的空间坐标信息输出；

若否，则对所述待作业元器件的3D预测框进行矫正。

作为进一步优选的技术方案，对所述待作业元器件的3D预测框进行矫正，具体为：

调整相机角度，重新拍摄待检测作业任务元器件的图像，进行3D目标检测和2D目标检测网络进行目标检测，分别得到新3D预测框在二维平面上的投影和2D预测框，计算新的3D预测框的平面投影与2D预测框重合度的值，大于阈值则将新的3D预测框就为待作业元器件的空间坐标信息进行输出，小于阈值则计算3D投影得2D平面投影与2D预测框的IOU差值，及两个框的重合度，通过移动3D预测框投影中心点的坐标，达到符合标准的IOU的2D坐标后，后进行反向投影得到新的3D坐标，如此进行补偿计算，得到最终的3D预测框信息。通过待作业元器件的先验信息(即待作业参数信息，如器件的样子、型号、大小等参数)，计算得到待作业元器件的搭线区域信息，并以此搭线引导的空间坐标信息进行输出给机器人，完成作业任务。

如图5至图7所示，本实施例公开了一种基于视觉引导的搭线系统，包括：摄像头和操作机器人，摄像头安装在操作机器人上，操作机器人内设有数据处理模块，该数据处理模块包括图像获取单元、目标检测单元和空间信息检测单元，其中：

图像获取模块用于获取摄像头采集的待检测图像；

目标检测单元用于利用YOLOv3网络对待检测图像进行分析，得到配电网待作业任务元器件的2D预测框；

空间信息检测单元利用空间检测模型对待作业任务元器件的2D预测框进行处理，得到待作业任务元器件的3D预测框，以使操作机器人根据待作业元器件的3D预测框，进行搭线定位引导以完成作业任务。

作为进一步优选的技术方案，还包括与所述空间信息检测单元连接的信息校准单元和矫正单元，其中：

信息校准单元具体用于：

将所述待作业元器件的3D预测框进行二维空间投影，得到待作业元器件的空间信息在平面图像上的投影，得到平面投影；

利用本地构建的目标检测网络对配电网的待作业元器件进行目标检测，得到2D预测框；

计算平面投影和2D预测框的IOU重合度；

判断IOU的重合度值是否大于设定阈值；

若是，将所述待作业任务元器件的3D预测框作为所述待作业元器件的空间坐标信息输出；

若否，则利用所述矫正单元对所述待作业元器件的3D预测框进行矫正

作为进一步优选的技术方案，所述矫正单元具体用于：

调整摄像头位置，重新获取所述待检测图像；

根据重新获取的所述待检测图像，计算所述待作业元器件的新的3D预测框在二维平面上的投影，得到新的平面投影；

利用本地构建的目标检测网络对配电网的待作业元器件进行目标检测，得到新的2D预测框；

计算新的平面投影与新的2D预测框之间的IOU重合度；

判断该IOU重合度是否大于所述设定阈值

若是，将所述待作业任务元器件的新的3D预测框作为所述待作业元器件的空间坐标信息输出；

若否，对新的3D预测框进行补偿计算，得到所述待作业元器件的空间坐标信息。

本方案能够通过配电网操作机器人摄像头采集配电网区域待作业元器件，进行数据处理、分析，得到配电网操作机器人自主作业目标元器件及搭线区域的空间信息，能够在作业期间期间，高效的针对配电网区域定位到待作业元器件，能够基于图像信息的检测与识别，给出配电网操作机器人自主作业目标的空间信息，可以有效提升作业效率和提升作业的安全性，实现配电网作业的自动化、智能化的作业。

本实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的基于视觉引导的搭线方法。

本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。