一种用于输电线路的实时巡检方法及设备

技术领域

本申请涉及输电线路检测技术领域，尤其涉及一种用于输电线路的实时巡检方法及设备。

背景技术

输电线路是电力电网的重要组成部分，电力检测部门需要对输电线路进行巡检，保障输电线路的安全状况，避免输电线路遭到损害。

目前，输电线路巡检有人工巡检、无人机巡检等方式，无人机巡检虽然能够节省人力巡检成本，但是出现输电线路区域不易飞行或无人机巡检不全面的情况，仍需要人工巡检。人工巡检输电线路时，会存在输电线路漏检，无法实时记录全部输电线路状况或被损害的输电线路状况等情况，这将导致无法与后续检修人员进行良好检修沟通。

基于此，亟需一种能够便于实时巡检输电线路，保障输电线路安全、稳定运行的技术方案。

发明内容

本申请实施例提供了一种用于输电线路的实时巡检方法及设备，用于实时巡检输电线路，保障输电线路安全、稳定运行。

一方面，本申请实施例提供了一种用于输电线路的实时巡检方法，该方法包括：

获取来自多光谱采集模块的第一巡检环境信息及来自激光雷达的第二巡检环境信息。其中，第一巡检环境信息包括输电线路的多光谱图像。第二巡检环境信息包括输电线路的点云数据。根据第二巡检环境信息的采集时间戳，依次确定激光雷达对应的位姿。根据激光雷达的位姿及预设的点云地图，确定各点云数据点的点云坐标。基于预设的坐标统一矩阵及各点云数据点的点云坐标，确定世界坐标系下各点云数据点的点云坐标，以通过世界坐标系下各点云数据点的点云坐标，将点云数据与多光谱图像融合处理，得到融合后的线路巡检图像。

在本申请的一种实现方式中，通过内置的定位模块，确定各采集时间戳下，激光雷达的雷达定位信息。其中，定位模块为全球导航卫星系统GNSS与惯性测量单元IMU组合定位模块。根据滑动窗口预积分操作后的雷达定位信息及各点云数据点的获取时间，依次确定采集时间戳对应的激光雷达的位姿。其中，获取时间包括激光发射时刻、激光接收时刻。

在本申请的一种实现方式中，获取输电线路对应的点云数据样本及相应的激光雷达定位信息。确定点云数据样本的点云特征点，并根据激光雷达定位信息，更新各点云特征点的特征点位置信息。将预设时间段内的点云特征点及相应的特征点位置信息，输入点云地图。通过直通滤波器，对点云地图中的点云数据进行滤波处理，以得到去噪点云数据。根据去噪点云数据，建立八叉树空间结构树，以根据激光雷达的位姿及预设的点云地图，通过八叉树空间结构树，确定各点云数据点的点云坐标。

在本申请的一种实现方式中，基于预设分割边长，将点云地图分割为若干点云立方体。其中，点云立方体的边长为预设分割边长。将点云立方体的八个顶点坐标，分别作为叶节点，以生成八叉树空间结构树。确定八叉树空间结构树中，各叶节点的中心三维坐标。其中，中心三维坐标为点云立方体的八个顶点坐标的中心点坐标。将各叶节点的中心三维坐标，作为叶节点相应根节点的点云数据点的点云坐标。

在本申请的一种实现方式中，确定多光谱图像各像素点的二维坐标。将点云数据转换为高程图。以及确定各点云数据的点云坐标对应的二维坐标，以将各点云坐标与二维坐标融合。根据高程图以及融合后的各点云坐标与二维坐标，确定线路巡检图像。其中，线路巡检图像中的不同高程的标注颜色不同。

在本申请的一种实现方式中，将线路巡检图像实时发送至显示模块，以展示线路巡检图像。基于用户操作，获取来自显示模块的第一测距指令。确定第一测距指令中的第一测距坐标及第二测距坐标。其中，第一测距坐标、第二测距坐标为世界坐标系下的坐标。第一测距坐标对应于用户操作对应的第一操作对象。第二测距坐标对应于用户操作对应的第二操作对象。计算第一测距坐标与第二测距坐标的欧式距离，以得到第一测距坐标与第二测距坐标之间的坐标距离值。将坐标距离值发送至显示模块。

在本申请的一种实现方式中，基于用户操作，获取来自显示模块的第二测距指令。确定第二测距指令中的第三测距坐标。其中，第三测距坐标来自世界坐标系。确定激光雷达的当前位置坐标，并计算当前位置坐标与第三测距坐标的欧式距离，以得到当前位置坐标与第三测距坐标之间的坐标距离值。将坐标距离值发送至显示模块。

在本申请的一种实现方式中，定位模块还包括载波相位差分技术RTK天线。

在本申请的一种实现方式中，确定线路巡检图像中是否存在输电线路。确定线路巡检图像中不存在输电线路的情况下，累计不存在输电线路的连续时间值。在连续时间值大于预设阈值的情况下，生成扫描告警，并将扫描告警发送至显示模块及相应的监管终端。

另一方面，本申请实施例还提供了一种用于输电线路的实时巡检设备，设备包括：

至少一个处理器，以及，与至少一个处理器通信连接的存储器。其中，存储器存储有能够被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

获取来自多光谱采集模块的第一巡检环境信息及来自激光雷达的第二巡检环境信息。其中，第一巡检环境信息包括输电线路的多光谱图像。第二巡检环境信息包括输电线路的点云数据。根据第二巡检环境信息的采集时间戳，依次确定激光雷达对应的位姿。根据激光雷达的位姿及预设的点云地图，确定各点云数据点的点云坐标。基于预设的坐标统一矩阵及各点云数据点的点云坐标，确定世界坐标系下各点云数据点的点云坐标，以通过世界坐标系下各点云数据点的点云坐标，将点云数据与多光谱图像融合处理，得到融合后的线路巡检图像。

通过上述方案，实时巡检设备可以得到多光谱图像及点云数据，并能够在设备本地进行生成线路巡检图像，并能够显示该图像。本申请能够实现巡检输电线路的本地实时解算，以在设备上展示当前巡检结果，可以实时查看巡检数据的质量，避免出现漏检或巡检数据不佳的问题，从而实现了实时巡检输电线路，保障输电线路安全、稳定运行。并且，本申请的实时巡检方法由实时巡检设备进行执行，无需外置的服务器进行，提高了巡检效率，且能够使巡检人员在采集输电线路图像不佳时，及时进行重新采集，提高了巡检人员的使用体验度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种用于输电线路的实时巡检方法的一种流程示意图；

图2为本申请实施例中一种用于输电线路的实时巡检方法中的一种示意图；

图3为本申请实施例中一种用于输电线路的实时巡检方法的手持式扫描设备的一种架构示意图；

图4为本申请实施例中一种用于输电线路的实时巡检方法的手持式扫描设备的另一结构示意图

图5为本申请实施例中一种用于输电线路的实时巡检设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种用于输电线路的实时巡检方法及设备，用来实时巡检输电线路，保障输电线路安全、稳定运行。

以下结合附图，详细说明本申请的各个实施例。

本申请实施例提供了一种用于输电线路的实时巡检方法，方法应用于手持式扫描设备，手持式扫描设备为本申请的实时巡检设备。如图1所示，该方法可以包括步骤S101-S105：

S101，手持式扫描设备获取来自多光谱采集模块的第一巡检环境信息及来自激光雷达的第二巡检环境信息。

其中，第一巡检环境信息包括输电线路的多光谱图像。第二巡检环境信息包括输电线路的点云数据。

在本申请实施例中，手持式扫描设备为用于输电线路的实时巡检方法的执行主体。手持式扫描设备可以获取内置的多光谱采集模块及激光雷达的采集数据，以得到相应的第一巡检环境信息及第二巡检环境信息。多光谱采集模块可以是多光谱摄像头；激光雷达可以内置有惯性测量单元（Inertial Measurement Unit，IMU）模块，以输出点云数据、位姿及加速度数据。

S102，手持式扫描设备根据第二巡检环境信息的采集时间戳，依次确定激光雷达对应的位姿。

在本申请实施例中，手持式扫描设备根据第二巡检环境信息的采集时间戳，依次确定激光雷达对应的位姿，具体包括：

首先，手持式扫描设备通过内置的定位模块，确定各采集时间戳下，激光雷达的雷达定位信息。

其中，定位模块为全球导航卫星系统（Global Navigation Satellite System，GNSS）与惯性测量单元IMU组合定位模块。

手持式扫描设备内置GNSS/IMU组合定位模块，手持式扫描设备还包括载波相位差分技术（Real - time kinematic，RTK）天线。GNSS/IMU组合定位模块与RTK天线连接。

RTK天线可以使手持式扫描设备实现厘米级定位，使获取的点云数据具有绝对坐标，有助于得到的点云数据，在点云拼接时实现精准拼接。

其次，手持式扫描设备根据滑动窗口预积分操作后的雷达定位信息及各点云数据点的获取时间，依次确定采集时间戳对应的激光雷达的位姿。

其中，获取时间包括激光发射时刻、激光接收时刻。

手持式扫描设备可以得到各点云数据点获取时间及该获取时间下的雷达定位信息，从而能够得到激光雷达采集到点云数据点时，点云数据点的位姿信息，位姿信息包括位置、速度、加速度等数据。

S103，手持式扫描设备根据激光雷达的位姿及预设的点云地图，确定各点云数据点的点云坐标。

在本申请实施例中，手持式扫描设备根据各激光雷达的位姿及预设的点云地图，确定各点云数据点的点云坐标，具体包括：

首先，手持式扫描设备获取输电线路对应的点云数据样本及相应的激光雷达定位信息。

在本申请实施例中，手持式扫描设备在启动之后，可以将启动后的预设时段内采集的点云数据作为点云数据样本，也可以由用户进行自行设定选取点云数据样本，本申请对此不作具体限定。激光雷达定位信息对应于点云数据样本中各点云数据，如点云数据A的激光雷达定位信息中的定位坐标为（a，b），该定位坐标也可以是经纬度。

其次，手持式扫描设备确定点云数据样本的点云特征点，并根据激光雷达定位信息，更新各点云特征点的特征点位置信息。

手持式扫描设备可以进行特征点检测，例如使用VoxelNET进行点云特征点检测，根据激光雷达定位信息得到各点云特征点的特征点位置信息，并通过该特征点位置信息进行预测下一位置点云特征点的特征点位置信息，以通过预测的特征点位置信息更新各点云特征点的特征点位置信息。例如选用卡尔曼滤波算法，进行更新各点云特征点的特征点位置信息。

再次，手持式扫描设备将预设时间段内的点云特征点及相应的特征点位置信息，输入点云地图。

手持式扫描设备可以生成点云地图，从而得到点云特征点的在地图中的坐标。

接着，手持式扫描设备通过直通滤波器，对点云地图中的点云数据进行滤波处理，以得到去噪点云数据。

在本申请实施例中，直通滤波器可以根据滤波器设定的条件，选择自己所需点云，例如保留输电线路的点云，对不属于输电线路的点云进行滤波。

然后，手持式扫描设备根据去噪点云数据，建立八叉树空间结构树，以根据激光雷达的位姿及预设的点云地图，通过八叉树空间结构树，确定各点云数据点的点云坐标。

手持式扫描设备将点云地图中切分为若干用于建立八叉树空间结构树的立方体，根据点云地图中的去噪点云数据以及其所处的立方体，建立八叉树空间结构树，具体如下：手持式扫描设备基于预设分割边长，将点云地图分割为若干点云立方体；其中，点云立方体的边长为预设分割边长；手持式扫描设备将点云立方体的八个顶点坐标，分别作为叶节点，以生成八叉树空间结构树；手持式扫描设备确定八叉树空间结构树中，各叶节点的中心三维坐标。其中，中心三维坐标为点云立方体的八个顶点坐标的中心点坐标。

各立方体可以划分为8个叶节点，SOC可以确定各叶节点的中心三维坐标。此外，立方体的边长可以预先设定，立方体边长至少大于点云数据的直径，本申请对具体的立方体的边长不作具体限定。

手持式扫描设备将各叶节点的中心三维坐标，作为叶节点相应根节点的各点云数据点的点云坐标。

通过将叶节点的中心三维坐标作为点云数据点的坐标，可以对点云进行抽稀，从而避免点云数据过密，影响实际的点云图像展示效果。

S104，手持式扫描设备基于预设的坐标统一矩阵各点云数据点的点云坐标，确定世界坐标系下的各点云数据点的点云坐标，以通过世界坐标系下的各点云数据点的点云坐标，将点云数据与多光谱图像融合处理，得到融合后的线路巡检图像。

坐标统一矩阵可以将激光雷达的外参与多光谱摄像头的外参进行标定，该坐标统一矩阵可以在实际使用过程中进行设定。在本申请实施例中，SOC将点云数据与多光谱图像融合处理，得到线路巡检图像，具体包括：

手持式扫描设备确定多光谱图像各像素点的二维坐标。

手持式扫描设备将点云数据转换为高程图。以及确定各点云数据的点云坐标对应的二维坐标，以将各点云坐标与二维坐标融合。

将高程图内点云数据的点云坐标统一至二维坐标。其中，高程图中的不同高程的标注颜色不同。

手持式扫描设备根据高程图以及融合后的各点云坐标与二维坐标，确定线路巡检图像。其中，线路巡检图像中的不同高程的标注颜色不同。

将物体按照不同高程以颜色分类标注，可以识别物体高度，展示线路巡检图像的效果更佳。

在申请的另一实施例中，手持式扫描设备进行得到线路巡检图像如图2所示，具体包括：

手持式扫描设备通过SOC处理器获取IMU数据及点云数据，将获取数据输入状态模型，进行特征点检测、更新位置以及点云累积；接着依次进行点云滤波、点云插入、建模构图，得到具有点云数据的点云地图，然后显示点云地图。

S105，手持式扫描设备将线路巡检图像实时发送至显示模块，以展示线路巡检图像。

通过上述方案，本申请的实时巡检设备可以得到多光谱图像及点云数据，并能够在设备本地进行生成线路巡检图像，并能够显示该图像。本申请能够实现巡检输电线路的本地实时解算，以在设备上展示当前巡检结果，可以实时查看巡检数据的质量，避免出现漏检或巡检数据不佳的问题，从而实现了实时巡检输电线路，保障输电线路安全、稳定运行。

在本申请的一个实施例中，手持式巡检设备还可以实现以下功能，具体如下：

手持式扫描设备基于用户操作，获取来自显示模块的第一测距指令。手持式扫描设备确定第一测距指令中的第一测距坐标及第二测距坐标。其中，第一测距坐标、第二测距坐标为世界坐标系下的坐标；第一测距坐标对应于用户操作对应的第一操作对象；第二测距坐标对应于用户操作对应的第二操作对象。手持式扫描设备计算第一测距坐标与第二测距坐标的欧式距离，以得到第一测距坐标与第二测距坐标之间的坐标距离值。手持式扫描设备将坐标距离值发送至显示模块。

例如，显示模块为触摸显示屏，用户可以通过触摸、点击或滑动操作，选择在线路巡检图像中的两个位置点（第一操作对象、第二操作对象）后，生成第一测距指令，该第一测距指令用于获取两个位置点之间的实际距离。SOC通过计算两个位置点的欧式距离，公式如下：

其中，

在本申请的另一实施例中，手持式巡检设备还可以执行以下功能，具体如下：

手持式扫描设备基于用户操作，获取来自显示模块的第二测距指令。手持式扫描设备确定第二测距指令中的第三测距坐标。其中，第三测距坐标来自世界坐标系。手持式扫描设备确定激光雷达的当前位置坐标，并计算当前位置坐标与第三测距坐标的欧式距离，以得到当前位置坐标与第三测距坐标之间的坐标距离值。手持式扫描设备将坐标距离值发送至显示模块。

例如，用户在显示模块点击、触摸某一位置，该位置对应于线路巡检图像中的一坐标点，显示模块将该操作对应的第二测距指令发送至SOC，第二测距指令用于得到点击或触摸的坐标点与实时巡检设备当前位置的距离。计算距离的公式如上述实施例所示，在此不再赘述。

在本申请的一个实施例中，手持式巡检设备还能够进行自动报警，具体如下：

手持式扫描设备确定线路巡检图像中是否存在输电线路。

手持式扫描设备在确定线路巡检图像中不存在输电线路，累计不存在输电线路的连续时间值。

手持式扫描设备在连续时间值大于预设阈值的情况下，生成扫描告警，并将扫描告警发送至显示模块及相应的监管终端。

举例如下，线路巡检图像中在连续五分钟内，没有出现输电线路，手持式扫描设备将会产生扫描告警的告警信号，如光信号，发光二极管亮等，或声音提示、文字提示等。在本申请实施例中，用于检测是否存在输电线路，可以通过预先训练的图像识别神经网络模型，该图像识别神经网络模型通过若干输电线路的图像样本训练得到。此外，预设阈值可以在实际使用过程中进行设定，对此不作具体限定。其中，监管终端可以是用户的手机或电脑等设备。

图3为本申请的手持式扫描设备的结构示意图，其中：

手持式扫描设备包括：SOC核心处理器、IMU、GNNS、RTK天线、激光雷达、液晶显示器以及多光谱摄像头。

图4为本申请的手持式扫描设备的实际结构示意图，其中：

1为OLED液晶显示器，2为外置的RTK天线，3为激光雷达，4为2400万像素高清摄像头，5为操作手柄，6为GNNS/IMU模块，主控7为4核高速核心处理器（SOC），主频1.8GHz。其中，IMU采用ICM-20948，通过IIC与SOC进行通讯。

在本申请实施例中，SOC还集成有射频模块，能够进行4G/5G通讯，本申请手持式扫描设备可以将实时扫描的数据通过网络上传至其他服务器或终端设备，也可以将数据存储至存储卡，以便后续通过后端电脑通过SLAM算法合成高精度三维点云数据。

手持式扫描设备的网络通讯功能，可以满足应急救援工作中，指挥者及时获取各个地区的巡检工作者巡检当地的状况，从而及时进行指导输电线路救援等工作。

操作手柄5按键启动手持式扫描设备，采集激光雷达数据和GNNS/IMU数据，首先进行数据同步，确保激光点云数据与系统时钟同步，同时高清摄像头进行可见光图像预览，实时解算激光雷达数据与可见光图像数据并进行融合计算。

图5为本申请实施例提供的一种用于输电线路的实时巡检设备500，该设备包括：

至少一个处理器501；以及，与至少一个处理器通信连接的存储器502。其中，存储器502存储有能够被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够：

获取来自多光谱采集模块的第一巡检环境信息及来自激光雷达的第二巡检环境信息。其中，第一巡检环境信息包括输电线路的多光谱图像。第二巡检环境信息包括输电线路的点云数据。根据第二巡检环境信息的采集时间戳，依次确定激光雷达对应的位姿。根据激光雷达的位姿及预设的点云地图，确定各点云数据点的点云坐标。基于预设的坐标统一矩阵及各点云数据点的点云坐标，确定世界坐标系下各点云数据点的点云坐标，以通过世界坐标系下各点云数据点的点云坐标，将点云数据与多光谱图像融合处理，得到融合后的线路巡检图像。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备与方法是一一对应的，因此，设备也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备的有益技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。