一种无人机高压线目标点选取与实时定位方法

技术领域

本发明属于图像处理技术领域，具体来说，涉及一种无人机高压线目标点选取与实时定位方法。

背景技术

对输配电网线路进行定期巡视检查，是确保输电安全平稳运行的关键。而在人工巡线时常面临巡线距离长、工作量大效率缓慢，高风险性高等问题，无人机因其环境适应性强，在电力线巡检的运用中逐渐增多。但利用无人机巡线也存在一定限制，其中最主要的是续航时间有限，单次飞行时长一般不超过40分钟，作业半径一般不超过5公里，执行长距离长时间的巡检任务需往复执行，极大降低了作业效率。目前解决无人机续航问题主要有三种方案：1)采用油动型无人机；2)在无人机巡航途中布置机巢充电站，无人机电量不足时自主降落至充电站补充电能；3)无人机电量过低时自主停挂在巡航途中高压线上，完成无线充电。但前两种方式均存在成本高，维护困难等问题，而第三种方式不仅成本低，维护简单等优势，并且更加灵活，因而无人机自主挂线栖息充电技术逐渐成为当下研究的热门。

无人机挂线栖息充电的前提是要对高压线感知，确定高压线的位置。目前主流的感知方式主要基于激光雷达、视觉传感器等；采用具备深度测量能力的深度相机，解决高压线识别、实时定位等问题，目前基于视觉的高压线识别可以分为传统方法和基于深度学习的方法。

而现有技术中的缺陷在于，传统的电力线分割算法使用电力线自身特征进行匹配滤波检测，容易检测到线性结构噪声，需要进行大量后处理用以滤除噪声和平滑检测结果。部分技术为了避免大量的后处理运算，从而提升算法的运行速度及检测精度，卷积神经网络开始用于设计端到端的电力线检测算法。但神经网络的一些随机性与不确定性使得这些算法产生了一些显而易见的“杂点”，同时也没有充分利用电力线本身的结构特点，导致分割出来的电力线出现断裂、分割不均匀等现象。同时，这些神经网络的算法在无人机移动边缘端的占用时间长，资源消耗大，实时性较差，也没有充分地利用图像的边缘特点，导致分割出来的电线不够精确，从而导致后续选点定位等一系列过程出现误差，这种误差最终极有可能会引起无人机飞行过程中的安全事故。另外，颜色纹理不明显也使得高压线特征点难以被跟踪。

发明内容

针对现有现有技术没有充分利用电力线本身的结构特点和图像的边缘特点，导致分割出来的电线不够精确，以及颜色纹理不明显也使得高压线特征点难以被跟踪的技术问题，本发明提供了一种无人机高压线目标点选取与实时定位方法。

为实现上述技术目的，本发明采用的技术方案如下：

一种无人机高压线目标点选取与实时定位方法，包括步骤：

S1、通过无人机搭载视觉深度相机获取高压线图像；

S2、通过用于电力线图像分割的深度学习模型对获取的高压线图像进行切割，获取高压线分割蒙版；

S3、采用电力线蒙版分割滤波方法获取滤波后的高压线分割蒙版，以获得高压线分割图像；

S4、以某帧高压线图像为初始帧，根据初始帧的高压线分割图像，选取高压线中点作为高压线定位目标点，确定目标点所在位置的深度，进而获得初始帧相机坐标系下目标点的三维坐标；

S5、随无人机的移动，持续获得高压线图像及其高压线分割蒙版，同时基于该高压线分割蒙版提取该原始高压线图像上的特征点；

在当前帧中跟踪前一帧高压线图像的特征点，采用PnP方法求解相机相对运动，进而完成高压线目标点相机坐标系下位置的更新；

S6、根据无人机机体坐标系与相机坐标系之间的关系，将目标点转换到机体坐标系下的三维坐标。

进一步地，步骤S2中的深度学习模型为U-Net网络模型。

进一步的，所述U-Net网络模型中，输入图像从3维仅扩展到32维，后续的每一次通道数都相对于原始U-Net网络模型减小了一半，即对应的解码器编码器部分每一层通道数都会缩小2倍。

进一步地，U-Net网络模型的训练中，采用DiceLoss和FocalLoss两种损失函数结合作为损失函数Loss，其表达式为：

Loss＝Dice loss+Focal loss。

进一步地，损失函数DiceLoss的表达式为：

式中：X为分割后的预测图的点集，Y为当前标签图的点集。

损失函数Focalloss点表达式为：

其中：p为模型预测为前景的概率，

进一步地，步骤S3中的电力线蒙版分割滤波方法包括：

取出蒙版中所有的电线点，判断当前点是否为图像边缘以及当前点与周围点值是否相同，将所有图像边缘点以及当前点与周围点值不相同的点记为边线点，则得到了基于图像蒙版的边缘检测图像；

将前面得到的边缘检测图像进行轮廓提取，取出面积最大轮廓内点作为电线，其它作为背景，得到最终的电线滤波后的蒙版。

进一步地，步骤S4的详细步骤包括：

基于高压线分割图像均匀提取若干点并选取中点作为高压线目标点p

对高压线分割蒙板进行膨胀计算，以扩大蒙板中的高压线区域；

统计深度图上膨胀后的高压线区域内的深度值，剔除掉其中过大或过小的异常值，计算众数作为高压线目标点的深度值s；

标定出相机内参矩阵K，采用以下方式将目标点在图像下的二维像素坐标转化为相机坐标系下的三维坐标

其中X,Y,Z分别表示三维坐标在三个轴上的距离，上标C表示该坐标处于相机坐标系下，f

进一步的，所述膨胀运算是将图像A与核B进行卷积；

卷积中，计算图像A被核B覆盖区域像素的局部最大值，并将此局部最大值赋给图像A被核B覆盖区域的中心位置，具体数学表达式为：

其中A表示原图像，A(u+i,v+j)表示原图像像素坐标为(u+i,v+j)所对应的像素值，A`表示膨胀后的图像，A`(u，v)则为膨胀后图像A`在(u，v)点的像素值，sizeB表示卷积核B的大小，i，j由卷积核B大小计算得到。

进一步地，步骤S5中，以各帧图像的高压线分割蒙版作为移动窗口，对原始彩色图像提取Harris角点作为特征点

进一步地，步骤S5中，采用稀疏光流法在两帧图像间跟踪特征点，得到若干组匹配好的特征点。

进一步地，步骤S5中还包括使用随机抽样一致法剔除特征点中错误的匹配；

基于剔除后的特征点采用PnP(Perspective-n-Point)方法求解相机相对运动，得到相对旋转矩阵R和相对位移向量t。

进一步地，步骤S5中还包括构建BundleAdjustment问题对基于PnP(Perspective-n-Point)方法解出的运动进行优化，得到优化后的相对旋转矩阵R和相对位移向量t。

本发明相比现有技术，具有如下有益效果：

采用深度学习网络对高压线进行精细提取并滤波处理，得到更加精确的高压线，同时对高压线上目标点定位，所采用的跟踪方式实时性更高；

采用跟踪图像内的特征点以求取相对运动进行换算的间接跟踪方式，避免了直接对颜色纹理不明显的高压线特征点进行跟踪，提高了跟踪的效率和准确性。

在一些实施例中，通过简化网络的方式降低了计算量，提高了计算效率，

在一些实施例中，还通过形态学处理及滤波的方式，得到更加准确的小物体深度信息。

附图说明

图1为本发明实施例中无人机高压线目标点选取与实时定位方法的整体流程图；

图2为现有技术中典型的U-Net网络模型的示意图。

图3为本发明实施例中电力线蒙版分割滤波方法的详细流程图；

图4为本发明实施例中的高压线图像、高压线分割蒙版和滤波后蒙版的对比图；

图5为本发明实施例中高压线目标点选取与定位和高压线目标点跟踪的流程图；

图6为本发明实施例中的高压线分割蒙版膨胀前后的对比图；

图7为本发明实施例中的重投影误差示意图；

图8为本发明实施例中BA优化前后的跟踪定位结果对比图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

如图1所示，本实施例提供了一种无人机高压线目标点选取与实时定位方法，包括步骤：

S1、通过无人机搭载视觉深度相机获取高压线图像；

S2、通过用于电力线图像分割的深度学习模型对获取的高压线图像进行切割，获取高压线分割蒙版；

S3、采用电力线蒙版分割滤波方法获取滤波后的高压线分割蒙版，以获得高压线分割图像；

S4、以某帧高压线图像为初始帧，根据初始帧的高压线分割图像，选取高压线中点作为高压线定位目标点，确定目标点所在位置的深度，进而获得初始帧相机坐标系下目标点的三维坐标；

S5、随无人机的移动，持续获得高压线图像及其高压线分割蒙版，同时基于该高压线分割蒙版提取该帧高压线图像上的特征点；

在当前帧中跟踪前一帧高压线图像的特征点，采用PnP方法求解相机相对运动，进而完成高压线目标点相机坐标系下位置的更新；

S6、根据无人机机体坐标系与相机坐标系之间的关系，将目标点转换到机体坐标系下的三维坐标。

本例中使用的无人机还搭载有板载计算机和高精度卫星导航定位设备，板载计算机用于图像处理以及数值优化；高精度卫星导航定位设备用于完成位置速度指点飞行。深度相机上安装有深度相机系统，深度相机系统包括视觉处理器、红外模块和深度模块；视觉处理器用于接收来自彩色相机的信号，处理获取世界的彩色信息；深度模块则用于接收来自红外模块的深度信息，确保相机最终能够产生深度图。

步骤S2中用于的电力线图像分割的深度学习模型选用了U-Net网络模型，并加以调整，在应用于无人机前，还利用训练数据集的对该模型进行了训练；传统的电力线分割算法提取的图像特征和图像高级语义之间存在较大的偏差，固定的参数模型在固定场景下效果较好，其他场景则表现不佳，而电力线航拍图像与医学图像一样，都存在待分割目标结构信息极为简单的难点；U-Net模型起源于医疗图像分割领域，结构像U型，主要包括两个部分：特征提取与上采样。其特点有：(1)图像语义简单、结构固定，所以高级语义信息和低级特征都显得很重要；(2)数据量少，所以模型不宜多大，参数过多，容易导致过拟合。因此，U-Net及其衍生的算法被广泛应用于电力线图像分割任务中。经典的U-Net模型如图X所示。

本例中，对U-Net网络模型的网络尺寸进行了调整。输入层方面，U-Net直接将输入图像从3维扩展到了64维。而在顶层通道上，U-Net将最大的通道数设计到了1024。而电线的结构较为单一，通道无需设计如此多。同时，电力线图像的浅层特征对识别电力线的贡献以与深层特征同样重要。为了减少网络对图像浅层冗余特征的提取，本例将输入图像从3维仅扩展到32维。另外，为了减少一些高层无用特征的提取，本例中将后续的每一层通道数都减小了一半，即对应的解码器编码器部分每一层通道数都会缩小2倍。此时，整个模型的最大通道数为512。

本例中，在训练上述U-Net网络模型时，采用DiceLoss和FocalLoss两种损失函数结合作为损失函数Loss，其表达式为：

Loss＝Dice loss+Focal loss；

经典的U-Net采用的是交叉熵损失函数(CrossEntropyLossFunction)。模型训练时，该函数会逐个检查每个像素，整个图像的损失就是对每个像素的损失求平均值。因此，最终的损失函数会偏向占比高的背景，将电力线的损失掩盖，使网络难以学习到电力线的特征。Dice Loss损失函数衡量不同类别样本之间的重合部分，更倾向于挖掘前景区域，适用于样本不平衡的数据集，其表达是为：

式中：X为分割后的预测图的点集，Y为当前标签图的点集。另外一方面，图像中前景中的边界位置及背景中线性噪声应该在训练中被更多地关注。

Focalloss能自适应地调节每个像素的损失值占比，其表达式为：

其中：p为模型预测为前景的概率，

本实施例中的训练数据集采用了TTPLA公共数据集中的数据，该数据集用于检测分割航空图像的输电塔(TT)和电力线(PL)，数据量丰富、场景较全且具有大量的标注文件，比较适合本例中模型的训练。本次采用的TTPLA数据集总共包含了1241张电力线图像与1241份标注文件，包含了城市与农村的各个场景。另外在使用训练数据集的过程中，对原始训练数据集中的图像进行了扭曲、裁剪、翻转和HSV变换操作以增加样本的数量，还对图像的多余标签进行了删除。

训练过程中，首先将数据按(8∶1∶1)的比例分为训练集、验证集和测试集，输入图片的尺寸固定为512×512。训练的优化器为Adam，初始学习率采用0.0001，采用学习率下降策略，最小学习率为最大学习率的0.01，训练至验证集损失不再下降为止。然后将训练好的模型接入ROS中，再将模型文件移植到NX板上。利用深度相机D435i对环境进行拍摄，将图像送入模型中进行预测，最后在RVIZ中查看基于神经网络的电力线分割与电力线提取的精确滤波效果。

考虑到在无人机的电力巡检任务过程中，空中环境较为空旷，在深度图的视角下，信息十分单一，可以简单的将深度图中的信息分为前景点与背景点。其中，前景点的深度距离基本上都在一百米以内。而背景点的深度距离基本上都在一百米以外。所以，在深度图中根据距离设置了一定的阈值，可以滤除神经网络可能提取到的部分背景点，称深度图滤波方法。

采用了基于深度图滤波方法之后，能够提出一些远距离噪声，但是一些较近的线性噪声仍然会严重影响到后续的电线点提取定位。因此，本例的步骤S3中提出了一种电力线蒙版分割滤波方法，其流程图如图3所示，该方法主要分为两个部分，一个是基于电力线蒙版的轮廓提取，一个是轮廓内点滤波。如图3中所示，基于电力线蒙版的轮廓提取部分中，首先取出蒙版中所有的电力线点，然后当前点是否为图像边缘以及当前点与周围点值是否相同，将所有图像边缘点以及当前点与周围点值不相同的点记为边线点，则得到了基于图像蒙版的边缘检测图像；轮廓内点滤波方法中，将前面得到的边缘检测图像进行轮廓提取，然后取出面积最大轮廓内点作为电力线，其余记为背景，即可得到十分干净的滤波后的蒙版。基于该蒙版即可从原始图像中分割出高压线分割图像。

图4中由左至右示例性的示出了上述过程所涉及的高压线图像、高压线分割蒙版图和滤波后蒙版图。

图5中示出了本实施例中的高压线目标点选取与定位(步骤S4)以及高压线目标点跟踪(步骤S5)两个步骤的详细流程。

远距离时相机所测电线深度常出现残缺或深度“黑洞”，为解决这一问题，本实施例所用的高压线目标点选取与定位步骤对高压线分割蒙板进行形态学处理，通过膨胀方法扩大蒙版中高压线区域的范围，统计该范围中对应深度图各点深度值，对其滤波处理，剔除掉其中过大或过小的异常值，统计其众数作为高压线目标点的深度值。

本例中，步骤S4更为详细的步骤包括：

以某帧高压线图像为初始帧，基于初始帧的高压线分割图像均匀提取若干点，进而推算出中点作为高压线目标点p

接着对高压线分割蒙板作形态学处理，即对该蒙板中的高压线区域内进行膨胀计算；

膨胀运算是将图像A与核B进行卷积，卷积中，计算图像A被核B覆盖区域像素的局部最大值，并将此局部最大值赋给图像A被核B覆盖区域的中心位置，具体数学表达式为：

其中A表示原图像，A(u+i,v+j)表示原图像像素坐标为(u+i,v+j)所对应的像素值，A`表示膨胀后的图像，A`(u，v)则为膨胀后图像A`在(u，v)点的像素值，sizeB表示卷积核B的大小，i，j由卷积核B大小计算得到。

图6中示例性的给出了高压线分割蒙版图像膨胀计算前后的对比图，左侧为原图，右侧为膨胀计算后的图像。

统计深度图上膨胀后的高压线区域内的深度值，剔除掉其中过大或过小的异常值，计算众数作为高压线目标点的深度值s，从如图6所示的结果中可以发现，尽管高压线误检测出的杂点也同时被膨胀，但在统计膨胀部分的深度时，计算其众数作为目标点深度值，可有效过滤杂点带来的影响。

利用张氏标定法标定出相机内参，根据下式可将目标点在图像下的二维像素坐标转化为相机坐标系下的三维坐标

其中X,Y,Z分别表示三维坐标在三个轴上的距离，上标C表示该坐标处于相机坐标系下，K为相机内参矩阵，f

本例的步骤S5中，针对电力线特征点难以跟踪的问题，不再对高压线提取特征点直接跟踪，而是每一帧的彩色原图中提取易于跟踪的Harris角点作为特征点，采用稀疏光流法在连续的图像中对前一帧提取到的特征点跟踪，并使用RANSAC法剔除特征点中错误的匹配；进而对匹配好的特征点采用PnP方法求解相机相对运动，并构建Bundle Adjustment问题对运动进行优化；

初始一次性获得高压线目标点后，随无人机的移动，利用计算得到的相机相对移动参数，逐帧对高压线目标点在相机坐标系下的位置进行更新，即完成目标点跟踪。

本例中，该步骤更为详细的步骤包括：

随无人机的移动，以各帧图像的高压线分割蒙版作为移动窗口，对原始彩色图像提取Harris角点作为特征点；该技术为本领域技术人员所熟知，提取Harris角点的更多技术细节在此不做赘述。

采用稀疏光流法在连续的图像间跟踪Harris角点，得到若干组匹配好的特征点；

光流常被用于找出一幅图像中的点在第二幅图像中移动的位置，是一种从连续帧中恢复运动信息的计算方法。稀疏光流法结合了光流估算和全局优化技术，通过基于颜色和空间的光流估算累积数据，将得到的估算光流稀疏化，然后对稀疏光流数据进行非线性优化，以确定物体的位置和运动。由于其将注意力只放在易于跟踪的点上，计算量较小，快速性较好，同时也拥有较高的精度和可靠性，所以采用稀疏光流法在各帧图像中跟踪Harris角点，得到若干组匹配好的特征点。

使用随机抽样一致算法(RANSAC)剔除特征点中错误的匹配；

RANSAC算法，可以在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优模型的点，被定义为“外点”。对连续两帧图像间匹配到的特征点，RANSAC算法寻找一个最佳单应性矩阵H，使得满足该矩阵的特征点个数最多，不符合该矩阵的点则被认为是“外点”剔除掉。设两帧图像I

展开可发现一组匹配特征点可以构造出两个约束方程，且很容易证明点p

迭代k次，寻找投影误差小于设定阈值，且内点个数最多的集合，该集合则为剔除误匹配的特征点组。迭代次数k不是固定不变的，表达式为：

其中p为置信度，一般取0.995；w为“内点”的比例；m为最少样本数，本例中取4。

对匹配好的特征点采用PnP(Perspective-n-Point)方法求解相机相对运动；

PnP(Perspective-n-Point)是求解3D到2D点相对运动的方法，在已知n个3D空间点以及投影位置时，可以估计相机相对位姿，因此结合上述剔除误匹配得到的特征点组与深度相机提供的深度信息，通过前文所述的将目标点在图像下的二维像素坐标转化为相机坐标系下的三维坐标的变换关系，可构成一组3D空间点及其投影，可用来求解连续两帧间相机坐标系相对位姿，即相机坐标系的相对旋转和平移。数学表达式为：

其中s

利用EPnP方法，首先对空间中的所有3D点，计算4个控制点，控制点描述了这些3D点的空间分布，得到的控制点的坐标在前一帧相机坐标系下；然后通过相机拍摄的2D点，表示出控制点在下一帧相机坐标系下的坐标；已知了4个控制点在两帧相机坐标系下分别的坐标，之后利用任意3D-3D匹配方法，即可计算相对旋转R和位移t。

最后，通过构建Bundle Adjustment问题对运动进行优化。

为减小误差，还需对PnP结果进行优化。利用Bundle Adjustment(BA)法构建一个重投影误差的非线性最小二乘问题，将相机相对位姿和空间点作为待优化的变量，进行优化。对于上述n个3D空间点

上述误差为3D点投影位置与观测值之差，即投影误差。如图7所示，通过稀疏光流法特征点跟踪已知p

通过优化后的R，t，即可对最初得到的相机坐标系高压线目标点坐标

其中

步骤S6中，在每次更新后又结合无人机RTK等传感器提供的里程计信息，将相机坐标系高压线目标点坐标

根据无人机机体坐标系与相机坐标系之间的关系，将目标点转换到机体坐标系如下：

其中

同理将目标点从机体坐标系下转换到世界坐标系下：

其中

对选定的高压线目标点三维坐标跟踪情况，以及优化前后的结果对比如图8所示，图中a)、b)、c)部分中的红线分别表示优化(Notoptimization)前高压线目标点在X、Y、Z三轴上跟踪定位结果，具有较大的波动，波动最大已超过1米，容易受到无人机晃动、RTK精度以及深度图误差的影响，鲁棒性很差。而a)、b)、c)部分中的黑线则对应高压线目标点通过BA优化后(BAoptimization)跟踪得到的定位结果，波动范围在±10cm左右，鲁棒性、准确性有明显提升。从图中结果来看本发明的跟踪方法能比较好地保持对高压线目标点持续跟踪，跟踪效果良好。

以上对本申请提供的一种无人机高压线目标点选取与实时定位方法进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。