一种基于深度水平直方图的绝缘子伞裙精定位方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度水平直方图的绝缘子伞裙精定位方法。

背景技术

现有的绝缘子识别定位方法主要包括以下三类：

(1)基于颜色和形状特征的绝缘子定位方法。该方法通过提取绝缘子伞裙的颜色和曲线特征，进行绝缘子识别。其存在很多需要人为调节的参数，对于不同形状、不同尺寸，跨背景的绝缘子对象适应性较差。

(2)基于红外信息绝缘子定位方法。该方法利用红外相机采集绝缘子红外图像，再利用温度阈值和形态处理来完成单绝缘子伞裙定位的方法。由于红外图像的低分辨率特点和各种温度阈值，该方法具有精度低和鲁棒性差的不足。

(3)基于神经网络模型的绝缘子定位方法。该方法通过采集大量绝缘子样本，进行模型训练完成绝缘子定位。该方法存在模型复杂，需要大量训练集、且无法实现空间定位的不足。

综上，针对绝缘子背景复杂，绝缘子表面纹理特征少，导致传统绝缘子定位方法鲁棒性差，精度低、难以实现绝缘子各级伞裙精确定位的问题。

发明内容

有鉴于此，针对以上技术问题，本发明提出了一种基于深度水平直方图的绝缘子伞裙精定位方法，并有望将该方法应用于带电检修机器人领域中。

本发明提出的一种基于深度水平直方图的绝缘子伞裙精定位方法，具体包括以下步骤：

S101：图像采集：利用主动双目相机，采集绝缘子RGB-D图像；

S102：绝缘子粗定位：利用距离先验信息，对绝缘子RGB-D图像进行预处理，得到去除背景后的绝缘子图像，完成绝缘子图像粗定位；

S103：绝缘子校正：提取去除背景后的绝缘子图像的轮廓信息，并对绝缘子中轴进行定位，将图像围绕中轴进行旋转，得到校正后的绝缘子深度图；

S104：获取深度水平直方图：对校正后的绝缘子深度图进行水平积分，并依次通过中值滤波和腐蚀处理，得到绝缘子深度水平直方图；

S105：获取绝缘子伞裙：对所述绝缘子深度水平直方图进行梯度检测，完成绝缘子波峰波谷定位，得到绝缘子伞裙；

S106：对绝缘子伞裙进行分割，得到各级伞裙“左”、“中”、“右”关键点的精确空间定位；

S107：结果可视化：根据各级伞裙“左”、“中”、“右”关键点计算伞裙直径和间距，并将结果对齐至绝缘子RGB-D图像，得到伞裙定位可视化结果。

进一步地，步骤S102中，预处理方法具体为：对绝缘子RGB-D图像进行带通滤波，去除背景。

进一步地，步骤S103中，对绝缘子中轴进行定位，具体为：利用主成分分析法或者最小二乘法对绝缘子中轴进行定位。

进一步地，步骤S104中，对校正后的绝缘子深度图进行水平积分，具体为：先对校正后的绝缘子深度图进行二值化处理，在对二值化图像中，各行的黑色像素进行累加，从而得到初步的绝缘子深度水平直方图。

进一步地，对初步的绝缘子深度水平直方图依次进行中值滤波和腐蚀处理，得到处理后的绝缘子深度水平直方图。

步骤S106中，对绝缘子伞裙进行分割具体步骤如下：

S201：统计绝缘子深度水平直方图每一行的黑色像素数量，得到一个一维数组f(y)(y＝0，1，...，R-1)，R为绝缘子深度水平直方图的行数；

S202：遍历数组f(y)，计算数组f(y)中相邻两数的一阶导数，得到新数组f′(y)(y＝0，1，...，R-2)；其中，一阶导数计算公式如下：

S203：遍历数组f′(y)，计算数组f′(y)中相邻两数的二阶导数，得到新数组f′′(y)(y＝0，1，...，R-3)；其中，二阶导数计算公式如下：

S204：同时遍历两个新数组f′(y)和f′′(y)，其中(y＝0，1，...，R-3)；

③若满足：f′(y)＝0且f″(y)＜0，则表明y行像素经过绝缘子伞裙的波谷，此时将满足条件的y值依次存入结果数组N

④若满足f′(y)＝0且f″(y)＜0，则表明y行像素经过绝缘子单个伞裙的波峰，此时将满足条件的y值依次存入数组N

S205：根据N

本发明提供的有益效果是：通过提取绝缘子深度信息进行背景去除和各级伞裙的定位，具有不受颜色干扰、环境适应性强的优点；通过双目视觉获取的深度图进行处理，可在不同倾角、不同距离下，对不同颜色绝缘子实现距离测量、伞裙直径测量、各级伞裙间距测量功能，其结果可指导机器人进行绝缘子清扫作业，更具有实际价值。

附图说明

图1是本发明一种基于深度水平直方图的绝缘子伞裙精定位方法的流程图；

图2是主动式双目相机的结构图；

图3是主动式双目相机的测距模型；

图4是本发明采集的绝缘子RGB-D图像；

图5是本发明绝缘子粗定位效果图；

图6是绝缘子倾斜校正效果图；

图7是深度水平直方图处理结果图；

图8是绝缘子伞裙关键点示意图；

图9是绝缘子伞裙分割效果示意图；

图10是单个伞裙关键点检测过程示意图；

图11是单个伞裙关键点检测效果示意图；

图12是本发明最终绝缘子精定位可视化效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，一种基于深度水平直方图的绝缘子伞裙精定位方法，包括以下：

S101：图像采集：利用主动双目相机，采集绝缘子RGB-D图像；

为了实现室外绝缘子伞裙的精确定位，需要尽可能多地获取高质量的绝缘子深度信息。在目前的RGB-D相机获取目标深度信息的技术中，只有主动式双目摄像机可在室外工作良好，并对绝缘子这类纹理特征少的对象具有较好的三维重建效果。因此，本节利用如图2所示的主动式双目相机来获得绝缘子的颜色和深度图像。

如图2所示，该主动式双目相机具有如下硬件特征：相机1和相机2一起组成双目相机，同时与计算机通讯，多线激光发生器与电机连接在一起，放置在双目相机的中间区域。该主动式双目相机正常工作时，多线激光发生器首先在目标表面创建激光条纹，然后电机带动线激光发生器旋转，用于对目标表面进行激光扫描；之后，双目相机采集目标的灰度图像，并将图像传输给计算机；其次，计算机提取左右图像中线激光，并进行实时立体匹配，再根据视差原理进行目标稠密的三维重建，最终获取绝缘子目标的RGB-D图像。

具体地，主动式双目相机的测距模型如图3所示：

当双目相机观察到目标上激光一点P(X,Y,Z)时，会在左图像(原点为o

d＝x

根据三角形相似原理，有：

结合公式(2)和单目投影模型，容易得到相机坐标系下点P的三维坐标：

因此，在本实施例中，根据上述测距模型，获取的绝缘子彩色和深度图如图4所示。图4左侧为绝缘子RGB彩色图(本发明中，将其处理成灰度图进行显示，实际应用中为彩色图)，图4右侧为对应的绝缘子深度图。

S102：绝缘子粗定位：利用距离先验信息，对绝缘子RGB-D图像进行预处理，得到去除背景后的绝缘子图像，完成绝缘子图像粗定位；预处理方法具体为：对绝缘子RGB-D图像进行带通滤波，去除背景。.

由于绝缘子原始深度图包含较多背景目标，直接对绝缘子深度图进行处理，容易产生较大误差。为实现绝缘子有效定位，需对绝缘子背景进行深度带通滤波，完成背景过滤。本绝缘子粗定位主要利用如下先验信息：绝缘子对象距离目标较近(800-1200mm范围)，而背景干扰物距离相机较远(2000mm以上)。因此通过保留800-1200mm范围内的深度信息，便可快速且有效地去除绝缘子复杂背景，并通过检测连续的深度来完成绝缘子的粗定位。本实施例中，绝缘子粗定位效果如图5所示；图5左侧为绝缘子粗定位结果图(见方框部分)；图5右侧为深度图中绝缘子粗定位结果图；由图5可以看出，带通滤波可以有效地滤除绝缘子深度图像的背景，从而实现RGB-D图像中绝缘子的粗定位。

S103：绝缘子校正：提取去除背景后的绝缘子图像的轮廓信息，并对绝缘子中轴进行定位，将图像围绕中轴进行旋转，得到校正后的绝缘子深度图；

实际主动式双目相机拍照时，并非严格竖直正对绝缘子，因此当要最大程度地提取伞裙的径向特征信息时，需要对绝缘子进行倾斜校正。本处进行绝缘子倾角计算有如下两步：一是通过边缘检测获取绝缘子深度图的所有轮廓点；二是利用主成分分析法(PCA)或最小二乘法对轮廓点进行计算，以获取绝缘子的倾角值。计算得到倾角后，便可围绕绝缘子的中心点对图像进行旋转，完成绝缘子的校正。

请参考图6，图6是本发明绝缘子倾斜校正效果示意图；图6中左侧直线为绝缘子中轴检测效果；图6中右侧为绝缘子倾斜校正结果；通过图6，可发现矫正后的绝缘子，伞裙基本呈现水平分布，从而有助于深度水平直方图的生成。

S104：获取深度水平直方图：对校正后的绝缘子深度图进行水平积分，并依次通过中值滤波和腐蚀处理，得到绝缘子深度水平直方图；

由于绝缘子的深度水平直方图体现了伞裙空间分布的权重，对其进行梯度检测，很容易实现各级伞裙的有效分割和关键点定位。深度水平直方图获取步骤如下：

首先对矫正的绝缘子深度图进行二值化处理，之后通过对各行的黑色像素进行累加，便可得到深度水平直方图，请参考图7。通过图7中左侧可发现直方图的波峰和波谷存在不少缺陷，这对梯度检测和绝缘子各级伞裙的分割精度有很大影响，因此需对原始深度水平直方图进行预处理。

预处理主要包含中值滤波和腐蚀处理两部分，其中中值滤波用于平滑深度水平直方图，腐蚀处理则使得其波峰和波谷更明显。具体地，腐蚀处理的原理如下：假设原始深度水平直方图为X，腐蚀结构元素为S(由白色、大小为5*5的像素块组成)，x为处理后的图像(黑色像素)。则腐蚀处理如下：S沿X的内边缘侧卷绕一次，处理结果如下：

通过中值滤波和公式1所示的腐蚀处理，可以得到深度水平直方图的预处理结果，参考图7中右侧部分。

与图7左侧的波峰和波谷相比，可发现图7右侧图像中深度水平直方图的波峰和波谷得到了有效的平滑，梯度信息更加准确，更有利于实现后续的伞裙分割。

S105：获取绝缘子伞裙：对所述绝缘子深度水平直方图进行梯度检测，完成绝缘子波峰波谷定位，得到绝缘子伞裙；

S106：对绝缘子伞裙进行分割，得到各级伞裙“左”、“中”、“右”关键点的精确空间定位；

一般来说，单个伞裙的关键点有左、右边缘点和中间凸点三个，如图8所示。为实现所有关键点的分组及后续的伞裙直径测量功能，本方法首先根据直方图的梯度信息，完成单个伞裙的分割；之后对单个伞裙进行梯度检测，完成关键点检测。

伞裙分割实施步骤如下：假设f(y)是深度水平直方图上第y行黑色像素的累积值，f′(y)是邻域中y的一阶导数，f〞(y)是其二阶导数。

S201：统计绝缘子深度水平直方图每一行的黑色像素数量，得到一个一维数组f(y)(y＝0，1，...，R-1)，R为绝缘子深度水平直方图的行数；

S202：遍历数组f(y)，计算数组f(y)中相邻两数的一阶导数，得到新数组f′(y)(y＝0，1，...，R-2)；其中，一阶导数计算公式如下：

S203：遍历数组f′(y)，计算数组f′(y)中相邻两数的二阶导数，得到新数组f′′(y)(y＝0，1，...，R-3)；其中，二阶导数计算公式如下：

S204：同时遍历两个新数组f′(y)和f′′(y)，其中(y＝0，1，...，R-3)；

⑤若满足：f′(y)＝0且f″(y)＜0，则表明y行像素经过绝缘子伞裙的波谷，此时将满足条件的y值依次存入结果数组N

⑥若满足f′(y)＝0且f″(y)＜0，则表明y行像素经过绝缘子单个伞裙的波峰，此时将满足条件的y值依次存入数组N

S205：根据N

上述处理可以有效地完成深度水平直方图的波峰波谷定位，请参考图9左侧图像所示；每个绝缘子伞裙的分段，如图9右侧图像所示。

从图9右侧图像可以看出，绝缘子伞裙分段良好。在此基础上，按以下步骤检测绝缘子单个伞裙的关键点：请参考图10；

(a)基于直方图峰值所在的行(图10上方左侧)，遍历深度图像的相应行以找到深度突变点，如图10上方右侧中的L1所示。然后可以检测到绝缘子伞裙两侧的两点；

(b)根据两个边缘点，可以定位绝缘子伞裙的中心轴，如图10上方右侧中的L2所示。通过搜索最小深度，可以检测出绝缘子伞裙的中心凸点。

通过以上步骤，可以很好地检测出绝缘子伞裙上的三个关键点，如图11所示。最后根据双目视觉模型，最终可获得双目相机坐标系下，伞裙各关键点的三维坐标，从而实现伞裙精定位，并实现伞裙直径和伞裙间距测量功能。

S107：结果可视化：根据各级伞裙“左”、“中”、“右”关键点计算伞裙直径和间距，并将结果对齐至绝缘子RGB-D图像，得到伞裙定位可视化结果。

当完成各级伞裙所有关键点的检测后，便可将每级伞裙的三个关键点连成线，在深度图对齐的彩色图形中标记出，并计算伞裙间距和相邻伞裙的间距。

(1)相比传统双目相机获取的低质量深度图，本发明使用主动式双目相机进行目标RGB-D图像获取，具有深度图轮廓更清晰、深度精度更高的优点；(2)相比现有方法利用颜色阈值、灰度阈值进行背景滤除，本发明使用深度阈值进行背景滤除，具有速度快，实用性强的优点；(3)本发明通过提取目标深度图的轮廓信息，再利用PCA或最小二乘法进行倾角计算，具有准确性高的特点；(4)相比其他方法使用颜色、纹理特征进行绝缘子识别定位，本文则提取包含空间结构特征的深度水平直方图，通过梯度检测完成绝缘子定位，其具有不受目标颜色、大小、环境、背景干扰的特点；(5)相比现有方法通过二维图像进行绝缘子伞裙识别定位，本方法通过检测深度图中绝缘子伞裙关键点，可获取各关键点三维坐标，并实现伞裙直径和间距测量功能。

请参考图12，图12是本发明最终绝缘子精定位可视化效果图。

本发明具有如下两点优点：一、对比传统的基于颜色、纹理特征的绝缘子识别定位方法，本方法通过提取绝缘子深度信息进行背景去除和各级伞裙的定位，具有不受颜色干扰、环境适应性强的优点；二、对比传统方法只能从二维图像上进行绝缘子识别定位，不具有尺寸信息，本方法因通过双目视觉获取的深度图进行处理，可在不同倾角、不同距离下，对不同颜色绝缘子实现距离测量、伞裙直径测量、各级伞裙间距测量功能，其结果可指导机器人进行绝缘子清扫作业，更具有实际价值。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。