基于双目视觉的刚性接触网的磨耗分析方法

技术领域

本发明涉及于城市轨道交通系统设备故障诊断领域，尤其涉及一种基于双目视觉的刚性接触网的磨耗分析方法。

背景技术

弓网系统是电气化铁路供电系统中的关键组成部分，担负着将牵引网电能输送给电力机车使用的重要任务，而接触网是弓网系统中的关键组成部分。在城市轨道列车的高速运行过程中，受电弓与接触网一直保持高速摩擦状态，加上自然环境侵蚀影响，在接触网表面很容易出现磨损等病害，这些异常或者病害如果未能及时发现，都有可能会导致严重的后果和事故。接触网随列车线路沿线布置，且刚性接触网安装于隧道顶部，长度范围极广且安装高度较高的特点，使得城市轨道交通接触网的检测任务困难大，工作量也极大。因此，对城市轨道交通刚性接触网的自动化、智能化检测方案的研究和实施具有重要的意义。

目前国内对接触网磨耗检测的相关研究基本上都是基于计算机视觉技术来展开的，不同研究所使用的检测方案有所不同，其中大部分都是基于单目相机方案来展开的。由于接触网存在磨耗时，其底面一般会存在断面，断面对光的反射性回避接触线其余的弧形部分要强，因此在采集到的图像中，接触网磨耗边缘会产生明显的梯度变化，单目相机方案基于这种思路，自底向上拍摄接触网图像，通过图像增强、图像分析、边缘检测以及形态学处理方法等，在一张图像中提取出磨耗部分的轮廓信息，进而分析接触线磨耗情况。除了单目相机方案以外，还有部分研究采用了双目视觉方案，同样利用了接触线底部磨耗边缘的特征，基于双目测距技术和三角成像原理，通过获取到底部边缘两点的坐标信息，进一步分析底部磨耗信息。

目前，现有技术中的单目相机方案和双目相机方案都只利用到了图像的部分信息，单目相机方案利用磨耗宽度及接触线标准尺寸来计算磨耗量，双目相机方案则获取磨耗边缘两点坐标信息来计算磨耗量。已有方案都假定接触线磨耗面平滑且均匀，无法获取其他类型的磨耗信息，忽略了磨耗中间区域的特征信息，同时也无法很好地描述接触线整体信息。但在实际环境中，接触线磨耗的表现形式往往十分多样。

因此，如何高效、智能且准确地对接触网进行检测成为了一个亟待解决地问题。

发明内容

本发明的实施例提供了一种基于双目视觉的刚性接触网的磨耗分析方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于双目视觉的刚性接触网的磨耗分析方法，包括：

通过两个相机采集列车顶部与隧道顶部的刚性接触网的接触线图像；

对所述两个相机采集到的接触线图像对进行校正，利用立体匹配算法获取校正后的图像对的视差图；

根据双目视觉立体成像原理将所述视差图转换为深度图，提取所述深度图中的接触线部分，对所述接触线部分进行三维重建可视化，得到所述刚性接触网的磨耗特征。

优选地，所述的通过两个相机采集列车顶部与隧道顶部的刚性接触网的接触线图像之前，包括：

根据双目视觉理论体系搭建双目视觉系统，该双目视觉系统包含两个相机、设备固定系统、数据传输系统以及处理主机，对所述相机的内参数、外参数和畸变参数进行标定，相机的参数描述了像素坐标系到相机坐标系之间的变换关系，相机的外参数描述了相机坐标系与世界坐标系之间的变换关系，相机的畸变参数用来修正相机结构误差导致的图像筒形或者鱼眼的影响，所述两个相机安装在轨道列车车顶的左右两侧，采用前向平行方式固定。

优选地，所述的对所述两个相机采集到的接触线图像对进行校正，包括：

利用所述相机的内参数、外参数和畸变参数对接触线图像对进行校正，设左相机、右相机的外参数分别为R

对于左右相机坐标系下的坐标，有如式(2)所示的关系。

P

利用(1)和(2)这两个关系式就可以求解出如式(3)所示的简单关系式。

求解以上方程组得到左右相机之间的旋转平移关系R和T，之后通过立体校正中的Bouguet算法，以左右图像中的每一幅重投影次数最小化，同时使得观测面积最大化为目标，将左相机、右相机采集的接触线图像校正成共面且行对准。

优选地，所述的立体匹配算法包括SGM半全局匹配算法。

优选地，所述的根据双目视觉立体成像原理将所述视差图转换为深度图，包括：

对于世界坐标系中一点P，其在左右相机坐标系下的坐标分别为P

其中T代表左右相机的基础距离，Z代表点P和系统基准线之间的距离，

在已知某点在左右相机坐标系下的坐标及相机之间的基准距离后，根据所述式(4)计算出点P距离系统基准线的距离，根据所有点距离系统基准线的距离得到深度图。

优选地，所述的提取所述深度图中的接触线部分，对所述接触线部分进行三维重建可视化，得到所述刚性接触网的磨耗特征及分布，包括：

对原始视差图中的空缺值即匹配失败的点进行插值处理，利用空缺值周围3×3区域内不为0的值的中值来进行填充；

在所述深度图中以接触线底面为零平面，将深度物理坐标转换为像素坐标；

对所述深度图进行滤波去噪，对局部突变的地方进行插值平滑，

在MATLAB中利用mesh函数绘制出接触线表面的三维重建图，并将三维重建图与原图的接触网图像进行对比。

优选地，所述的得到所述刚性接触网的磨耗特征及分布，包括：

在沿着接触线截面方向的x坐标方向等距设置14个采样点，分别提取y方向的14条磨耗曲线，利用这14条磨耗曲线来分别描述不同类型的接触线病害，根据标准结构图以及三维重构图中的像素和毫米的单位比例关系，或者从结果图中选取某个较为完好的截面，作为无磨耗参考基准，进一步得出在采样曲线上每一个位置的磨耗量，并进行不同病害的定义：

磨耗比

对于某个截面而言，磨耗比的公式如下式所示：

Δw＝(h

其中，h

偏磨

偏磨代表接触线在和受电弓碳滑板接触的过程中左右受力不均，导致左右磨耗程度不同，利用14条采样磨耗曲线，对于某个截面而言，左边七条曲线的磨耗比与右边七条曲线的磨耗比之差大于一定的阈值时，则代表有偏磨的情况发生，其公式如下式所示：

其中，P

沟槽

通过计算磨耗曲线的斜率来判断是否出现沟槽，如下式所示。

其中，G

由上述本发明的实施例提供的技术方案可以看出，本发明实施例利用接触网表面三维图以及各类别磨耗病害曲线图，能够较好地描述接触线表面磨耗情况，实现对刚性接触网的自动化、智能化检测。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于双目视觉的刚性接触网的磨耗分析方法的处理流程图；

图2为本发明实施例提供的一种左右相机拍摄的部分棋盘图像对示意图；

图3为本发明实施例提供的一种标定重投影误差示意图；

图4为本发明实施例提供的一种左右相机拍摄的接触网图像对示意图；

图5为本发明实施例提供的一种校正后的接触线图像对示意图；

图6为本发明实施例提供的一种立体匹配得到的视差图；

图7为本发明实施例提供的一种立体成像原理示意图；

图8为本发明实施例提供的一种处理后重建结果(左)及与原图(右)对比示意图；

图9为本发明实施例提供的一种检测采样曲线示意图；

图10为本发明实施例提供的一种部分曲线磨耗比示意图；

图11为本发明实施例提供的一种接触线偏磨示意图；

图12为本发明实施例提供的一种接触线拉槽示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例一

本发明实施例针对现有技术的问题，基于双目立体视觉理论，在双目测距的基础上，经过系统标定、图像校正、立体匹配、三维重建等步骤，经过调整、优化以及转换后，获取到接触线底部表面的完整三维信息，获取接触网表面的三维结构图。同时针对三维数据提出基于采样磨耗曲线的磨耗病害数学定义方法，对接触网磨耗状态进行定量分析。从三维信息展示到数学量化分析，给地铁检修部门提供更为直观的结果，为地铁运营检修提供技术支撑。

本发明实施例提出的一种基于双目视觉的刚性接触网的磨耗分析方法的处理流程如图1所述，包括如下的处理步骤：

步骤S10：系统搭建及参数标定。

根据双目视觉理论体系搭建双目视觉系统，该系统主要包含两个相机、设备固定系统、数据传输系统以及处理主机。在使用前，需要对相机的参数进行标定，主要包括内参数、外参数和畸变参数等。在相机线性模型中常用的坐标系有四个，包括：像素坐标系、图像坐标系、相机坐标系和世界坐标系，相机内参数描述了像素坐标系到相机坐标系之间的变换关系，相机外参数描述了相机坐标系与世界坐标系之间的变换关系，畸变参数则用来修正相机结构误差导致的图像“筒形”或者“鱼眼”的影响。使用标定好的参数就可以对采集到的图片进行校正，以获得更加准确的结果。

上述两个相机可以安装在轨道列车车顶的左右两侧。

步骤S20、对左右两个相机采集到的接触线图像对进行校正，利用立体匹配算法获取校正后的图像对的视差图。

利用系统标定获得的系统参数，对左右两个相机采集到的接触线图像对进行校正，经过校正后的图像对已经是无畸变且相互行对准，利用立体匹配算法获取校正后的图像对的视差图。根据三角成像原理，利用视差图就可以获取到场景的深度图，即获得了接触线表面每点与系统的距离，进一步就可以通过深度图来对接触线表面进行三维重建可视化，以及对磨耗信息进行分析。

步骤S30、三维重建可视化。

利用上一步获取到的图像对的视差图，根据双目视觉立体成像原理将视差图转换为深度图，从而可以得到接触线表面的磨耗信息。对深度图进行一系列优化并将接触线部分提取出来，可以利用可视化工具对接触线表面进行三维重建可视化，直观地观察到接触网的磨耗特征及分布。

步骤S40、磨耗分析。

为了给出更加直观的磨耗量化数据信息，提出了一种基于采样磨耗曲线的磨耗病害数学定义方法，对接触网磨耗状态分类别给出定义及标准，并对拍摄的接触线图像进行实例分析。

实施例二：

步骤S10、系统搭建及参数标定

本系统采用两个相同工业级相机，型号为Basler acA1300-60gm，其分辨率为1280×1024，镜头定焦25mm。利用相机支架固定相机，并调整位置及角度等参数，左右相机光心间距为80mm，采用前向平行方式固定。在实验室环境下，将该设备安装在模拟车顶，向上拍摄接触网图片。系统搭建完成后需要对系统进行标定，标定的参数有内参数、外参数和畸变参数三种。

相机内参数描述了像素坐标系到相机坐标系之间的变换关系，内参数矩阵为

对系统进行标定使用的方法为“张正友标定法”，标定过程中仅需一个打印出来的黑白棋盘格靶标即可，图2为本发明实施例提供的一种左右相机拍摄的部分棋盘图像对示意图，如图2所示，操作方便，精度也较高，因此在计算机视觉研究中已经成为目前实用性最好，同时也是应用最广泛的相机标定方法之一。“张正友标定法”是一种两步标定法，第一步是对相机参数进行初步估计，第二步是利用优化函数对参数进行迭代精化。

根据以上的内容，利用系统左右相机分别同时拍摄打印好的棋盘格，之后变换棋盘靶标位置再重新拍摄。在实际标定过程中，为了能够得到更精确的结果，通常拍摄的图片至少要有10幅以上，图像对越多，可能产生的误差就越小。实验过程中共拍摄了20对棋盘格图像，部分拍摄的棋盘格图像对如图2所示。利用MATLAB立体标定工具，得到的相机参数如表1所示。棋盘靶标每次进行移动后其外参数不同，总共有20对外参数，这里就不进行一一展示。

表1相机参数表

虽然在标定的过程中进行了迭代优化，但角点三维坐标重投影计算得到的像素坐标与初始提取的角点像素坐标仍会存在一定差值，即重投影误差值，这个参数在一定程度上反映了标定结果的准确性。每张图片所有角点的重投影误差如图3所示，最终整体重投影误差为0.32像素，说明标定的精度较高。

步骤S20、图像校正及立体匹配

系统进行标定后，将设备安装在实验室的模拟列车车顶，向上拍摄列车顶部与隧道顶部的刚性接触线，获得的接触线图像对如图4所示。利用上一步计算得到的系统参数首先对图像进行校正，消除各种畸变。除此以外，在双目立体视觉领域，为了能够更好地进行立体匹配，需要保证左右图像是共面且行对准的，为此，需要对图像对进行立体校正。假定系统中两个左相机、右相机的外参为R

对于左右相机坐标系下的坐标，有如式(2)所示的关系。

P

利用(1)和(2)这两个关系式就可以求解出如式(3)所示的简单关系式。

求解以上方程组就可以获取到两个左右相机之间的旋转平移关系R和T，之后通过立体校正中的Bouguet算法，以左右图像中的每一幅重投影次数最小化(也是重投影畸变最小化)，同时使得观测面积最大化，最终将左右图像校正成共面且行对准，图5为本发明实施例提供的一种校正后的接触线图像对示意图。

在获取到校正好的图像对之后，就可以对图像进行立体匹配获取视差图，视差就是某点在左右相机成像面上横坐标之差。立体匹配是双目立体视觉中的关键一步，通过立体匹配获取图像视差图，进而可以获取深度图，即得到接触线表面每个点与系统的距离，通过距离信息就可以测量到接触线表面的磨耗，这里使用的立体匹配方法是半全局匹配算法(Semi-Global Matching,SGM)。SGM算法主要基于的思想是使用互信息(MutualInformation,MI)来进行单像素匹配，以及使用多个一维约束来近似全局、二维的平滑约束，即通过多方向扫描线的局部优化来实现全局优化。SGM算法分为几个关键步骤，首先是计算像素点级别的匹配代价，之后是根据全局能量函数进行代价聚合，最后是进行视差图的计算以及结果的精化等。在SGM算法匹配的基础上，利用一个加权最小二乘滤波器对结果进行优化，最终得到的一种立体匹配得到的视差图如图6所示。根据图6可以发现，接触线部分匹配得到的视差图结果较好，并且已经较好地提取到了接触线表面的磨耗特征，但是对于汇流排和天花板区域，视差图展现出来的结果较为混乱，这主要是因为天花板区域未对焦以及汇流排部分反光较严重导致的。

步骤S30、三维重建可视化

本发明实施例提供的一种立体成像原理示意图如图7所示，对于世界坐标系中一点P，其在左右相机坐标系下的坐标分别为P

其中T代表左右相机的基础距离，Z代表点P和系统基准线之间的距离。

在已知某点在左右相机坐标系下的坐标及相机之间的基准距离后，根据所述式(4)计算出点P距离系统基准线的距离，根据所有点距离系统基准线的距离得到深度图。

根据图5的视差图，将视差图中匹配效果良好的接触线部分提取出来，并进行以下几步处理：

对原始视差图中的空缺值即匹配失败的点进行插值处理，利用空缺值周围3×3区域内不为0的值的中值来进行填充；

利用公式4计算得到深度图，以接触线底面为零平面，并且为了形式统一，将深度物理坐标转换为像素坐标；

对深度图进行滤波去噪，对一些局部突变的地方进行插值平滑，以及其他一些细节做一些调整。

在MATLAB中利用mesh函数绘制出接触线表面的三维重建图，并将图8显示的三维重建图与原图的接触网图像进行对比，图8为本发明实施例提供的一种处理后重建结果(左)及与原图(右)对比示意图。

步骤S40、磨耗分析

在已经得到了一个较为直观的接触线表面三维重建图，并且可以较为明显地观测到表面的磨耗特征的情况下，针对三维结构设计出一些病害的空间特征数学表示方法。对于一个三维表面整体进行计算处理的计算量较大，并且在数学上也不太容易定义，为了能较好地描述磨耗表面的特征，在x坐标方向等距设置14个采样点，分别提取y方向的14条磨耗曲线，如图9所示。并利用这14条磨耗曲线来分别描述不同类型的接触线病害。根据标准结构图以及三维重构图中的像素和毫米的单位比例关系，或者从结果图中选取某个较为完好的截面，都可以作为无磨耗参考基准，进一步可得出在采样曲线上每一个位置的磨耗量，从而进行不同病害的定义。

磨耗比

对于某个截面而言，磨耗比的公式如下式所示：

Δw＝(h

其中，h

偏磨

偏磨代表接触线在和受电弓碳滑板接触的过程中长期左右受力不均，导致左右磨耗程度不同，会加速弓网磨耗，影响正常受流等。为了定义偏磨，利用14条采样磨耗曲线，对于某个截面而言，左边七条曲线的磨耗比与右边七条曲线的磨耗比之差大于一定的阈值时，则代表有偏磨的情况发生。其公式如下式所示：

其中，P

沟槽

当一条磨耗曲线的某个位置突然出现断崖式下降或者上升时，代表接触线表面存在沟槽病害。接触线表面的沟槽出现情况并不多，主要是存在于接触线本身强度不足，或者受到的冲击过大，导致接触线出现裂纹甚至掉块，从而会产生沟槽。接触线沟槽会导致拉弓等问题，影响受电弓碳滑板和接触网的正常接触受流。对于沟槽而言，可以简单地计算磨耗曲线的斜率来判断，如下式所示。

其中，G

对于以上定义的三种病害，对重建结果分别进行计算，结果如下所示。

磨耗比

本发明实施例提供的一种部分曲线的磨耗比示意图如图10所示。由图10可知，两条采样曲线偏两端的位置磨耗较为严重，第4条采样曲线在像素坐标[100,200]的区间范围存在一个沟槽，在沟槽的位置磨耗最为严重，出现了一个峰值，在像素坐标[600,700]的区间范围磨耗比存在一个负值，可以认为是局部匹配错误导致高度过高。

偏磨

本发明实施例提供的一种长度为L的范围内的偏磨图如图11所示。由图11可知，接触线左侧磨耗比右侧磨耗程度要高，大部分区间左侧平均磨耗比比右侧要大，并且在前半区间尤其明显，这从原始图片中也可以很直观地观察到。这里设置的偏磨阈值为0.5mm。

沟槽

选取其中一条磨耗较严重的磨耗曲线，计算每一点的导数，图12为本发明实施例提供的一种接触线拉槽示意图，由图12可知，该条磨耗曲线在像素区间[100,200]的范围内，磨耗导数变化极其剧烈，出现一个极小值和极大值，并且变化区间较小，存在着明显的沟槽病害。在设定沟槽判定阈值为±1的条件下，其他区域的拉槽现象相对而言严重程度更低，磨耗曲线变化更为平稳

综上所述，本发明实施例主要研究基于双目视觉理论的城市轨道交通刚性接触网表面三维重建以及磨耗测量技术，利用接触网表面三维图以及各类别磨耗病害曲线图，能够较好地描述接触线表面磨耗情况，实现对刚性接触网的自动化、智能化检测，可为地铁检修部门的维护检修工作提供决策支持，为未来的城市轨道交通综合检测系统的构建提供技术支撑。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。