一种基于视频的非接触式钢轨轨枕相对位移实时测量方法

技术领域

本发明属于高铁轨道结构监测领域，更具体地，涉及一种基于视频的非接触式钢轨轨枕相对位移实时测量方法。

背景技术

为满足各种复杂地域环境的需要，高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中，出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害，造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大，是高铁轨道结构的三大薄弱环节之一，因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。

轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节，从精度、实施性出发，目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前，现有的监测方法主要不足包括：

(1)一般只能作为工点性的监测，空间上和时间上的监测范围有限，无法实现大规模实时测量；

(2)皆为接触式的传感方式，设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。

随着铁路网络带宽呈几何数量级增加，高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端，开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。

但是，由于高铁现场环境复杂，光照、风雨和火车震动等多种因素都会影响成像结果，加上摄像机本身的透视畸变，基于简单的图像识别方法测量的钢轨轨枕相对位移，无法满足轨道结构监测精度要求。

发明内容

针对现有技术在监测轨道位移变化时在空间上和时间上的监测范围有限，无法实现大规模实时测量问题，接触式测量对于高速动车的运营存在较大安全隐患的问题，以及基于简单的图像识别方法测量的钢轨轨枕相对位移，无法满足轨道结构监测精度要求等问题，本发明提出了一种基于视频的非接触式钢轨轨枕相对位移实时测量方法，

首先，设计包含三个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上，拍摄含有标志牌的视频并截取图像；对于每种工况，调试检测参数并计算初始透视变换矩阵；然后，在实时检测过程中，通过初始透视变换矩阵进行补圆操作，利用实时透视变换矩阵粗计算轨枕相对位移量；最后对实时检测到的连续多帧轨枕相对位移量平滑滤波，得到实时相对位移量的精确值。本发明基于非接触式测量的方法，实现了轨道结构的轨枕间距相对位移的实时获取，测量精度高，安全性高。

为了实现上述目的，本发明采用的技术方案是：

一种基于视频的非接触式钢轨轨枕相对位移实时测量方法，包括如下步骤：

S1：针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴包含三个圆的标志牌，所述三个圆的圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；

所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；

S2：采集不同工况下的未发生相对位移的初始图像作为标准，将初始图像预处理为二值化图像，从二值化图像中检测得到所有圆区域，保存不同工况下的检测参数，并定位每一个圆区域经透视后的圆心，对圆心相对位置进行标记；

S3：以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点，根据四个基准点的图像坐标与透视后的实际坐标，计算不同工况下的初始透视变换矩阵；

S4：通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，将待检测图像预处理为二值化图像，利用步骤S2获取的对应工况下的检测参数对每一帧图像中的圆区域进行检测，根据检测结果过滤无效帧图像；

针对当前时刻对应的有效帧图像，若存在缺失的圆心，则利用步骤S2获取的对应工况下的初始透视变换矩阵，将每一个圆区域的图像坐标转换为透视后的实际坐标，对实际坐标进行聚类分析，获得圆心之间的位置关系；根据圆心之间的位置关系，利用直线法计算缺失的圆心图像坐标；若不存在缺失的圆心，则进入步骤S5；

S5：利用步骤S3中的方法，计算每一个有效帧图像对应的透视变换矩阵，取均值作为当前时刻的实时透视变换矩阵；

S6：利用当前时刻的实时透视变换矩阵，将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标，计算相邻两个标志牌之间的实际距离，得到相邻轨枕之间的相对位移值；将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果，对初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；

S7：重复步骤S4至步骤S6，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。

与现有技术相比，本发明的优势在于：

(1)本发明针对基于简单的图像识别方法测量的钢轨轨枕相对位移，无法满足轨道结构监测精度要求的问题，本发明针对高铁运营现场的不同安装条件，设置不同工况，并考虑了光照、风雨和列车震动等多种因素对成像的影响，设计了包含三个圆的标志牌，在不同的工况下调试检测参数并计算初始透视变换矩阵；在实时检测过程中，对有效帧进行筛选，并通过初始透视变换矩阵进行补圆操作，利用实时透视变换矩阵粗计算轨枕相对位移量，该实时透视变换矩阵充分考虑了多种因素对成像的影响，保证了测量的准确性；更进一步的，最后对实时检测到的连续多帧轨枕相对位移量平滑滤波，得到更加精确的实时相对位移量，测量精度高。

(2)本发明基于非接触测量的方式，不影响轨道的正常工作，安全性高，可以应用于钢轨轨枕相对位移的大规模实时测量，该发明也可推广至伸缩机构间距检测等使用标志牌来进行距离检测的场景。

附图说明

图1是本发明实施例提供的基于视频的非接触式钢轨轨枕相对位移实时测量方法流程图；

图2是本发明实施例提供的标志牌示意图；

图3是本发明实施例提供的包含连续4块标志牌的测试图；

图4是本发明实施例提供的12个圆区域检测结果图；

图5是本发明实施例提供的圆区域拟合得到的椭圆和圆心位置示意图；

图6(a)是本发明实施例提供的缺失圆的初始检测结果图；

图6(b)是本发明实施例提供的补圆心后的圆心坐标示意图；

图7是本发明实施例提供的透视变换前后圆心坐标对照图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供的一种基于视频的非接触式钢轨轨枕相对位移实时测量方法，主要包括如下步骤：

步骤一：针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴包含三个圆的标志牌，所述三个圆的圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；

所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；

步骤二：采集不同工况下的未发生相对位移的初始图像作为标准，将初始图像预处理为二值化图像，从二值化图像中检测得到所有圆区域，保存不同工况下的检测参数，并定位每一个圆区域经透视后的圆心，对圆心相对位置进行标记；

步骤三：以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点，根据四个基准点的图像坐标与透视后的实际坐标，计算不同工况下的初始透视变换矩阵；

步骤四：通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，将待检测图像预处理为二值化图像，利用步骤二获取的对应工况下的检测参数对每一帧图像中的圆区域进行检测，根据检测结果过滤无效帧图像；

针对当前时刻对应的有效帧图像，若存在缺失的圆心，则利用步骤二获取的对应工况下的初始透视变换矩阵，将每一个圆区域的图像坐标转换为透视后的实际坐标，对实际坐标进行聚类分析，获得圆心之间的位置关系；根据圆心之间的位置关系，利用直线法计算缺失的圆心图像坐标；若不存在缺失的圆心，则进入步骤五；

步骤五：利用步骤三中的方法，计算每一个有效帧图像对应的透视变换矩阵，取均值作为当前时刻的实时透视变换矩阵；

步骤六：利用当前时刻的实时透视变换矩阵，将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标，计算相邻两个标志牌之间的实际距离，得到相邻轨枕之间的相对位移值；将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果，对初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；

步骤七：重复步骤四至步骤六，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。

下面对具体实现方式进行介绍，本实施例中的工况参数为：摄像机分辨率400万像素，成像高度2.5m，成像角度偏移0个轨枕，白天可见光成像。

(一)采集含有标志牌的图像。

首先需要结合步骤一，设计标志牌，如图2所示为本发明设计的包含三个圆的标志牌，在每个轨枕的相同位置粘贴标志牌，要求圆与背景颜色有明显差异，三个圆的圆心成一直线，粘贴时所述圆心直线与轨枕纵向边界线平行。用安装在轨道一侧的相机对目标位置进行连续拍摄，在进行图像处理过程中，需要从拍摄的视频中等间隔截取图像作为待测图像。

在本实施例中，设计的标志牌圆区域为红色，标志牌背景区域的中间部分为白色，两侧部分为黑色。

在实际场合中，需要针对每一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，且所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕，该对轨枕的坐标在后续计算时会作为参考。

(二)计算初始透视变换矩阵。

该步骤是为正式检测做准备，由于在正式检测时可能会出现圆区域检测不全的情况，可以利用初始透视变换矩阵对缺失的圆区域及圆心进行后补。该过程包括了上述步骤中的步骤二及步骤三。

具体的，先采集不同工况下的未发生相对位移的初始图像作为标准，将初始图像预处理为二值化图像，从二值化图像中检测得到所有圆区域，保存不同工况下的检测参数，并定位每一个圆区域经透视后的圆心，对圆心相对位置进行标记。

本实施例中，在实验室条件下模拟了实施例工况的正常成像条件，获得包含连续4块标志牌的测试图像。如图3所示，对测试图像进行预处理之后，利用该测试图像调试并确定能检测出3行4列共12个圆区域的检测参数。

(2.1)图像预处理：

根据圆区域的颜色等特征，将原始彩色图像进行二值化，可以用不同的色彩空间，包括但不限于RGB空间、HSV空间。

其中，用RGB空间对图像进行二值化的具体实现方式为：

对于R、G、B通道分别设定合适的筛选区间，该区间由标志牌颜色、拍摄环境等因素决定，对于图像上的每一个像元逐一进行判断，将3个分量均在区间范围内的像元置为1，否则置为0；

用HSV空间对图像进行二值化的具体实现方式为：

先根据RGB颜色通道特征得到HSV颜色通道特征，HSV颜色通道特征由公式(1)(2)(3)求得：

V＝max

式中，R、G、B为图像的RGB颜色通道特征，max＝max(R,G,B)即RGB三个颜色通道的最大值，min＝min(R,G,B)即RGB三个颜色通道的最小值，如果求取的H为负则H＝H+360。

得到HSV颜色通道特征后，对于H、S、V通道分别设定合适的筛选区间，同样地，该区间由标志牌颜色、拍摄环境等因素决定，对于图像上的每一个像元逐一进行判断，将3个分量均在区间范围内的像元置为1，否则置为0。

在本实施例中，采用HSV空间对图像进行二值化，根据像素是否为红色，将原始彩色图像进行二值化，得到二值化图像：

(2.2)圆区域检测：

对二值图像进行4邻域分割得到k个区域Ri(i＝1，2，…，k)，对每个区域Ri计算区域面积Si、区域外接矩形的长Li和宽Wi、区域外接矩形内区域面积占比Di，根据如下规则筛选非圆区域：

区域面积Si大于minA且小于maxA；

区域外接矩形的长Lu和宽Wi均大于minW且均小于maxW；

区域外接矩形的长宽比Li/Wi及宽长比Wi/Li均大于RatioRC；

区域外接矩形内区域面积占比Di大于Ratio。

满足上述规则的区域认为是候选圆区域并保留，进行后续的处理，否则将该区域的像素均置为0。

需要调试的圆区域检测参数包括区域面积的最大值maxA和最小值minA、区域外接矩形边长的最大值maxW和最小值minW、区域外接矩形长宽比的最小值RatioRC和区域外接矩形内区域面积占比最小值Ratio。

本实施例采用HSV空间对图像进行二值化，因此需要调试的参数包括maxA、minA、maxW、minW、RatioRC、Ratio、h、s、v，直到能准确检测到4块标志牌的12个圆区域。具体到实施例中，工况为摄像机分辨率为400万像素，成像高度2.5m，成像角度垂直于钢轨，白天可见光成像，具体参数为maxA＝4000，minA＝1200，maxW＝120，minW＝20，RatioRC＝2.5，Ratio＝0.65，图4是12个圆区域检测结果图。

(2.3)定位圆心：

定位圆心是指因为透视变换，圆区域近似为椭圆，通过对圆区域进行椭圆拟合，得到拟合后的椭圆圆心坐标。所述椭圆拟合可以用最小二乘拟合或其他拟合方法。

平面上任意椭圆的方程可以表示为：

x

假设P

当目标函数F关于A、B、C、D、E的偏微分为0，其取到最小值，可以计算得到系数A、B、C、D、E。

根据A、B、C、D、E计算得到椭圆参数圆心(x

得到的椭圆参数中，圆心(x

在本实施例中，12个圆区域的缺省位置序号可以用一个矩阵表示为

(2.4)计算初始透视变换矩阵：

根据检测点轨枕相对位置固定情况确定反应图像关键特征的对应点，由于每一个检测点的检测范围内至少包括一对相对位置固定的轨枕，则选择相对位置固定的一对轨枕上两个标志牌中位于两端的四个圆心坐标为基准点，根据四个基准点的图像坐标与透视后的实际坐标，计算不同工况下的初始透视变换矩阵。例如，如果左边两个轨枕相对位置固定，则以序号为1，3，4，6的4个圆心作为反应图像关键特征的基准点；如果右边两个轨枕相对位置固定，则以序号为7，10，9，12的4个圆心作为反应图像关键特征的基准点。

记4个基准点的圆心图像坐标为(x(i)，y(i))，i＝1，2，3，4，其透视变换后的实际坐标为(X(i)，Y(i))，i＝1，2，3，4，构建矩阵：

B＝[X(1) Y(1) X(2) Y(2) X(3) Y(3) X(4) Y(4)]

fa＝A

式中，X(1)＝x(1)，Y(1)＝y(1)，其他的X(i)，Y(i)(i＝2，3，4)可以根据轨枕的固定间距计算得到，fa为1*8的矩阵，其元素即为透视变换矩阵的元素。

式中，transform即为所求的透视变换矩阵，fa(i)表示fa矩阵中的第i个元素值。

(三)计算实时透视变换矩阵。

该步骤开始正式检测，由于光照、风雨和列车震动等多种因素对成像的影响，利用每一个测试的当前时刻图像计算当前时刻的实时透视变换矩阵，充分考虑了多种因素对成像的影响，保证了测量的准确性。该过程包括了上述步骤中的步骤四及步骤五。通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像。

(3.1)图像预处理：

该步骤与上述中的步骤(2.1)相同，将当前时刻提取到的m帧待检测图像转换为二值化图像。

(3.2)圆区域检测：

该步骤与上述中的步骤(2.2)相同，由于步骤(2.2)已经调试出了不同工况下的检测参数，因此该步骤不需要对参数再进行调试，直接利用对应工况下的参数maxA、minA、maxW、minW、RatioRC、Ratio、以及H、S、V(或者R、G、B)进行检测即可。

(3.3)定位圆心：

该步骤与上述中的步骤(2.3)相同，定位每一个检测到的圆区域的圆心坐标。此处还需要对定位好圆心的m帧待测图像进行有效性筛选，以下3种情况为检测无效：

1)同一行列位置圆心个数大于1；

2)有一行少3个圆心；

3)有一列少1个圆心。

如果检测无效，则置无效标志failure＝1，否则failure＝0。

无效标志为1的为无效帧图像，其余图像为有效帧图像，其中无效帧图像不再进行后续计算，直接删除，只保留n个有效帧图像。

(3.4)补圆心：

针对当前时刻对应的有效帧图像，若存在缺失的圆心，则利用步骤(2.4)获取的对应工况下的初始透视变换矩阵，将每一个圆区域的图像坐标转换为透视后的实际坐标，计算公式为：

式中，(x，y)为圆心在图像中的坐标，(X，Y)为透视变换后的实际圆心坐标。

对透视变换后的实际圆心坐标进行聚类分析，可以先选用横坐标进行聚类，横坐标对应列数，聚类成相应列数的组，每组内的列号相同，确定每一个圆心的列号；再利用纵坐标进行聚类，纵坐标对应行数，聚类成相应行数的组，每组内的行号相同，确定每一个圆心的行号；即获得了圆心之间的位置关系。

此处需要说明的是，相同列的横坐标理论上应该相同，相同行的纵坐标理论上应该相同，但考虑实际情况可能存在一定误差，上述分组只能作为确定缺失圆心所处位置的行号和列号，不能直接得出其实际坐标。

接着，根据圆心之间的位置关系，通过直线法进行补圆心操作，具体过程为：

设某缺失圆的行列号分别为r和c，任选第r行的两个非缺失圆的圆心r

Lr:

Lc:

直线Lr和Lc的交点坐标为该缺失圆的圆心图像坐标。图6给出了缺失圆的初始检测结果(图6(a))和补圆心后的圆心坐标示意图(图6(b))。

若不存在缺失的圆心，则直接进入下一步。

(3.5)计算实时透视变换矩阵：

该步骤与上述中的步骤(2.4)相同，利用补圆心之后的n个有效帧图像中的圆心图像坐标，以及一对相对位置固定的轨枕坐标，计算每一个有效帧图像对应的透视变换矩阵，将n个透视变换矩阵取均值，作为该时刻的实时透视变换矩阵。

(四)计算轨枕相对位移的初始值。

由于相对位移的计算需要利用透视后的实际坐标来计算，因此，需要先进行对应点变换，再计算初始相对位移值。该过程对应于上述步骤中的步骤六。

(4.1)对应点变换：

利用当前时刻的实时透视变换矩阵，将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标，计算公式与步骤(3.4)中的公式相同，不同之处在于此处利用的是当前时刻的实时透视变换矩阵进行变换。图7给出了透视变换前后圆心坐标对照图。

(4.2)计算初始相对位移值：

根据变换得到的实际坐标，计算相邻两个标志牌之间的实际距离，得到相邻轨枕之间的相对位移值。此处需要说明的是，两个圆心之间的坐标距离可以与实际场地中的距离一致，也可以设定两个圆心之间的坐标距离与实际场地中的距离之间存在一个比例关系，若采用后者，则可以通过一对相对位置固定的轨枕的图上距离和实际距离计算得到每个像素代表的实际距离，再将每一个相邻轨枕的图上距离乘以每个像元代表的实际距离，得到轨枕相对位移量粗略值。

(五)计算轨枕相对位移的最终值。

对应于上述中的步骤六，将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果，该n组值按照从大到小进行排序，去掉前20％的最大值和最后20％的最小值后求取平均值，该平均值作为平滑滤波的结果，该结果即为最终的轨枕相对位移终值。

在后续的实时检测过程中，重复执行(三)至(五)，即可实现轨枕相对位移的实时测量。

本发明实施例的方法，对比现有技术，实现了一种基于视频的非接触式钢轨轨枕相对位移实时测量方法，简单高效，其测量精度可以满足轨道结构监测精度要求。针对高铁运营现场的不同安装条件，设置不同工况，并考虑了光照、风雨和列车震动等多种因素对成像的影响，设计合适的标志牌，并准确检测标志牌以及精确计算透视变换参数和钢轨轨枕实时相对位移，有效实现了轨道结构的钢轨轨枕相对位移的实时获取。

本发明实施例所示的附图说明，可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等，均应包含在本发明的保护范围之内。