一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法

技术领域

本发明属于高铁轨道结构监测领域，更具体地，涉及一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法。

背景技术

为满足各种复杂地域环境的需要，高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中，出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害，造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大，是高铁轨道结构的三大薄弱环节之一，因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。

轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节，从精度、实施性出发，目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前，现有的监测方法主要不足包括：

(1)一般只能作为工点性的监测，空间上和时间上的监测范围有限，无法实现大规模实时测量；

(2)皆为接触式的传感方式，设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。

随着铁路网络带宽呈几何数量级增加，高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端，开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。

但是，由于高铁现场环境复杂，光照、风雨和火车震动等多种因素都会影响成像结果，加上摄像机本身的透视畸变，基于简单的图像识别方法测量的钢轨轨枕相对位移，无法满足轨道结构监测精度要求。

发明内容

针对上述技术问题，本发明提出了一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法，可以自动计算透视变换参数和钢轨轨枕相对位移量，实现了轨道结构的轨枕间距相对位移的实时获取，测量精度高，安全性高。

为了实现上述目的，本发明采用的技术方案是：

一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法，包括如下步骤：

步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；

所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；

步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；

将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；

步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；

步骤4，采集不同工况下的未发生相对位移的初始图像作为标准，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；

根据定位得到的圆心原像素坐标确定圆心的位置关系，以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点，对四个基准点的原像素坐标进行透视变换，使得透视变换后的四个圆心连线呈矩形；根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算不同工况下的透视变换矩阵；

步骤5，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像，根据定位得到的圆心原像素坐标确定有效帧图像中的圆心位置关系；

采用步骤4得到的对应工况下的透视变换矩阵，将定位到的圆心原像素坐标转换为透视变换后的像素坐标，根据透视变换后的圆心像素坐标粗计算每一个有效帧对应的轨枕相对位移量，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；

步骤6：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；

步骤7：重复步骤5至步骤6，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。

与现有技术相比，本发明的优势在于：设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上，拍摄含有标志牌的视频并截取图像；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；根据不同工况下的标准图像，通过深度学习模型检测图像中的标志牌区域和圆心像素坐标，计算不同工况下的透视变换矩阵；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域和圆心像素坐标，利用对应工况下的透视变换矩阵将圆心像素坐标转换为透视后的圆心像素坐标，计算在透视后的图像中，相邻连个轨枕之间的像素距离，再结合相对位置固定的一对轨枕之间的像素距离和实际距离，以及像素距离比值与实际距离比值相同的特点，求得相邻轨枕之间的实际距离作为粗计算结果；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值，测量精度高。

本发明基于非接触测量的方式，不影响轨道的正常工作，安全性高，可以应用于钢轨轨枕相对位移的大规模实时测量，该发明也可推广至伸缩机构间距检测等使用标志牌来进行距离检测的场景。

附图说明

图1为本发明的基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法流程图；

图2为本实施例中的标志牌示意图；

图3为本实施例中采用的深度学习模型的结构图；

图4为本实施例中的包含连续4块标志牌的测试图；

图5为本实施例中的4块标志牌和8个圆心检测结果图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供的一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法，主要包括如下步骤：

步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；

所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；

步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；

将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；

步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；

步骤4，采集不同工况下的未发生相对位移的初始图像作为标准，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；

根据定位得到的圆心原像素坐标确定圆心的位置关系，以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点，对四个基准点的原像素坐标进行透视变换，使得透视变换后的四个圆心连线呈矩形；根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算不同工况下的透视变换矩阵；

步骤5，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像，根据定位得到的圆心原像素坐标确定有效帧图像中的圆心位置关系；

采用步骤4得到的对应工况下的透视变换矩阵，将定位到的圆心原像素坐标转换为透视变换后的像素坐标，根据透视变换后的圆心像素坐标粗计算每一个有效帧对应的轨枕相对位移量，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；

步骤6：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；

步骤7：重复步骤5至步骤6，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。

下面对具体实现方式进行介绍，本实施例中的工况参数为：摄像机分辨率400万像素，成像高度2.5m，成像角度偏移0个轨枕，白天可见光成像。

(一)设计标记牌。

本实施例中，图2所示为设计的标志牌，每一个标记牌中包含3个圆，标志牌沿长边分为“黑-白-黑”3个相同形状大小的矩形区域，在每个矩形区域的中心有1个颜色为红色的圆，红色的圆和黑白色的背景颜色有明显差异，3个圆的圆心成一直线。粘贴标志牌时所述圆心直线与轨枕纵向边界线平行。在每个轨枕的相同位置粘贴标志牌，所述圆心直线与轨枕纵向边界线平行。

需要注意的是，本发明中，在每一个采集点，需要至少包括一对相对位置固定的轨枕，以该对轨枕作为基准来获得其他对轨枕之间的实际距离。

(二)标定深度学习模型训练样本。

采集目标检测范围内的不同工况下的样本图像，图4为本实施例中采集到的一张样本图片，每一张图包含4个标记牌，对其中每幅样本图片：

(2.1)手动标记样本图片中标志牌的四个角点，然后将四个角点的坐标转换成标志牌的矩形检测框的顶点坐标。记样本图片中的某个标志牌的四个角点的原像素坐标(x(i),y(i)),i＝1,2,3,4；

(2.2)将四个角点的原像素坐标转换为检测框顶点的原像素坐标，转换公式为：

式中，P

(2.3)利用四个角点的原像素坐标和实际坐标计算透视变换矩阵：

将现实中的标志牌的长边竖置，从上到下，从左到右依次标记现实中的标志牌的四个角点，角点序号矩阵为

记样本图片中的待求的上下两个圆心的像素坐标为(x(i),y(i)),i＝5,6。记实际标志牌的四个角点和上下两个圆心的实际坐标为(X(i),Y(i)),i＝1,2,3,4,5,6；令H为标志牌的长边长，W为标志牌的短边长，h为圆心到邻近短边的距离(单位mm)，则：

构建矩阵：

B＝[X(1) Y(1) X(2) Y(2) X(3) Y(3) X(4) Y(4)]

fa＝A

式中，A和B分别为计算所需的矩阵，fa为1*8的矩阵，其元素即为透视变换矩阵的元素；

式中，transform即为所求的透视变换矩阵，fa(i)表示fa矩阵中的第i个元素值；

2.4)根据透视变换矩阵，计算样本图片中圆心对应的原像素坐标：

通过下式即可计算出样本图片中当前标志牌的上下两个圆心的原像素坐标(x(i),y(i)),i＝5,6：

式中，a(i),b(i),w(i)为求解过程得到的中间值。

如此标定的矩形检测框的左上角顶点和右下角顶点的原像素坐标以及上下两个圆的圆心原像素坐标将分别用作训练深度学习模型时的标志牌检测标签和圆心定位的标签。

(三)训练深度学习模型。

将步骤二中标定好的样本作为训练样本，对基于深度学习的标志牌检测和标志牌圆心定位模型进行训练。其中深度学习模型选用在COCO person keypoint数据集上预训练过的Keypoint R-CNN模型，即增加了关键点检测分支的Faster R-CNN目标检测模型，关键点检测分支与目标检测分支并行。其结构如图3所示。

训练时模型的输入为经过步骤二标定并再进行数据增广后的样本，模型的输出为输入图片中标志牌的矩形检测框的左上角、右下角顶点的原像素坐标和标志牌中圆心的原像素坐标以及这些标志牌检测框坐标和圆心坐标的置信度。

模型的特征提取骨干网络为ResNet50和FPN。本实施例中，步骤二中标定得到的样本再进行数据增广，样本的数据增广的方式包括随机水平翻转，随机裁切和随机改变色调、对比度、明度。模型训练时使用的优化器为Adam，学习率调整策略为Cosine方式。模型在训练集上每训练1个epoch都要在验证集上测试指标，等到验证集指标不再上升时则训练结束。

(四)计算透视变换矩阵。

4.1)采集不同工况下的未发生相对位移的初始图像作为标准，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心；图5为本实施例检测到的4块标志牌和8个圆心检测结果图；

4.2)根据步骤4.1)的检测结果进行有效性判断，出现以下4种情况则检测无效，否则检测有效：

检测到的标志牌区域的数量少于实际标记牌数量，或者检测到的圆心数量少于2倍的实际标记牌数量；

或者至少有一个检测框中包含的有效圆心数量不为2；所述的有效圆心判断方式为：若圆心坐标位于标志牌检测框左上角顶点和右下角顶点的坐标之间，则属于有效圆心，否则为无效圆心；

或者至少有一个检测框中的两个有效圆心的像素距离低于阈值；

或者至少有一个圆心坐标置信度低于阈值。

本实施例中，每一个待检测图像上有四个标记牌，因此，将有效性判断规则具体设置为：

a)检测到的标志牌检测框数量不为4，或圆心数量不为8；

b)若圆心坐标位于标志牌检测框左上角顶点和右下角顶点的坐标之间，则称该标志牌检测框包含该圆心。存在包含的圆心数量不为2的标志牌检测框；

c)存在包含的两个圆心的距离小于5个像素的标志牌检测框；

d)存在深度学习模型输出的圆心坐标置信度低于35的圆心。

如果检测有效则执行后续步骤，否则舍弃相应帧图像。

4.3)确定深度模型检测得到的圆心的位置关系。

对检测到的标志牌按它们在图像中的位置从左到右进行排序，对定位到的圆心按它们在所属标志牌中的位置从上到下进行排序。本实施例中，即从上到下，从左到右依次标记2行3列圆心序号，圆心序号矩阵为

4.5)计算透视变换矩阵。

根据检测点轨枕相对位置固定情况确定反应图像关键特征的对应点，例如，如果左边两个轨枕相对位置固定，则以序号为1,2,3,4的4个圆心作为反应图像关键特征的基准点；如果右边两个轨枕相对位置固定，则以序号为5,6,7,8的4个圆心作为反应图像关键特征的基准点。本实施例中，最左边两个轨枕的相对位置固定，以序号为1,2,3,4的4个圆心作为反应图像关键特征的基准点，记样本图片中检测得到的作为基准点的4个圆心的原像素坐标为(x(i),y(i)),i＝1,2,3,4，其透视变换后的像素坐标为(x′(i),y′(i)),i＝1,2,3,4。

透视变换后的圆心的坐标可以任意拟定，只要四个圆心按次序首尾相连后能形成一个矩形即可，在此令：

式中，M和N是任意设置的像素值，由实际需要的图像清晰度决定

本实施例中，设置

根据透视变换后的像素坐标和原像素坐标，采用步骤(2.3)中的相似过程计算透视变换矩阵。

(五)粗计算轨枕相对位移量

5.1)通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像；

5.2)利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心；

5.3)根据步骤4.2)中的判断规则进行有效性检测，保留有效帧图像；

5.4)根据定位得到的圆心原像素坐标确定有效帧图像中的圆心位置关系；

5.5)采用步骤4得到的对应工况下的透视变换矩阵，将定位到的圆心原像素坐标转换为透视变换后的像素坐标，具体为：

根据圆心原像素坐标确定有效帧图像中的圆心位置关系，将所有标记牌中边界处的两个圆心的原像素坐标分别记为(x(i

所述的透视变换后的像素坐标是根据原像素坐标和透视变换矩阵计算得到的，计算公式为：

式中，a(i),b(i),w(i)为求解过程得到的中间值，k为标记牌数量，transform为步骤4得到的透视变换矩阵。

根据透视变换后的圆心像素坐标粗计算每一个有效帧对应的轨枕相对位移量，所述的粗计算公式为：

式中，dist(i

将像素距离转换为实际位移量：

由于相邻两块标记牌之间的像素距离的比值与实际位移量的比值相同，以相对位置固定的一对轨枕之间的像素距离和实际位移量，即可求得所有相邻标记牌之间的实际距离。

本实施例中，k为4，首先计算1和2，2和3，3和4之间的像素距离，按照

则从左到右三个轨枕间距的比例为d1:d2:d3，然后就可由作为基准的相对位置固定的轨枕的间距和三个轨枕间距的比例来粗计算待求轨枕的间距和相对位移量。

将每一个有效帧图像中的相对位移值取均值作为初始检测结果。

(七)精计算轨枕相对位移量。

对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；平滑滤波具体为：对排序后的初始检测结果，去掉前p％的最大值和最后p％的最小值后求取平均值，该平均值作为平滑滤波的结果，所述的p为阈值。本实施例中，p取10％。

在后续的实时检测过程中，重复执行(五)至(六)，即可实现轨枕相对位移的实时测量。

本发明实施例的方法，对比现有技术，实现了一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法，将包含至少两个圆的标志牌粘贴在轨枕上，每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；标定图像用于训练深度学习模型；采集初始标准图像计算透视变换矩阵；对每个检测点获得的实时图像，通过深度学习模型检测圆心原像素坐标，利用透视变换矩阵将圆心像素坐标转换为透视后的圆心像素坐标，计算透视后的图像中相邻连个轨枕之间的像素距离，结合相对位置固定的一对轨枕之间的像素距离和实际距离，求得相邻轨枕之间的实际距离作为粗计算结果；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值，测量精度高。

本发明实施例所示的附图说明，可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等，均应包含在本发明的保护范围之内。