一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法

技术领域

本发明属于高铁轨道结构监测领域，更具体地，涉及一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法。

背景技术

为满足各种复杂地域环境的需要，高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中，出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害，造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大，是高铁轨道结构的三大薄弱环节之一，因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。

轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节，从精度、实施性出发，目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前，现有的监测方法主要不足包括：

(1)一般只能作为工点性的监测，空间上和时间上的监测范围有限，无法实现大规模实时测量；

(2)皆为接触式的传感方式，设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。

随着铁路网络带宽呈几何数量级增加，高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端，开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。

但是，由于高铁现场环境复杂，光照、风雨和火车震动等多种因素都会影响成像结果，加上摄像机本身的透视畸变，基于简单的图像识别方法测量的钢轨铁轨伸缩位移，无法满足轨道结构监测精度要求。

发明内容

针对高速铁路轨道纵向呈带状分别、垂向分层分布的结构特点，本发明提出了一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法，设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算铁轨伸缩位移量，再对粗计算结果进行平滑滤波，实现铁轨伸缩位移的实时测量。

为了实现上述目的，本发明采用的技术方案是：

一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法，包括如下步骤：

步骤1，针对任一个检测点，在需要检测的一对铁轨连接处一侧固定位置设置摄像头，使得一对铁轨连接处位于目标监控范围内，在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面分别粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨道延伸方向平行；

步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签，将带标签的样本图像作为训练样本集；

步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；

步骤4：通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像；并在检测到的标志牌区域内检测圆心，粗计算每一个有效帧图像对应的铁轨伸缩位移量，取均值作为初始检测结果；

步骤5：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；

步骤6：重复步骤4至步骤5，执行下一时刻的检测，实现铁轨伸缩位移的实时测量。

与现有技术相比，本发明的优势在于：本发明设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算铁轨伸缩位移量，再对粗计算结果进行平滑滤波，实现铁轨伸缩位移的实时测量。

基于非接触测量的方式，不影响轨道的正常工作，安全性高，可以应用于钢轨铁轨伸缩位移的大规模实时测量，该发明也可推广至基本轨-基本轨、基本轨-尖轨伸缩位移等使用标志牌来进行距离检测的场景。

附图说明

图1为本发明的基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法流程图；

图2为本实施例中的标志牌示意图；

图3为本实施例中采用的深度学习模型的结构图；

图4为本实施例中的包含2块标志牌的测试图；

图5为本实施例中在椭圆拟合前的图像预处理结果图；

图6为本实施例中的2块标志牌和6个圆心检测结果和间距检测结果图。。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供的一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法，主要包括如下步骤：

步骤1，针对任一个检测点，在需要检测的一对铁轨连接处一侧固定位置设置摄像头，使得一对铁轨连接处位于目标监控范围内，在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面分别粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨道延伸方向平行；

步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签，将带标签的样本图像作为训练样本集；

步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；

步骤4：通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像；并在检测到的标志牌区域内检测圆心，粗计算每一个有效帧图像对应的铁轨伸缩位移量，取均值作为初始检测结果；

步骤5：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；

步骤6：重复步骤4至步骤5，执行下一时刻的检测，实现铁轨伸缩位移的实时测量。

下面对具体实现方式进行介绍，本实施例中的工况参数为：摄像机分辨率400万像素，成像高度2.5m，白天可见光成像。

(一)设计标记牌。

如图2所示，设计包含3个白圆的黑底标志牌，3个圆的圆心成一直线。在要测量伸缩位移距离的一对铁轨末端贴上标志牌，标志牌贴在铁轨的侧面，粘贴时标志牌的圆心连线与铁轨平行。

(二)标定深度学习模型训练样本。

采集目标检测范围内的不同工况下的样本图像，图4为本实施例中采集到的一张样本图片，每一张图包含2个标记牌，每一个标记牌中包括3个圆，对其中每幅样本图片：

(2.1)手动标记样本图片中标志牌的四个角点，然后将四个角点的坐标转换成标志牌的矩形检测框的顶点坐标。记样本图片中的某个标志牌的四个角点的原像素坐标(x(i),y(i)),i＝1,2,3,4；

(2.2)将四个角点的原像素坐标转换为检测框顶点的原像素坐标，转换公式为：

式中，P

如此标定的矩形检测框的左上角顶点和右下角顶点的原像素坐标将用作训练深度学习模型时的标志牌检测标签。

(三)训练深度学习模型。

将步骤二中标定好的样本作为训练样本，对基于深度学习的标志牌检测模型进行训练。其中深度学习模型选用在COCO train2017数据集上预训练过的Faster R-CNN模型。训练时模型的输入为经过步骤2标定并再进行数据增广后的样本，模型的输出为输入图片中标志牌的矩形检测框的左上角、右下角顶点坐标以及这些标志牌检测框坐标的置信度。

模型的特征提取骨干网络为ResNet50和FPN，其结构如图3所示。步骤2中标定得到的样本再进行数据增广后一部分作为训练集，一部分作为验证集，样本的数据增广的方式包括随机水平翻转，随机裁切和随机改变色调、对比度、明度。模型训练时使用的优化器为Adam，学习率调整策略为Cosine方式。模型在训练集上每训练1个epoch都要在验证集上测试指标，等到验证集指标不再上升时则训练结束。

(四)粗计算轨道伸缩位移量。

4.1)通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像；

4.2)利用训练好的深度学习模型检测图像中的标志牌区域，检测结果如图6所示，根据检测结果过滤无效帧图像，无效帧图像满足的条件为：利用训练好的深度学习模型检测到的标志牌区域的数量少于2，且置信度大于90。

4.3)在检测到的标志牌区域内检测圆心，包括：

4.3.1)对图像进行中值滤波，减少图像噪声；本实施例中，使用大小为5的卷积核对图像进行中值滤波；

4.3.2)将中值滤波后的图像转换为灰度图，像素灰度值计算公式如下：

Gray(x,y)＝min(R,G,B)

式中，R,G,B为彩色空间的三个通道，Gray(x,y)为原图像素点(x,y)处的灰度值；

4.3.3)将灰度图像二值化：

灰度图像的二值化是通过设定某个阈值，将灰度值低于该阈值的像素点置为0，将灰度值高于该阈值的点置为255，使得图像只有两个灰度级别，得到二值化图像，公式为：

式中，Binary(x,y)为二值图在像素点(x,y)处的灰度值，T为设定的阈值；

在灰度图像的二值化过程中，比较关键的部分是选取合适的阈值，拍摄环境的天气、昼夜会影响拍摄出来的照片的灰度值，需要设定的灰度阈值也不相同，所以在本专利中选用动态的平均局部阈值来对图像进行二值化，使得二值化能够得到良好的效果。

4.3.4)去除二值化图像中面积小于阈值的黑、白色连通区域，并做核尺寸为5*5的开闭运算以使连通区域的边缘更平滑；本实施例中，去除二值化图像中面积小于400的黑、白色小连通区域，并做核尺寸为5*5的开闭运算以使连通区域的边缘更平滑。

4.3.5)提取处理后二值化图像的轮廓，并筛选轮廓，筛选过程包括：

STEP1.去除顶点数小于等于25的轮廓；

STEP2.去除包围区域为黑色区域的轮廓；本实施例得到的效果如图5所示。

STEP3.对每个轮廓基于最小二乘法进行椭圆拟合，去除拟合所得椭圆面积与轮廓实际面积比值大于等于1.1或小于等于0.9的轮廓；

STEP4.去除拟合所得椭圆周长与轮廓实际周长比值大于等于1.15或小于等于0.85的轮廓；

STEP5.对每个轮廓进行凸壳处理，去除凸壳后的面积与轮廓实际面积比值大于等于1.1或小于等于0.9的轮廓；

STEP6.拟合圆心：

若每个标志牌区域中剩余轮廓的数量小于3，则检测失败，删除该图像；否则在剩余的轮廓中任意挑选3个轮廓，将它们拟合得到的椭圆的圆心的坐标进行主成分分析，试遍每一种组合选择占方差比例最大的3个轮廓作为检测到标志牌中的3个圆心区域，这3个轮廓进行椭圆拟合后得到的圆心坐标作为拟合结果。

其中使用最小二乘法进行椭圆拟合的方法如下：

平面上任意椭圆的方程可以表示为：

x

假设Pi(xi,yi)(i＝1,2,3……N,N≥5)为椭圆边缘上N个点，跟据最小二乘原理，拟合的目标函数为：

当目标函数F关于A、B、C、D、E的偏微分为0，其取到最小值，可以计算得到系数A、B、C、D、E。

根据A、B、C、D、E计算得到椭圆参数圆心(x0,y0)、长半轴a、短半轴b、旋转角θ，计算公式如下：

得到的椭圆参数中，(x

4.4)根据拟合的圆心坐标粗计算每一个有效帧图像对应的铁轨伸缩位移量，则两段铁轨之间的距离可由两段铁轨上粘贴的标志牌上3对圆的圆心之间的平均距离表示。令标志牌左右两圆的圆心间距为d

在y轴方向上平移左侧标志牌检测到的3个圆的圆心，使得左右标志牌分别检测到的圆心的y坐标平均值相等；

计算平移后3对圆心之间的像素距离的平均值d

计算左右两块标志牌的最左和最右两个圆的圆心间像素距离的平均值d

则两铁轨之间的距离d可由下式计算得到：

式中，d

铁轨的伸缩位移距离则可由当前铁轨间距减去初始铁轨间距得到，将每一个有效帧图像对应的铁轨伸缩位移量取均值作为初始检测结果。

(五)精计算铁轨伸缩位移量。

对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；平滑滤波具体为：对排序后的初始检测结果，去掉前p％的最大值和最后p％的最小值后求取平均值，该平均值作为平滑滤波的结果，所述的p为阈值。本实施例中，p取10％。

在后续的实时检测过程中，重复执行(五)至(六)，即可实现铁轨伸缩位移的实时测量。

本发明实施例的方法，对比现有技术，实现了一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法，设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算铁轨伸缩位移量，再对粗计算结果进行平滑滤波，实现铁轨伸缩位移的实时测量。

本发明实施例所示的附图说明，可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等，均应包含在本发明的保护范围之内。