大区域铁路轨道三维空间线形视觉感知方法

技术领域

本发明涉及一种大区域铁路轨道三维空间线形健康监测方法，具体涉及一种基于相机标定的大区域铁路轨道三维空间线形视觉感知方法。

背景技术

截止到目前为止，我国的铁路营业总里程超过15.49万公里，在历经近十几年大规模建设后，我国铁路轨道将全面迎来养护期，铁路轨道三维空间线形直接引起轨道线形不平顺，实现其精准测量对于列车运行安全性和轨道损伤评估是十分重要的。

轨道线路是保障列车高密度运行及繁重运输任务的基础设施，由于受车轨相互耦合作用和地基沉降等因素的影响，造成轨道线路的不平顺，直接影响到列车运行的安全性、平稳性及舒适性。因此，如何实现对轨道线路的高精度检测已成为维护列车安全运行的必要手段之一。对轨道线路的不平顺的检测主要表现为轨道空间线形的检测，目前的检测方法主要分为静态检测与基于轨检车的动态检测。其中，静态检测方法往往是通过人工测量，或借助全站仪、精测网等非连续测量方法。该类方法的主要缺点是效率低，成本高，同时还带来漏检、检测周期长等问题。利用惯性单元测量方法的轨检车动态检测技术，是目前高速铁路线路检测的常规方法，如美国Ensco公司研制的T10型轨检车和Image-Map公司研制的La-serail型轨检车和国内最新的Gj-6型高速轨检测车等。然而，该类检测方法易受速度的影响，且在低速状态下，惯性测量单元所测的加速度信号较为微弱，在进行位移积分运算时容易出现积分饱和造成测量精度较低，同时陀螺仪等传感器在长时间运行下往往存在累积静态偏差，这进一步降低了测量的精度。

因此，如何实现各种工况下高精度轨道线形的三维动态检测是个亟待解决的难题，开展能够辨识大区域铁路轨道三维空间线形的高精度视觉感知方法的研究具有重要的现实意义。

发明内容

为了解决传统方法中静态检测效率低，成本高，容易漏检、检测周期长，而动态轨检车在低速状态下，惯性测量单元所测的加速度信号较为微弱，在进行位移积分运算时容易出现积分饱和造成测量精度较低，同时陀螺仪等传感器在长时间运行下往往存在累积静态偏差从而降低测量精度的问题，本发明提供了一种大区域铁路轨道三维空间线形视觉感知方法。

本发明的目的是通过以下技术方案实现的：

一种大区域铁路轨道三维空间线形视觉感知方法，包括如下步骤：

步骤一、通过固定摄像机拍摄不同位置和姿态的平面标定板，基于基本矩阵理论，通过测量摄像机与标定板之间的几何关系来确定相机的内部参数和外部参数；

步骤二、考虑影响较大的径向畸变，建立径向畸变表达式后采用最小二乘法求取畸变初始值；通过Levenberg-Marquardt(LM)算法对实际像素坐标和计算得到的像素坐标计算重投影误差进行最小化，反复迭代摄像机的内外参数和畸变系数，直至收敛从而提升仪器测量精度；

步骤三、基于角度和尺度自适应模板匹配技术，将模板进行多角度旋转生成模板集后，对图像进行金字塔采样生成图像集，在图像集中的图像内滑动一个小的矩形窗口，每次将窗口中的像素与模板集进行比较，并计算出相似度分数，如果相似度分数达到0.95，则认为已找到了模板的匹配部分，从而实现检测图像中的相关特征；获取模板对应的图像中像素坐标后，通过步骤一和步骤二的方法将像素坐标转换为三维真实坐标，利用多项式拟合大区域铁路轨道多个关键点的三维真实坐标，最终完成铁路轨道三维空间线形的表示与重构；

步骤四、通过实验室设备模拟施工过程中的各类工况，使用多种不同方位架设的摄像机进行轨道的长期监测，采用配备有变焦镜头的高清摄像机、多个尺寸的高精度靶标对数据进行采集，根据步骤一～步骤三的方法重构轨道三维空间线形。

相比于现有技术，本发明具有如下优点：

1、本发明通过视觉感知的方法对轨道三维变形进行辨识，使用多种不同方位架设的摄像机进行轨道的长期监测，探究了亮光条件下轨道三维变形识别算法的适用性。

2、本发明基于角度和尺度自适应的模板匹配技术，通过在图像中寻找与模板匹配的部分来识别图像中的对象或特征，从而实现了检测图像中的相关特征。

3、本发明能作为大区域铁路轨道健康监测实时预警子系统的组成部分，直接实时地对大区域铁路轨道的三维空间线形产生的轨道不平顺是否异常进行判断识别。本发明提高了铁路轨道健康监测实时预警子系统智能识别的自动化、智能化、准确性和鲁棒性，为大区域铁路轨道三维空间线形在线实时预警子系统的建立提供了解决方案。

附图说明

图1为本发明的流程图；

图2为工况A1-A6角点辨识结果；

图3为工况B1原始图片和实验结果图；

图4为工况B2原始图片和实验结果图；

图5为工况B3原始图片和实验结果图，(a)原始图片，(b)实验结果(白天)，(c)实验结果(夜间)；

图6为工况B4原始图片和实验结果图，(a)原始图片，(b)实验结果(白天)，(c)实验结果(夜间)；

图7为工况B5原始图片和实验结果图，(a)原始图片，(b)实验结果(白天)，(c)实验结果(夜间)；

图8为工况B6原始图片和实验结果图，(a)原始图片，(b)实验结果(白天)，(c)实验结果(夜间)；

图9为工况B7原始图片和实验结果图，(a)原始图片，(b)实验结果(白天)，(c)实验结果(夜间)；

图10为工况B8原始图片和实验结果图，(a)原始图片，(b)实验结果(白天)，(c)实验结果(夜间)。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于相机标定的大区域铁路轨道三维空间线形视觉感知方法，首先，采用固定摄像机拍摄不同位置和姿态的平面标定板，计算相机内参和外参矩阵，然后相机径向畸变建模与计算，利用LM算法对相机内外参及畸变迭代计算，角度和尺度自适应模板匹配得到关键点图像坐标，最后将图像坐标转换为三维真实坐标，并采用多项式拟合轨道线形，实验室验证算法有效性。如图1所示，所述方法具体包括如下步骤：

步骤一、通过固定摄像机拍摄不同位置和姿态的平面标定板，基于基本矩阵理论，通过测量摄像机与标定板之间的几何关系来确定相机的内部参数和外部参数。具体包括如下步骤：

步骤一一、平面靶标上各标记点i世界坐标系下坐标齐次表示，记为(U

将A(R1 R2 T1)记作单应性矩阵H，令矩阵H的九个元素分别为H

步骤一二、对式(2)消去z

式中，H为非满秩的齐次矩阵，独立的未知元素为8个。由于每个标记点对可以提供两个约束方程。当一张图片上标记数量大于或等于4时，通过最小二乘线性求解可得对应的齐次矩阵H。由于R1和R2满足单位正交的关系，则：

R1

R1

根据H和R的关系，可知：

R1＝A

步骤一三、将等式(6)代入(4)和(5)可得：

令A

由式(9)可知，B是一个对称阵，六维向量表示为：

b＝[B

式中

步骤一四、摄像机内参的基本约束等式可重写为：

由于齐次矩阵H已知，矩阵v由H元素组成，因此矩阵v可以被求得。每张标定图像会提供两个约束方程，b有6个未知数，因此三张标定样张可求出b。当标定样张数多于三张时，采用最小二乘求解最优值。摄像机内部参数可表示为：

求得摄像机的内参，接下来进行外参求取。根据A(R1 R2 T)＝H，求得每一张样张对应的(R1 R2 T)。根据R1、R2、R3空间方位关系，可得：

R3＝R1×R2(16)

从而完成镜头的内参和外参的求取。

步骤二、考虑影响较大的径向畸变，建立径向畸变表达式后采用最小二乘法求取畸变初始值；通过Levenberg-Marquardt(LM)算法对实际像素坐标和计算得到的像素坐标计算重投影误差进行最小化，反复迭代摄像机的内外参数和畸变系数，直至收敛从而提升仪器测量精度。具体包括如下步骤：

步骤二一、标定镜头畸变，根据张正友标定法考虑畸变模型中影响较大的径向畸变：

式中(x,y)和

步骤二二、畸变图像像素坐标系下

代入径向畸变公式，则有：

简化得：

用矩阵形式表示：

将上述等式左侧的左半部分记为D，右半边记为k，简化表示：

Dk＝d (23)

通过最小二乘求解径向畸变系数：

步骤二三、至此，摄像机的内参、外参和畸变系数全部被求出。直接求取结果只能作为初值，接下来根据实际的像素坐标和计算得到的像素坐标计算重投影误差。最小值优化重投影误差，反复迭代摄像机的内外参数和畸变系数，直至收敛。

张正友标定法通过固定摄像机拍摄不同位置和姿态的平面标定板，建立三维世界坐标到二维像素坐标之间关系。对线性求解的摄像机的内参、外参和畸变系数，通过Levenberg-Marquardt算法，进行非线性参数优化，理论精度较高，有利于提升光学导航仪等仪器的测量精度。

步骤三、基于角度和尺度自适应模板匹配技术，将模板进行多角度旋转后生成模板集后，对图像进行金字塔采样生成图像集，在图像集中的图像内滑动一个小的矩形窗口，每次将窗口中的像素与模板集进行比较，并计算出相似度分数，如果相似度分数达到0.95，则认为已找到了模板的匹配部分，从而实现检测图像中的相关特征。获取模板对应的图像中像素坐标后，可通过步骤二的技术将像素坐标转换为三维真实坐标，利用多项式拟合大区域铁路轨道多个关键点的三维真实坐标，最终完成铁路轨道三维空间线形的表示与重构。具体包括如下步骤：

步骤三一、对模板图像进行旋转，旋转角度可根据实际需求确定，建议为15度，生成不同角度的匹配模板集；

步骤三二、对图像进行金字塔采样，生成图像集；

步骤三三、采用标准平方差作为相似度评价指标，计算方式如式(25)所示，如果相似度分数达到0.95，则认为已找到了模板的匹配部分，从而实现检测图像中的相关特征；

标准平方差匹配

其中R(x,y)表示匹配分数，T(x′,y′)为模板图像像素点对应的像素值，I(x+x′,y+y′)为原图像像素点经过坐标变化之后对应的像素值；

步骤三四、获取模板对应的图像中像素坐标后，可通过步骤一和步骤二的方法将像素坐标转换为三维真实坐标，利用多项式拟合大区域铁路轨道多个关键点的三维真实坐标，最终完成铁路轨道三维空间线形的表示与重构。

步骤四、通过实验室设备模拟施工过程中的各类工况，使用多种不同方位架设的摄像机进行轨道的长期监测，采用配备有变焦镜头的高清摄像机、多个尺寸的高精度靶标对数据进行采集，根据本发明步骤一～步骤三所提出的算法重构轨道三维空间线形。

实施例：

本实施例通过实验室设备模拟施工过程中的各类工况，使用多种不同方位架设的摄像机进行轨道的长期监测，采用配备有变焦镜头的高清摄像机、多个尺寸的高精度靶标对数据进行采集，根据本发明所提出的算法重构轨道三维空间线形。

本次实验依托中国铁路设计集团有限公司土建院创研所和城市轨道交通数字化建设与评测技术国家工程研究中心减震降噪实验室进行，实验室拥有轨道减振实验场一个，轨道结构总长29米，初始设浮置板道床、整体道床、梯形轨枕；拥有EES-70W纯轮轨接触式电磁激振系统，可提供额定正弦激振力：70kN，额定冲击激振力：210kN，连续激振力频率：1～1000Hz，四轮同步垂直向下激振钢轨，非激振状态下导向传动：速度1cm/s，精确定位激振点，连续力：随机、正弦、正弦加随机，冲击类型：半正弦、锯齿波、三角波、矩形、梯形波。本次实验还采用配备有变焦镜头的高清摄像机、多个尺寸的高精度靶标对数据进行采集，同时使用接触式位移计、应变计等实验设备对结构响应进行同步采集。本次实验瞄准基于计算机视觉技术的轨道变形识别关键技术问题，综合考虑实验室具体实际情况，设置了两个实验方案，三维变形识别实验以及轨道线形识别实验。设置6种定焦亮光的实验工况和短焦短期、长焦短期、定焦长期8种实验工况来验证本发明算法的有效性和准确性。

步骤一、使用6个不同方位架设的摄像机(工况A1-A6)进行轨道的长期监测，探究亮光条件下轨道三维变形识别算法的适用性，使用10×7的方形棋盘格(方格边长为42mm)对设置在固定位置的监控摄像头进行标定。通过识别多张图像中的棋盘格角点来进行初步的计算，角点寻找结果如图2所示。使用标定算法对相机的内外参数进行计算，求得各个工况下该相机的内参矩阵如表1中所示，外参矩阵如表2中所示。

表1工况A1-A6下相机的内参矩阵(单位：m)

表2工况A1-A6下相机的外参矩阵(单位：m)

步骤二、使用标定算法对相机的畸变系数进行计算，求得各个工况下该相机的畸变系数如表3中所示，计算得到的最大重投影误差为4.2％，标定结果满足精度要求。根据标定的相机内外参数矩阵及畸变系数计算得到的验证特征点的三维坐标，计算得到的方格边长和误差如表4中所示，表4中显示最大误差为2.20％，证明了本发明算法的准确性。

表3工况A1-A6下相机的畸变系数

表4工况A1-A6下预测的方格边长和相对误差

步骤三、基于模板匹配技术算法识别轨道线形，通过视觉感知的方法对轨道线形进行辨识，工况B1、B2通过改变镜头焦距大小来模拟摄像机架设位置的远近及视场大小的变化，分别代表短焦短期、长焦短期的工况，工况B3-B8则是使用6个不同方位架设的摄像机进行轨道的长期监测情况，代表定焦长期的工况，共设置了8种实验工况。

步骤四、对于工况B1和工况B2，图3、图4是使用轨道线形识别算法的处理结果，深色方框为识别到的轨道扣件，浅色粗实线则为计算得到的轨道线形。从图中可以看出，算法准确地识别出了所有的轨道扣件，并准确绘制出同实际轨道走向一致的轨道线形。

图5是对于工况B3使用轨道线形识别算法的处理结果。从图4中可以看出，算法准确地识别出了所有的轨道扣件，并准确绘制出同实际轨道走向一致的轨道线形。同时为了说明算法对夜间图像的鲁棒性，使用算法对夜间图像的轨道线形进行识别，从图中可以看出，算法同样准确地识别出了所有的轨道扣件，并准确绘制出同实际轨道走向一致的轨道线形。

图6～图10是对于工况B4-工况B8使用轨道线形识别算法的处理结果。可以看出，算法准确地识别出了大部分的轨道扣件，尺寸过小的扣件并未识别到，并准确绘制出同实际轨道走向一致的轨道线形。同时为了说明算法对夜间图像的鲁棒性，使用算法对夜间图像的轨道线形进行识别，从图中可以看出，算法同样准确地识别出了大部分的轨道扣件，尺寸过小的扣件并未识别到，并准确绘制出同实际轨道走向一致的轨道线形。

本实验针对相机标定和三维坐标计算的结果，结合轨道扣件检测和线形识别技术，探讨硬件设备选型、布设位置、算法种类同变形识别精度的影响关系。以图8中的工况B6为例，图像采集设备分辨率为1920×1080，对相机进行标定后求得的相机坐标为[414.03538884,432.69867928,7999.08883207]，该坐标系的坐标原点位于手持标定棋盘格的左上角，因此可以计算出相机光心到标定板原点的距离为8021.5mm，即相机到待测物体的直线距离大概为8米左右。同时，计算得到的标定板方格大小为10.5像素，实际方格尺寸为42mm，因此转换系数为4mm/像素。考虑不同算法种类(例如是否采用亚像素技术、是否采用光流法等)，变形识别的可信精度最低是4mm。综上所述，在相机分辨率为1920×1080、距离8米左右、变形识别的精度能达到4mm左右，表明重构值与真实值吻合良好，证明了该方法的有效性、准确性，以及识别大区域铁路轨道三维空间线形的实用性。