一种基于卷积神经网络的轨道扣件检测及分类方法

技术领域

本发明涉及铁路基础设施检测领域，具体涉及一种基于卷积神经网络的轨道扣件检测及分类方法。

背景技术

随着交通运输行业的发展，轨道交通逐步成为现代社会非常重要的交通运和出行手段；在铁路轨道中，会应用到许多不同类型的铁路轨道扣件，铁路轨道扣件以辅助完成轨道之间的安装、固定与连接。铁路轨道扣件是轨道结构的最关键部件之一，是轨道交通运行安全的重要保障。轨道巡检中的最重要环节就是对铁路轨道扣件状态及其异常的检测，因此铁路轨道扣件在图像中的定位及其型号的分类尤为关键。

目前，常用的方法是人工巡检，通过肉眼来观察扣件位置和辨别扣件类型，这种方式费时费力，并且很大程度上依赖技术人员的经验判断，准确性难以保证。而专利CN201911271848利用先验知识来提取扣件感兴趣区域，该方法利用扣件之间的固定间距来分割扣件区域，但在实际情况中，道床之间的距离存在细小偏差，并不是绝对固定，长时间测量容易导致累计误差；同时又会受到类型种类众多、轨道环境中不确定的外界干扰的影响。依赖传统图像处理的处理方法鲁棒性弱，无法解决上述问题。因此迫切需要一种鲁棒性强、效率和准确度高的轨道扣件检测与分类方法。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于卷积神经网络的轨道扣件检测及分类方法，本发明基于图像处理、深度学习的方法自动定位扣件在图像中的位置，并对扣件型号进行分类，以解决现有扣件检测方法无法准确定位扣件位置、扣件类型分类准确率较低的问题。

为了解决上述技术问题，采用如下技术方案：

一种基于卷积神经网络的轨道扣件检测及分类方法，其特征在于包括以下步骤：

(a)采集轨道三维图像数据，先将所述三维图像数据进行图像预处理，然后将图像预处理后的所述三维图像数据分成训练集图像和测试集图像；

(b)构造新的faster-RCNN网络的网络层级结构，设置网络参数，并采用预训练模型对网络层的权重进行初始化；

(c)加载所述训练集图像，在深度学习平台上训练网络模型，通过迭代的方式，不断地降低网络输出值与实际真实值之间的误差，并达到预设迭代次数后停止迭代，得到最终的网络模型；

(d)输入所述测试集图像到所述的最终的网络模型中，获得所述测试集图像中扣件的坐标与类别。

进一步，在步骤(a)中，所述图像预处理的方法如下：

先采用线结构光相机获取轨道三维形貌数据，以轨道平面为深度图像的水平面基准，将所述轨道三维形貌数据转换成所述轨道二维深度图像，并对轨道二维深度图像精度进行压缩，从原来的float16位深度图像转化为uint8位深度图像，最后将二维深度图像进行缩放；

所述float16位深度图像转化为uint8位深度图像的转化公式如下：

其中，u(x,y)代表float16位深度图像中像素坐标(x,y)处的像素灰度值，v(x,y)代表uint8位深度图像中像素坐标(x,y)处的像素灰度值，floor代表对值向下取整。

进一步，在步骤(b)中，所述网络层级结构包括特征提取层、RPN层以及RCNN层，

所述特征提取层：用于提取轨道三维图像数据的特征提取；

所述RPN层：用于推理得到目标的预选框；

所述RCNN层：用于依据所述RPN层输出的每个预选框位置和特征提取层的输出中提取出其对应的特征图F

进一步，所述特征提取层包括依次通过的多个conv/bn/relu层和至少一个combination block层，

所述conv/bn/relu层采用卷积层、批标准化层和线性整流激活层的组合方式；

所述combination block层采用多个Inception网络结构组成。

进一步，在所述特征提取层中，经过所述conv/bn/relu层的处理，每一所述conv/bn/relu层的输出尺寸是输入所述conv/bn/relu层的1/2。

进一步，所述Inception网络结构的每层输入会分别进入3个分支，第1分支通过卷积核为1×1的conv/bn/relu层，第2分支先后通过卷积核为1×1的conv/bn/relu层和3×3的conv/bn/relu层，第3分支则先后通过卷积核为1×1的conv/bn/relu层和2组卷积核为3×3的conv/bn/relu层，3个分支最后在通道维度上进行合并，作为该层的最终输出。

进一步，最后一个所述conv/bn/relu层经过最大池化层下采样到原尺寸的1/2。

进一步，最后一个所述combination block层经过反卷积层上采样到原尺寸的2倍，并使用一个卷积核为1×1的卷积层对合并之后的特征层进行降维，输入到后续RPN层和RCNN层中。

进一步，所述RPN层用于推理得到目标的预选框的具体步骤如下：

首先计算预设锚框与已知图像中目标真实位置框之间的交并比IoU，根据经验阈值分别从所述预设锚框中筛选出正类框和负类框，抽样选取两者的一部分样本来训练分类器；

然后将训练得到的分类器用来预测所述目标的预选框，并通过最小化坐标误差对其位置信息进行修正，最后将该修正后的位置信息输入到RCNN层中。

进一步，所述RCNN层得到预测目标的类别概率P

由于采用上述技术方案，具有以下有益效果：

本发明为一种基于卷积神经网络的轨道扣件检测及分类方法，本发明构建了一个可以同步实现扣件检测和分类的神经网络模型，流程为端到端的，不需要额外存储，与传统算法相比，效率更高。

本发明可以通过一个模型文件检测多种不同类型的扣件，基于合理的模型搭建和大数据训练模型，可以有效应对多种复杂场景，包括道砟、道岔等多种状况的检测工作。相较于传统依据先验知识来定位感兴趣区域的方法，本发明的鲁棒性更好。

附图说明

下面结合附图对本发明作进一步说明：

图1为本发明中一种基于卷积神经网络的轨道扣件检测及分类方法的流程示意图；

图2为本发明中改进的faster-RCNN网络构造的新的网络层级结构图；

图3为本发明中Inception结构结构示意图；

图4为本发明中一种基于卷积神经网络的轨道扣件检测及分类方法的测试结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例1

如图1至图4所示，一种基于卷积神经网络的轨道扣件检测及分类方法，其特征在于包括以下步骤：

(a)采集轨道三维图像数据，先将所述三维图像数据进行图像预处理，然后将图像预处理后的所述三维图像数据分成训练集图像和测试集图像；

具体地，图像预处理的方法如下：先采用线结构光相机获取轨道三维形貌数据，以轨道平面为深度图像的水平面基准，将所述轨道三维形貌数据转换成所述轨道二维深度图像，并对轨道二维深度图像精度进行压缩，从原来的float16位深度图像转化为uint8位深度图像，最后将二维深度图像进行缩放，缩放成w×h大小。

所述float16位深度图像转化为uint8位深度图像的转化公式如下：

其中，u(x,y)代表float16位深度图像中像素坐标(x,y)处的像素灰度值，v(x,y)代表uint8位深度图像中像素坐标(x,y)处的像素灰度值，floor代表对值向下取整。

然后使用数据标注软件制作数据集。具体地，在本实施例中，该数据集共5400张图像，包括ZX-2型、DTVI-2型等4种类型的扣件，为了验证网络的识别精度，数据集被随机划分成训练集和测试集，两者的比例为7：3。

(b)构造新的faster-RCNN网络的网络层级结构，设置网络参数，并采用预训练模型对网络层的权重进行初始化。

具体地，在本实施例中，首先构建包含特征提取层，RPN层以及RCNN层的改进的faster-RCNN网络。

所述特征提取层：用于提取轨道三维图像数据的特征提取。

所述RPN层：用于推理得到目标的预选框。

RCNN层：用于依据所述RPN层输出的每个预选框位置和特征提取层的输出中提取出其对应的特征图Fproposal，得到预测目标的类别概率P

具体的，所述特征提取层包括依次通过的多个conv/bn/relu层和至少一个combination block层，

所述conv/bn/relu层采用卷积层、批标准化层和线性整流激活层的组合方式；

所述combination block层采用多个Inception网络结构组成。

在本实施例中，本发明设计改进的特征提取层由13组网络层组成，层级结构如附图2，其中第1-3网络层分别采用卷积层(convolution layer)+批标准化层(batchnormalization layer)+线性整流激活层(relu layer)的组合方式(后面用conv/bn/relu层代替)。即第1-3网络层均采用conv/bn/relu层。

具体的，在所述特征提取层中，经过所述conv/bn/relu层的处理，每一所述conv/bn/relu层的输出尺寸是输入所述conv/bn/relu层的1/2。这里所述的“每一所述conv/bn/relu层的输出尺寸是输入所述conv/bn/relu层的1/2”，指的是在每一层的特征提取中，长度变化为原来的1/2，从面积上变化为原来的1/4。

具体地，在本实施例中，本发明的第1-3网络层均采用conv/bn/relu层。

其中，第1层的输入为尺寸缩放后的二维深度图像；

具体地，在本实施例中，第4-13网络层分别采用Inception网络结构(如附图3)。即本实施例的第4-13网络层采用两个combination block层组成，每个combination block层采用5个Inception网络结构组成。

所述Inception网络结构的每层输入会分别进入3个分支，第1分支通过卷积核为1×1的conv/bn/relu层，第2分支先后通过卷积核为1×1的conv/bn/relu层和3×3的conv/bn/relu层，第3分支则先后通过卷积核为1×1的conv/bn/relu层和2组卷积核为3×3的conv/bn/relu层，3个分支最后在通道维度上进行合并，作为该层的最终输出。

具体地，在本实施例中，参看图3，假设第1层的输入尺寸1，经过3层conv/bn/relu层后，第3层的输出尺寸为1/8。经过第一个combination block层的特征处理，得到第8层的输出输出尺寸为1/16，同理经过第二个combination block层的特征处理，得到第13层的输出输出尺寸为1/32。

另外，最终输出的特征层由第3、8和13层的特征层在通道上合并得到，其中，第3层特征层需要经过最大池化层(max pooling layer)下采样到原尺寸的1/2，第8层特征层无需处理，第13层特征层需要经过反卷积层(deconvolution layer)上采样到原尺寸的2倍，最后使用一个卷积核为1×1的卷积层对合并之后的特征层进行降维，输入到后续RPN层和RCNN层中。

采用上述的多层网络层在实现特征提取、抽取高层语义特征信息的同时，下采样32倍也能有效控制输出特征层的权重参数，使之高效的运转。

RPN层用来推理得到目标的预选框。所述RPN层用于推理得到目标的预选框的具体步骤如下：首先计算预设锚框与已知图像中目标真实位置框之间的交并比IoU，根据经验阈值分别从预设锚框中筛选出正类框和负类框，抽样选取两者的一部分样本来训练分类器；然后将训练得到的分类器用来预测目标预选框，并通过最小化坐标误差对其位置信息进行修正，最后将该修正后的位置信息输入到RCNN层中。

在设置RPN层中的各个参数时，首先统计分析数据集中目标真实框的位置信息(轨道扣件在图像中的尺寸大小与长宽比)，依据该统计结果预先将锚框设置了m个不同的尺寸(scale)和n个不同的长宽比(ratio)，即针对图像数据中的(w/16)×(h/16)个特征点，每个特征点会生成m×n个锚框。各个参数的具体设置如表1下：

表1

RPN层的推理过程是首先计算预设锚框(anchor)与已知图像中目标真实位置框之间的交并比(IoU)，其中，认为IoU≥T

所述RCNN层得到预测目标的类别概率P

(c)加载所述训练集图像，在深度学习平台上训练网络模型，通过迭代的方式，不断地降低网络输出值与实际真实值之间的误差，并达到预设迭代次数后停止迭代，得到最终的网络模型；

具体地，在本实施例中，首先读取训练集图像，在深度学习平台上训练神经网络，在RPN层和RCNN层的训练过程中，通过反向传播链式法则来计算梯度，并通过梯度下降算法来优化网络权重参数，以此降低网络预测值与真实值之间的误差。

由于RPN层和RCNN层都包含了分类误差和坐标误差，以RPN层的误差为例(RCNN层同理可得)，设真实类别为N，真实坐标的集合为D＝{d

其中分类误差

其次，网络训练设置初始学习率为1.0×10

(d)输入所述测试集图像到最终的网络模型中，获得所述测试集图像中扣件的坐标与类别。

具体地，在本实施例中，为读取测试集数据，将测试图像输入到步骤(c)训练完成的最终模型中，将测试图像的输出与真实结果进行比对，可以计算出检测的准确率。按照本发明提出的方法对1620张数据进行检测和分类，扣件的检测率为99.8％，分类正确率为96.5％，网络预测时间为20ms。附图4为测试数据集中部分类别的测试效果图。绿框代表检出的预测框，数字3代表检出的扣件类型，其在数据集中对应的是国I型轨道扣件。

实施例2

与实施例1不同的点在于：设计有10层网络层，本实施例2设计的第1-4层为conv/bn/relu层，第5-10层由5个Inception网络结构组成的combination block层。

实施例3

与实施例1不同的点在于：设计有17层网络层，本实施例2设计的第1-2层为conv/bn/relu层，第3-7层由5个Inception网络结构组成的combination block层，第8-13层由5个Inception网络结构组成的combination block层，第13-17层由5个Inception网络结构组成的combination block层。

实施例4

与实施例1不同的点在于：设计有21层网络层，本实施例2设计的第1层为conv/bn/relu层，第2-6层由5个Inception网络结构组成的combination block层，第7-11层由5个Inception网络结构组成的combination block层，第12-16层由5个Inception网络结构组成的combination block层，第17-21层由5个Inception网络结构组成的combinationblock层。

以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此。任何以本发明为基础，为解决基本相同的技术问题，实现基本相同的技术效果，所作出地简单变化、等同替换或者修饰等，皆涵盖于本发明的保护范围之中。