基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统

技术领域

本发明涉及基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统。

背景技术

铁路货车的连接拉杆是手制动系统的一部分，起着连接闸调器与固定转换杠杆的作用。若连接拉杆出现故障，可能导致手制动失效，使列车在遇到突发情况时无法紧急制动，引发安全事故。而对于目标检测技术，现有技术包括：传统图像处理检测零部件异常、深度学习中的基于目标检测和物体识别检测零部件异常。目前的目标检测存在以下问题：

传统图像处理检测零部件异常需要人工设计激励特征，工作量大且鲁棒性较低，同时基于滑动窗口的区域选择策略没有针对性，时间复杂度高。

发明内容

本发明的目的是为了解决传统图像处理检测零部件异常需要人工设计激励特征，工作量大且鲁棒性较低，同时基于滑动窗口的区域选择策略没有针对性，时间复杂度高的问题，而提出基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统。

基于深度学习的铁路货车连接拉杆折断故障识别方法具体过程为：

步骤一、构建Faster RCNN网络模型：

Faster RCNN网络模型依次包括resnet50网络、区域建议网络RPN、多重特征金字塔网络和目标检测网络Fast RCNN；

区域建议网络RPN用于获取目标候选区域以及多个锚框的位置信息；

目标检测网络Fast RCNN用于获取目标的位置和相应的概率；

步骤二、对Faster RCNN网络进行训练，获得训练好的Faster RCNN网络；具体过程为：

步骤二一、将训练集中的图像输入Faster RCNN网络，Faster RCNN网络中resnet50网络对图像提取特征，将提取的特征输入区域建议网络RPN，区域建议网络RPN输出特征输入多重特征金字塔网络，输出多个锚框的位置信息；

图像为铁路货车连接拉杆图像；

步骤二二、将多重特征金字塔网络结构输出的多个锚框的位置信息输入目标检测网络Fast RCNN，将目标检测网络Fast RCNN中的IoU替换为交并比CIoU，使用交并比CIoU计算二一得到的锚框的位置信息和带标签的锚框的位置信息的重合度，选取重合度最高的锚框作为最优锚框；

步骤二三、若最优锚框为异常图像，则最优锚框的位置的特征图为异常图像；

若最优锚框为正常图像，则使用异常检测模型对最优锚框的位置信息进行检测，判断最优锚框的位置的特征图是否为正常图像；

步骤二四、直至收敛获得训练好的Faster RCNN网络；

步骤三、将待测试图像输入到训练好的Faster RCNN网络，获得铁路货车连接拉杆是否发生故障。

优选地，训练集获取过程为：

a、获取铁路货车线阵图像，基于铁路货车线阵图像获取图像子图；

b、对图像子图进行图像增强，对增强后的图像子图进行去噪处理，获得去噪处理后的图像子图；

c、基于去噪处理后的图像子图构建训练集。

优选地，a中获取铁路货车线阵图像，基于铁路货车线阵图像获取图像子图；具体过程为：

获取铁路货车线阵图像，并根据先验知识对货车存在连接拉杆的位置进行提取，得到包含连接拉杆的子图。

优选地，b中对图像子图进行图像增强，对增强后的图像子图进行去噪处理，获得去噪处理后的图像子图；具体过程为：

对步骤一获取的图像子图进行图像增强；

采用高斯滤波对增强后的图像子图进行处理，过滤噪声。

优选地，c中基于去噪处理后的图像子图构建训练集；具体过程为：

利用LabelImg工具，对增强去噪后的图像子图中连接拉杆、连接拉杆与闸调器连接处、连接拉杆与固定转换杠杆连接处区域图像进行标记，构建训练集。

优选地，步骤二一中多重特征金字塔网络结构如下：

第一轮运算，首先对第一层的特征X

输出特征f

f

x

其中，B

从第二轮运算开始，将特征金字塔每融合后的特征反馈给原始特征，将反馈次数设置为超参T，则此时输出特征f

其中R

B

上标t表示第t轮的运算与特征，t∈{2,...,T}；

得到多个锚框的位置信息。

优选地，步骤二三中异常检测模型具体为：

将正常图像特征的分布映射到正态分布，其中异常图像特征的分布会映射在正态分布外，异常检测模型如下：

P＝{P

其中P为异常检测模型，θ为异常检测模型Ω中的参数；P

将正常图像的特征分布定义为P

其中，x∈X，X为正常图像的特征集合；z∈Z，Z为正常图像的特征集合X的投影特征；det(·)表示双射可逆映射中的雅可比矩阵，x表示图像特征集合X中单张图像的特征；z表示x对应的投影特征；

根据映射函数

异常图像的特征在正态分布之外，计算异常图像特征的对数似然，得到分数；

对每个图像的分数进行求和，获得每个图像的最终的分数，若某个图像最终的分数大于一定的值，则判断为异常图像；若某个图像最终的分数小于等于一定的值，则判断为正常图像。

优选地，异常检测模型Ω为全卷积网络FCN。

优选地，步骤三中将待测试图像输入到训练好的Faster RCNN网络，获得铁路货车连接拉杆是否发生故障；具体过程为：

若网络输出的类别信息中不存在连接拉杆类或存在连接拉杆折断类，则存在连接拉杆折断故障，进行报警。

基于深度学习的铁路货车连接拉杆折断故障识别系统用于执行基于深度学习的铁路货车连接拉杆折断故障识别方法。

本发明的有益效果：

利用在货车轨道两侧的高清成像设备，对高速运动的货车进行拍摄，获取货车侧部的高清图像。将自动识别技术引入货车故障检测，实现故障自动识别及报警，人工只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率；提出了多重特征金字塔结构，将第一次特征金字塔得到的特征进行反馈，提高模型检测效果；

本发明引入了异常检测机制，提高网络鲁棒性，解决传统图像处理检测零部件异常需要人工设计激励特征，工作量大且鲁棒性较低的问题；

本发明使用完全交并比代替普通交并比，提高对锚框距离以及形状的敏感性，解决现有基于滑动窗口的区域选择策略没有针对性，时间复杂度高的问题。

附图说明

图1为本发明故障识别流程图；

图2为货车侧部线阵图像；

图3为连接拉杆子图；

图4为Faster RCNN网络结构图；

图5为多重特征金字塔结构图；

图6为T＝2时多重特征金字塔结构图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：结合图1说明本实施方式，本实施方式基于深度学习的铁路货车连接拉杆折断故障识别方法具体过程为：

步骤一、构建Faster RCNN网络模型：

Faster RCNN网络模型依次包括resnet50网络、区域建议网络RPN、多重特征金字塔网络和目标检测网络Fast RCNN；

Faster RCNN网络模型依次包括resnet50网络、区域建议网络RPN、多重特征金字塔网络和目标检测网络Fast RCNN；

区域建议网络RPN用于获取目标候选区域以及多个锚框的位置信息；

目标检测网络Fast RCNN用于获取目标的位置和相应的概率；

多重特征金字塔网络FPN用于提高位置信息的准确性；

本发明采用Faster RCNN网络作为检测网络，整体网络结构如图3所示。FasterRCNN有区域建议网络(RPN)和目标检测网络Fast RCNN组成。Faster RCNN采用交替训练使两个网络共享卷积层，区域建议网络采用“注意力”机制产生候选区域，并利用Fast RCNN进行目标检测。

1)区域建议网络的基本思想是在特征图中找到所有可能的目标候选区域，以任意大小的图像作为输入，输出一组矩形的目标提议。为了生成区域提议，将输入特征映射的n×n空间窗口作为输入，每个滑动窗口映射到一个低维特征，并被输入到边框回归层和分类层。区域建议网络在每个滑动位置预测多个区域提议，预测不同尺度和长宽的候选区域，在原始的网络中，每个滑动窗口产生9种锚框，包括边长为128,256和512三种尺度以及1:1、1:2和2:1三种比例。

2)Fast RCNN目标检测网络的基本思想是得到最终物体的位置和相应的概率。检测网络与区域建议网络相同，都是利用卷积层对图像进行特征提取，因此与区域建议网络共享权值。其中，分类损失如下：

L

其中，p

回归损失如下：

L

其中，t

其中，N

步骤二、对Faster RCNN网络进行训练，获得训练好的Faster RCNN网络；具体过程为：

在本发明中，对网络的优化分为使用多重特征金字塔结构、异常检测与优化交并比三部分。

步骤二一、将训练集中的图像输入Faster RCNN网络，Faster RCNN网络中resnet50网络对图像提取特征，将提取的特征输入区域建议网络RPN，区域建议网络RPN输出特征输入多重特征金字塔网络，输出多个锚框的位置信息；

图像为铁路货车连接拉杆图像；

步骤二二、将多重特征金字塔网络结构输出的多个锚框的位置信息输入目标检测网络Fast RCNN，将目标检测网络Fast RCNN中的IoU替换为交并比CIoU，使用交并比CIoU计算步骤二一得到的锚框的位置信息和带标签的锚框的位置信息的重合度，选取重合度最高的锚框作为最优锚框；

在一般Faster-RCNN网络中，利用IoU计算重合情况其计算方式如下：

其中，A与B分别表示候选框区域与原标记框区域。原始的IoU计算方式有明显的不足，如两个区域没有相交时，无法比较两个图像的距离远近，还有无法体现两个图像到底是如何相交的等。因此本发明中使用了更全面的CIoU，计算公式如下：

其中，b、b

/>

其中，ω、h、ω

步骤二三、若最优锚框为异常图像，则最优锚框的位置的特征图为异常图像；

若最优锚框为正常图像，则使用异常检测模型对最优锚框的位置信息进行检测，判断最优锚框的位置的特征图是否为正常图像；

步骤二四、直至收敛获得训练好的Faster RCNN网络；

步骤三、将待测试图像输入到训练好的Faster RCNN网络，获得铁路货车连接拉杆是否发生故障；具体过程为：

若网络输出的类别信息中不存在连接拉杆类或存在连接拉杆折断类，则可能存在连接拉杆折断故障，进行报警。整体流程如图1所示。

具体实施方式二：本实施方式与具体实施方式一不同的是，训练集获取过程为：

a、获取铁路货车线阵图像，基于铁路货车线阵图像获取图像子图；

b、对图像子图进行图像增强，对增强后的图像子图进行去噪处理，获得去噪处理后的图像子图；

c、基于去噪处理后的图像子图构建训练集。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，a中获取铁路货车线阵图像，基于铁路货车线阵图像获取图像子图；具体过程为：

获取铁路货车线阵图像(如图2)，并根据先验知识对货车存在连接拉杆的位置进行提取，得到包含连接拉杆的子图(如图3)，子图图像的获取可有效减少故障识别所需时间、区分不同的故障并降低环境背景干扰，提升识别准确率。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，b中对图像子图进行图像增强，对增强后的图像子图进行去噪处理，获得去噪处理后的图像子图；具体过程为：

对步骤一获取的图像子图进行图像增强；

针对相机拍摄时可能出现的椒盐噪声等干扰，采用高斯滤波对增强后的图像子图进行处理，过滤噪声；

高斯滤波公式：

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，c中基于去噪处理后的图像子图构建训练集；具体过程为：

利用LabelImg工具，对增强去噪后的图像子图中连接拉杆、连接拉杆与闸调器连接处、连接拉杆与固定转换杠杆连接处等区域图像进行标记，构建训练集。

其中，对连接拉杆与闸调器连接处、连接拉杆与固定转换杠杆连接处等位置的标记是为了提高网络的准确性。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤二一中多重特征金字塔网络结构如下：

多重特征金字塔结构；多重特征金字塔结构如图5所示，与一般特征金字塔的区别在于将得到的特征进行反馈叠加。多重特征金字塔可以将图像的信息进行反复利用，同时更能注意到具有分辨性的重点区域。

对于特征金字塔，特征提取过程如下：

在第一轮运算中，首先对第一层的特征X

输出特征f

f

x

其中，B

在多重特征金字塔中，第一轮的操作与一般特征金字塔完全相同；

第一轮运算，首先对第一层的特征X

输出特征f

f

x

其中，B

区别在于在之后的运算中，先将主干网络的特征与上一轮得到的输出特征相加。如先将上一轮的特征进行一次特征变换R

从第二轮运算开始，多重特征金字塔结构在特征金字塔结构的基础上增加了反馈连接，将特征金字塔每融合后的特征反馈给原始特征，多重特征金字塔的输出特征f

f

x

其中R

B

考虑到反馈次数会影响模型速率，将反馈次数设置为超参T，则此时输出特征f

其中R

B

特征金字塔结构分左右2部分主干网络；左边主干网络自下而上为第1层、第2层、第i层、第S-1层、第S层；右边主干网络自上而下为第S层、第S-1层、第i层、第2层、第1层；

上标t表示第t轮的运算与特征，t∈{2,...,T}。当T＝2时，多重特征金字塔结构如图6所示。

得到多个锚框的位置信息。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤二三中异常检测模型具体为：

与一般检测目标不同的是，铁路货车的连接拉杆属于刚体，不同列车的连接拉杆较为相似，因此可以利用异常检测进行故障检测。在异常检测模块中，只对正常图像进行训练，从正常图像中提取判别特征向量，构造分布，并根据测试图像的分布的距离计算异常得分。

在本专利中，提出将高维视觉特征投影到标准正态分布中的异常检测方法。

将正常图像特征的分布映射到正态分布，其中异常图像特征的分布会映射在正态分布外，异常检测模型如下：

P＝{P

其中P为异常检测模型，θ为异常检测模型Ω(参数空间Ω)中的参数，为网络的主要学习参数，Ω为参数空间，深度学习通过梯度下降、反向传播方式优化异常检测模型Ω(参数空间Ω)中的参数，包括卷积核尺寸、步长、卷积核的值等；θ为网络的主要学习参数；P

将正常图像的特征分布定义为P

其中，x∈X，X为正常图像的特征集合；z∈Z，Z为正常图像的特征集合X的投影特征；z属于正态分布N(0,1)，det(·)表示双射可逆映射中的雅可比矩阵，x表示图像特征集合X中单张图像的特征；z表示x对应的投影特征；

根据映射函数

异常图像的特征在正态分布之外，计算异常图像特征的对数似然，得到分数，异常图像特征的对数似然具有比正常图像更低的似然，并且该似然可以用作异常分数；

对每个图像的分数进行求和，获得每个图像的最终的分数(类比于正常图像的RGB三个通道，深度学习中每有一个卷积核，便会得到一个通道。)，若某个图像最终的分数大于一定的值，则判断为异常图像；若某个图像最终的分数小于等于一定的值，则判断为正常图像。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，异常检测模型Ω为全卷积网络FCN。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，步骤三中将待测试图像输入到训练好的Faster RCNN网络，获得铁路货车连接拉杆是否发生故障；具体过程为：

若网络输出的类别信息中不存在连接拉杆类或存在连接拉杆折断类，则可能存在连接拉杆折断故障，进行报警。整体流程如图1所示。

其它步骤及参数与具体实施方式一至八之一相同。

具体实施方式十：本实施方式基于深度学习的铁路货车连接拉杆折断故障识别系统用于执行基于深度学习的铁路货车连接拉杆折断故障识别方法。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。