一种铁路货车地板大面积破损故障识别方法、系统及装置

技术领域

本发明属于铁路货车地板破损故障识别技术领域，具体涉及一种铁路货车地板大面积破损故障识别方法、系统及装置。

背景技术

铁路货车在铁路货物运输中，有着举足轻重的作用，检查地板是否存在大面积破损故障，对货车的行车安全以及保证货物的完整运输非常重要。货车高速运行的过程中容易出现地板大面积破损的情况，如果不及时发现，将会严重的危及到行车安全，采用人工检查图像方式进行故障检测，检车人员在工作的过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。

发明内容

本发明的目的是为解决利用现有方法易造成漏检和错检的问题，而提出了一种铁路货车地板大面积破损故障识别方法、系统及装置。

本发明为解决上述技术问题所采取的技术方案是：

一种铁路货车地板大面积破损故障识别方法，该方法包括以下步骤：

步骤一、利用搭建在列车轨道周围的设备获取铁路货车的线阵图像；

步骤二、从步骤一获取的线阵图像中分别截取出转向架区域地板图像，车钩两边区域地板图像以及中间部区域地板图像；

步骤三、对步骤二中截取出的图像进行标记获得训练集；

步骤四、将训练集依次经过I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块，

利用训练集对I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块进行训练；

所述I-MobileNetv2网络模块是通过在MobileNetv2网络中加入特征交织模块获得的；

步骤五、从待检测的线阵图像中，划分出待检测的转向架区域地板图像，待检测的车钩两边区域地板图像以及待检测的中间部区域地板图像；

将划分出的图像依次经过训练好的I-MobileNetv2网络模块、训练好的自适应多尺度加权融合模块和训练好的空间金字塔池化模块，利用训练好的空间金字塔池化模块输出故障检测结果；

可选的，步骤三的具体过程为：

将截取出的图像中的水渍、油渍、脚蹬以及涂漆标记为负样本，将截取出的图像中的破损标记为正样本，标记后的图像组成训练集；

可选的，特征交织模块的工作过程为：

所述特征交织模块包括第一卷积层、N个并联的通道以及第二卷积层；

特征交织模块的输入首先经过第一卷积层，将第一卷积层输出的特征均分为N组特征后，将第i组特征表示为x

将全部的N个通道的输出进行融合后，将N个通道输出的融合结果经过第二卷积层，第二卷积层的输出与特征交织模块的输入进行融合，获得特征交织模块的输出；

可选的，I-MobileNetv2网络模块的工作过程具体为：

步骤1、将训练集图像的尺寸还原到416×416×3后，将尺寸还原后的图像作为I-MobileNetv2网络模块的输入，经过一次卷积后获得尺寸为208×208×32的特征图；

步骤2、对步骤1得到的特征图进行两次bottleneck计算后，得到尺寸为104×104×24的特征图；

步骤3、对步骤2得到的特征图进行一次特征交织模块的计算，得到新的尺寸为104×104×24的特征图；

步骤4、对步骤3得到的特征图进行一次bottleneck计算，得到尺寸为52×52×32的特征图；

步骤5、对步骤4得到的特征图进行一次特征交织模块的计算，得到新的尺寸为52×52×32的特征图；

步骤6、步骤5得到的特征图依次经过两次bottleneck计算后，得到尺寸为26×26×96的特征图；

步骤7、对步骤6得到的特征图进行一次特征交织模块的计算，得到新的尺寸为26×26×96的特征图；

步骤8、步骤7得到的特征图依次经过两次bottleneck计算后，得到尺寸为13×13×320的特征图；

步骤9、对步骤8得到的特征图进行一次特征交织模块的计算，得到新的尺寸为13×13×320的特征图；

步骤10、对步骤9得到的特征图进行一次卷积运算，得到尺寸为13×13×1280的特征图；

可选的，自适应多尺度加权融合模块的工作过程为：

将步骤4得到的特征图表示为X

对特征图X

其中，w

可选的，空间金字塔池化模块的工作过程为：

将X

每个池化后的特征图均与降维后特征图进行合并，得到三个合并后的特征图，再对三个合并后的特征图进行融合，即获得X

同理，得到X

再对X

可选的，bottleneck的计算过程为：

从输入端开始，bottleneck内部依次包括：扩展层、批标准化层、激活函数层、深度卷积层、批标准化层、激活函数层、映射层和批标准化层；bottleneck的输入特征图依次经过bottleneck的各层后，将最后一层的输出结果与bottleneck的输入进行融合，获得bottleneck输出的特征图；

可选的，空间金字塔池化模块输出的结果为地板故障且得分大于第一阈值时，则根据空间金字塔池化模块输出的故障位置计算故障区域的面积，若计算出的面积大于设置的第二阈值，则发生地板大面积破损故障；否则未发生地板大面积破损故障。

一种铁路货车地板大面积破损故障识别系统，用于执行一种铁路货车地板大面积破损故障识别方法。

一种铁路货车地板大面积破损故障识别装置，用于存储和/或运行一种铁路货车地板大面积破损故障识别系统。

本发明的有益效果是：

本发明利用图像自动识别的方式代替人工检测，提高检测效率和准确率，避免出现漏检和错检。

本发明利用轴距的位置，对转向架，车钩两侧以及中间部的地板进行分区域截取，能一定程度的减少其他部件造成的误报。

本发明在MobileNetv2轻量化网络的基础上加入通道特征交织模块来设计骨干网络，有效地增强了轻量化骨干网络的特征表达，获得更多有效的特征信息，增加检测的准确度。通过提出自适应多尺度加权特征融合模块，通过对不同尺度的特征进行权重分配，来学习各个尺度特征之间的相关性，能获得更多货车地板图像的图像特征，提高故障检测的泛化能力。

本发明通过空间金字塔池化结构来获取不同感受野的上下文信息，保持较高目标检测精度和检测速度的同时，具有较低的计算复杂度和较小的参数量。

附图说明

图1为本发明方法的流程图；

图2为bottleneck的计算过程图；

图中，Expansion Layer为扩展层、Batch Normalization为批标准化层、Relu6为激活函数层、Depthwise Convolution为深度卷积层、Projection Layer为映射层；

图3为特征交织模块的计算流程图；

图4为空间金字塔池化模块的工作流程图；

图5为自适应多尺度加权特征融合流程图；

图中，Adaptive fusion为自适应融合，Weight fusion为加权融合；

图6为本发明的整体网络结构图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一、结合图1说明本实施方式。本实施方式的一种铁路货车地板大面积破损故障识别方法，该方法具体通过以下步骤实现：

步骤一、利用搭建在列车轨道周围的设备获取铁路货车的线阵图像；

采用线扫描的方式，可以形成视野广、精度高的二维图像；

步骤二、从步骤一获取的线阵图像中分别截取出转向架区域地板图像，车钩两边区域地板图像以及中间部区域地板图像；

将车轴的位置作为参考，来截取出各区域的图像，可以减少整车侧部和底部地板图像处理所占用的时间，提升识别准确率；在整个地板区域中，除了转向架区域地板图像以及车钩两边区域地板图像之外的部分就是中间部区域地板图像。

步骤三、对步骤二中截取出的图像进行标记获得训练集；

步骤四、将训练集依次经过I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块，利用训练集对I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块进行训练；

所述I-MobileNetv2网络模块是通过在MobileNetv2网络中加入特征交织模块获得的；

步骤五、从待检测的线阵图像中，划分出待检测的转向架区域地板图像，待检测的车钩两边区域地板图像以及待检测的中间部区域地板图像；

将划分出的图像依次经过训练好的I-MobileNetv2网络模块、训练好的自适应多尺度加权融合模块和训练好的空间金字塔池化模块，利用训练好的空间金字塔池化模块输出故障检测结果。

对故障进行上传报警，工作人员根据识别结果进行相应的处理，保证列车安全运行。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤三的具体过程为：

将截取出的图像中的水渍、油渍、脚蹬以及涂漆标记为负样本，将截取出的图像中的破损标记为正样本，标记后的图像组成训练集。

由于货车在运行的过程中经常碰见下雨、冰雪天气，并且地板可能会存在漏油现象，造成地板中有大面积水渍和油渍，在图像上经常会干扰地板大面积破损故障的检测，因此对地板子图像中的水渍、油渍还有脚蹬等货车部件进行标记；当列车运行的过程中发生小面积破损时，会给地板进行修补，修补部分经常因为涂漆，和大面积破损故障比较接近，所以标记时，将修补地板部分标记为单独的一类；同时根据货车线上运行出现的历史地板大面积破损的真实故障进行标记，作为样本集合，进行模型的训练。

具体实施方式三：结合图3说明本实施方式。本实施方式与具体实施方式二不同的是：特征交织模块的工作过程为：

所述特征交织模块包括第一卷积层、N个并联的通道以及第二卷积层；

特征交织模块的输入首先经过第一卷积层，将第一卷积层输出的特征均分为N组特征后，将第i组特征表示为x

将全部的N个通道的输出进行融合后，将N个通道输出的融合结果经过第二卷积层，第二卷积层的输出与特征交织模块的输入进行融合，获得特征交织模块的输出。

通过将同一层内不同通道组之间的特征图建立连接，在重用了该层的部分信息的同时，还使用了同一层的特征图，这样包含了不同感受野的特征，对原有的MobileNetv2网络进行了增强，增强了多尺度特征的表达能力。

具体实施方式四：本实施方式与具体实施方式三不同的是：I-MobileNetv2网络模块的工作过程具体为：

步骤1、将训练集图像的尺寸还原到416×416×3后，将尺寸还原后的图像作为I-MobileNetv2网络模块的输入，输入经过一次卷积后获得尺寸为208×208×32的特征图；

步骤2、对步骤1得到的特征图进行两次bottleneck计算后，得到尺寸为104×104×24的特征图，其bottleneck计算过程如图2所示；

步骤3、对步骤2得到的特征图进行一次特征交织模块的计算，得到新的尺寸为104×104×24的特征图，其进行特征交织模块的计算流程如图3所示；

步骤4、对步骤3得到的特征图进行一次bottleneck计算，得到尺寸为52×52×32的特征图；

步骤5、对步骤4得到的特征图进行一次特征交织模块的计算，得到新的尺寸为52×52×32的特征图；

步骤6、步骤5得到的特征图依次经过两次bottleneck计算后，得到尺寸为26×26×96的特征图；

步骤7、对步骤6得到的特征图进行一次特征交织模块的计算，得到新的尺寸为26×26×96的特征图；

步骤8、步骤7得到的特征图依次经过两次bottleneck计算后，得到尺寸为13×13×320的特征图；

步骤9、对步骤8得到的特征图进行一次特征交织模块的计算，得到新的尺寸为13×13×320的特征图；

步骤10、对步骤9得到的特征图进行一次卷积运算，得到尺寸为13×13×1280的特征图。

具体实施方式五：本实施方式与具体实施方式四不同的是：自适应多尺度加权融合模块的工作过程为：

将步骤4得到的特征图表示为X

对特征图X

其中，ω

其自适应多尺度加权特征融合流程如图5所示。

为了更好的进行特征融合，本发明中采用自适应多尺度加权特征融合模块对原始的FPN进行改进，在特征融合的过程中，为每个尺度的输入特征增加一个额外的权重，用以学习每个尺度输入特征的重要性。

定义第l个尺度的特征图为X

将不同尺度的特征图调整为统一尺寸之后，为了让网络自动学习不同尺度特征之间的重要性，将三个尺度的特征进行加权特征融合操作，对于尺度l，融合后的特征F

其中F

具体实施方式六：本实施方式与具体实施方式五不同的是：空间金字塔池化模块的工作过程为：

将X

每个池化后的特征图均与降维后特征图进行合并，得到三个合并后的特征图，再对三个合并后的特征图进行融合，即获得X

同理，得到X

再对X

其空间金字塔池化的过程如图4所示。

通过空间金字塔池化结构将主干网络输出的特征信息进行多尺度特征融合。为了降低池化后数据拼接的维度，先利用1×1卷积将13×13×1280大小输出特征图降维到13×13×520，然后经过三种不同大小的采样核池化，最后将原始特征与池化后的特征在通道级进行合并。选择5，9，13三种池化尺度，为了保证输出特征图的大小不变，选择池化操作步长为1，同时对图像进行填充。通过空间金字塔模块实现了局部特征和全局特征的融合，进一步提升了特征图的表达能力。

通过空间金字塔池化结构将主干网络输出的特征信息进行多尺度特征融合的具体结合网络结构如图6所示。

具体实施方式七：结合图2说明本实施方式。本实施方式与具体实施方式六不同的是：bottleneck的计算过程为：

从输入端开始，bottleneck内部依次包括：扩展层、批标准化层、激活函数层、深度卷积层、批标准化层、激活函数层、映射层和批标准化层；bottleneck的输入特征图依次经过bottleneck的各层后，将最后一层的输出结果与bottleneck的输入进行融合，获得bottleneck输出的特征图。

具体实施方式八：本实施方式与具体实施方式七不同的是：空间金字塔池化模块输出的结果为地板故障且得分大于第一阈值时，则根据空间金字塔池化模块输出的故障位置计算故障区域的面积，若计算出的面积大于设置的第二阈值，则发生地板大面积破损故障；否则未发生地板大面积破损故障。

本实施方式中，第一阈值根据故障训练识别过程中的经验来设定，第二阈值根据故障检测的标准来设定。

检测得到图像中有目标属于地板丢失类的故障并且得分score大于阈值，同时，判断的地板大面积丢失故障类的长宽均大于设定的阈值，将认为该图像是中有大面积地板丢失故障，同时得到该故障位置的box(左上点和右下点的坐标)，将该位置映射到整个列车图像坐标上，生成故障类别和故障位置的报文信息，并上传到报警平台。

具体实施方式九：本实施方式的一种铁路货车地板大面积破损故障识别系统，该系统用于执行具体实施方式一至具体实施方式八之一的一种铁路货车地板大面积破损故障识别方法。

具体实施方式十：本实施方式的一种铁路货车地板大面积破损故障识别装置，该装置用于存储和/或运行具体实施方式九的一种铁路货车地板大面积破损故障识别系统。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。