铁路货车钩尾框托板脱落识别方法

技术领域

本发明涉及图像识别技术领域，具体为铁路货车钩尾框托板脱落识别方法。

背景技术

在铁路安全方向，传统的方法为探测设备拍到照片后，通过人工观察找到列车的故障点所在。这种方法可以在车行进中进行故障检测，而无需停靠。但是使用人工观察存在易疲劳、强度大、需要培训等缺点。

发明内容

本发明的目的是：针对现有技术中当钩尾框托板脱落时，人工很难准确的判断钩尾框托板是否脱落的问题，提出铁路货车钩尾框托板脱落识别方法。

本发明为了解决上述技术问题采取的技术方案是：

铁路货车钩尾框托板脱落识别方法，包括以下步骤：

步骤一：获取2D线阵过车图像；

步骤二：在2D线阵过车图像中截取车钩部位子图；

步骤三：对截取到的车钩部位子图中钩尾框托板和各个螺母进行标记，并将标记后的车钩部位子图作为数据集一；

步骤四：利用数据集一训练Faster_R_Cnn网络模型；

步骤五：利用训练好的Faster_R_Cnn网络模型对待检测图像进行识别，若识别结果为钩尾框托板和各个螺母都存在时，则认为正常，若检测不到钩尾框托板时，则认为存在故障，进行报警，若钩尾框托板存在，螺母有缺失时，则通过判定钩尾框托板的偏移角度判断是否为故障。

进一步的，通过判定钩尾框托板的偏移角度判断是否为故障的具体步骤为：

首先求取钩尾框托板左右两边与水平方向的夹角，当钩尾框托板左右两边中任意一边与水平方向的夹角小于80度或者大于100度时，则认定为钩尾框托板脱落故障。

进一步的，求取钩尾框托板左右两边与水平方向的夹角的具体步骤为：

步骤五一：根据Faster_R_Cnn网络模型得到钩尾框托板位置，进而得到钩尾框托板中心位置，以钩尾框托板中心位置为矩形中心向外扩展得到矩形框，并使钩尾框托板位于该矩形框内；

步骤五二：将扩展后的矩形框的四个角点按顺序进行标记，并将四个角点标记好的矩形框图像进行归一化处理，然后将归一化处理后的图像作为数据集二；

步骤五三：利用数据集二训练四边形检测网络模型；

步骤五四：根据Faster_R_Cnn检测到的结果截取钩尾框托板子图像输入到训练好的四边形检测网络模型中，得到四个角点的位置、四个角点的采样误差以及四个角点相对于图像中心点的位移，

当预测到的四个角点全部位于钩尾框托板子图像内时，将预测到的四个角点按顺序连接，并加上采样误差得到的矩形框为最终矩形框，

当预测到的四个角点并未全部位于钩尾框托板子图像内时，根据预测到的四个角点相对于图像中心点的位移得到位移后的四个角点，并将位移后的四个角点按顺序连接，得到的矩形框为最终矩形框，

最终矩形框的左右两条边与水平方向的夹角，即钩尾框托板左右两边与水平方向的夹角。

进一步的，步骤五二中使用labelme进行标记。

进一步的，四边形检测网络模型用于执行如下步骤：

第一步，特征提取

使用resnet18作为baseline，进行下采样4倍的X4尺寸为128*128，下采样8倍的X8尺寸为64*64，下采样16倍的X16尺寸为32*32，下采样32倍的X32尺寸为16*16，得到四个特征图，并将四个特征图作为不同尺度的特征；

第二步，上采样特征融合

根据特征提取得到的四个特征，首先将下采样尺寸为16*16的特征图X32输入到CBR模块中，对CBR模块的输出进行反卷积上采样得到尺寸为32*32的X32_up特征图；将下采样尺寸为32*32的特征图X16输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为64*64的X16_up特征图；将下采样尺寸为64*64的特征图X8输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为128*128的X8_up特征图，CBR模块包含Conv2d、BatchNormal2d和Relu；

将X32_up特征图与X16特征图相加后输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为64*64的X32_up_up特征图；将X16_up特征图与X8特征图相加后输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为128*128的X16_up_up特征图；

将X32_up_up特征图与X16_up特征图相加后输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为128*128的X32_up_up_up特征图；

最终将特征图X4、特征图X8_up、特征图X16_up_up、特征图X32_up_up_up相加得到最终的融合特征feature；

第三步：四边形预测部分

共分为3个分支

(1)、将feature进行Conv2d、Relu和Conv2d(4)得到shape为128，128，4的feature0，将feature0作为最终特征进行角点位置预测；

(2)、将feature进行Conv2d、Relu和Conv2d(8)得到shape为128，128，8的feature1，将feature1作为最终特征进行角点采样误差预测；

(3)、将feature进行Conv2d、Relu和Conv2d(8)得到shape为128，128，8的feature2，将feature2作为最终特征进行四个角点相对于图像中心点的位移预测。

进一步的，步骤二中截取车钩部位子图通过先验知识与硬件数据、车钩信息进行。

进一步的，步骤三中对钩尾框托板和各个螺母进行标记通过labelImg进行。

进一步的，四个角点的位置通过高斯核函数得到，高斯核函数的公式为：

y

上式中p

进一步的，采样误差表示为：

down_off＝(x％4,y％4)

上式中down_off为采样误差，x，y为目标角点的位置，％4为除4取余数，down_off取值区间为[0,1]。

进一步的，四个角点相对于图像中心点的位移表示为：

(x_off,y_off)＝((x

上式中x_off为水平位移量，y_off为竖直位移量，区间为(-1,1)，x

本发明的有益效果是：

1、利用图像识别技术进行故障识别，解放人力，大大减少人工的作业量，增加故障识别的发现率及准确率。

2、本申请通过双网络进行故障判别，故障识别更精确。

3、根据故障形态设计了一种四边形检测网络，可以得到目标的角度，根据角度对故障进行判别。

4、四边形检测网络基于Faster_R_Cnn所检测到的信息，使网络更加准确且结构更小更快。

附图说明

图1为本发明中数据集2图像截取示意图；

图2为本发明特征图获取上采样示意图；

图3为四点预测示意图；

图4为本发明具体实施方式三的流程图；

图5为本发明的流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图5具体说明本实施方式，本实施方式的铁路货车钩尾框托板脱落识别方法，包括以下步骤：

步骤一：获取2D线阵过车图像；

步骤二：在2D线阵过车图像中截取车钩部位子图；

步骤三：对截取到的车钩部位子图中钩尾框托板和各个螺母进行标记，并将标记后的车钩部位子图作为数据集一；

步骤四：利用数据集一训练Faster_R_Cnn网络模型；

步骤五：利用训练好的Faster_R_Cnn网络模型对待检测图像进行识别，若识别结果为钩尾框托板和各个螺母都存在时，则认为正常，若检测不到钩尾框托板时，则认为存在故障，进行报警，若钩尾框托板存在，螺母有缺失时，则通过判定钩尾框托板的偏移角度判断是否为故障。

图像获取

在固定的探测站点获取2D线阵过车图像，使用不同的站点以及不同相机、长时间采集不同时间、不同天气的图像。保证数据的多样性，可以提高最终设计算法的稳定性。

样本子图粗截取

通过使用先验知识与硬件数据、车钩信息等，在整车图像中截取车钩部位的图像，该图像包含钩尾框托板部位，截取小图以后可以加快程序识别速度。

故障识别方法

根据车钩及轴距信息截取子图1，在截取到的子图1上使用Faster_R_Cnn进行目标检测，检测正常螺母以及螺母丢失，以及托板位置。当检测到的钩尾框托板存在且螺母个数正常且检测不到螺母丢失种类时，判断该钩尾框托板为正常；当检测不到钩尾框托板时，程序报警；当检查到钩尾框托板存在，但检测到的螺母数量不足时，进行钩尾框托板角度判断，进一步识别故障防止故障漏报警。

根据Faster_R_Cnn检测到托板的位置，以钩尾框托板所在的中心位置向四周等距扩展截图，如图1所示截取512*512的子图2。将子图2输入四边形检测网络，得到检测到的目标的上下左右端点坐标。

连接左上、左下，右上、右下即可得到托板的左右两边，从而计算出托板左右两边的角度。根据角度对故障进行判别。

故障识别整体流程

当货车通过探测基站时，相机获取2D线阵图像，硬件获取轴距信息。使用轴距信息截包含目标的子图，将子图输入到Faster_R_Cnn网络中，若托板及螺母正常则进行下一张图像检测，若检测到螺母丢失或检测不到托板则报警，否者进入四边形检测网络，检测出托板的左右边的角度，根据角度进行判别，若判别为故障则输出报警信息，若识别结果为无故障则识别下一张直到全部识别结束。

具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是通过判定钩尾框托板的偏移角度判断是否为故障的具体步骤为：

首先求取钩尾框托板左右两边与水平方向的夹角，当钩尾框托板左右两边中任意一边与水平方向的夹角小于80度或者大于100度时，则认定为钩尾框托板脱落故障。

具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是求取钩尾框托板左右两边与水平方向的夹角的具体步骤为：

步骤五一：根据Faster_R_Cnn网络模型得到钩尾框托板位置，进而得到钩尾框托板中心位置，以钩尾框托板中心位置为矩形中心向外扩展得到矩形框，并使钩尾框托板位于该矩形框内；

步骤五二：将扩展后的矩形框的四个角点按顺序进行标记，并将四个角点标记好的矩形框图像进行归一化处理，然后将归一化处理后的图像作为数据集二；

步骤五三：利用数据集二训练四边形检测网络模型；

步骤五四：根据Faster_R_Cnn检测到的结果截取钩尾框托板子图像输入到训练好的四边形检测网络模型中，得到四个角点的位置、四个角点的采样误差以及四个角点相对于图像中心点的位移，

当预测到的四个角点全部位于钩尾框托板子图像内时，将预测到的四个角点按顺序连接，并加上采样误差得到的矩形框为最终矩形框，

当预测到的四个角点并未全部位于钩尾框托板子图像内时，根据预测到的四个角点相对于图像中心点的位移得到位移后的四个角点，并将位移后的四个角点按顺序连接，得到的矩形框为最终矩形框，

最终矩形框的左右两条边与水平方向的夹角，即钩尾框托板左右两边与水平方向的夹角。

四边形检测模型搭建及训练

在目前的识别算法中，Faster_R_Cnn具有较高的准确性，在对于故障识别准确率要求高的环境下适用。首先使用Faster_R_Cnn检测故障，当螺母脱落且钩尾框托板也脱落时，存在检测不到螺栓脱落这一类的情况。但这种情况可以根据钩尾框托板所产生的角度变化进行故障判别。在钩尾框托板脱落发生时可能会存在仿射变换，所以旋转矩形检测难以满足该状况的角度识别。故本发明实现了一种任意形状四边形检测算法，可以检测托板左右两条边的角度，以此进行故障判别。

本发明任意形状四边形检测网络是在Faster_R_Cnn检测结果的基础上进行的进一步预测，不共享权重，但使用Faster_R_Cnn所检测到的信息。由于该网络输入为Faster_R_Cnn检测到钩尾框托板的子图，所以该网络不再预测是否含有目标，只检测目标的四个角点，依次连接左上、右上、右下、左下即为检测到的四边形。集合Faster_R_Cnn网络使得四边形网络更加精准、模型更小。

具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是步骤五二中使用labelme进行标记。

数据集准备

获取使用车钩信息截取到的子图，使用labelImg标记钩尾框托板、螺母、螺母丢失三类作为数据集1，由该数据集训练Faster_R_Cnn进行目标检测识别故障。

钩尾框托板大小为宽350像素左右、高420像素左右，使用数据集1信息，计算出钩尾框托板所在中心位置，使钩尾框托板位于图像中心，托板上下与左右分别预留相同的扩展值h与w如下图1所示，截取512*512的图像作为四边形标注的数据集2图像。使用labelme对该目标四个角点进行标注，标注顺序为左上、右上、右下、左下依次标注，标注顺序不可错乱。读取labelme生成json文件中的点坐标，作为数据集2。

具体实施方式五：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是四边形检测网络模型执行如下步骤：

第一步，特征提取

使用resnet18作为baseline，进行下采样4倍的X4尺寸为128*128，下采样8倍的X8尺寸为64*64，下采样16倍的X16尺寸为32*32，下采样32倍的X32尺寸为16*16，得到四个特征图，并将四个特征图作为不同尺度的特征；

第二步，上采样特征融合

根据特征提取得到的四个特征，首先将下采样尺寸为16*16的特征图X32输入到CBR模块中，对CBR模块的输出进行反卷积上采样得到尺寸为32*32的X32_up特征图；将下采样尺寸为32*32的特征图X16输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为64*64的X16_up特征图；将下采样尺寸为64*64的特征图X8输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为128*128的X8_up特征图，CBR模块包含Conv2d、BatchNormal2d和Relu；

将X32_up特征图与X16特征图相加后输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为64*64的X32_up_up特征图；将X16_up特征图与X8特征图相加后输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为128*128的X16_up_up特征图；

将X32_up_up特征图与X16_up特征图相加后输入到CBR模块中，对CBR模块的输出进行反卷积来上采样得到尺寸为128*128的X32_up_up_up特征图；

最终将特征图X4、特征图X8_up、特征图X16_up_up、特征图X32_up_up_up相加得到最终的融合特征feature；

第三步：四边形预测部分

共分为3个分支

(1)、将feature进行Conv2d、Relu和Conv2d(4)得到shape为128，128，4的feature0，将feature0作为最终特征进行角点位置预测；

(2)、将feature进行Conv2d、Relu和Conv2d(8)得到shape为128，128，8的feature1，将feature1作为最终特征进行角点采样误差预测；

(3)、将feature进行Conv2d、Relu和Conv2d(8)得到shape为128，128，8的feature2，将feature2作为最终特征进行四个角点相对于图像中心点的位移预测。

网络输入为：数据集2的图像，大小为[512，512]像素的灰度图像，并经过归一化。

选用resnet18作为backbone，对输入进行下采样，选取下采样x4(四分之一)，x8(八分之一)，x16(十六分之一)，x32(三十二分之一)的特征层。对选取特征进行级联上采样，采样结构如下图2所示。

得到shape为[128，128，128]的feature特征图，特征图像尺寸为输入图像的四分之一即[128*128]，通道数为128。依靠这个feature做三个分支，分别预测四个角点的位置，以及四个角点下采样时产生的偏移，以及四个角点相对于图像中心点的位移。预测部分网络如下图3所示。

网络输出为：

shape为[128，128，4]的feature0，进行目标点所在位置概率的预测使用Relu激活函数；shape为[128，128，8]的feature1，因采样误差都在0到1之内，所以后接sigmoid激活函数，将预测结果取值区间变为[0，1]，结果为目标点下采样误差的预测；shape为[128，128，8]的feature2，使用tanh激活函数将预测结果取值区间变为[-1,1]，结果为目标点距离中心点位移结果。

具体实施方式六：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤二中截取车钩部位子图通过先验知识与硬件数据、车钩信息进行。

具体实施方式七：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤三中对钩尾框托板和各个螺母进行标记通过labelImg进行。

具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是四个角点的位置通过高斯核函数得到，高斯核函数的公式为：

y

上式中p

我们在标记一个目标所在位置的时候，很难精确的确定一个点，该点附近的区域，其实也可以代表目标，所以给该目标点附近的位置权重，离目标点越近权重越大，这样在训练的时候模型可以更容易的找到目标点，网络更容易收敛，对训练样本中根据标记那四个点在128*128图像中的位置，使用高斯核函数，label图像，其中四个点所在位置位置数值大小为1，在每个点的t范围内的也就是每个点的上下左右11个像素内，使用高斯核函数计算相应的数值，距离目标点越近越接近1越远越小，超出t范围为0。

四点定位热点图，使用高斯核函数

y

上式中p

网络的输出共有两种目标点预测结果。第一种为直接预测到的目标点所在位置，加上采样误差得到的准确位置。第二种为预测的四个点到中心点的偏移得到的位置。根据Faster_R_Cnn得到钩尾框托板所在位置矩形框，当第一种预测到的目标点位于Faster_R_Cnn所检测到的托板框内时，使用第一种目标点。当检测到的目标点托板框外时，使用第二种目标点。得到四个目标点后依次连接即为目标四边形。

具体实施方式九：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是采样误差表示为：

down_off＝(x％4,y％4)

上式中down_off为采样误差，x，y为目标角点的位置，％4为除4取余数，down_off取值区间为[0,1]。

具体实施方式十：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是四个角点相对于图像中心点的位移表示为：

(x_off,y_off)＝((x

上式中x_off为水平位移量，y_off为竖直位移量，区间为(-1,1)，x

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。