基于深度学习的接触网悬挂部件的识别方法

技术领域

本发明涉及铁路接触网悬挂部件目标识别领域，具体是一种基于深度学习的接触网悬挂部件的识别方法。

背景技术

随着中国社会的高速发展，铁路系统不断扩建和提速以满足需求。然而，随着提速的增加，安全问题也日益凸显。在铁路系统中，接触网系统是广泛分布并通常位于露天环境下的关键设施，由于工作环境恶劣，接触网的悬挂部件容易发生缺陷和松动，从而导致接触网与列车受电弓无法正常接触，导致列车供电出现问题，会造成严重的安全事故，进而威胁国民的安全和社会生产的发展。

目前各铁路局对接触网的维护检修主要采用人工使用接触网便携式设备，利用人工去对接触网悬挂部件进行定位，这种方式需要人工走到每一个悬挂部件位置，然后再对其进行判断是否有缺陷或松动。由于铁路里程长，需要投入大量的人员去对悬挂部件进行测量，故其效率低下，投入成本较高，加上工作环境复杂且接触网巡检都是夜晚进行，会存在较多的漏检。近年来也有使用悬挂状态测量车CN202020799640.4去对接触网悬挂部件拍图，然后利用数据处理器将图像和标准图像进行对比，此方式虽然减少了人工的投入，但依旧存在识别准确率低的问题。

深度学习技术的快速发展，为工业目标检测提供了技术支持。此前也有CN108009591A利用深度学习对接触网的关键部分进行识别，其使用的是Fast-RCNN模型，此模型为双阶段模型，检测效率较低，且该模型深度不够，导致模型的识别准确率和模型泛化性不高，且其没有对吊弦点进行识别。故需要设计一个检测效率高、识别准确率高的模型，来实现对接触网悬挂部件的精确识别。

发明内容

为了解决上述技术问题，本发明提供一种基于深度学习的接触网悬挂部件的识别方法，其对YOLOv3模型进行改进，提高模型的识别准确率、模型检测效率以及模型的泛化性，从而实现接触网悬挂部件的识别问题。

为此，本发明的技术方案如下：

一种基于深度学习的接触网悬挂部件的识别方法，包括如下步骤：

S1、收集相机拍摄的接触网图像，所述接触网图像包括一年四季不同时间段、不同天气环境下采集的图像；譬如采集接触网在一年四季每天的清晨、上午、正午、下午、傍晚、夜里的图像；

S2、在每张接触网图像中对不同接触网悬挂部件进行框选，同时记录如下信息：当前标注目标的类别ID、标注框的宽、高、中心点的横纵坐标；将标注后的接触网图像制作为训练集和验证集；

S3、对训练集进行随机旋转、随机裁剪、添加高斯噪声及Mosica数据增强，获得扩充后的训练集；

S4、将步骤S3扩充后的训练集输入到深度学习模型中，对图像特征进行解析、提取，输出图像中存在的目标类别，实现所述接触网悬挂部件的识别；

所述深度学习模型为改进的YOLOv3检测模型；包括骨干网络、颈部网络和头部网络；所述骨干网络为darknet53网络；所述头部网络为YOLO head网络；

所述颈部网络为改进的BiFPN网络，将步骤S3扩充后的训练集输入darknet53网络，得到不同深度的特征图，将darknet53最后三层的特征图分别输入到BIFPN网络中，将三层特征图通过BiFPN进行融合，输出三个不同尺度的特征图，继而输入BiFPN网络的下一模块进行特征提取；将BiFPN网络的输出层接入通道注意力模块，得到接触网悬挂部件特征图；

所述接触网悬挂部件特征图被输入YOLO head网络，所述YOLO head网络采用解耦合的检测头，得到预测的接触网悬挂部件特征图。

进一步，得到的预测的接触网悬挂部件特征图后，再利用Soft-NMS算法将多余检测框去除，实现对接触网悬挂部件的识别，而后输出接触网悬挂部件的特征图。

进一步，所述解耦合的检测头是将YOLOv3中的耦合的检测头，分别解耦合为Class预测、Object预测、Bounding Box回归预测。

进一步，通道注意力模块包含掩码分支和映射分支，掩码分支对接触网悬挂部件特征图按通道进行压缩和激活，所述压缩是对特征图的每个通道按照全局平均池化进行压缩，所述激活是指将通道平均值进行非线性处理，让通道平均值输入到Sigmod激活函数，然后输出0-1的各通道权重值。该处理能强化悬挂部件特征并减少噪声干扰，极大程度提升了模型的表达能力与检测能力。

进一步，所述接触网悬挂部件为定位柱和吊弦。

进一步，darknet53网络结构包括1个卷积结构、5个残差结构，以及一个全连接层；所述残差结构包含的残差块分别数量为1，2，8，8，4。

更进一步，所述卷积结构包含一个卷积核为3x3步长为1的卷积，一个卷积核为3x3步长为2的卷积；第一个3x3的卷积核用于增加通道数，扩大特征图感受野；第二个步长为2的3x3卷积核，用于减少计算过程中的参数量与计算量。

更进一步，所述残差结构包括基本卷积单元CBL、一个特征图经过2个CBL模块得到的特征和未经过CBL模块的特征图进行ADD操作；

所述基本卷积单元CBL包括一个卷积层、一个批量归一化层和Leaky ReLU激活函数；

所述CBL模块首先经过大小为1x1的卷积核或大小为3x3的卷积核进行卷积操作；再经过批量归一化操作以及利用Leaky ReLU激活函数进行激活，最后输出接触网悬挂部件特征图。

进一步，BiFPN的具体工作原理为网络的不同特征层P4、P5、P6、P7、P8，首先让特征图分别通过卷积层，然后通过全局池化层，从而获得特征图P

这里以P

其中，P

本发明提供的一种基于深度学习的接触网悬挂部件的识别方法，其通过利用改进的YOLOv3模型极大提升了模型的泛化性、准确性，能极大提升接触网悬挂部件的识别准确率和识别速度。

附图说明

图1为本发明改进的BiFPN网络结构的示意图；

图2为本发明使用的通道注意力模型的示意图；

图3为本发明使用的解耦头结构示意图；

图4为本发明的改进的YOLOv3的整体模型结构示意图；

图5a为本发明方法对白天接触网定位柱的检测效果图；

图5b为本发明方法对白天接触网吊弦的检测效果图；

图6a为本发明方法对黑夜接触网定位柱的检测效果图；

图6b为本发明方法对黑夜接触网吊弦的检测效果图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种基于深度学习的接触网悬挂部件的识别方法，包括如下步骤：

S1、收集相机拍摄的接触网图像，接触网图像包括一年四季不同时间段、不同天气环境下采集的图像；譬如采集接触网在一年四季每天的清晨、上午、正午、下午、傍晚、夜里的图像；

S2、在每张接触网图像中对不同接触网悬挂部件进行框选(在本发明的实施过程中，接触网悬挂部件为定位柱和吊弦)，同时记录如下信息：当前标注目标的类别ID、标注框的宽、高、中心点的横纵坐标；将标注后的接触网图像制作为训练集和验证集；

S3、对训练集进行随机旋转、随机裁剪、添加高斯噪声及Mosica数据增强，获得扩充后的训练集；

S4、将步骤S3扩充后的训练集输入到深度学习模型中，对图像特征进行解析、提取，输出图像中存在的目标类别，实现接触网悬挂部件的识别；

深度学习模型为改进的YOLOv3检测模型；包括骨干网络、颈部网络和头部网络；骨干网络为darknet53网络；头部网络为YOLO head网络；

颈部网络为改进的BiFPN网络，将步骤S3扩充后的训练集输入darknet53网络，得到不同深度的特征图，将darknet53最后三层的特征图分别输入到BIFPN网络中，将三层特征图通过BiFPN进行融合，输出三个不同尺度的特征图，继而输入BiFPN网络的下一模块进行特征提取；将BiFPN网络的输出层接入通道注意力模块，得到接触网悬挂部件特征图；具体而言，通道注意力模块包含掩码分支和映射分支，掩码分支对接触网悬挂部件特征图按通道进行压缩和激活，压缩是对特征图的每个通道按照全局平均池化进行压缩，激活是指将通道平均值进行非线性处理，让通道平均值输入到Sigmod激活函数，然后输出0-1的各通道权重值。该处理能强化悬挂部件特征并减少噪声干扰，极大程度提升了模型的表达能力与检测能力；

接触网悬挂部件特征图被输入YOLO head网络，YOLO head网络采用解耦合的检测头，得到预测的接触网悬挂部件特征图。具体来说，解耦合的检测头是将YOLOv3中的耦合的检测头，分别解耦合为Class预测、Object预测、Bounding Box回归预测。解耦合的检测头的使用，有利于提升模型的泛化能力和精度。

为了进一步提高对接触网悬挂部件的识别准确率，在得到的预测的接触网悬挂部件特征图后，再利用Soft-NMS算法将多余检测框去除，实现对接触网悬挂部件的识别，而后输出接触网悬挂部件的特征图。

在发明技术方案具体实施时，骨干网络——darknet53网络结构包括1个卷积结构、5个残差结构，以及一个全连接层；残差结构包含的残差块分别数量为1，2，8，8，4；卷积结构包含一个卷积核为3x3步长为1的卷积，一个卷积核为3x3步长为2的卷积；第一个3x3的卷积核用于增加通道数，扩大特征图感受野；第二个步长为2的3x3卷积核，用于减少计算过程中的参数量与计算量。残差结构包括基本卷积单元CBL、一个特征图经过2个CBL模块得到的特征和未经过CBL模块的特征图进行ADD操作；基本卷积单元CBL包括一个卷积层、一个批量归一化层和Leaky ReLU激活函数；CBL模块首先经过大小为1x1的卷积核或大小为3x3的卷积核进行卷积操作；再经过批量归一化操作以及利用Leaky ReLU激活函数进行激活，最后输出接触网悬挂部件特征图。

颈部网络——BiFPN的具体工作原理为网络的不同特征层P4、P5、P6、P7、P8，首先让特征图分别通过卷积层，然后通过全局池化层，从而获得特征图P

这里以P

其中，P

效果验证：

以下使用精确率P(Precision)，召回率R(Recall)，整体精度F1(F1-Score)指标对检测结果进行评估，计算公式如下：

其中TP为模型正确检测红掌的目标数量；FP为模型错误检测红掌的目标数量；FN为模型未被检测出红掌的目标数量；F1表示P和R的加权调和平均值，F1值越接近于1则说明模型越好。

为了验证本发明改进的YOLOv3是否有效，对改进BiFPN、CAM、解耦合头做对应的消融实验，实验结果如表1所示，结果表明改进BiFPN、CAM、解耦合头都能够提升模型的准确率、召回率和F1分数，能够提升模型的泛化性，模型的准确性，模型的综合性能。

表1

为了证明本发明提供的改进的YOLOv3在性能上的优越性，以下将改进的YOLOv3与YOLOv3、CSPYOLOv3、Fast-RCNN进行精确率、召回率、F1分数进行对比，对比结果如表2：实验结果表明改进的YOLOv3在精确率、召回率、F1分数上都有提升。

表2

将本发明提供的基于深度学习的接触网悬挂部件的识别方法应用于国内某铁路局高铁线，最终对接触网悬挂部件的识别准确率为98.63％，其检测测速度提升到了40张/秒。

本发明提供的一种基于深度学习的接触网悬挂部件的识别方法，其通过利用改进的YOLOv3模型极大提升了模型的泛化性、准确性，能极大提升接触网悬挂部件的识别准确率和识别速度。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。