无砟轨道板扣件的特异性伤损图像合成方法及检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种无砟轨道板扣件的特异性伤损图像合成方法及检测方法。

背景技术

21世纪以来，铁路建设运营里程以指数形式不断增长，行业领域的重点也从建设运营慢慢转向养护维修，扣件作为铁路轨道的关键基础部件，如果长期处于异常状态将会导致轨道整体结构失效，严重影响高速铁路列车运行的安全，针对扣件的异常状态及时、快速和精准检测，是目前亟需解决的问题，也是养护维修的重要决策依据。高速铁路无砟轨道板扣件存在数量庞大、种类繁多、服役环境复杂等问题，使得在天窗时间段进行的人工巡道难以高效、准确地识别出处于异常状态的扣件，同时漏检、错检的情况也难以避免。

随着信息时代的到来，计算机数字技术也已经开始大范围应用于铁路领域的自动化养护运维，基于计算机视觉的扣件异常状态检测已逐渐代替人工目视，成为轨道巡检的主流选择。现有的基于计算机视觉的扣件异常状态检测方法主要包括传统的图像处理技术、机器学习技术和最新的深度学习技术。

图像处理技术方法基于铁路部件之间几何信息进行扣件定位，利用启发式规则来抓取扣件的图像特征，最后通过简单的分类算法对扣件状态进行识别，基于图像处理技术的方法过分依赖人工设计、仅能处理浅层的、低水平的图像特征，并对不同形式巡检数据的复杂图像适应性差；

机器学习技术方法通过学习有限的、可感知的特征来训练向量机、朴素贝叶斯、人工神经网络等分类器来识别出不同类型的异常轨道扣件，基于机器学习技术的方法同样依赖先验知识和工程经验，不可避免的继承了图像处理技术方法的主观性和不确定性；

基于计算机视觉进行扣件异常状态的检测，除了依赖计算机技术外，对于扣件状态图像集也有一定的要求。其可靠性和适应性高度依赖大规模的高质量图像集的充分训练，这加重了数据的采集成本，尤其对于本研究领域，其特异性负样本相对稀缺，与获取到的非负样本对比集成，得到的是极度不均的数据集，这严重阻碍了计算机视觉技术方案在本领域的应用；

综上所述，当前针对无砟轨道板扣件的图像数据涵盖信息不够充分，数据缺少多样性。同时现有的检测技术方案检测精度较低，消耗大量的人工、时间等。

发明内容

本发明的目的之一在于提供一种图像样本多样性提升、图像正负样本比例合适的无砟轨道板扣件的特异性伤损图像合成方法。

本发明的目的之二在于提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法。

本发明提供的这种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：

S1.获取真实无砟轨道板扣件图像数据；

S2.构建无砟轨道板三维BIM模型；

S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间；

S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据；

S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。

步骤S1所述的获取真实无砟轨道板扣件图像数据，具体包括：

进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据。

步骤S2所述的构建无砟轨道板三维BIM模型，具体包括：

根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：

(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸；所述部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块；根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类构件以共享单元的形式参与构建形成铁路场景共享单元库；

(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；

(3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景特征。

步骤S3所述的针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：

将步骤S2构建的无砟轨道板3D模型导入到轻量化物理引擎中进行虚拟模拟：

1)将构建的铁路虚拟模型进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；

2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；

3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；

4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；

5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射，使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；

6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；

上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。

步骤S4所述的通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：

基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像。

步骤S5所述的构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集，具体包括：

采用基于循环生成对抗网络的合成数据集生成方式，对真实采集的巡检图像进行筛选，获取真实风格的正常图像；将轻量化物理引擎输出的虚拟图像和挑选出的风格图像输入到对抗网络中，生成无砟轨道板扣件的特异性伤损图像合成数据集；

循环对抗生成网络Cycle GAN由两个生成器和两个鉴别器组成，生成器负责图像风格间的转换，鉴别器负责对转换后的图像质量进行评价；

在基于虚拟巡检得到的无砟轨道板扣件的特异性伤损图像合成数据集中，采用了物理引擎对轮轨作用进行模拟，随机生成不同的扣件异常状态，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；使用上述方法生成的无砟轨道板扣件的特异性伤损图像合成数据集，能够满足模型训练时对于平衡正负样本比例的需求。

本发明还提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，包括如下步骤：

A1.采用所述的无砟轨道板扣件的特异性伤损图像合成方法，合成扣件伤损图像，并构建合成数据集；

A2.构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络；

A3.采用步骤A2获取的训练后的目标检测网络，针对实际获取的无砟轨道板扣件图像进行异常状态检测处理，完成轨道板扣件的异常状态检测。

步骤A2所述的构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：

目标检测网络采用Faster R-CNN模型；Faster R-CNN的损失函数包括RPN损失和Fast-RCNN损失两部分，每部分由分类损失和回归损失累加而成，其中，分类损失用于区分背景和目标的交叉熵损失，回归损失用于计算边界框回归的平滑L1损失，采用下述公式进行描述：

其中，L({p

步骤A2所述的构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：

目标检测网络采用YOLOv3网络；YOLOv3的损失函数的计算过程采用下述公式描述：

其中，loss为YOLOv3的总损失，(x

本发明提供的这种基于无砟轨道板扣件的特异性伤损图像数据合成方法，基于实际场景的轨道结构正向建模、基于轻量化物理引擎的异常扣件渲染部署，获取具有多样化状态特征的虚拟扣件负样本，对输出的虚拟巡检数据以不同扣件状态类型进行集成并基于真实巡检图像进行风格迁移，得到无砟轨道板扣件的特异性伤损图像合成数据集；同时本发明提供的一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，依托合成方法获得合成数据集，针对深度目标检测网络进行训练，有效解决了高质量扣件正负样本不均导致的深度学习方案检测精度低等问题；而且在本发明方法合成的图像数据集中，样本的多样性提升、正负样本的均衡性提高。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法提供的图像数据合成流程操作图。

图3为本发明方法提供的无砟轨道板虚拟模型效果图。

图4为本发明方法提供的轨道场景虚拟巡检图像。

图5为本发明方法提供的循环对抗生成网络的结构图。

图6为本发明方法提供的三种无砟轨道板扣件图像数据对比图。

图7为包括本发明方法的检测方法流程示意图。

图8为本发明方法提供的深度目标检测网络的合成图像训练效果。

图9为本发明方法提供的不同轨道板扣件图像数据集训练的Faster R-CNN训练结构示意图。

图10为本发明方法提供的不同图像训练数据的PR曲线结果示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图，图2为对应的流程操作图：本发明提供的这种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：

S1.获取真实无砟轨道板扣件图像数据，具体包括：

进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据；

S2.构建无砟轨道板三维BIM模型，具体包括：

根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维BIM模型：

(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸，部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括W1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块，根据二维CAD图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类细小构件以共享单元的形式参与构建形成铁路场景共享单元库；

(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同细小部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维BIM模型；

(3)对构建的无砟轨道板虚拟三维BIM模型进行属性添加和材质赋予，完善铁道场景的细部特征；

S3.针对步骤S2构建的三维BIM模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：

将步骤S2构建的无砟轨道板3D模型通过内置接口导入到轻量化物理引擎中进行虚拟模拟：

1)将构建的铁路虚拟模型通过自研轻量化接口进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；

2)使用Unreal Engine 5，UE5中的虚拟化几何体系统，通过Nanite技术将无砟轨道板虚拟三维BIM模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；

3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；

4)利用全局光照和反射系统中的Lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；

5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；

6)采用UE5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；

上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。

S4.通过步骤S3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：

基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像，如图3、图4所示；

S5.构建循环对抗生成网络，针对步骤S1获取的真实无砟轨道板扣件图像数据和步骤S4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集，具体包括：

循环对抗生成网络Cycle GAN是关于学习源与目标域之间一对一映射函数的网络，如图5所示，主要由两个生成器和两个判别器组成，生成器负责图像风格间的转换，鉴别器负责对转换后的图像质量进行评价，假设存在A、B两种风格，要将A风格转换为B风格，则A为学习源，B为目标域；

将真实巡检图像进行统一处理转换为JPEG格式并储存与一个名为“real B”的文件夹中，将虚拟巡检图像作相同处理后储存与“real A”文件夹中，最后将“real A”和“realB”文件夹共同放在一个新建的文件夹“dataset”同一目录下；以新建文件夹“dataset”为输入，进行循环对抗网络的生成，并以输出的Kindle值判断目前风格迁移的效果，当数值越大表示风格迁移效果越差，反之越好；在网络对抗过程中，生成器1将real A转换为以B为风格的fake B，通过计算对抗性损失控制迁移精度，为了检验迁移效果是否达到要求，生成器2将fake B重新生成了rec A，通过判别器1来鉴别real A和rec A的真假，形成一个循环，同时应用循环一致性损失来检验生成效果，从而使训练效果达到更佳；结束循环对抗生成网络的训练后得到虚拟生成的风格迁移后的无砟轨道板扣件特异性伤损图像数据；

循环一致性损失是Cycle GAN的典型独特设计，通过将fake B进行还原，可以检验生成的假风格是否保留了原来风格的特有内容信息，能够更好的促进两种风格的对抗与融合，另一方面，通过鉴别器2计算生成的fake B与real B的损失进行输出，控制风格迁移的精度；

采用了基于循环生成对抗网络的合成数据集生成方式，对真实采集的巡检图像进行筛选，获取真实风格的正常图像，将轻量化物理引擎输出的虚拟图像和挑选出的风格图像输入到对抗网络中，生成无砟轨道板扣件的特异性伤损图像合成数据集，如图6所示；

在基于虚拟巡检得到的无砟轨道板扣件的特异性伤损图像合成数据集中，采用了物理引擎对轮轨作用进行模拟，随机生成不同的扣件异常状态，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；使用上述方法生成的无砟轨道板扣件的特异性伤损图像合成数据集，能够满足模型训练时对于平衡正负样本比例的需求。

如图7所示为包括本发明方法的检测方法流程示意图，本发明还提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，包括如下步骤：

A1.采用所述的无砟轨道板扣件的特异性伤损图像合成方法，合成扣件伤损图像，并构建合成数据集；

A2.构建目标检测网络，采用步骤A1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络；

具体实施时，目标检测网络采用Faster R-CNN模型；Faster R-CNN的损失函数包括RPN损失和Fast-RCNN损失两部分，每部分由分类损失和回归损失累加而成，其中，分类损失用于区分背景和目标的交叉熵损失，回归损失用于计算边界框回归的平滑L1损失，采用下述公式进行描述：

其中，L({p

又或者：

目标检测网络采用YOLOv3网络；YOLOv3的损失函数的计算过程采用下述公式描述：

其中，loss为YOLOv3的总损失，(x

A3.采用步骤A2获取的训练后的目标检测网络，针对实际获取的无砟轨道板扣件图像进行异常状态检测处理，完成轨道板扣件的异常状态检测；具体包括：

依托Facebook开源的深度学习框架Pytorch1.2.0，针对目标检测网络Faster R-CNN和YOLO v3网络分别进行训练，在不同指标下进行结果分析对比，选择最具有辨识能力的目标检测网络，对无砟轨道板扣件的异常状态完成检测识别处理；同时根据两种网络对三种不同数据集之间的训练数据，来证明本发明中的风格迁移合成的扣件特异性伤损图像数据的作用；

采用目标检测网络对应的损失函数和所有类别检测对象的平均精度averageprecision AP的平均值mean average precision MAP，来衡量深度目标检测网络对不同数据集的检测性能；

目标检测网络评价指标MAP计算关键在于IoU，Intersection over Union，定义IoU为预测框和标注框之间的交并比，表示两者之间的重叠程度，当IoU大于阈值时被网络判定为阳性样本，否则为阴性样本，通常选择将阈值大小设置为0.5；

采用预测边界框的置信度阈值区分真预测和假预测，预测和实际一致为真，否则为假：当预测结果为真时，判定阳性样本为真阳性TP，判定阴性样本为真阴性TN；当预测结果为假时，判定阳性样本为假阳性FP，判定阴性样本为假阴性FN；

基于上述指标确定精准率Precision和召回率Recall，定义精准率为正确检测的目标占检测总数的比例，定义召回率为正确检测的目标占实际目标总数的比例；通过计算不同的置信度阈值下深度目标检测网络在测试集上的精准率和召回率，得到P-R曲线，通过对P-R曲线进行积分得到AP的值，针对P-R曲线与坐标轴围成的面积进行积分；通过统计各个类别检测对象的AP的平均值得到MAP，完成对目标检测网络的检测精度的计算；

如图8所示，本发明试验训练了两种网络，分别为采用一阶段的深度目标检测网络YOLOv3和两阶段的目标检测网络Faster R-CNN，经过预训练，将,模型参数设置为学习率为0.001，迭代轮次为1000轮；

经过1000个轮次的充分训练，YOLOv3网络和Faster R-CNN网络的总损失均达到最低且收敛，表明两个网络的训练状况均处于良好的拟合状态，此时对各类扣件异常状态识别的平均精度峰值分别达到91.64％和94.91％；尽管YOLOv3网络处理单张图片花费时间为0.13s，速度是Faster R-CNN的三倍，但是对各类检测精度的平均值MAP低于Faster R-CNN，符合目标检测算法中一阶段网络对于两阶段网络的性能重速度轻精度的特性；

如图9所示，在每个训练轮次的对比中，Faster R-CNN网络的MAP值均优于YOLOv3网络，且在100轮次到600轮次之间，Faster R-CNN网络对于合成数据集中的异常扣件特征学习效果良好，在400轮次左右达到峰值并保持稳定。此外，Faster R-CNN网络对于缺失状态的异常扣件识别精度达到100％，效果最好；对于位移状态的异常扣件识别精度则为90.33％，效果较差；而YOLOv3网络对于断裂状态的异常扣件识别精度低至86.92％，与Faster R-CNN网络相差8.24％，综上所述，Faster R-CNN网络更能够学习合成数据集中的异常扣件有效特征并进行精确化检测；

如图10所示，给出三种数据集训练的Faster R-CNN网络对处于正常、断裂、缺失和位移状态的无砟轨道板扣件检测P-R曲线和对应的AP值，从图中可以看到各类状态下的BIM模型合成数据集P-R曲线基本都在其他数据集之上，其中对于缺失类的扣件状态AP值达到最大为100％；与采用真实巡检图像进行充分训练的网络相比，合成数据集训练的网络对各类扣件识别AP值分别高出1.52％、6.5％、10.13％和3.41％，表明其对不同状态类型的扣件合成效果均有较大提升；此外，采用了虚拟数据集训练的网络检测性能好于真实情况，表明真实数据集正负样本不均导致的检测精度下降的问题确实存在。