一种重载车钩断口失效形式智能模式识别方法

技术领域

本发明涉及重载车钩断口检测领域，具体涉及一种重载车钩断口模式识别方法。

背景技术

随着铁路运输技术的快速发展，重载铁路运输在全世界范围内得到广泛普及。车钩作为动力机车与货厢之间或货厢与货厢之间连接的关键部件，发挥着连接与传力的关键角色。在重载列车长期运行的过程中，由于车钩承受的载荷巨大，且受力不均，而极易引发金属材料失效，发生无法预兆的疲劳断裂，造成巨大的经济损失和社会危害。

车钩断口是金属车钩在发生断裂后形成的一对互补的断裂表面，其中记录着断裂起因、断裂机理、断裂演变过程等多项重要信息，反映着车钩制件的重要特性，是其失效分析的重要证据。因此，对于车钩断裂面形貌、性质、尺寸的精准分析和识别，确定重要断裂位置以及形态特征是金属车钩故障分析的关键性问题，精准的分析其失效原因，提出有针对性的改进和预防措施以更好解决工程生产中遇到的实际问题，很大程度上能够反作用于列车车钩制造业的技术改进和升级，为后续安全、高效的设计制造使用产品提供保障，具有重要的研究价值和意义。

在当前技术背景下，对于车钩断裂面的性质分析与形态测量，仍然采取人工检查的方法，单纯依靠技术人员的经验积累，粗略划分断裂表面的断裂性质，手工测量断裂区域面积，存在极大的主观性和盲目性。由于金属断口图像形貌特征复杂不一，断裂面纹理具有很大的随机性与突变性，故在对断口图像进行识别时，难以做到统一标准，以往方法泛化能力差，很难做到普适性与通用性。在实际工程应用中，经常因为无法及时准确地研判断裂原因而错过最佳的防范时机，造成事故发生。

发明内容

为了解决上述技术问题，本发明提供了一种重载车钩断口失效形式智能模式识别方法与装置；通过一个全过程的重载车钩断口模式识别方法与装置，实现了“一键识别”的功能，大大降低相关工作人员的劳动强度，节省工作人员的时间成本，并为工作人员提供辅助的分析方案，得到高效且可靠的重载车钩断口失效形式分析结果。

本发明为实现上述目的所采用的技术方案是：

一种重载车钩断口失效形式智能模式识别方法，包括以下步骤：

S1.利用图像获取模块获取重载车钩断口图像；

S2.对获取的图像进行图像标注；对标注的图像进行数据增强处理，并建立重载车钩断口图像数据集；

S3.构建重载车钩断口失效形式识别模型，利用图像数据集对模型进行训练；

S4.利用训练完成的模型进行断口失效形式识别，并进行标记；

S5.将断口数据参数显示在客户端界面上并进行保存。

作为优选，所述步骤S1获取到重载车口断口图像后，对所述图像进行缩放，统一成256×256大小的图像。

作为优选，所述步骤S3重载车钩断口失效形式识别模型是基于卷积网络和Transformer模型构建的，包括：

S3-1.利用卷积网络构建特征提取网络，对输入的图像进行局部建模，得到不同尺度的特征图；

S3-2.利用Transformer模型构建一种特征融合网络，对获得的特征图进行有效融合，得到特征融合网络的输出预测图像。

作为优选，所述步骤S3-1利用卷积网络构建的特征提取网络通过级联多个卷积层和池化层进行图像特征提取，并获得不同尺度的特征图，具体包括：

S3-1-1.输入图像依次经过两个3×3×64的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/2，输出特征图记为stem；

S3-1-2.将步骤S3-1-1获得的特征图依次经过两个3×3×128的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/4，输出特征图记为f1；

S3-1-3.将步骤S3-1-2获得的特征图依次经过两个3×3×256的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/8，输出特征图记为f2；

S3-1-4.将步骤S3-1-3获得的特征图依次经过两个3×3×512的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/16，输出特征图记为f3；

S3-1-5.将步骤S3-1-4获得的特征图依次经过两个3×3×512的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/32，输出特征图记为f4。

作为优选，所述步骤S3-2利用Transformer模型构建一种特征融合网络，所述特征融合网络包括多个融合模块和上采样模块，对所获得的特征图进行有效融合，包括以下步骤：

S3-2-1.将步骤S3-1-2获得的特征图f1经过融合模块，利用Transformer模型的全局建模特性，对特征图进行全局建模和特征提取，输入输出前后特征图维度不变，获得特征图t1；

S3-2-2.将步骤S3-2-1获得的特征图t1进行3×3×512的卷积和上采样操作，特征图尺寸扩大两倍，并将上采样后的特征图t1与步骤S3-1-4中获得的特征图f3进行加法融合，将融合后的特征图记为a1；运算式为：

其中，HCT是混合卷积与transformer的模块，Upsanmple是对特征图进行双线性插值的上采样操作，fi和fi+1是骨干网络输出的不同尺度的特征图,

S3-2-3.将步骤S3-2-2中获得的特征图a1经过融合模块，利用Transformer进行全局建模和特征提取，输出维度不变，获得特征图t2；

S3-2-4.将步骤S3-2-3中获得的特征图t2进行3×3×256的卷积和上采样操作，将通道数目压缩一半，特征图尺寸扩大两倍，并将上采样后的特征图t2与步骤S3-1-3中获得的特征图f2进行加法融合，将融合后的特征图记为a2；

S3-2-5.将步骤S3-2-4中获得的特征图a2经过融合模块，利用Transformer进行全局建模和特征提取，输出维度不变，获得特征图t3；

S3-2-6.将步骤S3-2-5中获得的特征图t3进行3×3×128的卷积和上采样操作，将通道数目压缩一半，特征图尺寸扩大两倍，并将上采样后的特征图t3与步骤S3-1-2中获得的特征图f1进行加法融合，将融合后的特征图记为a3；

S3-2-7.将步骤S3-2-6中获得的特征图a3经过融合模块，利用Transformer进行全局建模和特征提取，输出维度不变，获得特征图t4；

S3-2-8.将步骤S3-2-7中获得的特征图t4进行3×3×64的卷积特征图t3与步骤S3-1-1中获得的特征图stem进行加法融合，将融合后的特征图记为a4；

S3-2-9.将步骤S3-2-8中获得特征图a4进行3×3×num_class的卷积和上采样操作，输出与输出图像尺寸相同的预测图像，其中输出通道数num_class为所识别的断口失效形式数目加1，最终的输出f

其中Up-Conv是卷积-上采样模块，stem是骨干网络的stem阶段，f

作为优选，针对所述步骤S3利用图像数据集对模型进行训练，设计一种多尺度损失函数，在不同的下采样倍数图像中，进行损失函数的计算，对不同尺度的损失函数赋予不同的计算权重，并进行加权融合；获得加权后的损失函数值，用于优化网络参数，辅助完成训练，多尺度损失函数的计算公式如下：

MS-Loss＝αLoss1+αLoss2+Loss3

其中T

作为优选，所述步骤S4利用训练完成的模型进行断口失效形式识别包括：判断车钩断裂表面不同部位、不同的失效形式，确定其位置、形态等参数。

本发明采用上述技术方案的一种重载车钩断口失效形式智能模式识别方法与装置的优点是：

利用图像获取模块获取重载车钩断口图像、对获取的图像进行图像标注以及数据增强，建立重载车钩断口图像数据集、基于卷积网络和Transformer构建重载车钩断口失效形式识别模型，利用图像数据集对模型进行训练，并将训练完毕的模型进行离线部署、开发客户端软件，进行实时交互，通过上述方法可以实现对重载车钩断口失效分析的“一键检测”功能，自动、准确、快速地对金属车钩断口进行失效形式识别，获取不同失效形式特征、比例因子等参数，可以避免人员长期工作导致的正确性下降的风险，并且分析系统可以全年不间断工作，在避免错误的分析结果的前提下，极大降低分析工作时间成本，分析系统仅需初期成本投入，大大降低金属疲劳断口失效分析的成本投入，提高智能断口分析效率，通过集成化设计，达到简化历程设计目的。

附图说明

图1是本发明整体流程图。

图2是数据集建立流程图。

图3是基于卷积的Backbone网络结构示意图。

图4是Transformer的特征融合网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

如图1、2、3、4所示，

一种重载车钩断口失效形式智能模式识别方法，包括以下步骤：

S1.利用图像获取模块获取重载车钩断口图像；

S2.对获取的图像进行图像标注；对标注的图像进行数据增强处理，并建立重载车钩断口图像数据集；

S3.构建重载车钩断口失效形式识别模型，利用图像数据集对模型进行训练；

S4.利用训练完成的模型进行断口失效形式识别，并进行标记；

S5.将断口数据参数显示在客户端界面上并进行保存。

步骤S1获取到重载车口断口图像后，对所述图像进行缩放，统一成256×256大小的图像。

步骤S3重载车钩断口失效形式识别模型是基于卷积网络和Transformer模型构建的，包括：

S3-1.利用卷积网络构建特征提取网络，对输入的图像进行局部建模，得到不同尺度的特征图；

S3-2.利用Transformer模型构建一种特征融合网络，对获得的特征图进行有效融合，得到特征融合网络的输出预测图像。

步骤S3-1利用卷积网络构建的特征提取网络通过级联多个卷积层和池化层进行图像特征提取，并获得不同尺度的特征图，具体包括：

S3-1-1.输入图像依次经过两个3×3×64的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/2，输出特征图记为stem；

S3-1-2.将步骤S3-1-1获得的特征图依次经过两个3×3×128的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/4，输出特征图记为f1；

S3-1-3.将步骤S3-1-2获得的特征图依次经过两个3×3×256的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/8，输出特征图记为f2；

S3-1-4.将步骤S3-1-3获得的特征图依次经过两个3×3×512的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/16，输出特征图记为f3；

S3-1-5.将步骤S3-1-4获得的特征图依次经过两个3×3×512的卷积层和一个最大池化层，进行卷积和最大池化操作，将图像进行下采样，尺寸缩小为原来的1/32，输出特征图记为f4。

上述步骤中3×3为卷积核的尺寸，64、128、256、512为卷积核的个数。为了加速网络收敛，基于卷积的特征提取网络，使用了预训练权重作为初始权重，加速网络收敛过程。步骤S3-2利用Transformer模型构建一种特征融合网络，所述特征融合网络包括多个融合模块和上采样模块，对所获得的特征图进行有效融合，包括以下步骤：

S3-2-1.将步骤S3-1-2获得的特征图f1经过融合模块，利用Transformer模型的全局建模特性，对特征图进行全局建模和特征提取，输入输出前后特征图维度不变，获得特征图t1；

S3-2-2.将步骤S3-2-1获得的特征图t1进行3×3×512的卷积和上采样操作，特征图尺寸扩大两倍，并将上采样后的特征图t1与步骤S4-1-4中获得的特征图f3进行加法融合，将融合后的特征图记为a1；运算式为：

其中，HCT是混合卷积与transformer的模块，Upsample是对特征图进行双线性插值的上采样操作，fi和fi+1是骨干网络输出的不同尺度的特征图,

S3-2-3.将步骤S3-2-2中获得的特征图a1经过融合模块，利用Transformer进行全局建模和特征提取，输出维度不变，获得特征图t2；

S3-2-4.将步骤S3-2-3中获得的特征图t2进行3×3×256的卷积和上采样操作，将通道数目压缩一半，特征图尺寸扩大两倍，并将上采样后的特征图t2与步骤S3-1-2中获得的特征图f2进行加法融合，将融合后的特征图记为a2；

S3-2-5.将步骤S3-2-4中获得的特征图a2经过融合模块，利用Transformer进行全局建模和特征提取，输出维度不变，获得特征图t3；

S3-2-6.将步骤S3-2-5中获得的特征图t3进行3×3×128的卷积和上采样操作，将通道数目压缩一半，特征图尺寸扩大两倍，并将上采样后的特征图t3与步骤S3-1-2中获得的特征图f1进行加法融合，将融合后的特征图记为a3；

S3-2-7.将步骤S3-2-6中获得的特征图a3经过融合模块，利用Transformer进行全局建模和特征提取，输出维度不变，获得特征图t4；

S3-2-8.将步骤S3-2-7中获得的特征图t4进行3×3×64的卷积特征图t3与步骤S3-1-1中获得的特征图stem进行加法融合，将融合后的特征图记为a4；

S3-2-9.将步骤S3-2-8中获得特征图a4进行3×3×num_class的卷积和上采样操作，输出与输出图像尺寸相同的预测图像，其中输出通道数num_class为所识别的断口失效形式数目加1，最终的输出f

其中Up-Conv是卷积-上采样模块，stem是骨干网络的stem阶段，f

Up-Conv是卷积-上采样模块，即对特征图a4进行卷积上采样操作，

步骤S3利用图像数据集对模型进行训练，设计一种多尺度损失函数,分别在原图尺寸、4倍下采样、16倍下采样三个尺度进行损失计算，分别记为Loss3,Loss2,Loss1，并对不同尺度的损失函数赋予不同的计算权重，最终进行加权融合；获得加权后的损失函数值，用于优化网络参数，辅助完成训练，多尺度损失函数的计算公式如下：

MS-Loss＝αLoss1+αLoss2+Loss3

其中T

另外考虑到推理速度问题，该多尺度损失函数仅在训练阶段反向更新网络参数，用以加速网络的收敛和提升网络性能，在推理阶段不会进行多尺度的损失计算，从而保证正向推理时的推理速度。通过损失函数的反向更新网络权重参数，不断优化网络，已完成网络的训练。

基于卷积网络的特征网络和基于Transformer的特征融合网络共同构成重载车钩断口模式识别网络模型，辅助的多尺度的损失函数在测试阶段不予启用，从而加速网络推理过程。

S3利用训练完成的模型进行断裂面失效形式识别，包括：判断车钩断裂表面不同部位、不同的失效形式，确定其位置、形态等参数，并进行显著性标记；

对获得的重载车钩断口图像数据进行缩放，得到分辨率为256×256大小的彩色图像作为测试图像输入网络，利用基于卷积和Transformer的断口模式识别网络，对所述彩色图像进行检测，对断口进行不同失效形式的检测，确定断口存在的失效形式，确定不同失效形式的形态特征，确定不同失效形式的具体区域位置，获得输出的预测标签图像；

利用opencv的图像叠加算法，将模型输出的预测标签图像，按照一定权重与输入的彩色图像进行融合，得到显著标记的断口图像。

步骤S4后台调用断口失效形式识别模型，得到显著标记的断口图像后，在客户端交互界面，进行实时显示，呈现分析结果。

一种重载车钩断口失效形式智能模式识别装置，包括图像获取模块，用于获得重载车钩断口的彩色图像；

重载车钩断口失效形式识别模块，用于将所输入的任意大小的重载车钩断口彩色图像进行缩放至256×256分辨率大小，得到缩放后统一大小的车钩断口图像；

将统一大小的车钩断口图像输入网络，经过特征提取网络，得到不同尺度的特征图；

将所得到的不同尺度特征图，利用基于Transformer的特征融合网络进行特征融合，并将不同大小的特征图进行上采样，恢复至与所输入图像大小，最终获得网络的输出预测图像；

基于卷积和Transformer的断口失效形式识别模型对所述的断口图像进行分析，确定断裂面不同区域的失效形式，确定不同失效形式的位置及形态特征；

图像标记模块，用于所述基于卷积和Transformer的断口失效形式识别模型输出的预测图像与输入的彩色断口图像进行加权融合，得到显著性标记的断口失效形式预测图像；

交互模块，用于进行指令选择和显著性标记图像显示。

基于卷积网络和Transformer网络，构建针对于重载车钩断口断裂模式识别模型，对重载车钩断口图像进行准确分析，确定断裂面不同区域的失效形式；在确定断口的不同部位属于不同失效形式后，对不同失效形式的部位进行区别标记，对不同失效形式的位置、形态等特征进行标记；当识别完毕的标记图像完成时，客户端应用程序自动显示识别标记图片，通过一个全过程的重载车钩断口模式识别方法，实现了“一键识别”的功能，大大降低相关工作人员的劳动强度，节省工作人员的时间成本，并为工作人员提供辅助的分析方案，得到高效且可靠的重载车钩断口失效形式分析结果。

综上所述，采用本发明提出的重载车钩断口模式识别方法与装置分析重载车钩断口失效形式，确定其形态特征、位置等信息，具有如下巨大的商业优势和价值：

1、可以避免人员长期工作导致的正确性下降的风险，并且分析系统可以全年不间断工作，在避免错误的分析结果的前提下，极大降低分析工作时间成本。

2、分析系统仅需初期成本投入，不用像专家按小时支付分析工作，大大降低金属疲劳断口失效分析的成本投入。

3、分析系统具有极低的推广成本，无需花费昂贵的失效专家培养成本和设备维护成本，即可得到高效和可靠的疲劳断口分析结果。

4、该发明进一步提高智能断口分析效率和降低设备和系统的投入成本，本发明整合体式显微镜和分析系统，通过集成化设计，达到简化历程设计与设备投入成本的目的，具有市场发展潜质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。