一种基于机器视觉的轨道车辆螺栓松动检测方法

技术领域

本发明涉及目标检测的人工智能技术领域，尤其涉及一种基于机器视觉的轨道车辆螺栓松动检测方法。

背景技术

轨道螺栓是铁路车辆运行必不可少的零件，其作用是连接轨道板和胶板，保证铁路线路的安全稳定性。随着铁路行业的快速发展，轨道螺栓标准逐渐丰富，以满足不同铁路行业的需求。轨道螺栓在长期使用过程中，受到环境腐蚀、外部振动和冲击等多种外部因素的影响，轨道螺栓容易发生裂缝、形变甚至断裂等受损情况。一旦轨道螺栓发生上述各种受损情况，就极易引发轨道上的安全事故。

为了避免轨道安全事故的发生，对轨道螺栓的松动检测格外重要。传统的轨道螺栓的松动检测方法采用人工巡逻检测轨道螺栓的方式。但是由于轨道螺栓的数量繁杂，人工巡逻检测轨道螺栓的方式需要耗费大量的人工时间和人力成本，此外随着持续检测时间的增长，巡检人员的疲劳感增加，人工巡逻检测轨道螺栓的检测精度也会下降。

机器视觉技术，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。在现有技术中，计算机视觉技术已经被用于螺栓松动检测。但是现有技术中基于计算机视觉技术的螺栓松动检测方法包括采集待检图像并输入预先训练完毕的训练模型中，提取出标记框进行逻辑判断螺栓是否松动，但是该种螺栓松动检测方法中采集到的待检图像中存在有倾斜拍摄的螺栓图像，倾斜拍摄的螺栓图像可能会被错误检测为螺栓松动，因此现有技术中基于计算机视觉技术的螺栓松动检测方法存在错误检测的问题，导致螺栓松动检测的精度不够高。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于机器视觉的轨道车辆螺栓松动检测方法，用于提升轨道车辆螺栓松动检测的精度。

为实现上述目的，本发明提供了如下技术方案：一种基于机器视觉的轨道车辆螺栓松动检测方法，包括：

步骤S1，在轨道车辆上拧紧的若干螺栓上标记螺栓松动标记线，采集所述轨道车辆上的若干检测部位图像以处理得到螺栓松动检测模板图，以及采集所述轨道车辆上的若干螺栓项点图像以处理得到语义分割数据集；

步骤S2，根据所述语义分割数据集中的数据训练得到标记框语义分割模型；

步骤S3，采集所述轨道车辆上的待检项点图像，并将所述待检项点图像与所述螺栓松动检测模板图进行匹配，得到与所述待检项点图像相对应的项点模板图像；

步骤S4，对互相匹配的所述待检项点图像与所述项点模板图像进行二次匹配得到若干特征匹配对，根据若干特征匹配对计算得到单应性矩阵，根据所述单应性矩阵对所述待检项点图像进行仿射变换得到待检图像；

步骤S5，将所述待检图像和相应所述项点模板图像分别输入所述标记框语义分割模型以分别得到待检标记框图像和模板标记框图像；

步骤S6，对所述待检标记框图像和所述模板标记框图像进行图像去噪处理，并计算经过图像去噪处理过后的所述待检标记框图像和所述模板标记框图像中的标注框重叠值，根据所述标注框重叠值生成松动检测结果。

进一步地，所述步骤S1包括：

步骤S11，利用若干高速相机配合激光光源采集各所述检测部位图像，对各所述检测部位图像进行图像融合形成所述螺栓松动检测模板图，对所述螺栓松动检测模板图中所有需要进行螺栓松动检测的项点进行标注框标注；

步骤S12，在若干不同的光照条件下，以多种拍摄角度采集轨道车辆上的各所述螺栓项点图像，对各所述螺栓项点图像进行标注框标注，将标注过后的各所述螺栓项点图像作为所述语义分割数据集。

进一步地，所述步骤S2包括：

步骤S21，引入语义分割网络模型作为初始模型；

步骤S22，利用所述语义分割数据集中的数据训练所述初始模型，以得到所述标记框语义分割模型。

进一步地，在所述步骤S22中，采用混合交叉损失函数以获取所述初始模型的损失，所述混合交叉损失函数配置为：

；

其中，

用于表示Dice Loss函数；

用于表示EIOU损失函数；

、/>

进一步地，在所述步骤S22中，采集所述语义分割数据集中各所述螺栓项点图像中各标注框所占的比例，将各标注框所占的比例带入预设的函数系数调整公式中，以计算得到函数系数调整值，根据所述函数系数调整值计算得到所述第一函数系数和所述第二函数系数。

进一步地，所述函数系数调整公式配置为：

；

其中，

用于表示预设的标准比例；

用于表示标注框的个数；

用于表示第/>

用于表示预设的调整转换系数。

进一步地，所述步骤S3包括：

步骤S31，分别计算所述待检项点图像与所述螺栓松动检测模板图在各个位置处的相关系数；

步骤S32，将相关系数最大值所在的位置作为螺栓匹配位置；

步骤S33，根据所述螺栓松动检测模板图中所述螺栓匹配位置所在位置处的标注框对所述螺栓松动检测模板图进行裁剪，得到所述项点模板图像。

进一步地，所述步骤S4包括：

步骤S41，对互相匹配的所述待检项点图像与所述项点模板图像依次进行高通滤波、Gamma变换和图像特征突出以实现图像增强，得到图像增强过后的所述待检项点图像与所述项点模板图像；

步骤S42，将经过图像增强处理的所述项点模板图像按比例调整为与经过图像增强处理的所述待检项点图像大小一致且长宽比相等的待检模板图像；

步骤S43，基于预设的特征检测算法分别识别所述待检模板图像与图像增强过后的所述待检项点图像中的若干特征点，形成两个特征集合；

步骤S44，基于预设的匹配算法将两个所述特征集合中的特征点进行匹配得到若干特征匹配对，并对各所述特征匹配对进行筛选得到筛选过后的若干所述特征匹配对；

步骤S45，将筛选过后的若干所述特征匹配对输入预设的矩阵算法中，计算得到单应性矩阵，进而根据所述单应性矩阵对经过图像增强处理的所述项点模板图像仿射变换得到所述待检图像。

进一步地，所述步骤S6包括：

步骤S61，对所述待检标记框图像和所述模板标记框图像依次进行自适应二值化处理、开运算处理以及轮廓检测处理，以得到图像去噪处理过后的所述待检标记框图像和所述模板标记框图像；

步骤S62，根据预设的重叠值计算公式计算图像去噪处理过后的所述待检标记框图像和所述模板标记框图像的所述标注框重叠值；

步骤S63，将所述标注框重叠值与预设的重叠阈值进行比较，在所述标注框重叠值大于所述重叠阈值时，生成表示螺栓未松动的第一松动检测结果，以及在所述标注框重叠值不大于所述重叠阈值时，生成表示螺栓松动的第二松动检测结果。

进一步地，所述重叠值计算公式配置为：

；

其中，

用于表示经过图像去噪处理过后的所述模板标记框图像中标注框所占像素面积；

用于表示经过图像去噪处理过后的所述待检标记框图像中标注框所占像素面积；

用于表示经过图像去噪处理过后的所述模板标记框图像中标注框与所述待检标记框图像中标注框的中心点坐标的欧式距离的平方；

用于表示包裹住经过图像去噪处理过后的所述模板标记框图像中标注框与所述待检标记框图像中标注框的最小方框的对角线距离的平方。

本发明的有益效果：

本发明采集轨道车辆上的待检项点图像，将待检项点图像与螺栓松动检测模板图进行匹配，得到与待检项点图像相对应的项点模板图像，实现了初步快速匹配，但是初步匹配得到的待检项点图像与项点模板图像可能因为拍摄角度等问题存在不相对应的地方，然后利用二次匹配计算待检项点图像与项点模板图像之间的若干特征匹配对，进而根据若干特征匹配对计算得到单应性矩阵，根据单应性矩阵对待检项点图像进行仿射变换得到待检图像，使得待检图像与项点模板图像能够准确对应，通过设置两次图像匹配，在保证图像匹配准确率的同时，显著提升了图像匹配的准确率，使得标记框语义分割模型输出的待检标记框图像和模板标记框图像更准确，最终提升了对螺栓的松动检测结果的检测精度。

附图说明

图1是本发明中基于机器视觉的轨道车辆螺栓松动检测方法的步骤流程图；

图2是本发明中基于机器视觉的轨道车辆螺栓松动检测方法的图像匹配示意图；

图3是本发明中步骤S1的步骤子流程图；

图4是本发明中步骤S2的步骤子流程图；

图5是本发明中步骤S3的步骤子流程图；

图6是本发明中步骤S4的步骤子流程图；

图7是本发明中步骤S6的步骤子流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、 “ 水平的”、“ 左”、“ 右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

请同时参见图1和图2，本实施例提供了一种基于机器视觉的轨道车辆螺栓松动检测方法，包括：

步骤S1，在轨道车辆上拧紧的若干螺栓上标记螺栓松动标记线，采集轨道车辆上的若干检测部位图像以处理得到螺栓松动检测模板图，以及采集轨道车辆上的若干螺栓项点图像以处理得到语义分割数据集；

步骤S2，根据语义分割数据集中的数据训练得到标记框语义分割模型；

步骤S3，采集轨道车辆上的待检项点图像，并将待检项点图像与螺栓松动检测模板图进行匹配，得到与待检项点图像相对应的项点模板图像；

步骤S4，对互相匹配的待检项点图像与项点模板图像进行二次匹配得到若干特征匹配对，根据若干特征匹配对计算得到单应性矩阵，根据单应性矩阵对待检项点图像进行仿射变换得到待检图像；

步骤S5，将待检图像和相应项点模板图像分别输入标记框语义分割模型以分别得到待检标记框图像和模板标记框图像；

步骤S6，对待检标记框图像和模板标记框图像进行图像去噪处理，并计算经过图像去噪处理过后的待检标记框图像和模板标记框图像中的标注框重叠值，根据标注框重叠值生成松动检测结果。

具体地，本实施例中，在步骤S1中，首先需要在轨道车辆上拧紧的若干螺栓上人工画上螺栓松动标记线，然后进行检测部位图像以及螺栓项点图像的采集。其中检测部位图像中包含有轨道车辆的车辆部位、螺栓以及螺栓松动标记线，而螺栓项点图像中包含有车辆部位以及螺栓松动标记线。

本技术方案通过采集轨道车辆上的待检项点图像，将待检项点图像与螺栓松动检测模板图进行匹配，得到与待检项点图像相对应的项点模板图像，实现了初步快速匹配，但是初步匹配得到的待检项点图像与项点模板图像可能因为拍摄角度等问题存在不相对应的地方，然后利用二次匹配计算待检项点图像与项点模板图像之间的若干特征匹配对，进而根据若干特征匹配对计算得到单应性矩阵，根据单应性矩阵对待检项点图像进行仿射变换得到待检图像，使得待检图像与项点模板图像能够准确对应，通过设置两次图像匹配，在保证图像匹配准确率的同时，显著提升了图像匹配的准确率，使得标记框语义分割模型输出的待检标记框图像和模板标记框图像更准确，最终提升了对螺栓的松动检测结果的检测精度。

优选的，参照图3所示，步骤S1包括：

步骤S11，利用若干高速相机配合激光光源采集各检测部位图像，对各检测部位图像进行图像融合形成螺栓松动检测模板图，对螺栓松动检测模板图中所有需要进行螺栓松动检测的项点进行标注框标注；

步骤S12，在若干不同的光照条件下，以多种拍摄角度采集轨道车辆上的各螺栓项点图像，对各螺栓项点图像进行标注框标注，将标注过后的各螺栓项点图像作为语义分割数据集。

具体地，本实施例中，在步骤S11中通过多套高速线阵相机和激光光源互相匹配采集得到轨道车辆上的检测部位图像，将多张检测部位图像进行图像融合处理，得到螺栓松动检测模板图，其中螺栓松动检测模板图中包含有轨道车辆的车辆部位。在步骤S12中，螺栓项点图像的采集过程包括：在不同的光照条件下，以多种拍摄角度拍摄轨道车辆上的各种螺栓项点图像，以确保螺栓项点图像包括各种形状和规格的螺栓。进一步地，为了方便管理，为每个螺栓项点图像分配了唯一文件名，此外螺栓项点图像还包含有其余相关信息，包括拍摄角度、螺栓规格等。

在螺栓项点图像采集完毕后，使用Labelme软件绘制多边形的标记框来标记每个螺栓标记线的区域，将螺栓标记线被准确标记为前景，将螺栓标记线之外的其他图像区域作为背景。此外Labelme软件会生成一个JSON文件，其中JSON文件包含全部的标记信息。在标记完毕后，将标记后的螺栓项点图像和相应的JSON文件划分为训练集、验证集和测试集。最终将JSON文件转换为PASCAL VOC数据集格式，以作为语义分割模型的语义分割数据集。

优选的，参照图4所示，步骤S2包括：

步骤S21，引入语义分割网络模型作为初始模型；

步骤S22，利用语义分割数据集中的数据训练初始模型，以得到标记框语义分割模型。

具体地，本实施例中，首先搭建语义分割网络作为初始模型，然后利用语义分割数据集对初始模型进行训练，最终训练得到标记框语义分割模型。其中语义分割网络选用U-Net网络，主干网络选用ResNet101。

优选的，在步骤S22中，采用混合交叉损失函数以获取初始模型的损失，混合交叉损失函数配置为：

；

其中，

用于表示Dice Loss函数；

用于表示EIOU损失函数；

、/>

具体地，本实施例中，由于在获取的螺栓项点图像中，标注框所占比例相对较小，这导致了样本分布的极不平衡。为了解决样本分布不平衡的问题，提升在标记框语义分割模型中对标记框的标记精度，本技术方案通过使用混合交叉损失函数，该混合交叉损失函数混合复用了Dice Loss函数以及EIOU损失函数。Dice Loss函数能够实现样本分布平衡，而EIOU损失函数具有鲁棒性强、收敛速度快、回归精度高的特点。本技术方案通过使用混合交叉损失函数，不但解决了样本分布不平衡的问题，同时提升了损失函数的鲁棒性、收敛速度以及回归精度，实现了集优。

优选的，在步骤S22中，采集语义分割数据集中各螺栓项点图像中各标注框所占的比例，将各标注框所占的比例带入预设的函数系数调整公式中，以计算得到函数系数调整值，根据函数系数调整值计算得到第一函数系数和第二函数系数。

具体地，本实施例中，各螺栓项点图像中标注框所占的比例与样本分布他平衡性相关。为了保证样本分布的平衡性，需要根据各螺栓项点图像中标注框所占的比例调整Dice Loss函数以及EIOU损失函数的第一函数系数和第二函数系数的值。本实施例中的第一函数系数和第二函数系数配置有初始值，分别为第一初始系数和第二初始系数，根据各标注框所占的比例计算得到函数系数调整值，第一初始系数与函数系数调整值做乘积运算得到第一函数系数，第二初始系数与函数系数调整值做乘积运算得到第二函数系数。

优选的，函数系数调整公式配置为：

；

其中，

用于表示预设的标准比例；

用于表示标注框的个数；

用于表示第/>

用于表示预设的调整转换系数。

具体地，本实施例中，首先将各标注框在螺栓项点图像中所占的比例与标准比例做差得到比例偏差值，然后将各比例偏差值累加后的值与调整转换系数相乘，实现将数据转化得到函数系数调整值。

优选的，参照图5所示，步骤S3包括：

步骤S31，分别计算待检项点图像与螺栓松动检测模板图在各个位置处的相关系数；

步骤S32，将相关系数最大值所在的位置作为螺栓匹配位置；

步骤S33，根据螺栓松动检测模板图中螺栓匹配位置所在位置处的标注框对螺栓松动检测模板图进行裁剪，得到项点模板图像。

具体地，本实施例中，使用归一化互相关法对待检项点图像与螺栓松动检测模板图进行初步匹配计算，通过计算螺栓松动检测模板图与待检项点图像中各个位置处的相关关系数来确定初步匹配的程度，将相关系数最大值所在的位置作为螺栓匹配位置，进而通过螺栓松动检测模板图中的标注框对螺栓松动检测模板图进行裁剪，得到螺栓松动检测模板图中与待检项点图像相对应的项点模板图像。

优选的，参照图6所示，步骤S4包括：

步骤S41，对互相匹配的待检项点图像与项点模板图像依次进行高通滤波、Gamma变换和图像特征突出以实现图像增强，得到图像增强过后的待检项点图像与项点模板图像；

步骤S42，将经过图像增强处理的项点模板图像按比例调整为与经过图像增强处理的待检项点图像大小一致且长宽比相等的待检模板图像；

步骤S43，基于预设的特征检测算法分别识别待检模板图像与图像增强过后的待检项点图像中的若干特征点，形成两个特征集合；

步骤S44，基于预设的匹配算法将两个特征集合中的特征点进行匹配得到若干特征匹配对，并对各特征匹配对进行筛选得到筛选过后的若干特征匹配对；

步骤S45，将筛选过后的若干特征匹配对输入预设的矩阵算法中，计算得到单应性矩阵，进而根据单应性矩阵对经过图像增强处理的项点模板图像仿射变换得到待检图像。

具体地，本实施例中，步骤S41中先利用拉普拉斯滤波器对待检项点图像与项点模板图像进行高通滤波，增强待检项点图像与项点模板图像中边缘和纹理等高频细节，实现图像去噪。然后对待检项点图像与项点模板图像进行图像Gamma变换，通过调整待检项点图像与项点模板图像的亮度和对比度来突出图像显示细节。最终使用自适应多尺度增强技术，进一步突出待检项点图像与项点模板图像的图像特征。

然后对经过图像增强处理的待检项点图像与项点模板图像进行二次模板匹配，二次模板匹配的过程包括：

首先对经过图像增强处理的待检项点图像按比例调整为与经过图像增强处理的项点模板图像大小一致的待检模板图像，在进行图像尺寸调整之前还需要将待检项点图像做填充处理至与与经过图像增强处理的项点模板图像的长宽比相等。然后，使用SURF 检测算法对进行特征点检测待检模板图像与图像增强过后的待检项点图像中的特征点，并形成两个特征点集合。SURF (Speeded Up Robust Features)算法是一种快速且具有鲁棒性的特征点检测算法，它通过采用积分图像和快速哈希表等技术来加速特征点的检测和匹配过程。该算法的基本思想是通过计算图像中每个像素点的Haar小波响应来确定其特征点。与SIFT算法相比，SURF算法具有更快的速度和更好的鲁棒性，因此在实时性要求较高的图像处理应用中得到广泛应用。

然后采用FLANN匹配算法对所述两个特征点集合中的特征点进行匹配形成特征匹配对。进一步的，通过计算特征匹配对中相应两个特征点之间的距离，采用设置距离阈值来进行筛选，只保留那些特征点距离小于距离阈值内的特征匹配对。进而使用RANSAC算法计算出描述待检项点图像与项点模板图像之间的仿射变换关系的单应性矩阵。最后，根据单应性矩阵对经过图像增强处理的项点模板图像进行仿射变换生成待检图像。

优选的，参照图7所示，步骤S6包括：

步骤S61，对待检标记框图像和模板标记框图像依次进行自适应二值化处理、开运算处理以及轮廓检测处理，以得到图像去噪处理过后的待检标记框图像和模板标记框图像；

步骤S62，根据预设的重叠值计算公式计算图像去噪处理过后的待检标记框图像和模板标记框图像的标注框重叠值；

步骤S63，将标注框重叠值与预设的重叠阈值进行比较，在标注框重叠值大于重叠阈值时，生成表示螺栓未松动的第一松动检测结果，以及在标注框重叠值不大于重叠阈值时，生成表示螺栓松动的第二松动检测结果。

具体地，本实施例中，在步骤S61中，对待检标记框图像和模板标记框图像进行自适应二值化处理，然后进行开运算处理，实现了对待检标记框图像和模板标记框图像中的噪点去除以及对相邻标记框的去除。然后利用Opencv开源库对待检标记框图像和模板标记框图像进行轮廓检测，过滤掉轮廓面积小于轮廓面积阈值的轮廓，其中轮廓面积阈值可为10像素。在重叠阈值可以为0.8。

优选的，重叠值计算公式配置为：

；

其中，

用于表示经过图像去噪处理过后的模板标记框图像中标注框所占像素面积；

用于表示经过图像去噪处理过后的待检标记框图像中标注框所占像素面积；

用于表示经过图像去噪处理过后的模板标记框图像中标注框与待检标记框图像中标注框的中心点坐标的欧式距离的平方；

用于表示包裹住经过图像去噪处理过后的模板标记框图像中标注框与待检标记框图像中标注框的最小方框的对角线距离的平方。

具体地，本实施例中，DIoU损失在GIoU损失的基础上引入了预测边界框与真实边界框中心点之间的距离，使损失函数更加关注边界框的位置，能够保证判断精度。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。