一种列车的关键部件丢失检测方法及其系统

技术领域

本发明涉及轨道车辆检测技术领域，具体涉及一种列车的关键部件丢失检测方法及其系统。

背景技术

走行部作为轨道交通车辆中的关键组成部分，在列车运行中发挥着重要作用。走行部由轮对、轴箱油润装置、侧架、摇枕、弹簧减振装置、制动装置、电机等部件组成。

目前，行业内通用的走行部检测方法仍然是依靠人工通过肉眼查看为主，图像识别类设备为辅的方式确认走行部部件是否存在丢失故障，其人工操作工作量大，且容易发生漏判的情况。并且，传统图像类设备尚处于误报高、检出低的阶段，难以真正的对检修形成作业指导。

综上所述，传统的列车走行部检测方法存在工作量大、准确率低下的问题。

发明内容

有鉴于此，本发明提供一种列车的关键部件丢失检测方法及其系统，通过改进走行部检测方法及检测数据的处理方法，解决了传统的列车走行部检测方法存在的工作量大、准确率低下的问题。

为解决以上问题，本发明的技术方案为采用一种列车的关键部件丢失检测方法，包括：采集列车走行部的二维图像数据和三维点云数据；基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图；基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息；基于所述第一差异信息和所述第二差异信息生成检测报告。

可选地，基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，包括：将所述三维点云数据和所述标准三维点云数据输入第一深度学习网络；基于所述第一深度学习网络计生成所述三维点云数据与所述标准三维点云数据的所述三维转换关系；基于所述三维转换关系，将所述三维点云数据转换到所述标准三维点云数据的姿态下，以实现图像配准；根据相机标定参数，将配准后的所述三维点云数据和所述标准三维点云数据均映射到二维图像上，并将每个点赋值其原本的深度值，生成所述配准深度图和所述标准深度图。

可选地，基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息，包括：将所述配准深度图和所述标准深度图输入第二深度学习网络，所述第二深度学习网络输出预测的包含第一丢失部件区域信息的第一差异信息；将所述配准灰度图和所述标准灰度图输入第三深度学习网络，所述第三深度学习网络输出预测的包含第二丢失部件区域信息的第二差异信息。

可选地，构建所述第二深度学习网络和所述第三深度学习网络的方法均包括：

构建初始化网络模型；获取包含人工标记丢失部件的样本图像构成的训练数据集和测试数据集，其中，第二深度学习网络所使用的样本图像为深度图，第三深度学习网络所使用的样本图像为深度图；基于所述训练数据集和所述测试数据集训练并测试所述网络模型。

可选地，基于所述第一差异信息和所述第二差异信息生成检测报告，包括：基于所述第一差异信息提取第二深度学习网络预测的第一丢失部件区域信息；基于所述第二差异信息提取第三深度学习网络预测的第二丢失部件区域信息；基于所述第一丢失部件区域信息和所述第二丢失部件区域信息提取重合区域并生成第三丢失部件区域信息；将所述第三丢失部件区域信息匹配至模板框中，生成包含丢失部件的区域位置信息和丢失部件类型的所述检测报告。

可选地，构建所述模板框的方法包括：对所述标准灰度图进行预标注并生成所述模板框，其中，预标注包括：标注列车走行部的各部件类型及其区域位置。

相应地，本发明提供，一种列车的关键部件丢失检测系统，包括：数据采集单元，用于采集列车走行部的二维图像数据和三维点云数据；数据处理单元，能够基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图，并基于所述配准深度图和所述标准深度图生成第一差异信息和基于所述配准灰度图和标准灰度图生成第二差异信息后，基于所述第一差异信息和所述第二差异信息生成检测报告。

可选地，所述数据处理单元包括：图像配准模块，能够基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；差异检测模块，能够基于所述配准深度图和所述标准深度图生成第一差异信息和基于所述配准灰度图和标准灰度图生成第二差异信息，联合判断模块，能够基于所述第一差异信息和所述第二差异信息生成检测报告。

可选地，所述关键部件丢失检测系统还包括：数据存储单元，用于存储所述二维图像数据、所述三维点云数据、所述标准二维图像数据、所述标准三维点云数据和样本图像。

本发明的首要改进之处为提供的列车的关键部件丢失检测方法，通过非接触的方法自动获取到走行部的三维数据和二维数据，并通过分别处理所述三维数据和所述二维数据生成第一差异信息和第二差异信息后，基于第一差异信息和第二差异信息生成最终的检测报告，实现了基于不同维度的探测数据进行关键部件丢失检测结果的相互验证，在完全自动化完成列车的关键部件丢失检测的同时，有效提升了关键部件丢失检测结果的准确性。

附图说明

图1是本发明的列车的关键部件丢失检测方法的简化流程图；

图2是本发明的列车的关键部件丢失检测系统的简化单元连接图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，一种列车的关键部件丢失检测方法，其特征在于，包括：采集列车走行部的二维图像数据和三维点云数据；基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图；基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息；基于所述第一差异信息和所述第二差异信息生成检测报告。其中，所述标准三维点云数据和所述标准灰度图均为用户在车辆走行部处于标准状态下采集的数据。

进一步的，基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，包括：将所述三维点云数据和所述标准三维点云数据输入第一深度学习网络；基于所述第一深度学习网络计生成所述三维点云数据与所述标准三维点云数据的所述三维转换关系；基于所述三维转换关系，将所述三维点云数据转换到所述标准三维点云数据的姿态下，以实现图像配准；根据相机标定参数，将配准后的所述三维点云数据和所述标准三维点云数据均映射到二维图像上，并将每个点赋值其原本的深度值，生成所述配准深度图和所述标准深度图。其中，第一深度学习网络为PointNet网络；相机标定参数可以是相机内参，包括相机芯片的像元尺寸，图像分辨率，镜头焦距；将配准后的所述三维点云数据和所述标准三维点云数据均映射到二维图像上的方法为：基于相机成像模型直接投影。

更进一步的，所述三维点云数据的图像配准可以包括粗配准和精配准两步。粗配准指的是在两幅点云之间的变换完全未知的情况下进行较为粗糙的配准，目的主要是为精配准提供较好的变换初值；精配准则是给定一个初始变换，进一步优化得到更精确的变换。具体公式为：

其中，P

进一步的，基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息，包括：将所述配准深度图和所述标准深度图输入第二深度学习网络，所述第二深度学习网络输出预测的包含第一丢失部件区域信息的第一差异信息；将所述配准灰度图和所述标准灰度图输入第三深度学习网络，所述第三深度学习网络输出预测的包含第二丢失部件区域信息的第二差异信息。其中，第二深度学习网络和第三深度学习网络可以是yolo-v3等常用的用于图像语义分割的神经网络。

更进一步的，构建所述第二深度学习网络和所述第三深度学习网络的方法均包括：构建初始化网络模型；获取包含人工标记丢失部件的样本图像构成的训练数据集和测试数据集，其中，第二深度学习网络所使用的样本图像为深度图，第三深度学习网络所使用的样本图像为深度图；基于所述训练数据集和所述测试数据集训练并测试所述网络模型。

进一步的，基于所述第一差异信息和所述第二差异信息生成检测报告，包括：基于所述第一差异信息提取第二深度学习网络预测的第一丢失部件区域信息；基于所述第二差异信息提取第三深度学习网络预测的第二丢失部件区域信息；基于所述第一丢失部件区域信息和所述第二丢失部件区域信息提取重合区域并生成第三丢失部件区域信息；将所述第三丢失部件区域信息匹配至模板框中，生成包含丢失部件的区域位置信息和丢失部件类型的所述检测报告。其中，构建所述模板框的方法包括：对所述标准灰度图进行预标注并生成所述模板框，其中，预标注包括：标注列车走行部的各部件类型及其区域位置。

更进一步的，生成第三丢失部件区域信息的方法还可以是：提取第一丢失部件区域信息和所述第二丢失部件区域信息中置信度高于阈值的区域并生成第三丢失部件区域信息。其中，阈值可以是0.6。

本发明通过非接触的方法自动获取到走行部的三维数据和二维数据，并通过分别处理所述三维数据和所述二维数据生成第一差异信息和第二差异信息后，基于第一差异信息和第二差异信息生成最终的检测报告，实现了基于不同维度的探测数据进行关键部件丢失检测结果的相互验证，在完全自动化完成列车的关键部件丢失检测的同时，有效提升了关键部件丢失检测结果的准确性。

相应的，如图2所示，本发明提供，一种列车的关键部件丢失检测系统，包括：数据采集单元，用于采集列车走行部的二维图像数据和三维点云数据；数据处理单元，能够基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图，并基于所述配准深度图和所述标准深度图生成第一差异信息和基于所述配准灰度图和标准灰度图生成第二差异信息后，基于所述第一差异信息和所述第二差异信息生成检测报告。所述关键部件丢失检测系统还包括：数据存储单元，用于存储所述二维图像数据、所述三维点云数据、所述标准二维图像数据、所述标准三维点云数据和样本图像。其中，数据采集单元可以包括由一个或多个光学成像装置构成，在使用多个光学成像装置分别采集三维点云数据和二维图像数据的情况下，多个光学成像装置的探测区域需相同；数据处理单元可以是后端的PC单元、移动电脑等能够执行上述数据处理的数据处理设备。

进一步的，所述数据处理单元包括：图像配准模块，能够基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；差异检测模块，能够基于所述配准深度图和所述标准深度图生成第一差异信息和基于所述配准灰度图和标准灰度图生成第二差异信息，联合判断模块，能够基于所述第一差异信息和所述第二差异信息生成检测报告。

以上对本发明实施例所提供的一种列车的关键部件丢失检测方法及其系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。