一种基于机器视觉的汽车流水线轮毂质量检测方法及系统

技术领域

本发明涉及工业质量检测技术领域，具体为一种基于机器视觉的汽车流水线轮毂质量检测方法及系统。

背景技术

在汽车生产过程中的轮毂安装完成后，需要完成对轮毂的检测，包括检测轮毂类型、轮毂中心车标类型、卡钳类型是否与该辆车的应有配置一致，轻点和重点的夹角是否满足质量要求，该辆车四个轮毂的锥度点类型是否一致等等，以避免轮毂存在缺陷影响轮毂整体的产品质量。

现有技术对轮毂的检测通常采用人工检测方法，很大程度需要依赖检测工人的经验，同时，由于汽车流水线运行速度较快，往往需要检测工人高度集中注意力并具有良好的反应速度，因此，人工检测通常存在检测成本高、检测速度慢、检测误差率低等等的问题，难以实现轮毂质量的高效检测、追溯与修正。

因此，有必要研发一种基于机器视觉的汽车流水线轮毂质量检测方法及系统。

发明内容

针对现有技术中存在的问题，本发明的目的之一是：提供一种基于机器视觉的汽车流水线轮毂质量检测方法，能够实现轮毂质量的高效检测、追溯与修正。

本发明的目的之二是：提供一种基于机器视觉的汽车流水线轮毂质量检测系统。

为了达到上述目的，本发明采用如下技术方案：

一种基于机器视觉的汽车流水线轮毂质量检测方法，包括以下步骤，

获取汽车轮毂图像数据并进行预处理，所述汽车轮毂图像数据由图像采集单元采集得到；

对经过预处理的汽车轮毂图像数据使用深度神经网络模型推理，经过非极大值抑制得到轮毂质量数据，并将轮毂质量数据发送到信息输出单元，以使信息输出单元对车辆的配置信息与轮毂质量数据进行比较获得质量检测结果；所述车辆的配置信息根据车辆识别码查询得到；所述车辆识别码由图像采集单元采集得到。

进一步，到位信号采集装置触发车辆到位信号后，车辆轮毂进入图像采集装置工作范围，车辆铭牌进入车辆识别码采集装置工作范围，车辆识别码采集装置获取车辆铭牌上的车辆识别码，同时图像采集装置采集汽车轮毂图像数据。

进一步，到位信号采集装置每隔一定时间即采集一次车辆到位信号，在整个检测过程中持续更新车辆是否到位的状态信息，为避免偶然错误，到位信号采集装置发出的车辆到位信号至少连续三次相同才能变更车辆到位状态信息，当车辆到位状态由未到位变化到到位时，系统启动各项检测任务，当车辆到位状态由到位变化到未到位时系统保存检测结果，并关闭各项检测任务。

进一步，车辆识别码采集装置在车辆铭牌进入工作范围内后多次等间隔获取车辆识别码，对每车辆至少获取三次车辆识别码，直到获取到的相同的车辆识别码次数占总获取次数的半数以上为止，以剔除车辆识别码获取过程中的偶然错误，增强系统的鲁棒性。

进一步，图像采集装置在车辆轮毂进入工作范围内后多次等间隔获取汽车轮毂图像数据，对每车辆的每个轮毂至少获取5次汽车轮毂图像数据，数据处理单元对每一个汽车轮毂图像数据样本都进行一次推理，每个轮毂根据至少5次推理的结果综合得出轮毂质量数据。

进一步，综合多次推理结果得出轮毂质量数据的过程中，存在两种类型数据的判断，一是轮毂造型、车标类型、卡钳类型、锥度点类型的零部件类别信息的判断，此时使用投票算法，多数者决定推理的最终类别；二是轻点、重点与轮毂中心的夹角计算，此时使用平均算法，平均多次计算结果决定最终推理结果。

进一步，数据处理单元对汽车轮毂图像数据进行推理的开始阶段，需要使用图像预处理方法将原始图像经过放缩与填充为模型可输入的数据大小，在推理的最后阶段对深度神经网络模型的输出结果进行非极大值抑制，剔除相似度高的与置信度低的预测结果。

进一步，深度神经网络模型使用监督学习方法进行参数学习，使用自定义轮毂数据集上在预训练的模型参数进行训练微调。

进一步，信息输出单元输出质量检测结果包括可视化信息与声音提示信息。

一种基于机器视觉的汽车流水线轮毂质量检测系统，包括图像采集单元、数据处理单元和信息输出单元；

图像采集单元用于采集汽车轮毂图像数据并发送到数据处理单元，采集车辆识别码并发送到信息输出单元；

数据处理单元用于对接收到的汽车轮毂图像数据进行预处理，然后使用深度神经网络模型推理，经过非极大值抑制得到轮毂质量数据，并将轮毂质量数据发送到信息输出单元；

信息输出单元用于根据接收到的车辆识别码查询车辆的配置信息，并将查询到的车辆的配置信息与数据处理单元发送来的轮毂质量数据进行比较，获得并输出质量检测结果。

总的说来，本发明具有如下优点：

通过非接触方法采集车辆数据，进行无损的、高效的轮毂质量检测；可以自动化保存和展示检测结果，及时报警，快速纠正质量问题；可以普遍应用于汽车生产线而不影响原有的生产过程；方法简单，容易实现，成本低，具有很好的适用性。利于普及。

附图说明

图1是本发明的系统组成示意图。

图2是本发明的结构组成示意图。

图3是本发明的一个实施例的工作流程图。

其中：

1为光电传感器，2为工业相机，3为光源，4为二维码扫码器，5为车辆铭牌，6为车身，7为数据处理单元，8是声光报警器，9是显示器。

具体实施方式

下面来对本发明做进一步详细的说明。

如图1和图2所示，本发明的基于机器视觉的流水线汽车轮毂质量检测系统包括数据采集单元，数据处理单元7和信息输出单元。

数据采集单元包括到位信号采集装置、图像采集装置与车辆识别码采集装置，信息输出单元包括显示器9与声光报警器8。每个图像采集装置与车辆识别码采集装置均配置有一个光源3。

数据采集单元用于采集车辆数据，车辆数据包括到位信号采集装置采集的车辆到位信息、图像采集装置采集的汽车轮毂图像数据与车辆识别码采集装置采集的车辆识别码，其中汽车轮毂图像数据发送到数据处理单元7，车辆识别码发送到信息输出单元。

车辆到位信号是表示车辆是否在系统工作范围内的标识信息，该信息既用于更新并保存检测结果，也用于启动系统的各项检测功能，例如，当车辆到位信息表示有新车辆进入工作范围时，则获取汽车轮毂图像数据车辆标识码，当车辆到位信息表示车辆已经离开工作区域时，则保存该车辆的检测结果并刷新系统中记录的各检测项数据，为下一辆车执行检测做好准备；

汽车轮毂图像数据包含车辆四个轮毂的图像数据，是对轮毂进行质量检测的主要依据是执行检测任务最重要的信息来源，例如通过对汽车轮毂图像数据的推理，可以得到当前汽车轮毂的零部件类别信息与零部件位置信息，根据零部件类别信息可以判断轮毂在安装过程中有无错漏装的情况，例如车标类型、轮毂外观类型、卡钳类型、锥度点类型是否符合该车辆的应有配置，根据零部件位置信息可以判断轮毂的安装质量是否符合要求，例如轻点、重点与轮毂中心的夹角是否小于一定角度；

车辆识别码为每一辆车的的独有的17位由数字和字母组成的字符串，每一个车辆识别码都代表了唯一的一辆车，信息输出单元可以根据车辆识别码在MES(ManufacturingExecution System)系统中查询车辆的配置信息，与根据汽车轮毂图像数据的推理结果进行比较，生成检测结果。

数据处理单元7用于接收数据采集单元发送的汽车轮毂图像数据，使用深度神经网络模型进行推理，得到轮毂质量数据，将轮毂质量数据发送到信息输出单元。

信息输出单元用于接收数据采集单元发送的车辆识别码与数据处理单元7发送的轮毂质量数据，并通过比较后转化为相应的提示信息，提示信息包括质量检测结果、可视化信息与声音提示信息。

车辆识别码采集装置具有扫码或者拍摄图像的功能，用于获取车辆铭牌5上的车辆识别码，可以是扫码器或者各种摄像机。

数据处理单元7为能与不同终端进行通信，能进行计算、分析和处理各种信号和数据的智能终端或台式电脑。

深度神经网络模型是一种用于处理图像的目标检测深度学习模型，使用监督学习方法进行参数学习，使用自定义轮毂数据集上在预训练的模型参数进行训练微调，输入图像数据，输出轮毂质量数据，其模型结构可以是YOLOv5或者YOLOv8等，其模型参数需要经过自定义轮毂数据集的训练才能完成特定的检测任务。

所述YOLOv5与YOLOv8模型是Ultralytics公司开发并维护的实时物体检测和图像分割开源项目。模型基于深度学习和计算机视觉领域的前沿技术，能在速度和准确性方面取得SOTA(state of the art)级别的平衡。其端到端的设计使其适用于各种应用，并可轻松适应从边缘设备到云端接口的不同硬件平台，其中YOLOv8在前几个版本成功的基础上，引入了新的功能和改进，以提高性能、灵活性和效率。YOLOv8支持全方位的视觉人工智能任务，包括检测、分割、姿态估计、跟踪和分类。

轮毂质量数据包括零部件类别信息与零部件位置信息，零部件类别信息包含检测出的预定义的零部件类别，零部件位置信息包含检测出的目标的相对于图像左上角的位置信息。

输入深度神经网络模型的图像数据需要进行图像预处理为固定大小，保持与训练数据相同，例如可以将从数据采集单元获取的汽车轮毂图像数据预处理为640x640或1280x1280大小的图像数据。

图像预处理不对图像产生畸变，只进行放缩与填充操作，例如将汽车轮毂图像数据统一为640x640大小时，将原始图像进行缩放使其最长边为640个像素点大小，短边方向上对称填充像素值为(111,111,111)的像素，最终得到像素为640x640大小的图像。

自定义轮毂数据集是符合网络模型格式的数据集，使用监督学习方法包含待检测汽车轮毂图像数据文件与标签文件，其中汽车轮毂图像数据来自于图像采集装置所用相机的真实数据。且数据集的数据实例数量要足够多以防止模型过拟合，例如使用YOLOv5模型或者YOLOv8模型时，毂数据集中包含一种类别的图片数据实例至少为1500个，每个待检测类别的标注实例至少为10000个，轮毂数据集中每个图片数据实例中出现的待检测目标实例进行完整标注，标注的预测框紧紧贴合待检测目标实例，数据集中包含10％的没有任何标注实例的真实背景图片，按照8：1：1的比例划分训练集、验证集与测试集，并且按照5折交叉验证的方式划分为5个数据集，其中当采集的原始数据不足时可以采用数据增强方法扩大数据样本数量，同时也可以减少模型过拟合。

模型训练之前必须设置超参数，所述超参数包括学习率，动量，损失函数的各项权重，批处理大小，优化器类型等等，其中开源项目中提供了多种参数组合，训练时分别在不同超参数组合下训练做交叉验证，试验得出最佳的超参数与模型。

模型训练时模型参数的初始化采用在目标检测领域预训练的模型参数，例如使用公开的在COCO数据集上的预训练模型参数进行微调训练可以加速收敛大大减少训练所需时间。进行尽可能多轮的训练，在训练过程中每轮训练结束时都会将最新模型在验证集上做测试，选择在验证集上mAP最高的模型最为该数据集上的备选模型，当进行了预设定数量轮的训练模型仍然没有性能提升即停止训练，例如设置训练80轮没有提升后停止训练。最后在5折交叉验证的数据集上最终得出5个备选模型。使用测试集对这5个备选模型做测试，最终选择在测试集中mAP最高的模型最为部署模型。

信息输出单元用于接收数据采集单元发送的车辆数据与数据处理单元7发送的轮毂质量数据，得出质量检测结果，并转化为相应的提示信息。所属的提示信息包括检测结果可视化信息与声音提示信息。

可视化信息是将检测结果绘制到待检测原始图像上的带有检测结果的图像信息，每个已检测出目标带有与其紧密包围的长方形预测框与预测类别，对于特定的检测项目，例如检测轻重点之间的夹角，绘制轻点、重点与轮毂中心之间的夹角。

声音提示信息是信息输出单元发出的语音提示信息，当检测结果合格时不发出提示信息，当检测结果不合格时，将播报检测不合格的项目。例如，当出现零部件类别错误时，将提示现场人员及时更换正确的零部件。

到位信号采集装置用于发出车辆到位信号，提示系统车辆进入工作范围，启动系统的各项服务，可以是机电限位开关、感应式接近传感器、光电传感器1或者超声波传感器等。

图像采集装置具备摄像功能的彩色相机，可以是工业相机2等，其采集图像的能力满足模型推理对于分辨率的要求。例如模型使用1280x1280的图像进行推理时，该图像采集装置采集的图像分辨率要大于或等于1280x1280。

在本实施例中，到位信号采集装置采用光电传感器1，图像采集装置采用工业相机2，车辆识别码采集装置采用二维码扫码器4，数据处理单元7使用计算机，信息输出单元包含显示器9与声光报警器8。

图像采集装置同时采集车辆两侧的轮毂图像数据，到位信号采集装置、图像采集装置与车辆识别码采集装置三者的相对位置保证汽车在流水线上经过时，到位信号采集装置首先触发，到位信号采集装置触发车辆到位信号后，车辆轮毂进入图像采集装置工作范围，车辆铭牌5进入车辆识别码采集装置工作范围。

如图2所示，光电传感器1安装于车辆前进方向上的最前端，保证光电传感器1是整个系统中首先触发的传感器；工业相机2在车身6两侧正对轮毂两侧各设一个；二维码扫码器4正对于车辆铭牌5；显示器9与声光报警器8安装于便于现场人员看见的位置即可。

本发明的该实施例的工作流程图如图3所示，检测流程包含以下步骤：

(1)光电传感器1判断车辆是否到位；

(2)工业相机2采集汽车轮毂图像数据并发送到数据处理单元7，二维码扫码器4采集车辆识别码并发送到信息输出单元；

(3)数据处理单元7使用YOLOv5模型对汽车轮毂图像数据进行推理，得出轮毂质量数据发送到信息输出单元；

(4)光电传感器1判断车辆是否离位，若未离位返回步骤(2)；

(5)信息输出单元整合数据采集单元与数据处理单元7发送的数据,得出轮毂检测结果并进行可视化显示与声音提示；

(6)系统循环工作，返回步骤(1)

具体地，所述步骤(1)与步骤(4)中光电传感器1每隔0.3秒检测一次车辆是否到位，并保存历史最近三次的检测结果与当前的车辆状态，当历史三次的检测结果相同且与当前车辆状态不一致时变更当前车辆状态，例如当前的车辆状态为未到位，当最近三次历史检测结果全为车辆到位时变更当前的车辆状态为到位，向系统发出车辆到位信号，反之则发出车辆离位信号。

具体地，所述步骤(2)中系统收到光电传感器1发送的车辆到位信号后，数据采集单元的其他模块开始工作：车辆轮毂进入工业相机2视场范围后每隔0.5秒钟获取一次图像数据，对于该车辆共获取5次图像数据，使用获取的5个图像数据作为该车辆的汽车轮毂图像数据发送到数据处理单元7进行处理；在车辆铭牌5进入二维码扫码器4检测范围内后每隔0.5秒钟获取一次车辆VIN号码，对于该车辆至少获取三次车辆识别码，直到获取到的相同的识别码次数占总获取次数的半数以上为止，然后将该车辆识别码发送到信息输出单元。

具体地，所述步骤(3)深度神经网络模型使用YOLOv5模型对汽车轮毂图像数据进行推理，在图像数据输入模型之前进行预处理，将原始图像进行缩放使其最长边为640个像素点大小，短边方向上对称填充像素值为(111,111,111)的像素，最终将所有汽车轮毂图像数据处理为像素为640x640大小的图像数据；在模型进行推理之后，对推理结果进行非极大值抑制，去除交并比大于0.25的检测框，删除冗余检测结果，其中模型参数是在COCO数据集上的预训练参数在自定义轮毂数据集上训练微调的结果，自定义轮毂数据集中包含每类轮毂造型的数据实例为1500个，每个待检测类别的标注实例至少为10000个，数据集中每个图片数据实例中出现的待检测目标实例进行完整标注，标注的预测框紧紧贴合待检测目标实例，数据集中包含约10％的没有任何标注实例的真实背景图片，最终形成包含11000个数据样本的自定义轮毂数据集，按照8：1：1的比例划分训练集、验证集与测试集，并且按照5折交叉验证的方式划分为5个数据集，使用在COCO数据集上的预训练模型参数作为初始化训练参数。训练时batch size设置为GPU显存允许范围内2的最大幂次，本实施例所用模型在训练时的batch size为16。进行尽可能多轮的训练，在训练过程中每轮训练结束时都会将最新模型在验证集上做测试，选择在验证集上mAP最高的模型最为该数据集上的备选模型，当进行了80轮训练之后模型仍然没有性能提升即停止训练。最后在5折交叉验证的数据集上最终得出5个备选模型。使用测试集对这5个备选模型做测试，最终选择在测试集中mAP最高的模型为部署模型。

具体地，所述步骤(5)信息输出单元根据信息采集单元的二维码扫码器4发送的的车辆识别码在MES(Manufacturing Execution System)系统中查询车辆的应有配置，例如车标类型、轮毂外观类型、卡钳类型、锥度点类型等等，其中轻点与重点之间的夹角是对于所有轮毂的统一要求，一般不需要再进行查询。再根据信息处理单元发送的轮毂质量数据机型对比即可得出检测结果。车辆离位后表示该车辆已经完成检测，并对检测结果进行可视化显示和语音播报，提示现场人员进行及时处理，若系统持续运行，则返回步骤一等待下一辆车触发光电传感器1发出车辆到位信号进入下一个工作循环。

综合多次推理结果得出轮毂质量数据的过程中，存在两种类型数据的判断，一是轮毂造型、车标类型、卡钳类型、锥度点类型的零部件类别信息的判断，此时使用投票算法，多数者决定推理的最终类别；二是轻点、重点与轮毂中心的夹角计算，此时使用平均算法，平均多次计算结果决定最终推理结果。

数据处理单元7对汽车轮毂图像数据进行推理的开始阶段，需要使用图像预处理方法将原始图像经过放缩与填充为模型可输入的数据大小，在推理的最后阶段对深度神经网络模型的输出结果进行非极大值抑制，剔除相似度高的与置信度低的预测结果。

信息输出单元使用数据采集单元的车辆识别码在MES系统中查询车辆配置，再根据数据处理单元7发送的轮毂质量数据，两者进行比对判断产品质量是否合格，并保存和展示检测结果，及时报警，及时纠正质量问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。