一种基于数据异构融合的工业传送带表面缺陷检测方法

技术领域

本发明涉及缺陷检测技术领域，尤其涉及一种基于数据异构融合的工 业传送带表面缺陷检测方法。

背景技术

工业传送带是流程工业中传输的关键设备，这类运动物体的表面缺陷 检测，往往采用的是单一传感器进行分析。使用单一传感器对工业传送带 表面进行识别都存在一定不足，如相机采样对光照环境要求很高，工业现 场往往环境比较复杂，光照难以达到稳定；进一步地，工业传送带表面常 常会受到污染，这就会导致图像识别出现误差，并且目前识别优秀的图像 深度学习则需要大量的数据进行训练，而工业中的缺陷数据需要一定时间的积累，相对比较缺乏。单独使用激光雷达，则缺乏直观的缺陷体现，并 且无法避免因为传送带的运动造成的点云误差。

专利“一种输煤仓区域输煤皮带机智能巡检检测方法” (CN114104653A)公开了一种输煤仓区域输煤皮带机智能巡检检测方法， 该专利包括一套单条轨道、一台移动机器人、一套自动旋转云台、一套声 音传感器、一套气体探测器及温湿度传感器、四套自主充电站、一套现场 无线通信部署系统、后台处理服务器。该专利有效避免了传统巡检系统集 成化、智能化程度低，难以实现现场各种信息的智能化处理判断尤其是现 场皮带缺陷的人工智能检测；避免传统巡检依赖监控人员判读带来的主观 性、滞后性以及可能造成的事故遗漏，通过皮带缺陷检测，避免因皮带以 外断裂造成的重大损失。但是，该专利的检测方法复杂，需要的设备和传 感器多，且方法越复杂稳定性和可靠性越差，因此该专利存在使用成本高， 实用性低等缺点。

专利“缺陷检测方法和系统”(CN110690136A)公开了公开了一种缺 陷检测方法和系统，所述缺陷检测方法包括：获取缺陷位置信息；根据缺 陷位置信息得到JDV图形数据；根据JDV图形数据得到缺陷检测图像； 对缺陷检测图像进行图像处理，得到二维仿真图像；将二维仿真图像与 JDV图形数据进行对比，得到缺陷信息。但是，该专利不能检测极小缺陷， 缺陷检测精度方面有待提高。

专利“一种基于图像处理和机器学习的视觉检测系统” (CN111780674A)公开了一种基于图像处理和机器学习的视觉检测系统， 包括移动防尘系统、负责对整个检测系统进行图像采集的图像采集系统、 负责对整个检测系统的图像和检测数据进行处理并将检测数据进行保存 和上传同时还能够将检测数据传输至企业管理系统的图像处理系统。但是，该专利需要提前收集足够传送带的表面缺陷数据集，且仅使用图像作为识 别依据时，可能因数据集或表面矿料污染造成的缺陷检测误识别。

因此，本领域的技术人员致力于开发一种基于数据异构融合的工业传 送带表面缺陷检测方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何精确 检测工业传送带的表面缺陷。

发明人分析使用单一传感器对传送带表面进行识别都存在不足，单独 使用相机，采样对光照环境要求很高，工业现场环境比较复杂，光照难以 达到稳定，工业传送带表面常常会受到污染，导致图像识别出现误差。单 独使用激光雷达，缺乏直观的缺陷体现，并且因为传送带的运动会造成点 云误差。结合工业传送带的场景，发明人提出一种基于激光雷达和相机数 据异构融合的工业传送带表面缺陷检测方法，在获取某一时刻的图像后， 利用激光雷达数据得到图像上对应传送带表面的深度信息，通过将传统图 像识别和表面深度信息识别相结合，进行工业传送带表面缺陷检测。

本发明的一个实施例中，提供了一种基于数据异构融合的工业传送带 表面缺陷检测方法，包括：

S100、数据采集，使用传感器平台采集工业传送带数据，工业传送带 数据包括图像和点云数据；

S200、数据预处理，对于工业传送带数据进行预处理；

S300、表面缺陷检测，针对点云数据进行传送带表面缺陷的检测。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S100中的传感器平台包括激光雷达和相机。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S100还包括：

S110、安装激光雷达和相机，安装激光雷达和相机在工业传送带上方， 且保持在一个水平面；

S120、设置激光雷达，激光雷达的扫描方向与工业传送带的运动方向 垂直；

S130、设置工业传送带的速度。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，工业传送带的速度满足以下的约束关系：

v.T<2htan(α/2)

其中，v为传送带速度(m/s，米/秒)，T为激光雷达扫描一周所需的 时间(s，秒)，h为激光雷达距离传送带表面的高度(m，米)，α表示激 光雷达的俯仰角(°，度)范围。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S130可以选择工业传送带静止、传感器平台运动的方 式，传感器平台安装于机械移动平台，移动速度优选5mm/s。

可选地，在上述任一实施例中的基于数据异构融合的工业传送带表面 缺陷检测方法中，激光雷达选择Velodyne16线激光雷达，激光雷达的频率 优选5Hz。

可选地，在上述任一实施例中的基于数据异构融合的工业传送带表面 缺陷检测方法中，相机选择Zed双目相机，相机的频率为20Hz。

可选地，在上述任一实施例中的基于数据异构融合的工业传送带表面 缺陷检测方法中，步骤S200还包括：

S210、融合数据，激光雷达和相机数据异构融合，丰富点云数据，使 点云数据除了坐标值和反射强度之外，具有图像中的RGB(Red、Green、 Blue，图像三元素)特征值；

S220、获取邻域特征，基于KD树(K-dimensional tree，一种高维索 引树形数据结构)的点云特征工程，用于点云数据分类；

S230、点云分类，使用机器学习的方法进行点云分类，识别出点云数 据中工业传送带表面的点云数据。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S210还包括对激光雷达和相机进行联合标定。

进一步地，上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，标定均方根误差约为1cm。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S230中机器学习的方法基于XGBoost，即一个优化的 分布式梯度增强库，在Gradient Boosting框架下实现机器学习算法。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S230还包括：

S231、手动标注数据，人工标注融合后点云数据中一部分数据，得到 训练数据集，供训练分类模型使用；

S232、分类模型训练，通过机器学习训练分类模型；

S233、识别初始表面点云数据，利用分类模型对所有点云数据进行处 理，初步识别出点云中工业传送带表面的点云数据；

S234、半径滤波，利用半径滤波消除孤立噪点；

S235、RANSAC平面拟合，利用平面拟合实现传送带表面平面的拟合；

S236、阈值去噪，借助拟合的传送带表面平面，进一步消除噪点，得 到传送带表面点云数据。

可选地，在上述任一实施例中的基于数据异构融合的工业传送带表面 缺陷检测方法中，步骤S300还包括：

S310、基于工业传送带的表面点云数据得到传送带的相对厚度信息；

S320、采用融合数据的方法对所述工业传送带表面缺陷进行检测，使 用边缘检测算法，对所述工业传送带表面图像进行处理，并且结合得到的 厚度信息进一步筛选，识别缺陷。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S310还包括：

S311、将激光雷达坐标系转移到工业传送带基准坐标系；

S312、计算激光雷达坐标系和工业传送带基准坐标系之间的刚体变换 关系；

S313、将任意时刻的激光雷达点云数据转换到工业传送带基准坐标系 下。

可选地，在上述实施例中的基于数据异构融合的工业传送带表面缺陷 检测方法中，步骤S320中的边缘检测算法选择Canny边缘检测算法。

进一步地，在上述实施例中的基于数据异构融合的工业传送带表面缺 陷检测方法中，Canny边缘检测算法包括：

S321、图像的滤波降噪，对图像灰度图进行高斯滤波，得到平滑图像；

S322、差分计算幅值和方向，使用一阶有限差分计算梯度得到图像在 x和y方向上偏导数的两个矩阵，Canny算子中使用Sobel算子作为梯度算 子；

S323、非极大值抑制，判断像素点的梯度是否是其邻域中的局部最大 值，如果是，则进入下一步，否则判断该像素点不是边缘，被抑制；

S324、滞后阈值，滞后阈值设置两个阈值G

本发明针对工业传送带表面缺陷检测，选择激光雷达和相机采集数据， 在传统视觉识别的基础上结合激光雷达点云的融合检测方法，对传送带进 行表面缺陷检测，通过多传感器融合，成功实现了对工业传送带表面存在 的通过厚度无法直观发现的小缺陷的识别，并且避免了单纯用视觉边缘检 测算法时会出现的误识别。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一 步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是图示根据示例性实施例的基于数据异构融合的工业传送带表面 缺陷检测方法流程图；

图2是图示根据示例性实施例的传感器平台搭建示意图；

图3是图示根据示例性实施例的点云分类流程图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更 加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现， 本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相 似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意 示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰， 附图中有些地方示意性地适当夸大了部件的厚度。

发明人设计了一种基于数据异构融合的工业传送带表面缺陷检测方 法，如图1所示，包括如下步骤：

S100、数据采集，使用传感器平台采集工业传送带数据，工业传送带 数据包括图像和点云数据；传感器平台包括激光雷达和相机，激光雷达选 择Velodyne16线激光雷达，激光雷达的频率优选5Hz，相机选择Zed双目 相机，相机的频率为20Hz；具体包括：

S110、安装激光雷达和相机，安装激光雷达和相机在工业传送带 上方，且保持在一个水平面；

S120、设置激光雷达，激光雷达的扫描方向与工业传送带的运动 方向垂直；

S130、设置工业传送带的速度，满足以下的约束关系：

v·T＜2htan(α/2)

其中，v为传送带速度(m/s，米/秒)，T为激光雷达扫描一周所 需的时间(s，秒)，h为激光雷达距离传送带表面的高度(m，米)， α表示激光雷达的俯仰角(°，度)范围；

除了传送带运动的方式，步骤S130还可以选择工业传送带静止、 传感器平台运动的方式，传感器平台安装于机械移动平台，移动速度 优选5mm/s。

S200、数据预处理，对激光雷达和相机进行联合标定，标定均方根误 差约为1cm，对于工业传送带数据进行预处理；具体包括：

S210、融合数据，激光雷达和相机数据异构融合，丰富点云数据， 使点云数据除了坐标值和反射强度之外，具有相机中的RGB(Red、 Green、Blue，图象三元素)特征值；

S220、获取邻域特征，基于KD树(K-dimensional tree，一种高 维索引树形数据结构)的点云特征工程，用于点云分类；

S230、点云分类，使用机器学习的方法进行点云分类，识别出点 云中工业传送带表面的点云数据，机器学习的方法基于XGBoost，即 一个优化的分布式梯度增强库，在Gradient Boosting框架下实现机器 学习算法；具体包括：

S231、手动标注数据，人工标注融合后点云数据中一部分数 据，得到训练数据集，供训练分类模型使用；

S232、分类模型训练，通过机器学习训练分类模型；

S233、识别初始表面点云数据，利用分类模型对所有点云数 据进行处理，初步识别出点云中工业传送带表面的点云数据；

S234、半径滤波，利用半径滤波消除孤立噪点；

S235、RANSAC平面拟合，利用平面拟合实现传送带表面 平面的拟合；

S236、阈值去噪，借助拟合的传送带表面平面，进一步消除 噪点，得到传送带表面点云数据。

S300、表面缺陷检测，针对点云数据进行传送带表面缺陷的检测，包 括：

S310、基于工业传送带的表面点云数据得到传送带的相对厚度信 息；具体包括：

S311、将激光雷达坐标系转移到工业传送带基准坐标系；

S312、计算激光雷达坐标系和工业传送带基准坐标系之间的 刚体变换关系；

S313、将任意时刻的激光雷达点云数据转换到工业传送带基 准坐标系下。

S320、采用融合数据的方法对所述工业传送带表面缺陷进行检测， 使用边缘检测算法，对所述工业传送带表面图像进行处理，并且结合 得到的厚度信息进一步筛选，识别缺陷，其中边缘检测算法选择Canny 边缘检测算法，具体包括：

S321、图像的滤波降噪，对图像灰度图进行高斯滤波，得到平 滑图像；

S322、差分计算幅值和方向，使用一阶有限差分计算梯度得 到图像在x和y方向上偏导数的两个矩阵，Canny算子中使用 Sobel算子作为梯度算子；

S323、非极大值抑制，判断像素点的梯度是否是其邻域中的 局部最大值，如果是，则进入下一步，否则判断该像素点不是边 缘，被抑制；

S324、滞后阈值，滞后阈值设置两个阈值G

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通 技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。 因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过 逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求 书所确定的保护范围内。