一种基于机器视觉的输煤皮带跑偏检测方法及设备

技术领域：

本发明涉及一种基于机器视觉的输煤皮带跑偏检测方法及设备。

背景技术：

采煤是把有价值的煤炭从地下或地表分离并运离现场，无论露天开采还是地下开采，都需要首先进行地质勘探，查明含煤地层的分布范围、可采层数、层厚、倾角、储量，以及地质构造、自燃倾向、水、瓦斯等赋存状况和开采条件，然后合理规划矿区的建设规模、矿井数目、产量和建设顺序，根据矿区总体设计和矿井设计，逐一建设后移交生产。

在煤炭运输过程中，主要是依靠输煤皮带来进行操作，长时间工作后会不可避免的出现输煤皮带跑偏的现象，皮带跑偏会影响皮带使用寿命、降低生产效率、带来经济损失。

现有的匹配跑偏检测方法主要包括基于光电传感器的检测方法、基于激光测距的检测方法和基于图像处理的检测方法；往往是采用多个光电开关共同进行检测，整体检测成本较高，同时容易受到矿下粉尘的影响，导致检测准确度较低；而近年来，基于机器视觉的皮带跑偏检测方法由于其部署简单、非接触式测量得到了广泛的应用，选择图像中皮带的单一特征进行检测，虽然容易进行实施，但鲁棒性较差，易受到噪声干扰，如果皮带边缘特征不够明显时检测效果的可靠性会变差。

发明内容：

本发明实施例提供了一种基于机器视觉的输煤皮带跑偏检测方法及设备，结构和方法设计合理，采用多要素融合的特征表达方式，与皮带跑偏相关的多要素进行结构化特征融合表达，相较于现有技术中的单一评估检测方式能够有效降低噪声干扰以提升检测准确度，检测稳定可靠，具有较高的鲁棒性，解决了现有技术中存在的问题。

本发明为解决上述技术问题所采用的技术方案是：

一种基于机器视觉的输煤皮带跑偏检测方法，所述检测方法包括以下步骤：

S1，采用本安型摄像头进行图像采集，将本安型摄像头按照在皮带运行方向的正上方和向下方分别采集皮带运行图像，所述图像的视野包括皮带及两侧的辊筒，所述皮带运行图像包括皮带正常运行和皮带跑偏两个类别；

S2，对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果，所述实例分割模型为YolactEdge模型，可以在小型边缘设备上以实时速度运行，采用实例分割，将图像中的皮带和辊筒分割出来；

S3，对实例分割结果进行结构化特征提取，所述结构化特征为图像中皮带和辊筒的特征信息，包括图像左右两部分中皮带的面积、皮带的左右边缘的中心点坐标、辊筒的数量和不同辊筒的像素面积；

S4，采用XGBoost基于皮带正常运行和跑偏的特征向量建立图像分类模型；

S5，对皮带运行图像、实例分割模型和图像分类模型进行在线检测识别，来准确判断皮带是否出现跑偏现象，若识别为跑偏，则发出预警并保存该图像，否则继续进行检测。

在皮带运行图像中分割出传输皮带和6个辊筒并用不同颜色标记表示出来。

对实例分割结果进行结构化特征提取包括以下步骤：

S3.1，将皮带运行图像均分为左右两部分子图像，分别在左右子图像中提取皮带的特征；

S3.2，提取皮带在左侧子图像中的像素面积，记为S

S3.3，设置ROI区域，使得ROI区域内包含皮带两侧等量的辊筒数量，检测图像中指定辊筒的数量及对应的像素面积，分割出的6个辊筒作为进行统计的目标，统计这6个辊筒出现的的数量N及对应的像素面积S

S3.4，将皮带运行图像表征为一个长度为13的特征向量，即[S

所述检测方法包括线下训练环节和在线检测环节，所述线下训练环节和在线检测环节同步相配合进行。

一种使用上述基于机器视觉的输煤皮带跑偏检测方法的检测设备，所述检测设备包括：图像采集组件、通信传输组件、数据处理组件和数据存储组件；

所述图像采集组件为煤矿井下的本安型摄像头，能够采集传输皮带运行过程中的高清图像；在本安型摄像头的表面采用防粉尘材料，避免矿井下粉尘的附着来影响图像的成像质量；

所述通信传输组件包括5G传输设备、工业wifi传输设备和USB3.0以太网传输设备；

所述数据处理组件为边缘处理设备，能够完成基于YolactEdge模型的图像实例分割和基于XGBoost的图像分类任务；

所述数据存储组件为SD卡或硬盘，用于存放识别皮带跑偏的图像。

所述边缘处理设备为AI边缘计算服务器，具有一定计算力和内存，能够完成图像实例分割和图像识别分类。

本发明采用上述结构，通过本安型摄像头进行图像采集，为输煤皮带的跑偏检测提供图像数据基础；通过对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果；通过对实例分割结果进行结构化特征提取，结构化特征为图像中皮带和辊筒的特征信息；通过采用XGBoost基于皮带正常运行和跑偏的特征向量建立图像分类模型；通过对皮带运行图像、实例分割模型和图像分类模型进行在线检测识别，来准确判断皮带是否出现跑偏现象，具有稳定可靠、实用简便的优点。

附图说明：

图1为本发明的实施流程示意图。

图2为本发明的设备示意图。

具体实施方式：

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。

如图1-2中所示，一种基于机器视觉的输煤皮带跑偏检测方法，所述检测方法包括以下步骤：

S1，采用本安型摄像头进行图像采集，将本安型摄像头按照在皮带运行方向的正上方和向下方分别采集皮带运行图像，所述图像的视野包括皮带及两侧的辊筒，所述皮带运行图像包括皮带正常运行和皮带跑偏两个类别；

S2，对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果，所述实例分割模型为YolactEdge模型，可以在小型边缘设备上以实时速度运行，采用实例分割，将图像中的皮带和辊筒分割出来；

S3，对实例分割结果进行结构化特征提取，所述结构化特征为图像中皮带和辊筒的特征信息，包括图像左右两部分中皮带的面积、皮带的左右边缘的中心点坐标、辊筒的数量和不同辊筒的像素面积；

S4，采用XGBoost基于皮带正常运行和跑偏的特征向量建立图像分类模型；

S5，对皮带运行图像、实例分割模型和图像分类模型进行在线检测识别，来准确判断皮带是否出现跑偏现象，若识别为跑偏，则发出预警并保存该图像，否则继续进行检测。

在皮带运行图像中分割出传输皮带和6个辊筒并用不同颜色标记表示出来。

对实例分割结果进行结构化特征提取包括以下步骤：

S3.1，将皮带运行图像均分为左右两部分子图像，分别在左右子图像中提取皮带的特征；

S3.2，提取皮带在左侧子图像中的像素面积，记为S

S3.3，设置ROI区域，使得ROI区域内包含皮带两侧等量的辊筒数量，检测图像中指定辊筒的数量及对应的像素面积，分割出的6个辊筒作为进行统计的目标，统计这6个辊筒出现的的数量N及对应的像素面积S

S3.4，将皮带运行图像表征为一个长度为13的特征向量，即[S

所述检测方法包括线下训练环节和在线检测环节，所述线下训练环节和在线检测环节同步相配合进行。

一种使用上述基于机器视觉的输煤皮带跑偏检测方法的检测设备，所述检测设备包括：图像采集组件、通信传输组件、数据处理组件和数据存储组件；

所述图像采集组件为煤矿井下的本安型摄像头，能够采集传输皮带运行过程中的高清图像；在本安型摄像头的表面采用防粉尘材料，避免矿井下粉尘的附着来影响图像的成像质量；

所述通信传输组件包括5G传输设备、工业wifi传输设备和USB3.0以太网传输设备；

所述数据处理组件为边缘处理设备，能够完成基于YolactEdge模型的图像实例分割和基于XGBoost的图像分类任务；

所述数据存储组件为SD卡或硬盘，用于存放识别皮带跑偏的图像。

所述边缘处理设备为AI边缘计算服务器，具有一定计算力和内存，能够完成图像实例分割和图像识别分类。

本发明实施例中的一种基于机器视觉的输煤皮带跑偏检测方法及设备的工作原理为：采用多要素融合的特征表达方式，与皮带跑偏相关的多要素进行结构化特征融合表达，相较于现有技术中的单一评估检测方式能够有效降低噪声干扰以提升检测准确度，检测稳定可靠，具有较高的鲁棒性。

进一步的，本申请利用本安型摄像头，预先采集皮带正常运行与皮带跑偏的图像，建立图像数据集；利用图像数据集中的图像训练实例分割模型，分割出来图像中的皮带、辊筒两类目标。

实例分割后，对目标进行结构化特征提取，将图像中的目标信息表达为特征向量；将皮带正常运行和皮带跑偏图像的特征向量进行训练，通过xgboost模型建立分类器；在完成模型的线下训练后，将摄像头实时采集的图像送入实例分割模型，将分割结果进行结构化特征表达。将得到的特征向量送入分类模型进行跑偏识别；若识别到皮带跑偏，则发出预警并存储图像以进一步训练模型；否则继续监测。

在整体方案中，检测方法包括以下步骤：

S1，采用本安型摄像头进行图像采集，将本安型摄像头按照在皮带运行方向的正上方和向下方分别采集皮带运行图像，所述图像的视野包括皮带及两侧的辊筒，所述皮带运行图像包括皮带正常运行和皮带跑偏两个类别；

S2，对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果，所述实例分割模型为YolactEdge模型，可以在小型边缘设备上以实时速度运行，采用实例分割，将图像中的皮带和辊筒分割出来；

S3，对实例分割结果进行结构化特征提取，所述结构化特征为图像中皮带和辊筒的特征信息，包括图像左右两部分中皮带的面积、皮带的左右边缘的中心点坐标、辊筒的数量和不同辊筒的像素面积；

S4，采用XGBoost基于皮带正常运行和跑偏的特征向量建立图像分类模型；

S5，对皮带运行图像、实例分割模型和图像分类模型进行在线检测识别，来准确判断皮带是否出现跑偏现象，若识别为跑偏，则发出预警并保存该图像，否则继续进行检测。

在本申请中，整体检测方法可以分为线下训练环节和在线检测环节，同步进行、相互配合实施，以对输煤皮带的跑偏现象进行准确识别判定。

另一方面，对应的检测设备主要包括图像采集组件、通信传输组件、数据处理组件和数据存储组件；

所述图像采集组件为煤矿井下的本安型摄像头，能够采集传输皮带运行过程中的高清图像；在本安型摄像头的表面采用防粉尘材料，避免矿井下粉尘的附着来影响图像的成像质量；

所述通信传输组件包括5G传输设备、工业wifi传输设备和USB3.0以太网传输设备；

所述数据处理组件为边缘处理设备，能够完成基于YolactEdge模型的图像实例分割和基于XGBoost的图像分类任务；

所述数据存储组件为SD卡或硬盘，用于存放识别皮带跑偏的图像。

进一步的，边缘处理设备为AI边缘计算服务器，具有一定计算力和内存，能够完成图像实例分割和图像识别分类。

本申请中的对实例分割结果进行结构化特征提取是核心操作，具体的包括以下步骤：

S3.1，将皮带运行图像均分为左右两部分子图像，分别在左右子图像中提取皮带的特征；

S3.2，提取皮带在左侧子图像中的像素面积，记为S

S3.3，设置ROI区域，使得ROI区域内包含皮带两侧等量的辊筒数量，检测图像中指定辊筒的数量及对应的像素面积，分割出的6个辊筒作为进行统计的目标，统计这6个辊筒出现的的数量N及对应的像素面积S

S3.4，将皮带运行图像表征为一个长度为13的特征向量，即[S

特别说明的是，本申请中无论采用哪种神经网络模型实现采集图像的实例分割，都不影响本方案的实质；无论采用哪种机器学习方法实现分类，如Logistic回归、随机森林、标准梯度提升等，都不影响本方案的实质；所以本申请可以适用于多种不同的应用场景，方便进行推广和普及。

综上所述，本发明实施例中的一种基于机器视觉的输煤皮带跑偏检测方法及设备采用多要素融合的特征表达方式，与皮带跑偏相关的多要素进行结构化特征融合表达，相较于现有技术中的单一评估检测方式能够有效降低噪声干扰以提升检测准确度，检测稳定可靠，具有较高的鲁棒性。

上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。

本发明未详述之处，均为本技术领域技术人员的公知技术。