一种运煤皮带转接处堵塞异物的视频检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种运煤皮带转接处堵塞异物的视频检测方法。

背景技术

带式输送机是煤矿井下运输系统的关键设备，在煤矿运输过程中起着十分重要的作用。由于煤炭开采环境的复杂性，在煤炭生产运输过程中，锚杆、大块物、铁丝网等非煤异物容易造成井下运煤皮带转接处堵塞情况的发生，危害井下运行设备，影响煤矿安全生产。针对运煤皮带中的大块异物进行实时检测并提前报警，分析堵塞事故的原因，将堵塞异物数据保存并记录，有利于提高煤炭生产效率，对煤矿安全生产具有重要意义。

目前，井下运煤皮带转接处堵塞的检测多为人工监控、传感器检测以及图像检测等，人工监控效率低下，安全隐患大；传感器检测成本高，不利于维护；中国专利(申请号：202010449072.X，公开号：CN 111573200 B)公开了一种井下皮带转接处堵塞的视觉检测系统及检测方法，通过构建井下转接处双摄像头检测系统，运用图像方法检测转接处堵塞情况，霍夫直线法来检测堵塞原因，这种方法能够判断井下转接处是否堵塞并分析部分堵塞原因，但是仅能区分锚杆单一异物，且无法对煤流覆盖的异物进行检测。因此，有必要提出进一步改进方案。

发明内容

本发明的目的是提供一种运煤皮带转接处堵塞异物的视频检测方法，解决了现有基于传感器和图像方法中无法检测堵塞异物种类且检测速度慢的问题。

本发明所采用的技术方案是，一种运煤皮带转接处堵塞异物的视频检测方法，具体按照以下步骤实施：

步骤1，异物数据集采集与划分；

步骤2，利用异物检测模型对转接处视频进行实时检测；

步骤3、获取异物类别与位置信息，形成异物信息，并将异物信息按照时间顺序存储在MySQL数据库中；异物信息的存储格式为(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高；

步骤4，检测图像是否存在堵塞现象；

步骤5，读取数据库异物信息，剔除输送带转接处异物。

本发明的特点还在于，

步骤1中，具体为：

步骤101，查看运煤皮带转接处历史视频，截取转接处存在异物目标的视频，将节选视频逐帧拆分，得到原始异物图像数据；

步骤102，利用图像几何操作对异物图像进行处理扩充，并调整图像亮度、锐度以及对比度信息，得到扩充的异物图像数据集；

步骤103，应用labellmg软件对异物图像数据集进行标注，绘制不同颜色矩形框定位不同的异物类别；其中，1类为锚杆，2类为大块矸石，3类为铁丝网，4类为木杆，5类为编织物；

步骤104，将标注好的异物图像数据集按照比例划分为训练集和测试集，训练集和测试集数据比例为9：1，异物图像数据集中图像总数不小于5000张。

步骤102中，图像几何操作具体为，对异物图像进行旋转30度和镜像翻转操作；调整图像亮度、锐度以及对比度信息时，设置亮度增强因子为0.7、1、1.3，锐度增强因子为0.3、0.5、1，对比度增强因子为0.7、1、1.3。

步骤2中，具体如下：

步骤201，通过输送带转接处摄像头采集实时视频流，将采集到的视频流拆分成单帧图像，并对图像大小进行归一化处理，统一为416×416×3，得到尺度相同的图像；

步骤202、对异物检测模型进行改进并训练，具体过程如下：

步骤2021、针对YOLOv4的主干网络CSPDarknet-53，利用深度可分离卷积替换主干网络中的部分标准卷积，即利用深度可分离卷积替换部分3×3标准卷积，即保留第一特征提取层3×3标准卷积，将二至六特征提取层中3×3标准卷积替换为深度可分离卷积，其输入为一张416×416×3的图片，输出为(52，52，256)、(26，26，512)、(13，13，1024)三个有效特征层，得到轻量化的主干网络CSPDarknet53-DW；再删除1/8尺度的预测输出通道，得到1/16和1/32的双尺度特征融合网络；

步骤2022、平衡样本不均衡损失，通过在置信度损失基础上引入Focal Loss用于平衡样本计算的不均衡，得到异物检测模型的损失函数；异物检测模型的损失函数公式为：loss＝location_loss+Focal_loss+class_loss，其中loss为模型损失，location_loss为边框回归损失，class_loss为类别损失，Focal_loss为置信度平衡损失；

步骤2023、模型训练与保存，将步骤104得到的异物图像数据集存入YOLOv4模型中进行训练，保存多次迭代的训练权重文件，得到训练损失最低的模型权重文；

步骤203、将步骤201中得到的图像导入模型中进行检测；

步骤204、计算当前输入图像中异物的类别与位置信息；

具体为：获取所有分类和先验框信息，读取实时图像进行检测，获取特征层的预测结果，分别为(N，19，19，3，10)和(N，38，38，3，10)，其中N为batch数，最后一维度的10包含了预测框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度、高度、置信度和分类结果。设置预测框最近网格点为(x，y)，则预测框中心点为(x+x_offset，y+y_offset)；

步骤205、根据模型计算结果绘制矩形标注框可视化展示。

步骤2023中训练时，将输入图片大小调整为416×416×3，采用动量项为0.9的异步随机梯度下降法，每批次batch设置为16，前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重。

步骤4中，具体过程如下：

步骤401、将输入图像进行ROI感兴趣区域划分；

步骤402、根据步骤3中MySQL数据库存储的异物信息，设置时间阈值t

步骤403、取空载输送带转接处的ROI感兴趣图像K

步骤5中，具体过程如下：

步骤501、转接处出现堵塞现象，向控制台发送报警信号，降低运煤皮带速度；

步骤502、读取MySQL数据库当前帧存储的异物信息，提取MySQL数据库中当前帧图像检测的异物种类、尺度以及位置信息，若判断读取的异物信息存在，则说明转接处产生异物堵塞，向控制台发送异物堵塞信号并进入步骤503进行处理，若判断读取异物信息数据为空，则说明输送带转接处由于前后带速不匹配而产生堆煤现象，向控制台发送堆煤堵塞信号；

步骤503、根据异物信息去除输送带转接处堵塞的异物，利用步骤502提取到的异物信息，针对各种类型的异物采用对应的设备去除输送带转接处堵塞的异物。

步骤502中，异物信息为每帧视频图像异物检测结果，在MySQL数据库存储形式为(c，x，y，w，h)，其中c为异物类别信息，通过查看c的值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物。

本发明的有益效果是，本发明通过目标检测、数据库存储、帧差法检测运煤皮带转接处异物堵塞情况，解决了传统人工检测方法高成本、低效率等问题，解决了现有基于传感器和图像方法中无法检测堵塞异物种类、位置信息以及检测速度慢等问题，不仅提高了运输设备的使用寿命，降低了安全隐患，还为后续异物的剔除工作提供帮助。

附图说明

图1为本发明一种运煤皮带转接处堵塞异物的视频检测方法的流程图；

图2为本发明一种运煤皮带转接处堵塞异物的视频检测方法中转接处堵塞检测流程图；

图3为本发明一种运煤皮带转接处堵塞异物的视频检测方法中使用的原始图像(一)；

图4为本发明一种运煤皮带转接处堵塞异物的视频检测方法中使用的原始图像(二)；

图5为本发明一种运煤皮带转接处堵塞异物的视频检测方法中使用的原始图像(三)；

图6为图3的异物检测结果图；

图7为图4的异物检测结果图；

图8为图5的异物检测结果图；

图9为本发明一种运煤皮带转接处堵塞异物的视频检测方法中皮带转接处空载图像；

图10为本发明一种运煤皮带转接处堵塞异物的视频检测方法中异物堵塞堆煤图(一)；

图11为本发明一种运煤皮带转接处堵塞异物的视频检测方法中异物堵塞堆煤图(二)；

图12为本发明一种运煤皮带转接处堵塞异物的视频检测方法中二值化堵塞图像(一)；

图13为本发明一种运煤皮带转接处堵塞异物的视频检测方法中二值化堵塞图像(二)。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种运煤皮带转接处堵塞异物的视频检测方法，如图1所示，具体按照以下步骤实施：

步骤1，异物数据集采集与划分，具体为：

步骤101，查看运煤皮带转接处历史视频，截取转接处存在异物目标的视频，将节选视频逐帧拆分，得到原始异物图像数据；

步骤102，利用图像几何操作对异物图像进行处理扩充，并调整图像亮度、锐度以及对比度信息，得到扩充的异物图像数据集；

图像几何操作具体为，对异物图像进行旋转30度和镜像翻转操作；调整图像亮度、锐度以及对比度信息具体为，设置亮度增强因子为0.7、1、1.3，锐度增强因子为0.3、0.5、1，对比度增强因子为0.7、1、1.3；其中增强因子大于1为增强，小于1为减弱。

步骤103，应用labellmg软件对异物图像数据集进行标注，绘制不同颜色矩形框定位不同的异物类别；其中，1类为锚杆，2类为大块矸石，3类为铁丝网，4类为木杆，5类为编织物；

步骤104，将标注好的异物图像数据集按照一定比例划分为训练集和测试集，训练集和测试集数据比例为9：1，异物图像数据集中图像总数不小于5000张；训练集为4500张，测试集为500张。

步骤2，利用异物检测模型对转接处视频进行实时检测，具体如下：

步骤201，通过输送带转接处摄像头采集实时视频流，将采集到的视频流拆分成单帧图像，并对图像大小进行归一化处理，统一为416×416×3，得到尺度相同的图像；

步骤202、对异物检测模型进行改进并训练，具体过程如下：

步骤2021、针对现有YOLOv4的主干网络CSPDarknet-53，利用深度可分离卷积替换主干网络中的部分标准卷积，即利用深度可分离卷积替换部分3×3标准卷积，即保留第一特征提取层3×3标准卷积，将二至六特征提取层中3×3标准卷积替换为深度可分离卷积，其输入为一张416×416×3的图片，输出为(52，52，256)、(26，26，512)、(13，13，1024)三个有效特征层，得到轻量化的主干网络CSPDarknet53-DW；再删除1/8尺度的预测输出通道，得到1/16和1/32的双尺度特征融合网络；

CSPDarknet53-DW网络结构由第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层、全连接、分类器构成；

第一特征提取层卷积步长为1，标准卷积核大小为3×3，通道数为32，激活函数为Mish；第二特征提取层由1个CSP残差块组成；第三特征提取层由2个CSP残差块组成；第四特征提取层由8个CSP残差块组成；第五特征提取层由8个CSP残差块组成；第六特征提取层由4个CSP残差块组成，分类器为Softmax；

CSP残差块由三层构成，第一层卷积步长为2，深度可分离卷积核大小3×3，通道数为64；第二层由2路分支组成，一路分支卷积步长为1，卷积核大小1×1，另一路为可循环支路，经过1×1卷积、1×1卷积、3×3深度可分离卷积、1×1卷积输出至连接层；第三层卷积步长为1，卷积核大小为1×1；激活函数为Mish。

步骤2022、平衡样本不均衡损失，YOLOv4模型的损失函数为：loss＝location_loss+confidence_loss+class_loss，通过在置信度损失基础上引入Focal Loss用于平衡样本计算的不均衡，得到异物检测模型的损失函数；其中loss为模型损失，location_loss为边框回归损失，confidence_loss为置信度损失，class_loss为类别损失；

异物检测模型的损失函数公式为：

loss＝location_loss+Focal_loss+class_loss，其中loss为模型损失，location_loss为边框回归损失，class_loss为类别损失，Focal_loss为置信度平衡损失。

边框回归损失，如下：

其中D和D

置信度平衡损失，如下：

类别损失，如下：

其中λ

步骤2023、模型训练与保存，将步骤104得到的异物图像数据集存入改进的YOLOv4模型中进行训练，保存多次迭代的训练权重文件，得到训练损失最低的模型权重文；

将输入图片大小调整为416×416×3，采用动量项为0.9的异步随机梯度下降法，每批次batch设置为16。前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重。

步骤203、将步骤201中得到的图像导入模型中进行检测；

步骤204、计算当前输入图像中异物的类别与位置信息；

具体为：获取所有分类和先验框信息，读取实时图像进行检测，获取特征层的预测结果，分别为(N，19，19，3，10)和(N，38，38，3，10)，其中N为batch数，最后一维度的10包含了预测框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度、高度、置信度和分类结果。设置预测框最近网格点为(x，y)，则预测框中心点为(x+x_offset，y+y_offset)。

步骤205、根据模型计算结果绘制矩形标注框可视化展示；

步骤3、获取步骤204中计算的异物类别与位置信息，形成异物信息，并将异物信息按照时间顺序存储在MySQL数据库中；

异物信息的存储格式为(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高。

步骤4，检测图像是否存在堵塞现象，如图2所示，过程如下：

步骤401、ROI感兴趣区域划分，将图像进行ROI感兴趣区域划分，减少环境干扰影响；

步骤402、根据步骤3中MySQL数据库存储的异物信息，设置时间阈值t

步骤403、取空载输送带转接处的ROI感兴趣图像K

具体堵塞阈值计算公式，如下：

A＝[1,1...1]

ω＝λAA

其中，A是矩阵，矩阵大小为m×n，A

在具体实施中，取皮带转接处空载视频图像为K

步骤5、读取数据库异物信息，剔除输送带转接处异物，过程如下：

步骤501、转接处出现堵塞现象，向控制台发送报警信号，降低运煤皮带速度；

步骤502、读取MySQL数据库当前帧存储的异物信息，提取MySQL数据库中当前帧图像检测的异物种类、尺度以及位置信息，若判断读取的异物信息存在，则说明转接处产生异物堵塞，向控制台发送异物堵塞信号并进入步骤503进行处理，若判断读取异物信息数据为空，则说明输送带转接处由于前后带速不匹配而产生堆煤现象，向控制台发送堆煤堵塞信号；

异物信息为每帧视频图像异物检测结果，在MySQL数据库存储形式为(c，x，y，w，h)，其中c为异物类别信息，通过查看c的值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物；

步骤503、根据异物信息去除输送带转接处堵塞的异物，利用步骤502提取到的异物信息，针对各种类型的异物采用对应的设备去除输送带转接处堵塞的异物。

本发明通过改变原有YOLOv4网络结构，利用深度可分离卷积替换主干网络CSPDarkNet53中的3×3标准卷积，在特征提取网络PANet的基础上，引入不同特征的权重信息来进行高效的多尺度特征融合，并去除原特征提取网络中的1/8尺度预测，只保留1/16和1/32的预测尺度，得到更加符合大块异物特征的异物检测网络模型，在保证检测精度的同时提高了检测速度，有利于运煤皮带异物的实时检测。

本发明通过对异物检测信息进行存储，利用MySQL数据库工具管理异物的类别与位置信息，将计算出的异物信息存储为元组(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高。通过查看c的数值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物。存储的异物信息能够进行可视化查阅，当转接处出现堵塞现象，提取当前数据库存储的异物信息，根据不同的异物种类进行剔除。

本发明利用帧差法判定运煤皮带转接处堵塞情况，取空载输送带转接处的ROI感兴趣图像K

在实际生产中，皮带转接处的堵塞现象多是由于大尺度异物堆叠导致，通过异物检测模型能够准确的检测出转接处出现的异物类别，利用本发明的方法进行异物检测，图3、图5、图7均为原始图像，图4为异物检测结果，可以看出木杆的置信度为0.90，铁丝网的置信度为0.91，两种异物堆叠导致转接处堵塞；从图6可以看出，检测出木杆置信度为0.78，编织物置信度为0.98、0.99，木杆和编织物缠绕导致转接处发生堵塞；从图6可以看出，检测出大块矸石置信度为0.99、0.86等，由于大块矸石尺度过大，无法通过转接处通道，导致转接处发生堵塞。

本发明的转接处堵塞检测过程为，取空载输送带转接处的ROI感兴趣图像像素表示为K