一种基于深度信息融合的煤量快速检测方法

技术领域

本发明涉及煤量检测技术领域，具体为一种基于深度信息融合的煤量快速检测方法。

背景技术

随着煤炭产业的不断发展，使用带式输送机运输煤炭是其中一项重要环节，输送带的承载能力有限，如果输送带上煤量过多，容易造成输送带断裂、带式输送机电机烧毁，如果输送带上煤量过少，则会降低输送带的运输效率。在运输煤炭的过程中对煤流量进行自动检测有利于企业对生产计划的把控，也有利于带式输送机的输送带保护，根据实时检测到的煤流量大小调控输送带带速，提高运煤效率和输送带的使用寿命。为了生产符合质量要求的焦煤、电煤、锅炉煤，减少结渣、燃料成本和污染气体排放，需要将不同种类的原煤按照比例配合，因此对煤流量检测的准确性有更高的要求。

目前，通常采用皮带秤检测、激光检测以及传感器检测方法。其中，电子皮带秤在使用时易受到环境条件的影响，稳定性较差，计量精度不高；激光检测设备价格较高，不利于推广使用，而且激光检测探头数量有限，检测大面积的煤流量时误差较大；传感器检测容易误触，耐用性较差。现有的图像检测方法检测装置复杂、安装位置固定、检测精度较差。

发明内容

针对现有技术的不足，本发明提供了一种精度高、操作简单、成本低的矿用带式输送机运输煤流量的快速检测方法。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于深度信息融合的煤量快速检测方法，该方法步骤如下：

步骤1，经Kinect2.0相机获取相机所在平面到空载输送带面的深度信息，与输送带面构成规则几何体，根据具体输送带尺寸信息运用几何体体积公式计算得到V

步骤2，在左、右两个Kinect2.0相机中设置不同的红外脉冲频率，获取两组相机所在平面到煤流量表面的深度信息图和RGB图像，采用sdk for kinect分别融合这两组图像，获得两张高分辨率的深度信息图；

步骤3，经左、右两个Kinect2.0深度相机的RGB摄像头获取一组高分辨率的煤流量表面的视差图，再对视差图进行一系列处理进而获得煤流量表面的深度信息图；

步骤4，将获取的这三张高分辨率的深度信息图通过关键点对齐并融合对应点上的深度信息获得最终的深度信息图；

步骤5，将融合后的煤流量表面深度信息图转化为点云图，采用MATLAB的AlphaShape函数和Volume函数计算初始体积计算出煤流量表面到相机所在平面之间构成的体积V

步骤6，将相机所在平面与空载输送带之间构成的体积减去煤流量表面到相机所在平面之间构成的体积，获得煤流量的体积V＝V

步骤7，基于EDEM软件仿真获得所运输的煤块堆积率；

步骤8，将所获得的煤流量体积与煤块堆积率相乘，计算得到最终的煤流量体积kV。

具体的，所述步骤2中的Kinect2.0相机包括红外投射器、彩色相机和深度相机；其物理尺寸为250mmL×70mmW×45mmH，深度范围为0.5-4.5m，深度图像的分辨率为512×424，RGB图像的分辨率为1920×1080，帧率为30FPS，视场角为70°H,60°V，使用USB3.0接口，可接入ROS驱动。

具体的，所述深度相机为红外相机。

具体的，所述深度相机通过TOF飞行时间法获取深度信息。

具体的，所述步骤3中的处理过程包括:通过双边滤波处理图像噪声和维纳滤波在一定程度上消除由运动产生的伪影。由于两Kinect2.0相机并列设置于同一平面内，两条光轴方向也平行，可以通过视差与深度的关系式得到煤流量表面的深度信息；

其中，X

具体的，所述步骤4中的深度信息图获得方法包括采用Prewitt算法提取图像边缘信息，随后采用surf算法根据图像关键点位置计算变换矩阵，实现对图像的缩放、平移和旋转，进行图像特征的匹配，获得最终的深度信息图；

将三组深度图像的信息融合，可以对深度信息缺失的像素点进行补充，若有获得多组深度信息的像素点，对其深度信息取平均值。

具体的，所述步骤7中的煤块堆积率获得方式包括如下步骤：

S1，随机抽取一部分煤块，获取每块煤块的三维信息，根据不同的形态分别计算煤块的最大和最小外接圆形或矩形，再将其拟合成不同半径的球形颗粒或者不同半径球形颗粒的组合体，并设置煤块的密度，泊松比；

S2，导入step格式的输送带仿真模型，并设置输送带的密度，泊松比；

S3，设置碰撞：添加碰撞材料为煤块与煤块，煤块与输送带；

S4，设置重力加速度，从所运输的原煤中随机抽取一批煤块，获取这批煤块的尺寸信息，按照这批煤块中不同尺寸的煤块数量比例设置颗粒模型的大小和数量，使颗粒模型填满输送带模型；

S5，将所填的颗粒体积与输送带模型体积的比值设置为此带式输送机所运输的煤块堆积率k。

本发明具有以下有益效果：

1.本发明采用Kinect2.0相机，同时获得深度信息图和RGB图像，实现了无接触检测煤流量体积，解决了同时安装不同功能相机的装置复杂、体积较大和采集的图像信息要互相转换、统一的问题，减少了设备成本和人工成本；

2.本发明通过经由不同方法获得的煤流量深度信息图像的融合，弥补了煤流量深度信息图易出现大面积信息缺失和分辨率较低的问题，提高煤流量体积检测的精确度；采用EDEM仿真软件对煤块堆积进行仿真，可将力、材料特性和其他物理特性添加到EDEM中，大大增加了仿真的准确性，提高了煤块堆积率的准确性，进一步提高了检测煤流量体积的准确性，有利于生产其他种类的煤时对煤量进行精确配比，有利于企业对生产计划的把控，也有利于带式输送机的输送带保护。

附图说明

图1是本发明中快速监测煤流量体积的流程图；

图2是本发明中Kinect2.0相机进行深度信息图像融合的详细流程图；

图3是本发明中对深度信息图进行图像处理并融合的流程图；

图4是本发明中获得煤块堆积率的流程图；

图5是本发明中EDEM软件对煤块堆积进行仿真的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图5，本发明实施例提供一种技术方案：一种基于深度信息融合的煤量快速检测方法，该方法步骤如下：

步骤1，经Kinect2.0相机获取相机所在平面到空载输送带面的深度信息，与输送带面构成规则几何体，根据具体输送带尺寸信息运用几何体体积公式计算得到V

步骤2，在左、右两个Kinect2.0相机中设置不同的红外脉冲频率，获取两组相机所在平面到煤流量表面的深度信息图和RGB图像，采用sdk for kinect分别融合这两组图像，获得两张高分辨率的深度信息图；

步骤3，经左、右两个Kinect2.0深度相机的RGB摄像头获取一组高分辨率的煤流量表面的视差图，再对视差图进行一系列处理进而获得煤流量表面的深度信息图；

步骤4，将获取的这三张高分辨率的深度信息图通过关键点对齐并融合对应点上的深度信息获得最终的深度信息图；

步骤5，将融合后的煤流量表面深度信息图转化为点云图，采用MATLAB的AlphaShape函数和Volume函数计算初始体积计算出煤流量表面到相机所在平面之间构成的体积V

步骤6，将相机所在平面与空载输送带之间构成的体积减去煤流量表面到相机所在平面之间构成的体积，获得煤流量的体积V＝V

步骤7，基于EDEM软件仿真获得所运输的煤块堆积率；

步骤8，将所获得的煤流量体积与煤块堆积率相乘，计算得到最终的煤流量体积kV。

如图1所示，本发明提供一种基于深度信息融合的煤量监测方法，该方法首先，在皮带上方设置两个Kinect2.0深度相机，两个相机并列设置于同一平面内，相机镜头正对上带面，通过两深度相机获取深度图1、2以及与RGB图像1、2融合的深度图像3、4，以及两RGB摄像头获取的左右两幅视点图像生成视差图，进而获取深度图5，将获取的所有深度图经图像处理后关键点对齐并进行对应点深度信息融合得到最终深度图，可一定程度上解决深度图像大面积深度值缺失的问题，再将深度图转化为点云图，从而获取煤流量表面的三维信息。其次，提出通过EDEM软件模拟仿真在输送带模型下不同颗粒大小的煤块的堆积率，使最终得到的煤量体积更加准确。

如图2所示，本发明的基于深度信息融合的煤量快速检测方法基于Kinect2.0相机对煤流量的图像采集，将实时采集到的图像传输至上位机，进行图像分析与处理，包括如下步骤：

步骤1，经Kinect2.0相机获取相机所在平面到空载输送带面的深度信息，与输送带面构成规则几何体，运用几何体体积公式计算得到V

步骤2，在左右两个Kinect2.0相机中设置不同的红外脉冲频率，获取两组相机所在平面到煤流量表面的深度信息图1、2和RGB图像1、2，采用sdk for kinect分别融合这两组图像，获得两张高分辨率的深度信息图3、4；

其中，Kinect2.0相机主要结构包括红外投射器、彩色相机和深度相机(红外相机)。其物理尺寸为250mmL×70mmW×45mmH，深度范围为0.5-4.5m，深度图像的分辨率为512×424，RGB图像的分辨率为1920×1080，帧率为30FPS，视场角为70°H,60°V，使用USB3.0接口，可接入ROS驱动。其深度相机通过TOF飞行时间法获取深度信息；

步骤3，经左、右两个Kinect2.0深度相机的RGB摄像头获取一组高分辨率的煤流量表面的视差图，再对视差图进行一系列处理进而获得煤流量表面的深度信息图5，包括:通过双边滤波处理图像噪声和维纳滤波在一定程度上消除由运动产生的伪影。由于两Kinect2.0相机并列设置于同一平面内，两条光轴方向也平行，可以通过视差与深度的关系式得到煤流量表面的深度信息；

其中，X

如图3所示将获取的深度信息图进行融合具体步骤为：

将获取的这三张高分辨率的深度信息图通过关键点对齐并融合对应点上的深度信息获得最终的深度信息图，其中包括采用Prewitt算法提取图像边缘信息，随后采用surf算法根据图像关键点位置计算变换矩阵，实现对图像的缩放、平移和旋转，进行图像特征的匹配，获得最终的深度信息图。将三组深度图像的信息融合，可以对深度信息缺失的像素点进行补充，若有获得多组深度信息的像素点，对其深度信息取平均值；

步骤5，将融合后的煤流量表面深度信息图转化为点云图，采用MATLAB的AlphaShape函数和Volume函数计算初始体积计算出煤流量表面到相机所在平面之间构成的体积V

步骤6，将相机所在平面与空载输送带之间构成的体积减去煤流量表面到相机所在平面之间构成的体积，获得煤流量的体积V＝V

如图4所示，基于EDEM仿真软件进行煤块堆积仿真获得堆积率要基于煤块颗粒的信息进行仿真，煤块的颗粒大小拟合方法包括如下步骤：随机抽取一部分煤块，获取每块煤块的三维信息，根据不同的形态分别计算煤块的最大和最小外接圆形或矩形，再将其拟合成不同半径的球形颗粒或者不同半径球形颗粒的组合体，并设置煤块的密度，泊松比；

如图5所示EDEM仿真煤块堆积具体包括如下步骤：

步骤9，导入煤块颗粒的信息并设置煤块的密度，泊松比；导入step格式的输送带仿真模型，并设置输送带的密度，泊松比；

步骤10，添加煤块与煤块，煤块与输送带之间的碰撞关系；

步骤11，设置重力加速度，根据随机抽取的不同大小的煤块数量，按比例填满输送带模型；

步骤12，将所填的颗粒体积与输送带模型体积的比值设置为此带式输送机所运输的煤块堆积率k；

步骤13，将所获得的煤流量体积与煤块堆积率相乘，计算得到最终的煤流量体积kV。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。