基于深度相机图像检测的煤矸识别方法

技术领域

本发明属于煤矸识别技术领域，具体涉及一种基于深度相机图像检测的煤矸识别方法。

背景技术

在煤矿生产中常常伴有大量的矸石，这些矸石如不及时处理掉会影响煤炭的品质，故在开采后的煤矿中分拣出矸石能够有效提高煤炭的品质。因此，在煤矸分拣之前，如何准确而有效的识别出矸石是前提条件，现有煤矸识别算法基于RGB图像，这类煤矸识别方法存在如下劣势：图像中干扰因素较多直接影响检测效果，如煤炭和矸石的纹理等信息较多且相似度较高，容易产生误识别。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明提出一种基于深度相机图像检测的煤矸识别方法，该基于深度相机图像检测的煤矸识别方法具有将RGB图与深度图相融合，同时兼顾了煤矸识别准确率和实时性要求的优点。

根据本发明实施例的基于深度相机图像检测的煤矸识别方法，包括：S1、利用深度相机获取某一输送区域的深度图像和RGB图像；S2、根据深度图像对RGB图像进行预处理；S3、寻找出预处理之后的RGB图像中输送区域内煤炭和矸石的轮廓，并绘制出煤炭和矸石的最小外接矩形；S4、计算出最小外接矩形内指定位置的灰度平均值，若灰度平均值超过阈值，则判断该最小外接矩形内的物体为矸石，反之则为煤炭。

本发明的有益效果是，本发明利用深度相机对输送中的煤炭和矸石进行拍摄，从而同时获取深度图像和RGB图像，将深度图像和RGB图像进行结合预处理，从而能够更准确快速识别出煤炭和矸石的轮廓，并绘制出轮廓所对应的最小外接矩形，根据区域内指定位置的灰度平均值的大小来判断该最小外接矩形内的物体的类型，煤矸识别过程快速，提高了实时性，识别时准确率高，在不增加硬件设施的前提下，提高了煤矸识别的效果。

根据本发明一个实施例，在S2中预处理的操作包括校正对齐处理和提高对比度处理。

根据本发明一个实施例，在S2中经过校对齐后的RGB图像中融合了深度图像的地信息，形成为RGBD图像，将RGBD图像复制一份，将其中一份RGBD图像的背景色转换为黑色，然后利用卷积运算函数filter2D和拉普拉斯算子来提高对比度。

根据本发明一个实施例，Filter2D卷积运算公式为：

，记为式(1)；其中，kernel(x′，y′)为一个单通道浮点型的矩阵；src为输入图像；anchor为内核的基准点，其默认值为(-1，-1)，说明位于kernel的中心位置；dst为输出图像。

根据本发明一个实施例，拉普拉斯算子公式为：

根据本发明一个实施例，所述S3包括：S31、将提高对比度之后的RGBD图像作为输入，利用寻找轮廓算法的函数findContours找寻到提高对比度之后的RGBD图像中物体的轮廓。

根据本发明一个实施例，所述S3还包括：S32、设定最小外接矩形的面积阈值，以滤除无效的最小外接矩形；S33、判断两个最小外接矩形是否由同一物体所产生，若两个最小外接矩形由同一物体所产生，则从两个最小外接矩形中筛选出该物体所对应的实际最小外接矩形。

根据本发明一个实施例，在S32中，滤除无效的最小外接矩形所用的约束公式为：α＜w

根据本发明一个实施例，在S33中，判断两个最小外接矩形由同一物体所产生需要满足以下两个约束公式：(p

根据本发明一个实施例，在S4中，在实际最小外接矩形的中心取5×5的像素区域，计算5×5的像素区域中三个通道灰度平均值之和，若小于135，则该区域对应的物体为煤炭，反之为矸石。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

本发明的上述和/或附加的方面和优点从下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明中基于深度相机图像检测的煤矸识别方法的流程图；

图2是本发明中深度相机获取的RGB图像；

图3是本发明中深度相机获取的深度图像；

图4是本发明中经过预处理后获得的RGBD图像；

图5是本发明的S3中绘制出煤炭和矸石的最小外接矩形后的图像；

图6是本发明的RGBD图像中煤矸识别后的效果图；

图7是本发明是图5结合深度图像之后所显示的效果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面参考附图具体描述本发明实施例的基于深度相机图像检测的煤矸识别方法。

如图1至图7所示，根据本发明实施例的基于深度相机图像检测的煤矸识别方法，包括：S1、利用深度相机获取某一输送区域的深度图像和RGB图像；S2、根据深度图像对RGB图像进行预处理；S3、寻找出预处理之后的RGB图像中输送区域内煤炭和矸石的轮廓，并绘制出煤炭和矸石的最小外接矩形；S4、计算出最小外接矩形内指定位置的灰度平均值，若灰度平均值超过阈值，则判断该最小外接矩形内的物体为矸石，反之则为煤炭。

本发明利用深度相机对输送中的煤炭和矸石进行拍摄，从而同时获取深度图像和RGB图像，将深度图像和RGB图像进行结合预处理，从而能够更准确快速识别出煤炭和矸石的轮廓，并绘制出轮廓所对应的最小外接矩形，根据区域内指定位置的灰度平均值的大小来判断该最小外接矩形内的物体的类型，煤矸识别过程快速，提高了实时性，识别时准确率高，在不增加硬件设施的前提下，提高了煤矸识别的效果。

根据本发明一个实施例，在S2中预处理的操作包括校正对齐处理和提高对比度处理。

进一步地，在S2中经过校对齐后的RGB图像中融合了深度图像的地信息，形成为RGBD图像，将RGBD图像复制一份，将其中一份RGBD图像的背景色转换为黑色，然后利用卷积运算函数filter2D和拉普拉斯算子来提高对比度。也就是说，从图2可以看出，由于相机距离输送区域的边缘较远，深度相机直接拍出的RGB图像呈弯曲状，在图4中，RGBD图像经过校正对齐，同时便于边缘背景变为黑色，同时煤炭和矸石与周围环境的对比度得到提升，煤炭和矸石的边缘被凸显出来，这样寻找轮廓时会更加准确，效率更高；深度相机选用上海图漾科技的FM851-GI-E1相机，带有映射深度图到彩色图坐标函数TYMapDepthImageToColorCoordinate，通过直接调用该函数进行校正对齐操作。

采用的Filter2D卷积运算公式为：

，记为式(1)；其中，kernel(x′，y′)为一个单通道浮点型的矩阵；src为输入图像；anchor为内核的基准点，其默认值为(-1，-1)，说明位于kernel的中心位置；dst为输出图像。

采用的拉普拉斯算子公式为：

根据本发明一个实施例，所述S3包括：S31、将提高对比度之后的RGBD图像作为输入，利用寻找轮廓算法的函数findContours找寻到提高对比度之后的RGBD图像中物体的轮廓。在利用函数findContours寻找轮廓时，将定义轮廓检索模式的超参数选择RETR_TREE，此参数用于检测所有轮廓，但所有轮廓只建立两个等级关系，外围为项层，若外围内的内围轮廓还包含了其他的轮廓信息，(深度图像具有地信息，形成有内围轮廓)则内围内的所有轮廓均归属于项层；定义轮廓的近似方法选择CHAIN_APPROX_SIMPLE，此参数仅保存轮廓的拐点信息，把所有的轮廓拐点处的点保存入contours向量内，拐点与拐点之间直线段上的信息不予保留。

进一步地，所述S3还包括：S32、设定最小外接矩形的面积阈值，以滤除无效的最小外接矩形；S33、判断两个最小外接矩形是否由同一物体所产生，若两个最小外接矩形由同一物体所产生，则从两个最小外接矩形中筛选出该物体所对应的实际最小外接矩形。

优选地，在S32中，滤除无效的最小外接矩形所用的约束公式为：α＜w

优选地，在S33中，判断两个最小外接矩形由同一物体所产生需要满足以下两个约束公式：(p

也就是说，物体对应的最小外接矩形需要同时满足公式(3)、公式(4)和公式(5)，公式(3)主要通过判断最小外接矩形的面积是否落在300-240000mm

根据本发明一个实施例，在S4中，在实际最小外接矩形的中心取5×5的像素区域，计算5×5的像素区域中三个通道灰度平均值之和，若小于135，则该区域对应的物体为煤炭，反之为矸石。通过对规定像素区域内三个通道灰度平均值之和的大小与设定的135进行对比，能够将矸石从煤炭中迅速识别和筛选出来。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。