一种采煤皮带机头溜煤眼下口堵塞检测方法及装置

技术领域

本公开涉及煤矿开采领域，尤其涉及一种采煤皮带机头溜煤眼下口堵塞检测方法及装置。

背景技术

在煤矿开采过程中，采煤皮带机头溜煤眼下口容易出现堵塞的情况，针对这一情况，目前煤矿企业通常需要指派工作人员进行巡检，在发现堵塞时及时进行疏通，这种方式需要耗费大量的人工，效率低下。

发明内容

为克服相关技术中存在的问题，本公开提供一种采煤皮带机头溜煤眼下口堵塞检测方法及装置，能够利用计算机视觉技术，自动化的识别溜煤眼状态，对溜煤眼是否堵塞，以及是否有大煤块卡住溜煤眼进行检测，检测结果可根据需求接入煤矿安全生产监控平台进行报警，并可作为判断工人是否及时疏通溜煤眼的依据。

根据本公开实施例的第一方面，提供一种采煤皮带机头溜煤眼下口堵塞检测方法，包括：

获取溜煤眼筛板区域的图像；

利用目标检测模型，识别所述图像中溜煤眼筛板上的筛孔；

根据所述筛孔的识别结果确定所述筛孔的数量；

若所述筛孔的数量小于或等于预设数量，则判断所述溜煤眼筛板被堵塞。

根据本公开实施例的第二方面，提供一种采煤皮带机头溜煤眼下口堵塞检测装置，包括：

图像获取模块，用于获取溜煤眼筛板区域的图像；

筛孔识别模块，用于利用目标检测模型，识别所述图像中溜煤眼筛板上的筛孔；

筛孔计数模块，用于根据所述筛孔的识别结果确定所述筛孔的数量；

堵塞判断模块，用于若所述筛孔的数量小于或等于预设数量，则判断所述溜煤眼筛板被堵塞。

根据本公开实施例的第三方面，提供一种终端设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本公开实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

利用计算机视觉技术，自动化的识别溜煤眼状态，对溜煤眼是否堵塞进行检测，检测结果可根据需求接入煤矿安全生产监控平台进行报警，并可作为判断工人是否及时疏通溜煤眼的依据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本公开一示例性实施例示出的一种采煤皮带机头溜煤眼下口堵塞检测方法的流程示意图；

图2是本公开所应用的硬件结构图；

图3是溜煤眼筛板上筛孔的识别结果；

图4是溜煤眼筛板上大煤块的识别结果；

图5是采煤皮带机头溜煤眼下口筛板堵塞状态的识别结果；

图6是采煤皮带机头溜煤眼下口筛板堵塞状态的算法示意图；

图7是根据本公开一示例性实施例示出的一种采煤皮带机头溜煤眼下口堵塞检测装置的结构框图；

图8是根据本公开一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图2为本公开所应用的硬件结构，如图2所示，该结构包括摄像机和GPU设备，本实施例中，为满足深度学习的需要，GPU设备可采用内置深度学习加速器芯片的深度学习服务器，摄像机采用网络监控摄像头，在生产环境中，将网络监控摄像头固定采煤皮带机头正上方一侧，使之可以在摄像头中监控到皮带机头和溜煤眼筛板。深度学习加速器设备通过网络与网络摄像头相连，并从摄像头中实时的获取溜煤眼的监控视频流，同时利用计算机视觉中的目标检测技术，识别溜煤眼筛板上筛孔的个数及大煤块的位置，识别结果如图3和图4所示。

当筛孔的数量小于一定阈值的时候，证明溜煤眼被堵塞，同时，当检测到大煤块位于筛板上方时，则说明出现大煤块卡住溜煤眼，需发出报警。采煤皮带机头溜煤眼下口筛板堵塞状态如图5所示。

以下结合附图详细描述本公开实施例的技术方案。

图1是根据本公开一示例性实施例示出的一种采煤皮带机头溜煤眼下口堵塞检测方法的流程示意图。

参见图1，

该方法包括：

110、获取溜煤眼筛板区域的图像；

具体的，工作人员需要提前确认网络摄像头角度可以从采煤皮带机头上方观察到溜煤眼下口全貌，并且确定深度学习服务器可以读取到网络摄像头的视频流。

网络摄像头采集实时视频数据通过网络回传至深度学习服务器，深度学习服务器在接收到摄像头原始数据后开始在后台解码，解码后的图像信息会存在内存中供后续使用。

120、利用目标检测模型，识别所述图像中溜煤眼筛板上的筛孔；

具体的，深度学习服务器提取内存中的图像信息并将图像分辨率统一归为416*416*3，并将规范化的图片送入目标检测神经网络中，神经网络经过计算后会生成目标分类信息和目标位置信息，目标位置信息格式：(x,y,w,h)，其中x和y为归一化的中心点坐标，w和h为归一化的目标宽度和高度。

在本实施例中，利用目标检测模型所识别的目标是溜煤眼筛板上的筛孔。通过收集工厂生产环境中的视频，对筛孔的位置和分类信息进行标注和训练，模型收敛后提取最优化模型进行部署。部署后的模型就可以识别图像中筛孔的目标类别信息和位置信息。

130、根据所述筛孔的识别结果确定所述筛孔的数量；

140、若所述筛孔的数量小于或等于预设数量，则判断所述溜煤眼筛板被堵塞。

应理解，当溜煤眼筛板未堵塞时，会因下落的煤块而造成识别到的筛孔数量发生较小的波动变化，而当筛板被堵塞时，随着时间推移，筛板堵塞情况愈发严重，识别到的筛孔数量会越来越少，当筛孔数量小于或等于预设数量时，就能够确定溜煤眼筛板被堵塞了。

如图6所示，能够识别到的筛孔数量为3个，有6个筛孔已被堵塞无法识别，此时可判断溜煤眼筛板被堵塞。

以上溜煤眼堵塞检测结果可根据需求接入煤矿安全生产监控平台进行报警，并可作为判断工人是否及时疏通溜煤眼的依据。

本公开一示例性实施例示出的一种采煤皮带机头溜煤眼下口堵塞检测方法，能够利用计算机视觉技术，自动化的识别溜煤眼状态，对溜煤眼是否堵塞进行检测。

另外，当溜煤眼区域中出现尺寸超过一定尺寸的大煤块时，将会导致筛孔堵塞，进而容易造成整个溜煤眼筛板的堵塞，因此，还可在图像中溜煤眼区域中出现大煤块时确认溜煤眼筛板堵塞。可选地，在该实施例中，该方法还包括：

150、利用目标检测模型，识别所述图像中的煤块；

160、根据所述煤块的识别结果确定所述煤块中像素尺寸超过设定尺寸的目标煤块的位置；

在该实施例中，可根据筛孔的像素尺寸确定设定尺寸，也可根据筛板尺寸按一定比例确定滚设定尺寸，并且，通过目标检测模型能够确定出煤块的标记框，若标记框的像素尺寸超过设定尺寸，则说明该煤块为可能引起堵塞的大煤块，即目标煤块。

170、若所述目标煤块的位置处于检测边界内，则判断所述溜煤眼筛板被堵塞。

其中，检测边界的确定方法可采用以下两种方法：

1、预先根据图像中溜煤眼的位置直接划定检测边界。

2、根据溜煤眼筛板上全部筛孔的位置确定检测边界的坐标范围具体来说，在检测到筛孔的位置以后，可以图像中最上，最下，最左，最右的筛孔边界作为检测边界。

具体的，如果以筛孔的中心点坐标代表筛孔的位置，则将溜煤眼筛板上全部筛孔的中心点横坐标的最小值和最大值分别作为检测边界的横坐标范围的最小值和最大值；

将溜煤眼筛板上全部筛孔的中心点纵坐标的最小值和最大值分别作为检测边界的纵坐标范围的最小值和最大值。

步骤170具体包括：

1701、若所述目标煤块的中心点坐标处于所述检测边界的坐标范围内，则判断所述溜煤眼筛板被堵塞。

具体的，假设检测到的n个筛孔中心点坐标为(x

min(x

min(y

如图6所示，大煤块在检测边界内。

本实施例中，通过计算机视觉算法识别出可能引起溜煤眼筛板堵塞的大煤块作为目标煤块，通过判断大煤块是否出现在检测边界内即可自动化地判断溜煤眼筛板是否堵塞。

图7是根据本公开一示例性实施例示出的一种采煤皮带机头溜煤眼下口堵塞检测装置的结构框图。

参见图7，

该装置包括：

图像获取模块，用于获取溜煤眼筛板区域的图像；

筛孔识别模块，用于利用目标检测模型，识别所述图像中溜煤眼筛板上的筛孔；

筛孔计数模块，用于根据所述筛孔的识别结果确定所述筛孔的数量；

堵塞判断模块，用于若所述筛孔的数量小于或等于预设数量，则判断所述溜煤眼筛板被堵塞。

可选地，在该实施例中，该装置还包括：

煤块识别模块，用于利用目标检测模型，识别所述图像中的煤块；

煤块定位模块，用于根据所述煤块的识别结果确定所述煤块中像素尺寸超过设定尺寸的目标煤块的位置；

所述堵塞判断模块，还用于若所述目标煤块的位置处于所述检测边界内，则判断所述溜煤眼筛板被堵塞。

可选地，在该实施例中，该装置还包括：边界确定模块，用于预先划定所述检测边界的坐标范围，或，根据所述溜煤眼筛板上全部筛孔的位置确定所述检测边界的坐标范围。图8是根据本公开一示例性实施例示出的一种计算设备的结构示意图。

参见图8，计算设备800包括存储器810和处理器820。

处理器820可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器810可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器810可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器810上存储有可执行代码，当可执行代码被处理器820处理时，可以使处理器820执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本公开的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本公开实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本公开实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。