一种基于视频识别的刮板输送机直线度检测方法及装置

技术领域

本公开涉及图像识别及运煤机械领域，尤其涉及一种基于视频识别的刮板输送机直线度检测方法及装置。

背景技术

根据《煤矿安全规程》规定，采煤工作面的煤壁、刮板输送机和液压支架都必须保持直线。刮板输送机作为采煤机的轨道，它的直线情况直接影响到采煤工作面的煤壁的直线情况和采煤机的使用寿命、采煤效率以及割煤质量。故确保刮板输送机直线非常重要，而研究刮板输送机直线度检测技术是确保刮板输送机直线度的重要度量工具。

目前刮板输送机直线度检测方法有：一种是，利用超声波传感器或者传感光纤确定刮板机直线度，这种方法的缺点在于：依赖于大量传感器的铺设，而煤矿下环境恶劣，传感器很容易失效，失效后就无法正常测量直线度。另一种是，通过定位传感器定位检测采煤机的运行轨迹，根据采煤机和刮板机的关系，进行刮板机的直线度检测，此方法成本较高。

发明内容

为克服相关技术中存在的问题，本公开提供一种基于视频识别的刮板输送机直线度检测方法及装置，能够确保刮板输送机保持直线，提高采煤机的使用寿命、采煤效率以及割煤质量。

根据本公开实施例的第一方面，提供一种基于视频识别的刮板输送机直线度检测方法，包括：

获取刮板输送机所在区域的图像；

识别所述图像中的刮板输送机及其实例分割；

提取所述图像中刮板输送机的外轮廓坐标值；

根据所述外轮廓坐标值计算线性相关系数；

若计算得到的线性相关系数小于预设阈值，则判断刮板输送机的直线度不满足要求。

进一步，所述方法还包括：

采用线性拟合算法将对刮板输送机的外轮廓上边缘的各个位置坐标拟合成一条直线；

分别计算刮板输送机外轮廓下边缘的各个位置坐标与拟合直线的距离；

若计算得到的线性相关系数大于或等于所述预设阈值，则根据所述距离的变化趋势判断刮板输送机的直线度是否满足要求。

进一步，所述根据所述距离的变化趋势判断刮板输送机的直线度是否满足要求，具体包括：

对下边缘每预设数量个像素点到拟合直线之间的距离求平均值，并得到该值与上一距离平均值之间的差，从而得到外轮廓上下边缘之间的距离变化为Δd

进一步，所述方法还包括：

若判断刮板输送机的直线度不满足要求，则根据所述图像对应的图像采集装置的位置确定直线度不满足要求的刮板输送机的位置；

针对所述刮板输送机的位置，生成调节指令和/或预警信息。

根据本公开实施例的第二方面，提供一种基于视频识别的刮板输送机直线度检测装置，包括：

获取模块，用于获取刮板输送机所在区域的图像；

识别模块，用于识别所述图像中的刮板输送机及其实例分割；

提取模块，用于提取所述图像中刮板输送机的外轮廓坐标值；

计算模块，用于根据所述外轮廓坐标值计算线性相关系数；

判断模块，用于若所述计算模块计算得到的线性相关系数小于预设阈值，则判断刮板输送机的直线度不满足要求。

进一步，所述装置还包括：

拟合模块，用于采用线性拟合算法将对刮板输送机的外轮廓上边缘的各个位置坐标拟合成一条直线；

所述计算模块，还用于分别计算刮板输送机外轮廓下边缘的各个位置坐标与拟合直线的距离；

所述判断模块，还用于若所述计算模块计算得到的线性相关系数大于或等于所述预设阈值，则根据所述距离的变化趋势判断刮板输送机的直线度是否满足要求。

进一步，所述判断模块，具体用于：

对下边缘每预设数量个像素点到拟合直线之间的距离求平均值，并得到该值与上一距离平均值之间的差，从而得到外轮廓上下边缘之间的距离变化为Δd

进一步，所述装置还包括：

定位模块，用于若所述判断模块判断刮板输送机的直线度不满足要求，则根据所述图像对应的图像采集装置的位置确定直线度不满足要求的刮板输送机的位置；

生成模块，用于针对所述刮板输送机的位置，生成调节指令和/或预警信息。

根据本公开实施例的第三方面，提供一种终端设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本公开实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

利用刮板输送机的图像数据，通过图像识别得到刮板输送机直线度情况，避免了传感器使用过程中的损坏造成的检测失效的问题，同时该方法所需硬件结构简单，价格成本更适宜。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本公开一示例性实施例示出的一种基于视频识别的刮板输送机直线度检测方法的流程示意图；

图2是刮板输送机的标记框及实例分割结果；

图3是上边缘的各个位置坐标拟合成直线的示意图；

图4是根据本公开一示例性实施例示出的一种基于视频识别的刮板输送机直线度检测装置的结构框图；

图5是根据本公开一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以下结合附图详细描述本公开实施例的技术方案。

图1是根据本公开一示例性实施例示出的一种基于视频识别的刮板输送机直线度检测方法的流程示意图。

参见图1，

该方法包括：

101、获取刮板输送机所在区域的图像；

具体的，本发明实施例中，可在综采工作面通道上方安装高清摄像机，通过高摄像机采集刮板输送机所在的区域图像

102、识别所述图像中的刮板输送机及其实例分割；

具体的，步骤102的具体实施过程如下：

1)准备数据集构建带有标注和标签的刮板输送机分割数据库，并训练实例分割模型：采集摄像机图像，对图像中刮板输送机进行标注，准备模型训练所需的图片数据和标签数据。当出现别的设备或人对刮板输送机存在不同程度遮挡时，标注需要绕过这些遮挡物，只标注视野范围内没有遮挡的部分，以免特征提取过程中获取不相关的信息特征，影响检测效果。

2)利用标签数据训练实例分割模型，让视频智能模型具有识别板输送机的能力。

3)摄像机采集现场情况数据，数据通过网络传输至智能识别系统，模型识别出刮板输送机及其实例分割，刮板输送机的标记框及实例分割结果如图2所示。

103、提取所述图像中刮板输送机的外轮廓坐标值；

步骤103中，对步骤102的视频智能模型的输出的实例分割进行解码，提取出刮板输送机的轮廓信息，通过坐标关系提取刮板输送机中产煤板边缘的各个位置坐标。具体包括以下步骤：

1)根据实例分割得到mask值，对图像进行二值化处理，提取形体学特征；

2)使用轮廓找到所有最外层轮廓在图中的坐标信息(x，y)，即得到了刮板输送机中产煤板边缘位置信息(x，y)。

104、根据所述外轮廓坐标值计算线性相关系数；

具体的，根据步骤103得到刮板输送机中产煤板边缘位置信息(x，y)，将x和y两个变量值通过Pearson相关系数的求解方式，求出x，y直接的线性相关系数r(但不限于Pearson相关系数的求解方法，也可以是别的相关系数求解，如余弦相关、Spearman、Kendal相关等方法，本专利仅使用Pearson相关系数的求解进行说明)。

其中Pearson相关系数求解公式如下：

105、若计算得到的线性相关系数小于预设阈值，则判断刮板输送机的直线度不满足要求。

具体的，将刮板输送机上轮廓坐标的线性相关系数r与人为设定的直线度检测的阀值α对比，当r<α时，认为刮板输送机直线度不满足要求，系统会根据摄像机的编号，获取到直线度不满足要求的刮板位置及与阀值之间的差值，作出对应的调节和预警方式。当r≥α时，认为刮板输送机直线度满足要求，系统会根据摄像机的编号，获取到直线度满足要求的刮板位置，推送出满足的信息。

本发明采用实例分割技术，通过提取刮板输送机外轮廓形状，计算出边缘的直线度情况，从而推算出刮板机的直线情况。解决了现有刮板输送机测量方法中依赖大量传感器铺设造成的成本和施工难度大的问题。同时摄像机独立与综采面的采煤设备，不会对设备的运行造成干扰。摄像机的另一个优点是对环境的适应性高于传感元器件，不容易因为传感器失效造成的测量不到位的问题。

可选地，在该实施例中，在执行步骤103之前，该方法还包括：

对步骤102得到的图像逐帧识别结果处理，当识别出来刮板输送机的位置在连续帧中出现变化，则正处于推溜的工艺阶段，此时不做边缘提取。当发现识别出来刮板输送机的位置在连续帧中无变化时，进行刮板输送机的轮廓信息解码处理。这样有利于减少计算量，提高智能识别系统处理效率。

可选地，在该实施例中，该方法还包括：

106、采用线性拟合算法将对刮板输送机的外轮廓上边缘的各个位置坐标拟合成一条直线；

具体的，拟合直线的表达形式为：

Ax+By+C＝0

上边缘的各个位置坐标拟合成一条直线如图3所示。

107、分别计算刮板输送机外轮廓下边缘的各个位置坐标与拟合直线的距离；

具体的，获取刮板输送机下边缘轮廓的位置坐标信息(x

108、若计算得到的线性相关系数大于或等于所述预设阈值，则根据所述距离的变化趋势判断刮板输送机的直线度是否满足要求。

具体的，根据各个坐标下计算得到的下边缘轮廓到拟合直线之间的位置，可获得两边缘之间距离变化趋势。

对下边缘每十个像素点到拟合直线之间的距离求平均值，并得到该值与上一距离平均值之间的差，从而得到外轮廓上下边缘之间的距离变化为Δd

可选地，在该实施例中，该方法还包括：

109、若判断刮板输送机的直线度不满足要求，则根据所述图像对应的图像采集装置的位置确定直线度不满足要求的刮板输送机的位置；

110、针对所述刮板输送机的位置，生成调节指令和/或预警信息。

具体的，结合刮板输送机上轮廓坐标的线性相关系数r与人为设定的直线度检测的阀值α对比结果和刮板输送机下边缘到上边缘拟合线之间的距离变化Δdi的趋势，根据上述实施例内容中定义的规则，综合判断板输送机的直线情况，输出刮板输送机的直线度是否符合工艺要求的信息，根据输出信息的不同给定对应的处理规则。

1)当r<α时，系统输出刮板输送机直线度不满足要求，系统对不满足直线的摄像机段进行报警提示，给推溜设备和相关人员发出指示，或进入预定处理机制中；

2)当r≥α时，但各像素中刮板输送机下边缘到上边缘拟合线之间的距离变化Δdi变化大于设定的阀值Δd时，系统给出预警提示，进行人为查看或进入另一预定处理机制中；

3)当r≥α时，距离变化Δdi变化小于等于设定的阀值Δd时，系统输出推溜成功，直线度满足系统工艺要求。

图4是根据本公开一示例性实施例示出的一种基于视频识别的刮板输送机直线度检测装置的结构框图。

参见图4，该装置包括：

获取模块，用于获取刮板输送机所在区域的图像；

识别模块，用于识别所述图像中的刮板输送机及其实例分割；

提取模块，用于提取所述图像中刮板输送机的外轮廓坐标值；

计算模块，用于根据所述外轮廓坐标值计算线性相关系数；

判断模块，用于若所述计算模块计算得到的线性相关系数小于预设阈值，则判断刮板输送机的直线度不满足要求。

可选地，在该实施例中，所述装置还包括：

拟合模块，用于采用线性拟合算法将对刮板输送机的外轮廓上边缘的各个位置坐标拟合成一条直线；

所述计算模块，还用于分别计算刮板输送机外轮廓下边缘的各个位置坐标与拟合直线的距离；

所述判断模块，还用于若所述计算模块计算得到的线性相关系数大于或等于所述预设阈值，则根据所述距离的变化趋势判断刮板输送机的直线度是否满足要求。

可选地，在该实施例中，所述判断模块，具体用于：

对下边缘每预设数量个像素点到拟合直线之间的距离求平均值，并得到该值与上一距离平均值之间的差，从而得到外轮廓上下边缘之间的距离变化为Δd

可选地，在该实施例中，所述装置还包括：

定位模块，用于若所述判断模块判断刮板输送机的直线度不满足要求，则根据所述图像对应的图像采集装置的位置确定直线度不满足要求的刮板输送机的位置；

生成模块，用于针对所述刮板输送机的位置，生成调节指令和/或预警信息。

图5是根据本公开一示例性实施例示出的一种计算设备的结构示意图。

参见图5，计算设备500包括存储器510和处理器520。

处理器520可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器510可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器520或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器510可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器510可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器510上存储有可执行代码，当可执行代码被处理器520处理时，可以使处理器520执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本公开的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本公开实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本公开实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。