一种基于机器视觉的皮带跑偏检测方法及装置

技术领域

本发明涉及矿井安全监测、皮带运输领域，尤其涉及一种基于机器视觉的皮带跑偏检测方法及装置。

背景技术

皮带运输机具有运输距离长、运送能力大等优点，是煤矿生产中的重要运输设备。在皮带运行过程中，由于皮带松弛、矿料分布不均、机械振动等因素，经常会引起皮带左右跑偏。皮带跑偏会损坏设备部件、引发故障停机，影响生产效率和进程，造成经济损失；甚至会引发皮带翻卷撕裂，引发严重的安全隐患。所以，及时发现皮带跑偏对保障煤矿生产效率、降低经济损失、减少安全隐患有重要意义。

随着网络监控、智能识别技术的发展，视频监测已经成为常见的智能高效皮带跑偏检测手段，主要包括以下几种类型：一是基于opencv的图像处理的方法，这种方法的适应力差，无法很好适用于井下光线条件差、飞尘模糊等成像效果差的场景；二是基于目标检测的方法，通过检测皮带托辊来判断皮带跑偏情况，这种方法虽然能够很好地适用于井下环境，但存在着无法量化皮带跑偏程度，尤其对遮挡场景的适应能力差等问题。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于机器视觉的皮带跑偏检测方法及装置。

根据本发明实施例的第一方面，提供一种基于机器视觉的皮带跑偏检测方法，包括：

通过实例分割模型，获取图像中的皮带掩膜；

提取所述皮带掩膜中的边缘点；

比较每个边缘点与预先设置的皮带边缘非跑偏边界的位置关系，确定所述边缘点是否为异常点；

根据异常点的数量判断皮带是否跑偏。

进一步，所述提取所述皮带掩膜中的边缘点，具体包括：

去除所述皮带掩膜中的四角部分；

在剩余的皮带掩膜的两侧边缘均匀采样边缘点。

进一步，所述根据异常点的数量判断皮带是否跑偏，具体包括：

若位于皮带边缘非跑偏边界一侧的边缘点的数量大于预设阈值，则判断皮带向该侧跑偏。

进一步，该方法还包括：

计算异常点与皮带边缘非跑偏边界的距离的均值，并根据所述均值判断皮带的跑偏程度。

根据本发明实施例的第二方面，提供5.一种基于机器视觉的皮带跑偏检测装置，包括：

实例分割模块，用于通过实例分割模型，获取图像中的皮带掩膜；

边缘点提取模块，用于提取所述皮带掩膜中的边缘点；

异常点确定模块，比较每个边缘点与预先设置的皮带边缘非跑偏边界的位置关系，确定所述边缘点是否为异常点；

跑偏判断模块，根据异常点的数量判断皮带是否跑偏。

进一步，所述边缘点提取模块，具体用于：

去除所述皮带掩膜中的四角部分；

在剩余的皮带掩膜的两侧边缘均匀采样边缘点。

进一步，所述跑偏判断模块，具体用于：

若位于皮带边缘非跑偏边界一侧的边缘点的数量大于预设阈值，则判断皮带向该侧跑偏。

进一步，该装置还包括：

跑偏程度判断模块，用于计算异常点与皮带边缘非跑偏边界的距离的均值，并根据所述均值判断皮带的跑偏程度。

根据本发明实施例的第三方面，提供一种终端设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本发明实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本发明的实施例提供的技术方案，通过边缘采点的方法判断皮带跑偏，遮挡部分点不会影响跑偏的判断，能够有效缓解随机遮挡的影响。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本发明一示例性实施例示出的一种基于机器视觉的皮带跑偏检测方法的流程示意图；

图2是根据本发明示例性实施例示出的一种基于机器视觉的皮带跑偏检测装置的结构框图；

图3是根据本发明一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明通过固定相机获取皮带实时视频；通过两点法确定皮带左右边缘非跑偏边界；通过实例分割算法检测皮带实际边缘；通过对皮带分割mask边缘均匀采点快速判断皮带是否跑偏；通过像素分析量化皮带跑偏程度；通过相对密集的采集适应场景的随机遮挡。以下结合附图详细描述本发明实施例的技术方案。

图1是根据本发明一示例性实施例示出的一种基于机器视觉的皮带跑偏检测方法的流程示意图。

参见图1，该方法包括：

110、通过实例分割模型，获取图像中的皮带掩膜。

具体的，在一个实施例中，需要通过固定于皮带上方的相机来实时采集皮带区域的图像。通过针对具体场景训练过的实时实例分割模型，如yolact，获取皮带区域的掩膜mask。

120、提取所述皮带掩膜中的边缘点。

具体的，该步骤在上一步骤获取的皮带掩膜的基础上提取边缘点，可通过现有的边缘分析方法来实现。

在实际实施中发现，如果皮带区域较大，逐一分析皮带边缘点的位置，时间复杂度较高，无法满足实时检测。所以本发明提出对皮带边缘进行均匀采样，在不影响判断准确性的情况下，能够大幅降低判断时间，并且，通过均匀采集多个点，除非遮挡大部分点，遮挡部分点不会影响跑偏的判断。但通过目标检测识别托辊的方式判断皮带跑偏，遮挡任意托辊即会引发误判。另外，在实际实施中还发现，皮带四角的分割效果相对稍差，通过去除mask上下部分行后采样，能够有效提判断准确率。

基于以上实施结果，对边缘点的提取进行进一步优化。在一个实施例中，该步骤包括：

1201、去除所述皮带掩膜中的四角部分；

1202、在剩余的皮带掩膜的两侧边缘均匀采样边缘点。

具体的，首先去除mask上下部分(如1/10)容易不准确的边缘点后，然后在皮带mask左右两侧，分别均匀采取多个(如30个)点，用于判断皮带跑偏情况。

130、比较每个边缘点与预先设置的皮带边缘非跑偏边界的位置关系，确定所述边缘点是否为异常点。

具体的，在一个实施例中，通过在皮带左右两侧，分别设置两个点，确定两条直线，表示皮带左右边缘非跑偏边界。

设置跑偏阈值(如5px，即皮带边缘点超出正常边界超高5像素判为跑偏的异常点)，用来判定皮带是否跑偏。

140、根据异常点的数量判断皮带是否跑偏。

具体的，该步骤具体包括：位于皮带边缘非跑偏边界一侧的边缘点的数量大于预设阈值，则判断皮带向该侧跑偏。

具体的，如果位于皮带边缘非跑偏边界左侧的边缘点的数量超过预设阈值，则判断皮带左跑偏，如果位于皮带边缘非跑偏边界右侧的边缘点的数量超过预设阈值，则判断皮带右跑偏。

本发明提供的一种基于机器视觉的皮带跑偏检测方法，通过边缘采点的方法判断皮带跑偏，遮挡部分点不会影响跑偏的判断，能够有效缓解随机遮挡的影响。

可选地，在本实施例中，该方法还包括：

150、计算异常点与皮带边缘非跑偏边界的距离的均值，并根据所述均值判断皮带的跑偏程度。

基于上述内容可知，边缘点与皮带边缘非跑偏边界的距离越大，则跑偏程度越严重，考虑到单个距离容易造成误判，该步骤中需要考虑所有异常点跑偏的距离均值，另外，考虑到相机透视关系，离皮带越近则距离约大，因此在计算均值时将异常点所在水平线上的皮带宽度考虑在内，即可消除以上透视引起的像素距离偏大的问题，综上，异常点与皮带边缘非跑偏边界的距离的均值为异常点与该异常点与皮带边缘非跑偏边界左侧直线的像素距离之和除以异常点数量与各个皮带宽度之和。

另外，跑偏程度还可采用真实距离来衡量，具体的，将各个异常点与皮带边缘非跑偏边界的像素距离按照预先标定的映射函数转换成真实距离并计算均值，同样能够克服透视所引起的画面畸变问题。

本发明提供的一种基于实例分割的皮带跑偏检测方法，根据皮带边缘和所设置的皮带边缘非跑偏边界的关系准确判断皮带是否跑偏，通过采样边缘点到所设置的皮带边缘非跑偏边界的距离量化皮带跑偏程度；其中基于实例分割mask边缘点采样的方法，能够在保证判断准确性的基础上大幅缩减判断时间，实现实时检测；另外，皮带mask较密集的采样点，通过设置合理阈值，能够有效缓解遮挡对基于视觉的皮带跑偏判定的影响。

在一个实施例中，本发明的具体实施可以包含以下6个步骤：

步骤1：摄像头安装

摄像头需要固定安装在皮带正上方，要求摄像机安装里地面2-4米处，倾斜向下30～60°；确保皮带在摄像机清晰可见、像素大于75*75；场景清晰可见，无明显水雾、粉尘、光线过爆过暗等影响。

当摄像机位置和角度发生变化时，需要重新设置步骤2中的皮带边缘非跑偏边界。

步骤2：跑偏参数设置

在皮带左右两侧，分别设置两个点，确定两条直线，表示皮带左右边缘非跑偏边界。设图像左上角为坐标原点，横向为y轴，纵向为x轴，左右两点分别为(x

分别记作：f

另外，需要设置一个跑偏阈值，当异常采样点的比例大于该阈值时候，判定为跑偏。

步骤3：实例分割模型实时获取皮带mask

通过实时实例分割模型，如yolact，实时获取皮带分割mask结果。该皮带mask是一个二值矩阵，值为1的元素代表组成皮带区域，其他区域值为0。设图片宽高为w、h，图片任意像素点为p

步骤4：皮带边缘采样

在实际实施中发现，如果皮带区域较大，逐一分析皮带边缘点的位置，时间复杂度较高，无法满足实时检测。所以本发明提出对皮带边缘进行均匀采样，在不影响判断准确性的情况下，能够大幅降低判断时间。另外，在实际实施中还发现，皮带四角的分割效果相对稍差，通过去除mask上下部分行后采样，能够有效提判断准确率。设皮带上下范围为[u,d],采样点数为n_all,上下舍弃行数为n_discard,则采样行索引可以表示为：

Inde_sp[i]＝u+n_discard+i×(d-u-2*n_discard)/n_all,i∈[0,n_all)

即舍弃上下若干行后，均匀采样n_all个点。

步骤5：判断皮带是否跑偏

在获得皮带边缘的采样行索引后，计算每行的皮带左右边缘和步骤2中左右直线的关系，如果皮带的边缘点在直线外面，则判断为异常点；然后，统计异常点的比例，如果其超过步骤二中设置的阈值则判断为跑偏。设第i行的左右边缘点分别为(x

记步骤2中设置的跑偏阈值为δ，则最终皮带跑偏情况为：

步骤6：量化跑偏程度

本发明可以通过计算实际边缘纵坐标和标定线线上纵坐标的距离的均值，来表示皮带跑偏程度。记左侧跑偏距离累加器为sum_l、右侧跑偏距离累加器为sum_r,皮带宽度累加器为sum_b，则对于任意的采样点(x

sum_b+＝(f

则最终的跑偏程度可以表示为：

其中n_all是采样点数。

图2是根据本发明示例性实施例示出的一种基于机器视觉的皮带跑偏检测装置的结构框图。

参见图2，该系统包括：

实例分割模块，用于通过实例分割模型，获取图像中的皮带掩膜；

边缘点提取模块，用于提取所述皮带掩膜中的边缘点；

异常点确定模块，比较每个边缘点与预先设置的皮带边缘非跑偏边界的位置关系，确定所述边缘点是否为异常点；

跑偏判断模块，根据异常点的数量判断皮带是否跑偏。

可选地，在该实施例中，所述边缘点提取模块，具体用于：

去除所述皮带掩膜中的四角部分；

在剩余的皮带掩膜的两侧边缘均匀采样边缘点。

可选地，在该实施例中，所述跑偏判断模块，具体用于：

若位于皮带边缘非跑偏边界一侧的边缘点的数量大于预设阈值，则判断皮带向该侧跑偏。

可选地，在该实施例中，该装置还包括：

跑偏程度判断模块，用于计算边缘点与皮带边缘非跑偏边界的距离的均值，并根据所述均值判断皮带的跑偏程度。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图3是根据本发明一示例性实施例示出的一种计算设备的结构示意图。

参见图3，计算设备300包括存储器310和处理器320。

处理器320可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。

上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。