基于视觉时序的运输机煤流智能监测方法与系统

技术领域

本申请涉及井下智能视频监控技术领域，尤其涉及一种基于视觉时序的运输机煤流智能监测方法与系统。

背景技术

当前在煤矿井下工作面部署的视频监控系统实现了对井下作业工况的“远程可视化”能力，一定程度上解决了人工远程可视化监控、工作面作业自动化管控问题。但是，目前的“可视化”能力与行业发展要求的“智能化”要求仍有很大差距。因此如何有效、高效的完成采煤工艺中各个环节的智能化感知与自动化控制并最终实现智能化无人采煤，是推进煤矿智能化进程的关键核心问题。井下综采/综放工作面复杂场景中“煤流智能监测”，是当前采煤工作面智能化建设内容的重要组成部分。

目前在综采/综放工作面生产过程中，运输机煤流监测方式主要还是依靠人工肉眼感知运输机上煤流状态，完成煤流状态的预估，进而实现煤流状态预估后的相应操作。煤流状态主要分为三种状态：空载负荷状态、正常负荷状态、满负荷状态。在综采工作面满负荷煤流状态时，人工操作降低采煤机行进速度，甚至停止采煤机工作，调节运输机速度直至负荷状态正常。在综放满负荷煤流状态时，人工操作放煤顶板，降低放煤速度，调节运输机速度直至负荷状态正常。而在运输机空载负荷状态和正常负荷状态时，现阶段生产过程中往往一直保持运输机满速运行。

依靠人工肉眼判断煤流状态进而采取控制措施这种方式属于“远程可视化干预”采煤范畴，不属于智能化无人采煤范畴。当前这种煤流监测方式，首先未能解放人力，也不能减少操作工人的劳动强度，未真正实现工作面作业自动化，同时由于人工对关联设备的反复启停控制操作，严重影响工作面采煤生产效率；其次，系统不具备针对工作面生产工况进行动态、实时感知能力，从而导致未能根据煤流状态实时智能感知结果形成自动决策、相关联设备自主联动的闭环系统；最后，在这种生产方式下，如果工作面运输机长时间处于空载负荷状态运行，将会造成井下宝贵能耗的不必要浪费，势必增加工作面生产作业成本。

除了人工肉眼感知外，现阶段也提出了多种利用其它设备感知煤流的方案。接触式方案通过在刮板运输机上安装特定装置完成煤流量数据的采集。该类装置在实际生产过程中容易受到运输机抖动、煤块挤压等因素影响，导致系统传感器容易损坏，从而影响系统的整体可靠性。该方案实施过程中，特定装置容易在复杂工况条件下易受损，且工程实施难度大，导致系统可靠性不高。非接触式方案通过超声波扫描、激光扫描、视觉检测等方法完成感知，避免了接触式检测设备的限制因素。超声波扫描、激光扫描方法通过波的反射特性，将反射信号转换为煤流横截面、体积等信息，实现煤流量估计。在实际应用过程中，超声波扫描响应速度慢，当运输机高速运行时测量误差较大；激光扫描所需的硬件成本高，测量精度受安装位置、现场复杂环境影响较大，而且激光点云数据在传输过程中需要高带宽通讯网络，处理过程中需要高性能计算资源；视觉检测方法，往往利用视觉智能感知算法针对实时监控视频图像进行分析，自动检测获得关键目标对象，如大块煤、矸石等，并基于检测结果信息进行煤流状态的自动判断。此类视觉检测方法，一般情况下简单的利用视觉图像静态特征，无法充分刻画煤流动态信息，导致煤流状态检测不准确，同时基于关键目标对象检测方法无法直观的将实体信息映射为煤流状态信息；另一方面，现有视觉检测方案在实际应用过程中对摄像仪监控视角场有苛刻的要求，无法适应工作面工况条件下摄像仪位置频繁随着液压支架的移动而发生变化，以及云台摄像仪的频繁自动旋转导致视角场的改变。另外，更为重要的是现阶段非接触式方案在工程应用实施过程中都没有能够有效消除运输机煤流区域之外的物体针对煤流状态的实时干扰，随着系统的长时间运行使得监测误差将不断加大。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于视觉时序的运输机煤流智能监测方法，解决了现有依靠人工肉眼判断煤流状态的方法未真正实现工作面作业自动化，严重影响工作面采煤生产效率的技术问题，同时解决了现有接触式方案在应用过程中传感装置易损坏，系统可靠性低的问题，以及激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等技术问题，通过视觉检测实现煤流状态智能监测并联动相关设备进行自动化作业，提高工作面采煤生产效率，同时通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，解决了非煤流区域中物体对煤流状态识别的干扰问题。

本申请的第二个目的在于提出一种基于视觉时序的运输机煤流智能监测系统。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种基于视觉时序的运输机煤流智能监测方法，包括：获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。

可选地，在本申请的一个实施例中，在获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧之前，包括：

获取摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；

利用深度学习语义分割技术对图像帧进行处理，得到工作面关键物体区域位置信息；

根据工作面关键物体区域位置信息，控制摄像仪调整视角。

可选地，在本申请的一个实施例中，根据工作面关键物体区域位置信息，控制摄像仪调整视角，包括：

根据工作面关键物体区域位置信息进行分析，判断摄像仪视角是否完全覆盖运输机煤流区域；

若摄像仪视角不能完全覆盖运输机煤流区域，则根据工作面关键物体区域位置信息计算摄像仪的旋转角度，并根据旋转角度控制摄像仪调整视角。

可选地，在本申请的一个实施例中，在利用深度学习动作识别技术计算图像时序队列的特征，得到刮板运输机煤流状态之后，包括：

根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制。

可选地，在本申请的一个实施例中，刮板运输机煤流状态包括满负荷状态、正常负荷状态和空载负荷状态，根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制，包括：

当刮板运输机煤流状态为满负荷状态时，生成刮板运输机满负荷状态预警提示信息，同时控制刮板运输机进行提速，控制采煤机进行降速或放顶煤减缓；

当刮板运输机煤流状态为空载负荷状态时，生成刮板运输机空载负荷状态预警提示信息，同时控制采煤机进行提速或放顶煤加速，控制刮板运输机进行降速；

当刮板运输机煤流状态为正常负荷状态时，不进行控制动作。

可选地，在本申请的一个实施例中，在利用深度学习动作识别技术计算图像时序队列的特征，得到刮板运输机煤流状态之后，还包括：

存储刮板运输机煤流状态，并通过可视化应用展示刮板运输机煤流状态。

为达上述目的，本申请第二方面实施例提出了一种基于视觉时序的运输机煤流智能监测系统，包括：

获取模块，用于获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；

处理模块，用于利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；

截取模块，用于根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；

计算模块，用于利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。

可选地，在本申请的一个实施例中，系统，还包括：

控制模块，用于根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于视觉时序的运输机煤流智能监测方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种基于视觉时序的运输机煤流智能监测方法。

本申请实施例的基于视觉时序的运输机煤流智能监测方法、系统、计算机设备和非临时性计算机可读存储介质，解决了现有依靠人工肉眼判断煤流状态的方法未真正实现工作面作业自动化，严重影响工作面采煤生产效率的技术问题，同时解决了现有接触式方案在应用过程中传感装置易损坏，系统可靠性低的问题，以及激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等技术问题，通过视觉检测实现煤流状态智能监测并联动相关设备进行自动化作业，提高工作面采煤生产效率，同时通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，解决了非煤流区域中物体对煤流状态识别的干扰问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种基于视觉时序的运输机煤流智能监测方法的流程图；

图2为本申请实施例的基于视觉时序的运输机煤流智能监测方法的工作面运输机煤流智能监测示意图；

图3为本申请实施例的基于视觉时序的运输机煤流智能监测方法的另一个流程图；

图4为本申请实施例的基于视觉时序的运输机煤流智能监测方法的摄像仪视角调整流程图；

图5为本申请实施例的基于视觉时序的运输机煤流智能监测方法的相关联作业设备控制流程；

图6为本申请实施例二所提供的一种基于视觉时序的运输机煤流智能监测系统的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

井下综采/综放工作面复杂场景中“煤流智能监测”，是当前采煤工作面智能化建设内容的重要组成部分。工作面煤流智能监测通过前端传感器获取运输机煤流状态，实现实时感知，然后系统利用感知信息进行决策分析，联动相关联采煤机、放煤顶板、运输机等作业设备进行自动化控制，可以降低堆煤事故发生率，提高工作面生产效率，节省井下能源消耗，保障工作面安全、高效生产。

现有煤流状态检测识别技术方案仅凭某一时刻静态特征，忽略煤流动态变化特征，导致煤流状态检测识别结果准确度不高。本申请提出的基于时序特征的煤流状态检测识别方案，融合一定时间段内运输机煤流区域视觉时序特征，能够充分刻画煤流动态变化信息，使得煤流状态检测识别结果更加准确稳定。

现有煤流状态检测识别技术方案未对原始数据进行预处理，简单通过全局数据进行处理实现煤流状态检测识别，难以克服局部非煤流区域中物体对煤流状态准确检测识别的干扰。本申请中提出的利用深度学习语义分割技术针对工作面监控视频流图像帧进行预处理，实现刮板运输机煤流区域提取，能够有效解决非煤流区域中物体对煤流状态识别的干扰问题。

现有煤流监测技术方案没有考虑工作面复杂工况条件下监控设备随作业设备位置变化，以及自身位姿变化而引起的监控视角场改变问题，进一步导致监控设备监控覆盖区域发生变化，从而影响运输机煤流状态准确检测识别。本申请利用深度学习语义分割技术通过监控视频图像内容实时智能分析，实现监控云台摄像仪视角场智能检测，以及自适应调整方法，保障运输机煤流状态的准确智能监测。

现有工作面煤流智能监测方案存在诸多缺点。基于此，本申请提出一种基于视觉时序的煤流监测方法，利用非接触式视觉检测方法，实现煤流状态实时智能感知，然后利用感知信息进行决策分析，联动相关联采煤机、放煤顶板、运输机等作业设备进行自动化控制。首先本申请通过视觉检测实现煤流状态智能监测，减轻工作面工人劳动强度，将工人从繁杂紧张的相关设备操作中解放出来，通过视觉感知联动相关设备进行自动化作业，提高工作面采煤生产效率。其次本申请基于视觉的非接触方式，既能够克服现有接触式方案在应用过程中传感装置易损坏，降低系统可靠性的缺点，又能够解决激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等问题。另外，与现有视觉检测方法相互比较，本申请利用视觉时序特征充分刻画煤流动态变化信息，使得煤流状态识别更加稳定；同时，本申请通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，从而解决非煤流区域中物体对煤流状态识别的干扰问题。

下面参考附图描述本申请实施例的基于视觉时序的运输机煤流智能监测方法与系统。

图1为本申请实施例一所提供的一种基于视觉时序的运输机煤流智能监测方法的流程示意图。

如图1所示，该基于视觉时序的运输机煤流智能监测方法包括以下步骤：

步骤101，获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；

步骤102，利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；

步骤103，根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；

步骤104，利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。

本申请实施例的基于视觉时序的运输机煤流智能监测方法，通过获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。由此，能够解决现有依靠人工肉眼判断煤流状态的方法未真正实现工作面作业自动化，严重影响工作面采煤生产效率的技术问题，同时解决了现有接触式方案在应用过程中传感装置易损坏，系统可靠性低的问题，以及激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等技术问题，通过视觉检测实现煤流状态智能监测并联动相关设备进行自动化作业，提高工作面采煤生产效率，同时通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，解决了非煤流区域中物体对煤流状态识别的干扰问题。

本申请首先获取工作面运输机煤流智能监测视频流并从中抽取图像帧；其次利用深度学习语义分割技术对图像帧进行分析处理，获取刮板运输机煤流区域及工作面关键物体区域位置信息；通过工作面关键物体区域位置信息用于判断是否需要控制云台摄像仪旋转以达到理想位姿；若需要，则调整摄像仪至目标位姿，并重新获取图像帧，利用刮板运输机煤流区域位置信息截取煤流区域局部图像，以便按照时间点顺序将煤流区域局部图像组成图像时序队列；然后提取图像时序队列的特征，并利用视频时序分析技术对图像时序队列特征进行建模，计算获得该时序队列煤流状态；最后，根据煤流状态进行决策实现相关联设备的自动化控制；同时将煤流状态存储并进行煤流状态可视化监控应用。

本申请利用非接触式视觉检测方式实现工作面运输机煤流状态智能监测，工作面运输机煤流智能监测在工作面部署实施示意如图2所示，首先在综采/综放工作面内，按照一定间距部署监控摄像仪，工作面进行运输机煤流监测，确保工作面照明充足，每个摄像仪的视角场完全清晰覆盖运输机煤流区域。

本申请刮板运输机煤流状态实时检测识别流程如图3所示，首先获取煤流监测的液压支架架号，根据架号计算获得所在摄像仪IP地址并建立网络通信；获取该IP地址下的视频流；读取视频流中图像帧；利用深度学习语义分割技术对图像帧进行处理，获得到刮板运输机煤流区域及工作面关键物体区域；针对工作面关键物体区域位置信息，计算获得摄像仪旋转角度，并自动控制摄像仪调整至目标位姿；重新获取调整摄像仪位姿后的图像帧并利用刮板运输机煤流区域位置信息，截取煤流局部区域图像；按照时间点顺序将煤流区域局部图像组成图像时序队列；利用深度学习动作识别技术，计算图像时序队列的特征，实现煤流状态检测识别，得到刮板运输机煤流状态；根据煤流状态执行相应自动控制操作；同时将煤流状态存储并进行煤流状态可视化监控应用。

进一步地，在本申请实施例中，在获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧之前，包括：

获取摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；

利用深度学习语义分割技术对图像帧进行处理，得到工作面关键物体区域位置信息；

根据工作面关键物体区域位置信息，控制摄像仪调整视角。

本申请调整摄像仪视角如图4所示，获取视频图像帧语义分割结果，针对语义分割结果中工作面关键物体位置进行分析，判断摄像仪是否处于理想位姿，即摄像仪视角是否完全覆盖运输机煤流区域；若摄像仪位姿不理想，则根据工作面关键物体位置信息计算摄像仪需旋转的角度；控制云台摄像仪旋转至理想位姿；若摄像仪位姿理想，则无需调整摄像仪视角。

进一步地，在本申请实施例中，根据工作面关键物体区域位置信息，控制摄像仪调整视角，包括：

根据工作面关键物体区域位置信息进行分析，判断摄像仪视角是否完全覆盖运输机煤流区域；

若摄像仪视角不能完全覆盖运输机煤流区域，则根据工作面关键物体区域位置信息计算摄像仪的旋转角度，并根据旋转角度控制摄像仪调整视角。

进一步地，在本申请实施例中，在利用深度学习动作识别技术计算图像时序队列的特征，得到刮板运输机煤流状态之后，包括：

根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制。

进一步地，在本申请实施例中，刮板运输机煤流状态包括满负荷状态、正常负荷状态和空载负荷状态，根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制，包括：

当刮板运输机煤流状态为满负荷状态时，生成刮板运输机满负荷状态预警提示信息，同时控制刮板运输机进行提速，控制采煤机进行降速或放顶煤减缓；

当刮板运输机煤流状态为空载负荷状态时，生成刮板运输机空载负荷状态预警提示信息，同时控制采煤机进行提速或放顶煤加速，控制刮板运输机进行降速；

当刮板运输机煤流状态为正常负荷状态时，不进行控制动作。

本申请的根据煤流状态进行决策实现相关联设备的自动化控制流程如图5所示，在运输机煤流智能监测过程中，根据煤流状态感知结果信息，并针对不同状态执行相关联作业设备的自动控制。当接收到满负荷状态感知结果信息时，进行运输机满负荷状态预警，同时控制运输机进行提速，控制采煤机进行降速或放顶煤减缓；当接收到空载负荷状态感知结果信息时，进行运输机空载负荷状态预警，同时控制采煤机进行提速或放顶煤加速，控制运输机进行降速；当接收到正常负荷状态感知结果信息时，不进行相关控制动作。

进一步地，在本申请实施例中，在利用深度学习动作识别技术计算图像时序队列的特征，得到刮板运输机煤流状态之后，还包括：

存储刮板运输机煤流状态，并通过可视化应用展示刮板运输机煤流状态。

本申请基于非接触式视觉检测方式实现运输机煤流状态智能监测，并利用煤流状态实

时感知结果进行决策，驱动工作面相关联作业设备(采煤机、放顶煤顶板，以及刮板运输5机)进行自动化控制，减轻工作面工人劳动强度，将工人从繁杂紧张的相关设备操作中解

放出来，节省工作面能源消耗，提高工作面采煤生产效率；同时本申请在煤流状态检测识别过程中，引入视觉时序特征，通过针对一定时间段内视频图像帧时序特征进行分析，构建充分刻画煤流变化状态的感知模型，从而保障获取更加稳定鲁棒的煤流状态实时检测识

别结果，实现了煤流状态的鲁棒可靠估算方法。本申请还在煤流状态估算之前利用深度学0习语义分割技术针对工作面监控视频流图像帧进行预处理，实现刮板运输机煤流区域提取，

从而有效解决非煤流区域中物体对煤流状态准确检测识别的干扰问题；本申请同样利用深度学习语义分割技术针对工作面监控视频流图像帧进行处理，实现视频图像帧中工作面关键物体自动检测定位。通过对关键物体间相对位置的分析实现监控云台摄像仪视角场的智

能检测。当监控云台摄像仪位姿，以及视角场不理想时，可以根据监控云台摄像仪视角场5的智能检测结果信息，进行决策分析，自动控制云台监控摄像仪进行自身视角场的自适应

调整，以便达到理想的煤流智能监测效果。本申请在煤流监测识别结果的可视化阶段，利用状态时序数据存储机制，基于直观图例方式能够将历史时间段内煤流状态结果进行可视化展示，方便生产管控人员直观动态把握运输机煤流负荷状态。

0图6为本申请实施例二所提供的一种基于视觉时序的运输机煤流智能监测系统的结构

示意图。

如图6所示，该基于视觉时序的运输机煤流智能监测系统，包括：

获取模块10，用于获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤

流视频的图像帧；

5处理模块20，用于利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤

流区域位置信息；

截取模块30，用于根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；

计算模块40，用于利用深度学习动作识别技术计算图像时序队列的特征，并利用视频0时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。

本申请实施例的基于视觉时序的运输机煤流智能监测系统，包括获取模块，用于获取调整视角后的摄像仪拍摄的刮板运输机的煤流视频，并抽取煤流视频的图像帧；处理模块，用于利用深度学习语义分割技术对图像帧进行处理，得到刮板运输机煤流区域位置信息；截取模块，用于根据刮板运输机煤流区域位置信息，对图像帧截取煤流局部区域图像，并按照时间顺序将煤流局部区域图像排列为图像时序队列；计算模块，用于利用深度学习动作识别技术计算图像时序队列的特征，并利用视频时序分析技术对图像时序队列的特征进行建模，计算得到刮板运输机煤流状态。由此，能够解决现有依靠人工肉眼判断煤流状态的方法未真正实现工作面作业自动化，严重影响工作面采煤生产效率的技术问题，同时解决了现有接触式方案在应用过程中传感装置易损坏，系统可靠性低的问题，以及激光扫描等非接触式方案应用过程中存在硬件设备成本高、安装位置受限、计算处理资源消耗大等技术问题，通过视觉检测实现煤流状态智能监测并联动相关设备进行自动化作业，提高工作面采煤生产效率，同时通过深度学习语义分割技术针对视频流图像帧进行处理实现刮板运输机煤流区域提取，解决了非煤流区域中物体对煤流状态识别的干扰问题。

进一步地，在本申请实施例中，系统，还包括：

控制模块，用于根据刮板运输机煤流状态，对刮板运输机的关联设备进行控制。

为了实现上述实施例，本申请还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于视觉时序的运输机煤流智能监测方法。

为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于视觉时序的运输机煤流智能监测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。