一种基于机器视觉的消防炮混合控制系统及控制方法

技术领域

本发明属于消防领域，具体涉及一种基于机器视觉的消防炮混合控制系统及控制方法。

背景技术

近年来，安全领域尤其是消防安全备受关注。一方面，消防安全与社会利益息息相关，据统计，近几年因消防安全造成的损失达到平均约38亿元/年；另一方面，消防设施的发展逐渐自动化、智能化，其涵盖的科学领域广泛。消防炮作为消防灭火的关键设备，需具备快速性和准确性，其发展也必定趋于智能化。

随着视觉技术的发展，其在控制方面的应用越来越泛。目前，基于视觉技术的伺服控制方法主要有基于位置的控制、基于图像的控制及混合控制。基于位置的控制方法主要是采用双目视觉设备获取图像中某点在3维笛卡尔空间中的位置，与期望位置构造偏差量输入控制器，形成控制输出，具有快速性等优点，但该方法容易受到相机标定结果等的影响，鲁棒性较差；基于图像的控制方法主要是利用视觉信息获得被观测对象在2维图像空间的特征，与期望的图像特征相比较形成误差，构建偏差输入控制器，该方法对相机标定误差、模型误差等不敏感，具有很高的稳态控制精度但控制系统只是局部稳定，对于小幅度旋转的伺服控制效果较好；混合控制包含在3维笛卡尔空间构成的闭环控制系统和2维图像空间构成的闭环控制系统，混合控制结合了基于位置和基于图像的控制，因此，混合控制方法可满足大幅度和小幅度兼顾的伺服控制。

消防炮作为应急救援设备，其快速性和准确性必须兼得。中国专利(CN107909615A)公开了一种基于双目视觉的消防炮定位方法，使用双目相机的特征获取火焰的空间位置，控制消防炮灭火，但是双目视觉的应用容易受到前期标定以及目标场景的干扰，会产生较大误差，该专利可满足消防炮灭火的快速性需求，但是在标定和现场场景的复杂程度的影响下，其准确性并不能得到保证；同时，由于灭火过程中环境的影响，例如横风等，造成的射流落点偏移情况，同样无法解决。中国专利(CN109939396A)公开了一种具有落点自修正功能的自走式消防炮，使用激光测距仪获取火焰位置信息，控制底盘转动，行进至消防炮范围内，智能控制系统根据火焰位置调整消防炮水平转角和喷射仰角，铜焊丝，根据实时反馈的落点、表面温度等信号，智能调整射流方向；但是该专利并未给出，获取到火焰位置信息后如何调整消防炮进行转动，同时，该专利也并未给出获取到射流落点后是如何利用图像信息调整消防炮转动以实现精准射流。可见，现有的技术多数是通过视觉技术或者激光测距仪对获取火场的位置后，控制消防炮进行转动，这些方法可满足快速性的要求，对于灭火的准确性并不能保证。

由此可见，目前，基于视觉技术的消防炮系统及控制方法存在以下问题：

(1)准确性得不到保证。现有技术多通过位置信息确定消防炮的转动角度，该类方法容易受到位置信息误差的影响，同时，灭火过程中的环境因素也会大大影响其灭火的准确性，并不是单一的位置信息就可以实现持续准确的灭火。

(2)调整控制方法欠缺。现有技术也有通过射流轨迹落点位置来修正消防炮，但往往只给出了识别落点信息的说法，后续的调整控制方法并未给出。

发明内容

针对现有技术中存在不足，本发明提供了一种基于机器视觉的消防炮混合控制系统及控制方法，提供了基于位置的伺服控制和基于图像的伺服控制融合的混合控制方法，基于位置的伺服控制可快速调整消防炮使射流快速逼近火场，基于图像的伺服控制可进一步调整消防炮，使得射流落点持续准确的命中目标火场。

本发明是通过以下技术手段实现上述技术目的的。

一种基于机器视觉的消防炮混合控制方法，具体为：

控制系统根据摄像机与目标火场的空间位置坐标，控制消防炮转动到水平目标角度和俯仰目标角度，当消防炮到达目标角度后，消防炮停止转动，并喷射灭火剂；

摄像机实时获取射流落点D与目标火场F在摄像机图像坐标系下的坐标，计算射流落点D与目标火场F在图像坐标系x轴上的水平偏差e

当命中目标火场后，控制系统在摄像机图像中继续对射流落点实时监测，一旦检测到射流落点D和目标火场F在图像上存在偏差，立刻进行调整，使得射流落点持续命中目标火场。

进一步地，所述目标角度分别由第一角度传感器和第二角度传感器实时检测获得。

进一步地，所述水平目标角度和俯仰目标角度的获取过程：双目视觉系统获取目标火场在摄像机图像坐标系中的坐标F

所述水平目标角度的计算公式为：

其中，x

所述俯仰目标角度的计算公式为：

pitch＝f(z

其中，f()是求角度的函数，z

一种消防炮混合控制系统，包括：

消防炮，用于向火场喷射灭火剂；

双目视觉系统，设置在消防炮的周围，用于获取目标火场及射流落点图像；

第一角度传感器，安装在消防炮的电机上，用于实时检测水平目标角度；

第二角度传感器，安装在消防炮的电机上，用于实时检测俯仰目标角度；

控制系统，与双目视觉系统、第一角度传感器和第二角度传感器连接，用于控制消防炮水平转动和俯仰转动、计算射流落点D与目标火场F在图像坐标系x轴上的水平偏差e

上述技术方案中，所述双目视觉系统包括第一摄像机、第三角度传感器、第二摄像机和支架，支架设置在消防炮周围，支架上平行安装有第三角度传感器、第一摄像机和第二摄像机，第三角度传感器、第一摄像机和第二摄像机面向火场设置。

本发明的有益效果为：

本发明中的第一摄像机(或第二摄像机)识别目标火场在摄像机图像坐标系中的坐标，并通过控制系统获取目标火场相对于第一摄像机(或第二摄像机)的空间位置坐标，计算炮射流到达目标火场时，消防炮水平转动角度和俯仰转动角度，进而控制消防炮水平、俯仰转动相应角度，实现消防炮的大角度转动，使消防炮射流快速逼近目标火场甚至命中目标火场；第一摄像机(或第二摄像机)实时获取包括射流落点与目标火场信息在内的图像，通过计算射流落点与目标火场在图像坐标系下的偏差，根据偏差调整消防炮转动，直到第一摄像机(或第二摄像机)图像坐标系下的射流落点与目标火场的偏差等于0，消防炮停止转动，使消防炮射流准确命中目标火场。本发明通过基于位置的伺服控制方法快速逼近目标火场，可快速调整消防炮转动至目标火场附近，通过基于图像的伺服控制方法进一步调整消防炮转动，使射流落点准确命中目标火场，既满足快速性要求，又可满足准确性要求，解决了基于位置的伺服控制方法带来的偏差，导致的无法准确命中火场的问题，也解决了基于图像的伺服控制方法的大范围角度旋转时的耗时问题。同时，第一摄像机(或第二摄像机)自控制系统开始工作后，实时检测射流落点与火场的偏差并进行调整，实现消防炮根据目标火场信息，实时调整自身姿态，使得射流落点持续准确的命中目标火场。

附图说明

图1为本发明所述基于机器视觉的消防炮混合控制系统结构示意图；

图2为本发明所述双目视觉系统结构图；

图3为本发明基于位置的伺服控制流程图；

图4为本发明基于图像的伺服控制流程图；

图5为本发明基于图像的伺服控制的目标火场与射流落点的像素偏差示意图；

图中：1.消防炮；2.双目视觉系统；3.第一角度传感器；4.第二角度传感器；5.第二摄像机；6.第三角度传感器；7.第一摄像机；8.支架。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种基于机器视觉的消防炮混合控制系统，包括消防炮1、双目视觉系统2、第一角度传感器3、第二角度传感器4和控制系统。第一角度传感器3和第二角度传感器4均安装在消防炮1的电机上；消防炮1用于向火场喷射灭火剂；双目视觉系统2设置在消防炮1的周围。

如图2所示，双目视觉系统2包括第一摄像机7、第三角度传感器6、第二摄像机5和支架8，支架8设置在消防炮1的周围，支架8上平行安装有第三角度传感器6、第一摄像机7和第二摄像机5，第一摄像机7和第二摄像机5面向火场设置，用于获取目标火场及射流落点图像，第三角度传感器6用于测量双目视觉系统2的角度，从而得到第三角度传感器6与第一角度传感器3的夹角。

控制系统与第一摄像机7、第二摄像机5、第一角度传感器3、第二角度传感器4、第三角度传感器6连接。

一种基于机器视觉的消防炮混合控制系统工作时，首先采取基于位置的伺服控制方法控制消防炮1转动，控制结束后，采取基于图像的伺服控制方法控制消防炮1转动。基于位置的伺服控制方法，目的是使消防炮射流及落点快速逼近火场甚至命中火场；基于图像的伺服控制方法，目的是使得消防炮射流落点准确命中目标火场，且实时监测落点是否偏离目标火场，并实时调整消防炮姿态。

基于位置的伺服控制方法流程如图3所示，第一摄像机7(或第二摄像机5)获取目标火场(火点)在摄像机图像坐标系中的坐标F

其中，消防炮1的水平目标角度和俯仰目标角度的获取过程为：

目标火场在摄像机图像坐标系中的坐标为F

其中，β为第三角度传感器6与第一角度传感器3的夹角；

俯仰目标角度pitch的计算公式为：

pitch＝f(z

其中，f(z

基于图像的伺服控制的消防炮1控制流程如图4所示，方法如下：

如图5所示，控制系统在第一摄像机7(或第二摄像机5)的图像中识别射流落点D以及目标火场F，并得到别射流落点D以及目标火场F在第一摄像机7图像坐标系下的坐标，分别为射流落点(D

构造射流落点D与目标火场F在第一摄像机7图像坐标系上的偏差，其中，射流落点D与目标火场F在x轴上的偏差e

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。