一种明火检测方法、装置、设备及可读存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及明火检测方法、装置、设备及可读存储介质。

背景技术

随着深度学习的兴起，设计神经网络对火焰特征进行特征提取和分类识别，使得实现火焰检测自动化成为可能。Frizzi等人设计了一个简单且同时用于特征提取和火焰分类的CNN模型，也有部分学者利用火焰数据集对已有的网络架构进行微调，如GoogleNet、AlexNet，用于火焰检测。有很多的研究工作从火焰特性出发改进网络结构使其更适合火焰检测任务，研究人员基于视频数据设计了一种Faster R-CNN和LSTM相结合的网络结构，以分类短期内某个区域是否发生火灾。研究人员采用两阶段方法检测夜视状态的火焰，首先利用Elastic改进YOLOv3网络结构，增加小目标的识别率，接着使用传统的光流直方图进行后续分类处理。

发明内容

本发明的目的在于提供一种明火检测方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了一种明火检测方法，包括：

获取第一信息,所述第一信息为通过采集装置采集待检测区域的明火样本图像，获得明火样本图像集；

遍历所述明火样本图像集中所有的明火样本图像，提取所有所述明火样本图像中的单帧图片；

基于深度学习的目标检测算法,对所述单帧图片中所包含的明火对象进行识别；

判断所述单帧图片中是否包含明火,若包含且检测得分小于设定的得分阈值，则基于光流法，对所述单帧图片所生成的稠密轨迹进行分析,得到分析结果并进行输出。

第二方面，本申请还提供了一种明火检测装置，包括获取模块、遍历模块、识别模块和判断模块，其中：

获取模块：用于获取第一信息,所述第一信息为通过采集装置采集待检测区域的明火样本图像，获得明火样本图像集；

遍历模块：用于遍历所述明火样本图像集中所有的明火样本图像，提取所有所述明火样本图像中的单帧图片；

识别模块：用于基于深度学习的目标检测算法,对所述单帧图片中所包含的明火对象进行识别；

判断模块：用于判断所述单帧图片中是否包含明火,若包含且检测得分小于设定的得分阈值，则基于光流法，对所述单帧图片所生成的稠密轨迹进行分析,得到分析结果并进行输出。

第三方面，本申请还提供了一种明火检测设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现所述明火检测方法的步骤。

第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于明火检测方法的步骤。

本发明的有益效果为：

1、模型精度高、误检低：本发明的明火检测模型应用在智慧能源、智慧工地和智慧园区等多个实际项目，检测效果精度高，实现了几乎零误检。

2、模型轻量化，可以直接部署在边缘设备上：本发明的明火检测模型使用GPU训练目标检测网络，使用CPU进行稠密轨迹后处理。

3、目标检测模型识别明火精度高：本发明训练的第一阶段目标检测模型使用的数据集场景丰富、数量庞大且标注完好，改进的Faster RCNN模型能高效提取出明火的颜色、形状、纹理等静态特征，从而使得第一阶段的目标检测模型识别明火的精度高。

4、稠密轨迹极大地降低了非明火的误检率：本发明的明火检测模型的第二阶段基于光流法生成的稠密轨迹的方法充分利用了明火的动态特征和明火在摄像头中的持续性，有效排除了车灯、光照、霓虹灯等发光对象的干扰，使得在实际项目中明火检测模型的误报率降为零。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中所述的明火检测方法流程示意图；

图2为本发明实施例中所述的明火检测装置结构示意图；

图3为本发明实施例中所述的明火检测设备结构示意图。

图中:701、获取模块；702、遍历模块；7021、采集单元；7022、确定单元；7023、确认单元；7024、选取单元；703、识别模块；7031、输入单元；7032、判断结果单元；7033、获取信息单元；7034、获取子图单元；704、判断模块；7041、第一识别单元；7042、第一判断单元；7043、调取单元；7044、第一获取单元；7045、生成单元；7046、第一提取单元；70461、缩放单元；70462、第二提取单元；70463、计算单元；7047、第二判断单元；7048、第三判断单元；800、明火检测设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

本实施例提供了一种明火检测方法。

现有技术中，基于传统机器学习的火焰探测技术首先通过对实时获取的监测视频图像进行去噪、数据增强、阈值分割等预处理操作，进而提取火焰的静态特征和动态特征，输入到支持向量机、随机森林、贝叶斯分类器等分类算法进行火焰识别。基于传统机器学习的火焰探测技术都需要人为提取火焰特征，在没有制定一个完善的特征描述体系的前提下，特征提取的优劣直接影响火焰的检测结果。

目前明火检测项目的难点主要体现在两个方面：一是光照、夜晚车灯、霓虹灯等和火焰的颜色相似程度很高，对火焰检测干扰性很强，造成了高误检率；二是火焰运动与一般目标的刚性运动或柔性扭曲相比更具随机性，火势变化或风向外力驱使火焰生长及形状改变，影响检测的精度。

为了解决这一个问题，本发明设计的明火检测模型是由目标检测模型和稠密轨迹后处理组成的两阶段检测模型。第一阶段设计的目标检测网络能有效、高效且鲁棒地提取火焰的形状、颜色和纹理等静态特征，召回率为95.8％，AP为88.0％，但是在实际项目测试中，存在将阳光、霓虹灯、夜晚车灯误检为火焰的情况。

为了消除明火误报，从火焰的动态特征着手，利用连续的N帧图片生成三维的火管fire-tube，对火管fire-tube中的每一帧采样密集点，根据密集光流场生成的位移信息追踪多种空间尺度的密集采样点的轨迹。

需要说明的是，在本发明中采用的是深度学习的目标检测算法中的一种为FasterRCNN检测法，Faster RCNN检测法为two-stage目标检测模型中的典型代表。

参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。

S100、获取第一信息,所述第一信息为通过采集装置采集待检测区域的明火样本图像，获得明火样本图像集。

可以理解的是，在本步骤中，根据部署场景、火焰检测实时性以及高召回低误检的要求，本发明选择了一种基于Faster RCNN改进的两阶段目标检测算法进行明火检测。将从摄像头取流的图片输入到我们已训练好的目标检测模型中，得到图片推理的结果，包含明火类别、使用矩形框标出明火的区域以及明火得分。

需要说明的是，采集装置可以为摄像头。基于深度学习的目标检测算法主要有Twostage和One stage两类。常见Two stage目标检测算法有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等,常见的One stage目标检测算法有SSD、RetinaNet、YOLOv3、YOLOv5、PP-YOLOv2等。

S200、遍历所述明火样本图像集中所有的明火样本图像，提取所有所述明火样本图像中的单帧图片。

可以理解的是，在本步骤中，S200包括S201、S202、S202和S204，其中：

S201、通过采集装置采集待检测区域的明火视频，提取所述明火视频中的待识别图像，所述待识别图像中包括在时序上连续多帧图像中出现的发光对象；

S202、确定所述发光对象在所述多帧图像中持续出现的时长，以及所述发光对象在所述多帧图像中持续出现的时长内的移动距离；

S203、将所述发光对象的持续出现的时长大于预设时长，和/或所述发光对象在持续出现的时长内的移动距离小于预设位移时，确认所述发光对象为明火；

S204、在所述持续出现的时长内，选取所述明火所在的单帧图片。

在一些可能的实现方式中，持续出现的时长大于等于预设时长识别到的发光对象不是误报，是大概率出现的对象，比如，在识别爆炸明火画面的场景下，如果发光对象的画面持续出现的时长大于等于预设时长，说明该画面大概率是明火画面，说明待识别图像的采集场景为发生了明火的场景；和/或，移动距离小于预设位移说明该发光对象是在固定位置发生的，比如，在识别爆炸明火画面的场景下，由于车灯与明火画面比较类似，那么如果识别到发光对象并且该发光对象的移动距离很大，说明识别到的发光对象不是明火画面，可能是车灯等，可移动的发光对象；如果识别到发光对象，并且该发光对象的移动距离很小，说明识别到的发光对象很大概率是明火画面；在这样的情况下，将该待识别图像的采集场景确定为明火场景，即确认发光对象为明火，能够减少利用单帧图像进行识别产生的误报，而且能够提高识别结果的准确度。

S300、基于深度学习的目标检测算法,对所述单帧图片中所包含的明火对象进行识别。

可以理解的是，在本S300步骤中，之前还包括S301、S302、S303和S304，其中：

S301、通过采集装置将采集到的单帧图片输入至预设的目标检测模型中，得到明火检测结果，所述明火检测结果包括明火类别、使用矩形框标出明火的区域以及明火得分；

S302、判断所述明火检测结果中的所述单帧图片的得分是否大于设定的分数阈值，若否，则获取从所述单帧图片中开始的视频流以及连续的N帧图片；

S303、获取第二信息，所述第二信息包括获取所述单帧图片的位置和尺寸；

S304、获取连续的所述N帧图片在所述单帧图片所处位置的同等尺寸的子图，将所述子图按照顺序生成三维的火管。

当上述步骤中的单帧图片中未发现明火，则不推出明火检测的识别结果；当单帧图片发现明火且得分大于设定的分数阈值thre，直接推出明火检测的识别结果；当单帧图片发现明火且得分小于设定的分数阈值thre，则从该帧起取连续的视频流，形成火管fire-tube，并对火管fire-tube基于光流法生成的稠密轨迹进行分析，利用轨迹分析模型对火管fire-tube中的明火和非明火(误检)进行分类，最终输出结果。

S400、判断所述单帧图片中是否包含明火,若包含且检测得分小于设定的得分阈值，则基于光流法，对所述单帧图片所生成的稠密轨迹进行分析,得到分析结果并进行输出。

可以理解的是，在本步骤S400之前包括S401、S402、S403、S404和S405，其中：

S401、基于目标检测算法，对所述单帧图片中所包含的明火对象进行识别；

S402、判断所述单帧图片中是否包含明火，若包含明火，则根据预设打分规则对所述单帧图片进行打分，得到打分结果；

S403、检测到所述打分结果小于阈值时，则从所述单帧图片起调取所述单帧图片之后的视频流；

S404、获取到所述视频流中的连续帧图片信息；

S405、基于所述目标检测算法，按照预设规则对所述连续帧图片信息进行处理，生成三维模型。

需要说明的是，会具体分为三个步骤，其中第一个步骤为火管的生成，即为当帧图片发现明火且得分小于阈值thre，则从该帧起取视频流，得到连续的N帧图片。根据step1中目标检测模型推理出的包围明火区域的矩形框在当前帧的位置和尺寸，获取N帧连续图片在相同位置的同等尺寸的子图，把N张子图按照原有的顺序生成三维的火管fire-tube。

进一步地，本步骤S400其中包括S406、S407和S408，其中：

S406、根据光流法和预设的视觉库，对所述三维模型进行提取，得到密集光流场；

S407、基于不同的空间尺度在所述密集光流场提取到的追踪点的轨迹,根据Shi-Tomasi角点检测方法,判断是否保留所述三维模型中的火管图片集合中的每个特征点所生成的轨迹；

S408、统计所述轨迹的数量,判断所述轨迹的总数量是否低于数量阈值；若是,则删除；若否,则利用目标检测模型判断所述单帧图片后连续的几帧是否存在明火,若是,则更新明火得分,输出明火检测结果。

需要说明的是，第二步为根据光流法进行计算，其中光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。基于亮度恒定不变和时间连续或运动是“小运动”两个假设。则光流基本约束方程为I(x,y,t)＝I(x+dx,y+dy,t+dt)

式中，I(x,y,t)为t时刻图像在(x,y)处的像素强度，dt为相邻两帧的间隔时间，dt时间内像素(x,y)移动的距离为(dx,dy),dx是dt时间内沿x轴上移动的距离，dy是dt时间内沿y轴上移动的距离。

对上述约束方程进行Taylor展开，并除以dt，得到I

我们使用OpenCV(计算机视觉库)提供的

进一步地，上述S406步骤中，之后包括S4061、S4062和S4063，其中：

S4061、将所述火管图片集合中的图片根据预设比例进行缩放并在每一个空间尺度上使用滑动窗口进行采样，得到采样密集特征点；

S4062、提取所述火管图片集合中的任一图片的特征点作为待检测点；

S4063、利用中值滤波法，获取任一所述图片的下一张图片所对应特征点的位置及所有图片对应特征点的位置，根据获得到的对应特征点的所述位置，计算得到每个采样的特征点在不同空间尺度上的轨迹。

需要说明的是，第三步为稠密轨迹计算，设定固定的一个缩放比例获取几种不同空间尺度。

设第t帧的某个特征点为：P

式中，M是中值滤波器核，

我们采用Shi-Tomasi角点检测方法判断是否保留某条轨迹。记轨迹中的每个采样特征点的自相关矩阵：

式中，g

需要说明的是，当经过稠密轨迹后火管fire-tube生成的轨迹数量低于数量阈值T时，则认为该帧中不存在火焰，不推出预测结果；如fire-生成的轨迹数量不低于数量阈值T时，利用step1的目标检测模型判断后面连续的F(F

实施例2：

如图2所示，本实施例提供了一种明火检测装置，参见图2所述装置包括获取模块701、遍历模块702、识别模块703和判断模块704，其中：

获取模块701：用于获取第一信息,所述第一信息为通过采集装置采集待检测区域的明火样本图像，获得明火样本图像集；

遍历模块702：用于遍历所述明火样本图像集中所有的明火样本图像，提取所有所述明火样本图像中的单帧图片；

识别模块703：用于基于深度学习的目标检测算法,对所述单帧图片中所包含的明火对象进行识别；

判断模块704：用于判断所述单帧图片中是否包含明火,若包含且检测得分小于设定的得分阈值，则基于光流法，对所述单帧图片所生成的稠密轨迹进行分析,得到分析结果并进行输出。

进一步地，所述判断模块704，之前包括第一识别单元7041、第一判断单元7042、调取单元7043、第一获取单元7044和生成单元7045，其中：

第一识别单元7041：用于基于目标检测算法，对所述单帧图片中所包含的明火对象进行识别；

第一判断单元7042：用于判断所述单帧图片中是否包含明火，若包含明火，则根据预设打分规则对所述单帧图片进行打分，得到打分结果；

调取单元7043：用于检测到所述打分结果小于阈值时，则从所述单帧图片起调取所述单帧图片之后的视频流；

第一获取单元7044：用于获取到所述视频流中的连续帧图片信息；

生成单元7045：用于基于所述目标检测算法，按照预设规则对所述连续帧图片信息进行处理，生成三维模型。

进一步地，所述判断模块704，其中包括第一提取单元7046、第二判断单元7047和第三判断单元7048，其中：

第一提取单元7046：用于根据光流法和预设的视觉库，对所述三维模型进行提取，得到密集光流场；

第二判断单元7047：用于基于不同的空间尺度在所述密集光流场提取到的追踪点的轨迹,根据Shi-Tomasi角点检测方法,判断是否保留所述三维模型中的火管图片集合中的每个特征点所生成的轨迹；

第三判断单元7048：用于统计所述轨迹的数量,判断所述轨迹的总数量是否低于数量阈值；若是,则删除；若否,则利用目标检测模型判断所述单帧图片后连续的几帧是否存在明火,若是,则更新明火得分,输出明火检测结果。

进一步地，所述第一提取单元7046，之后包括缩放单元70461、第二提取单元70462和计算单元70463，其中：

缩放单元70461：用于将所述火管图片集合中的图片根据预设比例进行缩放并在每一个空间尺度上使用滑动窗口进行采样，得到采样密集特征点；

第二提取单元70462：用于提取所述火管图片集合中的任一图片的特征点作为待检测点；

计算单元70463：用于利用中值滤波法，获取任一所述图片的下一张图片所对应特征点的位置及所有图片对应特征点的位置，根据获得到的对应特征点的所述位置，计算得到每个采样的特征点在不同空间尺度上的轨迹。

进一步地，所述遍历模块702其中包括采集单元7021、确定单元7022、确认单元7023和选取单元7024，其中：

采集单元7021：用于通过采集装置采集待检测区域的明火视频，提取所述明火视频中的待识别图像，所述待识别图像中包括在时序上连续多帧图像中出现的发光对象；

确定单元7022：用于确定所述发光对象在所述多帧图像中持续出现的时长，以及所述发光对象在所述多帧图像中持续出现的时长内的移动距离；

确认单元7023：用于将所述发光对象的持续出现的时长大于预设时长，和/或所述发光对象在持续出现的时长内的移动距离小于预设位移时，确认所述发光对象为明火；

选取单元7024：用于在所述持续出现的时长内，选取所述明火所在的单帧图片。

进一步地，所述识别模块703之前包括输入单元7031、判断结果单元7032、获取信息单元7033和获取子图单元7034，其中：

输入单元7031：用于通过采集装置将采集到的单帧图片输入至预设的目标检测模型中，得到明火检测结果，所述明火检测结果包括明火类别、使用矩形框标出明火的区域以及明火得分；

判断结果单元7032：用于判断所述明火检测结果中的所述单帧图片的得分是否大于设定的分数阈值，若否，则获取从所述单帧图片中开始的视频流以及连续的N帧图片；

获取信息单元7033：用于获取第二信息，所述第二信息包括获取所述单帧图片的位置和尺寸；

获取子图单元7034：用于获取连续的所述N帧图片在所述单帧图片所处位置的同等尺寸的子图，将所述子图按照顺序生成三维的火管。

需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例3：

相应于上面的方法实施例，本实施例中还提供了一种明火检测设备，下文描述的一种明火检测设备与上文描述的一种明火检测方法可相互对应参照。

图3根据示例性实施例示出的一种明火检测设备800的框图。该明火检测设备800可以包括：处理器801，存储器802。该明火检测设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该明火检测设备800的整体操作，以完成上述的明火检测方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该明火检测设备800的操作，这些数据例如可以包括用于在该明火检测设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该明火检测设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，明火检测设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的明火检测方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的明火检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由明火检测设备800的处理器801执行以完成上述的明火检测方法。

实施例4：

相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种明火检测方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的明火检测方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

综上所述，本发明的优点为模型精度高、误检低：本发明的明火检测模型应用在智慧能源、智慧工地和智慧园区等多个实际项目，检测效果精度高，实现了几乎0误检。模型轻量化，可以直接部署在边缘设备上；本发明的明火检测模型使用GPU训练目标检测网络，使用CPU进行稠密轨迹后处理。目标检测模型识别明火精度高：本发明训练的第一阶段目标检测模型使用的数据集场景丰富、数量庞大且标注完好，改进的Faster RCNN模型能高效提取出明火的颜色、形状、纹理等静态特征，从而使得第一阶段的目标检测模型识别明火的精度高。稠密轨迹极大地降低了非明火的误检率；本发明的明火检测模型的第二阶段基于光流法生成的稠密轨迹的方法充分利用了明火的动态特征和明火在摄像头中的持续性，有效排除了车灯、光照、霓虹灯等发光对象的干扰，使得在实际项目中明火检测模型的误报率降为0。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。