一种早期火焰检测方法、电子设备、介质

技术领域

本发明涉及计算机视觉领域，特别涉及一种早期火焰检测方法、电子设备、介质。

背景技术

传统的火焰传感器主要分为感温型、感烟型以及感光型，分别表征了火焰温度、烟雾和发光特性。传统的火焰传感器结构简单、成本较低、维护方便，在人们的消防安全保障上起了非常重要的作用，但是，也存在较大的不足：

1)灵敏度低。传统火焰探测器通常只能检测较大的明火，当火焰位置距离较远或火焰仍处于早期时，相应的信号特征如温度、气体及烟雾等信息量有限，传感器无法感知；安装位置受限，当场所环境复杂或空旷时，传感器也难以发挥有效作用。

2)误报率高。受制于单一的被测源和简单的电路结构，传统火焰传感器容易受到光线、灰尘、潮湿、电磁等环境因素的干扰，不仅浪费了资源，消防部门需要大量的人力、物力和财力资源，去处理并确认误报信息，还影响了正常生产和生活秩序，造成不必要的恐慌。

3)信息密度低。传统火焰探测器只能检测火焰的存在，无法提供更详细的信息，如火焰大小、火源位置、燃烧速度等，这种局限性使得传统火焰探测器在面对火灾情况时，难以为后续疏散人员和控制扑灭火灾提供充分的决策信息，从而增加了火灾应对难度和风险。

综上所述，基于传统火焰传感器的火灾预防系统存在许多局限性，难以满足越来越高的现代化火灾处置要求，因此，需要研究和开发更加先进、高效、准确的火焰探测技术，以提高火灾检测的可靠性和准确性。而基于图像的火焰检测可以通过布置低成本的摄像头，获取图片或者视频流，可以实现更广范围、更强适用性、更高效率地预警火情，并识别火焰的大小、位置、燃烧速度等信息，具备良好的发展潜力和广阔的应用场景，使其成为了热门的研究方向。

但是，目前基于图像的火焰检测依然存在着难点，主要体现在早期火焰识别困难。早期火焰目标小，颜色浅，算法提取的细节特征不足以描述和区分目标和背景，尤其在复杂背景下，背景可能与目标相似，导致早期小目标火焰难以识别。

发明内容

本发明的目的在于克服现有火焰检测方法无法及时识别出早期火焰的技术缺陷，提出了一种早期火焰检测方法、电子设备、介质。该方法可以快速地在高分辨率的监控视频流中检测到早期火焰，并且能部署应用到复杂场景当中，不仅提高了火焰检测的精度，还提高了火灾应急响应的速度。

为实现上述目的，本发明技术方案具体如下：

本发明实施例的第一方面提供了一种早期火焰检测方法，所述方法包括：

获取待检测的原始图像；

将待检测的原始图像分割重叠的图像块；对重叠的图像块进行前向推理，得到第一检测结果；

将待检测的原始图像输入至预先训练好的早期火焰检测模型中进行全推理，得到第二检测结果；

将第一检测结果与第二检测结果基于非极大值抑制进行合并，设置匹配阈值，对高于匹配阈值的交并比的标注框进行两两比较，得到最小外接标注框，即早期火焰检测结果在图像中的位置；

其中，早期火焰检测模型包括依次连接的输入单元、主干网络单元、颈部单元、检测单元；所述主干网络单元中还嵌入有坐标注意力模块；

所述早期火焰检测模型的训练过程包括：获取已标注的火焰数据集；将已标注的火焰数据集进行切片辅助微调和切片辅助超推理，得到训练集；利用训练集基于损失函数训练早期火焰检测模型；所述损失函数由交并比、超参数和第一损失函数所构建；所述第一损失函数为交并比损失、距离损失和方位损失之和。

本发明实施例的第二方面提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的早期火焰检测方法。

本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的早期火焰检测方法。

与现有技术相比，本发明具有以下有益效果：

1.本发明使用了切片辅助超推理对大尺寸原始图像进行切片执行推理，然后合并原始图像上的切片预测，充分保留了早期火焰检测模型在压缩输入图像时的火焰的细节特征，解决了摄像头获得的高分辨率图像中早期小目标火焰难以识别的问题，

2.本发明在YOLOX模型的基础上添加了坐标注意力机制，挖掘通道间的深层语义信息，调节不同语义特征间的权重，充分挖掘网络深层的语义信息并定位于火焰目标之上，同时提供了额外的长程信息，进一步增强网络特征提取能力，使其选择对当前检测目标更加重要的信息。

3.本发明为了缓解在训练过程中低质量锚框与高质量锚框间样本失衡的问题，引入Focal-EIoU损失函数，使回归过程专注于高质量锚框，同时修改了IoU损失函数中的惩罚项，改进了早期火焰检测模型的收敛速度和锚框的定位精度。

附图说明

图1为本发明提供的一种早期火焰检测方法流程图；

图2是YOLOX的结构示意图；

图3为切片辅助微调示意图；

图4为切片辅助超推理示意图；

图5为CA注意力机制的结构示意图；

图6为在基准模型中嵌入注意力机制模块的结构示意图；

图7为本发明提供的一种电子设备的示意图。

具体实施方式

本发明为一种基于图像的早期火焰方法，为了更清楚地说明本发明实施例中的技术方案，下面将结合本申请说明书附图和具体实施方式，对本发明提出的一种基于图像的早期火焰检测方法做进一步的详细说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明的一种早期火焰检测方法，其具体操作流程如图1所示，具体方法如下：

步骤S1，获取待检测的原始图像；将待检测的原始图像分割为重叠的图像块；对重叠的图像块进行前向推理，得到第一检测结果。

在实际环境的运算推理的过程中，应用切片辅助超推理对输入的大尺寸图像进行处理，如图4所示。首先，将原始查询图像I，若满足分割条件(图片大小大于设定的阈值)，则分割成l个M×N个重叠的图像块

步骤S2，构建并训练早期火焰检测模型。

其中，早期火焰检测模型的结果具体包括：以YOLOX模型为基础模型，如图2所示，所述早期火焰检测模型包括输入单元、主干网络单元、颈部单元、检测单元。为了改善对早期火焰的检测效果，本实例中，在主干网络单元中嵌入坐标注意力模块，并在检测单元引入Focal-EIoU损失函数。

坐标注意力模块结构如图5所示，具体嵌入位置如图6所示。采用任何一个中间特征张量

坐标信息嵌入旨在解决全局池化在通道注意力方面的应用问题。具体而言，给定输入X，使用两个空间范围的池化卷积核(H，1)和(1，W)分别沿水平坐标和垂直坐标对每个通道分别进行编码，以更好地捕捉空间上的长程交互。其中，高度h处的第c个通道的输出

式中，x

类似地，宽度为w的第c通道的输出

式中，x

这样的设计可以让注意力块在水平方向上捕捉长依赖性，在垂直方向上保存额外的位置信息。

坐标注意力生成是实现全局感受野并编码精确位置信息的关键步骤。首先将上述两个式子其连接起来，然后将它们聚合到大小为1×1的卷积变换函数F1，得到

f＝δ(F

式中，[·,·]为沿空间维度的级联操作，δ是非线性激活函数，

g

g

式中，σ是sigmoid激活函数；F

最后，坐标注意力模块的输出Y可以写成

式中，x

进一步地，早期火焰检测模型的训练过程包括：

步骤S200，获取已标注的火焰数据集。

步骤S201，对已标注的火焰数据集进行预处理。

需要说明的是，为了保障火焰数据集的多样性，本发明从多个角度扩充完善数据集。而在实际的火焰检测场景中，用来监控的可见光摄像头的分辨率大多在1080P(1920×1080)以上，需要经过较大的压缩来满足模型输入要求，火焰目标感受野进一步缩小，也就无法获得尺寸较小的目标特征，导致小目标火焰，即早期火焰或远处火焰难以检测。在训练时，高分辨率图像下的早期火焰容易丢失，模型也无法学习到其特征。

为了克服这个问题，通过从图像切片微调，通过提取图像块来额外扩充数据集，如图3所示。每个图像I

进一步地，所述切片辅助微调通过将原数据集中高分辨率图像分割成重叠的小尺寸图像块，作为一种数据增强的手段用来扩充数据集规模，使得早期火焰的特征得以最大程度的保留，并连同原始图像共同被训练。

步骤S202，设置损失函数，利用训练集基于损失函数训练早期火焰检测模型。

EIoU在CIoU损失函数的基础上，提出了一个更有效的IoU损失版本，将宽和高的差异值取代了纵横比差异，定义如下：

式中，IoU表示交并比(Intersection over Union)，其中b和b

为了改善YOLOX对早期火焰的检测效果，将坐标注意力嵌入到骨干网络中，以提高模型对火焰通道间特征和长程信息的获取能力，并将Focal-EIoU边界框损失函数替换IoU损失函数，在CIoU损失函数的基础上，将宽和高的差异值取代了纵横比差异，更好地描述了边界框回归目标，加快模型的收敛速度和检测精度，同时，引入了焦点因子以解决高质量和低质量锚框不平衡的问题。

而在边界框回归过程中，还存在着锚框样本不平衡的问题，其原因是图像中目标对象较为稀疏，具有小回归偏差的高质量锚框数量远少于低质量锚框。这意味着损失函数会更多地关注低质量样本，而忽视高质量样本，从而导致算法性能下降。因此，解决样本不平衡问题是提高BBR算法性能的一个重要方向。为了解决难易样本不平衡的问题，引入了Focal L1损失函数，组成FE损失函数，如下：

L

其中，γ是控制异常值抑制程度的超参数。

需要说明的是，所述Focal-EIoU为改进的边界框损失函数，在CIoU损失函数的基础上，将宽和高的差异值取代了纵横比差异，更好地描述了边界框回归目标，同时，引入了焦点因子以解决高质量和低质量锚框不平衡的问题。

步骤S3，将将待检测的原始图像输入至预先训练好的早期火焰检测模型中进行全推理，得到第二检测结果。

步骤S4，将第一检测结果与第二检测结果基于非极大值抑制进行合并，设置匹配阈值，对高于匹配阈值的交并比的标注框进行两两比较，得到最小外接标注框，即早期火焰检测结果在图像中的位置；

具体地，使用NMS(非极大值抑制，non maximum suppression)将重叠的预测结果和全推理结果(如果使用的话)合并回原始大小。在非极大值抑制期间，匹配具有比预定义匹配阈值T

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的早期火焰检测方法。如图7所示，为本发明实施例提供的早期火焰检测方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的早期火焰检测方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

最后所应说明的是，以上内容是结合了具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。