一种森林火灾检测方法、装置及存储介质

技术领域

本发明涉及森林火灾检测技术领域，具体涉及一种基于无人机红外图像和深度学习的森林火灾检测方法、装置及存储介质。

背景技术

森林作为地球生态系统的一个重要组成部分，可以提供难以估量的自然和社会价值，具有“地球之肺”的美誉。然而，由于全球气候变化和人类活动的影响，森林火灾的发生愈加频繁，造成巨大的损失，成为危害森林安全的最大灾害之一。因此，快速准确进行森林火灾检测成为了有效控制森林火灾的重要基础。

传统森林火灾监测通常是通过地面巡查、瞭望塔以及航空与卫星技术，但由于森林火灾通常发生在偏远山区，上述方法对于火灾的准确检测和及时响应面临很大的困难。近年来，随着无人机遥感技术的快速发展，森林火灾的检测和响应工作得到了巨大的改善。利用无人机的机动灵活、分辨率高、传送信息快等特点，可以对森林火灾进行全面、实时、高效的检测。

目前基于无人机的森林火灾检测方法主要分为基于传统图像处理技术和深度学习的方法。基于图像处理技术的检测方法对火焰、烟雾图像进行分析，提取火焰、烟雾特征。虽然基于传统图像处理技术的算法早年被大量提出，但是其具有场景提取特定特征带来的弱泛化性，且其难以实现实时检测。而基于深度学习理论的检测方法可以自动从大量图像数据集学习复杂要素，提取形态复杂的火焰、烟雾特征，具有很高的鲁棒性。

目前基于无人机的森林火灾检测载体主要为光学图像和红外图像。光学图像分辨率高，但易受天气和地形等环境因素的影响，且对于阴燃状态的火点也难以检测。而红外图像通过记录火点的辐射能量可以有效地弥补光学图像，但是红外图像也存在分辨率低、热感应距离等问题。虽然近年来有研究使用光学和红外图像进行森林火灾检测，但他们大多使用传统图像处理方法或者使用红外图像辅助光学图像进行森林火灾判别，难以满足不同情景下精准的实时检测。

发明内容

针对光学图像中森林火灾易受环境因素影响和传统图像处理技术适应差等问题，本发明提供一种基于无人机红外图像和深度学习的森林火灾检测方法、装置及存储介质，通过采用无人机红外图像作为检测载体，用于解决光学图像中森林火灾易受环境因素影响的问题。

为实现上述目的，本发明的技术方案是：

一种基于无人机红外图像和深度学习的森林火灾检测方法，包括：

将无人机红外图像输入至森林火灾检测模型中；

所述森林火灾检测模型输出森林火灾的检测结果。

进一步地，所述森林火灾检测模型通过如下方式得到：

获取森林火灾数据集，对所述数据集中的无人机红外视频进行处理，以获得无人机红外图像和对应的标签；

在原始YOLOv5s-seg模型的第9层后面添加ECA注意力机制模块，以及将将原始YOLOv5s-seg模型的SPPF空间金字塔池化模块替换为SPPFCSPC空间金字塔池化模块，以得到改进后的YOLOv5s-seg模型；

将无人机红外图像和对应的标签输入至改进后的YOLOv5s-seg模型中进行训练，得到森林火灾检测模型。

进一步地，所述ECA注意力机制模块在全局平均池化层之后使用1x1卷积层，去除了全连接层。

进一步地，所述ECA注意力机制模块通过一维卷积来完成跨通道间的信息交互，卷积核的大小通过一个函数来自适应变化。

进一步地，所述SPPFCSPC空间金字塔池化模块在一串卷积中加入并行的多次MaxPool操作，所述MaxPool操作将当前特征层的感受野进行扩张再与正常卷积处理后的特征信息进行融合。

进一步地，所述获取森林火灾数据集，对所述数据集中的无人机红外视频进行处理，以获得无人机红外图像和对应的标签，包括：

将视频转换为图像格式，并进行质量筛选，剔除不符合要求的图像，得到选定图像；

应用数据增强技术，对选定的图像进行扩充，包括旋转，饱和度增强，对比度增强，水平和垂直翻转，以得到增强后的图像；增强后的图像以训练集、验证集、测试集三类按比例划分；

对增强后的图像进行标签制作，得到YOLOv5s-seg模型所需的标签txt文件。

进一步地，使用训练得到的森林火灾检测模型来对测试集里的图像进行检测，以检测到红外图像中火点的具体位置并将其标记出来。

进一步地，所述森林火灾数据集为FLAME森林火灾数据集。

第二方面，本发明提供一种基于无人机红外图像和深度学习的森林火灾检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。

第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。

本发明与现有技术相比，其有益效果在于：

森林火灾容易被树木遮挡，光学图像无法检测，而使用红外图像可以看到被树木遮挡的火点。

传统图像处理技术具有适应性差，难以实时检测的缺点。本发明提出的深度学习检测方法性能较强，速度快，部署在像无人机等小型设备上具有很大优势，实现高精度的森林火灾实时检测。

本发明提出的基于无人机红外图像和深度学习的森林火灾检测法具有高精度和快速检测的特点，能够有效地实时检测被遮挡的森林火灾并对森林火灾进行和预警森林火灾，为森林防火处置和科学决策提供可靠支持。

附图说明

图1为本发明实施例1提供的基于无人机红外图像和深度学习的森林火灾检测方法的流程图通；

图2为森林火灾检测模型的构建流程图；

图3为改进的YOLOv5s-seg模型网络结构图；

图4为ECA注意力机制模块模块的结构示意图；

图5为SPPFCSPC空间金字塔池化模块的结构示意图；

图6为采用本实施例方法的检测结果图；

图7为本发明实施例2提供的基于无人机红外图像和深度学习的森林火灾检测装置的组成示意。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1：

森林火灾容易被树木遮挡，光学图像无法检测，而使用红外图像可以看到被树木遮挡的火点。

传统图像处理技术具有适应性差，难以实时检测的缺点。本发明提出的深度学习检测方法性能较强，速度快，部署在像无人机等小型设备上具有很大优势，实现高精度的森林火灾实时检测。

为此，针对光学图像中森林火灾易受环境因素影响和传统图像处理技术适应差等问题，本实施例提出一种基于无人机红外图像和深度学习的森林火灾检测方法，参阅图1所示，本实施例提供的基于无人机红外图像和深度学习的森林火灾检测方法主要包括如下步骤：

101、将无人机红外图像输入至森林火灾检测模型中；

102、所述森林火灾检测模型输出森林火灾的检测结果。

由此可见，本方法通过采用无人机红外图像作为检测载体，用于解决光学图像中森林火灾易受环境因素影响的问题。

在一具体实施例中，如图2所示，上述的森林火灾检测模型通过如下方式得到：

一、数据获取和处理

1.下载FLAME森林火灾数据集(https://ieee-dataport.org/open-access/flame-dataset-aerial-imagery-pile-burn-de tection-using-drones-uavs)。

2.将无人机红外视频提取为红外图像，剔除质量差的像素。对剩余图像进行数据增强，包括对比度增强(像素值分别×0.8、1.2)、饱和度增强(像素值分别×0.8、1.2)、垂直翻转、水平翻转以及旋转(90°、180°、270°)，以得到增强后的图像。此外，图像按训练集:验证集:测试集＝8:1:1划分。

3.使用labelme软件对增强后的图像进行标签制作，得到YOLOv5s-seg模型所需的txt标签文件。

二、模型改进

基于YOLOv5s-seg，在原始模型第9层后面添加了ECA(Efficient ChannelAttention)注意力机制模块，并将原始法人金字塔池化模块SPPF(Spatial PyramidPooling Fast)模块替换为SPPFCSPC(Spatial Pyramid Pooling Fast Cross-StagePartial Channel)空间金字塔池化模块；ECA注意力机制模块在目标检测和分割任务中能够更好地理解图像中的语义信息，并具备更好的上下文建模能力；SPPFCSPC空间金字塔池化模块能够有效地进行金字塔池化操作，从不同尺度的特征图中提取特征，提升了模型的感知能力和精细度。改进的YOLOv5s-seg模型网络结构如图3所示，该模型主要分为Input、Backbone、Neck和Head四个部分。

Input主要包含Mosaic数据增强、自适应锚框计算和自适应图片缩放等功能。该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。在网络训练阶段，YOLOv5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；并提出了一种自适应锚框计算与自适应图片缩放方法。

Backbone主要分为CBS模块、CSP和SPPFCSPC模块。YOLOv5在CBS模块中封装了三个功能：包括Conv、Batch Normalization和激活函数，同时使用autopad(k,p)实现了padding的效果，同时使用Swish(SiLU)作为激活函数。CSP1_X结构应用于Backbone中，另一种CSP2_X结构则应用于Neck中。此外，SPPFCSPC进行了四次不同的MaxPool，分别代表了不同尺度的感受野，这样能更好地区别大目标和小目标，使模型拥有更好的泛化性。

Neck采用了FPN+PAN的结构，这种结合操作FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合。

Head输出层主要改进了训练时的损失函数GIOU_Loss和预测框筛选的CIOU_nms。

ECA注意力机制模块是一种用于图像处理的注意力机制模型，它主要是通过对图像通道进行注意力调控，提高图像特征表示的有效性，结构如4所示。ECA注意力机制模块在全局平均池化层之后使用1x1卷积层，去除了全连接层。该模块避免了维度缩减，并有效捕获了跨通道交互。并且ECA注意力机制模块通过一维卷积来完成跨通道间的信息交互，卷积核的大小通过一个函数来自适应变化，使得通道数较大的层可以更多地进行跨通道交互。

SPPFCSPC空间金字塔池化模块在一串卷积中加入并行的多次MaxPool操作，避免了由于图像处理操作所造成的图像失真等问题，同时解决了卷积神经网络提取到图片重复特征的难题。MaxPoolConv模块中，MaxPool操作将当前特征层的感受野进行扩张再与正常卷积处理后的特征信息进行融合，提高了网络的泛化性。SPPFCSPC空间金字塔池化模块结构如图5所示。

三、模型训练及验证

1.模型训练

将得到的训练集及对应的标签输入到改进的模型进行训练，得到训练后的模型文件，即森林火灾检测模型。

2.模型验证

使用森林火灾检测模型对测试集里的图像进行检测，得到森林火灾的检测结果(如图6所示)，可以检测到红外图像中火点的具体位置并将其标记出来。

由此可见，本方法通过采用无人机红外图像作为检测载体，用于解决光学图像中森林火灾易受环境因素影响的问题。同时基于深度学习模型YOLOv5s-seg提出一种森林火灾检测方法，该方法通过融入ECA注意力模块和SPPFCSPC金字塔池化模块，提高火点检测精度以及森林火灾特征的提取能力，解决传统图像处理技术适应性差的问题。

实施例2：

参阅图7所示，本实施例提供的基于无人机红外图像和深度学习的森林火灾检测装置包括处理器71、存储器72以及存储在该存储器72中并可在所述处理器71上运行的计算机程序73，例如基于无人机红外图像和深度学习的森林火灾检测程序。该处理器71执行所述计算机程序73时实现上述实施例1步骤，例如图1所示的步骤。

示例性的，所述计算机程序73可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器72中，并由所述处理器71执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序73在所述基于无人机红外图像和深度学习的森林火灾检测装置中的执行过程。

所称处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器72可以是所述基于无人机红外图像和深度学习的森林火灾检测装置的内部存储元，例如基于无人机红外图像和深度学习的森林火灾检测装置的硬盘或内存。所述存储器72也可以是所述基于无人机红外图像和深度学习的森林火灾检测装置的外部存储设备，例如所述基于无人机红外图像和深度学习的森林火灾检测装置上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器72还可以既包括所述基于无人机红外图像和深度学习的森林火灾检测装置的内部存储单元也包括外部存储设备。所述存储器72用于存储所述计算机程序以及所述基于无人机红外图像和深度学习的森林火灾检测装置所需的其他程序和数据。所述存储器72还可以用于暂时地存储已经输出或者将要输出的数据。

实施例3：

本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。

所示计算机可读介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理再以电子方式获得所述程序，然后将其存储在计算机存储器中。

上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。