一种基于无人机实现森林火情检测的方法

技术领域

本说明书一个或多个实施例涉及森林火灾防控技术领域，尤其涉及一种基于无人机实现森林火情检测的方法。

背景技术

根据国家统计局公布的最新数据显示，我国的森林面积在逐年增加，截至2018年我国的森林覆盖率达到了23％，但是伴随而来的是每年的森林火灾次数近几年也呈现逐渐增加的趋势，每年因为火灾事故除了造成上亿元的经济损失外，还造成了人员的伤亡，如果可以在林火发生初期就及时检测到，就可以减少经济损失和安全事故的发生。

随着计算机视觉领域研究的不断深入，安防领域也可以借助研究的成果实现无人监督和预警了。比如森林火灾领域，如果森林面积大或者路途崎岖等，可能有安全隐患，可以通过无人机实现定点定时巡航，通过计算机视觉技术实时分析获取的图景，并对可能的火灾点进行预警并发送位置坐标通知安防人员进行相应的防火措施，可防患于未然。

传统的森林火情检测最开始采用的是红外传感器，因为红外传感器的电路简单，制作方便，但是缺点是受光线的影响太大，尤其在森林中光照不同时，可能会有误测，而且不能测距，响应也比较慢。在卷积神经网络出现后，可以通过摄像头采集森林图片，对图像进行分析，将图像进行按RGB分量进行灰度处理，通过获取火焰的边缘特征和颜色特征，进行火的检测。但是在一些树叶的颜色和火比较相近的区域，会有误识别的情况，比如枫树林、红色的塑料袋、红色的小动物等。目前比较常用的是目标检测算法，早期的目标检测算法，是通过卷积、池化等元操作获取图像的浅层特征，因为硬件设备的限制，无法把网络做得更深更复杂，所以在森林这种比较复杂的应用场景下，有一定的局限性，检测的准确性较低。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于无人机实现森林火情检测的方法，以解决检测森林火情准确性低的问题。

基于上述目的，本说明书一个或多个实施例提供了一种基于无人机实现森林火情检测的方法，包括以下步骤：

使用无人机采集森林和火焰的样本图片，包括各种森林背景，各种时间和光照环境下多张图片；使用各种火焰、浓烟的图片和所采集的图片合成数据集；

对样本图片进行预处理和分类，并对样本图片中目标所在区域进行标注，并将数据集划分为训练集和测试集；

基于标注对分类过的样本图片进行检测模型和分类模型训练，得到可用的检测模型参数和分类模型参数；

采集无人机拍摄的森林图像；

利用训练好的检测模型对采集到的森林图像进行检测，得到森林图像中可能的火灾区域；

对检测出可能的火灾区域，使用分类模型进行再次识别，并判断是否发生了火灾，计算出火灾发生区域的位置坐标。

优选地，进行检测模型和分类模型训练还包括：将数据集按8:2的比例分为训练集和测试集，利用训练集中的样本训练检测模型参数和分类模型参数，利用测试集中的样本测试检测模型和分类模型的效果。

优选地，采集无人机拍摄的森林图像后，本方法还包括，对采集到的森林图像进行预处理，包括：

使用火焰、浓烟图片和所采集的图片进行随机位置，随机大小和伸缩、高斯加噪，随机剪栽，旋转，左右互换等各种方法生成数据集。

优选地，利用已经训练好的检测模型对采集到的森林图像进行检测，得到森林图像中可能的火灾区域包括：引入FasterRCNN算法对采集到的森林图像进行检测，包括，

对关键帧的图像中可能的目标位置提出建议，得到可能含有目标的候选区域图像；

采用合适的特征模型对可能含有目标的候选区域图像进行提取，得到特征表示；

借助分类器与GPU判断各个候选区域中是否含有特定类型的目标；

通过边框位置回归后处理操作，得到目标检测框，作为可能的火灾区域。

优选地，采用合适的特征模型对可能含有目标的候选区域图像进行提取，包括：

从原图中，将可能的候选区域裁剪出来；

采用resnet101深度残差网络模型，对裁剪出来图像进行识别，得到特征表示。

优选地，借助分类器与GPU判断各个候选区域中是否含有特定类型的目标；

通过全连接层与softmax函数计算每个特征表示属于哪个类别，输出概率向量；

同时再次利用边框回归获得每个特征表示的位置偏移量。

优选地，对检测出可能的火灾区域，使用分类模型进行再次识别，并判断是否发生了火灾，计算出火灾发生区域的位置坐标包括：

设置合适的置信度阈值；

将检测得到的目标检测框的置信度与置信度阈值比较并进行筛选，保留置信度高于置信度阈值的目标检测框；

遍历所有的目标检测框，对于发生重叠的目标检测框，判断两两之间的IOU值，剔除其中IOU值较大的目标检测框；

统计森林图像中最终得到的目标检测框数据，作为火灾发生区域，根据无人机自身坐标，计算火灾发生区域的位置的大小。

优选地，本方法还包括：

判断发生火灾时，发出预警并报告火灾发生区域的位置。

从上面所述可以看出，本说明书一个或多个实施例提供的基于无人机实现森林火情检测的方法，利用森林和火焰的样本图片，对其进行分类并对所在区域进行标注，基于分类和标注结果进行提取，并训练出检测模型和分类模型，再利用训练出的模型对森林图像进行检测，得到可能的火灾区域，再对可能的火灾区域进行再次识别，最终得出火灾发生区域的位置坐标，通过计算机视觉的深度学习技术，学习火的深层特征，能够适应不同的光照、不同的树种等多种不确定因素，同时有较高的识别准确率和时效性，具有很大的应用价值，有效降低了森林安防中人为监管的难度。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的基于无人机实现森林火情检测的方法流程示意图；

图2为本说明书一个或多个实施例的检测模型训练流程示意图；

图3为本说明书一个或多个实施例的视频关键帧选取流程示意图；

图4为本说明书一个或多个实施例的火焰检测流程示意图；

图5为本说明书一个或多个实施例的火焰匹配流程示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

对于森林火情检测或监控，现有技术中主要采用以下方案：

a.利用图像处理技术，对帧图像的候选火焰区域进行分割，获取火焰块，然后输入至火焰特征分析模型，获取火焰识别标记，将所述火焰识别标记为存在火焰的所述候选火焰块作为优选火焰块；获取任一所述帧图像的任一所述优选火焰块的光流直方图，并获取所述光流直方图的熵；基于所述任一优选火焰块的熵，获取火焰识别结果。

b.采用传感器组收集环境参数；通过人工神经网络分析所述环境参数，并得出是否有火灾的判断结果；如所述判断结果为是，则进行即时报警，如所述判断结果为否，则结束。

c.设计了底层控制站CCD视觉信息采集模块和DP总线信息传递模块，增加了智能火情多状态视觉检测系统的功能，利用火情检测图像的均值作为初始背景，根据不同火情事件获取背景图像进行实时更新，依据DSP处理器得到二值图上目标特征设定不同阀值，判断发生了哪类火情。

但上述方案具有如下缺点：

a.仅根据火焰的形态特征来检测火焰，会存在误识别的情况。

b.传感器的响应较慢，而且受光照影响。

c.设备比较固定，而且布置复杂，不仅无人机巡航便利。

对此，本说明书提供一种基于无人机实现森林火情检测的方法，包括以下步骤：

S101使用无人机采集森林和火焰的样本图片，包括各种森林背景，各种时间和光照环境下多张图片；使用各种火焰、浓烟的图片和所采集的图片合成数据集；

举例来说，选用2000张以上的样本图片。

S102对样本图片进行预处理和分类，并对样本图片中目标所在区域进行标注，并将数据集划分为训练集和测试集；

举例来说，利用labelImg工具标注图片的区域和类别。

S103基于标注对分类过的样本图片进行检测模型和分类模型训练，得到可用的检测模型参数和分类模型参数；

S104采集无人机拍摄的森林图像；

S105利用训练好的检测模型对采集到的森林图像进行检测，得到森林图像中可能的火灾区域；

S106对检测出可能的火灾区域，使用分类模型进行再次识别，并判断是否发生了火灾，计算出火灾发生区域的位置坐标。

本说明书实施例提供的基于无人机实现森林火情检测的方法，利用森林和火焰的样本图片，对其进行分类并对所在区域进行标注，基于分类和标注结果进行提取，并训练出检测模型和分类模型，再利用训练出的模型对森林图像进行检测，得到可能的火灾区域，再对可能的火灾区域进行再次识别，最终得出火灾发生区域的位置坐标，通过计算机视觉的深度学习技术，学习火的深层特征，能够适应不同的光照、不同的树种等多种不确定因素，同时有较高的识别准确率和时效性，具有很大的应用价值，有效降低了森林安防中人为监管的难度。

作为一种实施方式，进行检测模型和分类模型训练还包括：将数据集按8:2的比例分为训练集和测试集，利用训练集中的样本训练检测模型参数和分类模型参数，利用测试集中的样本测试检测模型和分类模型的效果。

在标注区域的过程中，由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，需要设置不同的尺度，不同的长宽比。这种穷举的策略包含了目标所有可能出现的位置，可提高检测的准确率。

作为一种实施方式，采集无人机拍摄的森林图像后，本方法还包括，对采集到的森林图像进行预处理，包括：

对无人机传输的视频流进行解析，将视频流信息解析为图像帧；

从解析出的图像帧中抽取关键帧。

一般的，无人机传输的视频流中存在三种帧：帧内编码帧(I帧)、预测编码帧(P帧)和双向编码帧(B帧)，其中I帧的压缩比率低，而且是P帧和B帧的基础，所以应优先选取I帧进行分析，其次是包含信息更多的P帧，如抽取策略为保留完整度最高的I帧，选择合适的P帧，舍弃B帧，即需要对P帧进行进一步检测。

通过抽取关键帧，能大大减少系统的计算量。

作为一种实施方式，用已经训练好的检测模型对采集到的森林图像进行检测，得到森林图像中可能的火灾区域包括：引入FasterRCNN算法对采集到的森林图像进行检测，包括，

对关键帧的图像中可能的目标位置提出建议，得到可能含有目标的候选区域图像；

采用合适的特征模型对可能含有目标的候选区域图像进行提取，得到特征表示；

借助分类器与GPU判断各个候选区域中是否含有特定类型的目标，其中产生候选检测框的是区域生成网络(RPN网络),分类器为基于Softmax的FasterRCNN模型。

通过边框位置回归后处理操作，得到目标检测框，作为可能的火灾区域。

本实施例中引入了目前表现最优的FasterRCNN算法来进行检测，在保证检测速度满足实时要求的同时并提早检测的准确度，该过程即为火焰检测。

举例来说，可以采用resnet101深度残差网络对可能含有目标的候选区域图像进行提取，得到特征表示proposal feature maps，利用已经获得的proposal feature maps，通过全连接层(full connection层)与softmax函数计算每个特征表示具体属于哪个类别，输出概率向量cls_prob；同时再次利用边框回归(bounding box regression)获得每个特征表示的位置偏移量bbox_pred，用于回归更加精确的目标检测框。

本实例使用区域设置、分类、回归一起共用卷积特征，提高了检测的速度，保证了检测的准确度。本实例中也可使用其他目标检测算法。如InceptionV2、SSD和YOLO算法。

作为一种实施方式，对检测出可能的火灾区域，使用分类模型进行再次识别，并判断是否发生了火灾，计算出火灾发生区域的位置坐标包括：

根据多次实验，设置合适的置信度阈值c；

将检测得到的目标检测框的置信度与置信度阈值比较并进行筛选，保留置信度高于置信度阈值的目标检测框；

遍历所有的目标检测框，对于发生重叠的目标检测框，判断两两之间的IOU值，剔除其中IOU值较大的目标检测框，尽量分离不同区域的检测框，避免一处区域的火被重复检测；

统计森林图像中最终得到的目标检测框数据，作为火灾发生区域，根据无人机自身坐标，计算火灾发生区域的位置的大小。

本过程为火焰匹配，目的在于对检测出的火灾区域进行筛选，判断是否发生了火灾，这一步是分析的关键，通过判断火灾检测框的个数来进行判别火灾发生点数目，计算量不大且匹配效果好。

作为一种实施方式，所述方法还包括：

判断发生火灾时，发出预警并报告火灾发生区域的位置。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。