基于改进原型网络的少样本森林火灾烟雾识别方法及装置

技术领域

本发明涉及人工智能在森林火灾烟雾检测中的应用技术领域，具体涉及一种基于改进原型网络的少样本森林火灾烟雾识别方法及装置。

背景技术

森林火灾是最严重的自然灾害之一，具有突发性强、破坏性大、传播速度快等特点。图像处理以及深度学习技术的发展使得早期森林火灾自动检测成为可能。相比于传统的机器学习算法，深度卷积神经网络能够克服人工提取低层烟雾数据特征存在的准确率较低的问题，在特征提取的过程中提取到深层以及具有鉴别力的烟雾图像特征，从而提高检测的准确率。

然而由于复杂的背景环境以及疑似烟雾区域如：云、雾、霾等影响，森林火灾烟雾检测的误报率居高不下。某一地区真实森林火灾烟雾图像数据有限，而卷积神经网络大多依赖大量的训练数据，过少的数据会导致训练过拟合，从而影响检测模型的性能。

综上可知，传统卷积神经网络算法在使用大量数据训练时有较好的检测效果，对于少量训练数据集的情况，往往会产生过拟合的问题。当前可获得的有效的森林火灾烟雾图像数据样本量较为有限，无法满足大样本数据量要求的检测算法。与此同时，由于森林火灾烟雾背景复杂，且存在较多的干扰项，以往的算法的检测结果会存在高误报率的问题。

发明内容

针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种基于改进原型网络的少样本森林火灾烟雾识别方法及装置。

第一方面，本发明实施例提供了一种基于改进原型网络的少样本森林火灾烟雾识别方法，包括：

训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；

获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；

将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；

通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；

通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。

在本申请的一种具体实施方式中，训练少样本检测网络模型具体为：

数据集建立：获取训练数据集，并将所述训练数据集划分为支持样本和查询样本；所述训练数据集包括miniImageNet中的数据，共95类，且所述训练数据集中不含有所述测试数据集的类别；

模型搭建：构建所述少样本检测网络模型，该模型中的目标特征提取模块有原始特征提取模块和注意力机制模块结合所得；

模型训练及优化：采用miniImageNet中的数据对少样本检测网络模型进行训练及优化；

模型评估：采用5-way平均准确率对所述少样本检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。

其中，所述原始特征提取模块包括四个卷积块，每一个卷积块包括卷积层、激活层、池化层，所述注意力机制模块包括通道注意力模块和空间注意力模块。

进一步地，在本申请的一优选实施方式中，所述方法包括：

将所述原始特征提取模块中的第一和第四卷积块卷积层后增加所述注意力机制模块，得到所述目标特征提取模块。

在本申请的一具体实施方式中，得到支持向量和查询向量具体包括：

将所述支持图像集中的支持图像和所述查询图像集中的查询图像输入所述输入模块；

采用引入注意力机制的所述目标特征提取模块对所述支持图像和查询图像进行特征提取，得到图像特征向量；

采用所述元学习模块对图像特征向量进行欧氏距离计算，得到查询图像集中每一图像在每一个类上的概率，得到分类结果。

进一步地，在本申请的一优选实施方式中，所述方法包括：

采用5-way平均准确率、准确率、误报率、烟雾准确率及召回率对所述分类结果进行评估。

第二方面，本发明实施例提供了一种基于改进原型网络的少样本森林火灾烟雾识别装置，包括：

训练单元，用于训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；

获取单元，用于获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；

检测单元，用于：

将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；

通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；

通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。

第三方面，本发明实施例提供了另一种基于改进原型网络的少样本森林火灾烟雾识别装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面所述的方法。

与现有技术相比，实施本发明实施例，针对少样本数据集(仅包括烟、云、雾、树及悬崖等)，设计了基于改进原型网络的森林火灾烟雾检测网络，在保证准确率的前提下，降低了检测的误报率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明基于改进原型网络的少样本森林火灾烟雾识别方法的流程图；

图2是少样本检测模型的训练流程图；

图3是网络模型架构图；

图4是原始特征提取模块结构图；

图5是卷积注意模块(CBAM)结构图；

图6是目标特征提取模块结构图；

图7是本发明基于改进原型网络的少样本森林火灾烟雾识别装置的一种结构图；

图8是本发明基于改进原型网络的少样本森林火灾烟雾识别装置的另一种结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例提供的基于改进原型网络的少样本森林火灾烟雾识别方法主要包括：

S101，训练少样本检测网络模型。

其中，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块。

具体地，如图2所示，少样本检测网络模型的建立主要包括以下四个步骤：

一、数据集建立

获取样本数据集，包括公开数据集、网络数据集和视频监控等。该样本数据集中的图片包括基础图像及烟、云、雾、树、悬崖等的图像，基础图像指的是烟、云、雾、树及悬崖图像以外的其他类别的图像。

二、网络模型构建

构建的网络模型如图3所示，其主要包括以下部分：

1、图像输入模块

该部分的输入数据分为支持样本和查询样本两部分，由对样本数据集进行划分所得。

2、特征提取模块

该部分可以用于提取更深层次和更具有辨别性的目标特征，结构如图4所示，使用了4个卷积块，每一个卷积块包含卷积层、激活层及池化层。

3、卷积注意模块(CBMA)

该部分为了在特征提取阶段关注更有效的目标特征，其结构如图5所示。

在图5中，CBAM模块包括两个部分，分别是通道注意力模块和空间注意力模块。特征的每一个通道都代表着一个专门的检测器，通道注意力模块关注什么样的特征是有意义的。通道注意力模型能够利用特征间的内在通道关系，空间注意力模型能够利用特征间的内在空间关系。这两个模块可以通过并行或者顺序的方式组合在一起，其中经过实验，将通道注意力放在前面能够取得更好的效果。

将卷积模块输出的特征图F∈R

F

F

其中⊙表示哈达玛积(Hadmard product)。在多通道过程中，能够相应的改变空间维度：通道的结果能够沿着空间维度传播。其中F

1)通道注意力模块

为了有效地计算通道的注意力，需要压缩输入特征图的空间维数。首先使用平均池化和最大池化操作来聚合特征映射的空间信息,生成两个不同的空间上下文描述符：

其中σ表示网络的激活函数，W

1)空间注意力模块

利用特征间的空间关系，可以生成空间注意图。空间注意力可以看做是对通道注意力的补充。为了计算空间注意力，首先在通道轴上应用平均池化和最大池化运算，并将它们连接起来以审查各行一个有效的特征描述符。使用两个池化操作来聚合功能映射的通道信息，生成两个二维映射平均池化

其中σ表示网络的激活函数，f表示卷积。将以上特征提取模块和注意力机制模块结合构成新的特征提取模块，如图6所示。该新的特征提取模块包含4个卷积块，第1和4分别加入CBAM。经过实验，发现将CBAM共同作用于第1和4个卷积块所得到的测试结果最好。

需要说明的是，结合前述描述可知，原始特征提取模块包括4个卷积块，本发明引入注意力机制，将原始特征提取模块中的第一和第四卷积块卷积层后增加所述注意力机制模块，得到目标特征提取模块。

4、元学习模块

该模型使用特征提取网络和注意力机制模型对支持图像和查询图像进行特征提取，对支持图像进行类原型计算。从支持图像中获得其类原型和矩阵空间，通过使用欧式距离计算类原型与查询图像特征的距离进行类别判定。每一个类原型支持样本的平均向量可由以下公式计算得出：

其中S

对于查询样本q，可以计算其每一个类上的概率，公式如下：

其中d(·,·)表示两个向量的欧式距离。

5、输出模块

该部分输出查询图像的分类结果及测试集的平均准确率。

三、训练及优化

模型的学习过程通过Adam优化器得到最小化的真实类别k

其中N

即，根据支持样本和查询样本对所述少样本检测网络模型进行训练及优化。

四、模型评估

采用5-way平均准确率对所述少样本检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。

需要说明的是，本发明的上述卷积神经网络模型在训练和验证时，使用的是miniImageNet中的数据，共95类，每类样本600张，在后续的测试阶段使用的是森林火灾烟雾数据集(包括烟、云、雾、树和悬崖)，且训练数据集中不含有测试数据集的类别。

S102，获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集。

其中，所述测试数据集中的图像仅包括烟、云、雾、树及悬崖。

具体地，该测试数据集包括公开数据集、网络数据收集、视频监控等。这些数据集中的图像可以分为以下5类：烟、云、雾、树、悬崖，每类各600张图像，共计3000张图像。对比传统数据集，在烟雾图像的基础上增加云、树、悬崖等干扰项，可以提供更加模拟真实森林火灾烟雾的复杂背景的场景，提高算法针对复杂背景场景下的测试结果。

S103，将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量。

S104，通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别。

S105，通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。

进一步地，本发明的方法还使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1-score(F1)值对森林火灾烟雾数据集检测结果进行评估公式如下：

其中，TP表示正样本集中分类正确的样本数量，TN表示负样本集中分类正确的样本数量，FN表示负样本集中分类错误的样本数量，FP表示正样本集中分类错误的样本数量。

如上表所示，分别使用欧式距离和余弦距离对原型网络以及改进的原型网络进行测试。通过比较余弦距离和欧式距离对少样本森林火灾烟雾检测模型的影响。对于原型网络，使用欧式距离比使用余弦距离的准确率高5％。对于改进的原型网络，使用欧式距离比使用余弦距离的准确率高出7％。因此使用欧式距离对类原型和查询特征进行计算，从而提高检测结果的准确率。

在上表中，5-way表示测试集包含五个类别，5-shot表示使用五个支持图像计算出一个类原型。

使用上述基于改进原型网络的少样本检测模型，对森林火灾烟雾数据集进行测试，对比结果如下：

对比原型网络方法，本发明中的方法准确率有所提升，误报率有所下降，烟雾检测准确率为84％，比原型网络提高9％。

综上所述，本发明的方法主要优点如下：

(1)在测试数据集中增加了疑似烟雾干扰项，能够更准确地反映真实森林火灾环境。

(2)针对疑似烟雾干扰以及复杂背景的问题，提出一种基于混合注意力机制的图像特征提取模块，从而可以提高森林火灾烟雾识别的准确性。

(3)针对某一地区真实森林火灾烟雾数据集有限的问题，提出一种基于原型网络的元学习模块，从而可以提高森林火灾烟雾识别的准确性。

(4)结合(2)和(3)提出了一种基于改进原型网络的少样本森林火灾烟雾识别方法，在保证准确率的前提下，降低了检测的误报率。

基于相同的发明构思，本发明实施例还提供了一种基于改进原型网络的少样本森林火灾烟雾识别装置。如图7所示，该装置包括：

训练单元10，用于训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；

获取单元11，用于获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；

检测单元12，用于：

将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；

通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；

通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。

其中，训练单元10主要用于：

建立数据集：获取训练数据集，并将所述训练数据集划分为支持样本和查询样本；所述训练数据集包括miniImageNet中的数据，共95类，且所述训练数据集中不含有所述测试数据集的类别；

搭建模型：构建所述少样本检测网络模型，该模型中的目标特征提取模块由原始特征提取模块和注意力机制模块结合所得；

训练及优化模型：采用miniImageNet中的数据对少样本检测网络模型进行训练及优化；

评估模型：采用5-way平均准确率对所述少样本能检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。

进一步地，检测单元12还用于：

将所述支持图像集中的支持图像和所述查询图像集中的查询图像输入所述输入模块；

采用引入注意力机制的所述目标特征提取模块对所述支持图像和查询图像进行特征提取，得到图像特征向量；

采用所述元学习模块对图像特征向量进行欧氏距离计算，得到查询图像集中每一图像在每一个类上的概率，得到分类结果。

进一步地，检测单元12还用于：

采用准确率、误报率、烟雾准确率及召回率对所述测试集分类结果进行评估。

可选地，本发明实施例还提供了另一种基于改进原型网络的少样本森林火灾烟雾识别装置。如图8所示，该装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于改进原型网络的少样本森林火灾烟雾识别方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于改进原型网络的少样本森林火灾烟雾识别方法的实施例中所描述的实现方式，在此不再赘述。

进一步地，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于改进原型网络的少样本森林火灾烟雾识别方法。

所述计算机可读存储介质可以是前述实施例所述的电子设备的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。