一种深度神经网络的图像烟火检测方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种深度神经网络的图像烟火检测方法及系统。

背景技术

森林资源是一种非常重要的自然资源，每年因森林火灾造成的损失非常巨大，所以，森林火灾的预防非常重要。传统的森林火灾预防手段主要是基于人工巡视，这种方法具有时效性差、效率低下和成本高昂等缺点。为解决现有人工巡视手段预防森林火灾的问题，以计算机技术和光电传感器为基础的森林火灾预防的检测系统，能够对森林进行大范围、长时间、快速扫描监控火情，得到了大规模应用。随之而来，基于数字图像处理和数字视频处理的森林烟火自动检测定位技术，也得到了广泛应用，大大提高了森林烟火巡检预警效率和精度。

然而，传统的基于人工设计特征的数字图像处理技术，在处理森林巡检图像和视频时，面临着适应能力差、虚警率高等诸多问题，如对不同季节、不同光照的适应能力不好，难以区分云朵、雾气和烟火等。

基于适应性差的问题，深度神经网络技术以其强大的拟合能力，在图像处理中得到了广泛的应用。将深度神经网络应用于森林巡检视频图像中烟火检测，大大改善了检测精度，降低了虚警率。在训练时，深度神经网络需要大量的在不同场景下的烟火图像样本，提高深度神经网络的泛化能力。但是，大量的关于实际场景的烟火图像获取的难度很大，特别是对新部署的监控设备场景，通常依靠人工点火获取烟火样本，风险和成本极高。在部署时，常规深度神经网络需要的计算资源大，对运算能力要求高，通常需要GPU运算服务器，成本高昂，且难以集成到摄像机前端，实现端到端的低成本、实时、高效检测。

发明内容

本发明意在提供一种深度神经网络的图像烟火检测方法，以解决人工点火获取烟火样本风险和成本高的问题。

本方案中的深度神经网络的图像烟火检测方法，包括以下步骤：

步骤S1，获取多张具有烟火目标的样本图像，将包含了烟火目标的样本图像形成图像样本集，描出图像样本集中样本图像上烟火区域的边界点，并生成对应的掩膜图像，将掩膜图像与样本图像相乘得到仅包含烟火区域的区域图像；

步骤S2，构建条件深度卷积生成对抗网络的烟火目标仿真框架，将区域图像送入条件深度卷积生成对抗网络中训练，拟合产生新的烟火样本；

步骤S3，获取森林火灾监控系统不包含烟火目标的初始图像，将初始图像与S2中烟火样本融合，构建成训练数据集。

本方案的有益效果是：

通过采用已获得的含有烟火的样本图像形成图像样本集，即拍摄的实际环境中火灾的图像，从样本图像中描出烟火区域的边界点生成掩膜图像，将掩膜图像与样本图像相乘得到烟火区域的区域图像，再进行训练得到烟火样本，将烟火样本融合至未发生火灾的初始图像中得到训练数据集，初始图像即为待检测森林环境处未发送火灾时的图像，以训练数据集中的图像为烟火样本，无需再在需要监控火灾的森林环境处进行人工点火获取烟火样本，更方便，防止人工点火造成森林火灾的风险，节省成本。

进一步，所述步骤S2包括以下子步骤：

S2.1：采用反卷积神经网络构建生成对抗网络中的生成网络，输入为随机噪声，输出为仿真样本；

S2.2：将样本图像与生成的仿真样本用于训练生成对抗网络中的判别网络，输出仿真样本属于烟火类别的概率；

S2.3：通过反向传播算法更新生成网络参数后，生成一组新的仿真样本，用于判别网络的训练；

S2.4：重复S2.1、S2.2和S2.3，训练生成网络和判别网络，让生成的仿真样本与样本图像的数据分布具有90％相同，使判别网络无法区分仿真样本与样本图像，以随机产生烟火目标的仿真图像。

有益效果是：通过反向传播算法更新生成网络参数并生成仿真样本后，进行判别网络的训练，利用判别网络判断仿真样本，并产生烟火目标的仿真图像，提高烟火目标仿真图像的准确性。

进一步，所述步骤S3包括以下子步骤：

S3.1：将图像样本集中的样本图像依次按照摄像机的实际缩放参数进行缩放；

S3.2：将缩放后的样本图像与监控系统录取的不含烟火目标的初始图像，在随机选取的位置处相叠加，并记录烟火目标的区域信息，以完成图像融合操作；

S3.3：依次对全部图像融合操作后，即完成训练数据集的构建。

有益效果是：通过对样本图像按照摄像机的实际缩放参数进行尺度缩放，然后进行叠加融合，提高图像融合后烟火区域的准确性。

进一步，还包括以下步骤：

步骤S4，将训练数据集中的融合图像按照摄像机的实际缩放参数，进行尺度缩放；

步骤S5，对尺度缩放后的融合图像进行光度畸变操作，生成不同光照下的亮度样本；

步骤S6，对光度畸变后的亮度样本，再进行几何畸变操作得到处理样本，所述几何畸变操作包括拉伸、旋转和平移操作；

步骤S7，随机抽取两幅处理样本按照预设比例系数进行融合，并多次重复该融合操作；

步骤S8，将经过步骤S4-步骤S7处理后的训练数据集送入预设深度网络，进行烟火检测训练，得到完整权值模型。

有益效果是：训练数据集中的图像即为融合图像，通过对训练数据集的融合图像进行处理，然后进行反复的融合，让不同亮度下的烟火样本对实际烟火形态的覆盖程度更高，提高完整权值模型检测烟火的准确性。

进一步，还包括以下步骤：

步骤S9，将步骤S8中的完整权值模型的16位浮点精度压缩至8位整型数据精度；

步骤S10，对预设深度网络结构进行重构和优化。

有益效果是：对完整权值模型进行压缩，提高运算速度，降低运算成本。

进一步，所述步骤S10包括以下子步骤：

S10.1：通过解析预设深度网络模型，消除预设深度网络中的无用输出层；

S10.2：将预设深度网络中的卷积层、批量归一化层和整流线性单元三个层融合为一个层，垂直整合网络结构；

S10.3：将预设深度网络中输入为相同张量和执行相同操作的层融合一起，水平组合网络结构。

有益效果是：通过对预设深度网络的重构和优化，提高火灾检测的准确性。

深度神经网络的图像烟火检测系统，包括摄像模块、图像集模块、图像操作模块、处理模块、神经网络搭建模块和数据操作模块；

摄像模块用于拍摄森林不包含烟火目标的初始图像，图像集模块用于获取多个具有烟火的样本图像，图像操作模块用于描出样本图像上烟火区域的边界点并生成掩膜图像，处理模块将掩膜图像与样本图像相乘得到仅包含烟火区域的区域图像，神经网络搭建模块用于构建条件深度卷积生成对抗网络的烟火目标仿真框架，神经网络搭建模块将区域图像添加入条件深度卷据生成对抗网络中进行训练并拟合产生新的烟火样本，处理模块获取初始图像并与烟火样本融合构建成训练数据集，数据操作模块用于将训练数据集中的融合图像以摄像机的实际缩放参数进行尺度缩放，数据操作模块将进行了尺度缩放后的融合图像进行光度畸变操作生成不同光照下的亮度样本，数据操作模块将光度畸变后的亮度样本进行几何畸变得到处理样本，处理模块多次随机获取两幅处理样本按照预设比例系数融合，处理模块将经过了预设比例系数融合后的训练数据集送入预设深度网络中进行烟火检测训练得到完整权值模型。

本方案的有益效果是：

通过图像集模块获取含有烟火目标的样本图像，以及通过摄像模块获取森林火灾监测在初始时刻未发生火灾的原始图像，从样本图像中获取处单独的烟火区域的区域图像，并将区域图像添加至条件深度卷据生成对抗网络中形成烟火样本，以初始图像和烟火样本融合形成训练数据集，再对训练数据集中的融合图像依次进行尺度缩放、光度畸变、几何畸变处理，最后以随机两幅处理样本进行融合并训练得到完整权值模型，无需在森林火灾的初始监测时刻点火形成烟火样本，并且通过处理提高了通过已有烟火样本训练结果的准确性。

进一步，处理模块将完整权值模型的16位浮点精度压缩至8位整型数据精度，并对预设深度网络的结构进行重构和优化。

有益效果是：处理模块将完整权值模型进行精度压缩，并进行预设深度网络的结构重构和优化，提高后续检测火灾的准确性。

附图说明

图1为本发明实施例一中深度神经网络的图像烟火检测方法的流程框图；

图2为本发明实施例一中深度神经网络的图像烟火检测系统的示意性框图；

图3为本发明实施例一深度神经网络的图像烟火检测系统中训练数据集训练过程的原理框图；

图4为本发明实施例一深度神经网络的图像烟火检测方法中YOLO V4深度神经网络训练流程图。

具体实施方式

下面通过具体实施方式进一步详细说明。

实施例一

深度神经网络的图像烟火检测系统，如附图2所示：包括摄像模块、图像集模块、图像操作模块、处理模块、神经网络搭建模块和数据操作模块，摄像模块可用现有森林火灾监控的摄像设备，图像集模块可用现有的硬件存储设备，图像操作模块可用现有的软件，处理模块可用现有四核64位ARM CPU，128核集成NVIDIA GPU，和4GB LPDDR4存储器。

摄像模块用于拍摄森林不包含烟火目标的初始图像，图像集模块用于获取多个具有烟火的样本图像；图像操作模块用于描出样本图像上烟火区域的边界点并生成掩膜图像，图像操作模块可通过现有的图像处理软件进行样本图像的处理；处理模块将掩膜图像与样本图像相乘得到仅包含烟火区域的区域图像。

神经网络搭建模块用于构建条件深度卷积生成对抗网络的烟火目标仿真框架，神经网络搭建模块将区域图像添加入条件深度卷据生成对抗网络中进行训练并拟合产生新的烟火样本，处理模块获取初始图像并与烟火样本融合构建成训练数据集，数据操作模块用于将训练数据集中的融合图像以摄像机的实际缩放参数进行尺度缩放，数据操作模块将进行了尺度缩放后的融合图像进行光度畸变操作生成不同光照下的亮度样本，数据操作模块将光度畸变后的亮度样本进行几何畸变得到处理样本，处理模块多次随机获取两幅处理样本按照预设比例系数融合，处理模块将经过了预设比例系数融合后的训练数据集送入预设深度网络中进行烟火检测训练得到完整权值模型，处理模块将完整权值模型的16位浮点精度压缩至8位整型数据精度，并对预设深度网络的结构进行重构和优化。

基于上述深度神经网络的图像烟火检测系统的深度神经网络的图像烟火检测方法，如图1所示，包括以下步骤：

步骤S1，获取多张具有烟火目标的样本图像，将包含了烟火目标的样本图像形成图像样本集，描出图像样本集中样本图像上烟火区域的边界点，并生成对应的掩膜图像，将掩膜图像与样本图像相乘得到仅包含烟火区域的区域图像；

步骤S2，构建条件深度卷积生成对抗网络的烟火目标仿真框架，将区域图像送入条件深度卷积生成对抗网络中训练，拟合产生新的烟火样本，具体包括以下子步骤，S2.1：采用反卷积神经网络构建生成对抗网络中的生成网络，输入为随机噪声，输出为仿真样本；S2.2：将样本图像与生成的仿真样本用于训练生成对抗网络中的判别网络，输出仿真样本属于烟火类别的概率；S2.3：通过反向传播算法更新生成网络参数后，生成一组新的仿真样本，用于判别网络的训练；S2.4：重复S2.1、S2.2和S2.3，训练生成网络和判别网络，让生成的仿真样本与样本图像的数据分布具有90％相同，使判别网络无法区分仿真样本与样本图像，以随机产生烟火目标的仿真图像；

步骤S3，获取森林火灾监控系统不包含烟火目标的初始图像，将初始图像与S2中烟火样本融合，构建成训练数据集，具体包括以下子步骤，如图3所示，S3.1：将图像样本集中的样本图像依次按照摄像机的实际缩放参数进行缩放；S3.2：将缩放后的样本图像与监控系统录取的不含烟火目标的初始图像，在随机选取的位置处相叠加，并记录烟火目标的区域信息，以完成图像融合操作；S3.3：依次对全部图像融合操作后，即完成训练数据集的构建；

步骤S4，将训练数据集中的融合图像按照摄像机的实际缩放参数，进行尺度缩放；

步骤S5，对尺度缩放后的融合图像进行光度畸变操作，生成不同光照下的亮度样本；

步骤S6，对光度畸变后的亮度样本，再进行几何畸变操作得到处理样本，所述几何畸变操作包括拉伸、旋转和平移操作；

步骤S7，随机抽取两幅处理样本按照预设比例系数进行融合，并多次重复该融合操作；

步骤S8，将经过步骤S4-步骤S7处理后的训练数据集送入预设深度网络，如图4所示，进行烟火检测训练，得到完整权值模型，预设深度网络为现有YOLO V4深度神经网络，YOLO V4网络结构由骨干网络CSPDarknet53，Neck结构和Head结构组成。骨干网络不断提取特征图，Neck抽取拼接特征图以作检测，Head预测对象类别及位置；

步骤S9，将步骤S8中的完整权值模型的16位浮点精度压缩至8位整型数据精度；

步骤S10，对预设深度网络结构进行重构和优化，在重构和优化时，通过以下子步骤进行：

S10.1：通过解析预设深度网络模型，解析使用现有软件的自带功能进行实现，消除预设深度网络中的无用输出层；

S10.2：将预设深度网络中的卷积层、批量归一化层和整流线性单元三个层融合为一个层，垂直整合网络结构；

S10.3：将预设深度网络中输入为相同张量和执行相同操作的层融合一起，水平组合网络结构。

本实施例一的森林烟火检测，无需在新区域检测时人为点火制造烟火样本，节省人力，使用更方便，能够达到低成本、实时、高效检测的效果。

实施例二

与实施例一的区别在于，深度神经网络的图像烟火检测系统，还包括颜色识别模块，颜色识别模块识别样本图像中多个预设位置点处的颜色信息并发送至处理模块，颜色识别模块可用现有的PS软件进行识别，预设位置点根据格栅中的交叉点进行设置，预设位置点的密度以格栅中每个格子面积为一平方毫米为准进行设置，处理模块获取颜色信息并对颜色种类进行计数，处理模块获取最大计数值对应的颜色种类，处理模块将最大计数值对应的颜色种类与预设种类进行对比并判断样本图像的拍摄时间信息，拍摄时间信息包括白天时间和夜间时间，例如最大计数值对应的颜色种类为绿色判断为白天时间，最大计数值对应的颜色种类为黑色判断为夜间时间，最大计数值对应的颜色种类为橙色及其类似颜色判断为夜间时间，处理模块判断多张样本图像的拍摄时间信息是否同时具有白天时间和夜间时间，若是，处理模块则将样本图像发送至图像操作模块，若否，处理模块则暂停向图像操作模块发送样本图像，当判断到同时具有白天时间和夜间时间时，处理模块将样本图像发送至图像操作模块。

在步骤S1中，获取样本图像后包括以下子步骤：

S1.1，识别样本图像中多个预设位置点处的颜色信息，预设位置点按照格栅方式进行布置，对颜色信息的颜色种类进行计数得到计数值，将不同颜色种类的计数值进行对比并判断最大计数值对应的颜色种类，将最大计数值对应的颜色种类与预设种类进行对比并判断样本图像的拍摄时间信息；

S1.2，当多张样本图像的拍摄时间信息同时具有白天时间和夜间时间时，将样本图像形成图像样本集，当多张样本图像的拍摄时间信息具有白天时间或者夜间时间时，暂停将样本图像形成图像样本集，直到多张样本图像的拍摄时间信息同时具有白天时间和夜间时间时，再将样本图像形成图像样本集。

在白天时间和夜间时间下，由于所拍摄样本图像上的烟火目标的亮度和颜色等信息会存在差异，从而引起后续烟火目标处理与实际烟火的差异。本实施例二通过识别样本图像中多个位置点的颜色信息并确定每种颜色种类的数量，根据最大计数值对应的颜色种类确定时间信息，最后根据时间信息判断是否将样本图像形成图像样本集，提高进行烟火检测前所获取样本图像能够包含的烟火目标形态的完整性，让经过处理得到的仿真烟火更接近实际烟火。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。