一种基于视频的烟火检测方法

技术领域

本发明涉及图像处理技术领域，具体地说，涉及一种基于视频的烟火检测方法。

背景技术

目前，烟火检测深度学习方法基本上采用样本标注、模型训练的方式，该方法在大多出场景中是适用的，但其对图像质量要求比较高，比如画面内不能有类似于烟、火的物品，或者相近颜色的东西，否则会出现检测准确率较低的情况，还可能将静止物体或运动过于缓慢的物体当成目标误判。

发明内容

本发明的目的在于提供一种基于视频的烟火检测方法，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于视频的烟火检测方法，包括如下步骤：

S1、图像获取，获取同一摄像头不同时间点的若干图像信息；

S2、图像预处理，对获取的图像进行预处理，使图像增强；

S3、图像组合，合成同一画面间隔一定时间的多帧图像组合，包括单通道灰度图堆叠的三通图像及n张三通道彩色图堆叠的3*n通道图像；

S4、烟火目标检测，通过YOLO、SSD、Camshift、KCF等目标检测算法或联合算法进行目标检测和目标跟踪；

S5、深度学习，通过深度学习算法，扩展方法的应用场景。

其中，图像获取设备不限于摄像头、摄像机、视频采集卡等，且图像获取设备优选为位置固定的设备；对图像进行处理的设备可以为服务器或FPGA。

其中，S4中，该方法的实现不限于Yolo、SSD等目标检测算法。

作为本技术方案的进一步改进，所述S2中，图像预处理的方法包括如下步骤：

S2.1、对获取的原始图像进行提升亮度及高通滤波处理，突出图像边缘；

S2.2、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；

S2.3、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。

其中，图像预处理的目的使减少冗余信息、去除噪点；具体地，常见的图像增强的方法按照不同作用域分为空域和频域增强，空域的方法有灰度变换、直方图均衡化和空域滤波等，频域增强有高通、低通和同态滤波等。本实施例中，图像增强的方法不限于高通滤波和均值滤波。

其中，高通滤波处理用于提高图像的清晰度，锐化图像边缘，便于更好识别烟火目标。

其中，均值滤波的实现过程为：在图像目标像素上给定一个模板，该模板周围包括其周围临近的像素，将模板中的全体像素进行求平均值，用均值代替原像素值，以实现像素的平滑，突出细节信息、忽略边缘，达到去噪的目的。

此外，S2.3中，彩色图转灰度图的表达公式为：

作为本技术方案的进一步改进，所述S3中，图像组合的的方法包括如下步骤：

S3.1、针对单通道灰度图像的组合，将前一帧时间点tb的R单通道灰度图、当前帧时间点tn的B单通道灰度图、G单通道灰度图按顺序依次堆叠形成三通道图像；

S3.2、针对彩色图像的组合，先将不同时间点的视频帧图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像按时间顺序依次堆叠成3*n通道图像，相邻两张视频帧图像之间的时间间隔相同。

作为本技术方案的进一步改进，所述S4中，通过YOLO与KCF算法联合对图像进行烟火目标检测的方法包括如下步骤：

S4.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中，通过YOLO算法进行目标检测；

S4.2、通过YOLO算法初始化YCF算法跟踪窗口；

S4.3、通过KCF算法进行目标跟踪；

S4.4、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较，通过二者的比值偏移误差率OER来判断目标是否发生偏移；

S4.5、若目标发生偏移，则利用此时YOLO算法检测位置作为观测值；若目标未发生偏移，则以KCF算法计算值作为观测值；

S4.6、若目标丢失，则返回S4.2，通过YOLO算法再次进行初始化来重新实现目标跟踪；

S4.7、最后在图像上更新检测的目标位置，并输出烟火目标运动的跟踪结果。

作为本技术方案的进一步改进，所述S4.4中，偏移误差率OER的计算表达式如下：

其中，x为YOLO算法目标检测的目标位置（x，y）在x轴方向上的坐标值，kx为KCF算法预测的目标位置（kx，ky）在x轴方向上的坐标值，OER为两种算法在x轴方向上的比值。

其中，利用KCF算法跟踪目标，通过OER判断是否发生偏移或丢失目标现象，若OER≥β，其中β为偏移阈值，则认为目标跟踪发生偏移，在判断出目标发生偏移后，将此时的YOLO算法目标边框赋值KCF算法重新跟踪；若OER＜β，则认为此时目标被跟踪，用KCF算法继续跟踪；若OER=0，此时KCF算法丢失目标，则通过YOLO算法对KCF算法再次进行初始化来再次实现目标跟踪。

其中，YOLO算法与KCF算法联合，可以有效提高目标跟踪的准确率和鲁棒性，且在视频摄像头发生偏转时，也能有效识别并跟踪目标。

作为本技术方案的进一步改进，所述S4.1中，通过YOLO算法进行目标检测的方法包括如下步骤：

S4.1.1、将三通道图像或3*n通道图像导入YOLO算法模型中，将输入的图像划分为S*S的网格，同时通过卷积运算获取特征图；

S4.1.2、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；

S4.1.3、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；

S4.1.4、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数，最后通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。

其中，YOLO算法的原理为：在目标检测过程中采用针对目标检测任务设计的CNN进行特征提取，通过全连接层对识别出来的目标进行位置预测和分类。

其中，YOLO算法的网络模型由输入层、池化层、全连接层及输出层构成。

具体地，因全连接层要求固定大小的向量作为输入，则YOLO算法的输入层需将输入的图像剪切成S*S的固定大小；输入层之后是24层卷积层，通过对输入图像进行卷积运算获得特征图，记录特征数据方便后续的分类和目标定位；池化层与卷积神经网络池化层功能相同，即为用一个值代替对应区域像素点；再使用两个全连接层将卷积池化后多维数据拉伸成为一维向量，为后面的分类和位置确定做铺垫；YOLO网络模型的最后一层输出层与CNN算法中的SoftMax分类器实现将全连接层数据分类输出相似的过程。

作为本技术方案的进一步改进，所述S4.1.3中，置信度的计算表达式如下：

式中，

其中，

作为本技术方案的进一步改进，所述S4.3中，通过KCF算法进行目标跟踪的方法包括如下步骤：

S4.3.1、先在追踪过程中训练一个目标检测器，使用所需的目标检测器去检测下一帧视频图像来预测该位置是否是所需的目标，再使用新的检测结果去更新训练集；

S4.3.2、在当前帧选取与前一帧目标所在位置的目标区域坐标，提取基本候选样本，建立目标区域模型；

S4.3.3、将目标区域作为正样本、周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测器的训练，依次来进行目标跟踪。

作为本技术方案的进一步改进，所述S4.3.1中，训练目标检测器的计算表达式如下：

设训练样本集为

其中，w代表列向量的权重系数，为了降低损失函数，优化算法，进而采用最小二乘法来求解：

其矩阵形式为：

其中，上式称为脊回归，

其中，行向量矩阵表示为

其中，X的共轭复数转置矩阵为X

作为本技术方案的进一步改进，所述S4.3.2中，建立目标区域模型的过程包括如下步骤：

设样本大小为w*h的图像块，通过循环移位获取一系列样本集合，设为

本发明的目的之二在于，提供了一种基于视频的烟火检测方法的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于视频的烟火检测方法的步骤。

本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于视频的烟火检测方法的步骤。

与现有技术相比，本发明的有益效果：该基于视频的烟火检测方法中，通过结合烟、火运动信息与深度学习的优点，将深度学习目标检测的三通道彩色图像输入修改为同一摄像头不同时间点的图像组合成的多通道图像，并通过多种目标检测算法或两种以上的联合算法对图像中可能存在的运动的烟火目标进行检测跟踪，可以有效降低误报的概率，降低方法对图像质量的要求，提高检测准确率，扩大烟火检测方法的应用场景，可以有效应用于环境的安全监控。

附图说明

图1为本发明的示例性局部网络结构架构图；

图2为本发明的整体方法流程框图；

图3为本发明的局部方法流程框图之一；

图4为本发明的局部方法流程框图之二；

图5为本发明的局部方法流程框图之三；

图6为本发明的局部方法流程框图之四；

图7为本发明的局部方法流程框图之五。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1-图7所示，本实施例提供了一种基于视频的烟火检测方法，包括如下步骤：

S1、图像获取，获取同一摄像头不同时间点的若干图像信息；

S2、图像预处理，对获取的图像进行预处理，使图像增强；

S3、图像组合，合成同一画面间隔一定时间的多帧图像组合，包括单通道灰度图堆叠的三通图像及n张三通道彩色图堆叠的3*n通道图像；

S4、烟火目标检测，通过YOLO、SSD、Camshift、KCF等目标检测算法或联合算法进行目标检测和目标跟踪；

S5、深度学习，通过深度学习算法，扩展方法的应用场景。

其中，图像获取设备不限于摄像头、摄像机、视频采集卡等，且图像获取设备优选为位置固定的设备；对图像进行处理的设备可以为服务器或FPGA。

其中，S4中，该方法的实现不限于Yolo、SSD等目标检测算法。

本实施例中，S2中，图像预处理的方法包括如下步骤：

S2.1、对获取的原始图像进行提升亮度及高通滤波处理，突出图像边缘；

S2.2、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；

S2.3、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。

其中，图像预处理的目的使减少冗余信息、去除噪点；具体地，常见的图像增强的方法按照不同作用域分为空域和频域增强，空域的方法有灰度变换、直方图均衡化和空域滤波等，频域增强有高通、低通和同态滤波等。本实施例中，图像增强的方法不限于高通滤波和均值滤波。

其中，高通滤波处理用于提高图像的清晰度，锐化图像边缘，便于更好识别烟火目标。

其中，均值滤波的实现过程为：在图像目标像素上给定一个模板，该模板周围包括其周围临近的像素，将模板中的全体像素进行求平均值，用均值代替原像素值，以实现像素的平滑，突出细节信息、忽略边缘，达到去噪的目的。

此外，S2.3中，彩色图转灰度图的表达公式为：

3.根据权利要求1的基于视频的烟火检测方法，其特征在于：S3中，图像组合的的方法包括如下步骤：

S3.1、针对单通道灰度图像的组合，将前一帧时间点tb的R单通道灰度图、当前帧时间点tn的B单通道灰度图、G单通道灰度图按顺序依次堆叠形成三通道图像；

S3.2、针对彩色图像的组合，先将不同时间点的视频帧图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像按时间顺序依次堆叠成3*n通道图像，相邻两张视频帧图像之间的时间间隔相同。

本实施例中，S4中，通过YOLO与KCF算法联合对图像进行烟火目标检测的方法包括如下步骤：

S4.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中，通过YOLO算法进行目标检测；

S4.2、通过YOLO算法初始化YCF算法跟踪窗口；

S4.3、通过KCF算法进行目标跟踪；

S4.4、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较，通过二者的比值偏移误差率OER来判断目标是否发生偏移；

S4.5、若目标发生偏移，则利用此时YOLO算法检测位置作为观测值；若目标未发生偏移，则以KCF算法计算值作为观测值；

S4.6、若目标丢失，则返回S4.2，通过YOLO算法再次进行初始化来重新实现目标跟踪；

S4.7、最后在图像上更新检测的目标位置，并输出烟火目标运动的跟踪结果。

具体地，S4.4中，偏移误差率OER的计算表达式如下：

其中，x为YOLO算法目标检测的目标位置（x，y）在x轴方向上的坐标值，kx为KCF算法预测的目标位置（kx，ky）在x轴方向上的坐标值，OER为两种算法在x轴方向上的比值。

其中，利用KCF算法跟踪目标，通过OER判断是否发生偏移或丢失目标现象，若OER≥β，其中β为偏移阈值，则认为目标跟踪发生偏移，在判断出目标发生偏移后，将此时的YOLO算法目标边框赋值KCF算法重新跟踪；若OER＜β，则认为此时目标被跟踪，用KCF算法继续跟踪；若OER=0，此时KCF算法丢失目标，则通过YOLO算法对KCF算法再次进行初始化来再次实现目标跟踪。

其中，YOLO算法与KCF算法联合，可以有效提高目标跟踪的准确率和鲁棒性，且在视频摄像头发生偏转时，也能有效识别并跟踪目标。

进一步地，S4.1中，通过YOLO算法进行目标检测的方法包括如下步骤：

S4.1.1、将三通道图像或3*n通道图像导入YOLO算法模型中，将输入的图像划分为S*S的网格，同时通过卷积运算获取特征图；

S4.1.2、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；

S4.1.3、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；

S4.1.4、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数，最后通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。

其中，YOLO算法的原理为：在目标检测过程中采用针对目标检测任务设计的CNN进行特征提取，通过全连接层对识别出来的目标进行位置预测和分类。

其中，YOLO算法的网络模型由输入层、池化层、全连接层及输出层构成。

具体地，因全连接层要求固定大小的向量作为输入，则YOLO算法的输入层需将输入的图像剪切成S*S的固定大小；输入层之后是24层卷积层，通过对输入图像进行卷积运算获得特征图，记录特征数据方便后续的分类和目标定位；池化层与卷积神经网络池化层功能相同，即为用一个值代替对应区域像素点；再使用两个全连接层将卷积池化后多维数据拉伸成为一维向量，为后面的分类和位置确定做铺垫；YOLO网络模型的最后一层输出层与CNN算法中的SoftMax分类器实现将全连接层数据分类输出相似的过程。

具体地，S4.1.3中，置信度的计算表达式如下：

式中，

其中，

进一步地，S4.3中，通过KCF算法进行目标跟踪的方法包括如下步骤：

S4.3.1、先在追踪过程中训练一个目标检测器，使用所需的目标检测器去检测下一帧视频图像来预测该位置是否是所需的目标，再使用新的检测结果去更新训练集；

S4.3.2、在当前帧选取与前一帧目标所在位置的目标区域坐标，提取基本候选样本，建立目标区域模型；

S4.3.3、将目标区域作为正样本、周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测器的训练，依次来进行目标跟踪。

具体地，S4.3.1中，训练目标检测器的计算表达式如下：

设训练样本集为

其中，w代表列向量的权重系数，为了降低损失函数，优化算法，进而采用最小二乘法来求解：

其矩阵形式为：

其中，上式称为脊回归，

其中，行向量矩阵表示为

其中，X的共轭复数转置矩阵为X

具体地，S4.3.2中，建立目标区域模型的过程包括如下步骤：

设样本大小为w*h的图像块，通过循环移位获取一系列样本集合，设为

本实施例还提供一种基于视频的烟火检测方法的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。

处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于视频的烟火检测方法。

可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于视频的烟火检测方法的步骤。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于视频的烟火检测方法的步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。