一种基于视频监控的吸烟行为检测方法及装置

技术领域

本发明涉及一种基于视频监控的吸烟行为检测方法，同时也涉及基于视频监控的吸烟行为检测装置，属于消防安全技术领域。

背景技术

吸烟行为除了影响身体建康以外，还存在引发火灾的潜在风险，严重者会造成巨大的人员伤亡和经济损失。因此，禁止公共场所的吸烟行为，并对公共场所的吸烟行为进行严格监管是一项非常重要的工作，特别是施工工地这种人流量大、易燃易爆物多的特殊公共场所。据国家应急管理局的调查显示，每年30％的施工工地火灾与工人吸烟行为相关，因此，实时准确的监测包括施工工地在内的公共场所的吸烟行为刻不容缓。

在现有技术中，除人工监控吸烟行为以外，通常采用烟雾传感器和视频监控二种技术方案对吸烟行为进行自动监控。由于烟支燃烧的烟雾浓度低、发散速度快，以及其他漂浮的微小粒子对传感器的影响，造成烟雾传感器检测的准确率下降，对吸烟行为的识别效果不理想。而现有的视频监控技术方案，由于人体定位与检测算法准确率低，对异常行为监测的建模分析不当，使视频监控的检测准确率不高。

在申请号为202210502676.5的中国专利申请中，公开了一种基于监控视频的吸烟行为检测方法。该检测方法包括如下步骤：利用视频监控系统获取视频图像；利用改进的YOLOv5检测网络，对图像中的人头和人手进行检测；计算人手与人头间的距离，截取距离小于设定阈值时的嘴部区域和手部区域；利用卷积神经网络对截图进行烟支检测，判断并输出吸烟行为检测结果。该检测方法容易将捂脸、捂嘴等动作误检为吸烟行为，而且YOLOv5检测网络对吸烟等小目标的错检、漏检也较多。

发明内容

本发明所要解决的首要技术问题在于提供一种基于视频监控的吸烟行为检测方法。

本发明所要解决的另一技术问题在于提供一种基于视频监控的吸烟行为检测装置。

为了实现上述目的，本发明采用以下的技术方案：

根据本发明实施例的第一方面，提供一种基于视频监控的吸烟行为检测方法，包括如下步骤：

(1)获取现场的监控视频；

(2)提取HSV颜色特征，筛选出视频图像中的疑似烟支区域；

(3)截取监控视频的视频帧中疑似包含烟支的时间序列图像；

(4)利用ViBe算法提取包含烟支和人体的前景目标图像；

(5)根据所述前景目标图像中人体姿势周期性变化规律，识别吸烟动作；

(6)对于检测出来的吸烟行为发出报警。

其中较优地，步骤(2)包括如下子步骤：

(21)利用灰度世界算法校正图像；

(22)将图像从RGB颜色空间转换到HSV颜色空间；

(23)根据HSV的阈值分割模型，检测出包含烟支的图像。

其中较优地，步骤(21)包括如下子步骤：

(211)计算通道间灰度比β

其中，AVGr、AVGg、AVGb分别为图像的R、G、B三通道的灰度平均值；

(212)判断所述通道间灰度比值的范围；若所述通道间灰度比β

(213)计算R、G、B三通道的调节系数Kr、Kg、Kb：

K

K

K

其中，AVG

(214)调整每个像素点的R、G、B值，调整计算方法如下：

P(R’)＝K

P(G’)＝K

P(B’)＝K

其中，P(R)、P(G)、P(B)分别为像素点原有的R、G、B值。

其中较优地，步骤(4)包括如下子步骤：

(41)背景模型的初始化；

(42)提取视频的前景目标图像；

将某点像素值放入到二维空间中，计算该点与所述背景模型中暂存的n个像素值之间的相似度；当该相似度大于相似度阈值时，则该像素点为背景点；反之，该像素点为前景点；

(43)更新背景图像；

采用无记忆背景更新策略，对背景像素的样本集进行替换更新，不会对前景像素点进行处理。

其中较优地，所述相似度的计算方法如下：

分别计算某一像素点到背景模型中暂存的n个像素点之间的欧式距离，若该欧式距离小于等于距离阈值，则二者相似；反之，若该欧式距离大于距离阈值，则二者不相似；将其中相似的像素点的个数相加得到该点的相似度。

其中较优地，步骤(5)包括如下子步骤：

(51)提取关节点组成肢体，实时获取多人姿态信息；

(52)多人姿态轨迹追踪，识别人体手部周期性动作的变化规律；

(53)根据人体手部周期性动作信息识别吸烟者。

其中较优地，步骤(51)包括如下子步骤：

(511)采用非最大值抑制方法来计算关节点的像素峰值如下：

其中，S

(512)选取关节点的所述像素峰值中的最大值作为关节点信息；

(513)采用部分亲和度场的方法对产生的多个所述关节点信息进行肢体配对。

其中较优地，步骤(53)包括如下子步骤：

(531)将坐标归一化处理，使人体各部位的位置关系及距离不受人与摄像头距离远近影响；

(532)设定人体手部与鼻子的距离阈值，设定一次吸烟的周期时长阈值；

(533)计算手部与鼻子的最大距离区间：

采用最小二乘法对吸烟时间和手部与鼻子的距离的变化曲线进行拟合，得到关于时间与距离的拟合二次函数如下：

其中，

根据拟合二次函数求出手部与鼻子的最大距离区间为：

其中，D

(534)一次周期性吸烟动作检测；

将某时刻检测到的某人手部与鼻子的距离与距离阈值进行比较判断，若检测到某人手部与鼻子的距离小于等于距离阈值时，对此人进行周期性吸烟动作检测。

其中较优地，所述周期性吸烟动作的检测方法是：

开始计时，持续观察某人手部与鼻子的距离，当该距离开始增加，并且之后连续几帧持续增加，直到该距离增大到所述最大距离区间后不再增加时，记录手部与鼻子的最远距离；

继续观察，在某时刻手部与鼻子的距离开始变小，且其后连续每帧也持续减小，当该距离减小到所述距离阈值的范围内时，第一次周期检测结束，停止计时并得到计时时间；

若所述计时时间小于等于周期时长的阈值，则认为检测到一次周期性吸烟动作，并且继续进行下一次周期性动作检测；若所述计时时间大于周期时长的阈值时，将不再对此人进行下一次的检测。

根据本发明实施例的第二方面，提供基于视频监控的吸烟行为检测装置，包括处理器和存储器；其中，所述存储器与所述处理器耦接，用于存储计算机程序，当该计算机程序被所述处理器执行时，使处理器实现上述基于视频监控的吸烟行为检测方法。

与现有技术相比较，本发明提供的基于视频监控的吸烟行为检测方法，通过采用烟雾识别与人体周期性吸烟动作识别相融合的技术方案，实现了在复杂环境下对吸烟行为小目标的准确检测判断。同时，本发明可以基于现有视频监控系统的硬件平台实现，无需额外再增加硬件投资。因此，本发明提供的基于视频监控的吸烟行为检测方法具有检测成本低、工作效率高，以及检测准确率高等有益效果。

附图说明

图1为本发明实施例提供的一种基于视频监控的吸烟行为检测方法的流程图；

图2为本发明实施例中，吸烟图像在RGB颜色空间的分布图；

图3为本发明实施例中，吸烟图像在HSV颜色空间的分布图；

图4为本发明实施例中，基于HSV的阈值分割模型的烟支检出图；

图5为本发明实施例中，提取前景目标图像中相似度的示意图；

图6为本发明实施例中，识别人体姿势周期性变化规律流程图；

图7为本发明实施例中，18个关节点与人体的对应关系示意图；

图8为本发明实施例中，关节点之间的亲和度场示意图；

图9为本发明实施例中，吸烟动作的分解示意图；

图10为本发明实施例中，吸烟识别的效果图；

图11为本发明实施例提供的一种基于视频监控的吸烟行为检测装置的示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明实施例提供的一种基于视频监控的吸烟行为检测方法，至少包括如下步骤：

S1：获取现场的监控视频。

S2：提取监控视频中的视频图像的HSV颜色特征，筛选出视频图像中的疑似烟支区域。

S3：截取监控视频的视频帧中疑似包含烟支的时间序列图像。

S4：利用ViBe(Visual Background Extractor)算法提取包含烟支和人体的前景目标图像。

S5：根据前景目标图像中人体姿势周期性变化规律，识别吸烟动作。

S6：对于检测出的吸烟行为发出报警。

在本发明的一个实施例中，步骤S1是从监控系统获取现场的监控视频作为原始视频，要求监控系统利用高清摄录设备从一定的角度、合适的距离，对现场进行录制，获得相对稳定的视频流。

在步骤S2中，提取HSV颜色特征(其中包括色调(H)、饱和度(S)、亮度(V)等参数)，筛选出视频图像中的疑似烟支区域，主要是识别出视频中包含的烟支，实现烟支初检。具体包括如下子步骤：

S21：利用灰度世界算法(Gray World Algorithm)校正图像。

运用灰度世界算法对视频中的图像进行色彩补偿，消除在不同强度和颜色等外部光照影响下出现的颜色偏移现象，还原初始环境下的烟支图像。具体过程如下：

S211：计算通道间灰度比β

其中，AVGr、AVGg、AVGb分别为图像的R、G、B三通道的灰度平均值。

S212：判断β

S213：计算R、G、B三通道的调节系数Kr、Kg、Kb：

K

K

K

其中，AVG

S214：调整每个像素点的R、G、B值，调整计算方法如下：

P(R’)＝K

P(G’)＝K

P(B’)＝K

其中，P(R)、P(G)、P(B)分别为像素点原有的R、G、B值。

S22：将图像从RGB颜色空间转换到HSV颜色空间。图像的每个像素点在HSV颜色空间的亮度V、饱和度S和色调H计算如下：

V＝max(R，G，B) (8)

其中，R代表图像的每个像素点在红色通道上的分量；G代表图像的每个像素点在绿色通道上的分量；B代表图像的每个像素点在蓝色通道上的分量。

吸烟图像在RGB颜色空间的分布如图2所示，吸烟图像在HSV颜色空间的分布如图3所示，相比较可以看出，在HSV颜色空间，吸烟图像的颜色更加本地化，在视觉上也更加分离，因此，HSV颜色空间显示的吸烟图像有利于颜色分割。

S23：根据HSV的阈值分割模型，检测出包含烟支的图像。

烟支颜色分割的H、S、V阈值如下：

0≤H≤144，0≤S≤51，205≤V≤255 (11)

当图像中的像素点在H、S、V通道的三个分量均满足上式的约束条件时，便将其判定为烟支，反之判定为背景。

可选地，为避免在烟支初检中将口罩、眼镜等误判为烟支，还可以通过计算烟支目标在人脸区域所占的比例，来排除对非烟支目标的误检。如图4所示，与原始图像相比，分割后的图像中最大程度的保留了待检测目标的形状特征。

在步骤S3中，截取监控视频的视频帧中疑似包含烟支的时间序列图像。其中，疑似包含烟支图像即是上一步骤的初检中具有判定为烟支目标的图像。此外，由于下一步骤中的周期性吸烟动作提取及识别只在包含疑似烟支区域的时间序列图像中进行，可以减少内存资源消耗，提高程序运行效率，并且，可以实现多人的实时检测，因此，检测效率高。

在步骤S4中，利用现有的ViBe算法(由Olivier Barnich和Marc VanDroogenbroeck在2009年提出的一种背景建模方法，详见如下链接：https://ieeexplore.ieee.org/abstract/document/4959741)提取包含烟支和人体的前景目标图像。具体包括如下子步骤：

S41：背景模型的初始化。

设p(x)为二维欧式空间中视频序列在x处的灰度值，p

M(x)＝{p

当检测到视频帧中包含烟支时，从第一帧开始进行背景模型的初始化。若某一像素点可以用邻域的像素点像素值来表达，则该点的像素值与其邻域的分布也是相仿的。所以，在该像素点的邻域中，随机挑选n个像素值，并且将这些值存放在背景模型M中。

S42：提取监控视频的前景目标图像。

模型构建完成后，遍历当前帧图像，将此时某点像素值与该点的背景模型中暂存的n个像素值进行一一比对。比对方法是将某点像素值放入到二维空间中，计算该点与背景模型中暂存的n个像素值之间的相似度。当相似度大于相似度阈值时，则该像素点为背景点；反之，该像素点为前景点。

其中，相似度的计算方法为：分别计算某一像素点到背景模型中暂存的n个像素点之间的欧式距离，若欧式距离小于等于距离阈值，则二者相似；反之，若二者之间的欧式距离大于距离阈值，则二者不相似。将其中相似的像素点的个数相加得到该点的相似度，然后将该相似度与相似度阈值相比较，当相似度大于等于相似度阈值时，该点判定为背景点，否则为前景点。

如图5所示，C

S43：更新背景图像。

采用无记忆背景更新策略作为ViBe算法的更新机制，对背景像素的样本集进行替换更新，不会对前景像素点进行处理。无记忆背景更新策略是以

M(x)

需要说明的是，ViBe算法的背景更新模式不仅对当前像素的背景模型进行更新，也对邻域的像素样本集用

以上采用ViBe算法对图像进行背景建模，提取疑似烟支烟雾区域中前景目标区域，可以减少现场其它物体对吸烟检测的干扰，提高了检测准确率。

在步骤S5中，根据前景目标图像中人体姿势周期性变化规律，识别吸烟动作，如图6所示，具体包括如下子步骤：

S51：提取关节点组成肢体，实时获取多人姿态信息。

首先，在包含前景目标图像的置信图中提取关节点，并且运用非最大值抑制方法来计算关节点的像素峰值，然后，选取关节点的像素峰值中最大值作为关节点信息。其中，18个关节点与人体的对应关系如图7所示。具体过程如下：

S511：计算得出关节点的像素峰值；

关节点的实际位置是高斯热图(Heatmap)关节点的峰值，采用非最大值抑制(Non-Maximum Suppression，NMS)的方法来计算关节点的像素峰值。通过以下公式找到关节点的像素峰值：

其中，S

S512：选取关节点的像素峰值中最大值作为关节点信息；

找到每个关节点热图的所有峰值后，选取所有候选峰值中最大的峰值作为关节点信息。采用S

S

S513：对关节点信息进行肢体配对；

采用部分亲和度场(Part Affinity Fields，PAF)的方法对产生的多个关节点进行肢体点配对。计算原理为：假设两个关节点可能属于在同一个肢体上，通过测量肢体相应的PAF上的线积分对候选的关节点进行评判，确定关节点所属肢体。

肢体配对过程中是将人的肢体看作是一棵树，用树节点表示关节点，树枝干代表肢体。首先，绘制人体关节连线。然后，使用二分匹配的方法将候选肢体组装成人体的全身骨架。如图8所示，黄色圆圈表示检测到的右肩膀关节点，紫色表示要进行匹配的两个候选右手肘关节点，蓝色的箭头表示部分亲和度场的方向，右肩膀与右手肘1存在部分亲和度场进行匹配，肢体匹配后形成个人姿态。

S52：多人姿态轨迹追踪，识别人体手部周期性动作的变化规律。

利用采集到第一帧的关节点信息，对每个人生成一个边界框，通过关节点信息决定边界框的位置与宽高，对应每个人会储存不同的ID。

可选地，可以采用提取目标的表观特征进行最近邻匹配，改善有遮挡情况下的目标追踪效果，同时也减少了目标ID跳变的问题。

S53：根据人体手部周期性动作信息识别吸烟者。

通过检测一段时间内特定周期性动作的发生来识别吸烟动作。如图9所示，吸烟动作可分解为如下四步：(1)点燃烟后用手指夹持准备吸烟，此时手部逐渐贴近脸部；(2)吸入烟雾，在一段时间内手指夹持烟，手部与脸部的距离基本保持不变(最近距离)；(3)吸入烟雾后，手部与脸部逐渐远离；(4)呼出烟雾，在一段时间内手指夹持烟，手部与脸部的距离基本保持不变(最远距离)。可以看出，对于吸烟动作的轨迹追踪可以转化成手部与鼻子之间距离，即手部关节点与鼻子关节点的距离轨迹的追踪。具体过程如下：

S531：将坐标归一化处理，使人体各部位的位置关系及距离不受人与摄像头距离远近影响。

S532：设定手部与鼻子的距离阈值，设定一次吸烟的周期时长阈值。通常，设定手部与鼻子的距离阈值为M＝28mm；设定一次吸烟的周期时长阈值为σ＝15s。

S533：计算手部与鼻子的最大距离区间。

吸烟时间T和手部与鼻子的距离D的变化情况是，随时间T的增大，距离D呈现先增大、再基本不变、最后减小的趋势，该变化趋势的曲线与二次函数相似。在变化曲线上选取k个点，在每个点分别记录其时间Tk和距离Dk，用最小二乘法对其进行拟合，得到关于时间与距离的拟合二次函数如下：

其中，

根据二次函数可以求出手部与鼻子的最大距离区间：

其中，D

S534：一次周期性动作检测。

将检测到的某人手部与鼻子的距离D与距离阈值M进行比较判断，若某时刻检测到某人手部与鼻子的距离小于等于距离阈值时，对此人进行周期性动作检测。

周期性动作检测的具体过程是，开始计时，计时时间用Ti表示(i表示第i次检测)，持续观察某人手部与鼻子的距离D，当距离D开始增加，并且之后连续几帧持续增加，直到距离D增大到最大距离区间

S6：判定发生吸烟动作，并对吸烟行为发出报警。

当检测到有规定次数符合一次周期性动作，则判断发生吸烟动作并标注吸烟者，同时发出报警。通常，规定次数为三次，吸烟识别效果如图10所示。

以上将本发明提供的基于视频监控的吸烟行为检测方法进行了详细说明。基于上述吸烟行为检测方法，本发明实施例进一步提供一种基于视频监控的吸烟行为检测装置，如图11所示，该预测装置包括一个或多个处理器和存储器。其中，存储器与处理器耦接，用于存储一个或多个计算机程序，当一个或多个计算机程序被一个或多个处理器执行，使得一个或多个处理器实现如上述实施例中基于视频监控的吸烟行为检测方法。

其中，处理器用于控制该基于视频监控的吸烟行为检测装置的整体操作，以完成上述基于视频监控的吸烟行为检测方法的全部或部分步骤。该处理器模块可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。存储器用于存储各种类型的数据以支持在该网络压缩装置的操作，这些数据例如可以包括用于检测装置操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器模块可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器等。

综上所述，与现有技术相比较，本发明提供的基于视频监控的吸烟行为检测方法，通过采用烟雾识别与人体周期性吸烟动作识别相融合的技术方案，实现了在复杂环境下对吸烟行为小目标的准确检测判断。同时，本发明可以基于现有视频监控系统的硬件平台实现，无需额外再增加硬件投资。因此，本发明提供的基于视频监控的吸烟行为检测方法具有检测成本低、工作效率高，以及检测准确率高等有益效果。适用于公共场所特别是施工工地的吸烟行为检测。

上面对本发明提供的基于视频监控的吸烟行为检测方法及装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。