室内工作状态的视频监控方法

技术领域

本发明属于视频AI处理技术领域，特别涉及一种室内工作状态的视频监控方法，尤其涉及一种值班人员的工作状态的视频监控方法。

背景技术

随着计算机深度学习技术的发展，利用基于目标检测的技术进行人员的在岗检测可有效地减少对传统人工巡检或人工翻看监控的依赖，并提高检测效率。但现有的利用计算机技术进行人员在岗检测的方法主要是通过获取人身或头部的特征信息训练分类器对人员进行识别，并判断人员是否在岗。但是，在对人员监控时，除了监控人员是否到岗，现有技术中还具有监控人员是否消极怠工(如睡觉)的需求。

发明内容

为了解决前述问题，本发明实施例提供了一种室内工作状态的视频监控方法，针对人体多关节的特点和服饰颜色多样性的特点进行人员跟踪，得到人体的运动状态，进而判断人员的工作状态，包括离岗、消极怠工等。所述技术方案如下：

一方面，本发明实施例提供了一种室内工作状态的视频监控方法，包括如下步骤：

S101：通过Faster RCNN算法对单帧视频进行人体检测，得到人体的目标区域。

S102：根据步骤S101的检测结果，通过TLD算法采用梯度方向直方图特征和颜色分类特征进行人体跟踪，得到时域上目标区域的位置。

S103：根据步骤S101的检测结果和步骤S102的跟踪结果判断人体的运动状态；每隔T帧通过检测结果对跟踪结果进行修正。

S104：根据步骤S103的运动状态判断人员的工作状态。

其中，Faster RCNN算法的训练样本包括站立姿势、坐下姿势、趴下姿势和躺下姿势的人体样本，其网络结构的目标种类包括人体、椅子、桌子、显示器和沙发。

其中，步骤S102具体包括：

S201：获取第一帧图像和步骤S101的检测结果。

S202：初始化分类学习的样本库。

S203：获取下一帧图像。

S204：TLD算法根据梯度方向直方图特征得到轨迹参数。

S205：根据颜色分类特征得到分类结果。

S206：根据分类结果和轨迹参数的重叠率，输出相应的结果作为人体的跟踪结果。

具体地，步骤S202包括：根据第一帧图像和步骤S101得到的人体的目标区域确定图中目标边界框的信息，然后在目标框周围产生N个IOU大于K3且尺寸与目标尺寸相同的样本，对样本分别进行平移、旋转和缩放操作，每个样本均产生M个子样本，将N*M个子样本组成正样本；对应地，产生IOU不大于K4的子样本作为背景样本。

具体地，步骤S204包括：在当前帧的目标区域内产生均匀分布的阵列点，提取梯度方向直方图特征，通过梯度方向直方图特征匹配计算阵列点在下一帧的位置，再利用计算得到的下一帧的阵列点反向计算得到当前帧的阵列点，计算FB误差，去除FB误差大于第一阈值的阵列点，剩余的阵列点作为跟踪点；获取相邻帧的对应跟踪点后，计算得到下一帧的目标区域的位置。

具体地，步骤S205包括：获取视频图像和步骤S101得到的人体的目标区域，将当前帧的目标区域所在位置及其相邻区域作为下一帧的疑似目标区域，用不同尺寸的扫描窗对图像进行扫描，扫描结果依次经过颜色特征分类器、随机蕨分类器和最近邻分类器进行处理，得到下一帧的目标区域的位置。

具体地，步骤S206包括：计算分类结果和轨迹参数的重叠率，若重叠率大于等于第二阈值，则将轨迹参数与分类结果的平均值作为跟踪结果；若重叠率小于第二阈值，计算轨迹参数和分类结果的置信度；若分类结果的置信度大于轨迹参数的置信度，则以分类结果作为跟踪结果；若轨迹参数的置信度大于分类结果的置信度，则以轨迹参数作为跟踪结果。

具体地，修正过程为：计算检测结果和跟踪结果的IOU，以检测结果和跟踪结果的IOU通过匈牙利分配算法计算关联性；若检测结果和跟踪结果相互关联且检测结果和跟踪结果的IOU大于K1，认为跟踪结果正确；若检测结果和跟踪结果相互关联且检测结果和跟踪结果的IOU大于K2小于K1，则取检测结果和跟踪结果的平均值作为跟踪结果；若检测结果和跟踪结果相互关联且检测结果和跟踪结果的IOU小于K2，则使用检测结果替换跟踪结果；若检测结果与所有的跟踪结果均不相互关联，则认为有新的目标出现，对新目标进行跟踪；若跟踪结果与所有的检测结果均不相互关联，则认为跟踪结果正确。

其中，匈牙利分配算法要解决的问题描述为：N个人分配N项任务，一个人只能分配一项任务，一项任务只能分配给一个人，将一项任务分配给一个人是需要支付报酬，如何分配任务，保证支付的报酬总数最小。就本方案来说，即是将N个检测结果和N个跟踪结果进行配对，分别计算每一对检测结果区域中心和跟踪结果区域中心的欧氏距离，保证N个欧氏距离的和最小。

因此，当检测结果(N个)和跟踪结果(M个)的数目不相等，即N≠M时，令K＝min(N，M)。基于匈牙利分配算法，可以得到K对相互关联的检测结果和跟踪结果。如果N>K,则存在(N-K)个检测结果与所有的跟踪结果均不相互关联；否则(即M>K),存在(M-K)个跟踪结果与所有的检测结果均不相互关联。

其中，在步骤S103中，通过目标区域的质心在帧间的位i移量判断人体的运动状态，运动状态包括运动和静止；步骤S104包括：当图像中没有发现目标且目标的消失帧数大于阈值Z1时，则判断人员离岗；当人员轨迹连续静止的帧数大于阈值Z2时，则判断人员怠工；当位移量大于等于阈值Y1时，则判断人员正常工作；当位移量小于阈值Y1时，获取人体局部区域的位移量，若人体局部区域的位移量大于等于阈值Y2时，则判断人员正常工作；若小于阈值Y2时，则判断人员怠工。

另一方面，本发明实施例还提供了一种室内工作状态的视频监控装置，该装置包括：

人体检测模块，用于通过Faster RCNN算法对单帧视频进行人体检测，得到人体的目标区域。

人体跟踪模块，用于根据人体检测模块的检测结果，通过TLD算法采用梯度方向直方图特征和颜色分类特征进行人体跟踪，得到时域上目标区域的位置。

运动状态判断模块，用于根据人体检测模块的检测结果和人体跟踪模块的跟踪结果判断人体的运动状态；每隔T帧通过检测结果对跟踪结果进行修正。

工作状态判断模块，用于根据运动状态判断模块的运动状态判断人员的工作状态。

本发明实施例提供的技术方案带来的有益效果是：本发明实施例提供了一种室内工作状态的视频监控方法，针对人体多关节的特点和服饰颜色多样性的特点进行人员跟踪，得到人体的运动状态，进而判断人员的工作状态，包括离岗、消极怠工等。具体地，针对人体多关节的特点和服饰颜色多样性的特点，采用根据梯度方向直方图特征和颜色分类特征对人体进行跟踪。其中，人体服饰颜色与背景差异大，受噪音影响小，保证了跟踪算法的稳定性。另外，采用梯度方向直方图特征进行人体跟踪，运算量小。具体地，本专利的跟踪算法对遮挡、尺寸变化等均具有良好的适用性。

附图说明

图1是本发明实施例中的室内工作状态的视频监控方法的流程图；

图2是本发明实施例中的步骤S102的详细流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

实施例1

参见图1，实施例1提供了一种室内工作状态的视频监控方法，包括如下步骤：

S101：通过Faster RCNN算法对单帧视频进行人体检测，得到人体的目标区域。其中，Faster RCNN算法的训练样本包括站立姿势、坐下姿势、趴下姿势和躺下姿势等的人体样本，其网络结构的目标种类包括人体、椅子、桌子、显示器和沙发等。当然根据需求可以训练其他人体姿势和其他目标，为了保证检测的准确性，训练样本的数量最好大于2万个。通常情况下，Faster RCNN算法的检出率大于90％，针对本专利的目的完全足够。

S102：根据步骤S101的检测结果，通过TLD算法采用梯度方向直方图特征和颜色分类特征进行人体跟踪，得到时域上目标区域的位置。其中，通过TLD算法采用梯度方向直方图特征进行人体跟踪为较常规的方法，梯度方向直方图特征能较好地表征人体的特征，同时，采用梯度方向直方图特征进行运算，运算量较小。

S103：根据步骤S101的检测结果和步骤S102的跟踪结果判断人体的运动状态，该过程为常规技术；每隔T帧通过检测结果对跟踪结果进行修正以保证跟踪的准确性。其中，T根据需要进行设置，如可以为5-20。

S104：根据步骤S103的运动状态判断人员的工作状态，工作状态包括离岗、睡觉、消极怠工和正常办公等，通过运动状态结合判断策略进行判断。

其中，参见图2，步骤S102具体包括：

S201：获取第一帧图像和步骤S101的检测结果。

S202：初始化分类学习的样本库。

S203：获取下一帧图像。

S204：TLD算法根据梯度方向直方图特征得到轨迹参数。

S205：根据颜色分类特征得到分类结果。

S206：根据分类结果和轨迹参数的重叠率，输出相应的结果作为人体的跟踪结果。

具体地，步骤S202包括：根据第一帧图像和步骤S101得到的人体的目标区域确定图中目标边界框的信息，然后在目标框周围产生N个IOU大于K3且尺寸与目标尺寸相同的样本，对样本分别进行平移、旋转和缩放操作，每个样本均产生M个子样本，将N*M个子样本组成正样本；对应地，产生IOU不大于K4的子样本作为背景样本。其中，N、M、K3和K4根据需要进行设置，正样本和背景样本为TLD算法中的常规定义。如K3为0.85，K4为0.25。

具体地，步骤S204包括：在当前帧的目标区域内产生均匀分布的阵列点，提取梯度方向直方图特征，通过梯度方向直方图特征匹配计算阵列点在下一帧的位置，再利用计算得到的下一帧的阵列点反向计算得到当前帧的阵列点，计算FB误差，去除FB误差大于第一阈值(根据需要进行设置)的阵列点，剩余的阵列点作为跟踪点；获取相邻帧的对应跟踪点后，计算得到下一帧的目标区域的位置。

具体地，步骤S205包括：获取视频图像和步骤S101得到的人体的目标区域，将当前帧的目标区域所在位置及其相邻区域作为下一帧的疑似目标区域，用不同尺寸的扫描窗(如目标尺寸0.5-2.0倍大小)对图像进行扫描，扫描结果依次经过颜色特征分类器、随机蕨分类器和最近邻分类器进行处理，得到下一帧的目标区域的位置。颜色特征分类器、随机蕨分类器和最近邻分类器均为常规分类器。其中，颜色特征分类器，用于比较样本间的颜色特征相似度，提取和目标样本相似度大于阈值的样本，可剔除大量样本。随机蕨分类器，用于分析目标样本和背景样本的概率分布直方图，通过概率对样本进行分类。最近邻分类器，用于根据样本的相对相似度，对样本进行分类。

具体地，步骤S206包括：计算分类结果和轨迹参数的重叠率(根据需要进行设置，具体可以为0.6-0.8)，若重叠率大于等于第二阈值，则将轨迹参数与分类结果的平均值作为跟踪结果。若重叠率小于第二阈值，计算轨迹参数和分类结果的置信度；若分类结果的置信度大于轨迹参数的置信度，则以分类结果作为跟踪结果；若轨迹参数的置信度大于分类结果的置信度，则以轨迹参数作为跟踪结果。该过程融合了分类和跟踪的优点，提高了跟踪的准确性。

具体地，修正过程为：计算检测结果和跟踪结果的IOU，以检测结果和跟踪结果的IOU通过匈牙利分配算法计算关联性。若检测结果和跟踪结果相互关联且检测结果和跟踪结果的IOU大于K1(根据需要进行设置，具体可以为0.6-0.8)，认为跟踪结果正确。若检测结果和跟踪结果相互关联且检测结果和跟踪结果的IOU大于K2(根据需要进行设置，具体可以为0.2-0.3)小于K1，则取检测结果和跟踪结果的平均值作为跟踪结果。若检测结果和跟踪结果相互关联且检测结果和跟踪结果的IOU小于K2，则使用检测结果替换跟踪结果。若检测结果与所有的跟踪结果均不相互关联，则认为有新的目标出现，对新目标进行跟踪。若跟踪结果与所有的检测结果均不相互关联，则认为跟踪结果正确。

其中，在步骤S103中，通过目标区域的质心在帧间的位移量(具体为欧拉距离)判断人体的运动状态，运动状态包括运动和静止。步骤S104包括：当图像中没有发现目标且目标的消失帧数大于阈值Z1时，则判断人员离岗。当人员轨迹连续静止的帧数大于阈值Z2时，则判断人员怠工(可以细分为睡觉)。当位移量大于等于阈值Y1时，则判断人员正常工作。当位移量小于阈值Y1时，获取人体局部区域的位移量(通过步骤S102结合其他方法得到)，若人体局部区域的位移量大于等于阈值Y2时，则判断人员正常工作；若小于阈值Y2时，则判断人员怠工。阈值Z1、Z2、Y1和Y2可根据需要进行设置，如设置Z1为15000帧。

对本专利的方法进行测试，过程如下：

试验一，从互联网上下载视频五个，通过本专利的方法进行跟踪，得到跟踪后的目标区域；在相同时间点，采用人工进行人体分割。视频一为253帧，为单目标场景，场景空旷，人体移动较多，标记大小为700*400(以像素计，后同)；视频二为140帧，为多目标场景，场景空旷，标记大小为525*210；视频三为1344帧，为单目标场景，场景复杂，场景中具有大量的办公用品，标记大小为700*400；视频四为2790帧，为单目标场景，场景空旷，人体移动较少，标记大小为350*250；视频五为841帧，为多目标场景，场景空旷，中途有新目标加入，部分目标移动较多，少量人体基本不移动，标记大小为150*100。每隔视频均匀取十帧，计算自动标记与人工标记的中心距误差(以像素计)，结果如表1所示：

表1

从表1可以看出，在各种场景下和长时间监控下，本专利的跟踪方法均能准确地获取人体的位置。

试验二，从互联网上下载一个视频，总长5415帧，为常见的多工位办公室场景，目标有五个；第一个目标中途离岗，第二个目标中途趴在工位上睡觉约3分钟，第三、四和五个目标全程正常办公。对每帧均进行处理，对离岗、睡觉和怠工(不包括睡觉)发生帧进行人工标记，人工判断状态，计算识别成功率，结果如表2所示：

表2

从表2可以看出，本发明的识别成功率较高，尤其是识别睡觉和离岗的成功率较高。

实施例2

实施例2提供了一种室内工作状态的视频监控装置，该装置包括：

人体检测模块，用于通过Faster RCNN算法对单帧视频进行人体检测，得到人体的目标区域。

人体跟踪模块，用于根据人体检测模块的检测结果，通过TLD算法采用梯度方向直方图特征和颜色分类特征进行人体跟踪，得到时域上目标区域的位置。

运动状态判断模块，用于根据人体检测模块的检测结果和人体跟踪模块的跟踪结果判断人体的运动状态；每隔T帧通过检测结果对跟踪结果进行修正。

工作状态判断模块，用于根据运动状态判断模块的运动状态判断人员的工作状态。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。