基于视频流数据的工作服颜色检测方法及装置

技术领域

本发明涉及数字视频智能分析技术领域，尤其涉及一种基于视频流数据的工作服颜色检测方法。

背景技术

在互联网技术中，在传统视频检测中，分析识别的内容需要人工实现。但该方式劳动强度高，工作量巨大并且容易出错，不具备实施对范围内的运动目标进行检测跟踪功能。

相关技术中，智能视频检测分析识别技术克服了传统检测识别系统人眼识别的缺陷，并将行为识别等技术引入到电力行业监控中。但是其中的静态分类检测器方法通常在现场使用中会误识别人，导致基于此对象判断结果出现误判。

动态视频检测流方法通过检测活动的人体目标，再进行工作服识别的方法，降低了静态类似目标的干扰，有助于提升检测目标人判断的准确率。

但是，动态视频检测流方法对于工作服的多场景下的适应还不够全面，尤其是不能稳定反映颜色变化敏感导致工作服颜色的识别。在实际运用中每个场景都要单独调试，造成使用成本及维护成本高，难以转化为产品提供给用户。

发明内容

为了解决上述问题，本发明提供了一种基于视频流数据的工作服颜色检测方法及装置。

根据本发明的一个方面，提供了一种基于视频流数据的工作服颜色检测方法。该方法包括：根据视频流数据中的当前帧图片和前一帧图片，确定第一矩形框，该第一矩形框为包含该视频流数据中的人体对象的最小区域；在该第一矩形框中确定第二矩形框，该第二矩形框为包含该人体对象身上的工作服的最小区域；以及检测该第二矩形框中的工作服的颜色。

根据本发明的实施例，根据视频流数据中的当前帧图片和前一帧图片确定第一矩形框包括：获取当前帧图片和前一帧图片中的每个像素点对应的灰度值；根据该灰度值，确定该人体对象的运动区域；以及根据该运动区域，确定该第一矩形框。

根据本发明的实施例，根据该灰度值，确定该人体对象的运动区域包括：计算D

根据本发明的实施例，根据该运动区域确定该第一矩形框包括：从下到上对该运动区域进行遍历，获得每一行的最左边的边缘像素点的横坐标xl

根据本发明的实施例，在根据该灰度值确定该人体对象的运动区域之前，该方法还包括：确定该运动区域与预先设定的人体特征模型之间的相似度；如果该相似度大于预先设定的阈值X，则确定该运动区域中存在该人体对象。

根据本发明的实施例，在该第一矩形框中确定该第二矩形框包括：在该运动区域中去除该人体对象的头部区域。

根据本发明的实施例，在该运动区域中去除该人体对象的头部区域包括：从下到上对该运动区域进行遍历，获得每一行的最左边的边缘像素点的横坐标xl

根据本发明的实施例，检测该第二矩形框中的工作服的颜色包括：在该当前帧图片中，提取该第二矩形框中的该工作服的彩色图像；确定具有预先设定的颜色的像素点占据该彩色图像中的全部像素点的比例；以及如果该比例大于预先设定的阈值，则确定该工作服的颜色为该预先设定的颜色。

根据本发明的实施例，在确定具有预先设定的颜色的像素点占据该彩色图像中的全部像素点的比例之前，该方法还包括：将该彩色图像转为HSV图像；以及设置该预先设定的颜色所对应的色调H、饱和度S和明度V的取值范围；确定具有预先设定的颜色的像素点占据该彩色图像中的全部像素点的比例包括：确定落入该预先设定的取值范围的像素点占据该HSV图像的全部像素点的比例。

根据本发明的另一个方面，提供了一种基于视频流数据的工作服颜色检测装置，该装置用于执行前述的基于视频流数据的工作服颜色检测方法。该装置包括：第一确定模块，用于根据视频流数据中的当前帧图片和前一帧图片，确定第一矩形框，该第一矩形框为包含该视频流数据中的人体的最小区域；第二确定模块，用于在该第一矩形框中确定第二矩形框，该第二矩形框为包含该人体身上的工作服的最小区域；以及检测模块，用于检测该第二矩形框中的工作服的颜色。

本发明先后确定了第一矩形框和第二矩形框，从而清楚确定了人体对象身上的工作服的区域，排除了场景颜色的影响，提高了检测成功率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种基于视频流数据的工作服颜色检测方法的流程图；

图2是根据本发明实施例的一种基于视频流数据的工作服颜色检测方法的具体实例的流程图；以及

图3是根据本发明实施例的一种基于视频流数据的工作服颜色检测装置的示意性框图。

具体实施方式

需要说明的是，在不冲突的情况下，本专利中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

根据本发明的实施例，提供了一种基于视频流数据的工作服颜色检测方法。图1为根据本发明实施例的一种基于视频流数据的工作服颜色检测方法的流程图，如图1所示，该方法包括：根据视频流数据中的当前帧图片和前一帧图片，确定第一矩形框，该第一矩形框为包含该视频流数据中的人体对象的最小区域；在该第一矩形框中确定第二矩形框，该第二矩形框为包含该人体对象身上的工作服的最小区域；以及检测该第二矩形框中的工作服的颜色。

相关技术中，对处于不同颜色场景的人们，其工作服颜色的检测易受到场景颜色的影响，所以检测成功率比较低。本发明实施例中，先后确定了第一矩形框和第二矩形框，从而清楚确定了人体对象身上的工作服的区域，排除了场景颜色的影响，提高了检测成功率。

根据本发明的实施例，通过视频流数据中的当前帧图片和前一帧图片确定第一矩形框包括：获取当前帧图片和前一帧图片中的每个像素点对应的灰度值；根据该灰度值，确定该人体对象的运动区域；以及根据该运动区域，确定该第一矩形框。具体来说，根据该灰度值，确定该人体对象的运动区域的步骤包括：计算D

在本发明实施例中，可通过分量法、最大值法、平均值法或加权平均法等常见的方法对彩色图像进行灰度化处理得到灰度值，但考虑到人眼对颜色的敏感程度不同，因此优选加权平均法，即根据重要性及其它指标，将RGB三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，故按下式对RGB三分量进行加权平均能得到较合理的灰度图像，需要说明的是三个分量的权值并不限于所列明的经验值，其他能得到较合理的灰度图像的权值仍在本专利的保护范围之内。

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

在本发明实施例中，由于摄像机采集的视频序列具有连续性的特点，如果场景内没有运动区域，则连续帧的变化很微弱，如果存在运动区域，则连续的帧和帧之间会有明显地变化。因此通过帧间差分法对不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动区域，从而实现目标的检测功能。设置设定阈值T，逐个对像素点进行二值化处理，得到二值化图像R

本发明实施例通过将采集到的彩色图进行灰度化处理，既可提高后续算法速度，还可提高系统综合应用实效，能达到更为理想的要求。由于帧间差分法的原理简单，计算量小，也可快速检测出场景中的运动区域。但通过帧间差分法与其它的检测算法结合使用来检测运动区域仍在本专利的保护范围之内。

根据本发明的实施例，通过该运动区域确定该第一矩形框包括：从下到上对该运动区域进行遍历，获得每一行的最左边的边缘像素点的横坐标xl

本实施例详细描述了第一矩形框的确定步骤。通过构建矩形框的方式将运动物体与背景独立分开，有助于提升检测目标人判断的准确率。

根据本发明的一个实施例，在根据灰度值确定人体对象的运动区域之前，该方法还包括：确定该运动区域与预先设定的人体特征模型之间的相似度；如果所述相似度大于预先设定的阈值X，则确定所该运动区域中存在该人体对象。

在本发明实施例中，该人体特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：训练时，输入大量人体图片作为正样本，输入大量无人员图片作为负样本，通过神经网络模型训练分类器进行训练学习并得到人体特征模型；识别时，输入运动区域的前景图片，通过运动区域的前景图片与神经网络模型训练分类器进行训练学习并得到人体特征模型。

本实施例使用了人体特征模型与运动区域进行匹配，该人体特征模型通过神经网络模型训练分类器训练和识别得到，因此本实施例能够提高运动区域匹配的准确度。

根据本发明的一个实施例，在该第一矩形框中确定该第二矩形框包括：在该运动区域中去除该人体对象的头部区域。具体来说，从下到上对该运动区域进行遍历，获得每一行的最左边的边缘像素点的横坐标xl

在本发明实施例中，在该第一矩形框中确定该第二矩形框包括：在该运动区域中去除该人体对象的下身区域。具体来说，以第一矩形框下边缘1/M靠近上边缘的位置作为身体区域下边缘，其中M的取值优选3。

本实施例详细描述了第二矩形框的确定步骤。根据人体比例确定了人体对象的上身位置，以上身位置作为工作服估测区域，从而提高了工作服颜色检测的准确度。

根据本发明的实施例，检测该第二矩形框中的工作服的颜色包括：在该当前帧图片中，提取该第二矩形框中的该工作服的彩色图像；确定预先设定的颜色占据该彩色图像中的全部像素点的比例；以及如果该比例大于预先设定的阈值，则确定该工作服的颜色为该预先设定的颜色。

本实施例中，在确定预先设定的颜色占据该彩色图像中的全部像素点的比例之前，该方法还包括：将该彩色图像转为HSV图像；以及设置该预先设定的颜色所对应的色调H、饱和度S和明度V的取值范围；确定预先设定的颜色占据该彩色图像中的全部像素点的比例包括：确定落入该预先设定的取值范围的像素点占据该HSV图像的全部像素点的比例，得到数值比例T，设置阈值T1，如果特定颜色的T值中存在一个值超过T1，则判定已穿戴工作服；如果特定颜色的T值均小于T1，则判断未穿戴工作服。

本实施例中通过将彩色图像转化为HSV图像，非常直观地表达了颜色的色调、鲜艳程度和明暗程度，有利于颜色的对比。另外根据确定落入该预先设定的取值范围的像素点占据该HSV图像的全部像素点的比例，提高了由于颜色变化敏感环境下工作服颜色的识别的稳定性。

为了进一步说明上述实施例的实现过程，本发明还提供了一个具体实施例。图2是根据本发明实施例的一种基于视频流数据的工作服颜色检测方法的具体实例的流程图，如图2所示，包括如下的步骤201至步骤207。

步骤201、视频流数据获取。

在施工现场中作业人员的活动区域设置摄像头，获取摄像机视频流，并对视频流数据进行逐帧解码，提取当前帧和前几帧进行灰度化处理得到当前帧和前几帧的灰度图。

步骤202、活动目标提取。

提取前一帧与当前帧，采用加权平均法对前一帧与当前帧图片进行灰度化处理，即对每个像素点的R，G，B三个分量分配不同的权重，具体公式如下：f(x，y)＝0.3R(x，y)+0.59G(x，y)+0.11B(x，y)，式中，R(x，y)、G(x，y)、B(x，y)分别指坐标为(x，y)的像素的R，G，B分量，f(x，y)指坐标为(x，y)的像素转换后的灰度值。

使用帧间差分法对前一帧和当前帧的灰度图进行处理，得到运动物体图(运动区域)，过程如下：将两帧图像对应像素的灰度值进行相减，并取其绝对值，得到差分图像D

步骤203、构建运动物体矩形框(运动物体矩形框相当于第一矩形框)。

从下到上对该运动物体边缘图进行遍历，获得每一行的最左边的边缘像素xl

步骤204、人体目标匹配。

截取步骤二、三中判断为活动目标的图片与人体特征模型进行匹配，若大于相似度X，则判断前景图片中有人体目标，并进入下一步；反之，则判断待测目标图像中没有人体目标，并返回步骤二继续进行活动目标的提取操作；其中X值越大，表示目标为人的可能性越高：

步骤205、肩膀定位(相当于构建第二矩形框)。

对人体矩形框进行切割，得到身体区域，具体如下：取人体矩形框上边缘作为身体区域上边缘，人体矩形框下边缘1/3靠近上边缘的位置作为身体区域下边缘，人体矩形框的左边缘和右边缘作为身体区域的左边缘和右边缘；从下到上遍历身体区域获得每一行最左边缘点和最右边缘点的横坐标，xl

步骤206、工作服颜色匹配。

提取工作服矩形框在人体彩色图对应位置的图像，得到工作服区域彩色图，以颜色为依据逐一对工作服区域彩色图进行判断；其判断过程如下：将工作服区域彩色图转为HSV图像，由于工作服有红色、蓝色等颜色，列举红色、蓝色、为例子作为判断标准，这四种颜色对应的色调H、饱和度S、明度V的取值范围如下：

红色：H:0-10和156-180；S:43-255；V:46-255

蓝色：H:100-124；S:43-255；V:46-255

步骤207、工作服规定颜色匹配。

对每个像素的颜色进行分类，过程如下：如果待分类像素的H、S、V值均满足某种颜色的取值范围，则判断该像素的颜色属于该颜色；分类结束后，计算红色、蓝色的像素占全部像素的比例，得到红色比例Tr、蓝色比例Tb；设置阈值T1，如果Tr、Tb中存在一个值超过T1，则判定已穿戴工作服；如果Tr、Tb均小于T1，则判断未穿戴工作服。

根据本发明的实施例，还提供了一种基于视频流数据的工作服颜色检测装置，该检测装置用于执行前述的基于视频流数据的工作服颜色检测方法。图3为根据本发明实施例的一种基于视频流数据的工作服颜色检测装置的示意性框图，如图3所示，该检测装置包括：

第一确定模块31，用于根据视频流数据中的当前帧图片和前一帧图片，确定第一矩形框，该第一矩形框为包含该视频流数据中的人体的最小区域；第二确定模块32，连接到第一确定模块31，用于在该第一确定模块确定的第一矩形框中确定第二矩形框，该第二矩形框为包含该人体身上的工作服的最小区域；以及检测模块33，连接到第二确定模块32，用于检测该第二确定模块确定的第二矩形框中的工作服的颜色。

在本发明实施例中，第一确定模块31包括：获取子模块，用于获取当前帧图片和前一帧图片中的每个像素点对应的灰度值；第一确定子模块，连接到获取子模块，用于根据该获取子模块获取的灰度值，确定运动区域；以及第二确定子模块，连接到第一确定子模块，用于根据该第一确定子模块确定的运动区域，确定该第一矩形框。

在本发明实施例中，第二确定模块32包括：第一去除子模块，用于去除该运动区域中人体对象的头部区域；以及第二去除子模块，用于去除该运动区域中人体对象的下身区域。

在本发明实施例中，检测模块33包括：第三确定子模块，用于确定具有预先设定的颜色的像素点占据该彩色图像中的全部像素点的比例；以及第四确定子模块，连接到第三确定子模块，用于确定该工作服的颜色为该预先设定的颜色。

综上所述，根据本发明的上述实施例，提供了一种基于视频流数据的工作服颜色检测方法及装置。本发明先后确定了第一矩形框和第二矩形框，从而清楚确定了人体对象身上的工作服的区域，排除了场景颜色的影响，提高了检测成功率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。