跨镜头追踪方法

技术领域

本发明涉及视觉识别技术领域，尤其是跨镜头追踪方法。

背景技术

虽然目前监控摄像机在商业应用中己经普遍存在，但并没有充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况(如逃票、危险人员、危险行为)发生后，各站点人员才通过一记录的结果观察发生的事实，但往往为时已晚。而我们需要的监控系统应能够每天连续24小时的实时智能监视，并自动分析摄像机捕捉的图像数据，当异常发生时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。

发明内容

针对现有技术的不足，本发明提供一种跨镜头追踪方法。

本发明的技术方案为：

跨镜头追踪方法，它包括以下步骤：

步骤一，视频图像可以清晰看到人脸照片时候用人脸识别技术去识别；

步骤二，当看不到人脸的时候用ReID识别技术去识别。

所述步骤一人脸识别技术包括：数据预处理和人脸识别流程。

所述数据预处理是识别过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸/REID特征在整幅图像中间的大小和位置不确定。为了保证图像大小，位置以及图像质量的一致性，必须对图像进行以下预处理。

s1直方图均衡：

直方图是一种点操作，它逐点改变图像的灰度值，尽量使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡。直方图均衡可以使输入图像转换为在每一个灰度级上都有相同像素点数的输出图像(即输出的直方图是平的)。这对于图像比较或分割是十分有用的。

s2中值滤波

无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面都有噪声的存在，噪声对图像质量有很大的影响。进行中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性，不会使图像产生显著的模糊，比较适合于实验中的人脸图像。中值滤波是一种非线性的信号处理方法，因此中值滤波器也就是一种非线性的滤波器。

s3归一化

图像的归一化，目的是使不同成像条件(光照强度，方向，距离，姿势等)下拍摄的同一个人的照片具有一致性。人脸归一化包括两个方面的内容：一是几何归一化，二是灰度归一化。灰度归一化用来对不同光强，光源方向下得到的图像进行补偿。以减弱单纯由于光照变化造成的图像信号的变化。

所述人脸识别流程包括：首先要检测到人脸，检测到之后一般会做关键点的定位，把他的眼睛、鼻子、嘴角等信息都定位出来，利用这个信息对人脸做个矫正，把它变换到比较正情形，便于后面模型分析或者处理时各个部分更好的对齐。最终会提取得到一个人脸的描述特征，通常是一个100多维到几百维的特征表达，然后我们用不同人脸特征之间的相似度或者距离，相似度是越高越好，距离是越小越好，去刻画两个人之间的关系，再卡一个域值，来判断这两个人是否为一个人。简要的说就是：人脸检测、人脸关键点定位、人脸矫正和人脸特征提取(如图2所示)。

所述步骤二ReID识别技术包括骨架关键点检测及姿态识别、动作识别和行人属性结构化。

跨镜头追踪方法还包括N:N搜索，大量的摄像头，都在实时抓拍有很多待确认人脸及ReID特征。将抓怕的特征与数据库N:N比对，输出人物ID或新增人物ID。

跨镜头追踪方法还包括跨镜头追踪及行人再识别，行人再识别：给定一张切好块的行人图像(probe image,即图像大部分内容只包含这个人),从一大堆切好块的图像(gallery images)中找到跟probe image中同一身份的人的图像。这些图像通常是由不同摄像头拍摄的不连续帧。行人跟踪：给定一张切好块的行人图像(probe image),从一段全景视频(panorama track,视野中只有一小部分是这个行人)中找到probe所在的位置。这段全景视频是由单个摄像头拍摄的连续帧。

本发明的有益效果为：将人脸识别技术和ReID识别技术相结合，根据不同的识别难度使用不同的技术，减少人力的投入，间接地降低监视所需成本，并且提高了监视的可靠性以及预警能力。

附图说明

图1为本发明的结构示意图；

图2为人脸识别流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1、2所示，第一步将视频数据源进行数据预处理，预处理是识别过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸/REID特征在整幅图像中间的大小和位置不确定。为了保证图像大小，位置以及图像质量的一致性，必须对图像进行以下预处理。

直方图均衡：

直方图是一种点操作，它逐点改变图像的灰度值，尽量使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡。直方图均衡可以使输入图像转换为在每一个灰度级上都有相同像素点数的输出图像(即输出的直方图是平的)。这对于图像比较或分割是十分有用的。

中值滤波

无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面都有噪声的存在，噪声对图像质量有很大的影响。进行中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性，不会使图像产生显著的模糊，比较适合于实验中的人脸图像。中值滤波是一种非线性的信号处理方法，因此中值滤波器也就是一种非线性的滤波器。

归一化

图像的归一化，目的是使不同成像条件(光照强度，方向，距离，姿势等)下拍摄的同一个人的照片具有一致性。人脸归一化包括两个方面的内容：一是几何归一化，二是灰度归一化。灰度归一化用来对不同光强，光源方向下得到的图像进行补偿。以减弱单纯由于光照变化造成的图像信号的变化。

第二步，人脸识别基本流程人脸识别的基本流程，首先要检测到人脸，检测到之后一般会做关键点的定位，把他的眼睛、鼻子、嘴角等信息都定位出来，利用这个信息对人脸做个矫正，把它变换到比较正情形，便于后面模型分析或者处理时各个部分更好的对齐。最终会提取得到一个人脸的描述特征，通常是一个100多维到几百维的特征表达，然后我们用不同人脸特征之间的相似度或者距离，相似度是越高越好，距离是越小越好，去刻画两个人之间的关系，再卡一个域值，来判断这两个人是否为一个人。

人脸检测

人脸关键点定位

人脸矫正

人脸特征提取

第三步，ReID识别基本方法：

骨架关键点检测及姿态识别：

一般识别出人体的几个关键点，比如头部、肩部、手掌、脚掌，用到行人姿态识别的任务中，这些技术可以应用在互动娱乐的场景中，类似于Kinnect人机互动方面，关键点检测技术是非常有价值的。

动作识别：

动作识别是基于视频的内容理解做的，技术更加复杂一点，但是它与人类的认知更加接近，应用场景会更多，这个技术目前并不成熟。动作识别可以有非常多的应用，比如闯红灯，还有公共场合突发事件的智能认知，像偷窃、聚众斗殴，摄像头识别出这样的行为之后可以采取智能措施，比如自动报警，这有非常大的社会价值。

行人属性结构化：

把行人的属性提炼出来，比如他衣服的颜色、裤子的类型、背包的颜色。

第四步，N:N搜索(需要有个相对比较大的库)：

大量的摄像头，都在实时抓拍有很多待确认人脸及ReID特征。将抓怕的特征与数据库N:N比对，输出人物ID或新增人物ID；

第五步，跨境追踪及行人再识别：

通行人再识别：给定一张切好块的行人图像(probe image,即图像大部分内容只包含这个人),从一大堆切好块的图像(gallery images)中找到跟probe image中同一身份的人的图像。这些图像通常是由不同摄像头拍摄的不连续帧。

行人跟踪：给定一张切好块的行人图像(probe image),从一段全景视频(panorama track,视野中只有一小部分是这个行人)中找到probe所在的位置。这段全景视频是由单个摄像头拍摄的连续帧。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。