一种面向智慧园区的人员轨迹分析方法、设备及介质

技术领域

本发明涉及智慧园区领域，尤其涉及一种面向智慧园区的人员轨迹分析方法、设备及介质。

背景技术

公共安全始终是全社会不可忽视的一个话题，与之相辅相成的视频监控系统也得到了大量的普及。视频监控系统可以直观的再现目标场景，人员轨迹跟踪是保障社会安全的重要一环，可作为公安侦破案件的强力辅助。在执法部门的工作中，目标的识别和定位是其关键的一步，现有的发现人员轨迹的方案主要有两种：

一是基于物联网，传统电信网的无线射频技术，让一般所有能够独立寻址的物理对象进行信息互联。RFID主要依赖RFID阅读器和RFID标签进行工作。根据不同的工作频率(低/中/高频)，扫描范围也相应不同。阅读器在一定范围内读取到标签，云端即可显示该标签的详细信息以及该标签所处的位置。

二是基于人脸识别算法实现的，这种方案基本原理是获取园区门禁采集的园区进入人员的人脸信息，与园区中门禁系统的白名单人脸进行特征比对，以此来确定此人是否为白名单人员，如果不是，后续根据门禁系统采集到的人脸信息进行园区摄像头的追踪，将园区摄像头的视频流进行抽帧，调用人脸识别算法对采集到的图片进行人脸检测，多个园区摄像头采用同样方法进行连通，等待该陌生人员入镜后被捕捉到的人脸数据，判断陌生人员进入园区后的行踪，记录陌生人员进入园区后的轨迹。

然而，上述的人员轨迹跟踪方案存在很多缺点。基于无线射频技术的人员轨迹跟踪，这种方法比较耗费财力物力，需要依赖于在人员配合的情况下给每个来访人员携带上电子标签，通过RFID阅读器才能发现人员轨迹，而且电子标签相对于普通条码标签价格较高，为普通条码标签的几十倍，安全方面也避免不了人为毁坏标签以脱离跟踪等情况，使用比较局限；且技术标准不统一，不具备好的可移植性。

基于单一人脸识别的发现人员轨迹方案也存在诸多缺陷，仅仅依靠门禁系统采集人脸照片，没有考虑到从非法途径(例如翻墙、暗藏在交通工具中等)进入园区的人员，人脸识别技术提取的只是人的脸部特征信息，对于临时抽帧的图片大概率的不是正脸照，普遍存在后脑勺和侧脸的情况，正好进行正脸的人脸识别难。在戴口罩、或者灯光黑暗、拍摄角度不佳、帽子遮挡等情况下，人脸识别技术难以发挥效用。再者，摄像头拍摄的像素可能不高，尤其是远景摄像头里面人脸截出来的图像很可能都没有32x32的像素，园区摄像头都是挂在3m以上的高度，向下俯视，所以采集的图片与大头照相比，是不够清晰的。所以人脸识别在实际的重识别应用中作用有限，传统的人脸识别算法在园区的人员轨迹分析场景中并不完全适用。

发明内容

为了克服固定的摄像头的视觉局限，以及单一基于人脸识别的跟踪算法在识别不到人脸的情况下无法跟踪的缺陷，本发明提供一种面向智慧园区的人员轨迹分析方法、设备及介质，利用行人重识别(P-edestrian Re-identification，ReID)技术，给定一个监控行人图像，检索跨设备下的该行人图像。并与行人检测/行人跟踪技术相结合，发现人员轨迹。

本发明采用的技术方案是：1.一种面向智慧园区的人员轨迹分析方法，其特征是：实现的步骤如下：

S1、获取来自园区的所有监控摄像头的视频流；

S2、园区监控系统时刻对园区内出现的人员通过人脸识别算法进行人脸识别，通过步态识别算法进行步态识别，通过行人重识别方法进行行人重识别；

S3、与小区人员库进行相似度计算，如果识别到的三种特征其中一种特征与小区人员库保存对应特征的相似度大于等于第一阈值，则确认其为小区人员，不对其进行跟踪；

S4、如果识别到该人员的特征与小区人员库的特征不匹配，即三种特征的相似度均小于第一阈值，则识别其是否已在陌生人员库中；

S5、如果识别到的三种特征其中一种特征与陌生人员库保存的对应特征的相似度大于等于第一阈值，则说明该陌生人员的特征已经被陌生人员库记录，处于被跟踪的过程中，跳转到步骤S7；

S6、若否，即该陌生人员是首次出现在镜头内，通过建立一个新的ID将该陌生人员被识别到的三种特征保存到陌生人员库中，同时触发告警提示，传回当前识别的监控画面，跳转到步骤S1；

S7、记录每一个ID的行人出现在摄像头的时间和摄像头的位置到人员轨迹数据库；

S8、根据人员轨迹数据库记录的人员信息在园区的地图上按该人员出现在摄像头的时间先后顺序将摄像头的位置进行串联，实时绘制人员轨迹图，跳转到步骤S1。

作为优选的，所述小区人员库用于保存该小区所有人的人脸信息特征数据、步态特征数据、行人重识别特征数据；

所述陌生人员库用于保存陌生人的人脸特征数据、步态特征数据和行人重识别特征数据；

所述人员轨迹数据库用于记录每一个行人被识别到的时间和位置，人员轨迹数据库保存的历史数据用于回溯人员轨迹。

优选的，所述步骤S2中的人脸识别包含分步骤如下：

A1、先利用MTCNN进行人脸检测；

A2、然后再利用faceNet进行人脸识别，识别到的特征是一个embedding；

A3、根据人脸特征的embedding，与现有的人脸特征进行相似性比较，即可完成人脸识别的任务。

优选的，所述步骤S2中的人脸识别算法实现分步骤如下：

B1、建立MTCNN+faceNet模型；

B2、输入大量的人脸特征信息，人工标注人脸特征信息，划分成训练集、验证集、测试集；

B3、使用训练集来训练MTCNN+faceNet模型，训练自动定位人脸，截取人脸检测框中的人脸并提取特征；

B4、使用验证集验证MTCNN+faceNet模型的收敛情况；

B5、使用测试集测试MTCNN+faceNet模型，测试通过则输出效果最佳的MTCNN+faceNet模型为人脸识别算法。

优选的，所述步骤S2中的步态识别的实现方法如下：

C1、采集人员走路的一段视频，将视频预处理成行人与背景分离的视频图像集，形成黑白轮廓图silhouette；

C2、使用GaitSet网络直接学习步态的特征，而不是测量一系列的步态轮廓图序列和模板的相似性；

C3、通过对学习到的特征和现有的特征进行余弦距离的计算来进行识别。

优选的，所述步骤S2中的所述步态识别算法是通过如下分步骤实现的：

D1、建立GaitSet深度学习模型；

D2、使用开源的数据集CASIA Gait Database，划分成训练集、验证集和测试集；

D3、使用训练集对GaitSet模型进行训练；

D4、使用验证集验证GaitSet模型模型的收敛情况；

D5、使用测试集GaitSet模型，测试通过则输出效果最佳的GaitSe模型为步态识别算法。

优选的，所述步骤S2中行人重识别，其实现方法如下：

对视频流数据抽帧出来的图片，输入到使用开源的FastReID库搭建的训练好的行人重识别网络，得到一个特征向量，与数据库的行人重识别特征进行相似度计算，如果相似度大于第一阈值则输出为同一个人。

优选的，所述步骤S2中的行人重识别方法，其实现分步骤如下：

E1、搭建行人重识别网络；

E2、获取开源的Market1501数据集，对数据及进行预处理；

E3、将数据集划分为训练集和验证集；

E4、利用训练集训练行人重识别模型，并使用验证集对行人重识别模型进行评估，筛选出预测性能最优的行人重识别模型；

E5、利用分步骤E4得到的行人重识别模型得出行人图像间相似度分布；

E6、将视频流数据抽帧出来的图片输入到训练好的行人重识别网络，得到一个特征向量，与数据库的行人重识别特征向量进行相似度计算，如果相似度大于第一阈值，则输出该人员与数据库中的对应的人为同一个人。

一种面向智慧园区的人员轨迹分析设备，包括视频输入接口、处理器和存储装置，所述存储装置用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，所述处理器实现上述面向智慧园区的人员轨迹分析方法。

一种计算机可读存储介质，其存储有至少一个程序，当所述程序被处理器执行时，实现上述面向智慧园区的人员轨迹分析方法。

本发明的有益效果是：

(1)采用园区监控系统的所有摄像头进行人脸识别，第一时间发现陌生人员，而不是仅仅依靠园区门禁系统采集的进入园区人员信息，有助于发现以其他非法手段绕过门禁系统进入园区的危险人员，并对其进行特征记录，便于追踪。

(2)通过行人重识别技术(Person Re-identification)，利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，依靠行人的整体姿态来做检索，主要提取静态的外部特征，比如穿着、背包、发型、雨伞等，通过分析行人的穿着和体态来识别行人，多摄像头追踪识别行人，提高了人员识别跟踪的连贯性。

(3)使用步态识别技术，步态识别是一种生物特征识别技术，是对于人的全身特征的一个识别，具有远距离、跨视角、非受控的优势，通过身体体型和行走姿态来分析人的身份，其物理基础是每个人不同的生理结构：身高、头型、腿骨、臂展、肌肉、重心、神经灵敏度等，这些特征相对稳定，在视频抽帧中步态识别机会比人脸识别机会高，提高了人员识别跟踪的连贯性与准确性。

附图说明

图1为本发明的方法流程图；

图2为本发明的工作流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

参见图1和图2，本发明是一种面向智慧园区的人员轨迹分析方法、设备及介质，其中面向智慧园区的人员轨迹分析方法，实现的步骤如下：

S1、获取来自园区的所有监控摄像头的视频流；

S2、园区监控系统时刻对园区内出现的人员通过人脸识别算法进行人脸识别，通过步态识别算法进行步态识别，通过行人重识别方法进行行人重识别；

S3、与小区人员库进行相似度计算，如果识别到的三种特征其中一种特征与小区人员库保存对应特征的相似度大于等于第一阈值，则确认其为小区人员，不对其进行跟踪；

S4、如果识别到该人员的特征与小区人员库的特征不匹配，即三种特征的相似度均小于第一阈值，则识别其是否已在陌生人员库中；

S5、如果识别到的三种特征其中一种特征与陌生人员库保存的对应特征的相似度大于等于第一阈值，则说明该陌生人员的特征已经被陌生人员库记录，处于被跟踪的过程中，跳转到步骤S7；

S6、若否，即该陌生人员是首次出现在镜头内，通过建立一个新的ID将该陌生人员被识别到的三种特征保存到陌生人员库中，以便根据陌生人员库的特征对其进行跟踪，发现其轨迹；顺便同时触发告警提示，传回当前识别的监控画面，提醒保安关注该人员的轨迹。跳转到步骤S1；

S7、记录每一个ID的行人出现在摄像头的时间和摄像头的位置到人员轨迹数据库；

S8、根据人员轨迹数据库记录的人员信息在园区的地图上按该人员出现在摄像头的时间先后顺序将摄像头的位置进行串联，实时绘制人员轨迹图，跳转到步骤S1。

其中小区人员库用于保存该小区所有人的人脸信息特征数据、步态特征数据、行人重识别特征数据。

陌生人员库用于保存陌生人的人脸特征数据、步态特征数据和行人重识别特征数据。

人员轨迹数据库用于记录每一个行人被识别到的时间和位置，人员轨迹数据库保存的历史数据用于回溯人员轨迹。当发生重大案件时，方便警方进行案情回溯，发现可疑人员。

步骤S2中的人脸识别包含分步骤如下：

A1、先利用MTCNN进行人脸检测；当然也可以使用其他的人脸检测方法，如Dilb，OpenCV，OpenFace人脸检测等等，

A2、然后再利用faceNet进行人脸识别；faceNet可简单看成是提取人脸特征的CNN网络，识别到的特征是一个embedding；

A3、根据人脸特征的embedding，与现有的人脸特征进行相似性比较，即可完成人脸识别的任务。

步骤S2中的人脸识别算法实现分步骤如下：

B1、建立MTCNN+faceNet模型；

B2、输入大量的人脸特征信息，人工标注人脸特征信息，划分成训练集、验证集、测试集；

B3、使用训练集来训练MTCNN+faceNet模型，训练自动定位人脸，截取人脸检测框中的人脸并提取特征；

B4、使用验证集验证MTCNN+faceNet模型的收敛情况；

B5、使用测试集测试MTCNN+faceNet模型，测试通过则输出效果最佳的MTCNN+faceNet模型为人脸识别算法。

步骤S2中的步态识别的实现方法如下：

C1、采集人员走路的一段视频，将视频预处理成行人与背景分离的视频图像集，形成黑白轮廓图silhouette；

C2、使用GaitSet网络直接学习步态的特征，而不是测量一系列的步态轮廓图序列和模板的相似性；

C3、通过对学习到的特征和现有的特征进行余弦距离的计算来进行识别。

其中，黑白轮廓图silhouette的提取方法是：在视频中检测行人位置，使用分割/Matting/背景建模等方式得到行人的轮廓(silhouette)；并将含有行人的部分图片切割出来，使用几何重心或者其他固定的点对各帧的掩膜进行对齐。

模型输入图片除了大小需要固定为64*44这个约束外，不要求输入的时序图片必须具备时序顺序，同时对于个数也不要求，可以输入任意的个数，任意的姿态的，任意拍摄视角的轮廓图，模型输出得到一个特征向量。

步骤S2中的步态识别算法是通过如下分步骤实现的：

D1、建立GaitSet深度学习模型；

D2、使用开源的数据集CASIA Gait Database，划分成训练集、验证集和测试集；

D3、使用训练集对GaitSet模型进行训练；

D4、使用验证集验证GaitSet模型模型的收敛情况；

D5、使用测试集GaitSet模型，测试通过则输出效果最佳的GaitSe模型为步态识别算法。

步骤S2中行人重识别，其实现方法如下：

对视频流数据抽帧出来的图片，输入到使用开源的FastReID库搭建的训练好的行人重识别网络，得到一个特征向量，与数据库的行人重识别特征进行相似度计算，如果相似度大于第一阈值则输出为同一个人。

其中，训练阶段包括模块如下：

(1)预处理Pre-processing，其实就是各种数据增广方法，如Resize，Flipping，Random erasing，Auto-augment(automl中的技巧，使用该技巧去实现有效的数据增强，提高特征的鲁棒性)，Random patch，Cutout等；其中Random erasing在reid任务中效果显著。

(2)骨干网(Backbone)，包括主干网的选择(如ResNet，ResNest，ResNeXt等)和可以增强主干网表达能力的特殊模块(如non-local、instance batch normalization(IBN)模块等)；

(3)聚合模块(Aggregation)，用于将骨干网生成的特征聚合成一个全局特征，如max pooling，average pooling，GeM pooling，attention pooling等方法；

(4)Head模块，用于对生成的全局特征进行归一化、纬度约减等。

(5)训练策略，包含Learning rate，warm-up，Backbone freeze，余弦衰减(consine decay)等。

(6)损失函数，包括Cross-entropy loss，Triplet loss，Arcface loss，Circleloss；

在推理阶段，包含模块：

(1)度量部分，除支持常见的余弦和欧式距离，还添加了局部匹配方法deepspatial reconstruction(DSR)；

(2)后处理部分，指对检索结果的处理，包括K-reciprocal coding和QueryExpansion(QE)两种重排序方法。

步骤S2中的行人重识别方法，其实现分步骤如下：

E1、搭建行人重识别网络；

E2、获取开源的Market1501数据集，对数据及进行预处理；

E3、将数据集划分为训练集和验证集；

E4、利用训练集训练行人重识别模型，并使用验证集对行人重识别模型进行评估，筛选出预测性能最优的行人重识别模型；

E5、利用分步骤E4得到的行人重识别模型得出行人图像间相似度分布；

E6、将视频流数据抽帧出来的图片输入到训练好的行人重识别网络，得到一个特征向量，与数据库的行人重识别特征向量进行相似度计算，如果相似度大于第一阈值，则输出该人员与数据库中的对应的人为同一个人。

本方案中的第一阈值均为0.7。

本发明还公开了一种面向智慧园区的人员轨迹分析设备，包括视频输入接口、存储装置和处理器，存储装置用于存储一个或多个程序；当一个或多个程序被处理器执行时，处理器实现如上述的面向智慧园区的人员轨迹分析方法。

其中设备还可以优选地包括通信接口，通信接口用于与外部设备进行通信和数据交互传输。

需要说明的是，存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(nonvolatile memory)，例如至少一个磁盘存储器。

在具体实现上，如果存储器、处理器及通信接口集成在一块芯片上，则存储器、处理器及通信接口可以通过内部接口完成相互间的通信；如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。

本发明还公开一种计算机可读存储介质，其存储有至少一个程序，当程序被处理器执行时，实现如上述的面向智慧园区的人员轨迹分析方法。

应当理解，计算机可读存储介质为可存储数据或程序的任何数据存储设备，其数据或程序可由计算机系统读取。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备等。

计算机可读存储介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。

计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等，或者上述的任意合适的组合；在一些实施方案中，计算机可读存储介质还可以是非暂态的。

作为本方案的其中一个实施例，通过计算机软件系统来实现上述方法，其具体工作流程如下：

S1、获取来自园区的所有监控摄像头的视频流；

S2、园区监控系统时刻对园区内出现的人员进行人脸识别、步态识别、行人重识别，分别利用训练好的MTCNN+faceNet算法自动提取人脸特征、GaitSet算法提取步态特征，基于开源的FastReID库搭建的行人重识别算法提取行人重识别特征，但也不限于以上算法；

S3、与小区人员库进行特征信息比对，若识别到的人脸特征、步态特征和行人重识别特征其中一种与小区人员库的特征能够匹配，则其为小区人员，不对其进行跟踪；其中具体做法是分别将识别到的人脸特征、步态特征和行人重识别特征，与小区人员库的人脸特征、步态特征和行人重识别特征计算相似度，任意一种特征的相似度>0.7，则认为他们的特征是匹配的；

S4、如若该人员的特征与小区人员库的特征不匹配，则识别其是否在陌生人员库中；具体做法是分别将识别到的人脸特征、步态特征和行人重识别特征与陌生人员库的人脸特征、步态特征和行人重识别特征计算相似度，任意一种特征的相似度>0.7，则认为他们的特征是匹配的；优选的，以上相似度的计算方法，采用余弦距离计算方法；

S5、若识别到的人脸特征、步态特征、行人重识别特征其中一种能与陌生人员库的特征匹配；说明该人员的特征已经被记录，处于被跟踪的过程中，转到如步骤S7的方法对其进行标记；

S6、若否，即该人员是首次出现在镜头内，赋予他一个新ID将他识别到的人脸特征、步态特征和行人重识别特征三种特征保存到陌生人员库，以便根据陌生人员库的特征对其进行跟踪，发现其轨迹；顺便触发告警提示，传回画面，提醒保安关注该人员的轨迹；转到步骤S1，对其继续进行跟踪；

S7、记录每一个ID的行人出现在摄像头的时间和摄像头的位置到人员轨迹数据库；人员轨迹数据库保存的历史数据可用来回溯事故发生时的人员轨迹；

S8、根据人员轨迹数据库记录的人员信息在园区的地图上按该人员出现在摄像头的时间的先后顺序将摄像头的位置进行串联，实时绘制人员轨迹图，转到S1，继续执行以上步骤。

本方案中，园区的所有摄像头都要连接系统中，无论哪一个首先发现行人的出现，都要马上每一个行人进行人脸识别、步态识别，行人重识别三种特征的提取，提取不到人脸就设置人脸特征为空，与小区人员库中的人脸特征、步态特征、行人重识别特征进行相似度计算，若其中任意一种特征的相似度>0.7，则为小区人员，不对其进行跟踪；若否，与陌生人员库中的人脸特征、步态特征、行人重识别特征进行相似度计算，若其中任意一种特征的相似度是否>0.7，则在人员轨迹数据库记录每个ID对应的人员在哪个时间经过哪个摄像头；若否，即该陌生人首次出现在园区的摄像头中，则保存摄像头抓取到的人脸图片，步态特征和行人重识别特征到陌生人员库中，发出告警信息给保安人员，实时回传画面给保安人员进行了解情况。最终，根据人员轨迹数据库记录的信息，在园区的地图上绘制该行人的人员轨迹，并提供事后追溯等功能。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。