基于AI模型的徘徊人员检测方法、边缘设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于AI模型的徘徊人员检测方法、边缘设备和存储介质。

背景技术

行人徘徊指某个人长时间闲逛、逗留于特定区域，通过行人徘徊检测，可以判别嫌疑人员进行报警，来取代传统人力监控值守。行人徘徊检测目前主要应用于公共场所的安防监控以及商业场所的行为分析领域。随着人工智能技术的不断发展及智能监控系统的推送，行人徘徊检测的应用场景将会逐渐增加，其重要性也会日益提高。

现有技术中徘徊检测主要是：首先跟踪监控场景中的单个目标，记录该目标的行进轨迹，随后根据该目标的轨迹长度或存在时间，判断其是否存在徘徊行为。然而现有的徘徊检测技术只能对监控区域中单个目标单次的逗留时间或轨迹长度进行记录，而对同一个人多次进入监控区域的情况无法进行有效甄别，故会造成对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

因此，有必要针对上述问题提供一种解决方法。

发明内容

本申请提供了一种基于AI模型的徘徊人员检测方法、边缘设备、存储介质。

第一方面，本申请实施例提供了一种基于AI模型的徘徊人员检测方法，包括：

获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；

启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：

步骤a：基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；

步骤b：用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；

步骤c：将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；

读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。

第二方面，本申请实施例提供了一种边缘设备，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上第一方面所述的基于AI模型的徘徊人员检测方法的步骤。

第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的基于AI模型的徘徊人员检测方法的步骤。

本申请实施例提供了一种基于AI模型的徘徊人员检测方法、边缘设备、存储介质，该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的基于AI模型的徘徊人员检测方法实现流程示意图；

图2是本申请一实施例提供的跟踪模型的示意性框图；

图3是本申请一实施例提供的徘徊检测应用具体实现的示意性框图；

图4是本申请一实施例提供的边缘设备的的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

此外，在本申请的描述中，“多个”的含义是两个或两个以上。术语“第一”和“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1是本申请一实施例提供的一种基于AI模型的徘徊人员检测方法的实现流程示意图。需要说明的是，本实施例提供的一种基于AI模型的徘徊人员检测方法应用于边缘设备。其中，边缘设备是相对于云端而言的，指除云端之外的其它本地智能设备。例如，边缘设备不仅包括边缘设备，还包括网管甚至运算环境中的机器学习设备，还可以包括分布式系统中的智能传感器、家庭自动化系统中的恒温器、门铃摄影机、安防摄像机或其它类型的连接设备等，这些设备可以独立执行机器运算，还可以与云端实现数据的协同处理。如图1所示，基于AI模型的徘徊人员检测方法包括步骤步骤S110至步骤S130。

S110：获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像。

其中，可以获取ROI区域(region of interest，感兴趣区域)中多个摄像头采集的视频帧序列，以对其在监控区域内的图像信息进行综合利用。

S120：启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：所述协同配置信息包括各AI模型调用顺序及所述各个AI模型的数据流信息。

其中，当获取到利用监控区域内的一个或多个摄像头拍摄到的视频帧序列后，启动预先存储的徘徊检测应用；在一个实施例中，也可以通过用户触发，启动预先存储的徘徊检测应用；在一个实施例中，也可以在预设的时间内段，持续运行预先存储的徘徊检测应用等。具体地，对预先存储的徘徊检测应用启动的方式在本申请实施例中不做具体限定，可根据实际需要设置不同的启动方式。

在一个实施例中，上述至少一个AI模型包括目标跟踪模型，用于执行步骤a；特征提取模型，用于执行步骤b；聚类模型，用于执行步骤c，其中：步骤a，基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；步骤b，用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；步骤c，将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果。

图2是本申请中一实施例提供的目标跟踪模型的示意图。如图2所示，目标跟踪模型，包括：行人检测模型，用于对每一所述视频帧图像进行行人检测并输出包含行人的行人检测框，行人跟踪模型，用于对所述检测出的行人检测框进行状态估计，且对所述行人的状态进行预测以获得预测结果，并将实际检测出的行人检测框与所述预测结果进行关联匹配，其中：所述行人检测模型，包括R-CNN目标检测模型、SPP-Net目标检测模型、YOLOv5目标检测模型、YOLOv7目标检测模型、RetinaNet目标检测模型中的至少一种；所述行人跟踪模型包括基于Deep-Sort的目标跟踪模型、基于JDE的目标跟踪模型的至少一种。

其中，在一个实施例中，所述行人检测模型为YoloV5人体检测模型，其包括依次相连的Backbone主干网络、Neck网络和Prediction网络；其中，所述Backbone主干网络为由Focus结构和CSP结构组合而成的网络，用于获取所述视频帧图像的特征图像；所述Neck网络为由FPN结构与PAN结构组合而成的网络，用于将所述特征图像传递到预测层；所述Prediction网络，用于对所述特征图像进行预测，获得边界框并预测类别；所述的Prediction网络使用GIOU_Loss为所述边界框的损失函数；使用加权NMS的方式对所述边界框进行筛选；所述行人跟踪模型为基于Deep-Sort的目标跟踪模型，其通过卡尔曼滤波器基于所述行人检测框对当前视频帧图像中行人的状态进行预测并输出所述预测结果(u，v，r，h)，其中(u,v)为预测框的中心坐标，r为预测框的长宽比，h为预测框的高度，并利用匈牙利算法将当前帧的所述预测结果与上一帧实际检测出的行人检测框进行关联匹配。

在一个实施例中，特征提取模型用于对所述检测框中的行人进行人脸检测及人脸特征提取以获取对应的人脸特征向量，所述特征提取模型由基于行人检测数据集对卷积神经网络(CNN)进行训练获取，所述特征提取模型的输入为所述行人检测数据集的样本图像，输出为预测的行人的人脸特征向量，所述行人检测数据集数据集包括标注了行人人脸信息的样本图像；所述聚类模型，包括人脸聚类模型，由基于行人特征重识别数据集对深度度量学习网络进行训练获取，所述行人特征重识别模型的输入为所述特征重识别数据集的样本图像，输出为聚类簇，所述样本图像包括行人人脸高相似的正样本对及行人人脸低相似的负样本对

在一个实施例中，获取所述行人在所述ROI区域的滞留时间包括包括，获取所述行人检测框的ID，在所述目标跟踪过程中，记录每一行所述人检测框ID出现的总帧数，根据摄像头的采集频率及所述帧数即可计算每一所述行人在所述ROI区域的滞留时间。例如，已知摄像头的采集频率为30FPS(30帧/秒)，假设某个行人检测框的ID在视频帧序列中出现了300帧，即可知该ID的行人在ROI区域内逗留了10s。

在一个实施例中，实现行人特征信息与所述滞留时间具有唯一映射关系，包括：将所述特征提取模型对所述检测框中的行人进行人脸检测及人脸特征提取以获取对应的人脸特征向量与所述检测框的ID进行对应，进而使得所述人脸特征向量与所述滞留时间具有所述唯一映射关系。

在一个实施例中，上述行人检测模型、上述行人跟踪模型、上述特征提取模型、上述聚类模型为通过AutoML技术预先训练好的模型。

图3是本申请一实施例提供的启动所述徘徊检测应用后，所述徘徊检测应用具体实现的流程示意图。如图3所示，当启动所述徘徊检测应用后，根据所协同配置信息，对各个模型进行调度。具体地，上述协同配置信息包括各AI模型调用顺序及所述各个AI模型的数据流信息，其中，将行人检测模型作为所述视频帧序列的第一入口；将行人检测模型检测出的所述包含行人的行人检测框作为所述行人跟踪模型的第一输入，使得目标跟踪模型输出所述行人的跟踪结果；将行人检测模型检测出的包含所述行人的行人检测框作为所述特征提取模型的第二输入，使得特征提取模型输出与所述跟踪结果具有所述唯一映射关系的行人特征信息；将所述跟踪结果、所述行人特征信息作为所述聚类模型的输入，使得所述所述聚类簇输出至少一个聚类簇。

S130：读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。

需要说明的是，每一聚类簇包括对同一行人(具有相同行人特征信息/人脸信息)所有跟踪结果(滞留时间)的集合。例如，聚类模型总共输出了3个聚类簇，其中一聚类簇为对ID为A的行人的跟踪结果的集合，其中ID为A的行人，有3条跟踪记录，滞留时间分别是，50S、100S、250S，由此可知，ID为A的行人在ROI区域重复出现的次数为3，累计滞留的时间为400S。另一聚类簇为对ID为B的行人的跟踪结果的集合，其中ID为B的行人，有10条跟踪记录，滞留时间分别是，10S、20S、50S、10S、30S，10S、50S、10S、30S，40S，，由此可知，ID为B的行人在ROI区域重复出现的次数为10，累计滞留的时间为260S。第三个聚类簇为对ID为C的行人的跟踪结果的集合，其中ID为C的行人，有4条跟踪记录，滞留时间分别是，50S、10S、20S，20S，由此可知，ID为C的行人在ROI区域重复出现的次数为4，累计滞留的时间为100S。

在一个实施例中，设定第一阈值为5，第二阈值为300S。如此，对于ID为A的行人，虽然其进入ROI区域的次数为未超过5，但其累计滞留时间超过了300S，那么其将被认定为徘徊人员。对于对于ID为B的行人，虽然累计滞留时间未超过300S，但其进入ROI区域的次数超过了5，因此，其也将被认定为徘徊人员。对于ID为C的行人，其进入ROI区域的次数为未超过5，累计滞留时间未超过300S，因此，其不会将被认定为徘徊人员。

在一个实施例中，当有行人被确定为徘徊检测人员时候，上述方法还将包括如下步骤：S140:发出警报。

本申请实施例提供的一种基于AI模型的徘徊人员检测方法该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

图4是本申请一实施例提供的边缘设备的的示意性框图。边缘设备410包括处理器411和存储器412。在一个实施例中，处理器411和存储器412通过总线113连接，所述总线113比如为I2C(Inter-integrated Circuit)总线。

具体地，处理器411可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。

具体地，存储器412可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。

其中，所述处理器411用于运行存储在存储器412中的计算机程序，并在执行所述计算机程序时实现如上图1所示方法的步骤。

示例性的，所述处理器411用于运行存储在存储器412中的计算机程序，并在执行所述计算机程序时实现如下步骤：

获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；

启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：

步骤a：基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；

步骤b：用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；

步骤c：将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；

读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。

在一个实施例中，边缘设备410为应用于安防检测的设备，包括但不限于计算机、笔记本、PAD、机器人、手持智能终端或者可穿戴智能设备等。其中，边缘设备不仅能够对摄像头进行管理，还能够对云端下发的应用进行管理，且能够基于用户的启动，进行对应的事件管理。

在一实施例中，边缘设备410包括对摄像头的管理功能、对语音采集装置的管理功能、对应用的管理功能等。其中，对摄像头的管理功能包括搜索局域网的摄像头或者添加广域网的摄像头，进而利用摄像头拍摄监控区域内的图像信息。对语音采集装置的管理功能包括搜索局域网的语音采集装置或者添加广域网的语音采集装置，进而利用语音采集装置采集的语音信息。对应用的管理功能包括将应用平台下发的至少一个应用进行导入，或者调用已缓存的至少一个应用。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如下步骤：

获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；

启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：

步骤a：基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；

步骤b：用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；

步骤c：将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；

读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。

其中，所述计算机可读存储介质可以是前述实施例中所述的边缘设备的内部存储单元，例如所述边缘设备的硬盘或内存。所述计算机可读存储介质也可以是所述边缘设备的外部存储设备，例如所述边缘设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

或者，所述计算机可读存储介质可以是前述实施例中所述的应用平台的内部存储单元，例如所述应用平台的硬盘或内存。所述计算机可读存储介质也可以是所述应用平台的外部存储设备，例如所述应用平台上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

本申请实施例提供了一种基于AI模型的徘徊人员检测方法、边缘设备、存储介质，该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。