一种基于深度学习的行人徘徊滞留检测方法、系统及介质

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种基于深度学习的行人徘徊滞留检测方法、系统及介质。

背景技术

随着科学技术的快速发展，智能视频监控中的视频分析技术以其无需人为干预的情况下能够自动对监控场景的视频序列进行实时分析、定位、跟踪和识别目标等优势，引起了人们越来越多的关注，并成为智能视觉系统中的一个研究热点。徘徊行为检测是视频监控的一项重要内容，它反映行人目标彷徨、矛盾的心理过程，是一种常见的视频分析技术。徘徊行为表现为目标在某区域内反复的往返或无规则的运动，是一种复杂的行为模式。

在传统方法中，徘徊滞留常常作为行人异常行为识别的一部分，这类方法往往存在以下几点缺陷：（1）将徘徊滞留常常作为行人异常行为识别的一部分， 这类做法并没有对徘徊滞留这一问题的特异性做专业处理；（2）传统的行人异常行为识别方法往往使用前背景建模的方法提取来获得人体，这种方法会因为各种嘈杂物体的运动造成过多错误检测；（3）传统行人识别方法的分类器较为简单（类似SVM，决策树），这种分类器对异常行为分析的置信度较低。例如，专利文献（CN105608479A）结合深度数据的异常行为检测方法及系统该专利使用前背景提取的方法获取人体目标，这种方法的准确率不高，会有很多无关的物体被识别为人体，而且异常行为检测部分做的过于简单，就针对行人徘徊滞留这一部分，该方法没有考虑现实情况，对于行人跟踪丢失、行人二次进入摄像机画面、行人被遮挡后再次出现等情况进行相关处理；况且该方案需要使用至少一个深度摄像头和一个常规摄像头，部署成本偏高。专利文献（CN103150579A）使用前背景提取的方法获取人体目标，同上，这类方法的准确率不高，且该方法使用SVM作为分类器，该分类器对异常行为分析的置信度较低， 相比于神经网络方法较为无力。

综上可见，现有技术虽然进行了行人徘徊检测的尝试，但仍存在例如上述的许多技术问题。

发明内容

为了解决上述背景技术中存在的技术问题，本申请提供了一种基于深度学习的行人徘徊滞留检测方法、系统及介质，以提高行人徘徊滞留检测的精度。

本申请的第一方面提供了一种基于深度学习的行人徘徊滞留检测方法，所述方法包括：

行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；

行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；

跟踪模块采用跟踪算法区分图像帧中不同的行人目标；

重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；

重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；

徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。

可选地，所述行人检测模块所采用的深度学习模型为YOLOv5。

可选地，所述跟踪模块采用跟踪算法为匈牙利匹配算法。

可选地，所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：

先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。

可选地，采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：

其中，

可选地，所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人。

可选地，重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：

将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一个分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二个分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征；融合所述整体特征和所述细微特征，并特征融合结果作为该行人的步态特征；

采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。

可选地，采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：

其中，

本申请的第二方面提供了一种基于深度学习的行人徘徊滞留检测系统，所述系统包括行人检测模块、行人质量评估及处理模块、跟踪模块、重识别模块、重识别校验模块和徘徊滞留判断模块；其中，

所述行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；

所述行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；

所述跟踪模块采用跟踪算法区分图像帧中不同的行人目标；

所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；

所述重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；

所述徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。

本申请的第三方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

本发明的有益效果在于：

(1)本申请的方案在行人检测模块之后接入了行人质量评估模块，将模糊程度高及行人图像不完整的行人目标进行筛除，可以有效提升了行人目标的图像质量，保障了后续行人识别的准确性；

(2)本申请的方案还基于步态特征对基于外貌特征的行人重识别结果进行校验，即将行人步态作为第二重保险，有效的提高了行人识别的准确性；

(3)本申请的方案在行人外貌特征识别和步态特征识别时融合了整体特征和局部特征，使得得出的识别结果更能反映行人的特点，也就保证了行人识别、匹配及校验的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测方法的流程示意图。

图2是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测系统的结构示意图。

图3是本申请实施例公开一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

实施例一

请参阅图1，图1是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测方法的流程示意图。如图1所示，本申请实施例的一种基于深度学习的行人徘徊滞留检测方法，所述方法包括：

行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；

行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；

跟踪模块采用跟踪算法区分图像帧中不同的行人目标；

重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；

重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；

徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。

可见，本申请实现行人徘徊检测的方案主要包括三个部分，即行人检测预处理、行人重识别及重识别校验。通过上述三个步骤极大的提高了行人检测的准确性，进而可以保证行人滞留时长检测的准确性，降低了行人徘徊滞留预警的虚警率。

其中，行人检测模块可先采用AF-ALFNet模型来对行人对象进行检测识别，AF-ALFNet模型同时添加了注意力模块和特征融合模块，可以更好的进行特征学习，进而能够精确检测各种场景下的行人，例如黑暗模糊行人、小尺寸行人等，能够很大程度上减少不同场景及环境下行人的漏检和误检，降低漏检率，提升了检测性能。然后，再由行人质量评估及处理模块进行评分及筛除操作。

可选地，在行人检测模块进行矩形窗口计算之前，还包括：对每张图片帧进行亮度调整、对比度变化、随机裁剪、仿射变换和尺度变换处理。

可选地，所述行人检测模块所采用的深度学习模型为YOLOv5。

在本申请可选实施例中，除了YOLOv5外，还可以选择SSD、RetinaNet等one-stage检测算法，本申请对此不作限定。

可选地，所述跟踪模块采用跟踪算法为匈牙利匹配算法。

在本申请可选实施例中，除了匈牙利匹配算法外，还可以选择IOU模型、基于卡尔曼滤波器的模型、YOLO3模型等，本申请对此不作限定。

可选地，所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：

先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。

在本申请可选实施例中，第一初始融合特征反映的是行人的整体特征，例如高矮、胖瘦、着装整体色系等，而第二初始融合特征反映的则是行人的局部特征，例如头部的发型、发色、帽子特征等，上衣的款式、颜色、长度等，腰部的背包特征、腰带特征等，下装款式、颜色、长度等，脚部的鞋子颜色、款式等。相应地，第二分支网络在对外貌特征进行纵向切分时，可按照人体的头部、上身、腰部、下身、脚部这些主要构成结构对应切分为五个部分，从而得到五个特征块，然后再融合为第二初始融合特征。

其中，所述第一分支网络、第二分支网络可以为ResNet、VGGNet、GoogLeNet或者DenseNet，并且，所述第一分支网络和所述第二分支网络可以相同或不同，本申请对此不作限定。

可选地，采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：

其中，

其中，

接着，

于是，

在本申请可选实施例中，基于男性局部特征和女性局部特征来获得男女性局部特征之间的正则距离，再基于获得的正则距离计算出头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵之间的权重，最后将身体特定部位特征相关的权重占所有的权重的比值作为

另外，对于第一初始融合特征矩阵的权重

可选地，所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人。

可选地，重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：

将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一个分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二个分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征；融合所述整体特征和所述细微特征，并特征融合结果作为该行人的步态特征；

采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相似度值，若所述相似度值高于相似度阈值，则校验结果为真，否则为假。

在本申请可选实施例中，对于整体特征和所述细微特征的融合，可采用与上述融合第一初始融合特征和第二初始融合特征的相同方法。也即，对于步态特征同样分为行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵以作为细微特征，于是，融合方法为：

其中，

其中，

接着，

于是，

在本申请可选实施例中，基于男性局部特征和女性局部步态特征来获得男女性局部特征之间的正则距离，再基于获得的正则距离计算出头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵之间的权重，最后将身体特定部位步态特征相关的权重占所有的权重的比值作为

另外，其中的相似度算法可为基于欧几里得距离、皮尔逊相关系数、余弦相似度或Tanimoto系数的算法，以及，重识别和重识别校验所采用的相似度算法可以相同也可以不同，本申请对此不作限定。

实施例二

请参阅图2，图2是本申请实施例公开的一种基于深度学习的行人徘徊滞留检测系统的结构示意图。如图2所示，本申请实施例的一种基于深度学习的行人徘徊滞留检测系统，所述系统包括行人检测模块、行人质量评估及处理模块、跟踪模块、重识别模块、重识别校验模块和徘徊滞留判断模块；其中，

所述行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；

所述行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；

所述跟踪模块采用跟踪算法区分图像帧中不同的行人目标；

所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；

所述重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；

所述徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。

可见，本申请实现行人徘徊检测的方案主要包括三个部分，即行人检测预处理、行人重识别及重识别校验。通过上述三个步骤极大的提高了行人检测的准确性，进而可以保证行人滞留时长检测的准确性，降低了行人徘徊滞留预警的虚警率。

实施例三

请参阅图3，图3是本申请实施例公开的一种电子设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的基于深度学习的行人徘徊滞留检测方法。

实施例四

本申请实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的基于深度学习的行人徘徊滞留检测方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。