一种基于FairMOT的多目标跟踪人流量监测方法

技术领域

本发明涉及基于计算机视觉的人流量统计监测技术领域，具体来说，涉及一种基于FairMOT的多目标跟踪人流量监测方法。

背景技术

在计算机视觉领域中，行人跟踪技术其中主要并且重要的一个分支，具有广泛的应用价值，其在人流量统计方面的具有新兴前沿性。在一些公共场合人流量监测成为了重要的商业需求、公共安全需求。采用计算机视觉技术进行人流量监测统计不用借助高昂的硬件设备，自动化程度高，节约人力资源。所以，众多具有商业需求与公共安全需求的大型公共场所例如商场，学校，车站，机场都迫切需要基于计算机视觉的人流量监测系统，但是，目前系统存在难实时性、适用场景单一性，拥堵密集场所低准确性，算法昂贵等诸多问题。因此，在人流量监测技术上进行相关研究与分析是十分有意义的。

针对现有动态人流量统计技术，就场景而言，主要面向门店、通道等出入口单一的场景，无法直观地反映多通道的场景，并对那些大型场所往往更为关注局部区域的人流量的场景而分析聚集区域不是记录出入的人数。除此之外，拥堵、密集的火车站，机场，商场等场景对互相遮挡的人物重分辨困难。

目前采用计算机视觉方式进行行人统计方法，现有的人脸跟踪不适于多数情况较高监控无法辨识人脸的俯瞰视角，一些基于头肩目标检测的跟踪技术算法计算非常昂贵，需对每帧画面进行检测，以得到目标的运动轨迹。

针对领域中采用的多目标跟踪技术，主要存在两方面的问题，一方面倾向检测而忽略了Re-ID任务。提取Re-ID特征时，因其引入了大量的模糊特征，因为很多特征点可能被当做干扰实例与背景，这种未公平的学习重识别任务而导致了许多身份切换。例如，出现视频视野下重叠的多个瞄点对应一个身份的错误结果的出现，即锚点提取的身份嵌入特征与对象中心不对齐，导致了严重的歧义与最终人流量统计失真。另一方面，人流量监测技术对于实时性具有较高的要求，很多在多目标跟踪准确度(MOTA)和多目标跟踪精确度(MOTP)与损失函数有较强的数据关联的方法中，需要计算资源昂贵，目前无法达到良好的实时效果，并不适用于追求即时的人流量统计。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于FairMOT的多目标跟踪人流量监测方法，具有实时性，高精确度，高鲁棒性的能够适应拥堵、密集并消除单通道出入场景限制的系统，不仅通过目标检测任务和Re-ID任务，解决了经过遮挡等模糊现象出现后身份切换造成结果误差的现象，提高了密集场景的识别准确度，而且硬件安装简单降低大量成本，仅需无线摄像头安置到便于使用者观察人流量区域，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于FairMOT的多目标跟踪人流量监测方法，包括以下步骤：

预先通过摄像头采集区域内监控视频，并通过Python-OpenCV读取摄像头的实时视频流；

将获取的实时视频流输入图像到Encoder-Decoder Network，提取高分辨率的特征映射，并作为输出特征图；

将获取输出特征图分别进行目标检测任务和Re-ID任务，其中；

所述目标检测任务，包括通过输出特征图进行3×3卷积实现每个平行head，以无锚的方式将三个head分别进行Heatmap估算对象中心的位置、计算目标中心偏移和获取bbox尺寸，并通过1×1卷积层生成最终目标；

所述Re-ID任务，包括提取输出特征图每个像素的Re-ID特征，并在中心主干特征应用128内核卷积层；

联合目标检测任务和Re-ID任务，进行多目标跟踪，并通过终端系统显示实时人流量监测，其中包括通过移动终端框选可选感兴趣的区域。

进一步的，所述输出特征图，还包括以下步骤：

获取的实时视频流并作为1320×720图片输入；

经过主干网络进行4倍、8倍、16倍和32倍下采样，得到特征图，其中，采样图经Deconvolution，采用3×3卷积核得到特征图；

依次通过ConCatenation最终得到输出图像为330×240，并作为输出特征图。

进一步的，所述目标检测任务，还包括以下步骤：

标定Heatmap损失函数，表示为：

其中，M

标定Offset和Size损失函数，表示为：

其中，o

进一步的，所述Re-ID任务，包括以下步骤：

标定Re-ID的损失函数，表示为：

其中，p(j)为映射的类分布向量，将GT类标签的一次性表示形式表示为将GT类标签的one-hot表示形式表示为L

将Re-ID特征维度设为64，加入公式(1)(2)和(3)联合训练检测和Re-ID分支，表示为：

Loss

其中，w

进一步的，所述通过终端系统显示实时人流量监测，包括以下步骤：

通过发送区域坐标请求至云服务器返回对应数据，开始人流量统计；

通过目标ID统计视频场景中进入区域的人数和从区域内出去的人数，将统计值返回到对应终端并显示实时与历史记录。

本发明的有益效果是：

本发明基于FairMOT的多目标跟踪人流量监测方法，通过摄像头采集区域内监控视频，并通过Python-OpenCV读取摄像头的实时视频流；将获取的实时视频流输入图像到Encoder-Decoder Network，提取高分辨率的特征映射，并作为输出特征图；将获取输出特征图分别进行目标检测任务和Re-ID任务，联合目标检测任务和Re-ID任务，进行多目标跟踪，并通过终端系统显示实时人流量监测，实现具有实时性，高精确度，高鲁棒性的能够适应拥堵、密集并消除单通道出入场景限制的系统，不仅通过目标检测任务和Re-ID任务，解决了经过遮挡等模糊现象出现后身份切换造成结果误差的现象，提高了密集场景的识别准确度，而且硬件安装简单降低大量成本，仅需无线摄像头安置划分感兴趣区域便于使用者观察人流量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于FairMOT的多目标跟踪人流量监测方法的流程示意图；

图2是根据本发明实施例的一种基于FairMOT的多目标跟踪人流量监测方法的Python-OpenCV读取摄像头的实时视频流流程示意图；

图3是根据本发明实施例的一种基于FairMOT的多目标跟踪人流量监测方法的Encoder-Decoder网络示意图；

图4是根据本发明实施例的一种基于FairMOT的多目标跟踪人流量监测方法的场景示意图；

图5是根据本发明实施例的一种基于FairMOT的多目标跟踪人流量监测方法的人流量统计场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于FairMOT的多目标跟踪人流量监测方法。

如图1所示，根据本发明实施例的基于FairMOT的多目标跟踪人流量监测方法，包括以下步骤：

预先通过摄像头采集区域内监控视频，并通过Python-OpenCV读取摄像头的实时视频流；

将获取的实时视频流输入图像到Encoder-Decoder Network，提取高分辨率的特征映射，并作为输出特征图；

将获取输出特征图分别进行目标检测任务和Re-ID任务，其中；

所述目标检测任务，包括通过输出特征图进行3×3卷积实现每个平行head，以无锚的方式将三个head分别进行Heatmap估算对象中心的位置、计算目标中心偏移和获取bbox尺寸，并通过1×1卷积层生成最终目标；

所述Re-ID任务，包括提取输出特征图每个像素的Re-ID特征，并在中心主干特征应用128内核卷积层；

联合目标检测任务和Re-ID任务，进行多目标跟踪，并通过终端系统显示实时人流量监测，其中包括通过移动终端框选可选感兴趣的区域。

其中，所述输出特征图，还包括以下步骤：

获取的实时视频流并作为1320×720图片输入；

经过主干网络进行4倍、8倍、16倍和32倍下采样，得到特征图，其中，采样图经Deconvolution，采用3×3卷积核得到特征图；

依次通过ConCatenation最终得到输出图像为330×240，并作为输出特征图。

其中，所述目标检测任务，还包括以下步骤：

标定Heatmap损失函数，表示为：

其中，M

标定Offset和Size损失函数，表示为：

其中，o

其中，所述Re-ID任务，包括以下步骤：

标定Re-ID的损失函数，表示为：

其中，p(j)为映射的类分布向量，将GT类标签的一次性表示形式表示为将GT类标签的one-hot表示形式表示为L

将Re-ID特征维度设为64，加入公式(1)(2)和(3)联合训练检测和Re-ID分支，表示为：

Loss

其中，w

其中，所述通过终端系统显示实时人流量监测，包括以下步骤：

通过发送区域坐标请求至云服务器返回对应数据，开始人流量统计；

通过目标ID统计视频场景中进入区域的人数和从区域内出去的人数，将统计值返回到对应终端并显示实时与历史记录。

借助于上述方案，通过摄像头采集区域内监控视频，并通过Python-OpenCV读取摄像头的实时视频流；将获取的实时视频流输入图像到Encoder-Decoder Network，提取高分辨率的特征映射，并作为输出特征图；将获取输出特征图分别进行目标检测任务和Re-ID任务，联合目标检测任务和Re-ID任务，进行多目标跟踪，并通过终端系统显示实时人流量监测，实现具有实时性，高精确度，高鲁棒性的能够适应拥堵、密集并消除单通道出入场景限制的系统，不仅通过目标检测任务和Re-ID任务，解决了经过遮挡等模糊现象出现后身份切换造成结果误差的现象，提高了密集场景的识别准确度，而且硬件安装简单降低大量成本，仅需无线摄像头安置到便于使用者观察人流量区域。

另外，具体的，在一个实施例中，用于商场、车站、学校食堂等拥堵、密集场景的单摄像头监控视角，选择视野内感兴趣的区域，实时通过终端监测人流量的变化，硬件方面包括一个无线高分辨率监控摄像头(安置3.5m以上较适)、计算机和云服务器，所述的云服务器可存储数据，由WEB与移动端等进行显示与调用。

如图2-图3所示，监控摄像头通过无线通信网络传送图像信息到无线路由器，使用处于同一无线局域网下的计算机采集实时视频信息，使用Python-OpenCV读取摄像头的实时视频流。输入图像到Encoder-Decoder Network，并提取高分辨率的特征映射(stride＝4)。编码器-译码器主干网络采用深层聚合DLA-34的一种倒金字塔型变体网络结构如图3所示，表1为编码器和译码器各Layer组成具体结构，图片输入为1320×720，经过主干网络进行4倍、8倍、16倍、32倍下采样，得到特征图，采样图经Deconvolution，采用3×3卷积核得到特征图，依次通过ConCatenation最终得到输出图像为330×240。

表1编码器和译码器各Layer组成结构

图像经过编码器-解码器网络输出后进行的两部分工作是解决现有多目标跟踪因忽略Re-ID任务而导致的未公平性，则将检测部分工作和Re-ID部分工作作为均匀(公平)的分支，具体的：

1、目标检测任务：通过输出特征图应3×3卷积实现每个平行head，以无锚的方式将三个head分别用来Heatmap估算对象中心的位置、目标中心偏移与bbox尺寸，然后通过1×1卷积层生成最终目标，包括：

标定Heatmap损失函数，表示为：

其中，M

标定Offset和Size损失函数，表示为：

其中，o

2、Re-ID任务：提取每个像素的Re-ID特征来描述区分不同对象的以其该像素为中心点的物体，在理想情况中，同一目标的距离小于不同目标之间的距离。为了尽可能达到该情况，在中心主干特征应用128内核卷积层。包括：

标定Re-ID的损失函数，表示为：

其中，p(j)为映射的类分布向量，将GT类标签的一次性表示形式表示为将GT类标签的one-hot表示形式表示为L

将Re-ID特征维度设为64，加入公式(1)(2)和(3)联合训练检测和Re-ID分支，表示为：

Loss

其中，w

另外，如图4-图5所示，由于所有画面不一定全部满足统计要求，则通过移动终端框选可选感兴趣的区域，即为监控视野下需求了解的热点区。通过发送区域坐标请求至云服务器返回对应数据。开始人流量统计，通过目标ID统计视频场景中进入区域的人数和从区域内出去的人数。将统计值返回到对应终端并显示实时与历史记录。

综上所述，借助于本发明的上述技术方案，通过摄像头采集区域内监控视频，并通过Python-OpenCV读取摄像头的实时视频流；将获取的实时视频流输入图像到Encoder-Decoder Network，提取高分辨率的特征映射，并作为输出特征图；将获取输出特征图分别进行目标检测任务和Re-ID任务，联合目标检测任务和Re-ID任务，进行多目标跟踪，并通过终端系统显示实时人流量监测，实现具有实时性，高精确度，高鲁棒性的能够适应拥堵、密集并消除单通道出入场景限制的系统，不仅通过目标检测任务和Re-ID任务，解决了经过遮挡等模糊现象出现后身份切换造成结果误差的现象，提高了密集场景的识别准确度，而且硬件安装简单降低大量成本，仅需无线摄像头安置划分感兴趣区域便于使用者观察人流量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。