基于机器视觉的客流分析方法和系统

技术领域

本发明涉及客流分析技术领域，具体涉及一种基于机器视觉的客流分析方法和系统。

背景技术

随着城市交通的发展，地铁站成为了人们出行的重要方式。然而，地铁站的乘客流量在不同时间段和不同站点之间存在巨大的差异。在高峰期间，如果过多的乘客同时涌入一个站点，可能会导致站内的拥挤和安全问题。因此，为了确保地铁站的运营安全和效率，需要对进站的乘客人数进行合理的安排。

现有的技术中，对于进站乘客人数的安排主要是通过工作人员的指挥和调度来实现的。然而，这种方式存在着一定的局限性。首先，工作人员的判断和决策可能受到个人主观因素的影响，导致安排不够客观。其次，人工调度的方式效率低下，无法实时响应变化的乘客流量。

因此，有必要开发一种基于机器视觉的客流分析方法和系统以合理地安排进站乘客人数，提高地铁站的运营效率和管理水平。

发明内容

本发明主要解决的技术问题如何合理地安排进站乘客人数，提高地铁站的运营效率和管理水平。

根据第一方面，本发明提供一种基于机器视觉的客流分析方法，包括：获取地铁站的全景图像；基于所述地铁站的全景图像使用承载人数确定模型确定地铁站的最大承载人数；获取多个地铁站监控摄像头的监控视频；基于所述多个地铁站监控摄像头的监控视频使用距离确定模型确定多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数，其中N为大于2的整数；判断所述每个乘客与距离最近的前N个乘客的距离之和的平均值是否小于距离阈值以及判断所述地铁站的站内人数是否大于所述地铁站的最大承载人数；若所述每个乘客与距离最近的前N个乘客的距离之和的平均值小于距离阈值且所述地铁站的站内人数大于所述地铁站的最大承载人数，则获取地铁站内乘客候车的监控视频、地铁站乘客出站的监控视频、地铁站外候车乘客的监控视频；基于所述地铁站内乘客候车的监控视频、所述地铁站乘客出站的监控视频、所述地铁站外候车乘客的监控视频使用监控视频处理模型确定每分钟乘客进入列车的平均人数所对应的总占地面积、每分钟乘客出站的平均人数所对应的总占地面积、站外候车的每个乘客的平均占地面积；基于所述每分钟乘客进入列车的平均人数所对应的总占地面积、所述每分钟乘客出站的平均人数所对应的总占地面积、所述站外候车的每个乘客的平均占地面积确定每分钟的乘客进站人数。

更进一步地，所述地铁站的全景图像基于地铁站的多个拍摄图像合成得到。

更进一步地，所述N的值为4。

更进一步地，所述承载人数确定模型为ResNet模型。

更进一步地，所述距离确定模型为Transformer模型。

根据第二方面，本发明提供一种基于机器视觉的客流分析系统，包括：第一获取模块，用于获取地铁站的全景图像；

最大承载人数确定模块，用于基于所述地铁站的全景图像使用承载人数确定模型确定地铁站的最大承载人数；

第二获取模块，用于获取多个地铁站监控摄像头的监控视频；

距离确定模块，用于基于所述多个地铁站监控摄像头的监控视频使用距离确定模型确定多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数，其中N为大于2的整数；

判断模块，用于判断所述每个乘客与距离最近的前N个乘客的距离之和的平均值是否小于距离阈值以及判断所述地铁站的站内人数是否大于所述地铁站的最大承载人数；

第三获取模块，用于若所述每个乘客与距离最近的前N个乘客的距离之和的平均值小于距离阈值且所述地铁站的站内人数大于所述地铁站的最大承载人数，则获取地铁站内乘客候车的监控视频、地铁站乘客出站的监控视频、地铁站外候车乘客的监控视频；

视频处理模块，用于基于所述地铁站内乘客候车的监控视频、所述地铁站乘客出站的监控视频、所述地铁站外候车乘客的监控视频使用监控视频处理模型确定每分钟乘客进入列车的平均人数所对应的总占地面积、每分钟乘客出站的平均人数所对应的总占地面积、站外候车的每个乘客的平均占地面积；

进站人数确定模块，用于基于所述每分钟乘客进入列车的平均人数所对应的总占地面积、所述每分钟乘客出站的平均人数所对应的总占地面积、所述站外候车的每个乘客的平均占地面积确定每分钟的乘客进站人数。

更进一步地，所述地铁站的全景图像基于地铁站的多个拍摄图像合成得到。

更进一步地，所述N的值为4。

更进一步地，所述承载人数确定模型为ResNet模型。

更进一步地，所述距离确定模型为Transformer模型。

本发明提供的一种基于机器视觉的客流分析方法和系统，该方法包括获取地铁站的全景图像；基于所述地铁站的全景图像使用承载人数确定模型确定地铁站的最大承载人数；获取多个地铁站监控摄像头的监控视频；基于所述多个地铁站监控摄像头的监控视频使用距离确定模型确定多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数，其中N为大于2的整数；判断所述每个乘客与距离最近的前N个乘客的距离之和的平均值是否小于距离阈值以及判断所述地铁站的站内人数是否大于所述地铁站的最大承载人数；若所述每个乘客与距离最近的前N个乘客的距离之和的平均值小于距离阈值且所述地铁站的站内人数大于所述地铁站的最大承载人数，则获取地铁站内乘客候车的监控视频、地铁站乘客出站的监控视频、地铁站外候车乘客的监控视频；基于所述地铁站内乘客候车的监控视频、所述地铁站乘客出站的监控视频、所述地铁站外候车乘客的监控视频使用监控视频处理模型确定每分钟乘客进入列车的平均人数所对应的总占地面积、每分钟乘客出站的平均人数所对应的总占地面积、站外候车的每个乘客的平均占地面积；基于所述每分钟乘客进入列车的平均人数所对应的总占地面积、所述每分钟乘客出站的平均人数所对应的总占地面积、所述站外候车的每个乘客的平均占地面积确定每分钟的乘客进站人数。该方法能够合理地安排进站乘客人数。

附图说明

图1为本发明实施例提供的一种基于机器视觉的客流分析方法的流程示意图；

图2为本发明实施例提供的一种基于机器视觉的客流分析系统的示意图。

具体实施方式

本发明实施例中，提供了如图1所示的一种基于机器视觉的客流分析方法，所述基于机器视觉的客流分析方法包括步骤S1～S8：

步骤S1，获取地铁站的全景图像；

地铁站的全景图像是指能够覆盖地铁站内所有区域的图像。在一些实施例中，可以通过将多个地铁站的拍摄图像进行拼接、合成得到地铁站的全景图像。

步骤S2，基于所述地铁站的全景图像使用承载人数确定模型确定地铁站的最大承载人数。

地铁站的最大承载人数指地铁站能够容纳的最大乘客数量。

承载人数确定模型指用于预测地铁站承载人数的模型。所述承载人数确定模型为ResNet模型。ResNet(Residual Neural Network)是一种深度卷积神经网络模型，ResNet引入了残差连接(residual connection)的概念，解决了深层网络训练过程中的梯度消失和模型退化问题，使得训练更加容易和高效。承载人数确定模型的输入为所述地铁站的全景图像，承载人数确定模型的输出为地铁站的最大承载人数。

在一些实施例中，承载人数确定模型可以通过训练得到。训练的具体步骤包括：

数据准备：准备训练所需的数据集，包括地铁站全景图像和相应的承载人数标签。标签可以通过人工计数或其他人流统计方法获得。

模型训练：使用ResNet模型对数据集进行训练，以建立承载人数确定模型。训练过程中，将输入地铁站全景图像与对应的承载人数标签进行匹配。

模型验证：使用验证集对训练好的模型进行验证，评估其预测承载人数的准确性和性能。

模型应用：将训练好的模型应用于新的地铁站全景图像，通过输入图像，模型能够预测出相应的承载人数。

步骤S3，获取多个地铁站监控摄像头的监控视频。

多个地铁站监控摄像头的监控视频为地铁站内多个摄像头拍摄到的实时视频数据，多个地铁站监控摄像头的监控视频记录了地铁站内外的场景和人员活动。

步骤S4，基于所述多个地铁站监控摄像头的监控视频使用距离确定模型确定多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数，其中N为大于2的整数。

多个乘客中每个乘客与距离最近的前N个乘客指与某个乘客距离最近的N个其他乘客。作为示例，假设我们有三个乘客A、B和C，乘客A与乘客B的距离为2，乘客A与乘客C的距离为3，乘客B与乘客C的距离为4，接下来选择每个乘客的距离最近的前2个乘客。根据上述距离，可以得到以下结果：

对于乘客A：距离最近的是乘客B(距离为2)和乘客C(距离为3)

对于乘客B：距离最近的是乘客A(距离为2)和乘客C(距离为4)

对于乘客C：距离最近的是乘客A(距离为3)和乘客B(距离为4)

然后，我们计算每个乘客与选定的前2个乘客的距离之和：

对于乘客A：2+3＝5。

对于乘客B：2+4＝6。

对于乘客C：3+4＝7

最后，我们计算距离之和的平均值：

(5+6+7)/3＝6

因此，在这个例子中，三个乘客与距离最近的前2个乘客的距离之和的平均值为6。这个平均值可以用来评估乘客之间的拥挤程度或密集程度，并提供相关数据支持给地铁站的客流管理和决策制定。

在一些实施例中，所述N的值为4。所述距离确定模型为Transformer模型。Transformer模型能够处理任意长度的序列数据，捕捉序列的信息，输出基于序列中前后数据关联关系的结果。距离确定模型综合考虑了所述多个地铁站监控摄像头的监控视频，并输出得到多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数。

在监控视频中确定每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数的问题中，Transformer模型可以用于图像序列的处理和表示学习。具体实现时，可以将监控视频拆分成一系列的图像帧，每个图像帧表示一个时间点上的地铁站快照。然后，可以使用训练好的Transformer模型对这些图像帧进行特征提取和编码。通过在多个地铁站监控摄像头的视频序列上运行Transformer模型，可以获得每个乘客的特征表示。这些特征表示可以用于计算每个乘客与距离最近的前N个乘客之间的距离，并求和得到距离之和以及确定地铁站的站内人数。距离确定模型的输入为所述多个地铁站监控摄像头的监控视频，距离确定模型的输出为多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数。

在一些实施例中，距离确定模型包括乘客分割模型、距离最近的前N个乘客确定模型、距离最近的前N个乘客的距离确定模型，其中乘客分割模型、距离最近的前N个乘客确定模型、距离最近的前N个乘客的距离确定模型都为Transformer模型。乘客分割模型的输入为所述多个地铁站监控摄像头的监控视频，乘客分割模型的输出为每一个乘客的监控视频和地铁站的站内人数，距离最近的前N个乘客确定模型的输入为每一个乘客的监控视频，距离最近的前N个乘客确定模型的输出为距离每一个乘客最近的前N个乘客，距离最近的前N个乘客的距离确定模型的输入为每一个乘客的监控视频和距离每一个乘客最近的前N个乘客，距离最近的前N个乘客的距离确定模型的输出为多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值。

乘客分割模型的输入为多个地铁站监控摄像头的监控视频，输出为每一个乘客的监控视频和地铁站的站内人数。这个模型的作用是将原始监控视频中的每个乘客分离出来，并估算站内的人数。

距离最近的前N个乘客确定模型的输入为每一个乘客的监控视频，输出为距离每一个乘客最近的前N个乘客。该模型的作用是找到每个乘客附近的最近的前N个乘客。

距离最近的前N个乘客的距离确定模型的输入为每一个乘客的监控视频和距离每一个乘客最近的前N个乘客，输出为多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值。该模型的作用是计算多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值。将距离确定模型分解为多个子模型可以提高模型的灵活性、可扩展性和复用性，从而更好地优化整个模型的性能和效率。如果将所有模型组合成一个大模型，则可能会遇到一些问题，例如需要更大的计算资源来支持训练和推理。

步骤S5，判断所述每个乘客与距离最近的前N个乘客的距离之和的平均值是否小于距离阈值以及判断所述地铁站的站内人数是否大于所述地铁站的最大承载人数。

步骤S5中的两个判断条件分别用于评估乘客之间的密集程度和判断地铁站的人数是否超过最大承载人数。通过这些判断可以及时发现地铁站内的拥堵情况，为后续的人数调整决策提供依据。合理安排进站乘客人数可以避免拥堵，提高地铁运输效率，保障乘客的出行体验和安全。

距离阈值可以通过人为手动提前设定。

步骤S6，若所述每个乘客与距离最近的前N个乘客的距离之和的平均值小于距离阈值且所述地铁站的站内人数大于所述地铁站的最大承载人数，则获取地铁站内乘客候车的监控视频、地铁站乘客出站的监控视频、地铁站外候车乘客的监控视频。

乘客候车的监控视频是指安装在地铁站内的摄像头所拍摄到乘客等候列车的监控视频，用于监视地铁站内乘客的候车情况。通过处理该视频，可以了解乘客的分布情况、拥堵程度以及乘客进入列车速度等信息。

地铁站乘客出站的监控视频是指安装在地铁站出口处的摄像头所拍摄到的监控视频，用于监视乘客从地铁站内出站的情况。通过处理该视频，可以了解乘客出站的速度、流量等信息，以及是否存在出站拥堵的情况。

地铁站外候车乘客的监控视频是指安装在地铁站外部或周边地区的摄像头所拍摄到的监控视频，用于监视地铁站外候车乘客的情况。通过处理该视频，可以了解地铁站外候车区域的人流情况、排队长度等信息。

步骤S7，基于所述地铁站内乘客候车的监控视频、所述地铁站乘客出站的监控视频、所述地铁站外候车乘客的监控视频使用监控视频处理模型确定每分钟乘客进入列车的平均人数所对应的总占地面积、每分钟乘客出站的平均人数所对应的总占地面积、站外候车的每个乘客的平均占地面积。

监控视频处理模型为Transformer模型。监控视频处理模型的输入为所述地铁站内乘客候车的监控视频、所述地铁站乘客出站的监控视频、所述地铁站外候车乘客的监控视频，监控视频处理模型的输出为每分钟乘客进入列车的平均人数所对应的总占地面积、每分钟乘客出站的平均人数所对应的总占地面积、站外候车的每个乘客的平均占地面积。

每分钟乘客进入列车的平均人数所对应的总占地面积这是指根据监控视频处理模型分析得出的，每分钟乘客进入列车的平均人数对应的总空间面积。通过计算每分钟乘客进入列车的平均人数，并结合地铁站内候车区域的空间布局，可以推算出每分钟乘客进入列车的平均人数对应的总空间面积。

每分钟乘客出站的平均人数所对应的总占地面积是指根据监控视频处理模型分析得出的，每分钟乘客出站的平均人数所需要的总空间面积。通过计算每分钟乘客出站的平均人数，并结合地铁站内出站口的空间布局，可以推算出每分钟乘客出站的平均人数所对应的总占地面积。

站外候车的每个乘客的平均占地面积是指根据监控视频处理模型分析得出的，每个站外候车乘客平均占用的空间面积。通过对站外候车乘客在监控视频中的分布情况和拥挤程度进行处理，可以估算出每个乘客所占用的平均空间面积。

通过确定每分钟乘客进入列车的平均人数所对应的总占地面积和每分钟乘客出站的平均人数所对应的总占地面积，可以了解每分钟内地铁站有多少占地面积空出来了，以便能确定进入多少人。

每个站外候车乘客平均占用的空间面积可以用于确定每分钟的乘客进站人数，使得每分钟的乘客进站人数所对应的总空间面积与每分钟乘客进入列车的平均人数所对应的总占地面积和每分钟乘客出站的平均人数所对应的总占地面积相符。

步骤S8，基于所述每分钟乘客进入列车的平均人数所对应的总占地面积、所述每分钟乘客出站的平均人数所对应的总占地面积、所述站外候车的每个乘客的平均占地面积确定每分钟的乘客进站人数。

在一些实施例中，可以根据以下公式确定每分钟的乘客进站人数:

其中P为每分钟的乘客进站人数，A为每分钟乘客出站的平均人数所对应的总占地面积，B为站外候车的每个乘客的平均占地面积，C为每分钟乘客进入列车的平均人数所对应的总占地面积。

基于同一发明构思，图2为本发明的实施例提供的一种基于机器视觉的客流分析系统示意图，所述基于机器视觉的客流分析系统包括：

第一获取模块21，用于获取地铁站的全景图像；

最大承载人数确定模块22，用于基于所述地铁站的全景图像使用承载人数确定模型确定地铁站的最大承载人数；

第二获取模块23，用于获取多个地铁站监控摄像头的监控视频；

距离确定模块24，用于基于所述多个地铁站监控摄像头的监控视频使用距离确定模型确定多个乘客中每个乘客与距离最近的前N个乘客的距离之和的平均值和地铁站的站内人数，其中N为大于2的整数；

判断模块25，用于判断所述每个乘客与距离最近的前N个乘客的距离之和的平均值是否小于距离阈值以及判断所述地铁站的站内人数是否大于所述地铁站的最大承载人数；

第三获取模块26，用于若所述每个乘客与距离最近的前N个乘客的距离之和的平均值小于距离阈值且所述地铁站的站内人数大于所述地铁站的最大承载人数，则获取地铁站内乘客候车的监控视频、地铁站乘客出站的监控视频、地铁站外候车乘客的监控视频；

视频处理模块27，用于基于所述地铁站内乘客候车的监控视频、所述地铁站乘客出站的监控视频、所述地铁站外候车乘客的监控视频使用监控视频处理模型确定每分钟乘客进入列车的平均人数所对应的总占地面积、每分钟乘客出站的平均人数所对应的总占地面积、站外候车的每个乘客的平均占地面积；

进站人数确定模块28，用于基于所述每分钟乘客进入列车的平均人数所对应的总占地面积、所述每分钟乘客出站的平均人数所对应的总占地面积、所述站外候车的每个乘客的平均占地面积确定每分钟的乘客进站人数。