人流量统计方法、装置、设备及存储介质

技术领域

本申请涉及微波雷达技术领域，尤其涉及一种人流量统计方法、装置、设备及存储介质。

背景技术

人流传感器可以实现对一些人流密度较大的地方进行人流量统计。但是人流传感器都是通过拍摄图像的方式进行人流量统计。这种人流传感器内的摄像头易受环境影响,且安装不便携，不利于后期的维护，且处理量大，识别效率低。另外，通过照片获取人流量侵犯了行人的隐私肖像等权益。

发明内容

为了解决上述通过图像统计人流量效率低且侵犯个人隐私的技术问题，本申请实施例提供了一种人流量统计方法、装置、设备及存储介质。

第一方面，本申请实施例提供了一种人流量统计方法，该方法包括：

获取监控区域当前帧的原始点云数据；

对当前帧的原始点云数据进行聚类跟踪处理，得到当前帧各个潜在目标的点云集合；

根据当前帧潜在目标的点云集合判断每个潜在目标是否存在上一帧的点云集合，将不存在上一帧的点云集合的潜在目标作为待识别目标；

对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型；

对待识别目标中类型为人的数量进行累加。

可选地，在获取监控区域的原始点云数据之前，方法还包括：

获取扫描区域当前帧的反射回波；

根据扫描区域当前帧的反射回波得到扫描区域当前帧的第一点云数据；

根据用户设定的监控区域从扫描区域当前帧的第一点云数据中提取出监控区域当前帧的原始点云数据。

可选地，对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型，包括：

基于已训练的第一神经网络模型，对各个待识别目标的点云集合进行识别，以获取每个待识别目标的类型。

可选地，已训练的第一神经网络模型的获取方式为：

获取携带第一标签的点云样本数据；

对点云样本数据进行特征提取，得到点云样本特征；

将点云样本特征输入到第一初始神经网络模型中，以对第一初始神经网络模型进行训练，得到已训练的第一神经网络模型；

点云样本数据至少包括人点云样本数据。

可选地，对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型，包括：

基于轮廓算法和待识别目标的点云集合提取各个待识别目标的轮廓特征；

基于已训练的第二神经网络模型，对各个待识别目标的轮廓特征进行识别，以获取每个待识别目标的类型。

可选地，已训练的第二神经网络模型的获取方式为：

获取携带第二标签的轮廓样本数据；

对轮廓样本数据进行特征提取，得到轮廓样本特征；

将轮廓样本特征输入到第二初始神经网络模型中，以对第二初始神经网络模型进行训练，得到已训练的第二神经网络模型；

轮廓样本数据至少包括人轮廓样本数据。

可选地，该方法还包括：

从存在上一帧的点云集合的潜在目标中获取类型为人的潜在目标；

获取类型为人的潜在目标所有帧的点云集合，其中，所有帧包括当前帧在内；

根据所有帧的点云集合获取对应的类型为人的潜在目标的移动轨迹。

第二方面，本申请实施例提供了一种人流量统计装置，该装置包括：

采集模块，用于获取监控区域当前帧的原始点云数据；

聚类跟踪模块，用于对当前帧的原始点云数据进行聚类跟踪处理，得到当前帧各个潜在目标的点云集合；

判断模块，用于根据当前帧潜在目标的点云集合判断每个潜在目标是否存在上一帧的点云集合，将不存在上一帧的点云集合的潜在目标作为待识别目标；

识别模块，用于对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型；

统计模块，用于对待识别目标中类型为人的数量进行累加。

第三方面，本申请实施例提供了一种人流量统计设备，人流量统计设备包括微波雷达，人流量统计设备根据前面任一项的人流量统计方法对目标区域进行人流量统计。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行前面任一项的人流量统计方法的步骤。

第五方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时执行前面任一项所述的人流量统计方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例通过获取监控区域当前帧的原始点云数据；对当前帧的原始点云数据进行聚类跟踪处理，得到当前帧各个潜在目标的点云集合；根据当前帧潜在目标的点云集合判断每个潜在目标是否存在上一帧的点云集合，将不存在上一帧的点云集合的潜在目标作为待识别目标；对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型；对待识别目标中类型为人的数量进行累加以实现人流量统计。通过本申请在人流量统计方面可以减少环境干扰，降低因外界光照及温度因素导致的误检率，减少数据处理量，提高统计效率和正确率，且本申请设有微波雷达的人流量统计装置易安装，利于后期维护。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一人流量统计方法的流程示意图；

图2为本申请一实施例提供的一人流量统计装置的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请一实施例提供的一人流量统计方法的流程示意图；参考图1，该人流量统计方法包括以下步骤：

S100：获取监控区域当前帧的原始点云数据。

具体地，本申请通过微波雷达获取监控区域的原始点云数据。微波雷达可以为毫米波雷达。具体可以为发射300HZ-300GHZ频率的电磁波的毫米波雷达。

毫米波雷达设有信号收发单元，毫米波雷达启动后，信号收发单元产生并向监控区域发送毫米波雷达信号，该监控区域内如果有物体的话，会向毫米波雷达的信号收发单元反射对应的回波信号。毫米波雷达收发信号具有周期，每一帧为完成一个周期内的信号收发。每帧都有接收到的回波信号。回波信号为由物体反射的回波经混频后得到的中频回波信号。微波雷达对回波信号进行模数信号转换和DSP信号处理得到对应的点云数据。

S200：对当前帧的原始点云数据进行聚类跟踪处理，得到当前帧各个潜在目标的点云集合。

S300：根据当前帧潜在目标的点云集合判断每个潜在目标是否存在上一帧的点云集合，将不存在上一帧的点云集合的潜在目标作为待识别目标。

具体地，监控区域可能同时存在有多个人或物，因此得到的每帧的原始点云数据包含多个人或物对应的点云数据的集合。聚类跟踪处理用于实现目标跟踪和聚类。

点云数据为通过多个点的形式表示的数据，点云数据包括点云距离、方位角、多普勒速度和信噪比等信息。

聚类跟踪处理还可以用于将每帧中同一个潜在目标的点云数据聚类得到每帧中每个潜在目标对应的点云集合。

由点云数据的特性可知，相邻帧的点云数据是相互关联的，即上一帧的点云数据与当前帧的点云数据关联，当前帧的点云数据与下一帧的点云数据关联。

每个潜在目标的点云集合携带有距离、方位角、多普勒属性等信息。本申请基于点云集合携带的信息，采用近邻连通点云聚类算法以及卡尔曼滤波法可以将当前帧的点云数据和已有的上一帧的点云数据进行关联，如此类推，可以实现同一个潜在目标的每一帧的点云集合都是相互关联的，进而实现潜在目标的轨迹跟踪。

如果一个潜在目标的当前帧的点云集合关联有上一帧的点云集合，表示这个潜在目标在上一帧已经出现过，如果该潜在目标为人，那么在上一帧也是统计过的，因此，在当前帧不会再重复统计。本申请中如果潜在目标为人的话，只在该潜在目标出现的第一帧中统计一次数量，在其他帧即使出现也不再累加，避免重复统计人数。

当然本申请还可以通过每一帧的点云数据获取每一帧中的潜在目标的点云集合，将不同帧的相同潜在目标的点云集合采用相同的标记标识。这样可以方便的获取到每个潜在目标是新出现的潜在目标，还是已经出现过的潜在目标。也可以方便的判断当前帧的潜在目标是否在上一帧出现过，进而将已在上一帧出现过的潜在目标剔除，只留下没有在上一帧出现过的潜在目标进行类型识别。

如果某个潜在目标当前帧的点云集合关联有上一帧的点云集合，代表该潜在目标是已经出现过的潜在目标，因此在当前帧会将存在上一帧的点云集合的潜在目标剔除掉，不再进行类型识别操作，只对不存在上一帧的点云集合的潜在目标作为待识别目标进行类型识别操作，可以大大减少类型识别的处理量。

S400：对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型。

S500：对待识别目标中类型为人的数量进行累加。

具体地，待识别目标的点云集合表征该待识别目标的特征。例如表征待识别目标的轮廓特征。根据点云集合和神经网络模型可以识别出待识别目标属于哪种类型。

本申请对潜在目标的点云集合进行卡尔曼滤波及聚类跟踪，实现对潜在目标的状态和个数的持续观测，获取监控区域内人员的数目，实现对监控区域内的人数计数。

在一个实施例中，类型可能为人、动物(猫、狗等)、汽车、房屋、马路等。

在一个实施例中，类型可以为人或非人。

当某个待识别目标的类型为人，则对人流量数据累加一人次。

在一个实施例中，在步骤S100之前，该方法还包括：

获取扫描区域当前帧的反射回波；

根据扫描区域当前帧的反射回波得到扫描区域当前帧的第一点云数据；

根据用户设定的监控区域从扫描区域当前帧的第一点云数据中提取出监控区域当前帧的原始点云数据。

具体地，微波雷达被用户固定在一个区域后能够得到扫描区域内的第一点云数据。但是扫描区域可能范围比较广，用户不一定会用到全部的第一点云数据。或者，用户只想统计想要监控的区域的人流量。因此，用户可以提前设置监控区域作为微波雷达的数据处理范围。这样可以大大减少数据处理量，提高数据处理效率，同时减少出错率。

在一个实施例中，步骤S400具体包括：基于已训练的第一神经网络模型，对各个待识别目标的点云集合进行识别，以获取每个待识别目标的类型。

在一个具体实施例中，已训练的第一神经网络模型的获取方式为：

获取携带第一标签的点云样本数据；

对点云样本数据进行特征提取，得到点云样本特征；

将点云样本特征输入到第一初始神经网络模型中，以对第一初始神经网络模型进行训练，得到已训练的第一神经网络模型；

点云样本数据至少包括人物点云样本数据。

具体地，携带第一标签的点云样本数据包括大量携带人体标签的人体点云样本。已训练的第一神经网络模型是根据大量携带有人体标签的人体点云样本训练得到的，已训练的第一神经网络模型至少可以识别待识别目标是人体还是非人体。

当然已训练的第一神经网络模型还可以根据大量的其他携带有确定标签的点云样本训练。此时，携带第一标签的点云样本数据一定包括大量携带人体标签的人体点云样本。携带第一标签的点云样本数据还可以包括：大量携带有狗的标签的狗的点云样本、大量携带有猫的标签的猫的点云样本、大量携带有汽车标签的汽车点云样本中的一个或多个。通过本实施例中的第一神经网络模型可以识别每个待识别目标具体属于哪种类型，是属于人还是属于猫还是属于狗还是属于汽车等等。识别更精确。

在一个实施例中，步骤S400具体包括：

基于轮廓算法和待识别目标的点云集合提取各个待识别目标的轮廓特征；

基于已训练的第二神经网络模型，对各个待识别目标的轮廓特征进行识别，以获取每个待识别目标的类型。

具体地，已训练的第二神经网络模型的获取方式为：

获取携带第二标签的轮廓样本数据；

对轮廓样本数据进行特征提取，得到轮廓样本特征；

将轮廓样本特征输入到第二初始神经网络模型中，以对第二初始神经网络模型进行训练，得到已训练的第二神经网络模型；

轮廓样本数据至少包括人物轮廓样本数据。

具体地，对待识别目标的点云集合经过处理可以得到对应的待识别目标图片。对待识别目标图片进行特征轮廓线提取可以获得待识别目标的轮廓特征。

第二神经网络模型是根据轮廓样本数据来训练的，因此第二神经网络模型是根据轮廓特征来识别待识别目标的类型。

携带第二标签的轮廓样本数据包括大量携带人体标签的人体轮廓样本。已训练的第二神经网络模型是根据大量携带有人体标签的人体轮廓样本训练得到的，已训练的第二神经网络模型至少可以识别待识别目标是人体还是非人体。

当然已训练的第二神经网络模型还可以根据大量的其他携带有确定标签的轮廓样本训练。此时，携带第二标签的轮廓样本数据一定包括大量携带人体标签的人体轮廓样本。携带第一标签的轮廓样本数据还可以包括：大量携带有狗的标签的狗的轮廓样本、大量携带有猫的标签的猫的轮廓样本、大量携带有汽车标签的汽车轮廓样本中的一个或多个。通过本实施例中的第二神经网络模型可以识别每个待识别目标具体属于哪种类型，是属于人还是属于猫还是属于狗还是属于汽车等等。识别更精确。

第一神经网络模型或第二神经网络模型的训练样本，可以采取对微波雷达获取的原始点云数据进行处理和打标签，构建训练集、测试集；用训练集和测试集对初始神经网络模型进行训练，得到已训练的第一神经网络模型或已训练的第二神经网络模型。

本申请对监控区域的每帧原始点云数据进行聚类跟踪处理、卡尔曼滤波跟踪，以及类型识别，可以确定潜在目标在监控区域内的运行轨迹，通过识别每个潜在目标的类型，实现对潜在目标进行分类，从而实现监控区域的人员数量统计。

在一个实施例中，该人流量统计方法还包括以下步骤：

从存在上一帧的点云集合的潜在目标中获取类型为人的潜在目标；

获取类型为人的潜在目标所有帧的点云集合，其中，所有帧包括当前帧在内；

根据所有帧的点云集合获取对应的类型为人的潜在目标的移动轨迹。

具体地，微波雷达会在一段时间段内采集监控区域对应的多帧原始点云数据。每个类型为人的潜在目标从开始进入监控区域到离开监控区域的时间段内会在至少一帧原始点云数据中有对应的点云集合。

由于点云数据携带有距离、方位角、多普勒属性等信息。因此，利用卡尔曼滤波、聚类跟踪处理对每个类型为人的潜在目标进行点云数据跟踪，可以得到每个类型为人的潜在目标的移动轨迹。

根据所有类型为人的潜在目标的移动轨迹可以预估人流预演路径，解析并汇总人流量的变化趋势和人流路径趋势。

预估的人流预约路径在实际中应用广泛。例如，商家在宣传活动时候，根据预估的人流路径趋势，可以更加直观的分析本次活动是否成功吸引到人流，或者根据人流路径趋势提前预估顾客的移动趋势，以提前布置活动的宣传地点和有效时间。

同时分析不同时段的人流量和人流趋势，对应增加在其高峰期时段和高峰期停留区域的人力，提高服务质量，进而增加销售，在商场的空闲空洞期可以减少工作人员或者分配人员规划避免出现人员资源浪费的情况。

本申请可应用于大型的商业区域，客户可以根据需求定制所需要的识别区域，雷达会根据用户需求，将扫描获取到的人流数据信息解析并提供给到客户，客户可根据该信息选择对人流数据进行分级服务，或者在后台服务器提供客户可支持的相关的服务类型和等级。服务器根据人流传感器雷达上传的人流数据进行大数据解析处理，智能分配提供最适合当前人流的分级服务。

图2为本申请一实施例提供的一人流量统计装置的结构框图；参考图2，该人流量统计装置包括：

采集模块100，用于获取监控区域当前帧的原始点云数据；

聚类跟踪模块200，用于对当前帧的原始点云数据进行聚类跟踪处理，得到当前帧各个潜在目标的点云集合；

判断模块300，用于根据当前帧潜在目标的点云集合判断每个潜在目标是否存在上一帧的点云集合，将不存在上一帧的点云集合的潜在目标作为待识别目标；

识别模块400，用于对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型；

统计模块500，用于对待识别目标中类型为人物的数量进行累加。

在一个实施例中，该装置还包括：

回波接收模块，用于获取扫描区域当前帧的反射回波；

回波处理模块，用于根据扫描区域当前帧的反射回波得到扫描区域当前帧的第一点云数据；

第一筛选模块，用于根据用户设定的监控区域从扫描区域当前帧的第一点云数据中提取出监控区域当前帧的原始点云数据。

在一个实施例中，

识别模块400，具体用于基于已训练的第一神经网络模型，对各个待识别目标的点云集合进行识别，以获取每个待识别目标的类型。

在一个实施例中，该装置还包括：

点云样本获取模块，用于获取携带第一标签的点云样本数据；

点云特征提取模块，用于对点云样本数据进行特征提取，得到点云样本特征；

第一训练模块，用于将点云样本特征输入到第一初始神经网络模型中，以对第一初始神经网络模型进行训练，得到已训练的第一神经网络模型；

样本点云数据至少包括人物点云样本数据。

在一个实施例中，

识别模块400，具体包括：

轮廓特征提取模块，用于基于轮廓算法和待识别目标的点云集合提取各个待识别目标的轮廓特征；

子识别模块，用于基于已训练的第二神经网络模型，对各个待识别目标的轮廓特征进行识别，以获取每个待识别目标的类型。

在一个实施例中，该装置还包括：

轮廓样本获取模块，用于获取携带第二标签的轮廓样本数据；

轮廓样本特征提取模块，用于对轮廓样本数据进行特征提取，得到轮廓样本特征；

第二训练模块，用于将轮廓样本特征输入到第二初始神经网络模型中，以对第二初始神经网络模型进行训练，得到已训练的第二神经网络模型；

轮廓样本数据至少包括人物轮廓样本数据。

在一个实施例中，该装置还包括：

第二筛选模块，用于从存在上一帧的点云集合的潜在目标中获取类型为人物的潜在目标；

汇总模块，用于获取类型为人物的潜在目标所有帧的点云集合，其中，所有帧包括当前帧在内；

轨迹跟踪模块，用于根据所有帧的点云集合获取对应的类型为人物的潜在目标的移动轨迹。

在一个实施例中，本申请提供了一种人流量统计设备，该人流量统计设备包括微波雷达，人流量统计设备根据前面任一项的人流量统计方法对目标区域进行人流量统计。

常规的图像识别人流传感器对阴影、光线变化、散热、雾霾烟雾等各种外部的影响。本申请的微波雷达人流量统计设备受环境影响较小，对固定区域的人流量进行人体识别，利用微波反射和数据算法计算通过该区域的人流，达到智能识别人体的效果。另外，本申请的人流量统计设备可以同时支持有线和无线数据传输，不需要对安装场地做特殊改造就可以完全安装。安装便携，维护简单。

本申请通过微波雷达的反射效益，对固定区域进行实时扫描，获取区域内的所有移动物体路径，再通过人体轮廓算法区分移动中的人和移动中的物，预测用户移动路线，根据用户的移动规律，获取该区域的人流量和人流趋势，从而对过往人员进行大数据的管理。

在一个实施例中，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，处理器执行以下步骤：获取监控区域当前帧的原始点云数据；对当前帧的原始点云数据进行聚类跟踪处理，得到当前帧各个潜在目标的点云集合；根据当前帧潜在目标的点云集合判断每个潜在目标是否存在上一帧的点云集合，将不存在上一帧的点云集合的潜在目标作为待识别目标；对各个待识别目标的点云集合进行识别，以确定每个待识别目标的类型；对待识别目标中类型为人的数量进行累加。

处理器还执行前面任一项的人流量统计方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。