掌桥专利:专业的专利平台
掌桥专利
首页

一种拥堵检测的方法和装置

文献发布时间:2023-06-19 09:23:00


一种拥堵检测的方法和装置

技术领域

本发明涉及图像处理技术领域,特别是涉及一种拥堵检测的方法和装置。

背景技术

目前,车辆日益增多,经常会出现因交通事故或因车流量大而导致交通拥堵的情况,其拥堵程度严重与否会不同程度地影响交通的运输能力,使得交通压力日益增大。

因此,为解决交通压力日益增大的问题,需要在道路交通实时分析中,进行实时交通拥堵检测,以反馈到交通部门使其尽早做出规划部署,然而,由于交通拥堵检测具有难以量化、难以识别等特点,因此难以实现自动检测。

在现有技术中,基于交通监控视频的交通拥堵判断方法一般是通过人为观测判断形成的,不能实现自动监测,检测效率低且人力成本高。

而基于虚拟线圈的交通拥堵检测方法是通过在图像上事先划定虚拟线圈,通过一种基于SIFT(Scale-invariant feature transform,尺度不变特征变换)算子的运动目标检测方法,车辆检测的误差较大,难以保证检测的精度。

发明内容

鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种拥堵检测的方法和装置,包括:

一种拥堵检测的方法,所述方法包括:

获取针对目标位置的视频数据,并从所述视频数据中,确定获取至少两帧图像数据;

针对每帧图像数据,确定第一目标检测框集合;其中,所述第一目标检测框集合包括一个或多个目标检测框对象;

对所述第一目标检测框集合进行过滤,得到第二目标检测框集合;

根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息。

可选地,所述针对每帧图像数据,确定第一目标检测框集合,包括:

对所述图像数据进行检测,得到多个候选目标检测框对象;

确定边界对象,并分别确定所述多个候选目标检测框对象与所述边界对象的第一相交程度;

根据所述第一相交程度,从所述多个候选目标检测框对象中,确定第一目标检测框集合。

可选地,所述边界对象包括以下任一项:

预置边界对象、自定义边界对象。

可选地,所述对所述第一目标检测框集合进行过滤,得到第二目标检测框集合,包括:

确定所述第一目标检测框集合中目标检测框对象的类型信息;

按照所述类型信息,对所述第一目标检测框集合中目标检测框对象进行过滤,得到中间目标检测框集合;

确定所述中间目标检测框集合中指定目标检测框对象;

过滤所述中间目标检测框集合中指定目标检测框对象,得到第二目标检测框集合。

可选地,所述确定所述第一目标检测框集合中目标检测框对象的类型信息,包括:

确定所述第一目标检测框集合中目标检测框对象的类型信息为目标类型信息的可信度;

按照所述可信度,确定所述第一目标检测框集合中目标检测框对象的类型信息。

可选地,所述确定所述中间目标检测框集合中指定目标检测框对象,包括:

确定所述中间目标检测框集合中多个目标检测框对象,并确定所述中间目标检测框集合中多个目标检测框对象之间的第二相交程度;

根据所述第二相交程度,确定所述中间目标检测框集合中指定目标检测框对象。

可选地,所述至少两帧图像数据包括第一图像数据和第二图像数据,所述根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息,包括:

在所述第一图像数据的第二目标检测框集合中,确定第一目标检测框对象;

在所述第二图像数据的第二目标检测框集合中,确定与所述第一目标检测框对象相匹配的第二目标检测框对象;

结合所述第一目标检测框对象和所述第二目标检测框对象,生成针对所述目标位置的区域拥堵信息。

可选地,所述在所述第二图像数据的第二目标检测框集合中,确定与所述第一目标检测框对象相匹配的第二目标检测框对象,包括:

确定所述第一目标检测框对象的第一位置信息,并确定所述第二图像数据的第二目标检测框集合中目标检测框对象的第二位置信息;

结合所述第一位置信息与所述第二位置信息,确定所述第一目标检测框对象与所述第二图像数据的第二目标检测框集合中目标检测框对象的相对位置信息;

根据所述相对位置信息,确定匹配的第二目标检测框对象。

可选地,所述目标类型信息为车辆类型。

一种拥堵检测的装置,所述装置包括:

图像数据获取模块,用于获取针对目标位置的视频数据,并从所述视频数据中,获取至少两帧图像数据;

第一目标检测框集合确定模块,用于针对每帧图像数据,确定第一目标检测框集合;其中,所述第一目标检测框集合包括一个或多个目标检测框对象;

第二目标检测框集合得到模块,用于对所述第一目标检测框集合进行过滤,得到第二目标检测框集合;

区域拥堵信息生成模块,用于根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息。

本发明实施例具有以下优点:

在本发明实施例中,通过获取针对目标位置的视频数据,并从视频数据中,确定至少两帧图像数据,针对每帧图像数据,确定第一目标检测框集合,其中,第一目标检测框集合包括一个或多个目标检测框对象,并对第一目标检测框集合进行过滤,得到第二目标检测框集合,根据至少两帧图像数据的第二目标检测框集合,生成针对目标区域的区域拥堵信息,实现了对拥堵检测的优化,既通过自动化检测拥堵,提高了拥堵检测的效率,又通过过滤,降低了拥堵检测的误差,保证了检测的精度。

附图说明

为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种拥堵检测的方法的步骤流程图;

图2是本发明一实施例提供的另一种拥堵检测的方法的步骤流程图;

图3a是本发明一实施例提供的另一种拥堵检测的方法的步骤流程图;

图3b是本发明一实施例提供的一种拥堵检测的实例的流程图;

图3c是本发明一实施例提供的一种拥堵检测的方法的相交示意图;

图4a是本发明一实施例提供的另一种拥堵检测的方法的步骤流程图;

图4b是本发明一实施例提供的另一种拥堵检测的实例的流程图;

图5是本发明一实施例提供的一种拥堵检测的实例的示意图;

图6是本发明一实施例提供的一种拥堵检测的装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

参照图1,示出了本发明一实施例提供的一种拥堵检测的方法的步骤流程图,具体可以包括如下步骤:

步骤101,获取针对目标位置的视频数据,并从所述视频数据中,获取至少两帧图像数据;

其中,视频数据可以是交通监控系统中存储的视频数据,也可以是通过摄像头、移动终端等具有拍摄功能的设备中实时获取的,目标位置可以是针对存储的视频数据中预置的或人为划分的区域,也可以是实时的视频数据中预置的或人为划分的区域,视频数据可以包括至少两帧图像数据。

在实际拥堵检测中,为了获取某个道路的抗拥堵能力,可以在交通监控系统中,获取该道路区域在过去一段时间内的视频数据,进而可以根据该视频数据,确定该道路区域在过去一段时间内的拥堵情况,以对该道路区域的抗拥堵能力进行评估。

也可以是为了判断当前某个道路的拥堵情况,进而可以通过交通监控系统中的监控摄像头获取当前道路区域的视频数据,以根据该视频数据确定当前道路区域的拥堵情况,反馈到交通部门使其尽早做出规划部署。

在获取视频数据后,进而可以从至少包括两帧图像数据的视频数据中获取任意两帧的图像数据,例如,可以从包括100帧图像数据的视频数据中获取第1帧和第98帧的图像数据,也可以是获取相邻的两帧图像数据,如从包括100帧图像数据的视频数据中获取第3帧和第4帧的图像数据。

步骤102,针对每帧图像数据,确定第一目标检测框集合;其中,所述第一目标检测框集合包括一个或多个目标检测框对象;

其中,目标检测框对象可以是图像数据中通过Bounding box(目标检测框)表示的对象,Bounding box可以是一个在图像数据中具有固定坐标的矩形边框,矩形边框内的内容可以是一个被检测的物体,目标检测框集合可以是包括一个或多个目标检测框对象的集合,也可以是没有目标检测框对象的集合,如空集。

在确定至少两帧图像数据后,可以通过经过大量对象数据集合训练的神经网络模型,如YOLOv3(You Only Look Once,目标检测算法的第三版本)对每帧图像数据中的对象进行检测,并对检测到的对象通过目标检测框进行表示,进而可以在图像数据中确定一个或多个目标检测框对象,并根据一个或多个目标检测框对象确定目标检测框对象的集合,也就是第一目标检测框集合。

其中,神经网络可以是用于实现人工智能任务(如目标检测、目标分类等),YOLOv3可以是一种用于实时检测目标的神经网络模型,而经过训练后的YOLOv3可以具有高精度的对象识别、响应以及定位能力。

步骤103,对所述第一目标检测框集合进行过滤,得到第二目标检测框集合;

在确定第一目标检测框集合后,可以通过符合交通视频实际情况的过滤算法,如TBBFA(Traffic Bounding Box Filtering Algorithm,交通bounding box过滤算法),对第一目标检测框集合进行过滤,以过滤不符合检测要求的目标检测框对象,进而可以根据过滤后的目标检测框对象确定第二目标检测框集合。

其中,TBBFA可以用于对检测结果进行过滤,也就是对第一目标检测框集合中的目标检测框对象进行过滤。

在实际应用中,由于仅通过神经网络直接对图像数据的拥堵程度进行判断,会存在主观性较大,判断的结果主观性也相对较大的情况,进而影响拥堵程度的判断;而通过训练基于目标检测的神经网络以检测视频中的车辆,会难以保证检测结果的准确性,因此,可以通过经过大量对象数据集合训练的神经网络模型进行检测,以及对第一目标检测框集合进行过滤,进而可以避免影响拥堵程度的判断的情况,还可以保证检测结果的准确性。

步骤104,根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息。

在得到第二目标检测框集合后,可以得到每帧图像数据的第二目标检测框集合,进而可以确定其中两帧图像数据中的第二目标检测框集合,可以分别从该两帧图像数据中的第二目标检测框集合中确定多个目标检测框对象,可以通过TCMA(Timing-basedCongestion Matching Algorithm,时序拥堵匹配算法)对多个目标检测框对象进行计算,如位移计算、速度计算,以根据计算结果生成针对目标位置的区域拥堵信息。

在实际应用中,可以确定其中两帧图像数据中的第二目标检测框集合中目标检测框对象的总数,进而可以确定针对目标位置的目标检测框对象的密度,可以通过TCMA对多个目标检测框对象进行计算,确定两帧图像数据中的第二目标检测框集合中目标检测框对象的速度信息,进而可以结合目标检测框对象的密度和速度生成针对目标位置的区域拥堵信息。

在本发明实施例中,通过获取针对目标位置的视频数据,并从视频数据中,获取至少两帧图像数据,针对每帧图像数据,确定第一目标检测框集合,其中,第一目标检测框集合包括一个或多个目标检测框对象,并对第一目标检测框集合进行过滤,得到第二目标检测框集合,根据至少两帧图像数据的第二目标检测框集合,生成针对目标区域的区域拥堵信息,实现了对拥堵检测的优化,既通过自动化检测拥堵,提高了拥堵检测的效率,又通过过滤,降低了拥堵检测的误差,保证了检测的精度。

参照图2,示出了本发明一实施例提供的另一种拥堵检测的方法的步骤流程图,具体可以包括如下步骤:

步骤201,获取针对目标位置的视频数据,并从所述视频数据中,获取至少两帧图像数据;

步骤202,对所述图像数据进行检测,得到多个候选目标检测框对象;

其中,候选目标检测框对象可以为候选的目标检测框对象。

在确定至少两帧图像数据后,可以对每帧图像数据中的对象进行检测,并对检测到的对象通过目标检测框进行表示,进而可以在图像数据中确定一个或多个候选的目标检测框对象。

在实际应用中,可以通过神经网络模型,如YOLOv3对每帧图像数据中的对象进行检测,然而,仅通过神经网络模型对图像数据中的对象进行检测会存在检测不准确或检测到其他位置的对象的问题,因此,需要将检测到的对象确定为候选的目标检测框对象,以在后续步骤中对目标检测框对象进行处理。

步骤203,确定边界对象,并分别确定所述多个候选目标检测框对象与所述边界对象的第一相交程度;

其中,边界对象可以为具有边界的区域,如矩形框、圆形框,边界对象包括坐标信息,边界对象可以包括以下任一项:预置边界对象、自定义边界对象,预置边界对象可以为图像数据中预先设置的区域,如图像数据在交通监控系统中的显示的区域,自定义边界对象可以是用户通过人机交互的方式在图像数据中选取的区域。

在实际应用中,可以在确定候选目标检测框对象后,确定边界对象,也可以在确定候选目标检测框对象前,确定边界对象,当边界对象为预置边界对象时,可以确定图像数据在交通监控系统中的显示的区域以及该区域的坐标信息,可以在图像数据中确定多个候选目标检测框对象的坐标信息,进而可以根据该区域的坐标信息与候选目标检测框对象的坐标信息,分别计算每个候选目标检测框对象与该区域的相交程度,也就是确定第一相交程度。

当边界对象为自定义边界对象时,可以确定用户通过人机交互的方式在图像数据中选取的点,进而可以根据点确定区域以及确定该区域的坐标信息,可以在图像数据中确定多个候选目标检测框对象的坐标信息,进而可以根据该区域的坐标信息与候选目标检测框对象的坐标信息,计算每个候选目标检测框对象与该区域的相交程度。

在真实的交通场景中,每帧图像数据可以包括多个不同方向的道路信息,如双行车道,单行车道,十字路口,而采用基于SIFT算子的运动目标检测方法,对穿过虚拟线圈的机动车辆进行检测,则不能跟踪在虚拟线圈内变道的车辆,进而会在检测目标检测框对象时造成影响,如在一帧图像数据中,目标检测框对象可以是在第一车道,而在另一帧图像数据中,目标检测框对象可以是在第三车道,因此,对边界对象进行自定义选择可以规避上述情况的影响,使得检测更为准确。

作为一示例,相交程度还可以通过完全包含过滤算法进行计算,该算法可以用于确定相交程度为100%的目标检测框对象,该算法可以包括如下公式(1):

其中,D可以为多个候选目标检测框对象,cls

步骤204,根据所述第一相交程度,从所述多个候选目标检测框对象中,确定第一目标检测框集合;

在确定每个候选目标检测框对象与边界对象的相交程度后,可以将该相交程度与预先设置的第一相交程度阈值进行比较,如设置相交程度阈值为95%,进而可以从多个候选目标检测框对象中,过滤相交程度小于该相交程度阈值的候选目标检测框对象,根据过滤后的候选目标检测框对象确定第一目标检测框集合。

在实际应用中,可以通过设置相交程度阈值来确定未完全进入边界对象的目标检测框对象,倘若采纳该未完全进入的目标检测框对象,而且该目标检测框对象在另外一帧图像数据中是完全进入的,则会导致在两帧图像数据中对该目标检测框对象的检测出现了误差,使得区域拥堵信息不够准确,因此,需要过滤未完全进入边界对象的目标检测框对象。

步骤205,对所述第一目标检测框集合进行过滤,得到第二目标检测框集合;

步骤206,根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息。

在本发明实施例中,通过获取针对目标位置的视频数据,并从视频数据中,获取至少两帧图像数据,对图像数据进行检测,得到多个候选目标检测框对象,确定边界对象,并分别确定多个候选目标检测框对象与边界对象的第一相交程度,根据第一相交程度,从多个候选目标检测框对象中,确定第一目标检测框集合,对第一目标检测框集合进行过滤,得到第二目标检测框集合,根据至少两帧图像数据的第二目标检测框集合,生成针对目标位置的区域拥堵信息,实现了对拥堵检测的优化,既通过自动化检测拥堵,提高了拥堵检测的效率,还根据相交程度进行过滤降低了检测的误差,保证了检测的精度。

参照图3a,示出了本发明一实施例提供的另一种拥堵检测的方法的步骤流程图,具体可以包括如下步骤:

步骤301,获取针对目标位置的视频数据,并从所述视频数据中,获取至少两帧图像数据;

步骤302,针对每帧图像数据,确定第一目标检测框集合;其中,所述第一目标检测框集合包括一个或多个目标检测框对象;

在确定至少两帧图像数据后,可以通过神经网络模型对每帧图像数据中的对象进行检测,并对检测到的对象通过目标检测框进行表示,进而可以在图像数据中确定一个或多个目标检测框对象,并根据一个或多个目标检测框对象确定目标检测框对象的集合,也就是第一目标检测框集合。

如图3b所示,在图像数据中确定一个或多个目标检测框对象后,可以通过完全包含过滤算法对目标检测框对象进行计算,进而可以根据计算结果对一个或多个目标检测框对象进行过滤,并根据过滤后的目标检测框对象确定第一目标检测框集合。

步骤303,确定所述第一目标检测框集合中目标检测框对象的类型信息;

在确定第一目标检测框集合后,可以确定第一目标检测框集合中目标检测框对象所对应的对象,进而可以根据对象的属性信息,如面积信息、形状信息,确定第一目标检测框集合中目标检测框对象的类型信息,如车辆、树木。

在实际应用中,可以预置类型数据库,类型数据库可以包括多个类型的属性信息,如车辆类型的属性信息、树木类型的属性信息、路牌类型的属性信息等,进而可以在确定对象后,可以根据对象的属性信息和类型数据库,确定第一目标检测框集合中目标检测框对象的类型信息。

在本发明一实施例中,步骤303可以包括如下子步骤:

子步骤11,确定所述第一目标检测框集合中目标检测框对象的类型信息为目标类型信息的可信度;

其中,目标类型信息可以为车辆类型。

在确定第一目标检测框集合后,可以确定第一目标检测框集合中目标检测框对象所对应的对象的属性信息,如面积信息、形状信息,可以确定目标类型信息中的属性信息,如确定车辆类型的属性信息,进而可以计算对象的属性信息为目标类型信息的属性信息的概率,也就是计算目标检测框对象的类型信息为目标类型信息的可信度。

如图3b所示,在确定第一目标检测框集合后,可以通过置信度过滤算法,确定第一目标检测框集合中目标检测框对象的类型信息为目标类型信息的可信度,其中,置信度过滤算法可以用于确定目标检测框对象的类型信息为目标类型信息的置信度,也就是可信度,该算法可以包括如下公式(2):

其中,

在实际应用中,可以确定目标类型信息为车辆类型,该目标类型信息的属性信息为车辆类型的属性信息,可以确定第一目标检测框集合中目标检测框对象所对应的对象的属性信息,进而可以计算该对象的属性信息与车辆类型的属性信息的相似度,并根据该相似度确定。

例如,目标类型信息的属性信息可以包括矩形边框形状信息,当对象的属性信息也包括矩形边框形状信息时,则可以计算其与车辆类型的属性信息的相似度,相似度可以为90%,当对象的属性信息包括圆形边框形状信息时,则可以计算其与车辆类型的属性信息的相似度,相似度可以为40%。

子步骤12,按照所述可信度,确定所述第一目标检测框集合中目标检测框对象的类型信息。

在确定可信度后,可以对按照可信度的大小顺序对第一目标检测框集合中目标检测框对象进行排序,进而可以在第一目标检测框集合中确定可信度高于预置的可信度阈值的目标检测框对象的类型信息为目标类型信息。

例如,可以设置可信度阈值为90%,第一目标检测框集合中可以有2个目标检测框对象,且目标检测框对象A的可信度可以为89%,目标检测框对象B的可信度可以为90%,进而可以按照可信度的大小顺序,对第一目标检测框集合中目标检测框对象进行排序,顺序为目标检测框对象B、目标检测框对象A,可以确定可信度高于90%的目标检测框对象的类型信息为目标类型信息,也即是目标检测框对象B的类型信息为车辆类型。

步骤304,按照所述类型信息,对所述第一目标检测框集合中目标检测框对象进行过滤,得到中间目标检测框集合;

在确定目标检测框对象的类型信息后,可以按照类型信息对目标检测框对象进行分类,进而可以根据分类对第一目标检测框集合中目标检测框对象进行过滤,如对第一目标检测框集合中类型信息为非车辆类型的目标检测框对象进行过滤,可以得到类型信息为车辆类型的目标检测框对象的集合,也就是得到中间目标检测框集合。

步骤305,确定所述中间目标检测框集合中指定目标检测框对象;

其中,指定目标检测框对象可以是冗余目标检测框对象、错误目标检测框对象,冗余目标检测框对象可以是在确定至少两帧图像数据,通过神经网络模型对每帧图像数据中的对象进行检测时,重复检测的目标检测框对象,错误目标检测框对象可以是在确定至少两帧图像数据,通过神经网络模型对每帧图像数据中的对象进行检测时,检测错误的目标检测框对象。

在实际应用中,神经网络模型在检测对象之前可以预先经过大量的对象数据训练,进而可以在检测对象时准确识别对象,然而,仍然会不可避免的在识别对象时存在误差,会出现对同一个对象进行多次重复的检测或对错误的对象进行检测,也就是会存在冗余目标检测框对象以及错误目标检测框对象。

因此,在得到中间目标检测框集合后,可以对中间目标检测框集合中的目标检测框对象进行计算,进而可以确定指定目标检测框对象,即确定冗余目标检测框对象、错误目标检测框对象。

在本发明一实施例中,步骤305可以包括如下子步骤:

子步骤21,确定所述中间目标检测框集合中多个目标检测框对象,并确定所述中间目标检测框集合中多个目标检测框对象之间的第二相交程度;

在得到中间目标检测框集合后,可以在中间目标检测框集合中确定多个目标检测框对象,进而可以确定多个目标检测框对象的坐标信息,可以根据坐标信息确定多个目标检测框对象的面积信息,以及确定多个目标检测框对象之间相交的面积,可以通过计算该相交面积所占的比例,确定多个目标检测框对象之间的相交程度,也就是第二相交程度。

如图3b所示,在确定中间目标检测框集合中多个目标检测框对象的坐标信息后,可以通过内含Bounding box过滤算法和/或相交程度过滤算法,确定中间目标检测框集合中多个目标检测框对象之间的相交程度,具体的,内含Bounding box过滤算法可以用于确定多个目标检测框对象之间的相交程度,以确定多个目标检测框对象中存在内含关系的目标检测框对象,该算法可以包括如下公式(3):

其中,D

在实际应用中,为方便内含Bounding box过滤算法的计算,可以对中间目标检测框集合中目标检测框对象,按照目标检测框对象面积大小进行降序排序,并以公式(4)作为退出公式(3)的判断标准,公式(4)可以如下:

其中,S可以是第i个目标检测框对象的面积,k可以是按照经验所得到的常数,可以为0.1,也可以是用户自行设定的值。

具体的,相交程度过滤算法可以用于确定多个目标检测框对象之间的相交程度,以确定多个目标检测框对象中相交程度较大的目标检测框对象,该算法可以包括如下公式(5):

如图3c所示,IR(i,j)可以为中间目标检测框集合中第i个目标检测框对象和第j个目标检测框对象的相交程度,第i个目标检测框对象可以包括两个坐标信息,(x1,y1)和(x2,y2),第j个目标检测框对象可以包括两个坐标信息,(x3,y3)和(x4,y4),坐标信息可以为定至,S

在实际应用中,为方便相交程度过滤算法的计算,可以对中间目标检测框集合中除第i个目标检测框对象以外目标检测框对象按照x

子步骤22,根据所述第二相交程度,确定所述中间目标检测框集合中指定目标检测框对象。

在确定第二相交程度后,可以根据预置的第二相交程度阈值以及相交程度区间,在中间目标检测框集合中确定指定目标检测框对象。

例如,可以设置第二相交程度阈值为100%,可以通过内含Bounding box过滤算法确定中间目标检测框集合中相交程度为100%的目标检测框对象,即当IR(i,j)=1时,可以确定第i个目标检测框对象和第j个目标检测框对象之间相交的程度为100%,进而可以确定面积较小的目标检测框对象为指定目标检测框对象。

也可以设置相交程度区间为95%至100%,可以通过相交程度过滤算法确定中间目标检测框集合中相交程度为95%至100%之间的目标检测框对象,即当95%≤IR(i,j)<100%,可以确定第i个目标检测框对象和第j个目标检测框对象之间相交的程度在95%至100%区间内,进而可以确定面积较小的目标检测框对象为指定目标检测框对象。

而当相交程度不在该区间时,也即是相交程度小于95%时,由于可以对中间目标检测框集合中目标检测框对象,按照目标检测框对象面积大小进行降序排序,则可以确定第j个目标检测框对象及其最后一个目标检测框对象与第i个目标检测框对象之间的相交程度均小于95%,无需再进行计算。

在真实的交通场景中,所有的车辆都应保持一个安全距离,则所检测到目标检测框对象都应保持一个安全距离,倘若出现目标检测框对象完全内含于另外一各面积较大的目标检测框对象,或出现两个目标检测框对象相距过于接近时,则认为这种情况不符合实际,也即是说,神经网络模型在检测对象时,对同一个对象进行多次重复或错误的检测,进而对同一个对象确定了多个重复的目标检测框对象或确定了错误的目标检测框对象,从而出现目标检测框对象完全内含于另外一各面积较大的目标检测框对象或出现两个目标检测框对象相距过于接近的情况。

步骤306,过滤所述中间目标检测框集合中指定目标检测框对象,得到第二目标检测框集合;

在确定中间目标检测框集合中指定目标检测框对象后,可以在中间目标检测框集合中过滤指定目标检测框对象,进而可以根据过滤后的目标检测框对象确定第二目标检测框集合。

步骤307,根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息;

在本发明实施例中,通过获取针对目标位置的视频数据,并从视频数据中,获取至少两帧图像数据,针对每帧图像数据,确定第一目标检测框集合,其中,第一目标检测框集合包括一个或多个目标检测框对象,确定第一目标检测框集合中目标检测框对象的类型信息,按照类型信息,对第一目标检测框集合中目标检测框对象进行过滤,得到中间目标检测框集合,确定中间目标检测框集合中指定目标检测框对象,过滤中间目标检测框集合中指定目标检测框对象,得到第二目标检测框集合,根据至少两帧图像数据的第二目标检测框集合,生成针对目标位置的区域拥堵信息,实现了对拥堵检测的优化,既通过自动化检测拥堵,提高了拥堵检测的效率,还根据类型信息以及指定目标检测框对象进行过滤降低了检测的误差,保证了检测的精度。

参照图4a,示出了本发明一实施例提供的另一种拥堵检测的方法的步骤流程图,具体可以包括如下步骤:

步骤401,获取针对目标位置的视频数据,并从所述视频数据中,获取至少两帧图像数据;其中,至少两帧图像数据可以包括第一图像数据和第二图像数据;

步骤402,针对每帧图像数据,确定第一目标检测框集合;其中,所述第一目标检测框集合包括一个或多个目标检测框对象;

步骤403,确定所述第一目标检测框集合中目标检测框对象的类型信息;

步骤404,按照所述类型信息,对所述第一目标检测框集合中目标检测框对象进行过滤,得到中间目标检测框集合;

步骤405,确定所述中间目标检测框集合中指定目标检测框对象;

步骤406,过滤所述中间目标检测框集合中指定目标检测框对象,得到第二目标检测框集合;

在确定中间目标检测框集合中指定目标检测框对象后,可以在中间目标检测框集合中过滤指定目标检测框对象,进而可以根据过滤后的目标检测框对象确定第二目标检测框集合。

如图4b所示,在得到两帧图像数据中的第二目标检测框集合后,还可以分别确定两帧图像数据中第二目标检测框集合的目标检测框对象的数量,进而可以确定目标检测框对象的数量较少的一帧图像数据为第一图像数据,以及确定目标检测框对象的数量较多的一帧图像数据为第二图像数据。

例如,可以在从包括100帧图像数据的视频数据中获取第3帧和第4帧的图像数据,可以确定第3帧图像数据中第二目标检测框集合的目标检测框对象的数量为5,第4帧图像数据中第二目标检测框集合的目标检测框对象的数量为4,进而可以确定第3帧图像数据为第二图像数据,第4帧图像数据为第一图像数据。

步骤407,在所述第一图像数据的第二目标检测框集合中,确定第一目标检测框对象;

在确定第一图像数据后,可以在第一图像数据的第二目标检测框集合中确定任意一个目标检测框对象,也即是确定第一图像数据中已经完成过滤处理的目标检测框对象,以在后续步骤中生成区域拥堵信息。

步骤408,在所述第二图像数据的第二目标检测框集合中,确定与所述第一目标检测框对象相匹配的第二目标检测框对象;

在确定第一目标检测框对象后,可以确定第一目标检测框对象的坐标信息,可以确定第二图像数据的第二目标检测框集合中所有的目标检测框对象的坐标信息,进而可以根据该坐标信息以及第一目标检测框对象的坐标信息,在第二图像数据的第二目标检测框集合中确定与第一目标检测框对象相匹配的第二目标检测框对象。

在本发明一实施例中,步骤408可以包括如下子步骤:

子步骤31,确定所述第一目标检测框对象的第一位置信息,并确定所述第二图像数据的第二目标检测框集合中目标检测框对象的第二位置信息;

其中,位置信息可以是坐标信息、编码信息、地址信息。

在确定第一目标检测框对象后,可以在第一图像数据中,确定第一目标检测框对象的坐标信息,也就是第一位置信息,并在第二图像数据中确定在第二图像数据的第二目标检测框集合中目标检测框对象的坐标信息,也就是第二位置信息。

在实际应用中,第二图像数据的第二目标检测框集合中可以有多个目标检测框对象,进而可以确定每一个目标检测框对象的坐标信息,即可以确定多个第二位置信息。

子步骤32,结合所述第一位置信息与所述第二位置信息,确定所述第一目标检测框对象与所述第二图像数据的第二目标检测框集合中目标检测框对象的相对位置信息;

其中,相对位置信息可以是相对坐标信息。

在确定位置信息后,可以确定坐标信息,可以将第一目标检测框对象的坐标信息与第二图像数据的第二目标检测框集合中多个目标检测框对象的坐标信息进行迭代计算,进而可以得到第一目标检测框对象与第二图像数据的第二目标检测框集合中每一个目标检测框对象的相对坐标信息。

子步骤33,根据所述相对位置信息,确定匹配的第二目标检测框对象。

其中,匹配的目标检测框对象可以是两帧图像数据中的同一个对象。

在确定相对坐标位置后,可以确定相对坐标信息,进而可以根据相对坐标信息,确定第一目标检测框对象的中心点以及第二图像数据的第二目标检测框集合中目标检测框对象的中心点,可以根据该中心点,确定第一目标检测框对象与第二图像数据的第二目标检测框集合中目标检测框对象之间的中心点偏移量,进而可以得到多个中心点偏移量,可以对中心点偏移量的大小进行判断。

当中心点偏移量最小时,则可以在第二图像数据的第二目标检测框集合中确定对应的目标检测框对象为匹配的目标检测框对象,也就是第二目标检测框对象。

如图4b所示,可以对第一图像数据中的第一目标检测框对象与第二图像数据中的第二目标检测框集合的每个目标检测框对象进行迭代寻找,进而可以在第二图像数据的第二目标检测框集合中,确定与第一目标检测框对象的中心点偏移量最小的目标检测框对象,组成匹配的对子,也就是匹配的目标检测框对象。

具体的,可以通过如下公式(6)进行迭代寻找:

其中,

步骤409,结合所述第一目标检测框对象和所述第二目标检测框对象,生成针对所述目标位置的区域拥堵信息。

在确定匹配的第二目标检测框对象后,可以在第一图像数据和第二图像数据中确定一对或多对匹配的目标检测框对象,也就是可以确定第一目标检测框对象和第二目标检测框对象,进而可以确定第一目标检测框对象和第二目标检测框对象之间的中心点偏移量,可以确定第一图像数据与第二图像数据相隔的时长信息,可以根据该中心点偏移量与时长信息,计算出同一个对象的速度信息,并根据速度信息确定速度集合。

在实际应用中,可以根据中心点偏移量与时长信息计算出对象的速度信息,而仅根据一个对象所生成的速度信息,会有较大的计算误差,因此,如图4b所示,还可以根据多个匹配的对子的中心点偏移量与时长信息计算出多个对象的速度信息,进而可以获得准确的速度信息,并根据该速度信息确定速度集合。

而仅根据其中两个图像数据的对象所生成的速度信息,仍会存在误差,因此,还可以根据多个图像数据确定多个对象以及多个中心点偏移量,进而可以根据多个中心点偏移量与时长信息计算出多个对象的速度信息,以生成更为准确的速度信息,并根据该速度信息确定速度集合。

在确定速度集合后,可以对速度集合中的速度信息进行过滤,如过滤速度过大的速度信息。

例如,可以采用中位数过滤法,即当速度信息大于速度信息中的中位数的k倍时,过滤该速度信息,其中,k可以根据实际道路情况进行确定,也可以是用户自行确定。

在对速度集合中的速度信息进行过滤后,可以对过滤后的速度信息进行计算,确定过滤后的速度信息的平均值,可以确定第一图像数据以及第二图像数据中的目标检测框对象的总数,进而可以根据目标检测框对象的总数确定目标位置的目标检测框对象的密度,以结合平均值、目标检测框对象的密度,生成针对目标位置的区域拥堵信息,也可以是结合平均值、目标检测框对象的总数,生成针对目标位置的区域拥堵信息。

在实际应用中,可以预先设置速度阈值k1,k2,且k1

在本发明实施例中,通过获取针对目标位置的视频数据,并从视频数据中,获取至少两帧图像数据,针对每帧图像数据,确定第一目标检测框集合,其中,第一目标检测框集合包括一个或多个目标检测框对象,确定第一目标检测框集合中目标检测框对象的类型信息,按照类型信息,对第一目标检测框集合中目标检测框对象进行过滤,得到中间目标检测框集合,确定中间目标检测框集合中指定目标检测框对象,过滤中间目标检测框集合中指定目标检测框对象,得到第二目标检测框集合,在第一图像数据的第二目标检测框集合中,确定第一目标检测框对象,在第二图像数据的第二目标检测框集合中,确定与第一目标检测框对象相匹配的第二目标检测框对象,结合第一目标检测框对象和第二目标检测框对象,生成针对目标位置的区域拥堵信息,实现了对拥堵检测的优化,既通过确定匹配的对象生成区域拥堵信息,提高了检测的效率,还根据类型信息以及指定目标检测框对象进行过滤降低了检测的误差,保证了检测的精度。

以下结合图5对本发明实施例进行示例性说明:

1、在实际拥堵检测中,可以获取至少包括两帧图像数据的视频数据,进而可以从至少包括两帧图像数据的视频数据中获取任意两帧的图像数据,在确定至少两帧图像数据后,可以通过确定用户选取的点坐标来确定边界对象,也就是检测范围。

2、在确定至少两帧图像数据后,可以通过神经网络模型,如YOLOv3神经网络模型对每帧图像数据中的对象进行检测,如对第i帧、第i+1帧图像数据进行检测,并对检测到的对象通过目标检测框进行表示,进而可以在图像数据中确定一个或多个目标检测框对象,并根据目标检测框对象确定bounding box集合,也就是目标检测框集合。

3、在确定目标检测框集合后,可以通过TBBFA(Traffic Bounding Box FilteringAlgorithm,交通bounding box过滤算法)对目标检测框集合中的目标检测框对象进行过滤,过滤冗余目标检测框对象以及错误目标检测框对象,错误目标检测框对象也即是无效目标检测框对象,并根据过滤后的目标检测框对象确定另一个目标检测框集合,进而可以确定至少两帧图像数据的目标检测框集合,其中,TBBFA可以包括如上所述的完全包含过滤算法、置信度过滤算法、内含Bounding box过滤算法、相交程度过滤算法。

4、在确定另一个目标检测框集合后,可以通过如上所述的TCMA对另一个目标检测框集合中的目标检测框对象进行速度计算,确定速度集合。

5、在确定速度集合后,可以结合速度以及目标检测框集合中的目标检测框对象个数,生成针对目标位置的区域拥堵信息,输出拥堵程度。

需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。

参照图6,示出了本发明一实施例提供的一种拥堵检测的装置的结构示意图,具体可以包括如下模块:

图像数据获取模块601,用于获取针对目标位置的视频数据,并从所述视频数据中,获取至少两帧图像数据;

第一目标检测框集合确定模块602,用于针对每帧图像数据,确定第一目标检测框集合;其中,所述第一目标检测框集合包括一个或多个目标检测框对象;

第二目标检测框集合得到模块603,用于对所述第一目标检测框集合进行过滤,得到第二目标检测框集合;

区域拥堵信息生成模块604,用于根据所述至少两帧图像数据的第二目标检测框集合,生成针对所述目标位置的区域拥堵信息

在本发明一实施例中,所述第一目标检测框集合确定模块602还包括:

候选目标检测框对象确定子模块,用于对所述图像数据进行检测,得到多个候选目标检测框对象;

第一相交程度确定子模块,用于确定边界对象,并分别确定所述多个候选目标检测框对象与所述边界对象的第一相交程度;

目标检测框集合确定子模块,用于根据所述第一相交程度,从所述多个候选目标检测框对象中,确定第一目标检测框集合。

在本发明一实施例中,所述第二目标检测框集合得到模块603还包括:

类型信息确定子模块,用于确定所述第一目标检测框集合中目标检测框对象的类型信息;

中间目标检测框集合确定子模块,用于按照所述类型信息,对所述第一目标检测框集合中目标检测框对象进行过滤,得到中间目标检测框集合;

指定目标检测框对象确定子模块,用于确定所述中间目标检测框集合中指定目标检测框对象;

第二目标检测框集合确定子模块,用于过滤所述中间目标检测框集合中指定目标检测框对象,得到第二目标检测框集合。

在本发明一实施例中,所述类型信息确定子模块还包括:

可信度确定单元,用于确定所述第一目标检测框集合中目标检测框对象的类型信息为目标类型信息的可信度;

目标检测框对象类型信息确定单元,用于按照所述可信度,确定所述第一目标检测框集合中目标检测框对象的类型信息。

在本发明一实施例中,所述指定目标检测框对象确定子模块还包括:

第二相交程度确定单元,用于确定所述中间目标检测框集合中多个目标检测框对象,并确定所述中间目标检测框集合中多个目标检测框对象之间的第二相交程度;

指定目标检测框对象获取单元,用于根据所述第二相交程度,确定所述中间目标检测框集合中指定目标检测框对象。

在本发明一实施例中,所述区域拥堵信息生成模块604还包括:

第一目标检测框对象确定子模块,用于在所述第一图像数据的第二目标检测框集合中,确定第一目标检测框对象;

第二目标检测框对象确定子模块,用于在所述第二图像数据的第二目标检测框集合中,确定与所述第一目标检测框对象相匹配的第二目标检测框对象;

目标位置区域拥堵信息生成子模块,用于结合所述第一目标检测框对象和所述第二目标检测框对象,生成针对所述目标位置的区域拥堵信息。

在本发明一实施例中,所述第二目标检测框对象确定子模块还包括:

位置信息确定单元,用于确定所述第一目标检测框对象的第一位置信息,并确定所述第二图像数据的第二目标检测框集合中目标检测框对象的第二位置信息;

位置信息结合单元,用于结合所述第一位置信息与所述第二位置信息,确定所述第一目标检测框对象与所述第二图像数据的第二目标检测框集合中目标检测框对象的相对位置信息;

目标检测框对象匹配单元,用于根据所述相对位置信息,确定匹配的第二目标检测框对象。

在本发明实施例中,通过获取针对目标位置的视频数据,并从视频数据中,获取至少两帧图像数据,针对每帧图像数据,确定第一目标检测框集合,其中,第一目标检测框集合包括一个或多个目标检测框对象,并对第一目标检测框集合进行过滤,得到第二目标检测框集合,根据至少两帧图像数据的第二目标检测框集合,生成针对目标区域的区域拥堵信息,实现了对拥堵检测的优化,既通过自动化检测拥堵,提高了拥堵检测的效率,又通过过滤,降低了拥堵检测的误差,保证了检测的精度。

本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上拥堵检测的方法。

本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上拥堵检测的方法。

对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种拥堵检测的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

相关技术
  • 交通拥堵预兆检测方法及交通拥堵预兆检测装置
  • 一种扶梯口客流拥堵检测装置及其客流拥堵程度判别方法
技术分类

06120112148978