掌桥专利:专业的专利平台
掌桥专利
首页

一种车速确定方法、装置、设备和介质

文献发布时间:2023-06-19 12:02:28


一种车速确定方法、装置、设备和介质

技术领域

本发明涉及图像处理技术领域,尤其涉及一种车速确定方法、装置、设备和介质。

背景技术

随着社会的进步和经济的快速发展,汽车数量不断增加,在为社会提供便利的同时,交通事故的发生概率和交通道路的拥塞率也大大增加,而造成交通事故和道路拥塞的最主要原因,就是人为随意地增速、降速,因此准确地确定车辆的车速就成为较为急切的需求。

现有技术中的测速技术包括雷达测速、激光测速、地感线圈测速等。其中雷达测速是基于多普勒效应原理,通过向车辆发射雷达波并接收车辆反射回的雷达波,根据发射的雷达波的频率与接收的反射回的雷达波的频率,确定出车辆的车速。但是雷达测速只能应用于移动式、近距离的场景中,而无法使用远距离的测速,例如对高速路上车辆的测速,并且雷达测速还需要安装雷达,使得确定车辆的车速的成本较高。

激光测速是基于激光测距的原理,测距仪向车辆发射两次间隔设定时长的激光并接收返回的激光,确定车辆在间隔的该设定时长内的移动距离,从而确定出车辆的车速。但是该激光测速方法对于测量偏差角度的要求较高,导致确定车速时的成功率较低,并且测距仪只能在静止状态下使用。

地感线圈测速是基于电磁感应原理,当有车辆经过线圈区域时,线圈磁通量发生变化,触发信号提示有车经过,通过两个距离已知的线圈,并结合车辆通过两个线圈所用时间可以确定出车速。但是采用地感线圈测试时需要安装地感线圈,施工量较大,并线圈容易损坏,后续的维护难度高。

由于传统的测速方法的上述问题,并且近年来机器视觉相关技术发展迅速,在各行各业中应用广泛,且计算机视觉检测技术具有自动化程度高、效率高、精度高等诸多优点,因此现有技术提出了出基于视觉检测技术的车辆测速技术。

在现有的视觉检测技术中,通过帧差法确定出运动的车辆在图像中的位置,对每两帧之间的车辆进行匹配,从而检测出同一车辆在不同帧内的位置,根据车辆的像素距离确定出车辆经过的实际距离,根据实际距离以及两帧间的时间差,确定车辆的车速。

具体通过帧差法确定运动的车辆在图像中的位置时,是将相邻帧图像对应像素值相减得到差分图像,然后对差分图像二值化,在环境亮度变化不大的情况下,若像素点对应的像素差值小于事先确定的阈值时,可以确定为背景像素点,若像素点对应的像素差值不小于事先确定的阈值时,则可以确定为运动的车辆在图像中的像素点。由于该方法只有在环境亮度变化不大时才能准确地确定车辆在图像中的位置,因此实际在确定车辆位置时受光照和画面背景的影响,会导致确定的车辆在图像中的位置不准确,从而使得确定的车速的准确度低。

并且现有的视觉检测技术只能在图像中只包括单个车辆时进行车速的确定,而无法在图像中包括多个车辆时进行车速的确定。

因此,如何在图像中包括多个车辆时提高确定的车速的准确性,就成为亟待解决的技术问题。

发明内容

本发明提供了一种车速确定方法、装置、设备和介质,用以解决如何在图像中包括多个车辆时提高确定的车速的准确性的问题。

本发明提供了一种车速确定方法,所述方法包括:

基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域;

根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;

根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速包括:

根据所述第一检测区域中车辆预设位置的第一坐标和所述目标第二检测区域中所述车辆预设位置的第二坐标,确定所述第一检测区域与所述目标第二检测区域的像素距离,其中所述第一检测区域与所述目标第二检测区域的区域范围相同;

根据所述第一检测区域的像素宽度和预设宽度的比值和所述像素距离,确定所述车辆移动的实际距离;

根据所述实际距离和相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域包括:

基于常量速度模型和线性观测模型的标准卡尔曼滤波器,对所述第一检测区域对应的车辆进行预测,确定所述第一检测区域在所述下一帧图像的第一预测区域。

进一步地,所述根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域包括:

根据所述第一预测区域中的每个第一像素点与所述第二候选检测区域中对应的每个第二像素点,确定所述第一预测区域与所述第二候选检测区域的马氏距离和值与余弦距离和值;

根据所述马氏距离和值、所述余弦距离和值以及分别对应的预设权重,确定所述第一预测区域与所述第二候选检测区域的距离权重和值;

若所述距离权重和值小于所述预设阈值,则确定第二候选检测区域为目标第二检测区域。

进一步地,所述深度学习模型的训练过程包括:

针对样本集中的任一样本图像,获取所述样本图像及所述样本图像对应的第一标签信息,其中所述第一标签信息标识所述样本图像中包含车辆的设定范围区域;

将所述样本图像输入到原始深度学习模型中,获取输出的所述样本图像的第二标签信息;

根据所述第一标签信息和所述第二标签信息,对所述原始深度学习模型的各参数的参数值进行调整,得到训练完成的所述深度学习模型。

相应地,本发明提供了一种车速确定装置,所述装置包括:

识别模块,用于基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域;

匹配模块,用于根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;

确定模块,用于根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述确定模块,具体用于根据所述第一检测区域中车辆预设位置的第一坐标和所述目标第二检测区域中所述车辆预设位置的第二坐标,确定所述第一检测区域与所述目标第二检测区域的像素距离,其中所述第一检测区域与所述目标第二检测区域的区域范围相同;根据所述第一检测区域的像素宽度和预设宽度的比值和所述像素距离,确定所述车辆移动的实际距离;根据所述实际距离和相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述匹配模块,具体用于基于常量速度模型和线性观测模型的标准卡尔曼滤波器,对所述第一检测区域对应的车辆进行预测,确定所述第一检测区域在所述下一帧图像的第一预测区域。

进一步地,所述匹配模块,具体还用于根据所述第一预测区域中的每个第一像素点与所述第二候选检测区域中对应的每个第二像素点,确定所述第一预测区域与所述第二候选检测区域的马氏距离和值与余弦距离和值;根据所述马氏距离和值、所述余弦距离和值以及分别对应的预设权重,确定所述第一预测区域与所述第二候选检测区域的距离权重和值;若所述距离权重和值小于所述预设阈值,则确定第二候选检测区域为目标第二检测区域。

进一步地,所述装置还包括:

训练模块,具体用于针对样本集中的任一样本图像,获取所述样本图像及所述样本图像对应的第一标签信息,其中所述第一标签信息标识所述样本图像中包含车辆的设定范围区域;将所述样本图像输入到原始深度学习模型中,获取输出的所述样本图像的第二标签信息;根据所述第一标签信息和所述第二标签信息,对所述原始深度学习模型的各参数的参数值进行调整,得到训练完成的所述深度学习模型。

相应地,本发明提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

所述存储器中存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行时实现上述车速确定方法中任一所述方法的步骤。

相应地,本发明提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述车速确定方法中任一所述方法的步骤。

本发明提供了一种车速确定方法、装置、设备和介质,该方法中基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域,由于深度学习模型识别出的是包含车辆的检测区域,光照和画面背景对像素值的影响并不会降低确定的包含车辆的检测区域的准确性,根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速;从而可以在图像中包括多个车辆时确定出一个车辆的第一检测区域和对应的目标第二检测区域,从而准确地确定出车辆的车速。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车速确定方法的过程示意图;

图2为本发明实施例提供的一种图像中车辆与实际的车辆分别与图像采集设备的连线构成的相似三角形的示意图;

图3为本发明实施例提供的一种YOLOv3的骨干网络Darknet-53的示意图;

图4为本发明实施例提供的一种YOLOv3的整体结构图;

图5为本发明实施例提供的一种YOLOv3的基本组件DBL的示意图;

图6为本发明实施例提供的一种YOLOv3的基本组件Res_unit的示意图;

图7为本发明实施例提供的一种YOLOv3的基本组件Resblock_body的示意图;

图8为本发明实施例提供的一种车速确定装置的结构示意图;

图9为本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

为了在图像中包括多个车辆时提高确定的车速的准确性,本发明实施例提供了一种车速确定方法、装置、设备和介质。

实施例1:

图1为本发明实施例提供的一种车速确定方法的过程示意图,该过程包括以下步骤:

S101:基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域。

本发明实施例提供的一种车速确定方法应用于电子设备,该电子设备可以是PC、平板电脑、智能手机等智能终端设备,也可以是服务器,其中该服务器可以是本地服务器,也可以是云端服务器。

在本发明实施例中,根据图像采集设备采集的视频中的视频帧图像,该电子设备确定视频帧图像中车辆的车速,其中该图像采集设备为采集行驶的车辆的图像的设备,例如监控摄像头、摄像机等。

图像采集设备采集的视频中的当前帧图像可能是包含一个车辆,也可能是包含多个车辆;为了确定当前帧图像中的车辆的车速,需要识别当前帧图像中车辆的检测区域。

为了识别当前帧图像中车辆的检测区域,该电子设备保存有训练完成的深度学习模型,将当前帧图像和与当前帧图像相邻的下一帧图像输入到该预先训练完成的深度学习模型,深度学习模型对当前帧图像和下一帧图像中的车辆进行处理,识别出该当前帧图像中车辆的第一检测区域和下一帧图像中车辆的第二候选检测区域。

其中,该深度学习模型可以是卷积神经网络模型(Convolutional neuralnetworks,CNN)、或目标检测网络模型(YOLOv3)、或深度残差网络(Deep residualnetworks,DRN)。

S102:根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域。

由于当前帧图像和下一帧图像中均包含多个车辆,为了基于识别出的第一检测区域和第二候选检测区域,确定出同一车辆在当前帧图像和下一帧图像中的区域,在本发明实施例,电子设备还针对当前帧图像中任一车辆,根据识别出的车辆在当前帧图像的第一检测区域,确定该第一检测区域对应车辆在下一帧图像中的目标第二检测区域。

由于现有车辆的类型包括轿车、卡车、大巴等类型,而同一类型的车辆相似度较高,为了确定出该第一检测区域对应车辆在下一帧图像中的目标第二检测区域,根据当前帧图像的第一检测区域,预测该第一检测区域对应车辆在下一帧图像中的第一预测区域,基于该第一预测区域确定出该第一检测区域对应车辆在下一帧图像中的目标第二检测区域。其中,根据当前帧图像的第一检测区域,预测该第一检测区域对此车辆在下一帧图像中的第一预测区域的方法属于现有技术,本发明实施例对此不做赘述。

根据下一帧图像的第一预测区域和第二候选检测区域,确定第一预测区域和第二候选检测区域的相似度。例如可以通过计算第一预测区域和第二候选检测区域之间的马氏距离确定相似度,马氏距离越小时则第一预测区域和第二候选检测区域的相似度越高。

根据第一预测区域和第二候选检测区域的相似度,确定与第一预测区域匹配的目标第二检测区域。例如可以是将相似度最高,且大于预设阈值的第二候选检测区域确定为目标第二检测区域。

S103:根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速。

由于当前帧图像和下一帧图像对应的区域均为同一图像采集区域,因此该当前帧图像和下一帧图像的坐标系相同,根据当前帧图像中的第一检测区域和下一帧图像中的目标第二检测区域,确定出第一检测区域的车辆在相邻两帧时间内移动的实际距离,并根据实际距离和相邻两帧图像的时间差值,确定出第一检测区域对应车辆的车速。

由于本发明实施例中基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域,由于深度学习模型识别出的是包含车辆地检测区域,光照和画面背景对像素值的影响并不会降低确定的包含车辆的检测区域的准确性,根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速;从而可以在图像中包括多个车辆时确定出一个车辆的第一检测区域和对应的目标第二检测区域,从而准确地确定出车辆的车速。

实施例2:

为了确定车辆的车速,在上述实施例的基础上,在本发明实施例中,所述根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速包括:

根据所述第一检测区域中车辆预设位置的第一坐标和所述目标第二检测区域中所述车辆预设位置的第二坐标,确定所述第一检测区域与所述目标第二检测区域的像素距离,其中所述第一检测区域与所述目标第二检测区域的区域范围相同;

根据所述第一检测区域的像素宽度和预设宽度的比值和所述像素距离,确定所述车辆移动的实际距离;

根据所述实际距离和相邻两帧图像的时间差值,确定所述车辆的车速。

为了确定车辆的车速,首先根据第一检测区域和目标第二检测区域,确定出第一检测区域对应车辆在相邻两帧图像的时间差值移动的实际距离。

根据第一检测区域中车辆预设位置的第一坐标、以及目标第二检测区域中该车辆预设位置的第二坐标,确定出第一坐标与第二坐标的距离,将该距离作为第一检测区域与目标第二检测区域之间的像素距离。

其中,该车辆预设位置可以是第一检测区域的中心位置,也可以是第一检测区域的任一点的位置,该第一检测区域与目标第二检测区域的区域范围相同,因此在该第一检测区域中与目标第二检测区域中,车辆预设位置均为第一检测区域与目标第二检测区域中的相同行数和相同列数对应的坐标点的位置。

确定第一检测区域的像素宽度与预设宽度的比值,其中该预设宽度为车辆常规的实际宽度,例如该预设宽度为3米,3.5米等。该比值为像素宽度与实际宽度的比值,基于图像采集设备的基本成像原理,图像中车辆与实际的车辆分别与图像采集设备的连线构成了相似三角形。

图2为本发明实施例提供的一种图像中车辆与实际的车辆分别与图像采集设备的连线构成的相似三角形的示意图,如图2所示,图中的连线AB表示为实际车辆,图中的连线CD表示为图像中车辆,AB和CD分别与图像采集设备焦点O连线构成三角形OAB和三角形OCD,三角形OAB和三角形OCD为相似三角形。

因此,图像采集设备的焦距与车辆距图像采集设备的距离的比值,即相当于像素宽度与实际宽度的比值,而车辆距图像采集设备的距离较远,车辆在车道中的移动对车辆距图像采集设备的距离的影响可以忽略不计,因此可以认为图像采集设备的焦距与车辆距图像采集设备的距离的比值为固定值,即可以将像素宽度与实际宽度的比值确认为该像素距离与实际距离的比值。

根据确定的第一检测区域与目标第二检测区域的像素距离、以及该像素距离与实际距离的比值,确定出该像素距离除以该比值的商值,该商值即为第一检测区域对应车辆在相邻两帧图像的时间差值移动的实际距离。根据第一检测区域对应车辆移动的该实际距离和相邻两帧图像的时间差值,确定出该实际距离除以该时间差值的商值,该商值即为第一检测区域对应车辆的车速。

下面通过一个具体的实施例对本发明的确定车辆的车速的过程进行说明,假设车辆在第1帧中的第一检测区域的中心点位置是(x1,y1),第一检测区域的像素高度和像素宽度分别是h1和w1;车辆在第2帧中的目标第二检测区域的中心点位置是(x2,y2),该车辆移动的像素距离D

根据该第一检测区域的像素宽度w1和预设宽度3米,确定出该像素宽度与预设宽度的比例p,

根据每秒处理的视频帧数fps,确定出相邻两帧图像的时间差值t,

实施例3:

为了预测出车辆在下一帧图像的第一预测区域,在上述各实施例的基础上,在本发明实施例中,所述根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域包括:

基于常量速度模型和线性观测模型的标准卡尔曼滤波器,对所述第一检测区域对应的车辆进行预测,确定所述第一检测区域在所述下一帧图像的第一预测区域。

为了预测出车辆在下一帧图像中的第一预测区域,在本发明实施例中,根据现有的基于常量速度模型和线性观测模型的标准卡尔曼滤波器,以及该第一检测区域的中心点坐标(x,y)、像素宽度w和像素高度h,对该第一检测区域对应的车辆进行预测,确定出第一检测区域在与当前帧图像相邻的下一帧图像的第一预测区域。

其中,该第一预测区域的像素宽度和像素高度与第一检测区域的像素宽度和像素高度相同,仅该第一预测区域的中心点坐标与第一检测区域的中心点坐标不同。

实施例4:

为了确定与第一预测区域匹配的目标第二检测区域,在上述各实施例的基础上,在本发明实施例中,所述根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域包括:

根据所述第一预测区域中的每个第一像素点与所述第二候选检测区域中对应的每个第二像素点,确定所述第一预测区域与所述第二候选检测区域的马氏距离和值与余弦距离和值;

根据所述马氏距离和值、所述余弦距离和值以及分别对应的预设权重,确定所述第一预测区域与所述第二候选检测区域的距离权重和值;

若所述距离权重和值小于所述预设阈值,则确定第二候选检测区域为目标第二检测区域。

现有的目标跟踪算法(Sort)确定与第一预测区域匹配的目标第二检测区域时,是以第一预测区域与第二候选检测区域间的交并比(IOU)作为判断匹配的度量标准,从而确定出当前帧图像和下一帧图像中的同一车辆的区域,实现对车辆的跟踪。

由于目标跟踪算法(Sort)忽略了车辆的检测区域的表观信息,在车辆有遮挡的情况下的准确度很低,因此本发明实施例中采用多目标跟踪算法(Deep Sort)确定与第一预测区域匹配的目标第二检测区域。

具体的,为了确定出第一预测区域与第二候选检测区域的匹配度,在根据第一预测区域中的每个第一像素点与第二候选检测区域中对应的每个第二像素点,确定出第一像素点与第二像素点之间的马氏距离和余弦距离。

针对第一预测区域中每个第一像素点,根据该第一像素点在第一预测区域的行数和列数,可以确定出第一候选检测区域中相同的行数和列数的第二像素点,该第二像素点即为第一像素点在第二候选检测区域对应的第二像素点。

根据第一预测区域中每个第一像素点与第二候选检测区域对应的第二像素点的马氏距离,确定第一预测区域与第二候选检测区域的马氏距离和值;根据第一预测区域中每个第一像素点与第二候选检测区域对应的第二像素点的余弦距离,确定第一预测区域与第二候选检测区域的余弦距离和值。

根据第一预测区域与第二候选检测区域的马氏距离和值、余弦距离和值以及分别对应的权重值,将马氏距离和值与对应的权重值相乘得到第一乘积值,将余弦距离和值与对应的权重值相乘得到第二乘积值,确定第一乘积值与第二乘积值的和值,该和值即为第一预测区域与第二候选检测区域的权重距离和值。

该权重距离和值即为评价第一预测区域与第二候选检测区域的相似度的指标,该权重距离和值越小时,则表示第一预测区域与第二候选检测区域越相似,也表示第一预测区域与第二候选检测区域的重合程度越高,即预测的第一预测区域越准确。

为了确定出与第一预测区域匹配的目标第二检测区域,还预先保存有判断区域是否匹配的预设阈值,其中该预设阈值是预先设置的,若希望提高区域匹配的准确度,则可以将该预设阈值设置地较小一些,若希望提高区域匹配的鲁棒性,则可以将该预设阈值设置地较大一些。

根据该第一预测区域每个第二候选检测区域的权重距离和值以及该预设阈值,确定出权重距离和值小于预设阈值的第二候选检测区域为目标第二检测区域。

实施例5:

为了训练深度学习模型,在上述各实施例的基础上,在本发明实施例中,所述深度学习模型的训练过程包括:

针对样本集中的任一样本图像,获取所述样本图像及所述样本图像对应的第一标签信息,其中所述第一标签信息标识所述样本图像中包含车辆的设定范围区域;

将所述样本图像输入到原始深度学习模型中,获取输出的所述样本图像的第二标签信息;

根据所述第一标签信息和所述第二标签信息,对所述原始深度学习模型的各参数的参数值进行调整,得到训练完成的所述深度学习模型。

为了实现对深度学习模型的训练,本申请中保存有进行训练用的样本集,该样本集中的样本图像包括有每一车辆的车辆图像,该样本集中样本图像的第一标签信息为人工预先标注的,其中,该第一标签信息用于标识该样本图像中包含的车辆的设定范围区域。

在本申请中,在获取到样本集中的任一样本图像及该样本图像的第一标签信息后,将该样本图像输入到原始深度学习模型中,该原始深度学习模型输出该样本图像的第二标签信息。其中,第二标签信息标识该原始深度学习模型识别的该样本图像中包含车辆的设定范围区域。

在根据原始深度学习模型确定出该样本图像的第二标签信息后,根据该第二标签信息以及该样本图像的第一标签信息,对原始深度学习模型进行训练,以调整原始深度学习模型的各项参数的参数值。

对原始深度学习模型进行训练的样本集中包含的每一个样本图像都进行上述操作,当满足预设的条件时,得到训练完成的深度学习模型。其中,该预设的条件可以是样本集中的样本图像通过原始深度学习模型训练后得到的第一标签信息与第二标签信息一致的样本图像的数量大于设定数量;也可以是对原始深度学习模型进行训练的迭代次数达到设置的最大迭代次数等。具体的,本申请对此不做限制。

作为一种可能的实施方式,在对原始深度学习模型进行训练时,可以把样本集中的样本图像分为训练样本图像和测试样本图像,先基于训练样本图像对原始深度学习模型进行训练,再基于测试样本图像对训练完成的深度学习模型的可靠性进行测试。

在该深度学习模型为目标检测模型(YOLOv3)时,YOLOv3的骨干网络是深度学习框架(Darknet-53),利用52个卷积层和最后的一个全连接层组成。在YOLOv3网络结构中,都是采用1x1和3x3的卷积核,这样会大大减少模型推理时的参数量和计算量。YOLOv3是在YOLOv2的基础上进行的改进,在骨干网络结构中增加了5个残差块(Residual),即利用了残差网络ResNet的原理,形成恒等映射的形式,让深度网络实现和浅层网络一样的性能,避免由于网络层太深而导致的梯度爆炸。

YOLOv3的推理过程采用跨尺度预测(Predictions Across Scales),借鉴了特征金字塔网络(feature pyramid networks,FPN)的原理,用多个尺度来对不同大小的目标进行检测,越精细的网格可以检测出越小的物体。YOLOv3提供了3种不同尺寸的边界框,即对于每个待预测目标,将分别得出3个不同大小的预测框,然后再对预测框进行概率的计算,从而筛选出最匹配的结果。系统用这种思想提取不同尺寸的特征,以形成金字塔形网络(pyramid network)。YOLOv3网络的最后一个卷积层预测得到一个三维张量编码预测框、对象和类别。COCO数据集下得到的张量为:N*N*[3*(4+1+80)],4个边界框偏移量,1个目标性预测和80个类别预测。

图3为本发明实施例提供的一种YOLOv3的骨干网络Darknet-53的示意图,如图3所示,Convolutional表示为卷积层,Residual表示为残差块,Type表示为网络层,Filters标识为卷积层包括的卷积核,Size表示为尺寸,Output表示为输出,Avgpool表示为平均池化层,Connected表示为全连接层,Softmax为进行数值处理的函数。

图4为本发明实施例提供的一种YOLOv3的整体结构图,如图4所示,第一行是最小尺度的yolo层,输入13*13的特征图,一共1024个通道,经过一系列的卷积操作,特征图的大小不变,但是通道数最后减少为75个,最终输出13*13的特征图,75个通道,然后进行分类和位置回归。

第二行是中尺度的yolo层,将79层的13*13、512通道的特征图进行卷积操作,生成13*13、256通道的特征图,然后进行上采样,生成26*26、256通道的特征图,同时与26*26、512通道的中尺度特征图合并。进行一系列的卷积操作,特征图的大小不变,但是通道数最后减少为75个,最终输出26*26大小的特征图,75个通道,然后进行分类和位置回归。

第三行是大尺度的yolo层,将91层的26*26、512通道的特征图进行卷积草组,生成26*26、128通道的特征图,然后进行上采样生成52*52、128通道的特征图,同时与36层的52*52、256通道的特征图合并。进行一系列的卷积操作,特征图的大小不变,但是通道数最后减少为75个,最终输出52*52大小的特征图,75个通道,然后进行分类和位置回归。

图5为本发明实施例提供的一种YOLOv3的基本组件DBL的示意图,如图5所示,DBL包括卷积层、BN和Leaky relu,对于YOLOv3来说,BN和leaky relu是和卷积层不可分离的部分,并共同构成了最小组件DBL。

图6为本发明实施例提供的一种YOLOv3的基本组件Res_unit的示意图,如图6所示,Res_unit包括两个基本组件DBL和一个add层。

图7为本发明实施例提供的一种YOLOv3的基本组件Resblock_body的示意图,如图7所示,Resblock_body中包括基本组件DBL、zero padding和res unit。

实施例6:

在上述各实施例的基础上,图8为本发明实施例提供的一种车速确定装置的结构示意图,所述装置包括:

识别模块801,用于基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域;

匹配模块802,用于根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;

确定模块803,用于根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述确定模块,具体用于根据所述第一检测区域中车辆预设位置的第一坐标和所述目标第二检测区域中所述车辆预设位置的第二坐标,确定所述第一检测区域与所述目标第二检测区域的像素距离,其中所述第一检测区域与所述目标第二检测区域的区域范围相同;根据所述第一检测区域的像素宽度和预设宽度的比值和所述像素距离,确定所述车辆移动的实际距离;根据所述实际距离和相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述匹配模块,具体用于基于常量速度模型和线性观测模型的标准卡尔曼滤波器,对所述第一检测区域对应的车辆进行预测,确定所述第一检测区域在所述下一帧图像的第一预测区域。

进一步地,所述匹配模块,具体还用于根据所述第一预测区域中的每个第一像素点与所述第二候选检测区域中对应的每个第二像素点,确定所述第一预测区域与所述第二候选检测区域的马氏距离和值与余弦距离和值;根据所述马氏距离和值、所述余弦距离和值以及分别对应的预设权重,确定所述第一预测区域与所述第二候选检测区域的距离权重和值;若所述距离权重和值小于所述预设阈值,则确定第二候选检测区域为目标第二检测区域。

进一步地,所述装置还包括:

训练模块,具体用于针对样本集中的任一样本图像,获取所述样本图像及所述样本图像对应的第一标签信息,其中所述第一标签信息标识所述样本图像中包含车辆的设定范围区域;将所述样本图像输入到原始深度学习模型中,获取输出的所述样本图像的第二标签信息;根据所述第一标签信息和所述第二标签信息,对所述原始深度学习模型的各参数的参数值进行调整,得到训练完成的所述深度学习模型。

实施例7:

图9为本发明实施例提供的一种电子设备结构示意图,在上述各实施例的基础上,本发明实施例中还提供了一种电子设备,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信;

所述存储器903中存储有计算机程序,当所述程序被所述处理器901执行时,使得所述处理器901执行如下步骤:

基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域;

根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;

根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述处理器901,具体用于所述根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速包括:

根据所述第一检测区域中车辆预设位置的第一坐标和所述目标第二检测区域中所述车辆预设位置的第二坐标,确定所述第一检测区域与所述目标第二检测区域的像素距离,其中所述第一检测区域与所述目标第二检测区域的区域范围相同;

根据所述第一检测区域的像素宽度和预设宽度的比值和所述像素距离,确定所述车辆移动的实际距离;

根据所述实际距离和相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述处理器901,具体还用于所述根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域包括:

基于常量速度模型和线性观测模型的标准卡尔曼滤波器,对所述第一检测区域对应的车辆进行预测,确定所述第一检测区域在所述下一帧图像的第一预测区域。

进一步地,所述处理器901,具体还用于所述根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域包括:

根据所述第一预测区域中的每个第一像素点与所述第二候选检测区域中对应的每个第二像素点,确定所述第一预测区域与所述第二候选检测区域的马氏距离和值与余弦距离和值;

根据所述马氏距离和值、所述余弦距离和值以及分别对应的预设权重,确定所述第一预测区域与所述第二候选检测区域的距离权重和值;

若所述距离权重和值小于所述预设阈值,则确定第二候选检测区域为目标第二检测区域。

进一步地,所述处理器901,还用于所述深度学习模型的训练过程包括:

针对样本集中的任一样本图像,获取所述样本图像及所述样本图像对应的第一标签信息,其中所述第一标签信息标识所述样本图像中包含车辆的设定范围区域;

将所述样本图像输入到原始深度学习模型中,获取输出的所述样本图像的第二标签信息;

根据所述第一标签信息和所述第二标签信息,对所述原始深度学习模型的各参数的参数值进行调整,得到训练完成的所述深度学习模型。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口902用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

实施例8:

在上述各实施例的基础上,本发明实施例还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行如下步骤:

基于预先训练完成的深度学习模型,识别当前帧图像中的车辆的第一检测区域以及与所述当前帧图像相邻的下一帧图像中所述车辆的第二候选检测区域;

根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域;根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域;

根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述根据所述第一检测区域、所述目标第二检测区域以及相邻两帧图像的时间差值,确定所述车辆的车速包括:

根据所述第一检测区域中车辆预设位置的第一坐标和所述目标第二检测区域中所述车辆预设位置的第二坐标,确定所述第一检测区域与所述目标第二检测区域的像素距离,其中所述第一检测区域与所述目标第二检测区域的区域范围相同;

根据所述第一检测区域的像素宽度和预设宽度的比值和所述像素距离,确定所述车辆移动的实际距离;

根据所述实际距离和相邻两帧图像的时间差值,确定所述车辆的车速。

进一步地,所述根据当前帧图像中的所述第一检测区域,预测所述车辆在所述下一帧图像的第一预测区域包括:

基于常量速度模型和线性观测模型的标准卡尔曼滤波器,对所述第一检测区域对应的车辆进行预测,确定所述第一检测区域在所述下一帧图像的第一预测区域。

进一步地,所述根据所述第一预测区域与所述第二候选检测区域之间的相似度,确定与所述第一预测区域匹配的目标第二检测区域包括:

根据所述第一预测区域中的每个第一像素点与所述第二候选检测区域中对应的每个第二像素点,确定所述第一预测区域与所述第二候选检测区域的马氏距离和值与余弦距离和值;

根据所述马氏距离和值、所述余弦距离和值以及分别对应的预设权重,确定所述第一预测区域与所述第二候选检测区域的距离权重和值;

若所述距离权重和值小于所述预设阈值,则确定第二候选检测区域为目标第二检测区域。

进一步地,所述深度学习模型的训练过程包括:

针对样本集中的任一样本图像,获取所述样本图像及所述样本图像对应的第一标签信息,其中所述第一标签信息标识所述样本图像中包含车辆的设定范围区域;

将所述样本图像输入到原始深度学习模型中,获取输出的所述样本图像的第二标签信息;

根据所述第一标签信息和所述第二标签信息,对所述原始深度学习模型的各参数的参数值进行调整,得到训练完成的所述深度学习模型。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

相关技术
  • 车速确定方法、车速确定装置、车载终端及存储介质
  • 一种车速确定方法、装置、设备和介质
技术分类

06120113147804