掌桥专利:专业的专利平台
掌桥专利
首页

车辆识别方法、装置及存储介质

文献发布时间:2023-06-19 11:19:16


车辆识别方法、装置及存储介质

技术领域

本申请涉及图像处理技术领域,尤其涉及一种车辆识别方法、装置及存储介质。

背景技术

近年来,随着人工智能、信息融合、通信以及自动控制等技术的不断进步,无人驾驶汽车的发展速度不断加快,人们对无人驾驶汽车的接受和需求度也在逐渐提升。无人驾驶汽车可以利用车载传感器,实时收集车内外的环境数据,实现对静态或动态物体的识别与追踪,从而协助驾驶者在最短时间内察觉潜在危险,提高行车安全。

目前,无人驾驶汽车在识别车灯方面,主要探讨不同类型车灯的识别方法,例如识别刹车灯、转向灯是否开启,大部分是利用图像分割技术,基于单帧检测车灯位置进行车灯识别。

然而,不同的天气或光照环境,车灯的使用方式不同,仅通过检测车灯位置并不能准确识别周围车辆的行驶意图,无法保证车辆的行驶安全。

发明内容

本申请实施例提供一种车辆识别方法、装置及存储介质,提高对车辆行驶意图识别的准确率。

第一方面,本申请实施例提供一种车辆识别方法,应用于第一车辆,该方法包括:

获取来自图像采集装置的多帧环境图像,每一帧所述环境图像用于呈现所述第一车辆周围的目标车辆的车灯信息以及所述第一车辆所在环境的信息;

根据所述多帧环境图像,确定所述目标车辆的车灯变化信息;

根据至少一帧所述环境图像,确定所述第一车辆所在环境的信息;

根据所述第一车辆所在环境的信息以及所述目标车辆的车灯变化信息,确定所述目标车辆的行驶意图。

在本申请的一个实施例中,所述根据所述多帧环境图像,确定所述目标车辆的车灯变化信息,包括:

通过目标检测确定所述多帧环境图像中所述目标车辆的多个二维检测框;

将所述多个二维检测框对应的图像块输入预先训练的车灯检测模型,得到所述目标车辆的车灯变化信息,所述车灯变化情况用于指示所述目标车辆的不同车灯的点亮情况。

在本申请的一个实施例中,所述通过目标检测确定所述多帧环境图像中所述目标车辆的多个二维检测框,包括:

对每一帧所述环境图像进行二维目标检测,确定每一帧所述环境图像中所述目标车辆的二维检测框,得到所述目标车辆的多个二维检测框。

在本申请的一个实施例中,所述通过目标检测确定所述多帧环境图像中所述目标车辆的多个二维检测框,包括:

获取来自激光雷达探测器的多帧点云数据;

对所述多帧点云数据进行三维目标检测,得到所述目标车辆在每一帧所述点云数据中的三维位置框;

将所述目标车辆在所述多帧点云数据中的三维位置框映射到所述多帧环境图像,得到所述目标车辆的多个二维检测框;所述多帧点云数据与所述多帧环境图像一一对应。

在本申请的一个实施例中,所述根据至少一帧所述环境图像,确定所述第一车辆所在环境的信息,包括:

将所述至少一帧环境图像输入预先训练的环境识别模型,得到每一帧所述环境图像对应的输出结果,所述输出结果指示所述第一车辆所在环境的光照信息和/或天气状态;

根据所述至少一帧环境图像对应的输出结果,确定所述第一车辆所在环境的光照信息和/或天气状态。

在本申请的一个实施例中,所述第一车辆所在环境的信息包括光照信息和/或天气状态,所述光照信息包括弱光或正常,所述天气状态包括雾天、雨天、雪天或正常中的任意一个。

在本申请的一个实施例中,所述车灯变化信息还用于指示所述目标车辆的第一车灯的亮度等级,所述第一车灯用于指示车辆宽度或刹车;所述根据所述第一车辆所在环境的信息以及所述目标车辆的车灯变化信息,确定所述目标车辆的行驶意图,包括:

若所述第一车辆所在环境的光照信息为弱光,或者天气状态为雾天、雨天、雪天,所述车灯变化信息用于指示所述第一车灯点亮,且亮度等级由低亮度切换为高亮度,确定所述目标车辆的行驶意图为减速行驶;或

若所述第一车辆所在环境的光照信息或天气状态为正常,所述车灯变化信息用于指示所述第一车灯点亮,确定所述目标车辆的行驶意图为减速行驶。

第二方面,本申请实施例提供一种车辆识别装置,包括:

获取模块,用于获取来自图像采集装置的多帧环境图像,每一帧所述环境图像用于呈现第一车辆周围的目标车辆的车灯信息以及所述第一车辆所在环境的信息;

处理模块,用于根据所述多帧环境图像,确定所述目标车辆的车灯变化信息;

根据至少一帧所述环境图像,确定所述第一车辆所在环境的信息;

根据所述第一车辆所在环境的信息以及所述目标车辆的车灯变化信息,确定所述目标车辆的行驶意图。

在本申请的一个实施例中,所述处理模块,具体用于:

通过目标检测确定所述多帧环境图像中所述目标车辆的多个二维检测框;

将所述多个二维检测框对应的图像块输入预先训练的车灯检测模型,得到所述目标车辆的车灯变化信息,所述车灯变化信息用于指示所述目标车辆的不同车灯的点亮情况。

在本申请的一个实施例中,所述处理模块,具体用于:对每一帧所述环境图像进行二维目标检测,确定每一帧所述环境图像中所述目标车辆的二维检测框,得到所述目标车辆的多个二维检测框。

在本申请的一个实施例中,所述获取模块,还用于:

获取来自激光雷达探测器的多帧点云数据;

所述处理模块,具体用于对所述多帧点云数据进行三维目标检测,得到所述目标车辆在每一帧所述点云数据中的三维位置框;

将所述目标车辆在所述多帧点云数据中的三维位置框映射到所述多帧环境图像,得到所述目标车辆的多个二维检测框;所述多帧点云数据与所述多帧环境图像一一对应。

在本申请的一个实施例中,所述处理模块,具体用于:

将所述至少一帧环境图像输入预先训练的环境识别模型,得到每一帧所述环境图像对应的输出结果,所述输出结果指示所述第一车辆所在环境的光照信息和/或天气状态;

根据所述至少一帧环境图像对应的输出结果,确定所述第一车辆所在环境的光照信息和/或天气状态。

在本申请的一个实施例中,所述车灯变化信息还用于指示所述目标车辆的第一车灯的亮度等级,所述第一车灯用于指示车辆宽度或刹车;所述处理模块,具体用于:

若所述第一车辆所在环境的光照信息为弱光,或者天气状态为雾天、雨天、雪天,所述车灯变化信息用于指示所述第一车灯点亮,且亮度等级由低亮度切换为高亮度,确定所述目标车辆的行驶意图为减速行驶;或

若所述第一车辆所在环境的光照信息或天气状态为正常,所述车灯变化信息用于指示所述第一车灯点亮,确定所述目标车辆的行驶意图为减速行驶。

第三方面,本申请实施例提供一种车辆识别装置,包括:

处理器,存储器以及计算机程序;

其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面中任一项所述的车辆识别方法。

第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述的车辆识别方法。

第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时用于实现第一方面中任一项所述的车辆识别方法。

本申请提供一种车辆识别方法、装置及存储介质,可应用于无人驾驶领域,在该方案中,通过车辆上的图像采集装置获取车辆周围环境的多帧图像,基于多帧图像确定图像中目标车辆的车灯变化情况,同时基于至少一帧图像确定车辆所在环境的信息,根据车灯变化情况以及车辆所在环境的信息,综合判断车辆在当前环境下,车辆周围的目标车辆的车灯变化指示的实际行驶意图,实现对车灯识别方案的优化,提高了车灯状态识别的准确率,降低误判,提高车辆行驶安全。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请提供的车辆识别方法的场景示意图;

图2为本申请提供的车辆识别方法的流程图一;

图3为本申请提供的车灯检测模型的示意图;

图4为本申请提供的车辆识别过程的模型示意图;

图5为本申请提供的车灯状态变化的示意图一;

图6为本申请提供的车灯状态变化的示意图二;

图7为本申请提供的车灯状态变化的示意图三;

图8为本申请提供的车灯状态变化的示意图四;

图9为本申请提供的车辆识别方法的流程图二;

图10为本申请提供的三维点云数据映射至二维图像的示意图;

图11为本申请提供的车辆识别装置的结构示意图;

图12为本申请提供的车辆识别装置的硬件结构示意图。

通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在根据本实施例的启示下作出的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

基于背景技术中的方案可知,目前的车灯识别方法主要利用图像分割技术,基于单帧检测车灯位置进行车灯识别,然而,在一些场景中,有的车辆刹车灯和示宽灯共用,还有的车辆刹车灯和转向灯共用,仅通过单帧检测车灯位置,并不能准确识别前车或后车的行驶意图。例如,在车辆刹车灯和示宽灯共用时,左示宽灯和右示宽灯均点亮,可能判定为示宽,也可能判定为刹车。又例如,在车辆刹车灯和转向灯共用时,左转向灯和右转向灯均点亮,可能判定为双闪,也可能判定为刹车。

另外,目前的车灯识别方案中,没有考虑到傍晚、夜晚或异常天气对车灯识别的影响。例如,在车辆刹车灯和示宽灯共用时,如果是傍晚或雾天,左右示宽灯处于常亮状态,刹车时光亮度增强;如果是白天或正常天气,左右示宽灯处于熄灭状态,刹车时左右示宽灯点亮。由此可见,不同光照条件或者天气状态,车灯状态可能指示不同的含义。目前的车灯识别方案无法智能化地区分上述情况,容易造成对前后车行驶意图的误判,车辆行驶的安全性有待提升。

针对上述存在的问题,本申请提供一种车辆识别方法,发明人考虑光照或异常天气对车灯识别的影响,在车辆识别过程中,增加环境检测模块,通过提取图像帧中光照或天气等环境特征,获知车辆当前所在环境的信息。利用多帧图像对目标车辆车灯状态进行识别,同时结合车辆当前所在环境的信息,综合判断车辆在当前光照或天气条件下,目标车辆的车灯状态指示的实际行驶意图,实现对车灯识别方案的优化,提高了车辆状态识别的准确率,降低误判,提高车辆行驶安全。

图1为本申请提供的车辆识别方法的场景示意图,如图1所示,车辆的识别场景中可以包括多个车辆,图1中以3个车辆为例,车辆之间可以通过服务器通信,也可以直接点对点通信。

其中,每个车辆上均设置有至少一个图像采集装置,例如前置摄像头或后置摄像头,图像采集装置用于采集车辆周围的环境图像,环境图像中可能包括车辆周围的其他车辆,例如车辆11前方的车辆12,车辆11后方的车辆13。

可选的,在一些场景中,每个车辆上还设置有至少一个激光雷达探测器,例如在车辆顶部设置一个激光雷达探测器,用于获取车辆周围的点云数据。其中,点云数据中的每个点包含三维坐标信息,还包含颜色(Red Green Blue,RGB)信息或反射强度信息。激光雷达探测器每扫描一次,获得一帧点云数据。

需要说明的是,上述场景中的每个车辆的车灯结构相同,包括车辆前端以及后端的车灯结构相同。例如,车辆后端的刹车灯与示宽灯共用,或者,车辆后端的刹车灯与转向灯共用等。

上述场景中的每个车辆均可以设置车辆识别装置,通过执行本申请提供的车辆识别方案,实现对周围车辆车灯状态的判定,从而在必要时进行线路调整。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本申请提供的车辆识别方法的流程图一,本实施例提供的车辆识别方法可应用于无人车的车载电脑,或者任意车辆上可执行车辆识别方法的装置或设备,车辆与周围车辆的车灯结构一致。

如图2所示,本实施例的车辆识别方法具体包括以下步骤:

步骤101、获取来自图像采集装置的多帧环境图像,每一帧环境图像用于呈现第一车辆周围的目标车辆的车灯信息以及第一车辆所在环境的信息。

本实施例中,第一车辆上设置有图像采集装置,图像采集装置的数量可以是一个或多个,对此本实施例不作具体限制。例如,图像采集装置为第一车辆前端的摄像头,用于采集第一车辆前方的环境图像。又例如,图像采集装置为第一车辆后端的摄像头,用于采集第一车辆后方的环境图像。可选的,在一些实施例中,图像采集装置还可以设置在第一车辆的两侧。

图像采集装置采集的环境图像为二维图像。环境图像包括第一车辆周围的目标车辆,目标车辆的数量可能是一个或多个。应理解,每一帧环境图像可呈现目标车辆的在当前时刻的车灯信息,连续的多帧环境图像可呈现目标车辆在一段时间的车灯变化信息。

第一车辆所在环境的信息包括光照信息和/或天气状态。

其中,光照信息包括弱光或正常,弱光光照可对应傍晚或夜晚环境,正常光照可对应白天环境。可选的,光照信息还可以包括强光,强光光照对应光线较强的白天环境或周围车辆开启远光灯的夜晚环境。

其中,天气状态包括雾天、雨天、雪天或正常中的任意一个,雾天以及雨雪天的天气状态不好,采集的环境图像的各项参数不佳,例如清晰度不高。

步骤102、根据多帧环境图像,确定目标车辆的车灯变化信息。

本实施例中,主要通过目标检测算法对多帧环境图像中的目标车辆进行检测,获取多帧环境图像中目标车辆的多个二维检测框,将多个二维检测框对应的图像块输入预先训练的车灯检测模型,得到目标车辆的车灯变化信息。其中,车灯变化信息用于指示目标车辆的不同车灯的点亮情况。

目标检测算法包括二维目标检测算法或者三维目标检测算法,通过任意一种目标检测算法获取每一帧环境图像中目标车辆的二维检测框。

在本申请的一个实施例中,对每一帧环境图像直接进行二维目标检测,确定每一帧环境图像中目标车辆的二维检测框,得到目标车辆的多个二维检测框。

在本申请的一个实施例中,结合激光雷达探测器采集的点云数据,对每一帧环境图像进行目标检测,确定每一帧环境图像中目标车辆的二维检测框,得到目标车辆的多个二维检测框。

图3为本申请提供的车灯检测模型的示意图,如图3所示,车灯检测模型的输入是连续的图像帧,其中,连续的图像帧对应连续的多帧环境图像中同一目标车辆的二维检测框对应的图像块。连续的图像帧通过特征提取网络得到连续图像帧对应的embedding(特征向量)时序,每一个embedding对应一个图像帧中车灯的特征信息,经过transformer(特征处理)后得到单独的embedding,这里单独的embedding综合了多帧的车灯特征信息,可看作是车灯检测模型的输出结果,表征目标车辆的车灯变化信息,指示目标车辆在连续多帧图像中不同车灯的点亮情况。

示例性的,车灯变化信息的一种示例:{BLR=001,000,001,000,001},其中B表示刹车灯,B=1表示刹车灯亮,B=0表示刹车灯灭,L表示左转向灯,L=1表示左转向灯亮,L=0表示左转向灯灭,R表示右转向灯,R=1表示右转向灯亮,R=0表示右转向灯灭。该示例中的车灯变化信息指示了右转向灯在一段时间内闪烁。

可选的,在一些实施例中,车灯变化信息还用于指示目标车辆的第一车灯的亮度等级。第一车灯用于指示车辆宽度或刹车,即第一车灯可以作为刹车灯也可以作为示宽灯。本实施例主要考虑一些车辆的刹车灯与示宽灯共用,车灯变化信息除了指示不同车灯的点亮与否,还指示共用车灯的亮度等级。车灯变化信息的一种示例:{BLRA=1000,1000,1000,1000,1000},其中B表示刹车灯/示宽灯,B=1表示刹车灯/示宽灯亮,B=0表示刹车灯/示宽灯灭,A表示刹车灯/示宽灯的亮度等级,例如A分别两个等级,A=0表示低亮度,A=1表示高亮度。该示例中的车灯变化信息指示刹车灯/示宽灯在一段时间内点亮,且亮度等级为低亮度。

可选的,在一些实施例中,车灯检测模型的输入要求包括图像帧的尺寸大小。因此,在将图像块输入车灯检测模型之前,还需要对图像块进行预处理,预处理包括对图像块的旋转、缩放、裁剪等。

可选的,在一些实施例中,车灯检测模型的输入要求包括同一目标车辆出现在连续图像帧的图像帧数量大于或等于M,例如M取5帧。若通过目标跟踪确定某一目标车辆出现在连续的N帧环境图像中,其中N小于M,可将该目标车辆标记为无效车辆。也就是说,在通过目标检测算法获取多帧环境图像中的多个目标车辆后,可以过滤掉追踪历史没有达到固定序列长度的车辆。应理解,追踪历史没有达到固定序列长度的车辆不会影响第一车辆的正常行驶,因此可以在识别过程中排除,减小车灯识别装置的计算量,提高车辆识别效率。

可选的,在一些实施例中,还可以过滤掉环境图像中超出预设图像边界的车辆。示例性的,以图像采集装置为前置摄像头为例,前置摄像头的视角范围为±60°,实际需要监测的视角范围为±45°,若某一目标车辆位于前置摄像头的边界位置,该目标车辆不会影响第一车辆的正常行驶,因此可以在识别过程中排除,从而减小车灯识别装置的计算量,提高车辆识别效率。

步骤103、根据至少一帧环境图像,确定第一车辆所在环境的信息。

应理解,在预设时长内,图像采集装置采集的环境图像呈现的车辆所在环境的信息变化较小,因此本实施例可以根据多帧环境图像中的至少一帧进行环境特征分析。

具体的,可以将至少一帧环境图像输入预先训练的环境识别模型,得到每一帧环境图像对应的输出结果,输出结果指示第一车辆所在环境的光照信息和/或天气状态。根据至少一帧环境图像对应的输出结果,确定第一车辆所在环境的光照信息和/或天气状态。

本实施例的环境识别模型包括特征提取网络,环境识别模型的输入是单帧图像,单帧图像通过特征提取网络得到单帧图像对应的环境特征信息(embedding)。示例性的,环境特征信息指示雾天、雨天、雪天、阴天等环境参数的得分,或者,不同光照等级的得分。环境特征信息指示单帧图像的光照或天气情况。

步骤104、根据第一车辆所在环境的信息以及目标车辆的车灯变化信息,确定目标车辆的行驶意图。

示例性的,图4为本申请提供的车辆识别过程的模型示意图,如图4所示,车辆识别过程涉及车灯检测模型和环境识别模型,基于车灯检测模型输出的embedding以及环境识别模型输出的embedding,综合判定,输出目标车辆的行驶意图。其中,车辆的行驶意图包括减速,停止减速(正常行驶),减速加左转,减速加右转,左转,右转,行驶异常(此时左右转向灯同时闪烁,即双闪),行驶异常加减速等。

在一种场景中,第一车灯用于指示车辆宽度或刹车,即第一车灯既是示宽灯又是刹车灯,示宽灯和刹车灯是共用的。

在本申请的一个实施例中,若第一车辆所在环境的光照信息为弱光,或者天气状态为雾天、雨天、雪天,车灯变化信息用于指示第一车灯点亮,且亮度等级由低亮度切换为高亮度,确定目标车辆的行驶意图为减速行驶。

在本申请的一个实施例中,若第一车辆所在环境的光照信息为弱光,或者天气状态为雾天、雨天、雪天,车灯变化信息用于指示第一车灯点亮,且亮度等级由高亮度切换为低亮度,确定目标车辆的行驶意图为停止减速。

在本申请的一个实施例中,若第一车辆所在环境的光照信息或天气状态为正常,车灯变化信息用于指示第一车灯点亮,确定目标车辆的行驶意图为减速行驶。

在本申请的一个实施例中,若第一车辆所在环境的光照信息或天气状态为正常,车灯变化信息用于指示第一车灯由点亮切换为熄灭,确定目标车辆的行驶意图为停止减速。

本实施例提供的车辆识别方法,通过车辆上的图像采集装置获取车辆周围环境的多帧图像,基于多帧图像确定图像中目标车辆的车灯变化情况,同时基于至少一帧图像确定车辆所在环境的信息,根据车灯变化情况以及车辆所在环境的信息,综合判断车辆在当前环境下,车辆周围的目标车辆的车灯变化指示的实际行驶意图,实现对车灯识别方案的优化,提高了车灯状态识别的准确率,降低误判,提高车辆行驶安全。

可选的,在另一种场景中,第二车灯用于指示刹车或转向,即第二车灯既是刹车灯又是转向灯,刹车灯和转向灯是共用的。图5至图8示出了多种车灯状态变化的示意图,图中示出了两个车灯为车辆尾部的刹车灯/转向灯。

在本申请的一个实施例中,若车灯变化信息用于指示两种车灯状态,一种是目标车辆的左右两个第二车灯同时点亮,另一种是目标车辆的左右两个第二车灯同时熄灭,且在第二时长内两种车灯状态交替出现,此时判定目标车辆有双闪操作,如图5所示。

在本申请的一个实施例中,若车灯变化信息用于指示目标车辆的左右两个第二车灯同时点亮的时长大于第二时长,判定目标车辆有刹车操作,目标车辆在减速行驶,如图6所示。

在本申请的一个实施例中,若车灯变化信息用于指示两种车灯状态,一种是目标车辆的左右两个第二车灯同时点亮,另一种是目标车辆的左侧第二车灯熄灭的同时右侧第二车灯点亮,且在第二时长内这两种车灯状态交替出现,此时判定目标车辆的行驶意图为刹车加左转,如图7所示。

在本申请的一个实施例中,若车灯变化信息用于指示两种车灯状态,一种是目标车辆的左右两个第二车灯同时点亮,另一种是目标车辆的右侧第二车灯熄灭的同时左侧第二车灯点亮,且在第二时长内这两种车灯状态交替出现,此时判定目标车辆的行驶意图为刹车加右转,如图8所示。

从上述实施例可知,当前图像帧的车灯状态并不能准确指示车辆的实际行驶意图,因此需要结合当前图像帧之前的多帧图像,进行综合判断,以提高车辆识别的准确率。

需要说明的是,本步骤对于车辆行驶意图的判断都是基于预设的车灯结构,例如刹车灯和示宽灯共用,或者,刹车灯和转向灯共用,应理解,基于不同的车灯结构,指示的车灯状态不同,对于车辆行驶意图的判断逻辑也不同。本申请提供的方案可应用于无人驾驶系统,该系统中的无人车的车灯结构一致,对车辆行驶意图的判断逻辑也一致。

图9为本申请提供的车辆识别方法的流程图二,如图9所示,本实施例的车辆识别方法具体包括以下步骤:

步骤201、获取来自激光雷达探测器的多帧点云数据。

本实施例中,激光雷达探测器通过对周围环境发射红外光束,接收反射光束探测周围环境的物体,能探测白天或夜晚下的特定物体与车辆之间的距离。点云数据可以是激光雷达探测器扫描获得的,每一帧点云数据包括多个点,每一个点包含物体的三维坐标信息,例如周围车辆的三维坐标信息,在一些场景下还可以包含颜色信息或者反射强度信息(亮度信息)等。本实施例对激光雷达探测器的数量不作限定,可以是一个也可以是多个,可根据实际需求进行设置。

具体的,在车辆行驶过程中,通过车辆上设置的激光雷达探测器可以全方位扫描车辆周围的物体,可以在预设时段内扫描多次,获取多帧点云数据。

步骤202、对多帧点云数据进行三维目标检测,得到目标车辆在每一帧点云数据中的三维位置框。

步骤203、将目标车辆在多帧点云数据中的三维位置框映射到多帧环境图像,得到目标车辆的多个二维检测框。

其中,多帧点云数据与多帧环境图像一一对应。

本实施例中,通过三维目标检测算法,首先确定每一帧点云数据中目标车辆的三维位置框,由于目标车辆的数量可能是多个,因此每个三维位置框分别对应一个目标车辆的标识ID,用于追踪每一辆目标车辆在多帧点云数据中的移动情况。

激光雷达探测器在获取周围车辆的点云数据的同时,图像采集装置采集二维图像,同一时刻的点云数据与二维图像具有对应关系,可根据图像采集装置的内外参数,将点云数据帧的三维位置框映射到二维图像中。

需要说明的是,激光雷达探测器的点云数据为车辆周围360°范围的数据,图像采集装置的视角范围较小,例如前置摄像头的视角范围为±45°,因此,数据映射之前,需要过滤掉点云数据中超出图像采集装置视角范围的数据,从而减小数据计算量,提供处理速度。

以相机为图像采集装置,首先根据相机外参,包括旋转矩阵和平移向量,将目标车辆的三维坐标从雷达坐标系转换至相机坐标系。然后根据相机内参,包括投影矩阵和畸变参数,将目标车辆的三维坐标投射到像素坐标系,最终得到目标车辆在二维图像中的二维坐标,即可获得目标车辆的二维检测框,数据处理过程可参见图10。

步骤204、将多个二维检测框对应的图像块输入预先训练的车灯检测模型,得到目标车辆的车灯变化信息。车灯变化信息用于指示目标车辆的不同车灯的点亮情况。

步骤205、根据至少一帧环境图像,确定第一车辆所在环境的信息。

步骤206、根据第一车辆所在环境的信息以及目标车辆的车灯变化信息,确定目标车辆的行驶意图。

本实施例的步骤204至步骤206,分别与上述实施例的步骤102至步骤104对应,其实现原理和技术效果可参见上述实施例,此处不再赘述。

本实施例提供的车辆识别方法,通过车辆上的图像采集装置以及激光雷达探测器,分别获取车辆周围的二维图像以及点云数据,基于三维目标检测算法获取点云数据中目标车辆的三维位置信息,并将三维位置信息转换至二维图像中,得到目标车辆的二维检测框。通过上述过程获取多帧图像中目标车辆的二维检测框,可有效利用无人车已有的三维检测流程,不需要单独添加二维检测器,节省了资源,且三维检测的准确率更高。通过分析二维检测框中车灯状态的变化,同时结合对二维图像中环境信息的检测,综合判断车辆在当前环境下,车辆周围的目标车辆的车灯变化指示的实际行驶意图,实现对车灯识别方案的优化,提高了车灯状态识别的准确率,降低误判,提高车辆行驶安全。

本申请实施例可以根据上述方法实施例对车辆识别装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以使用硬件的形式实现,也可以使用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以使用对应各个功能划分各个功能模块为例进行说明。

图11是本申请提供的车辆识别装置的结构示意图,如图11所示,本实施例的车辆识别装置300包括:获取模块301和处理模块302。

获取模块301,用于获取来自图像采集装置的多帧环境图像,每一帧所述环境图像用于呈现第一车辆周围的目标车辆的车灯信息以及所述第一车辆所在环境的信息;

处理模块302,用于根据所述多帧环境图像,确定所述目标车辆的车灯变化信息;

根据至少一帧所述环境图像,确定所述第一车辆所在环境的信息;

根据所述第一车辆所在环境的信息以及所述目标车辆的车灯变化信息,确定所述目标车辆的行驶意图。

在本申请的一个实施例中,所述处理模块302,具体用于:

通过目标检测确定所述多帧环境图像中所述目标车辆的多个二维检测框;

将所述多个二维检测框对应的图像块输入预先训练的车灯检测模型,得到所述目标车辆的车灯变化信息,所述车灯变化信息用于指示所述目标车辆的不同车灯的点亮情况。

在本申请的一个实施例中,所述处理模块302,具体用于:对每一帧所述环境图像进行二维目标检测,确定每一帧所述环境图像中所述目标车辆的二维检测框,得到所述目标车辆的多个二维检测框。

在本申请的一个实施例中,所述获取模块301,还用于:

获取来自激光雷达探测器的多帧点云数据;

所述处理模块302,具体用于对所述多帧点云数据进行三维目标检测,得到所述目标车辆在每一帧所述点云数据中的三维位置框;

将所述目标车辆在所述多帧点云数据中的三维位置框映射到所述多帧环境图像,得到所述目标车辆的多个二维检测框;所述多帧点云数据与所述多帧环境图像一一对应。

在本申请的一个实施例中,所述处理模块302,具体用于:

将所述至少一帧环境图像输入预先训练的环境识别模型,得到每一帧所述环境图像对应的输出结果,所述输出结果指示所述第一车辆所在环境的光照信息和/或天气状态;

根据所述至少一帧环境图像对应的输出结果,确定所述第一车辆所在环境的光照信息和/或天气状态。

在本申请的一个实施例中,所述车灯变化信息还用于指示所述目标车辆的第一车灯的亮度等级,所述第一车灯用于指示车辆宽度或刹车;所述处理模块302,具体用于:

若所述第一车辆所在环境的光照信息为弱光,或者天气状态为雾天、雨天、雪天,所述车灯变化信息用于指示所述第一车灯点亮,且亮度等级由低亮度切换为高亮度,确定所述目标车辆的行驶意图为减速行驶;或

若所述第一车辆所在环境的光照信息或天气状态为正常,所述车灯变化信息用于指示所述第一车灯点亮,确定所述目标车辆的行驶意图为减速行驶。

上述任一实施例提供的车辆识别装置,用于执行前述任一方法实施例中的技术方案,其实现原理和技术效果类似,在此不再赘述。

图12为本申请提供的车辆识别装置的硬件结构示意图。如图12所示,本实施例的车辆识别装置400包括:

处理器401,存储器402,以及计算机程序;

所述存储器402用于存储所述处理器401的可执行指令;

其中,所述计算机程序存储在所述存储器402中,并被配置为由所述处理器401执行以实现前述任一方法实施例中的车辆识别方法。

可选的,存储器402既可以是独立的,也可以跟处理器401集成在一起。

当所述存储器402是独立于处理器401之外的器件时,所述车辆识别装置400还可以包括:

总线403,用于将上述器件连接起来。

该车辆识别装置用于执行前述任一方法实施例提供的车辆识别方法,其实现原理和技术效果类似,在此不再赘述。

本申请实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述任一实施例提供的车辆识别方法。

本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时用于实现前述任一方法实施例提供的车辆识别方法。

本申请实施例还提供了一种芯片,包括:处理模块与通信接口,该处理模块能执行前述方法实施例中的技术方案。

进一步地,该芯片还包括存储模块(如,存储器),存储模块用于存储指令,处理模块用于执行存储模块存储的指令,并且对存储模块中存储的指令的执行使得处理模块执行前述方法实施例中的技术方案。

应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于车辆识别装置中。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

相关技术
  • 车辆跑偏识别方法、装置、车辆及存储介质
  • 车辆行驶中碰撞危险识别方法、装置、车辆及存储介质
技术分类

06120112880194