掌桥专利:专业的专利平台
掌桥专利
首页

交通灯颜色的识别方法、装置、存储介质、设备及车辆

文献发布时间:2024-04-18 19:58:30


交通灯颜色的识别方法、装置、存储介质、设备及车辆

技术领域

本申请涉及交通技术领域,具体而言,涉及一种交通灯颜色的识别方法、装置、存储介质、设备及车辆。

背景技术

在智能驾驶或者自动驾驶过程中,通常需要识别交通灯的颜色,以便于根据识别结果,控制车辆行驶。

相关技术中,识别交通灯颜色的方法主要包括:采集包括交通灯的图像,并基于机器学习的交通灯识别算法对该图像进行识别,得到交通灯颜色,例如黄灯。然而,基于机器学习的交通灯识别算法容易受背景颜色、前方车辆车灯、路灯等环境的影响,从而出现交通灯颜色识别错误的问题,进而影响交通安全。

发明内容

本申请提供了一种交通灯颜色的识别方法、装置、存储介质、设备及车辆,能够准确识别出基于机器学习的交通灯识别算法识别交通灯颜色时存在的误检问题。

具体的技术方案如下:

第一方面,本申请实施例提供了一种交通灯颜色的识别方法,方法包括:

获取基于交通灯图像对目标交通灯的颜色识别结果对,其中,目标交通灯包括转向灯和直行灯,颜色识别结果对包括对转向灯的颜色识别结果和对直行灯的颜色识别结果;

通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型;

在确定路口类型之后获取的颜色识别结果对中存在预设颜色识别结果对的情况下,确定预设颜色识别结果对为误检结果,其中,预设颜色识别结果对包括除路口类型对应的交通灯颜色对以外的颜色对。

通过上述方案可知,本申请实施例可以先通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型,在确定路口类型之后,若获取的颜色识别结果对中存在除该路口类型对应的交通灯颜色对以外的颜色对的预设颜色识别结果对,则确定预设颜色识别结果对为误检结果,从而快速准确地识别出该目标路口处不可能出现的颜色识别结果对,避免根据误检结果做出错误驾驶决策,进而提高了交通安全。

在第一方面的第一种可能的实现方式中,方法还包括:

当在确定路口类型之后获取的连续多个颜色识别结果对均为第一颜色对,且基于下一帧交通灯图像确定的颜色识别结果对为第二颜色对时,确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果,其中,第一颜色对与第二颜色对不同,且第一颜色对与第二颜色对在路口类型的交通灯颜色循环顺序中不相邻。

通过上述方案可知,在确定路口类型的情况下,本申请实施例通过判断颜色识别结果对是否符合交通灯颜色循环顺序,可以识别出误检结果,从而进一步提高误检识别的准确性。

在第一方面的第二种可能的实现方式中,通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型,包括:

在所述第一时间段内的多个所述颜色识别结果对中存在不同色的所述颜色识别结果对的情况下,确定所述目标路口的路口类型为第一路口类型;

在所述第一时间段内多个所述颜色识别结果对中每个所述颜色识别结果对均为同色且多个所述颜色识别结果不全为红灯的情况下,确定所述目标路口的路口类型为第二路口类型。

在第一方面的第三种可能的实现方式中,方法还包括:

根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,其中,历史目标识别结果为历史时间内检测的目标颜色识别结果,当前目标识别结果为当前检测的目标颜色识别结果,当目标路口的路口类型为第一路口类型时,目标颜色识别结果为颜色识别结果对中目标行驶方向对应的颜色识别结果,当目标路口的路口类型为第二路口类型时,目标颜色识别结果为颜色识别结果对中的任一颜色识别结果。

通过上述方案可知,本申请实施例可以根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,以便根据真实结果做出正确驾驶决策,从而进一步避免根据误检结果做出错误驾驶决策,进而进一步提高了交通安全。

在第一方面的第四种可能的实现方式中,根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,包括:

从历史目标识别结果为黄灯开始,在驾驶决策为通行决策的情况下,当连续多个目标颜色识别结果均为红灯的数量小于第一数量阈值,或者连续第二数量阈值个目标颜色识别结果中红灯占比小于第一占比阈值时,确定当前目标识别结果对应的真实结果为黄灯,当连续第一数量阈值个目标颜色识别结果均为红灯,或者连续第二数量阈值个目标颜色识别结果中红灯占比大于或者等于第一占比阈值时,确定当前目标识别结果对应的真实结果为红灯,其中,第一数量阈值小于或者等于第二数量阈值,连续第一数量阈值个目标颜色识别结果和连续第二数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果;或者,

从历史目标识别结果为黄灯开始,当当前目标识别结果为红灯且驾驶决策为刹停决策时,确定当前目标识别结果对应的真实结果为红灯。

在第一方面的第五种可能的实现方式中,在目标车辆为头车的情况下,根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,包括:

从历史目标识别结果为红灯开始,当连续多个目标颜色识别结果均为绿灯的数量小于第三数量阈值,或者连续第四数量阈值个目标颜色识别结果中绿灯占比小于第二占比阈值时,确定当前目标识别结果对应的真实结果为红灯,当连续第三数量阈值个目标颜色识别结果均为绿灯,或者连续第四数量阈值个目标颜色识别结果中绿灯占比大于或者等于第二占比阈值时,确定当前目标识别结果对应的真实结果为绿灯;

其中,第三数量阈值小于或者等于第四数量阈值,连续第三数量阈值个目标颜色识别结果和连续第四数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果。

在第一方面的第六种可能的实现方式中,在目标车辆处于头车红灯等待状态的情况下,方法还包括:

当目标车道中头车车速从0变为大于或者等于预设车速阈值时,确定当前目标识别结果对应的真实结果为绿灯,其中,头车红灯等待状态包括位于头车的目标车辆的车速为0、目标颜色识别结果为红灯以及目标车辆对应有目标车道,目标车道为与目标车辆所属车道具有相同行驶方向的邻车道。

在第一方面的第七种可能的实现方式中,根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,包括:

从历史目标识别结果为绿灯开始,当当前目标识别结果未到达第M次灭灯时,确定当前目标识别结果对应的真实结果为绿灯,当当前目标识别结果为第M次灭灯时,确定当前目标识别结果对应的真实结果为绿闪,M为正整数。

在第一方面的第八种可能的实现方式中,方法还包括:

在相邻两个目标颜色识别结果先后分别为绿灯和灭灯的情况下,当基于下一帧交通灯图像确定的目标颜色识别结果为黄灯时,确定相邻两个目标颜色识别结果对应的真实结果为相邻两个目标颜色识别结果整体为绿闪。

在第一方面的第九种可能的实现方式中,获取基于交通灯图像对目标交通灯的颜色识别结果对,包括:

从距离目标路口预设距离时起,获取基于交通灯图像对目标交通灯的颜色识别结果对。

第二方面,本申请实施例提供了一种交通灯颜色的识别装置,装置包括:

获取单元,用于获取基于交通灯图像对目标交通灯的颜色识别结果对,其中,目标交通灯包括转向灯和直行灯,颜色识别结果对包括对转向灯的颜色识别结果和对直行灯的颜色识别结果;

类型确定单元,用于通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型;

第一结果确定单元,用于在确定路口类型之后获取的颜色识别结果对中存在预设颜色识别结果对的情况下,确定预设颜色识别结果对为误检结果,其中,预设颜色识别结果对包括除路口类型对应的交通灯颜色对以外的颜色对。

通过上述方案可知,本申请实施例可以先通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型,在确定路口类型之后,若获取的颜色识别结果对中存在除该路口类型对应的交通灯颜色对以外的颜色对的预设颜色识别结果对,则确定预设颜色识别结果对为误检结果,从而快速准确地识别出该目标路口处不可能出现的颜色识别结果对,避免根据误检结果做出错误驾驶决策,进而提高了交通安全。

在第二方面的第一种可能的实现方式中,装置还包括:

第二结果确定单元,用于当在确定路口类型之后获取的连续多个颜色识别结果对均为第一颜色对,且基于下一帧交通灯图像确定的颜色识别结果对为第二颜色对时,确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果,其中,第一颜色对与第二颜色对不同,且第一颜色对与第二颜色对在路口类型的交通灯颜色循环顺序中不相邻。

在第二方面的第二种可能的实现方式中,类型确定单元,包括:

第一类型确定模块,用于在所述第一时间段内的多个所述颜色识别结果对中存在不同色的所述颜色识别结果对的情况下,确定所述目标路口的路口类型为第一路口类型;

第二类型确定模块,用于在所述第一时间段内多个所述颜色识别结果对中每个所述颜色识别结果对均为同色且多个所述颜色识别结果不全为红灯的情况下,确定所述目标路口的路口类型为第二路口类型。

在第二方面的第三种可能的实现方式中,装置还包括:

第三结果确定单元,用于根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,其中,历史目标识别结果为历史时间内检测的目标颜色识别结果,当前目标识别结果为当前检测的目标颜色识别结果,当目标路口的路口类型为第一路口类型时,目标颜色识别结果为颜色识别结果对中目标行驶方向对应的颜色识别结果,当目标路口的路口类型为第二路口类型时,目标颜色识别结果为颜色识别结果对中的任一颜色识别结果。

在第二方面的第四种可能的实现方式中,第三结果确定单元,包括:第一结果确定模块或者第二结果确定模块;

第一结果确定模块,用于从历史目标识别结果为黄灯开始,在驾驶决策为通行决策的情况下,当连续多个目标颜色识别结果均为红灯的数量小于第一数量阈值,或者连续第二数量阈值个目标颜色识别结果中红灯占比小于第一占比阈值时,确定当前目标识别结果对应的真实结果为黄灯,当连续第一数量阈值个目标颜色识别结果均为红灯,或者连续第二数量阈值个目标颜色识别结果中红灯占比大于或者等于第一占比阈值时,确定当前目标识别结果对应的真实结果为红灯,其中,第一数量阈值小于或者等于第二数量阈值,连续第一数量阈值个目标颜色识别结果和连续第二数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果;或者,

第二结果确定模块,用于从历史目标识别结果为黄灯开始,当当前目标识别结果为红灯且驾驶决策为刹停决策时,确定当前目标识别结果对应的真实结果为红灯。

在第二方面的第五种可能的实现方式中,第三结果确定单元,包括:

第三结果确定模块,用于在目标车辆为头车的情况下,从历史目标识别结果为红灯开始,当连续多个目标颜色识别结果均为绿灯的数量小于第三数量阈值,或者连续第四数量阈值个目标颜色识别结果中绿灯占比小于第二占比阈值时,确定当前目标识别结果对应的真实结果为红灯,当连续第三数量阈值个目标颜色识别结果均为绿灯,或者连续第四数量阈值个目标颜色识别结果中绿灯占比大于或者等于第二占比阈值时,确定当前目标识别结果对应的真实结果为绿灯;

其中,第三数量阈值小于或者等于第四数量阈值,连续第三数量阈值个目标颜色识别结果和连续第四数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果。

在第二方面的第六种可能的实现方式中,装置还包括:

第四结果确定单元,用于在目标车辆处于头车红灯等待状态的情况下,当目标车道中头车车速从0变为大于或者等于预设车速阈值时,确定当前目标识别结果对应的真实结果为绿灯,其中,头车红灯等待状态包括位于头车的目标车辆的车速为0、目标颜色识别结果为红灯以及目标车辆对应有目标车道,目标车道为与目标车辆所属车道具有相同行驶方向的邻车道。

在第二方面的第七种可能的实现方式中,第三结果确定单元,包括:

第四结果确定模块,用于从历史目标识别结果为绿灯开始,当当前目标识别结果为第M次灭灯时,确定当前目标识别结果对应的真实结果为绿闪,M为正整数。

在第二方面的第八种可能的实现方式中,装置还包括:

第五结果确定单元,用于在相邻两个目标颜色识别结果先后分别为绿灯和灭灯的情况下,当基于下一帧交通灯图像确定的目标颜色识别结果为黄灯时,确定相邻两个目标颜色识别结果对应的真实结果为相邻两个目标颜色识别结果整体为绿闪。

在第二方面的第九种可能的实现方式中,获取单元,用于从距离目标路口预设距离时起,获取基于交通灯图像对目标交通灯的颜色识别结果对。

第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面任一可能的实现方式所述的方法。

第四方面,本申请实施例提供了一种电子设备,电子设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当一个或多个程序被一个或多个处理器执行,使得电子设备实现如第一方面任一可能的实现方式所述的方法。

第五方面,本申请实施例提供了一种车辆,车辆包含如第二方面任一可能的实现方式所述的装置,或者包含如第四方面所述的电子设备。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种交通灯颜色的识别方法的流程示意图;

图2为本申请实施例提供的一种交通灯颜色的识别方法的示例图;

图3为本申请实施例提供的另一种交通灯颜色的识别方法的示例图;

图4为本申请实施例提供的一种交通灯颜色的识别装置的组成框图;

图5为本申请实施例提供的一种车辆的组成框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。本申请实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

图1为一种交通灯颜色的识别方法的流程示意图,该方法可以应用于电子设备或计算机设备,具体可以应用于车辆或者服务器,该方法可以包括如下步骤:

S110:获取基于交通灯图像对目标交通灯的颜色识别结果对。

其中,目标交通灯包括转向灯和直行灯,颜色识别结果对包括对转向灯的颜色识别结果和对直行灯的颜色识别结果。

基于交通灯图像对目标交通灯进行检测获得颜色识别结果对的具体实现过程可以包括:基于神经网络模型对交通灯图像进行颜色识别,获得颜色识别结果对。该神经网络模型可以基于添加交通灯颜色标签的多张历史交通灯图像训练而得。

为了避免资源浪费以及远距离检测不准确的问题,本申请实施例可以从距离目标路口预设距离时起,获取基于交通灯图像对目标交通灯的颜色识别结果对。具体可以从距离目标路口停止线预设距离时起,获取基于交通灯图像对目标交通灯的颜色识别结果对。预设距离可以为经验值,例如120米。

需要说明的是,基于交通灯图像对交通灯进行检测获得颜色识别结果对的执行主体可以与本申请实施例的执行主体相同,也可以不同,且当两者不同时,本申请实施例的执行主体可以从另一个执行主体获取颜色识别结果对。例如,当本申请实施例的执行主体为目标车辆(此时也可称为自车)时,基于交通灯图像对交通灯进行检测获得颜色识别结果对的执行主体可以为目标车辆,也可以为服务器,还可以为除服务器以外的V2X(Vehicle-to-Everything,车联网)设备(如目标车辆周围车辆、路侧设备等)。

此外,交通灯图像可以由目标车辆的摄像头采集而得,也可以由距离目标车辆预设距离范围内的其他车辆或者路侧设备采集而得。预设距离范围可以以下述限定规则为准:其他车辆或者路侧设备采集的交通灯图像,与目标车辆采集的交通灯图像相比,能够包含相同交通灯状态。例如,预设距离范围内包括与目标车辆相邻前、后、左、右车辆,与目标车辆之间距离小于或者等于预设距离阈值(如12米)的路侧设备。

S120:通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型。

在第一时间段内的多个颜色识别结果对中存在不同色的颜色识别结果对的情况下,确定目标路口的路口类型为第一路口类型,即转向灯和直行灯颜色不同步的路口类型。在第一时间段内多个颜色识别结果对中每个颜色识别结果对均为同色且多个颜色识别结果不全为红灯的情况下,确定目标路口的路口类型为第二路口类型,即转向灯和直行灯颜色同步的路口类型。第一路口类型的灯色变化可以如表1所示,第二路口类型的灯色变化可以如表2所示。

表1第一路口类型

表2第二路口类型

S130:在确定路口类型之后获取的颜色识别结果对中存在预设颜色识别结果对的情况下,确定预设颜色识别结果对为误检结果。

其中,预设颜色识别结果对包括除路口类型对应的交通灯颜色对以外的颜色对。也就是说,在确定路口类型之后,若识别出其他路口类型才有的颜色识别结果对,则说明该其他路口类型才有的颜色识别结果对为误检结果。例如,若在确定路口类型为第二路口类型之后,获取的颜色识别结果对中包括红灯和绿闪,则由于第二路口类型所包含的颜色识别结果对有红灯和红灯、绿灯和绿灯、绿闪和绿闪、黄灯和黄灯,而没有红灯和绿闪,所以可以确定包括红色和绿闪的颜色识别结果对为误检结果。

本申请实施例可以应用于人工驾驶场景,也可以应用于自动驾驶场景。在应用于人工驾驶场景的情况下,确定发生误检后,可以向驾驶员输出误检提示,提醒驾驶员注意自己确认前方交通灯颜色,也可以基于下述实施例中确定真实结果的方法来对误检结果进行纠正,并将识别结果和纠正后的结果输出给驾驶员,供驾驶员参考。在应用于自动驾驶场景的情况下,确定发生误检后,可以忽略该误检结果,重新开始检测,或者保持上一帧的颜色识别结果对不变,或者,基于下述实施例中确定真实结果的方法来对误检结果进行纠正;其中,当根据本步骤S130确定预设颜色识别结果对为误检结果时,可以将预设颜色识别结果对对应真实结果确定为基于上一帧交通灯图像的预设颜色识别结果对。

本申请实施例提供的交通灯颜色的识别方法,可以先通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型,在确定路口类型之后,若获取的颜色识别结果对中存在除该路口类型对应的交通灯颜色对以外的颜色对的预设颜色识别结果对,则确定预设颜色识别结果对为误检结果,从而快速准确地识别出该目标路口处不可能出现的颜色识别结果对,避免根据误检结果做出错误驾驶决策,进而提高了交通安全。

在一种实施方式中,在确定路口类型之后,为了进一步提高识别的准确性,本申请实施例可以当在确定路口类型之后获取的连续多个颜色识别结果对均为第一颜色对,且基于下一帧交通灯图像确定的颜色识别结果对为第二颜色对时,确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果。

其中,第一颜色对与第二颜色对不同,且第一颜色对与第二颜色对在路口类型的交通灯颜色循环顺序中不相邻。连续多个颜色识别结果对为基于连续多帧交通灯图像识别的颜色识别结果对,本申请实施中的下一帧交通灯图像为与连续多个颜色识别结果对对应的交通灯图像中最后一帧交通灯图像相邻的下一帧交通灯图像。

示例性的,如表1所示,按照(左转,直行)这种格式,可以将第一路口类型的交通灯颜色循环顺序表示为(红灯,红灯)——>(红灯,绿灯)——>(红灯,绿闪)——>(红灯,黄灯)——>(绿灯,红灯)——>(绿闪,红灯)——>(黄灯,红灯),(黄灯,红灯)之后再切换为(红灯,红灯),从(红灯,红灯)开始又进入下一次循环。当在确定路口类型之后获取的连续多个颜色识别结果对均为(红灯,红灯)时,若基于下一帧交通灯图像确定的颜色识别结果对为(红灯,绿闪)、(红灯,黄灯)、(绿灯,红灯)、(绿闪,红灯)或者(黄灯,红灯),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果;当在确定路口类型之后获取的连续多个颜色识别结果对均为(红灯,绿灯)时,若基于下一帧交通灯图像确定的颜色识别结果对为(红灯,黄灯)、(绿灯,红灯)、(绿闪,红灯)、(黄灯,红灯)或者(红灯,红灯),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果;当在确定路口类型之后获取的连续多个颜色识别结果对均为(红灯,绿闪)时,若基于下一帧交通灯图像确定的颜色识别结果对为(绿灯,红灯)、(绿闪,红灯)、(黄灯,红灯)、(红灯,红灯)或者(红灯,绿灯),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果;当在确定路口类型之后获取的连续多个颜色识别结果对均为(红灯,黄灯)时,若基于下一帧交通灯图像确定的颜色识别结果对为(绿闪,红灯)、(黄灯,红灯)、(红灯,红灯)、(红灯,绿灯)或者(红灯,绿闪),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果;当在确定路口类型之后获取的连续多个颜色识别结果对均为(绿灯,红灯)时,若基于下一帧交通灯图像确定的颜色识别结果对为(黄灯,红灯)、(红灯,红灯)、(红灯,绿灯)、(红灯,绿闪)或者(红灯,黄灯),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果;当在确定路口类型之后获取的连续多个颜色识别结果对均为(绿闪,红灯)时,若基于下一帧交通灯图像确定的颜色识别结果对为(红灯,红灯)、(红灯,绿灯)、(红灯,绿闪)、(红灯,黄灯)或者(绿灯,红灯),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果;当在确定路口类型之后获取的连续多个颜色识别结果对均为(黄灯,红灯)时,若基于下一帧交通灯图像确定的颜色识别结果对为(红灯,绿灯)、(红灯,绿闪)、(红灯,黄灯)或者(绿闪,红灯),则确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果。

由此可知,在确定路口类型的情况下,本申请实施例通过判断颜色识别结果对是否符合交通灯颜色循环顺序,可以识别出误检结果,从而进一步提高误检识别的准确性。

在一种实施方式中,本申请实施例还提供了如下方法:

根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,其中,历史目标识别结果为历史时间内检测的目标颜色识别结果,当前目标识别结果为当前检测的目标颜色识别结果,当目标路口的路口类型为第一路口类型时,目标颜色识别结果为颜色识别结果对中目标行驶方向对应的颜色识别结果,当目标路口的路口类型为第二路口类型时,目标颜色识别结果为颜色识别结果对中的任一颜色识别结果,目标行驶方向包括左转或者直行。也就是说,当目标路口的路口类型为第一路口类型时,可以只识别目标行驶方向对应的颜色识别结果是否发生误检,而无需关注非目标行驶方向对应的颜色识别结果是否发生误检,从而可以简化识别对象的数量,进而提高误检识别的效率;当目标路口的路口类型为第二路口类型时,由于第二路口类型的颜色识别结果对中灯色相同,所以可以只识别其中一个颜色识别结果是否发生误检即可。

下面针对不同场景进行描述:

第一种场景:黄灯误检为红灯

从历史目标识别结果为黄灯开始,在驾驶决策为通行决策的情况下,当连续多个目标颜色识别结果均为红灯的数量小于第一数量阈值,或者连续第二数量阈值个目标颜色识别结果中红灯占比小于第一占比阈值时,确定当前目标识别结果对应的真实结果为黄灯,当连续第一数量阈值个目标颜色识别结果均为红灯,或者连续第二数量阈值个目标颜色识别结果中红灯占比大于或者等于第一占比阈值时,确定当前目标识别结果对应的真实结果为红灯,其中,第一数量阈值小于或者等于第二数量阈值,连续第一数量阈值个目标颜色识别结果和连续第二数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果;或者,从历史目标识别结果为黄灯开始,当当前目标识别结果为红灯且驾驶决策为刹停决策时,确定当前目标识别结果对应的真实结果为红灯。

在实际应用中,由于针对黄灯的驾驶决策本身已经过精确计算,所以常规情况下不存在“通行的黄灯决策在自车没有通过目标路口时跳变红灯”的场景。因此,在黄灯时的驾驶决策为通行决策时,没有通过目标路口前,若目标颜色识别结果为红灯,误检的概率较大,可以连续检出6帧红灯才能够确认是真正的红灯;若是出现3帧红灯+4帧黄灯+3帧红灯的情况(即连续10帧中有6帧红灯),则认为其中夹杂的4帧黄灯为误检。即使是真正发生了没过线时出现真正红灯,按城区最高限速60km/h,最多延迟8.3米刹停,不会违反交规。

其中,第一数量阈值、第二数量阈值和第一占比阈值的具体取值可以以保证决策延迟小于预测延迟阈值(如500ms),不违反交通规则为准。

示例性的,在第一数量阈值为6、第二数量阈值为10,第一占比阈值为60%的情况下,如图2所示,当连续6个颜色识别结果对中目标颜色识别结果均为红灯时,可以确定当前目标识别结果对应的真实结果为红灯,或者,如图3所示,当连续10个颜色识别结果对中目标颜色识别结果红灯比例等于60%时,也可以确定当前目标识别结果对应的真实结果为红灯。其中,目标颜色识别结果为直行灯对应的颜色识别结果,在执行本申请实施例时,左转灯对应的颜色识别结果可忽略。

本申请实施例提供的交通灯颜色的识别方法,可以从历史目标识别结果为黄灯开始,当当前目标识别结果为红灯且驾驶决策为刹停决策时,无论是否发生黄灯误检为红灯,由于黄、红灯决策均为刹停,所以可以确定当前目标识别结果对应的真实结果为红灯;而从历史目标识别结果为黄灯开始,在驾驶决策为通行决策的情况下,在之后出现红灯时,并不立即判定真实结果为红灯,而只有当连续第一数量阈值个目标颜色识别结果均为红灯,或者连续第二数量阈值个目标颜色识别结果中红灯占比大于或者等于第一占比阈值时,才确定当前目标识别结果对应的真实结果为红灯,当真实结果为红灯时,才做出刹停决策,从而避免因黄灯被误检为红灯而影响目标车辆通行或者后车与目标车辆发生碰撞,进而提高了交通安全。

第二种场景:红灯误检为绿灯

在目标车辆为头车的情况下,从历史目标识别结果为红灯开始,当连续多个目标颜色识别结果均为绿灯的数量小于第三数量阈值,或者连续第四数量阈值个目标颜色识别结果中绿灯占比小于第二占比阈值时,确定当前目标识别结果对应的真实结果为红灯,当连续第三数量阈值个目标颜色识别结果均为绿灯,或者连续第四数量阈值个目标颜色识别结果中绿灯占比大于或者等于第二占比阈值时,确定当前目标识别结果对应的真实结果为绿灯;

其中,头车是指在驶向目标路口的车辆中,每个车道中距离目标路口最近的一辆车,通俗而言,头车是指每个车道中驶向目标路口的第一辆车。第三数量阈值小于或者等于第四数量阈值,连续第三数量阈值个目标颜色识别结果和连续第四数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果。第一数量阈值与第三数量阈值之间、第二数量阈值与第四数量阈值之间、或者第一占比阈值与第二占比阈值之间,取值可以相同,也可以不同,以确保低决策延迟和高准确率为准。此外,在确定当前目标识别结果对应的真实结果为绿灯时,驾驶决策可以由刹停决策变为通行决策。

本申请实施例提供的交通灯颜色的识别方法,能够从历史目标识别结果为红灯开始,在之后出现绿灯时,并不立即判定真实结果为绿灯,而只有连续第三数量阈值个目标颜色识别结果均为绿灯,或者连续第四数量阈值个目标颜色识别结果中绿灯占比大于或者等于第二占比阈值时,才确定当前目标识别结果对应的真实结果为绿灯,当真实结果为绿灯时,才做出通行决策,从而避免因红灯被误检为绿灯提前行驶而发生闯红灯行为,进而提高了交通安全。

在一种实施方式中,在目标车辆处于头车红灯等待状态的情况下,本发明实施还可以通过参考邻车道头车起步时机确定目标车辆的起步时机(因为绿灯生成通行决策的时机),从而避免因红灯被误检为绿灯提前行驶而发生闯红灯行为,由此可以进一步提高交通安全。具体实现过程包括:当目标车道中头车车速从0变为大于或者等于预设车速阈值时,确定当前目标识别结果对应的真实结果为绿灯,其中,头车红灯等待状态包括位于头车的目标车辆的车速为0、目标颜色识别结果为红灯以及目标车辆对应有目标车道,目标车道为与目标车辆所属车道具有相同行驶方向的邻车道。此外,当目标车辆不是头车时,若出现红灯误检绿灯,自车会因前车刹停而刹停,而不会对驾驶决策造成影响,所以这种情况下的红灯误检绿灯可以忽略。

第三种场景:绿灯误检为绿闪

从历史目标识别结果为绿灯开始,当当前目标识别结果未到达第M次灭灯时,确定当前目标识别结果对应的真实结果为绿灯,当当前目标识别结果为第M次灭灯时,确定当前目标识别结果对应的真实结果为绿闪,M为正整数。

由于在实际应用中,可能会因为交通灯故障或者灯色更新频率慢而发生将绿灯误检为绿闪的情况,为了提高识别准确率,可以在当前目标识别结果未达到第M次灭灯时,不认为是真正的绿闪,只有当未达到第M次灭灯时,才认为是真正的绿闪。

此外,由于绿闪对应的驾驶决策与黄灯对应的驾驶决策相同,所以绿闪和黄灯之间的误检可以忽略。

在一种实施方式中,在相邻两个目标颜色识别结果先后分别为绿灯和灭灯的情况下,当基于下一帧交通灯图像确定的目标颜色识别结果为黄灯时,确定相邻两个目标颜色识别结果对应的真实结果为相邻两个目标颜色识别结果整体为绿闪。其中,本申请实施例中的下一帧交通灯图像是指相邻两个目标颜色识别结果对应的交通灯图像中后一帧交通灯图像的下一帧交通灯图像。由此可知,本申请实施例可以避免将绿闪误检为绿灯和灭灯两种独立状态,从而提高了识别准确率。

下面对上述几种场景的应用进行举例说明:

A1、从(红灯,红灯)后识别出(红灯,绿灯)

若目标车辆左转,则不受影响,可以忽略直行灯;若目标车辆直行,则可以执行第二种场景所述的方法。

A2、从(红灯,绿灯)后识别出(红灯,绿闪)

若目标车辆左转,则不受影响,可以忽略直行灯;若目标车辆直行,则可以执行第三种场景所述的方法。

A3、从(红灯,绿闪)后识别出(红灯,黄灯)

若目标车辆左转,则不受影响,可以忽略直行灯;若目标车辆直行,则由于绿闪对应的驾驶决策与黄灯对应的驾驶决策相同,所以绿闪和黄灯之间的误检可以忽略。

A4、从(红灯,黄灯)后识别出(绿灯,红灯)

若目标车辆左转,则可以执行第二种场景所述的方法;若目标车辆直行,则可以执行第一种场景所述的方法。

A5、从(绿灯,红灯)后识别出(绿闪,红灯)

若目标车辆左转,则可以执行第三种场景所述的方法;若目标车辆直行,则不受影响,可以忽略左转灯。

A6、从(绿闪,红灯)后识别出(黄灯,红灯)

若目标车辆左转,则由于绿闪对应的驾驶决策与黄灯对应的驾驶决策相同,所以绿闪和黄灯之间的误检可以忽略;若目标车辆直行,则不受影响,可以忽略左转灯。

A7、从(黄灯,红灯)后识别出(红灯,红灯)

若目标车辆左转,则可以执行第一种场景所述的方法;若目标车辆直行,则不受影响,可以忽略左转灯。

相应于上述方法实施例,本申请的另一个实施例提供了一种交通灯颜色的识别装置,如图4所示,该装置包括:

获取单元20,用于获取基于交通灯图像对目标交通灯的颜色识别结果对,其中,目标交通灯包括转向灯和直行灯,颜色识别结果对包括对转向灯的颜色识别结果和对直行灯的颜色识别结果;

类型确定单元22,用于通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型;

第一结果确定单元24,用于在确定路口类型之后获取的颜色识别结果对中存在预设颜色识别结果对的情况下,确定预设颜色识别结果对为误检结果,其中,预设颜色识别结果对包括除路口类型对应的交通灯颜色对以外的颜色对。

在一种实施方式中,装置还包括:

第二结果确定单元,用于当在确定路口类型之后获取的连续多个颜色识别结果对均为第一颜色对,且基于下一帧交通灯图像确定的颜色识别结果对为第二颜色对时,确定基于下一帧交通灯图像确定的颜色识别结果对为误检结果,其中,第一颜色对与第二颜色对不同,且第一颜色对与第二颜色对在路口类型的交通灯颜色循环顺序中不相邻。

在一种实施方式中,类型确定单元22,包括:

第一类型确定模块,用于在所述第一时间段内的多个所述颜色识别结果对中存在不同色的所述颜色识别结果对的情况下,确定所述目标路口的路口类型为第一路口类型;

第二类型确定模块,用于在所述第一时间段内多个所述颜色识别结果对中每个所述颜色识别结果对均为同色且多个所述颜色识别结果不全为红灯的情况下,确定所述目标路口的路口类型为第二路口类型。

在一种实施方式中,装置还包括:

第三结果确定单元,用于根据历史目标识别结果和/或当前目标识别结果,确定当前目标识别结果对应的真实结果,其中,历史目标识别结果为历史时间内检测的目标颜色识别结果,当前目标识别结果为当前检测的目标颜色识别结果,当目标路口的路口类型为第一路口类型时,目标颜色识别结果为颜色识别结果对中目标行驶方向对应的颜色识别结果,当目标路口的路口类型为第二路口类型时,目标颜色识别结果为颜色识别结果对中的任一颜色识别结果。

在一种实施方式中,第三结果确定单元,包括:第一结果确定模块或者第二结果确定模块;

第一结果确定模块,用于从历史目标识别结果为黄灯开始,在驾驶决策为通行决策的情况下,当连续多个目标颜色识别结果均为红灯的数量小于第一数量阈值,或者连续第二数量阈值个目标颜色识别结果中红灯占比小于第一占比阈值时,确定当前目标识别结果对应的真实结果为黄灯,当连续第一数量阈值个目标颜色识别结果均为红灯,或者连续第二数量阈值个目标颜色识别结果中红灯占比大于或者等于第一占比阈值时,确定当前目标识别结果对应的真实结果为红灯,其中,第一数量阈值小于或者等于第二数量阈值,连续第一数量阈值个目标颜色识别结果和连续第二数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果;或者,

第二结果确定模块,用于从历史目标识别结果为黄灯开始,当当前目标识别结果为红灯且驾驶决策为刹停决策时,确定当前目标识别结果对应的真实结果为红灯。

在一种实施方式中,第三结果确定单元,包括:

第三结果确定模块,用于在目标车辆为头车的情况下,从历史目标识别结果为红灯开始,当连续多个目标颜色识别结果均为绿灯的数量小于第三数量阈值,或者连续第四数量阈值个目标颜色识别结果中绿灯占比小于第二占比阈值时,确定当前目标识别结果对应的真实结果为红灯,当连续第三数量阈值个目标颜色识别结果均为绿灯,或者连续第四数量阈值个目标颜色识别结果中绿灯占比大于或者等于第二占比阈值时,确定当前目标识别结果对应的真实结果为绿灯;

其中,第三数量阈值小于或者等于第四数量阈值,连续第三数量阈值个目标颜色识别结果和连续第四数量阈值个目标颜色识别结果中均包括当前目标识别结果和历史目标识别结果。

在一种实施方式中,该装置还包括:

第四结果确定单元,用于在目标车辆处于头车红灯等待状态的情况下,当目标车道中头车车速从0变为大于或者等于预设车速阈值时,确定当前目标识别结果对应的真实结果为绿灯,其中,头车红灯等待状态包括位于头车的目标车辆的车速为0、目标颜色识别结果为红灯以及目标车辆对应有目标车道,目标车道为与目标车辆所属车道具有相同行驶方向的邻车道。

在一种实施方式中,第三结果确定单元,包括:

第四结果确定模块,用于从历史目标识别结果为绿灯开始,当当前目标识别结果为第M次灭灯时,确定当前目标识别结果对应的真实结果为绿闪,M为正整数。

在一种实施方式中,装置还包括:

第五结果确定单元,用于在相邻两个目标颜色识别结果先后分别为绿灯和灭灯的情况下,当基于下一帧交通灯图像确定的目标颜色识别结果为黄灯时,确定相邻两个目标颜色识别结果对应的真实结果为相邻两个目标颜色识别结果整体为绿闪。

在一种实施方式中,获取单元20,用于从距离目标路口预设距离时起,获取基于交通灯图像对目标交通灯的颜色识别结果对。

本申请实施例提供的交通灯颜色的识别装置,可以先通过判断第一时间段内多个颜色识别结果对中每个颜色识别结果对是否均为同色确定目标路口的路口类型,在确定路口类型之后,若获取的颜色识别结果对中存在除该路口类型对应的交通灯颜色对以外的颜色对的预设颜色识别结果对,则确定预设颜色识别结果对为误检结果,从而快速准确地识别出该目标路口处不可能出现的颜色识别结果对,避免根据误检结果做出错误驾驶决策,进而提高了交通安全。

基于上述方法实施例,本申请的另一实施例提供了一种存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现如上任一实施方式所述的方法。

基于上述方法实施例,本申请的另一实施例提供了一种电子设备或计算机设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得电子设备或计算机设备实现如上任一实施方式所述的方法。

基于上述方法实施例,本申请的另一实施例提供了一种车辆,该车辆包含如上任一实施方式所述的装置,或者包含如上所述的电子设备。

如图5所示,车辆包括T-Box(Telematics Box,远程信息处理器)30、ECU(Electronic Control Unit,电子控制单元)32、摄像头34。其中,T-Box30可以作为网关与服务器进行通信;摄像头34用于采集车辆前方的交通灯图像;ECU32可以执行上述交通灯颜色的识别方法,ECU32还可以获取摄像头34采集的交通灯图像,并通过T-Box30将交通灯图像上报给服务器,并接收服务器基于上述交通灯颜色的识别方法确定的误检结果和/或真实结果。

车辆还可以包括:GPS(Global Positioning System,全球定位系统)定位设备、V2X(Vehicle-to-Everything,车联网)模块、雷达等。GPS定位设备用于获取车辆的当前地理位置,V2X模块用于与其他车辆、路侧设备等进行通信;雷达用于感知前方和/或其他方向的道路环境信息。

上述装置实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本申请所必须的。

本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。

相关技术
  • 车辆套牌识别方法、装置、识别设备及存储介质
  • 车辆识别方法、装置、设备及存储介质
  • 车辆信息自动识别方法、装置、系统、设备及存储介质
  • 物品识别方法、装置及设备、存储介质、电子装置
  • 基于深度CNN的车辆位置识别方法、装置及存储介质
  • 交通灯颜色识别方法、装置及电子设备、存储介质
  • 交通灯、交通灯识别方法、装置、设备及存储介质
技术分类

06120116500678