掌桥专利:专业的专利平台
掌桥专利
首页

检测方法、装置及存储介质

文献发布时间:2023-06-19 12:25:57


检测方法、装置及存储介质

技术领域

本申请涉及人工智能技术领域,尤其涉及一种检测方法、装置及存储介质。

背景技术

随着人工智能的快速发展,辅助驾驶和自动驾驶需要对周围的行车环境进行感知。为了能够准确的对驾驶环境进行感知,需要知道行车路径上的行人、车辆、车道线等各种信息,来保障在一定的行车路径上进行驾驶,并避免碰撞到其他车辆和行人。针对不同的场景,不同的道路工况,以及不同的功能,对传感器感知的要求也是不一样的。作为传感器感知中最重要的一个传感器,摄像头承担了非常重要的功能,可以用来进行障碍物检测、车道线检测、道路边界检测等。

车辆运行中一种常见的现象是挡风玻璃起雾,特别是在冬天的时候,由于室内外温差较大,造成车内侧挡风玻璃起雾,这与外界环境为雾天的场景类似。摄像头采集到上述两种场景下的环境图像,环境图像均不清晰,目前的技术方案无法对上述两种场景加以区分,车辆环境检测的准确性不高。

发明内容

本申请提供一种检测方法、装置及存储介质,实现对玻璃起雾和环境天气下的雾天的区分,提升对环境检测的准确性。

第一方面,本申请实施例提供一种检测方法,该方法包括:获取来自至少一个图像采集装置的至少一帧环境图像,环境图像用于呈现第一终端所在的环境的信息;根据至少一帧环境图像,确定第一终端的状态信息,状态信息包含以下中的至少一个:第一终端的玻璃是否起雾,或者,第一终端所在的环境的天气状态。

在上述方案中,通过获取至少一个图像采集装置采集的单帧或多帧环境图像,根据单帧或多帧环境图像,确定第一终端是否存在玻璃起雾或者确定第一终端所在环境的天气状态(包括雾天环境)。通过上述过程,实现对玻璃起雾和环境天气下的雾天的区分,提升对环境检测的准确性。

可选的,天气状态包括浓雾、薄雾或者正常中的任意一个。具体的,可通过对雾的包络范围、粒径、密度、能见度等进行描述,确定是浓雾、薄雾还是正常。作为在一种示例,能见度的数值越低,能见度越差,雾气浓度越高。

在一种可能的实现方式中,状态信息包含第一终端的玻璃是否起雾,环境图像呈现的环境包含至少两个目标物体以及天空。其中,环境图像中的至少两个目标物体可以理解为环境图像中的至少两个检测点,每一个检测点对应图像中的一个或多个像素点。

可选的,根据至少一帧环境图像,确定第一终端的状态信息,包括:根据至少一帧环境图像中的第一环境图像中的至少两个目标物体的亮度信息、天空的亮度信息以及至少两个目标物体的深度信息,确定状态信息。

可选的,根据第一环境图像中的至少两个目标物体的亮度信息、天空的亮度信息以及至少两个目标物体的深度信息,确定状态信息,包括:确定第一终端的玻璃起雾,其中,在第一环境图像中,至少两个目标物体中存在至少一组目标物体,每组目标物体中任意两个目标物体对应的消光系数的差值大于第一阈值,消光系数是通过目标物体的亮度信息、天空的亮度信息以及目标物体的深度信息确定的,消光系数用于指示目标物体在大气中的亮度损失程度。

该实现方式中,通过对某一图像采集装置的单帧环境图像中的至少两个目标物体对应的消光系数进行比较,确定第一终端的状态信息。以两个目标物体为例,若这两个目标物体对应的消光系数的差值大于第一阈值(即图像中两个检测点的消光系数差别较大),则确定第一终端的玻璃起雾。上述过程可以有效区分玻璃起雾和环境天气下的雾天,避免将玻璃起雾的场景判定为环境雾天场景。

在一种可能的实现方式中,状态信息包括第一终端的玻璃是否起雾,环境图像呈现的环境包括至少一个近端目标物体,近端目标物体包括第一终端外部的、与第一终端距离小于预设距离的物体。示例性的,近端目标物体可以是车辆的前、后引擎盖,固定在引擎盖上的任意物体,车辆左右两侧的后视镜等。

可选的,根据至少一帧环境图像,确定第一终端的状态信息,包括:根据至少一帧环境图像中的第一环境图像中的至少一个近端目标物体的清晰度值,确定状态信息;其中,至少一个近端目标物体的清晰度值是通过至少一个近端目标物体对应的图像块的灰度值确定的。

可选的,根据第一环境图像中的至少一个近端目标物体的清晰度值,确定状态信息,包括:确定第一终端的玻璃起雾,在第一环境图像中,至少存在一个近端目标物体的清晰度值小于或者等于预设清晰度阈值。

该实现方式中,通过对某一图像采集装置的单帧环境图像中的至少一个近端目标物体对应的清晰度值进行分析,确定第一终端的状态信息。以一个近端目标物体为例,若该近端目标物体对应的清晰度值小于或者等于预设清晰度阈值(即图像中近端目标物体模糊不清),则确定第一终端的玻璃起雾。应理解,玻璃起雾将造成近端物体模糊不清,而环境天气下的雾天对近端物体的清晰度影响很小。上述过程可以有效区分玻璃起雾和环境天气下的雾天,避免将玻璃起雾的场景判定为环境雾天场景。

在一种可能的实现方式中,获取来自至少一个图像采集装置的至少一帧环境图像,包括:获取来自至少一个图像采集装置的多帧环境图像。根据环境图像,确定第一终端的状态信息,包括:根据多帧环境图像,确定第一终端的状态信息。

可选的,状态信息包括第一终端的玻璃是否起雾,环境图像呈现的环境包括至少一个目标物体。

可选的,根据多帧环境图像,确定第一终端的状态信息,包括:根据至少一个目标物体在多帧环境图像中的消光系数或者清晰度值,确定状态信息。

其中,至少一个目标物体在每一帧的环境图像中的消光系数是通过至少一个目标物体的亮度信息、天空的亮度信息以及至少一个目标物体的深度信息确定的;至少一个目标物体在每一帧的环境图像中的清晰度值是通过至少一个目标物体对应的图像块的灰度值确定的。

该实现方式的第一种情况,根据至少一个目标物体在多帧环境图像中的消光系数,确定状态信息,包括:确定第一终端的玻璃起雾,其中,多帧环境图像中的任意两帧的环境图像的同一目标物体的消光系数的差值均小于或者等于第四阈值。

该情况下,通过对某一图像采集装置的多帧环境图像中的同一目标物体对应的消光系数进行比较,确定第一终端的玻璃起雾。若同一目标物体在多帧环境图像中的任意两帧中的消光系数的差值均小于或等于第四阈值,表明同一目标物体在多帧环境图像中的消光系数基本不变,该特征对应玻璃起雾场景。

应理解,若第一终端处于环境雾天,随着第一终端的移动,同一目标物体与该第一终端的距离不断变化(变大或变小),消光系数与距离值相关,同一目标物体距离第一终端越远,其消光系数越大,距离越近,消光系数越小。因此,环境雾天中同一目标物体在多帧环境图像中的消光系数变化较大。然而,对于玻璃起雾的场景,第一终端的移动对同一目标物体在多帧环境图像中的消光系数的影响很小。

该实现方式的第二种情况,根据至少一个目标物体在多帧环境图像中的清晰度值,确定状态信息,包括:确定第一终端的玻璃起雾,其中,多帧环境图像中的任意两帧的环境图像中的同一目标物体的清晰度值的差值均小于或者等于第五阈值。

该情况下,通过对某一图像采集装置的多帧环境图像中的同一目标物体对应的清晰度值进行比较,确定第一终端的玻璃起雾。若同一目标物体在多帧环境图像中的任意两帧中的清晰度值的差值均小于或等于第五阈值,表明同一目标物体在多帧环境图像中的清晰度值基本不变,该特征对应玻璃起雾场景。

应理解,若第一终端处于环境雾天,随着第一终端的移动,同一目标物体与该第一终端的距离不断变化,清晰度值与距离值相关,同一目标物体距离第一终端越远,其清晰度值越低,距离越近,清晰度值越高。因此,环境雾天中同一目标物体在多帧环境图像中的清晰度值变化较大。然而,对于玻璃起雾的场景,第一终端的移动对同一目标物体在多帧环境图像中的消光系数的影响很小。

可选的,同一目标物体为同一近端目标物体,近端目标物体包括第一终端外部的、与第一终端距离小于预设距离的物体。

在上述各种实现方式的基础上,可选的,在确定第一终端的玻璃起雾时,方法还包括:控制车内的除雾装置启动,或者,控制车窗升降装置启动,或者,发出告警信息。

可选的,在确定第一终端的玻璃没有起雾时,方法还包括:获取至少一个图像采集装置的任意一帧环境图像的饱和度和明度;根据明度与饱和度的比值,确定第一终端所在的环境的天气状态。该方案用于进一步确定当前第一终端所在的环境天气,是正常天气还是环境雾天(浓雾或者薄雾)。

可选的,根据明度与所度饱和度的比值,确定第一终端所在的环境的天气状态,包括:天气状态为浓雾时,比值大于或者等于第二阈值;天气状态为薄雾时,比值大于第三阈值且小于第二阈值;和/或,天气状态为正常时,比值小于或者等于第三阈值。

可选的,确定天气状态为浓雾时,控制第一终端的驾驶状态或者输出控制信息到车载控制器;或者,确定天气状态为薄雾时,对环境图像进行去雾处理;或者,确定天气状态为正常时,根据环境图像进行道路检测。

上述方案通过计算环境图像的饱和度和明度,基于明度与饱和度的比值确定环境天气为雾天的浓度等级,使得第一终端具备检测雾天环境的能力,并根据雾天的浓度等级执行相应的控制操作。在雾天浓度不高的情况下,无需切换第一终端的驾驶状态,可通过图像处理算法对环境图像进行去雾处理,从而避免对控制系统资源的浪费。

第二方面,本申请实施例提供一种检测装置,包括:获取模块和处理模块。其中,获取模块用于获取来自至少一个图像采集装置的至少一帧环境图像,环境图像用于呈现第一终端所在的环境的信息;处理模块用于根据至少一帧环境图像,确定第一终端的状态信息,状态信息包含以下中的至少一个:第一终端的玻璃是否起雾,或者,第一终端所在的环境的天气状态。

可选的,天气状态包括浓雾、薄雾或者正常中的任意一个。

可选的,状态信息包含第一终端的玻璃是否起雾,环境图像呈现的环境包含至少两个目标物体以及天空。

在一种可能的实现方式中,处理模块具体用于根据至少一帧环境图像中的第一环境图像中的至少两个目标物体的亮度信息、天空的亮度信息以及至少两个目标物体的深度信息,确定状态信息。

可选的,处理模块确定第一终端的玻璃起雾,其中,在第一环境图像中,至少两个目标物体中存在至少一组目标物体,每组目标物体中任意两个目标物体对应的消光系数的差值大于第一阈值,消光系数是通过目标物体的亮度信息、天空的亮度信息以及目标物体的深度信息确定的,消光系数用于指示目标物体在大气中的亮度损失程度。

可选的,状态信息包括第一终端的玻璃是否起雾,环境图像呈现的环境包括至少一个近端目标物体,近端目标物体包括第一终端外部的、与第一终端距离小于预设距离的物体。

在一种可能的实现方式中,处理模块具体用于根据至少一帧环境图像中的第一环境图像中的至少一个近端目标物体的清晰度值,确定状态信息。其中,至少一个近端目标物体的清晰度值是通过至少一个近端目标物体对应的图像块的灰度值确定的。

可选的,处理模块确定第一终端的玻璃起雾,在第一环境图像中,至少存在一个近端目标物体的清晰度值小于或者等于预设清晰度阈值。

可选的,获取模块具体用于获取来自至少一个图像采集装置的多帧环境图像。处理模块,具体用于根据多帧环境图像,确定第一终端的状态信息。

可选的,状态信息包括第一终端的玻璃是否起雾,环境图像呈现的环境包括至少一个目标物体。

在一种可能的实现方式中,处理模块具体用于根据至少一个目标物体在多帧环境图像中的消光系数或者清晰度值,确定状态信息。其中,至少一个目标物体在每一帧的环境图像中的消光系数是通过至少一个目标物体的亮度信息、天空的亮度信息以及至少一个目标物体的深度信息确定的;至少一个目标物体在每一帧的环境图像中的清晰度值是通过至少一个目标物体对应的图像块的灰度值确定的。

可选的,处理模块确定第一终端的玻璃起雾,其中,多帧环境图像中的任意两帧的环境图像的同一目标物体的消光系数的差值均小于或者等于第四阈值,或者,多帧环境图像中的任意两帧的环境图像中的同一目标物体的清晰度值的差值均小于或者等于第五阈值。

可选的,同一目标物体为同一近端目标物体,近端目标物体包括第一终端外部的、与第一终端距离小于预设距离的物体。

基于上述各实现方式,可选的,处理模块在确定第一终端的玻璃起雾时,还用于:控制车内的除雾装置启动,或者,控制车窗升降装置启动,或者,发出告警信息。

可选的,在处理模块确定第一终端的玻璃没有起雾时,获取模块还用于获取至少一个图像采集装置的任意一帧环境图像的饱和度和明度。处理模块,还用于根据明度与饱和度的比值,确定第一终端所在的环境的天气状态。

可选的,天气状态为浓雾时,比值大于或者等于第二阈值;天气状态为薄雾时,比值大于第三阈值且小于第二阈值;和/或,天气状态为正常时,比值小于或者等于第三阈值。

可选的,处理模块,还用于:确定天气状态为浓雾时,控制第一终端的驾驶状态或者输出控制信息到车载控制器;或者,确定天气状态为薄雾时,对环境图像进行去雾处理;或者,确定天气状态为正常时,根据环境图像进行道路检测。

第三方面,本申请实施例提供一种检测装置,包括至少一个处理器和至少一个存储器;至少一个存储器用于存储计算机执行指令,当检测装置运行时,至少一个处理器执行至少一个存储器存储的计算机执行指令,以使检测装置执行如第一方面中任一项的检测方法。

第四方面,本申请实施例提供一种计算机存储介质,用于存储计算机程序,当计算机程序在计算机上执行时,使得计算机执行如第一方面中任一项的检测方法。

本申请实施例提供一种检测方法、装置及存储介质,该方法包括:通过获取来自至少一个图像采集装置的单帧或多帧环境图像,对单帧或多帧环境图像中的至少一个目标物体的亮度变化规律或者图像质量参数进行综合分析,确定第一终端的状态信息。其中,第一终端的状态信息包括第一终端的玻璃是否起雾,或者第一终端所在环境的天气状态。上述检测过程实现对玻璃起雾和环境天气下的雾天的区分,提升对环境检测的准确性。

附图说明

图1为本申请实施例提供的车辆的功能框图;

图2为本申请实施例提供的一种检测方法的流程图;

图3为本申请实施例提供的图像采集装置在车辆内部的空间示意图;

图4为本申请实施例提供的一种确定第一终端状态信息的流程图;

图5为本申请实施例提供的一种确定第一终端状态信息的流程图;

图6为本申请实施例提供的一种确定第一终端状态信息的流程图;

图7为本申请实施例提供的一种确定第一终端天气状态的流程图;

图8为本申请实施例提供的一种检测装置的结构示意图;

图9为本申请实施例提供的一种检测装置的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供的检测方法可应用于具有自动驾驶功能的任意终端,该终端具有封闭空间,形成封闭空间的组件至少包括玻璃,该终端可以为车辆、船、飞机、航天器等,对此本申请实施例不作任何限制。

为了方便描述,下述实施例以车辆为例进行说明。

作为一种示例,本申请实施例提供的检测方法可应用于具有自动驾驶功能的车辆或者应用于具有控制自动驾驶功能的其他设备(比如云端服务器)中。车辆可通过其包含的组件(包括硬件和/或软件)实施本申请实施例提供的检测方法,确定车辆当前的状态信息(比如速度、位置、路面条件、天气条件等),生成控制车辆的控制指令。或者,其他设备(比如服务器)用于实施本申请实施例的检测方法,确定车辆当前的状态信息,生成控制车辆的控制指令,并向车辆发送该控制指令。

图1为本申请实施例提供的车辆100的功能框图。在一些实施例中,可以将车辆100配置为完全或部分地自动驾驶模式。例如,车辆100可以在处于自动驾驶模式的同时控制自身,并且可通过人为操作来确定车辆及其周边环境的状态信息,确定车辆的玻璃是否起雾,或者,车辆所在的环境的天气状态,基于所确定的状态信息来控制车辆100。在车辆100处于自动驾驶模式时,可以将车辆100置为在没有和人交互的情况下操作。

车辆100可包括各种子系统,例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116中的至少一个。可选地,车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可以通过有线或者无线互连。

其中,行进系统102可包括为车辆100提供动力运动的组件。在一些实施例中,行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。其中,引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如气油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车辆100的其他系统提供能量。传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一些实施例中,传动装置120还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。

传感器系统104可包括感测关于车辆100周边的环境的信息的若干个传感器。例如,传感器系统104可包括定位系统122(定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)124、雷达126、激光测距仪128以及相机130中的至少一个。传感器系统104还可包括被监视车辆100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主车辆100的安全操作的关键功能。

上述定位系统122可用于估计车辆100的地理位置。IMU 124用于基于惯性加速度来感测车辆100的位置和朝向变化。在一些实施例中,IMU 124可以是加速度计和陀螺仪的组合。雷达126可利用无线电信号来感测车辆100的周边环境内的物体,包括毫米波雷达、激光雷达等。在一些实施例中,除了感测物体以外,雷达126还可用于感测物体的速度和/或前进方向。激光测距仪128可利用激光来感测车辆100与周围环境中的物体的距离。在一些实施例中,激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。相机130可用于捕捉车辆100的周边环境的多个图像。相机130可以是静态相机或视频相机。

控制系统106可控制车辆100及其组件的操作。控制系统106可包括各种元件,例如转向系统132、油门134、制动单元136、计算机视觉系统140、路线控制系统142以及障碍规避系统144等。其中,转向系统132可操作来调整车辆100的前进方向,例如方向盘系统。油门134用于控制引擎118的操作速度并进而控制车辆100的速度。制动单元136用于控制车辆100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中,制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制车辆100的速度。计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(Structure fromMotion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。路线控制系统142用于确定车辆100的行驶路线。在一些实施例中,路线控制系统142可结合来自传感器、定位系统122和一个或多个预定地图的数据以为车辆100确定行驶路线。障碍规避系统144用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。当然,在一些实施例中,控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。

车辆100可通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。其中,无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统146可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE,或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless localareanetwork,WLAN)通信。在一些实施例中,无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备。

在一些实施例中,外围设备108提供车辆100的用户与用户接口116交互的手段。例如,车载电脑148可向车辆100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中,外围设备108可提供用于车辆100与位于车内的其它设备通信的手段。例如,麦克风150可从车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向车辆100的用户输出音频。电源110可向车辆100的各种组件提供电力。在一个实施例中,电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源,从而为车辆100的各种组件提供电力。在一些实施例中,电源110和能量源119可一起实现,例如一些全电动车中那样。

车辆100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113,处理器113执行存储在例如数据存储装置114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。

处理器113可以是任何常规的处理器,诸如商业可获得的中央处理单元(CentralProcessing Unit,CPU)。可选地,该处理器可以是诸如专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同物理外壳中的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机系统、或存储器实际上可以包括可以存储在相同的物理外壳内的多个处理器、计算机系统、或存储器,或者包括可以不存储在相同的物理外壳内的多个处理器、计算机系统、或存储器。例如,存储器可以是硬盘驱动器,或位于不同于物理外壳内的其它存储介质。因此,对处理器或计算机系统的引用将被理解为包括对可以并行操作的处理器或计算机系统或存储器的集合的引用,或者可以不并行操作的处理器或计算机系统或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。

在此处所描述的各个方面中,处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。

在一些实施例中,数据存储装置114可包含指令115(例如,程序逻辑),指令115可被处理器113执行来执行车辆100的各种功能,包括以上描述的那些功能。数据存储装置114也可包含额外的指令,包括向行进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。除了指令115以外,数据存储装置114还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息(比如天气状态等)。这些信息可在车辆100自主、半自主和/或手动模式的操作期间被车辆100和计算机系统112使用。作为一种示例,数据存储装置114可以从传感器系统104或车辆100的其他组件获取环境信息,环境信息例如可以为车辆当前所处环境附近是否有绿化带、交通信号灯、行人等,车辆可以通过机器学习算法计算当前所处环境附近是否存在绿化带、交通信号灯、行人等。数据存储装置114还可以存储该车辆自身的状态信息,以及与该车辆有交互的其他车辆的状态信息。状态信息包括但不限于车辆的速度、加速度、航向角等。比如,车辆基于雷达126的测速、测距功能,得到其他车辆与自身之间的距离、其他车辆的速度等。如此,处理器113可从数据存储装置114获取上述环境信息或者状态信息,并基于车辆所处环境的环境信息、车辆自身的状态信息、其他车辆的状态信息,以及传统的基于规则的驾驶策略,得到最终的驾驶策略,以控制车辆进行自动驾驶(比如加速、减速、停止等)。

用户接口116,用于向车辆100的用户提供信息或从其接收信息。可选地,用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备,例如无线通信系统146、车载电脑148、麦克风150和扬声器152中的一个或多个。

计算机系统112可基于从各种子系统(例如,行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可利用来自控制系统106的输入,以便控制转向系统132,从而规避由传感器系统104和障碍规避系统144检测到的障碍物。在一些实施例中,计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。

可选地,上述这些组件中的一个或多个可与车辆100分开安装或关联。例如,数据存储装置114可以部分或完全地与车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。需要说明的是,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1不应理解为对本申请实施例的限制。

在本申请的一些实施例中,车辆还可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。

上述车辆100可以为轿车、越野车、跑车、载货汽车、公共汽车、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车等,对此本申请实施例不作任何限制。

本申请实施例的车辆100具有智能驾驶或者自动驾驶功能,车辆的自动驾驶等级用于指示自动驾驶车辆的智能化程度、自动化程度。目前按照美国汽车工程师协会SAE的标准,将车辆的自动驾驶等级分为6个等级:无自动化(L0)、驾驶支援(L1)、部分自动化(L2)、有条件自动化(L3)、高度自动化(L4)和完全自动化(L5)。

基于对上述车辆的功能介绍,自动驾驶车辆/辅助驾驶车辆可通过传感器系统获取车辆所在的环境图像,可基于图像识别算法确定车辆当前的天气状态,若车辆当前的天气状态不佳,例如雨雪天气、雾天天气,可对车辆进行相应天气状态的控制,例如天气状态不佳时,降低车辆的自动驾驶等级,或者,发出告警信息。然而,存在一种特殊情况,车辆在冬天行驶过程中,由于室内外温差较大,车辆内侧的挡风玻璃容易起雾,该场景与天气状态为雾天的场景类似,为了确保行车安全,车辆会按照天气状态不佳的情况作相应的控制操作,例如降低自动驾驶等级。本领域技术人员可以理解,如果是车辆的挡风玻璃起雾,可以通过启动除雾装置消除,例如开启车内空调,而无需降低车辆的自动驾驶等级。由此可见,针对雾天天气和车辆挡风玻璃起雾这两种场景,如果不加以区分,可能造成对自动驾驶车辆的系统资源的浪费。

为了解决上述技术问题,本申请实施例提供一种检测方法,自动驾驶车辆100或者与自动驾驶车辆100相关联的计算设备(如图1的计算机系统112、计算机视觉系统140、数据存储装置114)可以基于采集的环境图像的图像特征,确定车辆当前的状态信息,执行相应的控制操作。车辆100可基于环境图像中的目标物体(例如固定在车辆外部的物体、道路上的其他车辆、车道线、交通信号灯、天空等)的图像特征,确定车辆100当前所处环境的天气状态(例如晴天、阴天、雨天、雾天、雪天等)。或者,车辆100可基于环境图像中的上述目标物体的图像特征,确定车辆100的挡风玻璃是否起雾。车辆100在确定车辆当前的状态信息后,基于确定的状态信息作相应的控制操作,不同状态信息可对应不同的控制操作。作为一种示例,车辆100在确定当前所处环境为雾天时,对环境图像进行去雾处理,或者降低自动驾驶等级,或者降低车速等。作为另一种示例,车辆100在确定车辆挡风玻璃起雾时,控制车辆上的其他装置启动或关闭,例如控制车内的除雾装置或者车窗升降装置启动。

下面采用具体的实施例对本申请的检测方法进行详细说明,需要说明的是,下面几个具体实施例可以相互结合,对于相同或相似的内容,在不同的实施例中不再进行重复说明。

图2为本申请实施例提供的一种检测方法的流程图。如图2所示,本实施例提供的检测方法,包括如下步骤:

步骤201、获取来自至少一个图像采集装置的至少一帧环境图像,环境图像用于呈现第一终端所在的环境的信息。

本实施例的第一终端可以为具有自动驾驶功能的车辆、船、飞机、航天器等,该第一终端当前处于完全或部分自动驾驶模式。第一终端可以在处于完全自动驾驶模式时,基于环境图像实现自动控制。或者第一终端可以在处于部分自动驾驶模式时,基于环境图像做初步判断后,通过人机交互获取用户的控制指令,实现半自动控制。

需要指出的是,本实施例的第一终端具有一封闭空间,该封闭空间的组件至少包括玻璃,用户在该封闭空间通过玻璃观察第一终端的周围环境。例如,用户可通过车辆的前挡风玻璃、左右两侧的挡风玻璃或者后挡风玻璃,观察车辆周围的道路状况、天气状况等。

为了实现第一终端的智能控制功能,可在第一终端内部的封闭空间设置至少一个图像采集装置。图像采集装置可以包括单目相机(Monocular)、双目相机(Stereo)、深度相机(RGB-D)以及它们的各种组合。单目相机的结构简单、成本低,但单张图像无法确定深度信息;双目相机由两个单目相机组成,这两个相机之间的距离是已知的,可基于两个相机的相对位置确定物体距离任一相机的距离;深度相机可以通过红外结构光或飞行时间测距法(Time-of-Flight,ToF),通过主动向物体发射光并接收返回的光,测量物体距离相机的距离。可选地,图像采集装置还可以包括摄像机。

本实施例的图像采集装置采集的环境图像为可见光图像,用于呈现第一终端所在环境的信息,例如包括道路状况(其他车辆、行人等障碍物,车道线、停止线、车道边线、人行横道、交通信号灯、交通标识、绿化带等道路信息)、天气状况(晴天、阴天、雨天、雪天、雾天等)。

以第一终端为车辆进行举例,图3示出了图像采集装置在车辆内部的空间示意图。如图3所示,图像采集装置可以设置在车辆100的前排驾驶区域301,例如主驾驶的顶部或者副驾驶的顶部,用于采集车辆100前方的环境图像;还可以设置在车辆100的后排乘坐区域302,例如后排左侧或者右侧的顶部,用于采集车辆100左侧或者右侧的环境图像,又例如后排中间靠后的顶部,用于采集车辆100后方的环境图像。

步骤202、根据至少一帧环境图像,确定第一终端的状态信息。

其中,状态信息包括以下中的至少一个:

第一终端的玻璃是否起雾,或者,第一终端所在的环境的天气状态。

第一终端所在的环境的天气状态包括浓雾、薄雾或者正常中的任意一个。

环境中的雾气对相机成像和检测产生影响,可通过对雾的包络范围、粒径、密度、能见度等进行描述,确定是浓雾、薄雾还是正常。其中,包络范围是空间体积的概念,无固定标准;雾的粒径通常为1um~15um;密度包含含水量和数密度两个指标,取值范围分别为0.1g/m

需要指出的是,能见度的大小主要由两个因素决定:一是目标物与衬托目标物的背景(例如天空)之间的亮度差异,差异越大(小),能见度越大(小);二是大气透明度,观测者(或图像采集装置)与目标物之间的气层能减弱前述的亮度差异,大气透明度越差(好),能见度越小(大)。雾天、烟、沙尘、大雪、毛毛雨等天气现象可使大气浑浊,透明度变差。

表1示出了能见度与天气的定性描述关系表,由表1可知,能见度的数值越低,能见度越差,雾气浓度越高。需要说明的是,表1仅仅是一种示例性的说明,以表征对应关系,本申请不对具体的对应情况进行限定。上述对应关系也可以通过其他形式表征,不仅仅局限于表格。

表1

为了简单起见,可将能见度在10km以上的天气定义为正常天气,能见度在10km以下的天气定义为雾天天气。根据图像识别算法效果能力的差异,可以对雾天天气设置不同的分类,例如分为薄雾和浓雾,又或者分为薄雾、雾、大雾、浓雾、强浓雾,对此本实施例不作任何限制。示例性的,可将能见度在10km-1km的天气定义为薄雾天气,能见度在1km以下的天气都定义为浓雾天气。

第一终端通过图像识别算法确定环境图像的能见度,根据能见度确定第一终端所在环境的天气状态。例如,第一终端根据图像清晰度确定能见度,又例如,第一终端根据图像中目标物体与天空背景的亮度差异确定能见度,再例如,第一终端根据图像的灰白程度确定能见度,这是由于雾总是灰白色的,因此在有雾的图像中,本应该很暗的物体就会变得灰白,雾气浓度越大,灰白程度越高。

作为一种示例,上述正常的天气状态包括晴天、雾气浓度很低(例如能见度在10km以上)的天气,非正常天气包括浓雾天气或薄雾天气。本实施例通过图像识别算法可区分上述正常天气状态和非正常天气状态。应理解,非正常天气状态还可以包括雨天、雪天等。在一些实施例中,第一终端可通过更新图像识别算法,对第一终端所在的环境的天气状态进行更详细的判定,用于区分雨天、雪天、雾天等。

本步骤主要用于区分第一终端的玻璃起雾与第一终端所在的环境为雾天这两种场景。对此,本实施例提供如下的三种实现方式:

第一种实现方式通过分析单帧环境图像(例如至少一帧环境图像中的第一环境图像)中至少两个目标物体的亮度变化规律,确定第一终端当前的状态信息。以两个目标物体(两个检测点)为例,如果两个目标物体的亮度衰减的差值大于或等于预设阈值,可认为两个目标物体的亮度变化规律不一致,可确定第一终端的挡风玻璃起雾;如果两个目标物体的亮度衰减的差值小于预设阈值,可认为两个目标物体的亮度变化规律一致,可以进一步确认第一终端所在环境的天气状态(薄雾还是浓雾)。

应理解,任意目标物体具有一内在亮度,在大气环境的影响下,第一终端的图像采集装置采集到的该目标物体的表面亮度将小于该内在亮度,即存在一定的亮度衰减。亮度衰减主要受大气环境的影响,环境质量越差亮度衰减越大,例如雾天环境,雾气浓度越大亮度衰减越大。如果两个目标物体的亮度变化规律不一致,即两个目标物体受大气环境的影响不一致,可认为这两个目标物体不在同一环境中,这种情况极有可能是车内环境(例如车内玻璃起雾)造成的,可确定第一终端的挡风玻璃起雾。如果两个目标物体的亮度变化规律一致,即两个目标物体受大气环境的影响一致,可认为两个目标物体处于同一环境中,可进一步确定第一终端所在环境的天气状态。

第二种实现方式通过分析单帧环境图像(例如至少一帧环境图像中的第一环境图像)中近端目标物体的图像质量,确定第一终端当前的状态信息。如果近端目标物体的图像质量参数满足预设条件,则可以进一步确认第一终端所在环境的天气状态(薄雾还是浓雾);如果近端目标物体的图像质量参数不满足预设条件,则认为第一终端的挡风玻璃起雾。

需要说明的是,可以通过多种方法来判断环境图像的图像质量,包括但不限于清晰度、信噪比、色彩情况、白平衡、畸变情况、运动影响等。清晰度是指图像上各个细节部分纹路和其边界的清晰程度,可以有多种方法来进行评价,具体可参见下文。本申请实施例示出了通过分析环境图像中近端目标物体的清晰度,确定所在环境的天气状态或是否挡风玻璃起雾。当然,还可以基于上述其他图像质量确定所在环境的天气状态或是否挡风玻璃起雾,本申请对此不作任何限制。

第三种实现方式通过分析同一图像采集装置采集的多帧环境图像中的同一目标物体的亮度变化规律或者上述图像质量,确定第一终端当前的状态信息。以两帧环境图像为例,如果两帧环境图像中同一目标物体的亮度变化规律一致,或者,两帧环境图像中的同一目标物体的图像质量差值落在一定数值范围内,可认为两帧环境图像中同一目标物体的图像质量一致或相同,则认为第一终端的挡风玻璃起雾;如果两帧环境图像中同一目标物体的亮度变化规律不一致,或者,两帧环境图像中的同一目标物体的图像质量差值落在一定数值范围之外,可认为两帧环境图像中同一目标物体的图像质量不一致或不相同,则可以进一步确认第一终端所在环境的天气状态(薄雾还是浓雾)。

下面结合附图4对步骤202的第一种实现方式进行详细说明。该实现方式中,环境图像呈现的环境包括至少两个目标物体以及天空。其中,至少两个目标物体,可以是车辆、行人等移动物体,也可以是交通信号灯、指示牌、绿化带、车道线等固定物体,对此本实施例不作任何限制。

图4为本申请实施例提供的一种确定第一终端状态信息的流程图,如图4所示,上述步骤202具体包括:

步骤301、获取单帧环境图像中至少两个目标物体的亮度信息、天空的亮度信息以及至少两个目标物体的深度信息。

在本申请实施例中,单帧环境图像可以是至少一个图像采集装置采集的至少一帧环境图像中的某一帧环境图像,例如第一帧环境图像,这里的“第一”并不代表时序关系,而是某一图像采集装置采集的任意一帧环境图像。可选的,所述第一帧环境图像也可以为所述至少一帧环境图像中满足预设条件或者规则的帧环境图像,这里不对预设条件或者规则进行具体限定。

目标物体在大气中的亮度满足Koschmieder定律:

L=L

式中,L表示目标物体的表面亮度,L

目标物体的亮度信息包括目标物体的表面亮度和内在亮度。第一终端通过提取环境图像中目标物体对应的图像块的亮度值,获取该目标物体的表面亮度,即上式中的L。不同类型的目标物体对应的内在亮度不同,第一终端可预存不同类型目标物体的内在亮度值。同样的,第一终端通过提取环境图像中天空对应的图像块的亮度值,获取天空的亮度信息,即上式中的L

这里需要说明的是,目标物体的亮度信息以及消光系数等参数也不仅仅限定上述Koschmieder定律,还可以包括Allard大气灯光照度传输定律、Mie散射理论等,这些都是可以作为消光系数计算的基础,对此本申请实施例不作任何限制。

步骤302、根据单帧环境图像中的至少两个目标物体的亮度信息、天空的亮度信息以及至少两个目标物体的深度信息,确定第一终端的状态信息。

对于同一目标物体,目标物体的亮度信息、天空的亮度信息以及目标物体的深度信息共同指示了目标物体在大气中的亮度损失程度。具体的,当已知目标物体的亮度信息、天空的亮度信息以及目标物体的深度信息,可基于上述Koschmieder定律计算得到目标物体对应的消光系数,消光系数用于指示目标物体在大气中的亮度损失程度。

在本步骤中,可基于上述Koschmieder定律确定至少两个目标物体对应的消光系数。以两个目标物体为例,第一终端可根据这两个目标物体对应的消光系数,确定第一终端的状态信息。具体的,判断两个目标物体对应的消光系数的差值是否小于第一阈值,如果差值小于或者等于第一阈值,则认为两个目标物体对应的消光系数是一致的(或者说是相同的),可进一步确定第一终端所在环境的天气状态是否为雾天,是浓雾还是薄雾;如果差值大于第一阈值,则认为两个目标物体对应的消光系数是不一致的(或者说是不同的),确定第一终端的玻璃起雾。需要指出的是,上述第一阈值可根据经验进行设置,也可根据实际检测效果对该阈值进行微调,对于设置方式本申请实施例不作任何限制。

对于多个目标物体,第一终端可根据多个目标物体对应的消光系数,确定第一终端的状态信息。具体的,判断多个目标物体对应的消光系数是否一致,如果多个目标物体对应的消光系数中的任意两个的差值均小于第一阈值,则认为多个目标物体对应的消光系数是一致的,可进一步确定第一终端所在环境的天气状态;如果多个目标物体中存在至少一组目标物体,每组目标物体中任意两个目标物体对应的消光系数大于或等于第一阈值,则认为多个目标物体对应的消光系数是不一致的,确定第一终端的玻璃起雾。

应理解,如果第一终端的某一区域的玻璃起雾,该区域内目标物体将不符合亮度变化规律,不论该区域目标物体的远近,该区域目标物体计算出来的消光系数与除该区域之外的其他目标物体计算出来的消光系数的差异较大(即该区域目标物体对应的消光系数与其他区域目标物体对应的消光系数的差值大于第一阈值),通过本实施例的上述判断过程使得第一终端具备检测第一终端玻璃是否起雾的能力,提升第一终端的智能化程度。

本实施例提供的检测方法,通过获取来自至少一个图像采集装置的单帧环境图像,判断该环境图像中两个或多个目标物体对应的消光系数是否一致,如果两个或多个目标物体对应的消光系数不一致,可确定第一终端的玻璃起雾。上述判断过程使得第一终端具备检测第一终端玻璃是否起雾的能力,实现对环境天气下的雾天和玻璃起雾的区分,提升了第一终端的智能化程度。

下面结合附图5步骤202的第二种实现方式进行详细说明。该实现方式中,环境图像呈现的环境包括至少一个近端目标物体,其中近端目标物体包括第一终端外部的、与第一终端距离小于预设距离的物体。以第一终端为车辆为例,近端目标物体可以是车辆的前、后引擎盖,固定在引擎盖上的任意物体,车辆左右两侧的后视镜等近距离目标物体。具体的,可在近端目标物体上设置标定物,例如在车辆前引擎盖上设置红点或打叉等,第一终端基于图像采集装置(例如相机)采集的环境图像,通过识别环境图像中的标定物确定近端目标物体。

图5为本申请实施例提供的一种确定第一终端状态信息的流程图,如图5所示,上述步骤202具体包括:

步骤401、获取单帧环境图像中至少一个近端目标物体的清晰度值。

与图4所示实施例类似,本申请实施例的单帧环境图像同样可以是至少一个图像采集装置采集的至少一帧环境图像中的某一帧环境图像,例如第一帧环境图像,这里的“第一帧”并不代表时序关系,可以是某一图像采集装置采集的任意一帧环境图像。

在无参考图像的质量评价中,图像的清晰度是衡量图像优劣的重要指标,它能够较好的与人的主观感受相对应,图像的清晰度不高表现出图像的模糊。第一终端可基于任意一种清晰度算法,获取环境图像中至少一个近端目标物体的清晰度值,可采用如下几种较为常用的、具有代表性的清晰度算法:Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、SMD(灰度方差)函数、方差函数、能量梯度函数等。本申请不做具体限定,以能够获取清晰度值为准。

作为一种示例,第一终端可以通过Brenner梯度函数获取环境图像中至少一个近端目标物体的清晰度值,该函数用于计算相邻两个像素灰度差的平方,可表示为:

D=∑

式中,x,y表示像素坐标,f(x,y)表示对应点(x,y)的灰度值,D表示图像清晰度值。

第一终端可基于上述Brenner梯度函数,通过获取至少一个近端目标物体对应的图像块的灰度值确定至少一个近端目标物体的清晰度值。

步骤402、根据单帧环境图像中的至少一个近端目标物体的清晰度值,确定第一终端的状态信息。

以一个近端目标物体为例,第一终端通过比较近端目标物体的清晰度值与预设清晰度阈值的大小关系,确定第一终端的状态信息。如果近端目标物体的清晰度值小于或者等于预设清晰度阈值,则确定第一终端的玻璃起雾;如果近端目标物体的清晰度值大于预设清晰度阈值,可进一步确定第一终端所在环境的天气状态。需要指出的是,上述清晰度阈值可根据经验进行设置,也可根据实际检测效果对该阈值进行微调,对于设置方式本申请实施例不作任何限制。

本实施例提供的检测方法,通过获取来自至少一个图像采集装置的单帧环境图像,判断该环境图像中近端目标物体的图像清晰度,根据图像清晰度确定第一终端的玻璃是否起雾。上述判断过程使得第一终端具备检测第一终端玻璃是否起雾的能力,实现对环境天气下的雾天和玻璃起雾的区分,提升了第一终端的智能化程度。

可选的,在上述各实施例的基础上,第一种终端在确定第一终端的玻璃起雾时,可控制第一终端内部的除雾装置(例如车载新风系统、空调)启动,或者,控制车窗升降装置启动,或者,发出告警信息(可通过屏幕显示、语音播报或者震动等方式发出告警)。前两种方式可直接消除第一终端玻璃上的雾气,实现终端内外温差的平衡,保证第一终端的行驶安全。后一种方式中,用户可以根据告警信息进行人工干预,保证第一终端的行驶安全。

上述几个实施例都是基于图像采集装置采集的单帧的环境图像,进行终端环境的检测。下面一个实施例示出了基于图像采集装置采集的多帧的环境图像,进行终端环境的检测。

下面结合附图6对步骤202的第三种实现方式进行详细说明。通过对多帧的环境图像的图像分析,确定第一终端的玻璃是否起雾,或者按照环境天气的检测方法进行处理。

图6为本申请实施例提供的一种确定第一终端状态信息的流程图。如图6所示,本实施例提供的检测方法,包括如下步骤:

步骤501、获取来自至少一个图像采集装置的多帧环境图像,环境图像用于呈现第一终端所在的环境的信息。

本步骤的实现过程同上述实施例的步骤201,区别仅在于获取的环境图像为多帧,具体可参见上述实施例,此处不再赘述。

步骤502、根据多帧环境图像,确定第一终端的状态信息。

在本步骤中,多帧环境图像均来自于同一图像采集装置,根据同一图像采集装置的多帧环境图像,确定第一终端的状态信息。在实际应用中,可以根据不同需求设定多帧的具体数量,例如根据预设采样间隔获取连续的5帧环境图像。

其中,状态信息包含以下中的至少一个:

第一终端的玻璃是否起雾,或者,第一终端所在的环境的天气状态。

在本实施例中,环境图像呈现的环境包括至少一个目标物体。第一终端根据多帧环境图像,确定第一终端的状态信息,包括如下的两种实现方式:

第一种实现方式通过分析多帧环境图像中的至少一个目标物体的亮度变化规律,确定第一终端当前的状态信息。如果多帧环境图像中的同一目标物体的亮度衰减的差值小于预设阈值,可认为该目标物体在多帧环境图像的亮度变化规律一致,可确定第一终端的挡风玻璃起雾;如果多帧环境图像中的同一目标物体的亮度衰减的差值大于或等于预设阈值,可认为该目标物体在多帧环境图像的亮度变化规律不一致,可以进一步确认第一终端所在环境的天气状态(薄雾还是浓雾)。

第二种实现方式通过分析多帧环境图像中的至少一个目标物体的图像质量,确定第一终端当前的状态信息。如果多帧环境图像中的同一目标物体的图像质量参数的差值小于预设阈值,可认为该目标物体在多帧环境图像的图像质量表现一致,可确定第一终端的挡风玻璃起雾;如果多帧环境图像中的同一目标物体的图像质量参数的差值大于或等于预设阈值,可认为该目标物体在多帧环境图像的图像质量表现不一致,则可以进一步确认第一终端所在环境的天气状态(薄雾还是浓雾)。上述的图像质量参数包括但不限于清晰度、信噪比、色彩情况、白平衡、畸形情况、运动影响等。

具体的,在本实施例的第一种实现方式中,步骤502具体包括:

根据至少一个目标物体在多帧环境图像中的消光系数,确定状态信息。

针对多帧环境图像中的同一目标物体,该目标物体在每一帧的环境图像中的消光系数是通过该目标物体的亮度信息、天空的亮度信息以及该目标物体的深度信息确定的。消光系数的计算过程同上述实施例的步骤301,具体可参见上述实施例,此处不再赘述。

以环境图像呈现的环境包括一个目标物体为例,第一终端在确定多帧环境图像中的同一目标物体的消光系数之后,根据多帧环境图像中的任意两帧的环境图像的同一目标物体的消光系数的差值,确定第一终端的状态信息。如果多帧环境图像中的任意两帧的环境图像的同一目标物体的消光系数的差值均小于或者等于第四阈值,可认为该目标物体在多帧环境图像中的消光系数一致或相同,可确定第一终端的玻璃起雾。如果多帧环境图像中存在两帧环境图像的同一目标物体的消光系数的差值大于第四阈值,可认为该目标物体在多帧环境图像中的消光系数不一致或不相同,可进一步确定第一终端所在环境的天气状态是否为雾天,是浓雾还是薄雾,具体可参见图7实施例。需要指出的是,上述第四阈值可根据经验进行设置,也可根据实际检测效果对该阈值进行微调,对于设置方式本申请实施例不作任何限制。

在一些实施例中,第一终端可判断多帧环境图像中的多个目标物体的消光系数的变化情况,如果多个目标物体中的每一个目标物体在多帧环境图像中的消光系数均一致或相同,则认为第一终端的玻璃起雾,相较于判断多帧环境图像中的一个目标物体,该检测方法的准确性更高。

具体的,在本实施例的第二种实现方式中,步骤502具体包括:

根据至少一个目标物体在多帧环境图像中的清晰度值,确定状态信息。

针对多帧环境图像中的同一目标物体,该目标物体在每一帧的环境图像中的清晰度值是通过该目标物体对应的图像块的灰度值确定的。清晰度值的计算过程同上述实施例的步骤401,具体可参见上述实施例,此处不再赘述。

以环境图像呈现的环境包括一个目标物体为例,第一终端在确定多帧环境图像中的同一目标物体的清晰度值之后,根据多帧环境图像中的同一目标物体的清晰度值的差值,确定第一终端的状态信息。具体的,如果多帧环境图像中任意两帧环境图像的同一目标物体的清晰度值的差值均小于或者等于第五阈值,可认为该目标物体在多帧环境图像中的清晰度值一致或相同,可确定第一终端的玻璃起雾。如果多帧环境图像中存在两帧环境图像的同一目标物体的清晰度值的差值大于第五阈值,可认为该目标物体在多帧环境图像中的清晰度值不一致或不相同,可进一步确定第一终端所在环境的天气状态是否为雾天,是浓雾还是薄雾,具体可参见图7实施例。需要指出的是,上述第五阈值可根据经验进行设置,也可根据实际检测效果对该阈值进行微调,对于设置方式本申请实施例不作任何限制。

可选的,多帧环境图像中选取的目标物体可以是近端目标物体,近端目标物体包括第一终端外部的、与第一终端距离小于预设距离的物体。

可选的,可根据实际需求预先设置获取多帧环境图像的数量和获取多帧环境图像的时间间隔。例如,设置间隔0.1s获取一帧环境图像,第一终端可根据连续的5帧环境图像进行环境检测。

需要说明的是,第一终端不论执行图4、图5、图6所示的判断过程,均存在如下情况:需要进一步确定第一终端所在环境的天气状态,可按照环境天气的检测方法进行处理。下面结合附图7对雾天环境的判断过程进行详细说明。

应理解,不同图像采集装置的拍摄视角不同,因此在确定第一终端的状态信息时,作为一种可选的方案,可以根据不同视角的图像采集装置采集的多帧环境图像,进行综合判断,确定第一终端的状态信息。以两个图像采集装置为例,分别为第一图像采集装置和第二图像采集装置,步骤502,可以包括:根据第一图像采集装置的多帧环境图像,确定第一终端的第一状态信息;根据第二图像采集装置的多帧环境图像,确定第一终端的第二状态信息;根据第一状态信息和第二状态信息,确定第一终端的状态信息。

作为一种示例,若第一状态信息和第二状态信息相同(例如玻璃起雾),则第一终端的状态信息为玻璃起雾;若第一状态信息和第二状态信息不同(例如第一状态信息为玻璃起雾,第二状态信息为环境雾天),可根据图像采集装置的权重确定第一终端的状态信息(例如第一图像采集装置的权重大于第二图像采集装置的权重,则确定第一终端的状态信息为第一状态信息(玻璃起雾)。)其中,图像采集装置的权重是与图像采集装置的硬件性能相关,硬件性能越强,权重值越大。需要说明的是,上述方案仅仅是一种示例性的描述,本申请实施例不对上述判断规则进行限定。

图7为本申请实施例提供的一种确定第一终端天气状态的流程图。如图7所示,本实施例提供的检测方法包括:

步骤601、获取至少一个图像采集装置的任意一帧环境图像的饱和度和明度。

在本实施例中,第一终端通过HSV颜色模型(Hue,Saturation,Value)获取环境图像整体的饱和度S和明度V。其中,饱和度S表示环境图像的颜色接近光谱色的程度。对于某一种颜色,可以看成是某种光谱色与白色混合的结果,光谱色所占的比例越大,颜色接近光谱色的程度就越高,颜色的饱和度就越高。明度V表示环境图像颜色的明亮程度。S和V的取值范围均为0%~100%。

步骤602、根据明度和饱和度的比值,确定第一终端所在的环境的天气状态。

相较于正常天气状态,在雾天环境下,环境图像的明度和饱和度的比值V/S较大。因此可以根据该比值确定天气状态是否为雾天,是薄雾天气还是浓雾天气。具体的,如果该比值大于或者等于第二阈值,则确定第一终端所在的环境的天气状态为浓雾天气;如果该比值大于第三阈值且小于第二阈值,则确定第一终端所在的环境的天气状态为薄雾天气;如果该比值小于或者等于第三阈值,则确定第一终端所在的环境的天气状态为正常天气(雾很少或者无雾)。需要指出的是,上述的第二阈值和第三阈值可根据经验进行设置,也可根据实际检测效果对该阈值进行微调,对于设置方式本申请实施例不作任何限制。

可选的,第一终端可根据确定的天气状态执行相应的控制操作。在本实施例中,不同浓度等级的雾天环境可对应不同的控制操作。

当第一终端确定天气状态为浓雾天气时,第一终端控制自身的驾驶状态(例如将驾驶状态由全自动驾驶状态切换为半自动驾驶状态,即降低第一终端的自动驾驶等级),或者,第一终端输出信息到车载控制器,由车载控制器向第一终端的相关装置发送控制指令,例如车载控制器向第一终端的雾灯发送开启指令。

当第一终端确定天气状态为薄雾天气时,第一终端对环境图像进行去雾处理,然后将经过去雾后处理后的图像数据送入检测模块进行道路检测,根据道路检测结果执行相应的驾驶策略(例如加速、减速、停车),当然也可以不执行任何操作(例如维持当前的驾驶状态),或者按照上述浓雾天气的方式来处理(例如降低第一终端的自动驾驶等级)。

当第一终端确定天气状态为正常天气时,第一终端可直接根据环境图像进行道路检测,具体可参见上文,此处不再赘述。

可选的,第一终端可通过更新图像识别算法,对第一终端所在的环境的天气状态进行更详细的判定,例如增加对非正常天气的识别,区分雾天、雨天、雪天等。针对不同的非正常天气执行不同的控制操作。例如,当第一终端确定天气状态为雨天天气时,第一终端可输出信息到车载控制器,由车载控制器向第一终端的雨刷器发送开启指令,还可以根据雨量的大小,智能调节雨刷器的频率。

本实施例提供的检测方法,通过计算环境图像的饱和度和明度,基于明度与饱和度的比值确定环境天气为雾天的浓度等级。上述判断过程使得第一终端具备检测雾天环境的能力,并根据雾天的浓度等级执行相应的控制操作。在雾天浓度不高的情况下,无需切换第一终端的驾驶状态,可通过图像处理算法对环境图像进行去雾处理,从而避免对控制系统资源的浪费。

综上可知,如果无法有效的区分环境天气下的雾天和玻璃起雾,第一终端很有可能对玻璃起雾的情况进行去雾算法或者降低自动驾驶等级等处理,造成控制系统资源的浪费,或者将环境天气下的雾天当作玻璃起雾,导致开启除雾装置而没有效果。基于上述实施例提供的检测方法,第一终端能够快速识别其状态信息,并根据不同的状态信息执行相应的控制操作,提升第一终端的智能化程度。

需要说明的是,上述各个方法实施例的执行主体可以是第一终端(例如自动驾驶车辆)或者第一终端上的部件(例如检测装置、芯片、控制器或者控制单元),还可以是与第一终端通信连接的云端设备,对此本申请实施例不做任何限制。作为一种示例,上述检测装置可以是图像采集装置(例如摄像头设备),上述控制器可以是多域控制器(Multi DomainControl,MDC),上述控制单元可以是电子控制单元(Electronic Control Unit,ECU),也称为行车电脑。

以第一终端上的检测装置为例,本申请实施例可以根据上述方法实施例对检测装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以使用硬件的形式实现,也可以使用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以使用对应各个功能划分各个功能模块为例进行说明。下述检测装置也可以替代为芯片、控制器或者控制单元等可能的执行主体。

图8为本申请实施例提供的一种检测装置的结构示意图。如图8所示,本申请实施例提供的检测装置700,包括:

获取模块701,用于获取来自至少一个图像采集装置的至少一帧环境图像,所述环境图像用于呈现第一终端所在的环境的信息;

处理模块702,用于根据所述至少一帧环境图像,确定所述第一终端的状态信息,所述状态信息包含以下中的至少一个:

所述第一终端的玻璃是否起雾,或者

所述第一终端所在的所述环境的天气状态。

可选的,所述天气状态包括浓雾、薄雾或者正常中的任意一个。

可选的,所述状态信息包含所述第一终端的玻璃是否起雾,所述环境图像呈现的所述环境包含至少两个目标物体以及天空;

所述处理模块702,具体用于根据所述至少一帧环境图像中的第一环境图像中的至少两个目标物体的亮度信息、天空的亮度信息以及所述至少两个目标物体的深度信息,确定所述状态信息。

可选的,所述处理模块702确定所述第一终端的玻璃起雾,其中,在所述第一环境图像中,所述至少两个目标物体中存在至少一组目标物体,所述每组目标物体中任意两个目标物体对应的消光系数的差值大于第一阈值,所述消光系数是通过所述目标物体的亮度信息、所述天空的亮度信息以及所述目标物体的深度信息确定的,所述消光系数用于指示所述目标物体在大气中的亮度损失程度。

可选的,所述状态信息包括所述第一终端的玻璃是否起雾,所述环境图像呈现的所述环境包括至少一个近端目标物体,所述近端目标物体包括所述第一终端外部的、与所述第一终端距离小于预设距离的物体;

所述处理模块702,具体用于根据所述至少一帧环境图像中的第一环境图像中的至少一个近端目标物体的清晰度值,确定所述状态信息;

其中,所述至少一个近端目标物体的清晰度值是通过所述至少一个近端目标物体对应的图像块的灰度值确定的。

可选的,所述处理模块702确定所述第一终端的玻璃起雾,在所述第一环境图像中,至少存在一个近端目标物体的清晰度值小于或者等于预设清晰度阈值。

可选的,所述获取模块701,具体用于获取来自至少一个图像采集装置的多帧环境图像;

所述处理模块702,具体用于根据所述多帧环境图像,确定所述第一终端的状态信息。

可选的,所述状态信息包括所述第一终端的玻璃是否起雾,所述环境图像呈现的所述环境包括至少一个目标物体;

所述处理模块702,具体用于根据所述至少一个目标物体在所述多帧环境图像中的消光系数或者清晰度值,确定所述状态信息;

其中,所述至少一个目标物体在每一帧的环境图像中的消光系数是通过所述至少一个目标物体的亮度信息、所述天空的亮度信息以及所述至少一个目标物体的深度信息确定的;所述至少一个目标物体在每一帧的环境图像中的清晰度值是通过所述至少一个目标物体对应的图像块的灰度值确定的。

可选的,所述处理模块702确定所述第一终端的玻璃起雾,其中,所述多帧环境图像中的任意两帧的环境图像的同一目标物体的消光系数的差值均小于或者等于第四阈值。

可选的,所述处理模块702确定所述第一终端的玻璃起雾,其中,所述多帧环境图像中的任意两帧的环境图像中的同一目标物体的清晰度值的差值均小于或者等于第五阈值。

可选的,所述同一目标物体为同一近端目标物体,所述近端目标物体包括所述第一终端外部的、与所述第一终端距离小于预设距离的物体。

可选的,所述处理模块702在确定所述第一终端的玻璃起雾时,还用于:

控制车内的除雾装置启动,或者,控制车窗升降装置启动,或者,发出告警信息。

可选的,在所述处理模块702确定所述第一终端的玻璃没有起雾时,所述获取模块701,还用于:

获取至少一个图像采集装置的任意一帧环境图像的饱和度和明度;

所述处理模块702,还用于根据所述明度与所述饱和度的比值,确定所述第一终端所在的所述环境的天气状态。

可选的,所述天气状态为浓雾时,所述比值大于或者等于第二阈值;所述天气状态为薄雾时,所述比值大于第三阈值且小于所述第二阈值;和/或

所述天气状态为正常时,所述比值小于或者等于所述第三阈值。

可选的,所述处理模块702,还用于:

确定所述天气状态为浓雾时,控制所述第一终端的驾驶状态或者输出控制信息到车载控制器;或者

确定所述天气状态为薄雾时,对所述环境图像进行去雾处理;或者

确定所述天气状态为正常时,根据所述环境图像进行道路检测。

可选的,本申请实施例提供的检测装置还可以包括通信模块,通信模块用于向第一终端上的除雾装置或车窗升降装置发送控制指令,该控制指令用于控制第一终端车内的除雾装置启动,或者,控制第一终端车窗升降装置启动。或者,通信模块用于向第一终端的显示装置、语音装置或震动装置发出告警信息,可通过屏幕显示、语音播报或者震动等方式发出告警。

本申请实施例提供的检测装置,用于执行前述任一方法实施例的检测方案,其实现原理和技术效果类似,在此不再赘述。

图9为本申请实施例提供的一种检测装置的硬件结构示意图。如图9所示,本申请实施例提供的检测装置800,包括:

至少一个处理器801(图9中仅示出一个处理器)和至少一个存储器802(图9中仅示出一个存储器);

所述至少一个存储器802用于存储计算机执行指令,当所述检测装置800运行时,所述至少一个处理器801执行所述至少一个存储器802存储的所述计算机执行指令,以使所述检测装置800执行前述任一方法实施例的检测方案。

需要说明的是,本申请实施例提供的检测装置800可以设置在第一终端上,也可以设置在云端设备上,对此本申请实施例不作任何限制。

本申请实施例还提供一种计算机存储介质,用于存储计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行前述任一方法实施例中的检测方法。

本申请实施例还提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行前述任一方法实施例中的检测方法。

本申请实施例还提供一种芯片,包括:至少一个处理器和接口,用于从至少一个存储器中调用并运行所述至少一个存储器中存储的计算机程序,执行前述任一方法实施例中的检测方法。

本申请实施例还提供一种自动驾驶系统,其包括前述的一个或多个第一终端,以及一个或多个云端设备,其中第一终端上设置有上述检测装置,或者,云端设备上设置有上述检测装置,以使自动驾驶系统能够区分玻璃起雾和环境天气,提高系统对环境检测的准确性。

本申请实施例还提供一种车辆,该车辆上包含上述检测装置。通过所述检测装置,以使该车辆具备区分玻璃起雾和环境天气的功能,从而控制该车辆上的其他装置(例如除雾装置、车窗升降装置、显示装置、震动装置、语音装置等)启动或关闭。进一步,该车辆还包含至少一个摄像装置和/或至少一个雷达装置。所述雷达装置包含毫米波雷达、激光雷达或超声波雷达中的至少一个。

可选的,该车辆可以为轿车、越野车、跑车、载货汽车、公共汽车、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车等,对此本申请实施例不作任何限制。应理解,本申请实施例中提及的处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。

需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。

应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

还应理解,本文中涉及的第一、第二以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请的范围。

应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 图像质量检测方法、装置、存储介质及产品检测方法
  • 图像质量检测方法、装置、存储介质及产品检测方法
技术分类

06120113298366