掌桥专利:专业的专利平台
掌桥专利
首页

车位识别方法、装置、车辆及存储介质

文献发布时间:2024-04-18 19:52:40


车位识别方法、装置、车辆及存储介质

技术领域

本申请涉及自动驾驶技术领域,更具体地,涉及一种车位识别方法、装置、车辆及计算机可读取存储介质。

背景技术

随着近年自动驾驶技术的飞快发展,高级辅助驾驶系统如雨后春笋般出现,汽车的驾驶体验愈加智能化、轻松化。旨在解决众多新手司机停车难泊车难的自动泊车系统更加充当其中重要的一环。

目前,可以通过车辆上安装的相机采集待检测车位的车位图像,通过对车位图像进行车位线检测,得到车位的车位线检测结果,再根据车位线检测结果确定可以泊车的泊车车位。

然而,当车位的车位线被遮挡时,根据车位线检测结果确定的泊车车位准确率较低,导致根据确定的泊车车位自动泊车过程中存在安全隐患。

发明内容

有鉴于此,本申请提出了一种车位识别方法、装置、车辆及计算机可读取存储介质,以解决上述问题。

第一方面,本申请实施例提供了一种车位识别方法,用于具有相机、激光探测装置以及超声波探测装置的车辆,方法包括:获取相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果;根据车位图像、激光探测结果以及超声波探测结果,确定待裁剪车位;对待裁剪车位进行裁剪,获得预泊车车位;根据车位图像与激光探测结果的融合结果以及预泊车车位,确定车位识别结果。

第二方面,本申请实施例提供了一种车位识别装置,用于具有相机、激光探测装置以及超声波探测装置的车辆,装置包括:获取模块,用于获取相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果;第一确定模块,用于根据车位图像、激光探测结果以及超声波探测结果,确定待裁剪车位;第二确定模块,用于对待裁剪车位进行裁剪,获得预泊车车位;结果确定模块,用于根据车位图像与激光探测结果的融合结果以及预泊车车位,确定车位识别结果。

第三方面,本申请实施例提供了一种车辆,车辆包括:

一个或多个处理器;

存储器;

一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行上述第一方面的方法。

第四方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面的方法。

本申请实施例提供一种车位识别方法、装置、车辆及计算机可读取存储介质,本申请中,结合相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果,确定待裁剪车位,并对待裁剪车位进行裁剪从而确定车位识别结果,由于增加车位裁剪步骤,提高了车位识别结果的准确率,从而降低了根据车位识别结果自动泊车过程中的安全隐患。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了相关技术中一种泊车场景的示意图。

图2示出了一种适用于本申请实施例的车辆硬件环境的示意图。

图3示出了根据本申请一个实施例提出的一种车位识别方法流程图。

图4示出了根据本申请又一个实施例提出的一种车位识别方法的流程图。

图5示出了本申请实施例中一种车位识别过程的示意图。

图6示出了本申请一个实施例提出的一种车位识别装置的结构框图。

图7示出了本申请一个实施例提出的一种车辆的结构框图。

图8示出了本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

如图1所示,车辆101基于背景技术中的手段进行泊车时,车辆102遮住了车位103的部分车位线,使得根据车位图像无法确定被车辆102遮住的部分车位线,导致根据车位图像确定的泊车车位的准确率较低,致使根据确定的泊车车位控制车辆101自动泊车过程,车辆101与车辆102发生碰撞。现有技术的方案未考虑上述场景,缺乏合理的车位裁剪逻辑,容易在实际泊入过程中发生剐蹭现象。

基于此,发明人提出了本申请的车位识别方法、装置、车辆及计算机可读取存储介质,本申请中,结合相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果,确定待裁剪车位,并对待裁剪车位进行裁剪从而确定车位识别结果,由于增加车位裁剪步骤,提高了车位识别结果的准确率,从而降低了根据车位识别结果自动泊车过程中的安全隐患。

参照图2,图2示出了一种适用于本申请实施例的车辆硬件环境的示意图,车辆100包括自动驾驶系统110,自动驾驶系统110可以内置多种自动驾驶功能,自动驾驶系统110根据内置的自动驾驶功能控制车辆自动驾驶,自动驾驶功能例如可以包括自动变道功能、自动超车功能以及自动泊车功能等。

自动驾驶系统110可以包括车载采集装置组111、一个或多个(图中仅示出一个)处理器112以及存储器113。

在本实施例中,车载采集装置组111可以包括相机、激光探测装置以及超声波探测装置,其中,相机可以是指环视相机,激光探测装置可以是指激光雷达(Laser Radar),超声波探测装置可以是指超声波雷达(Ultrasonic radar)。相机采集车辆周围的图像作为车位图像,激光探测装置用于探测车辆周围的环境信息以得到激光点云作为激光探测结果,超声波探测装置用于探测车辆周围的环境信息以得到超声波点云作为超声波探测结果。

处理器112可以时微控制单元(MCU),微控制单元内置存储器113,该存储器113中存储有可以执行下述实施例中内容的程序,而处理器112可以执行该存储器113中存储的程序。

其中,处理器112可以包括一个或者多个处理器。处理器112利用各种接口和线路连接整个车辆100内的各个部分,通过运行或执行存储在存储器113内的指令、程序、代码集或指令集,以及调用存储在存储器113内的数据,执行车辆10的各种功能和处理数据。

存储器113可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器15可用于存储指令、程序、代码、代码集或指令集。存储器15可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。

参照图3,图3示出了根据本申请一个实施例提出的一种车位识别方法流程图,方法用于图2中的车辆,方法包括:

S110、获取相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果。

在本申请中,车辆可以是内置自动驾驶系统电动车或燃油车,车辆可以是轿车、suv、公交车以及货车等。自动驾驶系统可以包括多种自动驾驶功能,车辆通过自动驾驶系统中的各个自动驾驶功能控制车辆进行自动行驶。例如车辆通过自动泊车功能控制车辆自动泊车。

车辆可以包括相机、激光探测装置以及超声波探测装置。当车辆自动泊车功能开启之后,可以通过相机获取车辆图像,通过激光探测装置探测的激光探测结果,通过超声波探测装置探测的超声波探测结果。

在一些实施方式中,相机可以为环视相机,环视相机包括安装在车辆周围的多个相机,每个相机拍摄一个图像,将各个相机拍摄的图像进行融合,得到一个图像,融合后的图像作为车位图像。

在激光探测装置为激光雷达时,激光探测结果可以是激光点云;在超声波探测装置为超声波雷达时,超声波探测结果可以是超声波点云。

本实施例中,可以通过超声波探测装置发射超声波,并接收超声波的回波,根据超声波的回波的距离值以及车辆的位置,确定超声波探测结果。同理,可以通过超声波探测装置发射激光,并接收激光的回波,根据激光的回波的距离值以及车辆的位置,确定激光探测结果。

S120、根据车位图像、激光探测结果以及超声波探测结果,确定待裁剪车位。

在本实施例中,可以通过车位检测模型对车位图像进行分析,得到车位检测模型输出的车位作为视觉车位。其中,车位检测模型可以是用于识别车位的神经网络模型。可以通过包括车位的样本图像以及样本图像中的车位位置信息对初始状态的神经网络模型进行训练,得到车位检测模型。

可以通过超声波探测装置得到的超声波探测结果中的超声波点云,确定空间范围内的车位作为超声波车位。可以通过激光探测装置得到的激光探测结果中的激光点云,确定(可以通过PVB模型来确定)空间范围内的车位作为激光车位。

在得到视觉车位、超声波车位以及激光车位之后,可以根据视觉车位、超声波车位以及激光车位之间的重叠关系,确定待裁剪车位。

例如,在确定视觉车位与超声波车位之间的重叠面积大于面积阈值的情况下,确定视觉车位为待裁剪车位。又如,在确定视觉车位与超声波车位之间的重叠面积大于面积阈值、视觉车位与激光车位之间的重叠面积大于面积阈值的情况下,确定视觉车位为待裁剪车位。面积阈值可以是基于需求设定的值,例如9平方米。

作为一种实施方式,S120可以包括:根据车位图像、激光探测结果以及超声波探测结果,确定车位匹配模式;不同的车位匹配模式用于指示通过不同的组合信息确定待裁剪车位,组合信息包括车位图像、激光探测结果以及超声波探测结果中的至少两者;根据车位匹配模式,确定待裁剪车位。

可以根据车位图像、激光探测结果以及超声波探测结果,确定车位匹配模式,以通过确定的车位匹配模式所指示的组合信息确定待裁剪车位。例如,车位匹配模式可以是通过激光探测结果以及超声波探测结果构成的组合信息,确定待裁剪车位,又如,车位匹配模式可以是通过激光探测结果以及车位图像构成的组合信息,确定待裁剪车位。

作为一种实施方式,车位匹配模式的确定过程可以包括:若根据激光探测结果可以确定激光车位、根据车位图像可以确定视觉车位且根据超声波探测结果可以确定超声波车位,确定车位匹配模式为第一车位匹配模式。其中,第一车位匹配模式为根据视觉车位与激光车位之间的交并比信息以及超声波车位的库口坐标与激光车位的库口坐标之间的差异,确定待裁剪车位。

可根据激光探测结果中的激光点云,确定是否出现凝露或强光灯场景,若出现凝露或强光灯场景,确定激光探测装置发生目标异常,否则确定激光探测装置正常。例如,激光点云缺失时可以确定出现凝露或强光灯场景。

在根据激光探测结果确定激光探测装置正常,表明激光探测结果可以确定激光车位,同时,在车位图像可以确定视觉车位且超声波探测结果可以确定超声波车位的情况下,确定相机、超声波探测装置以及激光探测装置均正常,确定车位匹配模式为第一车位匹配模式:将车位图像、超声波探测结果以及激光探测结果作为组合信息。

然后根据第一匹配模式的组合信息中的车位图像确定视觉车位、根据第一匹配模式的组合信息中的激光探测结果确定激光车位以及根据第一匹配模式的组合信息中的超声波探测结果确定超声波车位,再之后,根据视觉车位与激光车位之间的交并比信息以及超声波车位的库口坐标与激光车位的库口坐标之间的差异,确定待裁剪车位。

作为又一种实施方式,车位匹配模式的确定过程可以包括:若根据激光探测结果无法确定激光车位,且根据车位图像可以确定视觉车位以及根据超声波探测结果可以确定超声波车位,确定车位匹配模式为第二车位匹配模式,第二车位匹配模式为根据视觉车位与超声波车位之间的交并比信息,确定待裁剪车位。

根据激光探测结果无法确定车位可以是包括根据激光探测结果确定激光探测装置异常,或,根据激光探测结果确定激光探测装置正常且根据激光探测结果确定不存在车位。激光探测装置异常可以包括激光探测装置存在凝露、强光场景以及发生故障等。

在根据激光探测结果无法确定激光车位,且根据车位图像可以确定视觉车位以及根据超声波探测结果可以确定超声波车位的情况下,确定相机以及超声波探测装置均正常,确定车位匹配模式为第而车位匹配模式:将车位图像以及超声波探测结果作为组合信息。

然后根据第二匹配模式的组合信息中的车位图像确定视觉车位以及根据第二匹配模式的组合信息中的超声波探测结果确定超声波车位,再之后,根据视觉车位与超声波车位之间的交并比信息,确定待裁剪车位。

可选地,根据第一车位匹配模式确定待裁剪车位可以包括:若视觉车位以及激光车位之间的交并比信息满足第一交并比条件,且超声波车位的库口坐标与激光车位的库口坐标之间的差异小于预设差异,获取视觉车位作为待裁剪车位,第一交并比条件包括视觉车位以及激光车位之间的面积交并比大于或等于第一面积阈值。第一面积阈值以及预设差异可以是基于需求设定的,本申请不做限定。

当视觉车位以及激光车位之间的交并比满足第一交并比条件,确定视觉车位有效性较高,继续通过超声波车位对激光车位进行校验:确定超声波车位的库口坐标与激光车位的库口坐标之间的差异是否小于预设差异。若小于预设差异校验通过,确定视觉车位有效,作为待裁剪车位。

其中,校验可以是指确定超声波车位的库口坐标与激光车位的库口坐标之间的差异是否小于预设差异,若小于预设差异则校验通过,若不小于预设差异则校验不通过。其中,车库是四边形,车库具有四个角点,因此,库口坐标可以是指库口的两个角点的坐标。预设差异可以是基于需求设定的值,本申请不做限定。

例如,超声波车位的库口坐标与激光车位的库口坐标之间的差异为平均相对距离(将超声波车位的库口的每个角点与激光车位的库口中对应的角点求相对距离,再对求出的两个相对距离求平均得到平均距离)时,预设差异可以是指0.4米。

可选地,根据第一车位匹配模式确定待裁剪车位还可以包括:若视觉车位以及激光车位之间的交并比满足第一交并比条件,且超声波车若视觉车位以及激光车位之间的交并比信息满足第一交并比条件,且超声波车位的库口坐标与激光车位的库口坐标之间的差异不小于预设差异,切换车位匹配模式至第二车位匹配模式。

当视觉车位以及激光车位之间的交并比满足第一交并比条件,确定视觉车位有效性较高,继续通过超声波车位对激光车位进行校验:确定超声波车位的库口坐标与激光车位的库口坐标之间的差异是否小于预设差异。若不小于预设差异,校验不通过,直接将车位匹配模式切换为第二车位匹配模式,以继续根据第二车位匹配模式确定待裁剪车位。

可选地,根据第一车位匹配模式确定待裁剪车位还可以包括:若视觉车位以及激光车位之间的交并比不满足第一交并比条件,通过超声波车位对激光车位进行校验,并根据校验结果确定待裁剪车位。在校验通过时获取激光车位作为待裁剪车位,在校验不通过时获取超声波车位作为待裁剪车位。

可选地,根据第二车位匹配模式确定待裁剪车位可以包括:若视觉车位的车位类型为垂直车位或水平车位,且视觉车位以及超声波车位之间的交并比满足第二交并比条件,获取视觉车位作为待裁剪车位,第二交并比条件包括:视觉车位以及超声波车位之间的面积交并比大于或等于第二面积阈值;或,视觉车位的车位类型为斜列车位,且视觉车位的库口线与超声波车位的库口线之间的线段交并比大于或等于第一线段阈值。其中,车位的库口线可以是指用于连接车位的库口的两个角点的线段,垂直车位或水平车位是指车位线为矩形框的车位,斜列车位是指车位线为四边形且不是矩形的车位。第一线段阈值以及第二面积阈值可以是基于需求设定的值,本申请不做限定。

在本实施例中,若根据激光探测结果以及超声波探测结果均无法确定车位,获取通过车位图像确定的视觉车位作为待裁剪车位。也就是说,若根据激光探测结果以及超声波探测结果均无法确定车位,且根据述车位图像可以确定的车位,获取通过车位图像确定的视觉车位作为待裁剪车位。

若根据车位图像无法确定车位,根据通过激光探测结果确定的激光车位和/或通过超声波探测结果确定的超声波车位,确定待裁剪车位。

在车位图像无法确定车位的情况下,说明光线较差,导致车位图像不可用,可以根据激光车位或超声波车位,确定待裁剪车位。

若激光探测结果以及超声波探测结果均可以确定车位,则可以通过超声波车位对激光车位进行校验,校验通过时获取激光车位作为待裁剪车位,校验不通过时获取超声波车位作为待裁剪车位。

若激光探测结果可以确定车位且超声波探测结果不可确定车位,确定激光车位作为待裁剪车位;若超声波探测结果可以确定车位且激光探测结果不可确定车位,确定超声波车位作为待裁剪车位。

S130、对待裁剪车位进行裁剪,获得预泊车车位。

在确定待裁剪车位之后,还可以获取待裁剪车位对应的基准车位,通过基准车位的车位类型以及待裁剪车位对应的基准车位,对待裁剪车位进行裁剪,得到预泊车车位。其中,车位类型可以是指车位的形状,车位类型可以包括水平车位、垂直车位以及斜列车位等。

作为一种实施方式,S130可以包括:若根据激光探测结果无法确定激光车位,且根据车位图像可以确定视觉车位以及根据超声波探测结果可以确定超声波车位,获取根据第二车位匹配模式确定的待裁剪车位,并获取超声波车位作为基准车位;若基准车位与待裁剪车位的车位类型相同,根据基准车位对待裁剪车位进行裁剪,得到第一裁剪结果;根据第一裁剪结果以及第一最小车位阈值的比对结果,确定预泊车车位;若基准车位与待裁剪车位的车位类型不相同,根据视觉车位的库口线与超声波车位的库口线之间的线段交并比以及第二线段阈值的比对结果,确定预泊车车位。

其中,根据第二车位匹配模式确定的待裁剪车位的过程参照上述S120的描述,此处不再赘述。基准车位与待裁剪车位的车位类型相同可以是包括:基准车位(超声波车位)为垂直车位以及待裁剪车位(视觉车位)为垂直车位,或,基准车位(超声波车位)为水平车位以及待裁剪车位(视觉车位)为水平车位。由于,基于超声波探测结果无法确定斜列车位,因此,基准车位与待裁剪车位的车位类型相同不包括基准车位(超声波车位)为斜列车位以及待裁剪车位(视觉车位)为斜列车位。

根据基准车位对待裁剪车位进行裁剪可以是指将基准车位(超声波车位)与待裁剪车位(视觉车位)重叠的部分作为第一裁剪结果。第一最小车位阈值可以是包括(车长+第一阈值)以及(车宽+第二阈值)的组合形式,若第一裁剪结果的长度不超过(车长+第一阈值)以及第一裁剪结果的宽度不超过(车宽+第二阈值),确定第一裁剪结果作为预泊车车位。若第一裁剪结果的长度超过(车长+第一阈值)或第一裁剪结果的宽度超过(车宽+第二阈值),确定不存在预泊车车位,输出不存在车位的提示信息。

若基准车位与待裁剪车位的车位类型不相同,不进行裁剪,直接确定视觉车位的库口线与超声波车位的库口线之间的线段交并比与第二线段阈值的比对结果。若视觉车位的库口线与超声波车位的库口线之间的线段交并比不超过第二线段阈值,确定待裁剪车位(视觉车位)作为预泊车车位,视觉车位的库口线与超声波车位的库口线之间的线段交并比超过第二线段阈值,确定待裁剪车位(视觉车位)以及基准车位(超声波车位)分别作为一个预泊车车位。

作为又一种实施方式,S130可以包括:若根据激光探测结果可以确定激光车位、根据车位图像可以确定视觉车位且根据超声波探测结果可以确定超声波车位,获取根据第一车位匹配模式确定的待裁剪车位,并获取激光车位作为基准车位;根据基准车位对待裁剪车位进行裁剪,得到第二裁剪结果;根据第二裁剪结果与第二最小车位阈值的比对结果,确定预泊车车位。

其中,根据第一车位匹配模式确定的待裁剪车位的过程参照上述S120的描述,此处不再赘述。根据基准车位对待裁剪车位进行裁剪可以是指将基准车位(激光车位)与待裁剪车位(视觉车位)重叠的部分作为第二裁剪结果。第二最小车位阈值可以是包括(车长+第三阈值)以及(车宽+第四阈值)的组合形式,若第二裁剪结果的长度不超过(车长+第三阈值)以及第二裁剪结果的宽度不超过(车宽+第四阈值),确定第二裁剪结果作为预泊车车位。若第二裁剪结果的长度超过(车长+第三阈值)或第二裁剪结果的宽度超过(车宽+第四阈值),确定不存在预泊车车位,输出不存在车位的提示信息。

另外,在待裁剪车位为超声波车位或激光车位的情况下,直接获取待裁剪车位作为预泊车车位即可。

S140、根据车位图像与激光探测结果的融合结果以及预泊车车位,确定车位识别结果。

得到预泊车车位之后,可以将车位图像与激光探测结果进行融合,得到车辆的可行驶空间(freespace),根据可行驶空间与预泊车车位的重叠结果,确定是否存在可泊车的目标车位,若存在目标车位,获取可泊车的目标车位作为车位识别结果,若不存在目标车位,得到不存在可泊车的目标车位的车位识别结果。

在目标车位之后,可以继续按照目标车位进行自动泊车,或者输出目标车位,由用户手动泊车。在得到不存在可泊车的目标车位的车位识别结果后,还可以输出提示信息,提示用户不存在可泊车的目标车位。

本实施例中,结合相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果,确定车位识别结果,通过结合车位图像、激光探测结果以及超声波探测结果共同确定车位识别结果,提高了车位识别结果的准确率,从而降低了根据车位识别结果自动泊车过程中的安全隐患。

参照图4,图4示出了根据本申请又一个实施例提出的一种车位识别方法流程图,方法用于图2中的车辆,方法包括:

S210、获取相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果;根据车位图像、激光探测结果以及超声波探测结果,确定待裁剪车位;对待裁剪车位进行裁剪,获得预泊车车位。

其中,S210的描述参照上文S110-S130的描述,此处不再赘述。

S220、以基准二维坐标系为对准,将车位图像、激光探测结果中的高度信息以及反射强度映射至高维空间,得到高维映射结果。

可以以相机以及激光雷达所在的地面构建平面坐标系,作为基准二维坐标系,其中,车辆行驶方向为基准二维坐标系的x轴正方向,基准二维坐标系的y轴正方向为车辆行驶方向的正右方。

相机和激光探测装置两个传感器内外特性的差异导致了两种模态数据的对齐是个难题,利用他们之间的标定信息将激光探测装置的探测结果直接投影到相机的坐标系上或者将相机的像素信息直接投影到激光探测装置的的坐标系上。然而这种对齐方式不可避免的导致大量有效信息的丢失。因此在这里,在将信息输入freespace感知模型(可行驶空间感知模型)之前,将相机的rgb信息、激光探测装置探测的激光探测结果(激光点云)的高度信息z和反射强度i存放到高维空间中,得到高维空间的高维映射结果(x,y,z,rgb,i),其中,xy为基准二维坐标系下的xy值,z为高度信息。

S230、根据可行驶空间感知模型对高维映射结果进行感知处理,得到目标三维可行驶空间。

得到高维映射结果之后,将高维映射结果输入可行驶空间感知模型,得到目标三维可行驶空间(x,y,z,obj),三维可行驶空间也可以叫做3Dfreespace。其中,obj是指障碍物的类型信息,例如障碍物类型信息可以是行人、车辆等。

可以通过融合样本车位图像、样本激光探测结果中的高度信息以及反射强度信息的样本高维映射结果以及样本三维可行驶空间,对初始状态的初始可行驶空间感知模型训练,得到可行驶空间感知模型。其中,样本车位图像可以是是指包括车位的样本图像,样本激光探测结果可以是指通过激光探测装置对具有车位的区域进行探测得到的激光探测结果。

需要注意的是,将相机的车位图像和激光探测装置的激光探测信息投射到高维空间后,再输入可行驶空间感知模型能够最大程度的利用原始的传感器信息,减少信息损失。同时,结合了相机与激光探测装置的可行驶空间感知模型能很大程度弥补了单视觉可行驶空间感知模型对于悬空障碍物等识别的局限和单激光探测装置对于障碍物类型分辨能力不强的缺陷。

另外,传统单视觉可行驶空间感知模型仅只支持行人、柱子、警示牌等特定障碍物的识别,对于灰度区分不明显的路沿、花圃等场景的识别具有极大的局限性,而本申请融合后的单视觉可行驶空间感知模型则能够很好的弥补这些问题。

S230、将目标三维可行驶空间、超声波探测结果以及预泊车车位的角点坐标映射至目标三维坐标系,得到目标映射结果。

目标三维坐标系可以是指世界坐标系,可以将目标三维可行驶空间、超声波探测结果以及预泊车车位的角点坐标至世界坐标系,得到目标映射结果。

目标映射结果包括目标三维坐标系中目标三维可行驶空间对应的侵占车位范围以及目标三维坐标系中超声波探测结果中各个障碍物点云对应的映射点云。其中,映射点云可以是指将超声波探测结果中各个障碍物点云映射在目标三维坐标系下的结果。

S240、根据目标映射结果确定车位识别结果。

得到目标映射结果之后,可以根据目标三维坐标系中目标三维可行驶空间对应的侵占车位范围以及目标三维坐标系中超声波探测结果中各个障碍物点云对应的映射点云,确定车位识别结果。

作为一种实施方式,S240可以包括:若侵占车位范围不超过侵占范围阈值,根据位于侵占车位范围内的映射点云的数量以及目标三维可行驶空间中的障碍物,确定车位识别结果。其中侵占范围阈值可以是基于需求设定的值,本申请不做限定。

若侵占车位范围超过侵占范围阈值,确定不存在可泊车的目标车位的车位识别结果。

若侵占车位范围不超过侵占范围阈值,继续根据位于侵占车位范围内的映射点云的数量以及目标三维可行驶空间中的障碍物,确定车位识别结果。

其中,根据位于侵占车位范围内的映射点云的数量以及目标三维可行驶空间中的障碍物,确定车位识别结果,包括:若位于侵占车位范围内的映射点云的数量小于第一数量,获取预泊车车位作为车位识别结果;若位于侵占车位范围内的映射点云的数量在第一数量以及第二数量之间,以及目标三维可行驶空间中的障碍物满足障碍物条件,获取预泊车车位作为车位识别结果;第一数量小于第二数量。第一数量以及第二数量可以是基于需求设定的值,本申请不做限定。

障碍物条件可以包括目标三维可行驶空间中的障碍物的类型信息为特定的限位块或障碍物的高度低于车辆的底盘高度。映射点云的数量小于第一数量,表示预泊车车位内不存在障碍物,预泊车车位可以停车。映射点云的数量在第一数量以及第二数量之间,且满足障碍物条件,确定预泊车车位存在不影响停车的障碍物,可以停车。

若位于侵占车位范围内的映射点云的数量小于第一数量,获取预泊车车位作为目标车位,目标车位可以作为车位识别结果。若位于侵占车位范围内的映射点云的数量在第一数量以及第二数量之间,以及目标三维可行驶空间中的障碍物满足障碍物条件,获取预泊车车位作为目标车位,目标车位可以作为车位识别结果。

本实施例中车位识别过程如图5所示,可以根据相机拍摄的车位图像确定视觉车位,根据超声波探测结果确定超声波车位,根据激光探测结果确定激光车位。然后可以对探测的车位分类,视觉车位可以是垂直视觉车位、水平视觉车位或斜列视觉车位;超声波车位可以是垂直超声波车位或水平超声波车位;激光车位可以是垂直激光车位、水平激光车位以及斜列激光车位。

根据视觉车位与激光车位之间的交并比、激光车位的库口坐标与超声波车位的库口坐标之间的差异,进行车位匹配(车位匹配过程即是上文实施例中确定待裁剪车位的过程),以得到待裁剪车位。在待裁剪车位为视觉车位(垂直视觉车位、水平视觉车位或斜列视觉车位)的情况下,然后根据待裁剪车位(视觉车位)以及待裁剪车位对应的基准车位,进行车位裁剪,得到预泊车车位。

再将车位图像、激光探测结果中的高度信息以及反射强度映射至高维空间,并根据高维映射结果得到目标三维可行驶空间;再将目标三维可行驶空间、超声波探测结果以及预泊车车位的角点坐标映射至目标三维坐标系,得到目标映射结果,通过目标映射结果进行障碍物检测,以确定车位识别结果。

其中,障碍物检测可以是指根据目标映射结果确定车位识别结果的过程:若目标三维坐标系中目标三维可行驶空间对应的侵占车位范围不超过侵占范围阈值,根据位于侵占车位范围内的映射点云的数量以及目标三维可行驶空间中的障碍物,确定车位识别结果。

本实施例中,融合了车位图像、激光探测结果以及超声波探测结果,使得确定的车位识别结果的准确率较高。同时,还融合车位图像、激光探测结果中的高度信息以及反射强度,得到高维映射结果,弥补了根据单视觉可行驶空间感知模型对路沿、花圃等场景的识别的局限性,提高了目标可行驶空间的准确率,进一步提高了根据目标可行驶空间确定的车位识别结果的准确率。

参照图6,图6示出了本申请一个实施例提出的一种车位识别装置的结构框图。装置600用于车辆,装置600包括:

获取模块610,用于获取相机拍摄的车位图像、激光探测装置探测的激光探测结果以及超声波探测装置探测的超声波探测结果;

第一确定模块620,用于根据车位图像、激光探测结果以及超声波探测结果,确定待裁剪车位;

第二确定模块630,用于对待裁剪车位进行裁剪,获得预泊车车位;

结果确定模块640,用于根据车位图像与激光探测结果的融合结果以及预泊车车位,确定车位识别结果。

进一步地,第一确定模块620,还用于根据车位图像、激光探测结果以及超声波探测结果,确定车位匹配模式;不同的车位匹配模式用于指示通过不同的组合信息确定待裁剪车位,组合信息包括车位图像、激光探测结果以及超声波探测结果中的至少两者;根据车位匹配模式,确定待裁剪车位。

进一步地,第一确定模块620,还用于若根据激光探测结果可以确定激光车位、根据车位图像可以确定视觉车位且根据超声波探测结果可以确定超声波车位,确定车位匹配模式为第一车位匹配模式,第一车位匹配模式为根据视觉车位与激光车位之间的交并比信息以及超声波车位的库口坐标与激光车位的库口坐标之间的差异,确定待裁剪车位;若根据激光探测结果无法确定激光车位,且根据车位图像可以确定视觉车位以及根据超声波探测结果可以确定超声波车位,确定车位匹配模式为第二车位匹配模式,第二车位匹配模式为根据视觉车位与超声波车位之间的交并比信息,确定待裁剪车位。

进一步地,第一确定模块620,还用于若视觉车位以及激光车位之间的交并比信息满足第一交并比条件,且超声波车位的库口坐标与激光车位的库口坐标之间的差异小于预设差异,获取视觉车位作为待裁剪车位,第一交并比条件包括视觉车位以及激光车位之间的面积交并比大于或等于第一面积阈值;若视觉车位以及激光车位之间的交并比信息满足第一交并比条件,且超声波车位的库口坐标与激光车位的库口坐标之间的差异不小于预设差异,切换车位匹配模式至第二车位匹配模式;若视觉车位以及激光车位之间的交并比不满足第一交并比条件,通过超声波车位对激光车位进行校验,并根据校验结果确定待裁剪车位。

进一步地,第一确定模块620,还用于若视觉车位的车位类型为垂直车位或水平车位,且视觉车位以及超声波车位之间的交并比满足第二交并比条件,获取视觉车位作为待裁剪车位,第二交并比条件包括:视觉车位以及超声波车位之间的面积交并比大于或等于第二面积阈值;若视觉车位的车位类型为斜列车位,且视觉车位以及超声波车位之间的交并比不满足第三交并比条件,获取超声波车位作为待裁剪车位,第三交并比条件包括:视觉车位的库口线与超声波车位的库口线之间的线段交并比大于或等于第一线段阈值。

进一步地,第二确定模块630,还用于若根据激光探测结果无法确定激光车位,且根据车位图像可以确定视觉车位以及根据超声波探测结果可以确定超声波车位,获取根据第二车位匹配模式确定的待裁剪车位,并获取超声波车位作为基准车位;若基准车位与待裁剪车位的车位类型相同,根据基准车位对待裁剪车位进行裁剪,得到第一裁剪结果;根据第一裁剪结果以及第一最小车位阈值的比对结果,确定预泊车车位;若基准车位与待裁剪车位的车位类型不相同,根据视觉车位的库口线与超声波车位的库口线之间的线段交并比以及第二线段阈值的比对结果,确定预泊车车位。

进一步地,第二确定模块630,还用于若根据激光探测结果可以确定激光车位、根据车位图像可以确定视觉车位且根据超声波探测结果可以确定超声波车位,获取根据第一车位匹配模式确定的待裁剪车位,并获取激光车位作为基准车位;根据基准车位对待裁剪车位进行裁剪,得到第二裁剪结果;根据第二裁剪结果与第二最小车位阈值的比对结果,确定预泊车车位。

进一步地,结果确定模块640,还用于以基准二维坐标系为对准,将车位图像、激光探测结果中的高度信息以及反射强度映射至高维空间,得到高维映射结果;根据可行驶空间感知模型对高维映射结果进行感知处理,得到目标三维可行驶空间;将目标三维可行驶空间、超声波探测结果以及预泊车车位的角点坐标映射至目标三维坐标系,得到目标映射结果;根据目标映射结果确定车位识别结果。

进一步地,目标映射结果包括目标三维坐标系中目标三维可行驶空间对应的侵占车位范围以及目标三维坐标系中超声波探测结果中各个障碍物点云对应的映射点云;进一步地,结果确定模块640,还用若侵占车位范围不超过侵占范围阈值,根据位于侵占车位范围内的映射点云的数量以及目标三维可行驶空间中的障碍物,确定车位识别结果。

进一步地,结果确定模块640,还用若位于侵占车位范围内的映射点云的数量小于第一数量,获取预泊车车位作为车位识别结果;若位于侵占车位范围内的映射点云的数量在第一数量以及第二数量之间,以及目标三维可行驶空间中的障碍物满足障碍物条件,获取预泊车车位作为车位识别结果;第一数量小于第二数量。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

请参阅图7,其示出了本申请实施例提供的一种车辆900的结构框图。本申请中的车辆900可以包括一个或多个如下部件:处理器910、存储器920以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器920中并被配置为由一个或多个处理器910执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中,处理器910可以包括一个或者多个处理核。处理器910利用各种接口和线路连接整个车辆900内的各个部分,通过运行或执行存储在存储器920内的指令、程序、代码集或指令集,以及调用存储在存储器920内的数据,执行车辆900的各种功能和处理数据。可选地,处理器910可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责待显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器910中,单独通过一块通信芯片进行实现。

存储器920可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储车辆900在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

参考图8,图8示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1100中存储有程序代码,该程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1100包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

技术分类

06120116332023