掌桥专利:专业的专利平台
掌桥专利
首页

一种地图构建方法、装置、设备及介质

文献发布时间:2024-04-18 19:59:31


一种地图构建方法、装置、设备及介质

技术领域

本公开涉及智能驾驶技术领域,具体而言,涉及一种地图构建方法、装置、设备及介质。

背景技术

车辆SLAM((simultaneous localization and mapping)技术,是辅助智能驾驶的一项重要技术,可以使车辆能够更好地理解周围环境、检测障碍物并规划安全和高效的路径,帮助智能驾驶车辆实现精准定位、环境地图构建、自主导航和路径规划等功能。

常见的车辆SLAM技术,无论是视觉SLAM还是基于激光雷达SLAM,大多是结合各种传感器,通过多传感器融合技术实现车辆SLAM,但是使用多个传感器会增加大量成本,而且在构建地图的过程中干扰因素多,所需的算法复杂,需要处理大量的数据,构建速度慢,对计算资源、计算性能和计算效率存在极大的挑战。

发明内容

本公开实施例至少提供一种地图构建方法、装置、设备及介质,能够解决上述至少部分技术问题。

本公开实施例提供了一种地图构建方法,应用于安装有惯性测量单元和毫米波雷达的车辆,所述方法包括:

通过所述惯性测量单元在当前时刻采集的车辆状态信息,对所述毫米波雷达在当前时刻采集的点云进行筛选,得到筛选出的多个静态点;

对所述多个静态点进行视觉转换处理,得到所述多个静态点对应的伪视觉图像;

通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点;

使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图。

这样,仅使用惯性测量单元和毫米波雷达所采集的数据,可以有效减少使用传感器的数量,降低车辆成本,而且使用的数据量少,有助于减少需要处理的数据量和处理过程中所产生的数据量,降低对于计算性能和计算资源的依赖,有利于简化处理过程和提高计算效果,而且,在构图过程中,对筛选出静态点后,通过计算机视觉和视觉转换等方式进行二次过滤,可以有效去除影响点,提高所构建地图的精度和数据处理速度,适应性高,鲁棒性好。

一种可能的实施方式中,所述对所述多个静态点进行视觉转换处理,得到所述多个静态点对应的伪视觉图像,包括:

对所述多个静态点进行占用栅格处理,得到在鸟瞰图视角下所述多个静态点对应的栅格地图;

对所述栅格地图进行灰度空间映射,得到在灰度值空间下的伪像素图像。

这样,对静态点通过占用栅格和灰度空间映射,将点云处理转换成计算机视觉方式处理,相较于传统的逐点处理方式,可以有效提高数据处理效率,有助于对静态点进行进一步的过滤和筛选。

一种可能的实施方式中,所述通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点,包括:

从所述伪视觉图像中识别出存在的各个特征物体;

确定每个特征物体的特征尺寸;

确定特征尺寸小于预设尺寸阈值的特征物体为半静态物体,以及确定所述特征尺寸大于或者等所述预设尺寸阈值的特征物体为纯静态物体;

将所述半静态物体对应的各个静态点确定为半静态点,以及将所述纯静态物体对应的各个静态点确定为纯静态点。

这样,通过伪视觉图像中能够识别的特征物体,对静态点进行进一步的区分,得到纯静态点和半静态点,可以有效降低构图过程中对实际使用点云数据的干扰,减少引起影响的数据量,有效提高后续所构建地图的准确度。

一种可能的实施方式中,在所述伪视觉图像为灰度值空间下的伪像素图像的情况下,所述通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点,包括:

对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体;

按照各个特征聚类物体的结构特征长度,筛选出纯静态物体和半静态物体,所述纯静态物体的结构特征长度大于或者等于设定长度阈值,所述半静态物体的结构特征长度小于所述设定长度阈值;

将所述纯静态物体对应的各个静态点确定为纯静态点,以及将所述半静态物体对应的各个静态点确定为半静态点。

这样,通过识别伪像素图像总的特征聚类物体,进而通过该特征聚类物体的结构特征长度区分纯静态点和半静态点,区分方式简单有效,区分结果准确率高。

一种可能的实施方式中,所述对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体,包括:

对所述伪像素图像进行边缘算子特征提取,得到伪特征图像;

对所述伪特征图像中存在的特征进行密度聚类处理,识别出所述伪特征图像中存在的各个特征聚类物体。

一种可能的实施方式中,通过以下步骤确定所述特征聚类物体的结构特征长度:

对于符合曼哈顿结构的特征聚类物体,确定该特征聚类物体的物体结构长度,将所述物体结构长度作为该特征聚类物体的结构特征长度;

对于具有曲率的特征聚类物体,确定该特征聚类物体的弧度长度,将所述弧度长度作为该特征聚类物体的结构特征长度。

一种可能的实施方式中,所述使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图,包括:

通过所述纯静态物体,构建伪二值化纯静态特征图;

对所述伪二值化纯静态特征图和所述伪像素图像进行融合,得到纯静态伪像素图像;

将所述纯静态伪像素图像进行反向灰度空间映射处理,得到在鸟瞰图视角下的纯静态栅格地图;

将所述纯静态栅格地图作为当前时刻的当前帧纯静态地图。

这样,筛选出纯静态点后,借助纯静态点相应的视觉内容,通过视觉转换方式逆向进行伪视觉图像处理,简单快捷,无需重新对静态点构成的部分点云进行逐点处理,可以大大节省数据处理时间,提高数据处理效率。

一种可能的实施方式中,在所述使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图之后,所述方法还包括:

获取在所述当前时刻之前的各个历史时刻得到的历史帧环境地图;

对所述当前帧环境地图和各个历史帧环境地图进行融合,得到所述车辆所处场景的当前全景地图,所述当前帧环境地图和所述当前全景地图用于供所述车辆进行定位。

一种可能的实施方式中,所述方法还包括:

获取对所述点云进行筛选过程中筛选出的动态点;

使用得到的半静态点生成所述车辆所处场景的半静态地图,以及使用得到的动态点生成所述车辆周围环境的动态地图;

对所述当前帧环境地图、所述半静态地图和所述动态地图进行融合,得到当前帧避障地图,所述当前帧避障地图用于供所述车辆进行动态路径规划。

本公开实施例还提供一种地图构建装置,应用于安装有惯性测量单元和毫米波雷达的车辆,所述装置包括:

点云筛选模块,用于通过所述惯性测量单元在当前时刻采集的车辆状态信息,对所述毫米波雷达在当前时刻采集的点云进行筛选,得到筛选出的多个静态点;

图像处理模块,用于对所述多个静态点进行视觉转换处理,得到所述多个静态点对应的伪视觉图像;

静态点识别模块,用于通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点;

地图生成模块,用于使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图。

一种可选的实施方式中,所述图像处理模块具体用于:

对所述多个静态点进行占用栅格处理,得到在鸟瞰图视角下所述多个静态点对应的栅格地图;

对所述栅格地图进行灰度空间映射,得到在灰度值空间下的伪像素图像。

一种可选的实施方式中,所述静态点识别模块具体用于:

从所述伪视觉图像中识别出存在的各个特征物体;

确定每个特征物体的特征尺寸;

确定特征尺寸小于预设尺寸阈值的特征物体为半静态物体,以及确定所述特征尺寸大于或者等所述预设尺寸阈值的特征物体为纯静态物体;

将所述半静态物体对应的各个静态点确定为半静态点,以及将所述纯静态物体对应的各个静态点确定为纯静态点。

一种可选的实施方式中,在所述伪视觉图像为灰度值空间下的伪像素图像的情况下,所述静态点识别模块具体用于:

对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体;

按照各个特征聚类物体的结构特征长度,筛选出纯静态物体和半静态物体,所述纯静态物体的结构特征长度大于或者等于设定长度阈值,所述半静态物体的结构特征长度小于所述设定长度阈值;

将所述纯静态物体对应的各个静态点确定为纯静态点,以及将所述半静态物体对应的各个静态点确定为半静态点。

一种可选的实施方式中,所述静态点识别模块在用于对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体时,具体用于:

对所述伪像素图像进行边缘算子特征提取,得到伪特征图像;

对所述伪特征图像中存在的特征进行密度聚类处理,识别出所述伪特征图像中存在的各个特征聚类物体。

一种可选的实施方式中,所述静态点识别模块用于通过以下步骤确定所述特征聚类物体的结构特征长度:

对于符合曼哈顿结构的特征聚类物体,确定该特征聚类物体的物体结构长度,将所述物体结构长度作为该特征聚类物体的结构特征长度;

对于具有曲率的特征聚类物体,确定该特征聚类物体的弧度长度,将所述弧度长度作为该特征聚类物体的结构特征长度。

一种可选的实施方式中,所述地图生成模块具体用于:

通过所述纯静态物体,构建伪二值化纯静态特征图;

对所述伪二值化纯静态特征图和所述伪像素图像进行融合,得到纯静态伪像素图像;

将所述纯静态伪像素图像进行反向灰度空间映射处理,得到在鸟瞰图视角下的纯静态栅格地图;

将所述纯静态栅格地图作为当前时刻的当前帧纯静态地图。

一种可选的实施方式中,所述地图生成模块还用于:

获取在所述当前时刻之前的各个历史时刻得到的历史帧环境地图;

对所述当前帧环境地图和各个历史帧环境地图进行融合,得到所述车辆所处场景的当前全景地图,所述当前帧环境地图和所述当前全景地图用于供所述车辆进行定位。

一种可选的实施方式中,所述地图生成模块还用于:

获取对所述点云进行筛选过程中筛选出的动态点;

使用得到的半静态点生成所述车辆所处场景的半静态地图,以及使用得到的动态点生成所述车辆周围环境的动态地图;

对所述当前帧环境地图、所述半静态地图和所述动态地图进行融合,得到当前帧避障地图,所述当前帧避障地图用于供所述车辆进行动态路径规划。

本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述地图构建方法中任一种可能的实施方式中的步骤。

本公开实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述地图构建方法中任一种可能的实施方式中的步骤。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本公开实施例提供的一种地图构建方法的流程图;

图2为特征提取后的伪特征图像的示意图;

图3为本公开实施例提供的另一种地图构建方法的流程图;

图4为本公开实施例提供的一种地图构建装置的示意图;

图5为本公开实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现,在车辆SLAM技术中,通过构建地图用以对车辆进行定位和导航等,是常用的功能,但是在传统的车辆SLAM中,大多使用多传感器融合方案实现车辆SLAM,不仅车辆成本大大增加,而且对各个传感器的安装和集成等有严格的限定和要求,而且数据处理量大,数据处理过程中存在的问题多,通过点云进行地图构建过程中干扰因素多,所需的算法复杂,需要处理大量的数据,构建速度慢,对计算资源、计算性能和计算效率存在极大的挑战。

基于上述研究,本公开提供了一种地图构建方法,仅使用惯性测量单元和毫米波雷达所采集的数据,可以有效减少使用传感器的数量,降低车辆成本,而且使用的数据量少,有助于减少需要处理的数据量和处理过程中所产生的数据量,降低对于计算性能和计算资源的依赖,有利于简化处理过程和提高计算效果,而且,在构图过程中,对筛选出静态点后,通过计算机视觉和视觉转换等方式进行二次过滤,可以有效去除影响点,提高所构建地图的精度和数据处理速度,适应性高,鲁棒性好。

可以理解的是,如果涉及需要获取用户的个人信息的话,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备等提供个人信息的选择控件。

可以理解的是,上述通知和获取用户授权的过程仅是示意性的,不对本公开的实现方式构成限定,其他满足相关法律法规的方式也可应用于本公开的实现方式中。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种地图构建方法进行详细介绍,本公开实施例所提供的地图构建方法的执行主体一般为具有一定计算能力的计算机设备,本实施方式中,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为计算设备、车载设备等。在一些可能的实现方式中,该地图构建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的一种地图构建方法加以说明。

需要说明的是,本公开实施例提供的地图构建方法应用于车辆上,可以帮助车辆实现车辆SLAM技术,车辆上安装有惯性测量单元和毫米波雷达。

惯性测量单元,即Inertial Measurement Unit,简称IMU,其是利用惯性定律实现,主要用来检测和测量待测目标的加速度与旋转运动的角速度(或三轴姿态角)的装置。一般的,一个IMU包含了三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标系统独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。

毫米波雷达,是工作在毫米波波段(millimeter wave)探测的雷达。通常毫米波是指30~300GHz频域(波长为1~10mm)的。

本申请中所使用的毫米波雷达,优选的可以使用4D毫米波雷达,但并不局限于此,还可以使用3D毫米波雷达。

请参阅图1,图1为本公开实施例提供的一种地图构建方法的流程图。如图1中所示,本公开实施例提供的地图构建方法,包括以下步骤:

S101:通过所述惯性测量单元在当前时刻采集的车辆状态信息,对所述毫米波雷达在当前时刻采集的点云进行筛选,得到筛选出的多个静态点。

该步骤中,在车辆上电启动后,可以通过安装在所述车辆上的惯性测量单元和毫米波雷达实时的对周围环境进行数据采集,进而可以获取到所述惯性测量单元在当前时刻采集的车辆状态信息,以及所述毫米波雷达在当前时刻采集的点云,然后使用所述车辆状态信息对所述点云中的点进行筛选,以筛选出多个静态点。

其中,所述静态点,可以是指对于所述车辆所处的环境中所存在的非运动物体,通过所述毫米波雷达所检测到的非运动物体的采集点,可以理解的,一个静态物体来讲,是可以检测到多个静态点的。同理的,所述动态点,可以是指对于所述车辆所处的环境中所存在的运动物体,通过所述毫米波雷达所检测到的运动物体的采集点,可以理解的,一个动态物体来讲,是可以检测到多个动态点的。

此外,这里的非运动物体,可以是指完全静止不动的物体,也可以是指具有运动趋势,或者是运动速度非常小的物体,示例性的,在实际环境中,所述车辆以及其他运动车辆等运动物体,其运动速度相对来讲是比较快的,而相对于所述车辆或者其他运动车辆来讲,行人虽然在行走,但是其行走的速度较慢,那么在所述惯性测量单元和所述毫米波雷达的数据采集时间间隔较小的情况下,即可以认为是相对静止的,再例如,一个在停车或者启动的车辆,或者说一个在等待上人或者下人的车辆来讲,其在当前时段内,速度很慢或者根本没有移动,因此,数据采集时间间隔较小的情况下,也可以认为是相对静止,而对于实际环境中树木、建筑物、交通灯等物体,则是完全静止的物体。

众所周知的,所述惯性测量单元可以输出载体(如本实施例中的车辆)加速度和角速度,即所述惯性测量单元采集的车辆状态信息可以包括载体的加速度和角速度等信息,而且通过运动数据还可以推算出载体运动的速度、位姿、轨迹等。

故而,通过所述车辆状态信息对所述点云进行筛选,可以是先使用所述车辆状态信息推导出所述车辆在所述当前时刻的车辆速度,对于所述点云中的每个采集点,可以获取所述毫米波雷达采集的该采集点的点信息,例如点位置、多普勒速度等,然后使用所述车辆速度和每一个采集点的点位置、多普勒速度,构建筛选函数,例如可以构建多普勒测速误差函数,借助每个采集点的多普勒测速误差,遍历每一个采集点,进而筛选出所述点云中包含的多个动态点和多个静态点。

此外,对于每个所述采集点,还可以根据所述采集点的速度对该采集点进行划分,速度大于一定阈值的,则作为动态点,速度小于一定阈值的,则作为静态点。相应的,所述采集点的速度,可以是使用所述毫米波雷达采集的多普勒速度,也可以是使用通过所述车辆状态信息实际计算出的实际速度,此时,则需要使用所述车辆状态信息和所述点云中每个采集点的信息(如点位置、多普勒速度等),计算出每个采集点的实际速度。

可以理解的,通常惯性测量单元长时间工作会导致输出数据的内部出现偏移,但是在短时间内输出的数据的准确度是比较高的,因此,一般在使用惯性测量单元输出的数据,大多需要随着使用对数据进行补偿、纠正等处理,而使用惯性测量单元的数据对载体的运动情况进行推导,一般都是从起始时刻开始的,即载体启动后,从第一帧采集到的数据开始推导。

相应的,在一种可能的实施方式中,在获取到所述车辆状态信息和所述点云之后,可以先检测所述车辆状态信息和所述点云是否为第一帧数据,如果所述车辆状态信息和所述点云均为第一帧数据,先对所述车辆进行初始化。

相反的,如果检测到,所述车辆状态信息和所述点云中的至少一者为非第一帧数据的话,可以认为已经完成了所述车辆的初始化,所述车辆已经处于运动中了,即可以对所述车辆状态信息和所述点云进行数据处理和数据使用了。

S102:对所述多个静态点进行视觉转换处理,得到所述多个静态点对应的伪视觉图像。

该步骤中,在筛选出所述多个静态点之后,可以通过对所述多个静态点进行视觉转换处理,将所述多个静态点转换为视觉层面的伪视觉图像。

其中,所述伪视觉图像,可以为2D平面图像,也可以是3D立体图像,例如在所述毫米波雷达为4D毫米波雷达的情况下,4D毫米波雷达所能采集到的采集点的信息,包含有采集点的俯仰角信息,进而借助俯仰角信息可以构建3D立体图像。

其中,所述伪视觉图像,可以指并非真的或者纯粹的视觉图像,而是借助视觉图像的方式形成仿视觉的图像,示例性,所述伪视觉图像可以是将点云进行平面投影得到平面图像等。可以理解的,将点云转换成图像的算法和方式有很多,在此不做任何限定。

在一种可能的实施方式中,步骤S102包括:

对所述多个静态点进行占用栅格处理,得到在鸟瞰图视角下所述多个静态点对应的栅格地图;对所述栅格地图进行灰度空间映射,得到在灰度值空间下的伪像素图像。

这里,可以在得到所述多个静态点之后,通过占用栅格的方式对所述多个静态点进行转换,转换得到栅格地图,而便于后续的视觉处理,可以将栅格地图映射到灰度空间下,形成伪像素图像。

示例性的,对于得到多个静态点后,可以使用占用栅格方式将多个静态点的静态点云转换为BEV(Bird's-Eye View)鸟瞰图视角下的栅格地图,首先,对于占用栅格图中的每一个栅格,可以使用p(s=1)来表示栅格未被占用状态的概率,使用p(s=0)表示栅格被占用状态的概率,两者之和为1,进而通过以下方式表示每个栅格的状态:

在筛选出所述多个静态点形成的静态点云(P

进而,根据贝叶斯公式,用log Odd(s)表示一个栅格的状态(上一次的):

此时可以得到将所述多个静态点的静态点云转换后的栅格地图,该栅格地图中每一个栅格的取值范围为{0-1},为了使用视觉的算法对地图进行处理,将栅格的取值空间映射到{0-255}灰度值空间,从而得到一个伪像素图像。

S103:通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点。

该步骤中,在转换得到所述伪视觉图像后,通过对所述伪视觉图像进行图像识别等处理,可以从所述伪视觉图像中识别出存在的各个特征物体,进而通过对各个特征物体的分析等,借助特征物体将对应的静态点,划分为纯纯静态点和半静态点。

其中,所述纯静态点,如上述内容,可以是指完全静止不动的物体所对应能够采集到的点,例如实际环境中的街道、房屋、树木、交通灯等对应的点,所述半静态点可以是指相对静止的物体所对应能够采集到的点,例如实际环境中具有运动趋势但是速度较慢的车辆、行人、停车的车辆等对应的点。

在一种可能的实施方式中,步骤S103的方案可以通过以下方式实现:

从所述伪视觉图像中识别出存在的各个特征物体;

确定每个特征物体的特征尺寸;

确定特征尺寸小于预设尺寸阈值的特征物体为半静态物体,以及确定所述特征尺寸大于或者等所述预设尺寸阈值的特征物体为纯静态物体;

将所述半静态物体对应的各个静态点确定为半静态点,以及将所述纯静态物体对应的各个静态点确定为纯静态点。

这里,通过从所述伪视觉图像中识别出各个特征物体,然后确定特征物体的特征尺寸,通过特征尺寸筛选出半静态物体和纯静态物体,进而将半静态物体对应的各个静态点作为半静态点,纯静态物体对应的各个静态点作为纯静态点。

其中,特征物体的特征尺寸,可以是指该特征物体在所述伪视觉图像中的长、宽、高、体积、面积等宏观上的几何尺寸,也可以是指从所述伪视觉图像中所识别出该特征物体的图像特征的尺寸,例如用以表示该特征物体的特征向量的长度等微观上的尺寸,在这里,认为大的物体,所能够提取到的特征对应的数据多,进而所形成特征向量越长。

这里,是从普适意义上介绍从伪视觉图像中识别的特征物体如何去对静态点进行划分,可以理解的,对于一些特定形式或者格式的图像等,可以通过该图像特有的方式,对静态点进行换分。

可以理解的,在一种可能的实施方式中,在所述伪视觉图像为灰度值空间下的伪像素图像的情况下,步骤S103的方案可以通过以下方式实现:

对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体;

按照各个特征聚类物体的结构特征长度,筛选出纯静态物体和半静态物体,所述纯静态物体的结构特征长度大于或者等于设定长度阈值,所述半静态物体的结构特征长度小于所述设定长度阈值;

将所述纯静态物体对应的各个静态点确定为纯静态点,以及将所述半静态物体对应的各个静态点确定为半静态点。

这里,对于伪像素图像的情况,同样可以进行图像处理,对所述伪像素图像中存在的结构体进行识别,以得到各个特征聚类物体,对于每个特征聚类物体,可以计算出其结构特征长度,通过结构特征长度可以区分出纯静态物体和半静态物体,进而区分出纯静态点和半静态点。

具体的,对于对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体来讲,可以是通过相应的算法,对所述伪像素图像进行边缘算子特征提取,得到伪特征图像,然后对所述伪特征图像中存在的特征进行密度聚类处理,识别出所述伪特征图像中存在的各个特征聚类物体。

示例性的,可以理解的,对于周围环境中的街道、道路等来讲,街道和道路等大多数是符合曼哈顿结构(横平竖直),而对于一些具有曲率的街道,同样可以将该特征提取出来,因此,在得到伪像素图像后,可以使用一些边缘提取算法,例如使用sobel、prewit、robert、LoG等边缘提取算子,分别提取伪像素图像中的垂直和水平特征,进而得到伪特征图像。

对于街道、道路上的半静态物体,例如停放或者缓慢行驶的车辆、站着的行人或者停放的单车等,这些物体在伪特征图像上会非常的短小且不连续,如图2所示,道路或者街道21的边缘是长且连续的,房屋22等也具有一定的尺寸,而路边的行人23、停放的车辆24等,则相对十分短小,且各车辆或者人彼此之间是不连续的,进而,可以使用密度聚类(DBSCAN)等聚类方式对图像中的特征进行聚类,从而得到各个特征聚类物体,相应的,分别计算各个特征聚类物体的结构特征长度,其中,对于符合曼哈顿结构的特征直接计算其长度,具有曲率的特征聚类物体,则可以按照弧形去计算长度,作为其结构特征长度。其中,图2为特征提取后的伪特征图像的示意图。

进而,对于从所述伪像素图像中得到的各个特征聚类物体来讲,可以通过以下步骤确定其结构特征长度:

对于符合曼哈顿结构的特征聚类物体,确定该特征聚类物体的物体结构长度,将所述物体结构长度作为该特征聚类物体的结构特征长度;

对于具有曲率的特征聚类物体,确定该特征聚类物体的弧度长度,将所述弧度长度作为该特征聚类物体的结构特征长度。

S104:使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图。

该步骤中,筛选出纯静态点后,即可构建纯静态的当前帧环境地图。

这里,构建出的当前帧环境地图,是筛除动态点和存在干扰的半静态点后的纯静态的地图,进而可以保存该地图,还可以使用其对车辆进行定位。

其中,对于使用纯静态点的点云生成所述当前帧环境地图,可以通过已有的各种方式,对此不进行任何限制。

相应的,在所述纯静态点是通过所述伪像素图像中的特征聚类物体二筛选出的情况下,对于步骤S104,可以先通过所述纯静态物体,构建伪二值化纯静态特征图,然后对所述伪二值化纯静态特征图和所述伪像素图像进行融合,得到纯静态伪像素图像,再将所述纯静态伪像素图像进行反向灰度空间映射处理,得到在鸟瞰图视角下的纯静态栅格地图,然后将所述纯静态栅格地图作为当前时刻的当前帧纯静态地图。

可以理解的,在实际应用中,在筛选出纯静态物体后,可以使用纯静态物体对应的特征图,例如通过二值化转换的方式等,去构建纯静态伪二值化特征图,然后使用构建的纯静态伪二值化特征图作为掩膜,与所述伪像素图像相乘,进而得到纯静态伪像素图像,再将纯静态伪像素图像在灰度值空暇下像素的取值范围(0-255)恢复到栅格地图的取值范围(0-1),从而构建出纯静态的地图,得到当前帧纯静态地图。

本公开实施例提供的地图构建方法,通过车辆状态信息对点云进行筛选,得到静态点,再对静态点进行视觉转换处理得到伪视觉图像,通过伪视觉图像对静态点进行再次筛选,识别出纯静态点,进而使用纯静态点生成当前帧环境地图。

这样,仅使用惯性测量单元和毫米波雷达所采集的数据,可以有效减少使用传感器的数量,降低车辆成本,而且使用的数据量少,有助于减少需要处理的数据量和处理过程中所产生的数据量,降低对于计算性能和计算资源的依赖,有利于简化处理过程和提高计算效果,而且,在构图过程中,对筛选出静态点后,通过计算机视觉和视觉转换等方式进行二次过滤,可以有效去除影响点,提高所构建地图的精度和数据处理速度,适应性高,鲁棒性好。

请参阅图3,图3为本公开实施例提供的另一种地图构建方法的流程图。如图3中所示,本公开实施例提供的地图构建方法包括以下步骤:

S301:通过所述惯性测量单元在当前时刻采集的车辆状态信息,对所述毫米波雷达在当前时刻采集的点云进行筛选,得到筛选出的多个静态点。

S302:对所述多个静态点进行视觉转换处理,得到所述多个静态点对应的伪视觉图像。

S303:通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点。

S304:使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图。

其中,步骤S301至步骤S304的描述,可以参照步骤S101至步骤S104的描述,并且可以解决相同的技术问题和大大相同的技术下过,在此不做赘述。

S305:获取在所述当前时刻之前的各个历史时刻得到的历史帧环境地图。

该步骤中,所述车辆在行驶的过程中,会实时的对周围进行检测,每个数据采集时刻都会获取到相应的车辆状态信息和点云,进而对于每个数据采集时刻都可以生成针对该时刻的纯静态的地图,即对于过去的各个历史时刻而言,均会保存有对应生成的历史帧环境地图,因此,可以提取到保存的各个历史时刻得到的历史帧环境地图。

S306:对所述当前帧环境地图和各个历史帧环境地图进行融合,得到所述车辆所处场景的当前全景地图。

该步骤中,在得到所述当前帧环境地图和各个历史帧环境地图之后,即可以对所述当前帧环境地图和各个历史帧环境地图进行匹配,例如在实时融合的情况下,可以求取相应的所述当前帧环境地图与各个历史帧环境地图中的上一帧环境地图之间的位姿变换矩阵,进而通过变换、对齐等处理,将所述当前帧环境地图与各个历史帧环境地图进行融合,从而构建出当前检测到完整的场景下的当前全景地图。

其中,所述当前帧环境地图和所述当前全景地图均可以用于供所述车辆进行定位,即可以使用所述当前帧环境地图和所述当前全景地图对所述车辆进行定位,得到所述车辆在所处场景中的位置。

其中,在对所述当前帧环境地图和各个历史帧环境地图进行融合,例如变换、对齐、拼接等过程中需要使用到的位姿变换矩阵,可以是通过所述当前帧环境地图与上一帧环境地图进行计算的,也可以是使用当前时刻所述惯性测量单元采集的数据与上一时刻所述惯性测量单元采集的数据进行推导计算出的,并不以此为限。

在一种可能的实时方式中,所述车辆在历史时段内已经对同一场景构建出了全景地图,即构建并保存有历史全景地图,但是在本次行驶中,可能由于环境变化,例如修路、建筑更替等原因,或者是为了数据精确等原因,可以对历史全景地图进行更新,相应的,在得到所述当前帧环境地图之后,可以将所述当前帧环境地图与历史全景地图进行融合,以实现对历史全景地图的更新。

在一种可能的实施方式中,所述方法还包括:

获取对所述点云进行筛选过程中筛选出的动态点;

使用得到的半静态点生成所述车辆所处场景的半静态地图,以及使用得到的动态点生成所述车辆周围环境的动态地图;

对所述当前帧环境地图、所述半静态地图和所述动态地图进行融合,得到当前帧避障地图,所述当前帧避障地图用于供所述车辆进行动态路径规划。

这里,在通过所述车辆状态信息对所述点云进行筛选的过程中,除了可以筛选出多个静态点之外,还可以筛选出存在的动态点,相应的,可以使用得到的动态点构建出动态地图,同样的,对于从静态点中区分出的半静态点,同样可以构建出半静态地图,对于所述车辆而言,在行驶过程中,纯静态物体对于所述车辆的运行影响较小,而动态的物体以及半静态的物体,由于存在一定的运动情况,因此对于所述车辆的运动可能存在较大影响,进而所述车辆在运动的过程中需要规避动态物体和半静态物体,进而,可以将当前帧环境地图、所述半静态地图和所述动态地图进行融合,得到当前环境完整的地图,即可以用于车辆避障的当前帧避障地图,从而可以使用所述当前帧避障地图对所述车辆记性动态路径规划,实现车辆避障。

其中,在构建所述当前帧避障地图的时候,除了可以使用所述当前帧环境地图之外,还可以使用所述当前全景地图,即使用所述当前全景地图与所述动态地图和所述半静态地图进行融合。

此外,为了实现避障的预测,还可以通过所述动态地图预测下一时刻可能的动态地图,进而在融合得到所述当前帧避障地图的时候,使用预测的下一时刻的动态地图,与半静态地图,以及所述当前帧环境地图或者所述当前全景地图,进行融合。

本公开实施例提供的地图构建方法,通过车辆状态信息对点云进行筛选,得到静态点,再对静态点进行视觉转换处理得到伪视觉图像,通过伪视觉图像对静态点进行再次筛选,识别出纯静态点,进而使用纯静态点生成当前帧环境地图,进而可以将当前帧环境地图和保存的历史帧环境地图融合得到当前全景地图。

这样,仅使用惯性测量单元和毫米波雷达所采集的数据,可以有效减少使用传感器的数量,降低车辆成本,而且使用的数据量少,有助于减少需要处理的数据量和处理过程中所产生的数据量,降低对于计算性能和计算资源的依赖,有利于简化处理过程和提高计算效果,而且,在构图过程中,对筛选出静态点后,通过计算机视觉和视觉转换等方式进行二次过滤,可以有效去除影响点,提高所构建地图的精度和数据处理速度,适应性高,鲁棒性好。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思,本公开实施例中还提供了与地图构建方法对应的地图构建装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述地图构建方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

请参阅图4,图4为本公开实施例提供的一种地图构建装置的示意图。这里,所述地图构建装置应用于安装有惯性测量单元和毫米波雷达的车辆,所述地图构建装置可以是内嵌在所述车辆的车载终端中,也可以是与车载终端相互独立的装置,或者是布设于后台或者云服务器中,并且与车载终端之间可以进行通信。如图4中所示,本公开实施例提供的所述地图构建装置400包括:

点云筛选模块410,用于通过所述惯性测量单元在当前时刻采集的车辆状态信息,对所述毫米波雷达在当前时刻采集的点云进行筛选,得到筛选出的多个静态点。

图像处理模块420,用于对所述多个静态点进行视觉转换处理,得到所述多个静态点对应的伪视觉图像。

静态点识别模块430,用于通过所述伪视觉图像中包含的特征物体,识别出所述多个静态点中的纯静态点和半静态点。

地图生成模块440,用于使用得到的纯静态点生成所述车辆所处场景的当前帧环境地图。

一种可选的实施方式中,所述图像处理模块420具体用于:

对所述多个静态点进行占用栅格处理,得到在鸟瞰图视角下所述多个静态点对应的栅格地图;

对所述栅格地图进行灰度空间映射,得到在灰度值空间下的伪像素图像。

一种可选的实施方式中,所述静态点识别模块430具体用于:

从所述伪视觉图像中识别出存在的各个特征物体;

确定每个特征物体的特征尺寸;

确定特征尺寸小于预设尺寸阈值的特征物体为半静态物体,以及确定所述特征尺寸大于或者等所述预设尺寸阈值的特征物体为纯静态物体;

将所述半静态物体对应的各个静态点确定为半静态点,以及将所述纯静态物体对应的各个静态点确定为纯静态点。

一种可选的实施方式中,在所述伪视觉图像为灰度值空间下的伪像素图像的情况下,所述静态点识别模块430具体用于:

对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体;

按照各个特征聚类物体的结构特征长度,筛选出纯静态物体和半静态物体,所述纯静态物体的结构特征长度大于或者等于设定长度阈值,所述半静态物体的结构特征长度小于所述设定长度阈值;

将所述纯静态物体对应的各个静态点确定为纯静态点,以及将所述半静态物体对应的各个静态点确定为半静态点。

一种可选的实施方式中,所述静态点识别模块430在用于对所述伪像素图像进行特征识别处理,得到所述伪像素图像中的各个特征聚类物体时,具体用于:

对所述伪像素图像进行边缘算子特征提取,得到伪特征图像;

对所述伪特征图像中存在的特征进行密度聚类处理,识别出所述伪特征图像中存在的各个特征聚类物体。

一种可选的实施方式中,所述静态点识别模块430用于通过以下步骤确定所述特征聚类物体的结构特征长度:

对于符合曼哈顿结构的特征聚类物体,确定该特征聚类物体的物体结构长度,将所述物体结构长度作为该特征聚类物体的结构特征长度;

对于具有曲率的特征聚类物体,确定该特征聚类物体的弧度长度,将所述弧度长度作为该特征聚类物体的结构特征长度。

一种可选的实施方式中,所述地图生成模块440具体用于:

通过所述纯静态物体,构建伪二值化纯静态特征图;

对所述伪二值化纯静态特征图和所述伪像素图像进行融合,得到纯静态伪像素图像;

将所述纯静态伪像素图像进行反向灰度空间映射处理,得到在鸟瞰图视角下的纯静态栅格地图;

将所述纯静态栅格地图作为当前时刻的当前帧纯静态地图。

一种可选的实施方式中,所述地图生成模块440还用于:

获取在所述当前时刻之前的各个历史时刻得到的历史帧环境地图;

对所述当前帧环境地图和各个历史帧环境地图进行融合,得到所述车辆所处场景的当前全景地图,所述当前帧环境地图和所述当前全景地图用于供所述车辆进行定位。

一种可选的实施方式中,所述地图生成模块440还用于:

获取对所述点云进行筛选过程中筛选出的动态点;

使用得到的半静态点生成所述车辆所处场景的半静态地图,以及使用得到的动态点生成所述车辆周围环境的动态地图;

对所述当前帧环境地图、所述半静态地图和所述动态地图进行融合,得到当前帧避障地图,所述当前帧避障地图用于供所述车辆进行动态路径规划。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

本公开实施例提供的地图构建装置,仅使用惯性测量单元和毫米波雷达所采集的数据,可以有效减少使用传感器的数量,降低车辆成本,而且使用的数据量少,有助于减少需要处理的数据量和处理过程中所产生的数据量,降低对于计算性能和计算资源的依赖,有利于简化处理过程和提高计算效果,而且,在构图过程中,对筛选出静态点后,通过计算机视觉和视觉转换等方式进行二次过滤,可以有效去除影响点,提高所构建地图的精度和数据处理速度,适应性高,鲁棒性好。

请参阅图5,图5为本公开实施例提供的一种计算机设备的结构示意图。对应于图1和图3中所示的地图构建方法,本公开实施例还提供一种计算机设备500,包括:处理器510、存储器520和总线530,所述存储器520存储有所述处理器510可执行的机器可读指令,当计算机设备500运行时,所述处理器510与所述存储器520之间通过总线530通信,所述机器可读指令被所述处理器510执行时执行如图1和图3中所示的地图构建方法的步骤。

其中,存储器520可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。

处理器510可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是,本申请实施例示意的结构并不构成对计算机设备500的具体限定。在本申请另一些实施例中,计算机设备500可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如图1和图3中所示的地图构建方法的步骤。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 信息处理方法、信息处理装置和信息处理程序
  • 信息处理方法、信息处理装置以及信息处理程序
  • 装置、信息处理装置、程序和信息处理方法
  • 生物信息处理装置、生物信息处理方法和程序
  • 信息处理方法、信息处理装置以及记录有程序的记录介质
  • 信息处理服务器、信息处理方法、信息处理程序、记录了信息处理程序的记录介质、便携终端、便携式计算机的信息处理方法、便携终端用程序、以及记录了便携终端用程序的记录介质
  • 信息处理方法、用于使计算机实施该信息处理方法的程序、实施该信息处理方法的信息处理装置及信息处理系统
技术分类

06120116521315