掌桥专利:专业的专利平台
掌桥专利
首页

电子地图的生成方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:14:36


电子地图的生成方法、装置、电子设备及存储介质

技术领域

本公开涉及导航技术领域,具体而言,涉及一种电子地图的生成方法、装置、电子设备及存储介质。

背景技术

随着自动驾驶技术的快速发展,高精度地图的重要性日益凸显,已经在自动驾驶领域、智能交通领域等中起到了至关重要的作用。其中,高精度地图通常是面向机器的、供自动驾驶车辆使用的地图,高精度地图中不仅有高精度的坐标,还有准确的道路形状表达,比如可以包括车道实线、虚线、转向箭头和斑马线等。

因此,高精度地图的构建尤为重要。

发明内容

有鉴于此,本公开至少提供一种电子地图的生成方法、装置、电子设备及存储介质。

第一方面,本公开提供了一种电子地图的生成方法,包括:

获取道路场景的场景图像、和点云数据;

从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点;其中,所述目标像素点为所述场景图像中对应于所述道路场景中的道路标识、且对应的目标空间点与所述多个点云点不重合的像素点;

基于所述目标点云点对应的目标点云数据、和所述目标像素点的像素坐标,确定所述目标像素点对应的所述目标空间点的三维坐标数据;

基于所述目标空间点的所述三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图。

采用上述方法,通过获取道路场景的场景图像和点云数据,并从点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点,利用目标点云点对应的目标点云数据、和目标像素点的像素坐标,确定场景图像中位于道路标识上的目标像素点对应的目标空间点的三维坐标数据,利用目标空间点的三维坐标数据对点云数据进行补充,使得补充后的点云数据较为稠密,进而基于确定的目标空间点的三维坐标数据和点云数据,可以生成较为精准的电子地图。

一种可能的实施方式中,在从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点之前,还包括:

对所述场景图像进行检测,确定所述场景图像中包括的道路标识的轮廓区域信息;

基于所述点云数据、和所述道路标识的轮廓区域信息,确定所述场景图像中对应于所述道路标识的所述目标像素点。

由于道路标识是电子地图的重要组成部分,电子地图中道路标识的精准度尤为重要,故可以对场景图像进行检测,确定场景图像中包括的道路标识的轮廓区域信息,再基于点云数据和道路标识的轮廓区域信息,较准确的确定场景图像中对应于道路标识上的目标像素点,以便在确定了目标像素点对应的目标空间点的三维坐标数据后,可以生成较为精准的电子地图。

一种可能的实施方式中,所述基于所述点云数据、和所述道路标识的轮廓区域信息,确定所述场景图像中对应于所述道路标识的所述目标像素点,包括:

将所述点云数据投影至所述场景图像中,得到投影点在所述场景图像中的像素坐标;

基于各个所述投影点的像素坐标、和所述场景图像中所述道路标识的轮廓区域信息,确定所述场景图像中位于所述道路标识的轮廓区域内、且不存在匹配的所述投影点的像素点为所述目标像素点。

上述实施方式中,将点云数据投影至场景图像中,得到点云数据中的每个点云点对应的投影点在场景图像中的像素坐标,再基于各个投影点的像素坐标、和场景图像中道路标识的轮廓区域信息,较准确的确定位于道路标识的轮廓区域内、且不存在匹配的投影点的目标像素点。

一种可能的实施方式中,所述从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点,包括:

基于所述目标像素点的像素坐标,从所述点云数据指示的多个点云点中,确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点。

一种可能的实施方式中,所述基于所述目标像素点的像素坐标,从所述点云数据指示的多个点云点中,确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点,包括:

以所述目标像素点的像素坐标为中心,基于设置的距离阈值,确定所述目标像素点对应的第一目标区域;

从所述点云数据指示的多个点云点中,筛选对应在所述场景图像上的投影点的像素坐标位于所述第一目标区域内的多个目标点云点。

一般的,可近似认为与目标像素点之间的距离小于一定值的像素点、与目标像素点处于同一平面内,故这里可以设置距离阈值、以目标像素点的像素坐标为中心,确定目标像素点对应的第一目标区域,再从点云数据指示的多个点云点中,较准确的筛选对应在场景图像上的投影点的像素坐标位于第一目标区域内的多个目标点云点。

一种可能的实施方式中,所述方法还包括:

将所述点云数据投影至所述场景图像中,得到投影点在所述场景图像中的像素坐标;

基于每个投影点在所述场景图像中的像素坐标、和所述点云数据指示的每个投影点的深度信息,确定所述场景图像对应的深度图;

所述基于所述目标像素点的像素坐标,从所述点云数据指示的多个点云点中,确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点,包括:

基于所述目标像素点的像素坐标、和所述场景图像对应的深度图,从所述点云数据指示的多个点云点中确定多个目标点云点。

一种可能的实施方式中,所述基于所述目标像素点的像素坐标、和所述场景图像对应的深度图,从所述点云数据指示的多个点云点中确定多个目标点云点,包括:

以所述目标像素点的像素坐标为中心,基于设置的距离阈值,从所述深度图中确定所述目标像素点对应的第二目标区域、以及位于所述第二目标区域内的多个候选点云点;

基于每个候选点云点指示的深度信息,从多个候选点云点中确定目标点云点。

上述实施方式中,可以以目标像素点的像素坐标为中心,基于设置的距离阈值,从深度图中确定目标像素点对应的第二目标区域、以及位于第二目标区域内的多个候选点云点;再基于每个候选点云点指示的深度信息,对多个候选点云点进行筛选,比如可以将深度信息偏差较大的候选点云点筛掉,较准确的从多个候选点云点中确定目标点云点。

一种可能的实施方式中,所述基于所述目标点云点对应的目标点云数据、和所述目标像素点的像素坐标,确定所述目标像素点对应的所述目标空间点的三维坐标数据,包括:

基于所述多个目标点云点的位置坐标,进行平面拟合以生成所述目标像素点对应的平面拟合参数;

基于所述目标像素点的像素坐标、和所述目标像素点对应的平面拟合参数,生成所述目标像素点对应的所述目标空间点的三维坐标数据。

一般的,目标像素点位于平面内,比如地面,故这里可以利用多个目标点云点的位置坐标,确定目标像素点对应的平面拟合参数;实现基于目标像素点的像素坐标、和目标像素点对应的平面拟合参数,生成目标像素点对应的目标空间点的三维坐标数据。

一种可能的实施方式中,所述基于所述多个目标点云点的位置坐标,进行平面拟合以生成所述目标像素点对应的平面拟合参数,包括:

基于所述多个目标点云点的位置坐标,利用最小二乘法进行平面拟合,以确定所述目标像素点对应的平面拟合参数。

一种可能的实施方式中,在获取道路场景的场景图像、和点云数据之后,还包括:

对所述点云数据进行坐标转换处理,生成位于采集所述场景图像的摄像设备对应的相机坐标系下的处理后的点云数据;

所述从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点,包括:

从所述处理后的点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点。

考虑到摄像设备对应的相机坐标系与雷达设备对应的坐标系可能不一致,为了避免坐标系不一致时造成确定的目标点云点的三维坐标数据不准确,这里可以对雷达设备采集的点云数据进行坐标转换处理,生成处理后的点云数据,再基于处理后的点云数据,较准确的确定目标点云点。

一种可能的实施方式中,在所述点云数据与所述三维坐标数据不位于同一坐标系的情况下,所述基于所述目标空间点的所述三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图,包括:

将所述目标空间点的所述三维坐标数据转换至采集所述点云数据的雷达设备对应的坐标系下,生成与所述点云数据位于同一坐标系下的转换后的三维坐标数据;

基于所述转换后的三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图;或者,

将所述点云数据转换至采集所述场景图像的摄像设备对应的相机坐标系下,生成与所述目标空间点的所述三维坐标数据位于同一坐标系下的处理后的点云数据;

基于所述目标空间点的所述三维坐标数据、和所述处理后的点云数据,生成所述道路场景对应的电子地图。

采用上述方法,在点云数据与三维坐标数据不位于同一坐标系时,可以对点云数据或者目标空间点的三维坐标数据进行坐标系转换处理,比如,可以将点云数据转换至摄像设备对应的相机坐标系下,或者,将目标空间点的三维坐标数据转换至雷达设备对应的坐标系下,再基于转换后的三维坐标数据、和点云数据,生成较为准确的电子地图;或者,再基于目标空间点的三维坐标数据、和处理后的点云数据,生成较为准确的电子地图。

以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。

第二方面,本公开提供了一种电子地图的生成装置,包括:

获取模块,用于获取道路场景的场景图像、和点云数据;

第一确定模块,用于从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点;其中,所述目标像素点为所述场景图像中对应于所述道路场景中的道路标识、且对应的目标空间点与所述多个点云点不重合的像素点;

第二确定模块,用于基于所述目标点云点对应的目标点云数据、和所述目标像素点的像素坐标,确定所述目标像素点对应的所述目标空间点的三维坐标数据;

生成模块,用于基于所述目标空间点的所述三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图。

一种可能的实施方式中,所述装置还包括:检测模块,用于:

在所述第一确定模块在从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点之前,

对所述场景图像进行检测,确定所述场景图像中包括的道路标识的轮廓区域信息;

基于所述点云数据、和所述道路标识的轮廓区域信息,确定所述场景图像中对应于所述道路标识的所述目标像素点。

一种可能的实施方式中,所述检测模块,进一步用于:

将所述点云数据投影至所述场景图像中,得到投影点在所述场景图像中的像素坐标;

基于各个所述投影点的像素坐标、和所述场景图像中所述道路标识的轮廓区域信息,确定所述场景图像中位于所述道路标识的轮廓区域内、且不存在匹配的所述投影点的像素点为所述目标像素点。

一种可能的实施方式中,所述第一确定模块,进一步用于:

基于所述目标像素点的像素坐标,从所述点云数据指示的多个点云点中,确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点。

一种可能的实施方式中,所述第一确定模块,进一步用于:

以所述目标像素点的像素坐标为中心,基于设置的距离阈值,确定所述目标像素点对应的第一目标区域;

从所述点云数据指示的多个点云点中,筛选对应在所述场景图像上的投影点的像素坐标位于所述第一目标区域内的多个目标点云点。

一种可能的实施方式中,所述装置还包括:深度图确定模块,用于:

将所述点云数据投影至所述场景图像中,得到投影点在所述场景图像中的像素坐标;

基于每个投影点在所述场景图像中的像素坐标、和所述点云数据指示的每个投影点的深度信息,确定所述场景图像对应的深度图;

所述第一确定模块,进一步用于:

基于所述目标像素点的像素坐标、和所述场景图像对应的深度图,从所述点云数据指示的多个点云点中确定多个目标点云点。

一种可能的实施方式中,所述第一确定模块,进一步用于:

以所述目标像素点的像素坐标为中心,基于设置的距离阈值,从所述深度图中确定所述目标像素点对应的第二目标区域、以及位于所述第二目标区域内的多个候选点云点;

基于每个候选点云点指示的深度信息,从多个候选点云点中确定目标点云点。

一种可能的实施方式中,所述第二确定模块,进一步用于:

基于所述多个目标点云点的位置坐标,进行平面拟合以生成所述目标像素点对应的平面拟合参数;

基于所述目标像素点的像素坐标、和所述目标像素点对应的平面拟合参数,生成所述目标像素点对应的所述目标空间点的三维坐标数据。

一种可能的实施方式中,所述第二确定模块进一步用于:

基于所述多个目标点云点的位置坐标,利用最小二乘法进行平面拟合,以确定所述目标像素点对应的平面拟合参数。

一种可能的实施方式中,所述装置还包括:处理模块,用于:

在所述获取模块获取道路场景的场景图像、和点云数据之后,对所述点云数据进行坐标转换处理,生成位于采集所述场景图像的摄像设备对应的相机坐标系下的处理后的点云数据;

所述第一确定模块进一步用于:

从所述处理后的点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点。

一种可能的实施方式中,在所述点云数据与所述三维坐标数据不位于同一坐标系的情况下,所述生成模块进一步用于:

将所述目标空间点的所述三维坐标数据转换至采集所述点云数据的雷达设备对应的坐标系下,生成与所述点云数据位于同一坐标系下的转换后的三维坐标数据;

基于所述转换后的三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图;或者,

将所述点云数据转换至采集所述场景图像的摄像设备对应的相机坐标系下,生成与所述目标空间点的所述三维坐标数据位于同一坐标系下的处理后的点云数据;

基于所述目标空间点的所述三维坐标数据、和所述处理后的点云数据,生成所述道路场景对应的电子地图。

第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的电子地图的生成方法的步骤。

第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的电子地图的生成方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种电子地图的生成方法的流程示意图;

图2示出了本公开实施例中确定目标像素点对应的目标空间点的三维坐标数据的一种具体实现方式的流程示意图;

图3示出了本公开实施例所提供的一种电子地图的生成装置的架构示意图;

图4示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

随着自动驾驶技术的快速发展,高精度地图的重要性日益凸显,已经在自动驾驶领域、智能交通领域等中起到了至关重要的作用。其中,高精度地图通常是面向机器的、供自动驾驶车辆使用的地图,高精度地图中不仅有高精度的坐标,还有准确的道路形状表达,比如可以包括车道实线、虚线、转向箭头和斑马线等。为了解决上述问题,较准确的构建高精度地图,本公开实施例提供了一种电子地图的生成方法、装置、电子设备及存储介质。

针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。

下面将结合本公开中附图,对本公开中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种电子地图的生成方法进行详细介绍。本公开实施例所提供的电子地图的生成方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该电子地图的生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例所提供的一种电子地图的生成方法的流程示意图,该方法包括S101-S104,其中:

S101,获取道路场景的场景图像、和点云数据。

S102,从点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点;其中,目标像素点为场景图像中对应于道路场景中的道路标识、且对应的目标空间点与多个点云点不重合的像素点。

S103,基于目标点云点对应的目标点云数据、和目标像素点的像素坐标,确定目标像素点对应的目标空间点的三维坐标数据。

S104,基于目标空间点的三维坐标数据、和点云数据,生成道路场景对应的电子地图。

上述方法中,通过获取道路场景的场景图像和点云数据,并从点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点,利用目标点云点对应的目标点云数据、和目标像素点的像素坐标,确定场景图像中位于道路标识上的目标像素点对应的目标空间点的三维坐标数据,利用目标空间点的三维坐标数据对点云数据进行补充,使得补充后的点云数据较为稠密,进而基于确定的目标空间点的三维坐标数据和点云数据,可以生成较为精准的电子地图。

下述针对S101-S104进行具体说明。

针对S101:

可以通过摄像设备采集道路场景的场景图像,以及通过雷达设备采集道路场景对应的点云数据。实施时,可以将摄像设备和雷达设备设置在目标设备上,在目标设备的移动过程中,摄像设备可以实时的采集目标设备所处的道路场景的场景图像,以及雷达设备可以实时的采集道路场景的点云数据。其中,目标设备可以为机动车辆、非机动车辆、机器人等可行驶的设备。

点云数据中可以包括多个点云点在雷达设备对应的坐标系下的三维坐标数据,或者,还可以包括多个点云点的反射率、颜色信息等。

针对S102以及S103:

由于雷达设备采集的点云数据为较稀疏的点云数据,故可以从场景图像中确定多个目标像素点,并确定多个目标像素点对应的目标空间点的三维坐标数据,该目标像素点为场景图像中对应于道路场景中的道路标识,且对应的目标空间点与多个点云点不重合的像素点;利用目标像素点对应的目标空间点的三维坐标数据,对点云数据进行补充,得到较为稠密的点云数据。

一种可选实施方式中,在从点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点之前,还包括:

步骤一、对场景图像进行检测,确定场景图像中包括的道路标识的轮廓区域信息;

步骤二、基于点云数据、和道路标识的轮廓区域信息,确定场景图像中对应于道路标识上的目标像素点。

由于道路标识是电子地图的重要组成部分,电子地图中道路标识的精准度尤为重要,故可以对场景图像进行检测,确定场景图像中包括的道路标识的轮廓区域信息,再基于点云数据和道路标识的轮廓区域信息,较准确的确定场景图像中对应于道路标识上的目标像素点,以便在确定了目标像素点对应的目标空间点的三维坐标数据后,可以生成较为精准的电子地图。

在步骤一中,示例性的,可以使用训练后的用于对道路标识进行检测的目标神经网络对场景图像进行检测,确定场景图像中包括的道路标识的轮廓区域信息。比如,道路标识可以包括车道线、斑马线、路面箭头等。

可以通过下述步骤训练目标神经网络:获取携带有标注数据的训练样本图像,该标注数据指示训练样本中包括的道路标识对应的标注轮廓区域信息,将带有标注数据的训练样本输入至待训练神经网络中,通过多轮训练过程对待训练神经网络进行训练,直至训练后的神经网络的准确率大于设置的准确率阈值,得到用于对道路标识进行检测的目标神经网络。

在步骤二中,基于点云数据、和道路标识的轮廓区域信息,确定场景图像中对应于道路标识上的目标像素点,可以包括:

步骤A1、将点云数据投影至场景图像中,得到投影点在场景图像中的像素坐标;

步骤A2、基于各个投影点对应的像素坐标、和场景图像中道路标识的轮廓区域信息,确定场景图像中位于道路标识的轮廓区域内、且不存在匹配的投影点的像素点为目标像素点。

上述实施方式中,将点云数据投影至场景图像中,得到点云数据中的每个点云点对应的投影点在场景图像中的像素坐标,再基于各个投影点对应的像素坐标、和场景图像中道路标识的轮廓区域信息,较准确的确定位于道路标识的轮廓区域内、且不存在匹配的投影点的目标像素点。

本公开实施方式中,将点云数据投影至场景图像中,得到投影点在场景图像中的像素坐标,点云数据中包括多个点云点,每个点云点对应一个投影点,得到每个点云点对应的投影点在场景图像中的像素坐标。示例性的,可以根据针孔相机的成像模型、和点云数据中每个点云点的三维坐标数据,确定各个点云点对应的投影点在场景图像中的像素坐标。

进而可以将场景图像中位于道路标识的轮廓区域内,除与各个点云点对应的投影点匹配的像素点之外的其他像素点,确定为场景图像中的目标像素点。即目标像素点为位于道路标识的轮廓区域内、且不存在匹配的投影点的像素点。

道路标识在电子地图中的作用相对显著、关注度高,上述实施方式通过找出道路标识轮廓内的像素点为目标像素点,确定出表征道路标识的目标点云点,进而恢复出目标点云点的三维坐标数据,提升了电子地图中的道路标识信息的精准性,实现了电子地图的有效构建。

一种可能的实施方式中,在S102中,从点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点,可以包括:基于目标像素点的像素坐标,从点云数据指示的多个点云点中,确定与目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点。

实施时,针对每个目标像素点对应的目标空间点,可以计算点云数据指示的多个点云点中,每个点云点与目标空间点之间的距离,将距离小于设置的距离阈值的点云点确定为目标空间点对应的目标点云点。比如,可以利用点云点对应的投影点的像素坐标、和目标空间点对应的目标像素点的像素坐标,确定点云点与目标空间点之间的距离。

其中,距离阈值可以根据道路场景中平面区域面积进行设置,比如,距离阈值可以为5厘米,或者可以为50个像素点对应的长度等。

一种可选实施方式中,基于目标像素点的像素坐标,从点云数据指示的多个点云点中,确定与目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点,包括:

步骤B1、以目标像素点的像素坐标为中心,基于设置的距离阈值,确定目标像素点对应的第一目标区域;

步骤B2、从点云数据指示的多个点云点中,筛选对应在场景图像上的投影点的像素坐标位于第一目标区域内的多个目标点云点。

示例性的,若距离阈值为50个像素点对应的长度值,以目标像素点的像素坐标为中心,以50个像素点对应的长度值作为半径,确定目标像素点对应的第一目标区域。再根据点云数据指示的多个点云点中,每个点云点对应的投影点的像素坐标,确定位于第一目标区域内的投影点,将位于第一目标区域内的投影点对应的点云点确定为目标点云点。

一般的,可近似认为与目标像素点之间的距离小于一定值的像素点、与目标像素点处于同一平面内,故这里可以设置距离阈值、以目标像素点的像素坐标为中心,确定目标像素点对应的第一目标区域,再从点云数据指示的多个点云点中,较准确的筛选对应在场景图像上的投影点的像素坐标位于第一目标区域内的多个目标点云点。

在另一可选实施方式中,该方法还包括:

步骤C1、将点云数据投影至场景图像中,得到投影点在场景图像中的像素坐标;

步骤C2、基于每个投影点在场景图像中的像素坐标、和点云数据指示的每个投影点的深度信息,确定场景图像对应的深度图。

一种可选实施方式中,基于目标像素点的像素坐标,从点云数据指示的多个点云点中,确定与目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点,包括:基于目标像素点的像素坐标、和场景图像对应的深度图,从点云数据指示的多个点云点中确定多个目标点云点。

这里,在确定目标点云点之前,可以利用针孔相机的成像模型,确定点云数据中每个点云点对应的投影点在场景图像中的像素坐标。并基于每个投影点在场景图像中的像素坐标、和点云数据指示的每个投影点的深度信息,确定场景图像对应的深度图,比如,将点云数据指示的每个点云点的深度信息,确定为该点云点对应的投影点的像素值,生成了场景图像对应的深度图。其中,该深度图与场景图像的尺寸相同。

在一种可选实施方式中,基于目标像素点的像素坐标、和场景图像对应的深度图,从点云数据指示的多个点云点中确定多个目标点云点,包括:

步骤D1、以目标像素点的像素坐标为中心,基于设置的距离阈值,从深度图中确定目标像素点对应的第二目标区域、以及位于第二目标区域内的多个候选点云点;

步骤D2、基于每个候选点云点指示的深度信息,从多个候选点云点中确定目标点云点。

比如,若设置的距离阈值为5厘米,则第二目标区域可以为以目标像素点的像素坐标为中心、以5厘米为半径的圆形区域,也可以为以目标像素点的像素坐标为中心、以5厘米为边长的方形区域。

可以基于每个候选点云点指示的深度信息,从多个候选点云点中确定目标点云点。比如,可以将多个候选点云点指示的深度信息求平均值,得到平均深度,再计算每个候选点云点与平均深度之间的差值,从多个候选点云点中选择差值小于设置的差值阈值的目标点云点。

上述实施方式中,可以以目标像素点的像素坐标为中心,基于设置的距离阈值,从深度图中确定目标像素点对应的第二目标区域、以及位于第二目标区域内的多个候选点云点;再基于每个候选点云点指示的深度信息,对多个候选点云点进行筛选,比如可以将深度信息偏差较大的候选点云点筛掉,较准确的从多个候选点云点中确定目标点云点。

一种可能的实施方式中,参见图2所示,基于目标点云点对应的目标点云数据、和目标像素点的像素坐标,确定目标像素点对应的目标空间点的三维坐标数据,可以包括:

S201,基于所述多个目标点云点的位置坐标,进行平面拟合以生成所述目标像素点对应的平面拟合参数;

S202,基于所述目标像素点的像素坐标、和所述目标像素点对应的平面拟合参数,生成所述目标像素点对应的所述目标空间点的三维坐标数据。

一般的,目标像素点位于平面内,比如地面,故这里可以利用多个目标点云点的位置坐标,确定目标像素点对应的平面拟合参数;实现基于目标像素点的像素坐标、和目标像素点对应的平面拟合参数,生成目标像素点对应的目标空间点的三维坐标数据。

在S201中,可以将多个目标点云点的位置坐标进行平面拟合,确定该目标像素点对应的平面拟合参数,其中,可以根据目标点云点对应的目标点云数据中,确定目标点云点的位置坐标。比如,可以使用ransac算法对多个目标点云点的位置坐标进行平面拟合,确定该目标像素点对应的平面拟合参数,进而得到了该目标像素点对应的平面方程:Ax+By+Cz+D=0,其中,A、B、C、D即为生成的平面拟合参数。

一种可选实施方式中,在S201中,基于多个目标点云点的位置坐标,进行平面拟合以生成目标像素点对应的平面拟合参数,可以包括:基于多个目标点云点的位置坐标,利用最小二乘法进行平面拟合,以确定目标像素点对应的平面拟合参数。

在S202中,基于目标像素点的像素坐标、和目标像素点对应的平面拟合参数,生成目标像素点对应的目标空间点的三维坐标数据,可以包括:

步骤E1、基于目标像素点的像素坐标、摄像设备对应的焦距参数和主点的基准坐标,生成目标像素点对应的目标空间点的三维坐标数据中,横轴坐标值与竖轴坐标值之间的第一关系表达式、和纵轴坐标值与竖轴坐标值之间的第二关系表达式;

步骤E2、基于第一关系表达式、第二关系表达式、和目标像素点对应的平面拟合参数,生成目标像素点对应的目标空间点的三维坐标数据。

在步骤E1中,可以利用针孔相机成像模型,基于目标像素点的像素坐标、摄像设备对应的焦距参数和主点的基准坐标,生成目标像素点对应的目标空间点的三维坐标数据中,横轴坐标值与竖轴坐标值之间的第一关系表达式、和纵轴坐标值与竖轴坐标值之间的第二关系表达式。

生成的第一关系表达式如下述公式(1):

X=(u-c

生成的第二关系表达式如下述公式(2):

Y=(v-c

其中,X、Y、X为目标像素点对应的目标空间点的三维坐标数据,X为横轴坐标值,Y为纵轴坐标值,Z为竖轴坐标值;u和v为目标像素点的像素坐标;c

在步骤E2中,可以将第一关系表达式、第二关系表达式输入至平面拟合参数构成的平面方程中,确定目标像素点对应的目标空间点的竖轴坐标值Z;在利用第一关系表达式、竖轴坐标值,确定目标像素点的横轴坐标值X,以及利用第二关系表达式、竖轴坐标值,确定目标像素点的纵轴坐标值Y,进而得到了目标像素点对应的目标空间点的三维坐标数据。

通过针孔相机成像模型可知,像素点的三维坐标数据中的横轴坐标值与竖轴坐标值之间存在关系,以及纵轴坐标值与竖轴坐标值之间存在关系,故这里可以基于目标像素点的像素坐标、和摄像设备对应的焦距参数和主点的基准坐标,生成目标像素点对应的目标空间点的三维坐标数据中,横轴坐标值与竖轴坐标值之间的第一关系表达式、和纵轴坐标值与竖轴坐标值之间的第二关系表达式;实现基于第一关系表达式、第二关系表达式、和目标像素点对应的平面拟合参数,生成目标像素点对应的目标空间点的三维坐标数据。

示例性地,基于在一个较大的范围内(例如0.5米内)路面平面的假设,上述用于从点云数据中确定目标点云点的距离阈值可以例如设置为0.5米。这样,可以在较大的范围内从点云数据中确定出多个目标点云点,从而提升拟合得到的平面信息的精准性,进而获得较为准确的目标空间点的三维坐标数据。

一种可选实施方式中,在获取道路场景的场景图像、和点云数据之后,还包括:对点云数据进行坐标转换处理,生成位于采集场景图像的摄像设备对应的相机坐标系下的处理后的点云数据;

从点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点,包括:从处理后的点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点。

一般的,雷达设备采集的点云数据为在雷达设备对应的坐标系下的点云数据,场景图像为在摄像设备对应的相机坐标系下生成的。在雷达设备与摄像设备的安装位置不同时,需要将点云数据进行坐标转换处理,生成位于摄像设备对应的相机坐标系下的处理后的点云数据;再从处理后的点云数据指示的多个点云点中,确定与场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点。

具体实施时,可以确定雷达设备与摄像设备之间的外参,利用确定的外参对雷达设备采集的点云数据进行坐标转换处理。生成位于摄像设备对应的相机坐标系下的处理后的点云数据。即P

考虑到摄像设备对应的相机坐标系与雷达设备对应的坐标系可能不一致,为了避免坐标系不一致时造成确定的目标点云点的三维坐标数据不准确,这里可以对雷达设备采集的点云数据进行坐标转换处理,生成处理后的点云数据,再基于处理后的点云数据,较准确的确定目标点云点。

针对S104:

这里,可以基于确定的目标空间点的三维坐标数据和点云数据,生成较为稠密的点云数据,并从较为稠密的点云数据中提取矢量化信息,利用提取的矢量化信息构建电子地图,比如,该电子地图可以为高精度地图。

一种可选实施方式中,在点云数据与三维坐标数据不位于同一坐标系的情况下,基于目标空间点的三维坐标数据、和点云数据,生成道路场景对应的电子地图,包括:

方式一、将目标空间点的三维坐标数据转换至采集点云数据的雷达设备对应的坐标系下,生成与点云数据位于同一坐标系下的转换后的三维坐标数据;基于转换后的三维坐标数据、和点云数据,生成道路场景对应的电子地图。

方式二、将点云数据转换至采集场景图像的摄像设备对应的相机坐标系下,生成与目标空间点的三维坐标数据位于同一坐标系下的处理后的点云数据;基于目标空间点的三维坐标数据、和处理后的点云数据,生成道路场景对应的电子地图。

这里,在点云数据和目标空间点的三维坐标数据不位于同一坐标系时,比如,点云数据位于雷达设备对应的坐标系下,目标空间点的三维坐标数据位于摄像设备对应的相机坐标系下,则需要将点云数据和目标像素点的三维坐标数据的坐标系进行统一。

方式一中,可以将目标空间点的三维坐标数据转换至雷达设备对应的坐标系下,生成与点云数据位于同一坐标系下的转换后的三维坐标数据;再可以基于从转换后的三维坐标数据和点云数据中提取矢量化信息,利用提取的矢量化信息,生成道路场景对应的高精度地图。

方式二中,可以将点云数据转换至摄像设备对应的相机坐标系下,生成与目标空间点的三维坐标数据位于同一坐标系下的处理后的点云数据;再可以从目标空间点的三维坐标数据和处理后的点云数据中提取矢量化信息,利用提取的矢量化信息,生成道路场景对应的高精度地图。

采用上述方法,在点云数据与三维坐标数据不位于同一坐标系时,可以对点云数据或者目标像素点的三维坐标数据进行坐标系转换处理,比如,可以将点云数据转换至摄像设备对应的相机坐标系下,或者,将目标空间点的三维坐标数据转换至雷达设备对应的坐标系下,再基于转换后的三维坐标数据、和点云数据,生成较为准确的电子地图;或者,再基于目标空间点的三维坐标数据、和处理后的点云数据,生成较为准确的电子地图。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思,本公开实施例还提供了一种电子地图的生成装置,参见图3所示,为本公开实施例提供的一种电子地图的生成装置的架构示意图,包括获取模块301、第一确定模块302、第二确定模块303、生成模块304,具体的:

获取模块301,用于获取道路场景的场景图像、和点云数据;

第一确定模块302,用于第一确定模块,用于从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点;其中,所述目标像素点为所述场景图像中对应于所述道路场景中的道路标识、且对应的目标空间点与所述多个点云点不重合的像素点;

第二确定模块303,用于基于所述目标点云点对应的目标点云数据、和所述目标像素点的像素坐标,确定所述目标像素点对应的所述目标空间点的三维坐标数据;

生成模块304,用于基于所述目标空间点的所述三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图。

一种可能的实施方式中,所述装置还包括:检测模块305,用于:

在所述第一确定模块在从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点之前,

对所述场景图像进行检测,确定所述场景图像中包括的道路标识的轮廓区域信息;

基于所述点云数据、和所述道路标识的轮廓区域信息,确定所述场景图像中对应于所述道路标识的所述目标像素点。

一种可能的实施方式中,所述检测模块305,在进一步用于按照如下方式确定所述场景图像中对应于所述道路标识的所述目标像素点:

将所述点云数据投影至所述场景图像中,得到投影点在所述场景图像中的像素坐标;

基于各个所述投影点的像素坐标、和所述场景图像中所述道路标识的轮廓区域信息,确定所述场景图像中位于所述道路标识的轮廓区域内、且不存在匹配的所述投影点的像素点为所述目标像素点。

一种可能的实施方式中,所述第一确定模块302,进一步用于按照如下方式确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点:

基于所述目标像素点的像素坐标,从所述点云数据指示的多个点云点中,确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点。

一种可能的实施方式中,所述第一确定模块302,进一步用于按照如下方式确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点:

以所述目标像素点的像素坐标为中心,基于设置的距离阈值,确定所述目标像素点对应的第一目标区域;

从所述点云数据指示的多个点云点中,筛选对应在所述场景图像上的投影点的像素坐标位于所述第一目标区域内的多个目标点云点。

一种可能的实施方式中,所述装置还包括:深度图确定模块306,用于:

将所述点云数据投影至所述场景图像中,得到投影点在所述场景图像中的像素坐标;

基于每个投影点在所述场景图像中的像素坐标、和所述点云数据指示的每个投影点的深度信息,确定所述场景图像对应的深度图;

所述第一确定模块302,进一步用于按照如下方式确定与所述目标像素点对应的目标空间点之间的距离小于设置的距离阈值的目标点云点:

基于所述目标像素点的像素坐标、和所述场景图像对应的深度图,从所述点云数据指示的多个点云点中确定多个目标点云点。

一种可能的实施方式中,所述第一确定模块302,进一步用于按照如下方式从所述点云数据指示的多个点云点中确定多个目标点云点:

以所述目标像素点的像素坐标为中心,基于设置的距离阈值,从所述深度图中确定所述目标像素点对应的第二目标区域、以及位于所述第二目标区域内的多个候选点云点;

基于每个候选点云点指示的深度信息,从多个候选点云点中确定目标点云点。

一种可能的实施方式中,所述第二确定模块303,进一步用于按照如下方式确定所述目标像素点对应的所述目标空间点的三维坐标数据:

基于所述多个目标点云点的位置坐标,进行平面拟合以生成所述目标像素点对应的平面拟合参数;

基于所述目标像素点的像素坐标、和所述目标像素点对应的平面拟合参数,生成所述目标像素点对应的所述目标空间点的三维坐标数据。

一种可能的实施方式中,所述第二确定模块303进一步用于按照如下方式进行平面拟合以生成所述目标像素点对应的平面拟合参数:

基于所述多个目标点云点的位置坐标,利用最小二乘法进行平面拟合,以确定所述目标像素点对应的平面拟合参数。

一种可能的实施方式中,所述装置还包括:处理模块307,用于:

在所述获取模块获取道路场景的场景图像、和点云数据之后,对所述点云数据进行坐标转换处理,生成位于采集所述场景图像的摄像设备对应的相机坐标系下的处理后的点云数据;

所述第一确定模块302进一步用于:

从所述处理后的点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点。

一种可能的实施方式中,在所述点云数据与所述三维坐标数据不位于同一坐标系的情况下,所述生成模块304进一步按照如下方式生成所述道路场景对应的电子地图:

将所述目标空间点的所述三维坐标数据转换至采集所述点云数据的雷达设备对应的坐标系下,生成与所述点云数据位于同一坐标系下的转换后的三维坐标数据;

基于所述转换后的三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图;或者,

将所述点云数据转换至采集所述场景图像的摄像设备对应的相机坐标系下,生成与所述目标空间点的所述三维坐标数据位于同一坐标系下的处理后的点云数据;

基于所述目标空间点的所述三维坐标数据、和所述处理后的点云数据,生成所述道路场景对应的电子地图。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

基于同一技术构思,本公开实施例还提供了一种电子设备。参照图4所示,为本公开实施例提供的电子设备的结构示意图,包括处理器401、存储器402、和总线403。其中,存储器402用于存储执行指令,包括内存4021和外部存储器4022;这里的内存4021也称内存储器,用于暂时存放处理器401中的运算数据,以及与硬盘等外部存储器4022交换的数据,处理器401通过内存4021与外部存储器4022进行数据交换,当电子设备400运行时,处理器401与存储器402之间通过总线403通信,使得处理器401在执行以下指令:

获取道路场景的场景图像、和点云数据;

从所述点云数据指示的多个点云点中,确定与所述场景图像中目标像素点对应的目标空间点满足预设约束条件的目标点云点;其中,所述目标像素点为所述场景图像中对应于所述道路场景中的道路标识、且对应的目标空间点与所述多个点云点不重合的像素点;

基于所述目标点云点对应的目标点云数据、和所述目标像素点的像素坐标,确定所述目标像素点对应的所述目标空间点的三维坐标数据;

基于所述目标空间点的所述三维坐标数据、和所述点云数据,生成所述道路场景对应的电子地图。

此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的电子地图的生成方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的电子地图的生成方法的步骤,具体可参见上述方法实施例,在此不再赘述。

其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

相关技术
  • 电子地图片区生成方法、装置、电子设备及存储介质
  • 电子地图生成方法、装置、电子设备及存储介质
技术分类

06120112857564