掌桥专利:专业的专利平台
掌桥专利
首页

语义地图的构建方法、计算机可读存储介质和处理器

文献发布时间:2023-06-19 10:55:46


语义地图的构建方法、计算机可读存储介质和处理器

技术领域

本申请涉及自动驾驶领域,具体而言,涉及一种语义地图的构建方法、计算机可读存储介质、处理器和智能驾驶车辆。

背景技术

现有技术中,道路上经常出现施工区域,这会对车辆的行驶造成影响。

现有技术中的3D点云图像,并不能显示点云对应的物体是什么,即并未对物体进行区分,语义级别较低,不利于车辆准确高效地识别施工区域,也不利于后续根据施工区域的信息来准确高效地调整行驶策略。

因此,亟需一种能够准确标识施工区域的语义级别较高的地图。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种语义地图的构建方法、计算机可读存储介质、处理器和智能驾驶车辆,以解决现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题。

根据本发明实施例的一个方面,提供了一种语义地图的构建方法,包括:确定3D点云地图中的障碍区域,所述障碍区域为包括障碍物的区域;获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,所述障碍点为所述障碍区域中的点;在预定时间段内未检测到所述障碍区域的情况下,根据多个所述障碍点的位置信息生成所述语义地图。

可选地,确定3D点云地图中的障碍区域,包括:获取2D图像,得到所述2D图像中的所述障碍区域;根据所述2D图像以及对应的所述3D点云地图,确定所述3D点云地图中的所述障碍区域。

可选地,获取2D图像,得到所述2D图像中的所述障碍区域,包括:获取所述2D图像;确定所述2D图像中是否包括第一障碍区域和第二障碍区域,所述第一障碍区域为面积小于预定面积的所述障碍区域,所述第二障碍区域为面积大于或者等于所述预定面积的所述障碍区域;在所述2D图像中包括所述第一障碍区域的情况下,获取所述第一障碍区域的边框。

可选地,根据所述2D图像以及对应的所述3D点云地图,确定所述3D点云地图中的所述障碍区域,还包括:将所述边框投影到所述3D点云地图中;将所述边框对应的点云区域确定为障碍点云区域;将所述障碍点云区域确定为所述3D点云地图中的所述障碍区域。

可选地,根据所述2D图像以及对应的所述3D点云地图,确定所述3D点云地图中的所述障碍区域,包括:在所述2D图像中包括所述第二障碍区域的情况下,将所述3D点云地图中的点云投影到所述2D图像中,确定所述2D图像中的所述障碍区域对应的所述3D点云地图中的障碍点云区域;将所述障碍点云区域确定为所述3D点云地图中的所述障碍区域。

可选地,将所述3D点云地图中的点云投影到所述2D图像中,确定所述2D图像中的所述障碍区域对应的所述3D点云地图中的障碍点云区域,包括:将所述3D点云地图中的点云投影到所述2D图像中,确定障碍区域点,所述障碍区域点为所述2D图像中的所述障碍区域对应的所述3D点云地图中的点;基于3D点云的物体分割模型,根据所述障碍区域点,确定所述障碍点云区域。

可选地,获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,包括:提取第一障碍点,所述第一障碍点为所述3D点云地图中所述第一障碍区域包含的所有点;获取所述第一障碍点的位置信息并存储。

可选地,获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,包括:将所述第二障碍区域划分为多个障碍网格;确定所述障碍网格的中心为第二障碍点,获取所述第二障碍点的位置信息并存储。

可选地,在确定3D点云地图中的障碍区域之后,在获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储之前,所述方法还包括:采用二分匹配法对所述障碍区域进行追踪,得到追踪结果,所述追踪结果;根据所述追踪结果,确定预定障碍区域,所述预定障碍区域为满足预定条件的所述障碍区域,所述预定条件包括以下至少之一:追踪时间大于预定时间、所述障碍区域的点数大于预定点数、被激光雷达和图像采集设备都观测到过,获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,包括:获取3D点云地图中的所述预定障碍区域的多个障碍点的位置信息并存储。

可选地,在预定时间段内未检测到所述障碍区域的情况下,根据多个所述障碍点的位置信息生成所述语义地图之后,所述方法还包括:根据所述语义地图,更新行驶路线。

根据本发明实施例的另一方面,还提供了一种语义地图的构建方法,包括:智能驾驶车辆确定3D点云地图中的障碍区域,所述障碍区域为包括障碍物的区域;所述智能驾驶车辆获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,所述障碍点为所述障碍区域中的点;在预定时间段内未检测到所述障碍区域的情况下,所述智能驾驶车辆将多个所述障碍点的位置信息发送至服务端,所述服务端根据多个所述障碍点的位置信息生成所述语义地图。

可选地,智能驾驶车辆确定3D点云地图中的障碍区域,包括:所述智能驾驶车辆获取2D图像,得到所述2D图像中的障碍区域;所述智能驾驶车辆根据所述2D图像以及对应的所述3D点云地图,确定所述3D点云地图中的所述障碍区域。

可选地,所述智能驾驶车辆获取2D图像,得到所述2D图像中的障碍区域,包括:所述智能驾驶车辆获取2D图像;所述智能驾驶车辆确定所述2D图像中是否包括第一障碍区域和第二障碍区域,所述第一障碍区域为面积小于预定面积的所述障碍区域,所述第二障碍区域为面积大于或者等于所述预定面积的所述障碍区域;所述智能驾驶车辆在所述2D图像中包括所述第一障碍区域的情况下,获取所述第一障碍区域的边框。

可选地,所述智能驾驶车辆获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,包括:提取第一障碍点,所述第一障碍点为所述3D点云地图中所述第一障碍区域包含的所有点;获取所述第一障碍点的位置信息并存储。

可选地,所述智能驾驶车辆获取3D点云地图中的所述障碍区域的多个障碍点的位置信息并存储,包括:将所述第二障碍区域划分为多个障碍网格;确定所述障碍网格的中心为第二障碍点,获取所述第二障碍点的位置信息并存储。

可选地,所述智能驾驶车辆将多个所述障碍点的位置信息发送至服务端,包括:删除多个所述障碍点中的未出现在连续预定帧地图中的每一帧的所述障碍点,剩下的为保留障碍点;对所述保留障碍点进行聚类,得到多个点簇;若所述点簇中的所述保留障碍点为所述第一障碍点,则将对应的所述点簇生成一个凹包;若所述点簇中的所述保留障碍点为所述第二障碍点,则将对应的所述点簇生成一个凸包;将所述凸包和所述凹包发送至所述服务端。

根据本发明实施例的再一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序执行任意一种所述的方法。

根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任意一种所述的方法。

根据本发明实施例的又一方面,还提供了一种智能驾驶车辆,包括:一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的方法

在本发明实施例中,首先,确定3D点云地图中的障碍区域,之后,根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,最后,在预定时间段内未检测到障碍区域的情况下,根据多个障碍点的位置信息,生成语义地图。该方法中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1示出了根据本申请的实施例的一种语义地图的构建方法的流程示意图;

图2示出了根据本申请的实施例的另一种语义地图的构建方法的流程示意图;

图3示出了根据本申请的实施例的一种语义地图的构建装置的结构示意图。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的,现有技术中缺乏能够准确标识施工区域的语义级别较高的地图,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种语义地图的构建方法、计算机可读存储介质、处理器和智能驾驶车辆。

根据本申请的实施例,提供了一种语义地图的构建方法。图1是根据本申请实施例的语义地图的构建方法的流程图。如图1所示,该方法包括以下步骤:

步骤S101,确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域,障碍物区域中的任意相邻两个障碍物之间的距离小于预定距离;

步骤S102,获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

步骤S103,在预定时间段内未检测到上述障碍区域的情况下,根据多个上述障碍点的位置信息生成上述语义地图。

上述的方法中,首先,确定3D点云地图中的障碍区域,之后,根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,最后,在预定时间段内未检测到障碍区域的情况下,根据多个障碍点的位置信息,生成语义地图。该方法中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

在实际应用中,障碍区域可能是锥桶、单个路障和/或水马组成的区域等等。

本申请的一种实施例中,确定3D点云地图中的障碍区域,包括:获取2D图像,得到上述2D图像中的上述障碍区域;根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域。该实施例中,根据获取到的2D图像以及3D点云地图,可以更为准确地确定3D点云地图中的障碍区域,从而保证了后续可以更准确地获取障碍区域的多个障碍点,进而可以进一步保证后续可以生成准确的语义地图。

具体地,上述2D图像为车上的相机拍摄得到,可以通过神经网络训练模型确定该图像中的障碍物以及其具体位置。

本申请的再一种实施例中,获取2D图像,得到上述2D图像中的上述障碍区域,包括:获取上述2D图像;确定上述2D图像中是否包括第一障碍区域和第二障碍区域,上述第一障碍区域为面积小于预定面积的上述障碍区域,上述第二障碍区域为面积大于或者等于上述预定面积的上述障碍区域;在上述2D图像中包括上述第一障碍区域的情况下,获取上述第一障碍区域的边框。该实施例中,针对不同面积的障碍区域,获取不同的信息,后续可以根据不同的信息确定障碍区域。

本申请的又一种实施例中,根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域,还包括:将上述边框投影到上述3D点云地图中,具体地,将障碍物的边框投射到3D坐标系中;将上述边框对应的点云区域确定为障碍点云区域,从而可以得到障碍物点云区域的真实位置;将上述障碍点云区域确定为上述3D点云地图中的上述障碍区域。该实施例中,将边框投影到3D点云地图中,可以更加高效地确定边框中的点云区域为障碍点云区域,保证了生成语义地图的效率较高。

具体地,将上述2D图像中的障碍区域的边框的底边的中点投向3D坐标系中,以从该点向上的搜索方向上去查找地面点,以该地面点为中心,收集周围属于2D图像中边框内的点,然后形成3D点云地图中的障碍区域,即得到3D点云地图中的障碍区域。

本申请的另一种实施例中,根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域,包括:在上述2D图像中包括上述第二障碍区域的情况下,将上述3D点云地图中的点云投影到上述2D图像中,确定上述2D图像中的上述障碍区域对应的上述3D点云地图中的障碍点云区域;将上述障碍点云区域确定为上述3D点云地图中的上述障碍区域。该实施例中,通过将3D点云地图中的点云投影到2D图像中,可以更加准确且直接地确定2D图像中的障碍区域对应3D点云地图中的障碍点云区域,可以进一步准确地确定障碍点云区域为3D点云地图中的障碍区域,后续可以更准确地获取障碍区域的多个障碍点。

本申请的一种具体的实施例中,将上述3D点云地图中的点云投影到上述2D图像中,确定上述2D图像中的上述障碍区域对应的上述3D点云地图中的障碍点云区域,包括:将上述3D点云地图中的点云投影到上述2D图像中,确定障碍区域点,上述障碍区域点为上述2D图像中的上述障碍区域对应的上述3D点云地图中的点;基于3D点云的物体分割模型,根据上述障碍区域点,确定上述障碍点云区域。该实施例中,先确定障碍区域点,后再基于3D点云的物体分割模型对障碍区域点进行分割,可以进一步准确地确定障碍点云区域。

本申请的再一种具体的实施例中,获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,包括:提取第一障碍点,上述第一障碍点为上述3D点云地图中上述第一障碍区域包含的所有点;获取上述第一障碍点的位置信息并存储。该实施例中,由于第一障碍区域为占地面积较小的障碍区域,其对应的第一障碍点较少,因此,可以将所有的第一障碍点的位置信息进行存储,这样保证可以根据障碍点的位置信息更为准确且高效地生成语义地图。

本申请的又一种实施例中,获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,包括:将上述第二障碍区域划分为多个障碍网格;确定上述障碍网格的中心为第二障碍点,获取上述第二障碍点的位置信息并存储。该实施例中,由于第二障碍区域为占地面积较大的障碍区域,其对应的第二障碍点较多,若果对所有的第二障碍点进行储存等处理,其效率相对较低,因此通过将第二障碍区域进行划分,每一个障碍网格都有对应的数据量,使得数据量较小,并且,将障碍网格的中心点作为第二障碍点,使得获取到的第二障碍点较为准确,进而根据第二障碍点,后续可以更为高效准确地生成语义地图。

本申请的另一种实施例中,在确定3D点云地图中的障碍区域之后,在获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储之前,上述方法还包括:采用二分匹配法对上述障碍区域进行追踪,得到踪结果,具体地,将上一帧追踪结束的障碍区域和当前帧的检测到的障碍区域进行一对一的二分匹配,将匹配的结果输出,即得到追踪结果;根据上述追踪结果,确定预定障碍区域,上述预定障碍区域为满足预定条件的上述障碍区域,上述预定条件包括以下至少之一:追踪时间大于预定时间、上述障碍区域的点数大于预定点数、被激光雷达和图像采集设备都观测到过,获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,包括:获取3D点云地图中的上述预定障碍区域的多个障碍点的位置信息并存储。该实施例中,通过二分匹配法可以更为高效地对障碍区域进行追踪,进而可以得到更为准确地障碍区域,根据追踪结果可以进一步准确地确定预定障碍区域,通过将障碍区域的多个障碍点的位置信息进行存储,后续可以根据障碍点的位置信息后续可以更为准确且高效地生成语义地图。

根据本申请的实施例,提供了另一种语义地图的构建方法。图2是根据本申请实施例的语义地图的构建方法的流程图。如图2示,该方法包括以下步骤:

步骤S201,智能驾驶车辆确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域;

步骤S202,上述智能驾驶车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

步骤S203,在预定时间段内未检测到上述障碍区域的情况下,上述智能驾驶车辆将多个上述障碍点的位置信息发送至服务端,上述服务端根据多个上述障碍点的位置信息生成上述语义地图。

上述的方法中,首先,智能驾驶车辆确定3D点云地图中的障碍区域,之后,智能驾驶车辆根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,最后,在预定时间段内未检测到障碍区域的情况下,智能驾驶车辆将多个障碍点的位置信息发送至服务端,服务端根据接收到的多个障碍点的位置信息,生成语义地图。该方法中,智能驾驶车辆根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,将多个障碍点的位置信息发送至服务端,服务端可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整智能驾驶车辆的行驶策略,保证智能驾驶车辆的行驶安全。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

在实际应用中,障碍区域可能是锥桶、单个路障和/或水马组成的区域等等。

本申请的一种实施例中,智能驾驶车辆确定3D点云地图中的障碍区域,包括:上述智能驾驶车辆获取2D图像,得到上述2D图像中的障碍区域;上述智能驾驶车辆根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域。该实施例中,根据获取到的2D图像以及3D点云地图,可以更为准确地确定3D点云地图中的障碍区域,从而保证了后续可以更准确地获取障碍区域的多个障碍点,进而可以进一步保证后续可以生成准确的语义地图。

本申请的再一种实施例中,上述智能驾驶车辆获取2D图像,得到上述2D图像中的障碍区域,包括:上述智能驾驶车辆获取2D图像;上述智能驾驶车辆确定上述2D图像中是否包括第一障碍区域和第二障碍区域,上述第一障碍区域为面积小于预定面积的上述障碍区域,上述第二障碍区域为面积大于或者等于上述预定面积的上述障碍区域;上述智能驾驶车辆在上述2D图像中包括上述第一障碍区域的情况下,获取上述第一障碍区域的边框。该实施例中,针对不同面积的障碍区域,获取不同的信息,后续可以根据不同的信息确定障碍区域。

本申请的又一种实施例中,根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域,还包括:将上述边框投影到上述3D点云地图中;将上述边框对应的点云区域确定为障碍点云区域;将上述障碍点云区域确定为上述3D点云地图中的上述障碍区域。该实施例中,将边框投影到3D点云地图中,可以更加高效地确定边框中的点云区域为障碍点云区域,保证了生成语义地图的效率较高。

本申请的另一种实施例中,上述智能驾驶车辆根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域,包括:在上述2D图像中包括上述第二障碍区域的情况下,将上述3D点云地图中的点云投影到上述2D图像中,确定上述2D图像中的上述障碍区域对应的上述3D点云地图中的障碍点云区域;将上述障碍点云区域确定为上述3D点云地图中的上述障碍区域。该实施例中,通过将3D点云地图中的点云投影到2D图像中,可以更加准确且直接地确定2D图像中的障碍区域对应3D点云地图中的障碍点云区域,可以进一步准确地确定障碍点云区域为3D点云地图中的障碍区域,后续可以更准确地获取障碍区域的多个障碍点。

本申请的一种具体的实施例中,将上述3D点云地图中的点云投影到上述2D图像中,确定上述2D图像中的上述障碍区域对应的上述3D点云地图中的障碍点云区域,包括:将上述3D点云地图中的点云投影到上述2D图像中,确定障碍区域点,上述障碍区域点为上述2D图像中的上述障碍区域对应的上述3D点云地图中的点;基于3D点云的物体分割模型,根据上述障碍区域点,确定上述障碍点云区域。该实施例中,先确定障碍区域点,后再基于3D点云的物体分割模型对障碍区域点进行分割,可以进一步准确地确定障碍点云区域。

本申请的再一种具体的实施例中,上述智能驾驶车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,包括:提取第一障碍点,上述第一障碍点为上述3D点云地图中上述第一障碍区域包含的所有点;获取上述第一障碍点的位置信息并存储。该实施例中,由于第一障碍区域为占地面积较小的障碍区域,其对应的第一障碍点较少,因此,可以将所有的第一障碍点的位置信息进行存储,这样保证可以根据障碍点的位置信息更为准确且高效地生成语义地图。

本申请的又一种实施例中,上述智能驾驶车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,包括:将上述第二障碍区域划分为多个障碍网格;确定上述障碍网格的中心为第二障碍点,获取上述第二障碍点的位置信息并存储。该实施例中,由于第二障碍区域为占地面积较大的障碍区域,其对应的第二障碍点较多,若果对所有的第二障碍点进行储存等处理,其效率相对较低,因此通过将第二障碍区域进行划分,每一个障碍网格都有对应的数据量,使得数据量较小,并且,将障碍网格的中心点作为第二障碍点,使得获取到的第二障碍点较为准确,进而根据第二障碍点,后续可以更为高效准确地生成语义地图。

本申请的另一种实施例中,在上述智能驾驶车辆确定3D点云地图中的障碍区域之后,在上述智能驾驶车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储之前,上述方法还包括:采用二分匹配法对上述障碍区域进行追踪,得到追踪结果,具体地,将上一帧追踪结束的障碍区域和当前帧的检测到的障碍区域进行一对一的二分匹配,将匹配的结果输出,即得到追踪结果;根据上述追踪结果,确定预定障碍区域,上述预定障碍区域为满足预定条件的上述障碍区域,上述预定条件包括以下至少之一:追踪时间大于预定时间、上述障碍区域的点数大于预定点数、被激光雷达和图像采集设备都观测到过,上述智能驾驶车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,包括:获取3D点云地图中的上述预定障碍区域的多个障碍点的位置信息并存储。该实施例中,通过二分匹配法可以更为高效地对障碍区域进行追踪,进而可以得到更为准确地障碍区域,根据追踪结果可以进一步准确地确定预定障碍区域,通过将障碍区域的多个障碍点的位置信息进行存储,后续可以根据障碍点的位置信息后续可以更为准确且高效地生成语义地图。

本申请的再一种实施例中,上述智能驾驶车辆将多个上述障碍点的位置信息发送至服务端,包括:删除多个上述障碍点中的未出现在连续预定帧地图中的每一帧的上述障碍点,剩下的为保留障碍点;对上述保留障碍点进行聚类,得到多个点簇;若上述点簇中的上述保留障碍点为上述第一障碍点,则将对应的上述点簇生成一个凹包;若上述点簇中的上述保留障碍点为上述第二障碍点,则将对应的上述点簇生成一个凸包;将上述凸包和上述凹包发送至上述服务端。该实施例中,生成的凹包和凸包发送至服务端,后续服务端接收凹包和凸包,根据凹包和凸包可以更为准确地切高效地生成语义地图。

本申请实施例还提供了一种语义地图的构建装置,需要说明的是,本申请实施例的语义地图的构建装置可以用于执行本申请实施例所提供的用于语义地图的构建方法。以下对本申请实施例提供的语义地图的构建装置进行介绍。

图3是根据本申请实施例的语义地图的构建装置的示意图。如图3所示,该装置包括:

第一确定单元10,用于确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域;

获取单元20,用于获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

生成单元30,用于在预定时间段内未检测到上述障碍区域的情况下,根据多个上述障碍点的位置信息生成上述语义地图。

上述的装置中,第一确定单元确定3D点云地图中的障碍区域,获取单元根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,生成单元在预定时间段内未检测到障碍区域的情况下,根据多个障碍点的位置信息,生成语义地图。该装置中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

在实际应用中,障碍区域可能是锥桶、单个路障和/或水马组成的区域等等。

本申请的一种实施例中,第一确定单元包括第一获取模块和第一确定模块,第一获取模块用于获取2D图像,得到上述2D图像中的上述障碍区域;第一确定模块用于根据上述2D图像以及对应的上述3D点云地图,确定上述3D点云地图中的上述障碍区域。该实施例中,根据获取到的2D图像以及3D点云地图,可以更为准确地确定3D点云地图中的障碍区域,从而保证了后续可以更准确地获取障碍区域的多个障碍点,进而可以进一步保证后续可以生成准确的语义地图。

本申请的再一种实施例中,第一获取模块包括第一获取子模块、第一确定子模块和第二获取子模块,第一获取子模块用于获取上述2D图像;第一确定子模块用于确定上述2D图像中是否包括第一障碍区域和第二障碍区域,上述第一障碍区域为面积小于预定面积的上述障碍区域,上述第二障碍区域为面积大于或者等于上述预定面积的上述障碍区域;第二获取子模块用于在上述2D图像中包括上述第一障碍区域的情况下,获取上述第一障碍区域的边框。该实施例中,针对不同面积的障碍区域,获取不同的信息,后续可以根据不同的信息确定障碍区域。

本申请的又一种实施例中,第一确定模块包括投影子模块、第二确定子模块和第三确定子模块,投影子模块用于将上述边框投影到上述3D点云地图中;第二确定子模块用于将上述边框对应的点云区域确定为障碍点云区域;第三确定子模块用于将上述障碍点云区域确定为上述3D点云地图中的上述障碍区域。该实施例中,将边框投影到3D点云地图中,可以更加高效地确定边框中的点云区域为障碍点云区域,保证了生成语义地图的效率较高。

本申请的另一种实施例中,第一确定模块包括第四确定子模块和第五确定子模块,第四确定子模块用于在上述2D图像中包括上述第二障碍区域的情况下,将上述3D点云地图中的点云投影到上述2D图像中,确定上述2D图像中的上述障碍区域对应的上述3D点云地图中的障碍点云区域;第五确定子模块用于将上述障碍点云区域确定为上述3D点云地图中的上述障碍区域。该实施例中,通过将3D点云地图中的点云投影到2D图像中,可以更加准确且直接地确定2D图像中的障碍区域对应3D点云地图中的障碍点云区域,可以进一步准确地确定障碍点云区域为3D点云地图中的障碍区域,后续可以更准确地获取障碍区域的多个障碍点。

本申请的一种具体的实施例中,第四子模块还用于将上述3D点云地图中的点云投影到上述2D图像中,确定障碍区域点,上述障碍区域点为上述2D图像中的上述障碍区域对应的上述3D点云地图中的点;第四子模块还用于基于3D点云的物体分割模型,根据上述障碍区域点,确定上述障碍点云区域。该实施例中,先确定障碍区域点,后再基于3D点云的物体分割模型对障碍区域点进行分割,可以进一步准确地确定障碍点云区域。

本申请的再一种具体的实施例中,获取单元包括提取模块和第二获取模块,提取模块用于提取第一障碍点,上述第一障碍点为上述3D点云地图中上述第一障碍区域包含的所有点;第二获取模块用于获取上述第一障碍点的位置信息并存储。该实施例中,由于第一障碍区域为占地面积较小的障碍区域,其对应的第一障碍点较少,因此,可以将所有的第一障碍点的位置信息进行存储,这样保证可以根据障碍点的位置信息更为准确且高效地生成语义地图。

本申请的又一种实施例中,获取单元包括划分模块和第二确定模块,划分模块用于将上述第二障碍区域划分为多个障碍网格;第二确定模块用于确定上述障碍网格的中心为第二障碍点,获取上述第二障碍点的位置信息并存储。该实施例中,由于第二障碍区域为占地面积较大的障碍区域,其对应的第二障碍点较多,若果对所有的第二障碍点进行储存等处理,其效率相对较低,因此通过将第二障碍区域进行划分,每一个障碍网格都有对应的数据量,使得数据量较小,并且,将障碍网格的中心点作为第二障碍点,使得获取到的第二障碍点较为准确,进而根据第二障碍点,后续可以更为高效准确地生成语义地图。

本申请的另一种实施例中,上述装置还包括追踪单元和第二确定单元,追踪单元用于在确定3D点云地图中的障碍区域之后,在获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储之前,采用二分匹配法对上述障碍区域进行追踪,得到追踪结果,具体地,将上一帧追踪结束的障碍区域和当前帧的检测到的障碍区域进行一对一的二分匹配,将匹配的结果输出,即得到追踪结果;第二确定单元用于根据上述追踪结果,确定预定障碍区域,上述预定障碍区域为满足预定条件的上述障碍区域,上述预定条件包括以下至少之一:追踪时间大于预定时间、上述障碍区域的点数大于预定点数、被激光雷达和图像采集设备都观测到过,获取单元还包括第三获取模块,第三获取模块用于获取3D点云地图中的上述预定障碍区域的多个障碍点的位置信息并存储。该实施例中,通过二分匹配法可以更为高效地对障碍区域进行追踪,进而可以得到更为准确地障碍区域,根据追踪结果可以进一步准确地确定预定障碍区域,通过将障碍区域的多个障碍点的位置信息进行存储,后续可以根据障碍点的位置信息后续可以更为准确且高效地生成语义地图。

本申请还提供了一种车辆,包括一个或多个处理器,存储器以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置为由上述一个或多个处理器执行,上述一个或多个程序包括用于执行任意一种上述的方法。

上述的车辆中,程序执行任意一种上述的语义地图的构建方法,该方法中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

上述语义地图的构建装置包括处理器和存储器,上述第一确定单元、获取单元和生成单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来准确标识施工区域的语义级别较高的地图。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述语义地图的构建方法。

本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述语义地图的构建方法。

本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:

步骤S101,确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域;

步骤S102,获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

步骤S103,在预定时间段内未检测到上述障碍区域的情况下,根据多个上述障碍点的位置信息生成上述语义地图,或者

步骤S201,车辆确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域;

步骤S202,上述车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

步骤S203,在预定时间段内未检测到上述障碍区域的情况下,上述车辆将多个上述障碍点的位置信息发送至服务端,上述服务端根据多个上述障碍点的位置信息生成上述语义地图。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:

步骤S101,确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域;

步骤S102,获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

步骤S103,在预定时间段内未检测到上述障碍区域的情况下,根据多个上述障碍点的位置信息生成上述语义地图,或者

步骤S201,车辆确定3D点云地图中的障碍区域,上述障碍区域为包括障碍物的区域;

步骤S202,上述车辆获取3D点云地图中的上述障碍区域的多个障碍点的位置信息并存储,上述障碍点为上述障碍区域中的点;

步骤S203,在预定时间段内未检测到上述障碍区域的情况下,上述车辆将多个上述障碍点的位置信息发送至服务端,上述服务端根据多个上述障碍点的位置信息生成上述语义地图。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:

1)、本申请的语义地图的构建方法,首先,确定3D点云地图中的障碍区域,之后,根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,最后,在预定时间段内未检测到障碍区域的情况下,根据多个障碍点的位置信息,生成语义地图。该方法中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

2)、本申请的另一种语义地图的构建方法,首先,车辆确定3D点云地图中的障碍区域,之后,车辆根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,最后,在预定时间段内未检测到障碍区域的情况下,车辆将多个障碍点的位置信息发送至服务端,服务端根据接收到的多个障碍点的位置信息,生成语义地图。该方法中,车辆根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,将多个障碍点的位置信息发送至服务端,服务端可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

3)、本申请的语义地图的构建装置,第一确定单元确定3D点云地图中的障碍区域,获取单元根据确定的障碍区域获取3D地图中的多个障碍点的位置信息,其中,障碍点是障碍区域中的点,将获取到的位置信息进行存储,生成单元在预定时间段内未检测到障碍区域的情况下,根据多个障碍点的位置信息,生成语义地图。该装置中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

4)、本申请的车辆,程序执行任意一种上述的语义地图的构建方法,该方法中,根据获取到的障碍区域的多个障碍点的位置信息,在未检测到障碍区域时,可以根据多个障碍点的位置信息生成语义地图,可以准确标识施工区域,且语义地图针对不同的障碍物显示的颜色不同,即可以对不同物体进行区分,其语义级别较高,从而解决了现有技术中缺乏能够准确标识施工区域的语义级别较高的地图的问题,后续可以根据语义地图来准确高效地调整车辆的行驶策略,保证车辆的行驶安全。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 语义地图的构建方法、计算机可读存储介质和处理器
  • 基于卷积神经网络的语义地图构建方法及计算机存储介质
技术分类

06120112738875