掌桥专利:专业的专利平台
掌桥专利
首页

路面标识识别方法及装置

文献发布时间:2023-06-19 09:29:07


路面标识识别方法及装置

技术领域

本申请涉及汽车技术领域,尤其涉及一种路面标识识别方法及装置。

背景技术

随着汽车技术的不断发展,对路面标识进行识别的需求也越来越多。

通常,是通过对图像采集装置所采集到的图像进行处理,获得路面标识的识别结果,该图像采集装置可以设置在车辆上。由于基于图像进行路面标识识别的方式,其准确性受成像质量影响较大,当成像质量较好时,由于图像中有用信息较多因此可以获得准确性较高的识别结果,当成像质量较差时,由于图像中有用信息较少因此识别准确性较低,当成像质量非常低时,已无法用于路面标识的识别。

因此,上述基于图像进行路面标识识别的方式,使用场景较为局限,难以满足用户的需求。

发明内容

本申请实施例提供一种路面标识识别方法及装置,用以解决现有技术中基于图像进行路面标识识别的方式,存在使用局限性较大的问题。

第一方面,本申请实施例提供一种路面标识识别方法,包括:

获得激光雷达探测得到的三维点云数据,所述三维点云数据包含路面标识区域的反射数据;

将所述三维点云数据压缩成二维点云特征图;

处理所述二维点云特征图,得到路面标识识别结果。

第二方面,本申请实施例提供一种路面标识识别装置,包括:处理器和存储器;所述存储器,用于存储程序代码;所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:

获得激光雷达探测得到的三维点云数据,所述三维点云数据包含路面标识区域的反射数据;

将所述三维点云数据压缩成二维点云特征图;

处理所述二维点云特征图,得到路面标识识别结果。

第三方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包含至少一段代码,所述至少一段代码可由计算机执行,以控制所述计算机执行上述第一方面任一项所述的方法。

第四方面,本申请实施例提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现上述第一方面任一项所述的方法。

本申请实施例提供一种路面标识识别方法及装置,通过获得激光雷达探测得到的三维点云数据,三维点云数据包含路面标识区域的数据,将三维点云数据压缩成二维点云特征图,处理二维点云特征图,得到路面标识识别结果,由于激光雷达的可靠性较高,且受环境因素影响非常小,即使在恶劣的成像环境下基于激光雷达获得的三维点云数据也能够获得准确性较高的路面标识识别结果,使得路面标识识别不再受限于成像环境,扩大了路面标识识别的使用场景,解决了传统技术中基于图像进行路边标识识别的方式使用场景较为局限,难以满足用户需求的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1A-图1B为本申请实施例提供的路面标识识别方法的应用场景示意图;

图1C为激光雷达的结构示意图;

图2为激光雷达采用同轴光路的示意图;

图3为激光雷达的扫描图案的示意图;

图4为本申请一实施例提供的路面标识识别方法的流程示意图;

图5为本申请另一实施例提供的路面标识识别方法的流程示意图;

图6为本申请又一实施例提供的路面标识识别方法的流程示意图;

图7为本申请实施例提供的预设神经网络模型的示意图;

图8为本申请实施例提供的目标方向与路面距离的关系示意图一;

图9A-图9B为本申请实施例提供的路面标识的形状被压缩的示意图;

图10为本申请实施例提供的目标方向与路面距离的关系示意图二;

图11为本申请实施例提供的曲面路面的目标方向的示意图;

图12为本申请一实施例提供的路面标识识别装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例提供的路面标识识别方法可以应用于任何需要进行路面标识识别的场景中,该路面标识识别方法具体可以由路面标识识别装置执行。该路面标识识别装置可以为包括激光雷达的装置,相应的,本申请实施例提供的路面标识识别方法的应用场景示意图可以如图1A所示,具体的,该路面标识识别装置的激光雷达可以探测得到三维点云数据,路面标识识别装置的处理器可以对激光雷达得到的三维点云数据采用本申请实施例提供的路面标识识别方法进行处理。需要说明的是,图1A仅为示意图,并不对路面标识识别装置的结构作限定。

或者,该路面标识识别装置也可以为不包括激光雷达的装置,相应的,本申请实施例提供的路面标识识别方法的应用场景示意图可以如图1B所示,具体的,该路面标识识别装置的通信接口可以接收其他装置或设备发送的由激光雷达探测获得的三维点云数据,路面标识识别装置的处理器可以对接收到的三维点云数据采用本申请实施例提供的路面标识识别方法进行处理。需要说明的是,图1B仅为示意图,并不对路面标识识别装置的结构以及路面标识识别装置与其他装置或设备之间的连接方式作限定,例如图像处理装置中通信接口可以替换为收发器。

其中,激光雷达用于感测外部环境信息,例如,环境目标的距离信息、方位信息、反射强度信息、速度信息等。一种实现方式中,激光雷达可以通过测量激光雷达和探测物之间光传播的时间,即光飞行时间(Time-of-Flight,TOF),来探测探测物到激光雷达的距离。或者,激光雷达也可以通过其他技术来探测探测物到激光雷达的距离,例如基于相位移动(phase shift)测量的测距方法,或者基于频率移动(frequency shift)测量的测距方法,在此不做限制。

为了便于理解,以下将结合图1C所示的激光雷达100对测距的工作流程进行举例描述。如图1C所示,激光雷达100可以包括发射电路110、接收电路120、采样电路130和运算电路140。

发射电路110可以发射光脉冲序列(例如激光脉冲序列)。接收电路120可以接收经过被探测物反射的光脉冲序列,并对该光脉冲序列进行光电转换,以得到电信号,再对电信号进行处理之后可以输出给采样电路130。采样电路130可以对电信号进行采样,以获取采样结果。运算电路140可以基于采样电路130的采样结果,以确定激光雷达100与被探测物之间的距离。

可选地,该激光雷达100还可以包括控制电路150,该控制电路150可以实现对其他电路的控制,例如,可以控制各个电路的工作时间和/或对各个电路进行参数设置等。

应理解,虽然图1C示出的激光雷达中包括一个发射电路、一个接收电路、一个采样电路和一个运算电路,用于出射一路光束进行探测,但是本申请实施例并不限于此,发射电路、接收电路、采样电路、运算电路中的任一种电路的数量也可以是至少两个,用于沿相同方向或分别沿不同方向出射至少两路光束;其中,该至少两束光路可以是同时出射,也可以是分别在不同时刻出射。一个示例中,该至少两个发射电路中的发光芯片封装在同一个模块中。例如,每个发射电路包括一个激光发射芯片,该至少两个发射电路中的激光发射芯片中的裸片(die)封装到一起,容置在同一个封装空间中。

一些实现方式中,除了图1C所示的电路,激光雷达100还可以包括扫描模块160,用于将发射电路出射的至少一路激光脉冲序列改变传播方向出射。

其中,可以将包括发射电路110、接收电路120、采样电路130和运算电路140的模块,或者,包括发射电路110、接收电路120、采样电路130、运算电路140和控制电路150的模块称为测距模块,该测距模块150可以独立于其他模块,例如,扫描模块160。

激光雷达中可以采用同轴光路,也即激光雷达出射的光束和经反射回来的光束在激光雷达内共用至少部分光路。例如,发射电路出射的至少一路激光脉冲序列经扫描模块改变传播方向出射后,经探测物反射回来的激光脉冲序列经过扫描模块后入射至接收电路。或者,激光雷达也可以采用异轴光路,也即激光雷达出射的光束和经反射回来的光束在激光雷达内分别沿不同的光路传输。图2示出了本申请的激光雷达采用同轴光路的一种实施例的示意图。

激光雷达200包括测距模块201,测距模块210包括发射器203(可以包括上述的发射电路)、准直元件204、探测器205(可以包括上述的接收电路、采样电路和运算电路)和光路改变元件206。测距模块210用于发射光束,且接收回光,将回光转换为电信号。其中,发射器203可以用于发射光脉冲序列。在一个实施例中,发射器203可以发射激光脉冲序列。可选的,发射器203发射出的激光束为波长在可见光范围之外的窄带宽光束。准直元件204设置于发射器的出射光路上,用于准直从发射器203发出的光束,将发射器203发出的光束准直为平行光出射至扫描模块。准直元件还用于会聚经探测物反射的回光的至少一部分。该准直元件204可以是准直透镜或者是其他能够准直光束的元件。

在图2所示实施例中,通过光路改变元件206来将激光雷达内的发射光路和接收光路在准直元件104之前合并,使得发射光路和接收光路可以共用同一个准直元件,使得光路更加紧凑。在其他的一些实现方式中,也可以是发射器103和探测器105分别使用各自的准直元件,将光路改变元件206设置在准直元件之后的光路上。

在图2所示实施例中,由于发射器103出射的光束的光束孔径较小,激光雷达所接收到的回光的光束孔径较大,所以光路改变元件可以采用小面积的反射镜来将发射光路和接收光路合并。在其他的一些实现方式中,光路改变元件也可以采用带通孔的反射镜,其中该通孔用于透射发射器203的出射光,反射镜用于将回光反射至探测器205。这样可以减小采用小反射镜的情况中小反射镜的支架会对回光的遮挡。

在图2所示实施例中,光路改变元件偏离了准直元件204的光轴。在其他的一些实现方式中,光路改变元件也可以位于准直元件204的光轴上。

激光雷达200还包括扫描模块202。扫描模块202放置于测距模块201的出射光路上,扫描模块102用于改变经准直元件204出射的准直光束219的传输方向并投射至外界环境,并将回光投射至准直元件204。回光经准直元件104汇聚到探测器105上。

在一个实施例中,扫描模块202可以包括至少一个光学元件,用于改变光束的传播路径,其中,该光学元件可以通过对光束进行反射、折射、衍射等等方式来改变光束传播路径。例如,扫描模块202包括透镜、反射镜、棱镜、振镜、光栅、液晶、光学相控阵(OpticalPhased Array)或上述光学元件的任意组合。一个示例中,至少部分光学元件是运动的,例如通过驱动模块来驱动该至少部分光学元件进行运动,该运动的光学元件可以在不同时刻将光束反射、折射或衍射至不同的方向。在一些实施例中,扫描模块202的多个光学元件可以绕共同的轴209旋转或振动,每个旋转或振动的光学元件用于不断改变入射光束的传播方向。在一个实施例中,扫描模块202的多个光学元件可以以不同的转速旋转,或以不同的速度振动。在另一个实施例中,扫描模块202的至少部分光学元件可以以基本相同的转速旋转。在一些实施例中,扫描模块的多个光学元件也可以是绕不同的轴旋转。在一些实施例中,扫描模块的多个光学元件也可以是以相同的方向旋转,或以不同的方向旋转;或者沿相同的方向振动,或者沿不同的方向振动,在此不作限制。

在一个实施例中,扫描模块202包括第一光学元件214和与第一光学元件214连接的驱动器216,驱动器216用于驱动第一光学元件214绕转动轴209转动,使第一光学元件214改变准直光束219的方向。第一光学元件214将准直光束219投射至不同的方向。在一个实施例中,准直光束219经第一光学元件改变后的方向与转动轴109的夹角随着第一光学元件214的转动而变化。在一个实施例中,第一光学元件214包括相对的非平行的一对表面,准直光束219穿过该对表面。在一个实施例中,第一光学元件214包括厚度沿至少一个径向变化的棱镜。在一个实施例中,第一光学元件114包括楔角棱镜,对准直光束119进行折射。

在一个实施例中,扫描模块202还包括第二光学元件215,第二光学元件215绕转动轴209转动,第二光学元件215的转动速度与第一光学元件214的转动速度不同。第二光学元件215用于改变第一光学元件214投射的光束的方向。在一个实施例中,第二光学元件115与另一驱动器217连接,驱动器117驱动第二光学元件215转动。第一光学元件214和第二光学元件215可以由相同或不同的驱动器驱动,使第一光学元件214和第二光学元件215的转速和/或转向不同,从而将准直光束219投射至外界空间不同的方向,可以扫描较大的空间范围。在一个实施例中,控制器218控制驱动器216和217,分别驱动第一光学元件214和第二光学元件215。第一光学元件214和第二光学元件215的转速可以根据实际应用中预期扫描的区域和样式确定。驱动器216和217可以包括电机或其他驱动器。

在一个实施例中,第二光学元件115包括相对的非平行的一对表面,光束穿过该对表面。在一个实施例中,第二光学元件115包括厚度沿至少一个径向变化的棱镜。在一个实施例中,第二光学元件115包括楔角棱镜。

一个实施例中,扫描模块102还包括第三光学元件(图未示)和用于驱动第三光学元件运动的驱动器。可选地,该第三光学元件包括相对的非平行的一对表面,光束穿过该对表面。在一个实施例中,第三光学元件包括厚度沿至少一个径向变化的棱镜。在一个实施例中,第三光学元件包括楔角棱镜。第一、第二和第三光学元件中的至少两个光学元件以不同的转速和/或转向转动。

扫描模块202中的各光学元件旋转可以将光投射至不同的方向,例如方向211和213,如此对激光雷达200周围的空间进行扫描。如图3所示,图3为激光雷达200的一种扫描图案的示意图。可以理解的是,扫描模块内的光学元件的速度变化时,扫描图案也会随之变化。

当扫描模块202投射出的光211打到探测物201时,一部分光被探测物201沿与投射的光211相反的方向反射至激光雷达200。探测物201反射的回光212经过扫描模块202后入射至准直元件204。

探测器205与发射器203放置于准直元件204的同一侧,探测器205用于将穿过准直元件204的至少部分回光转换为电信号。

一个实施例中,各光学元件上镀有增透膜。可选的,增透膜的厚度与发射器103发射出的光束的波长相等或接近,能够增加透射光束的强度。

一个实施例中,激光雷达中位于光束传播路径上的一个元件表面上镀有滤光层,或者在光束传播路径上设置有滤光器,用于至少透射发射器所出射的光束所在波段,反射其他波段,以减少环境光给接收器带来的噪音。

在一些实施例中,发射器203可以包括激光二极管,通过激光二极管发射纳秒级别的激光脉冲。进一步地,可以确定激光脉冲接收时间,例如,通过探测电信号脉冲的上升沿时间和/或下降沿时间确定激光脉冲接收时间。如此,激光雷达200可以利用脉冲接收时间信息和脉冲发出时间信息计算TOF,从而确定探测物201到激光雷达200的距离。

在一种实施方式中,本申请实施方式的激光雷达可应用于移动平台,激光雷达可安装在移动平台的平台本体。具有激光雷达的移动平台可对路面标识进行识别。在某些实施方式中,移动平台包括无人飞行器、汽车、遥控车、机器人、相机中的至少一种。当激光雷达应用于无人飞行器时,平台本体为无人飞行器的机身。当激光雷达应用于汽车时,平台本体为汽车的车身。该汽车可以是自动驾驶汽车或者半自动驾驶汽车,在此不做限制。当激光雷达应用于遥控车时,平台本体为遥控车的车身。当激光雷达应用于机器人时,平台本体为机器人。当激光雷达应用于相机时,平台本体为相机本身。

需要说明的是,对于包括该路面标识识别装置的设备的类型,本申请实施例可以不做限定,该设备例如可以服务器、自动驾驶汽车、半自动驾驶汽车等。

本申请实施例提供的路面标识识别方法,通过将激光雷达探测获得的三维点云数据压缩成二维点云特征图,并处理二维点云特征图得到路面标识识别结果,由于激光雷达的可靠性较高,且受环境因素影响非常小,即使在恶劣的成像环境下基于激光雷达获得的三维点云数据也能够获得准确性较高的路面标识识别结果,使得路面标识识别不再受限于成像环境,扩大了路面标识识别的使用场景,解决了传统技术中基于图像进行路边标识识别的方式使用场景较为局限,难以满足用户需求的问题。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

图4为本申请一实施例提供的路面标识识别方法的流程示意图,本实施例的执行主体可以为路面标识识别装置,具体可以为路面标识识别装置的处理器。如图4所示,本实施例的方法可以包括:

步骤401,获得激光雷达探测得到的三维点云数据,所述三维点云数据包含路面标识区域的反射数据。

本步骤中,激光雷达(Laser Radar)也可以称为激光探测及测距系统(LightDetection and Ranging,LiDAR),由激光雷达对周围环境进行扫描所获取的数据即为三维点云数据。所述三维点云数据中包含路面标识区域的反射数据,反射数据可以是指经路面标识区域反射的回光所携带的数据,可以理解为三维点云数据是由激光雷达对设置有路面标识的路面进行扫描所获得的数据。三维点云数据中每个点可以包含三维坐标和反射率信息。

路面标识区域可以是指路面标识所在的位置范围。其中,路面标识具体可以为设置在路面上用于标识行车规范的任意类型标识。示例性的,路面标识可以是各种车道线,例如双实线、单实线、间断线,或者路面导流标识。路面标识还可以包括左转箭头、右转箭头、直行箭头等。需要说明的是,本申请提供的路面标识识别方法能够识别的路面标识可以为所有路面标识中的一种或多种。该一种或多种路面标识可以理解为特定路面标识。

步骤402,将所述三维点云数据压缩成二维点云特征图。

本步骤中,立体空间的三维点云数据压缩成平面空间中的二维点云特征图,三维点云数据中的多个点可以对应二维点云特征图中的一个像素。二维点云特征图中包含有能够用于识别路面标识的特征信息。

需要说明的是,二维点云特征图的个数可以与特征信息的种类数对应,例如,假设特征信息的种类数为2时,二维点云特征图的个数可以为2,分别为二维点云特征图1和二维点云特征图2,其中,二维点云特征图1中像素值可以表示一种是特征信息,二维点云特征图2中的像素值可以表示另一种特征信息。

步骤403,处理所述二维点云特征图,得到路面标识识别结果。

本步骤中,由于二维点云特征图中包含有能够用于识别路边标识的特征信息,因此,通过处理二维点云特征图可以得到路面标识识别结果。示例性的,路面标识识别结果可以为三维点云数据中是否包含特定路面标识,例如路面标识结果可以为包含单实线或不包含单实线。示例性的,路面标识识别结果可以为三维点云数据中包含的特定路面标识的类别,例如,路面标识结果可以为单实线、间断线。

本实施例中,通过获得激光雷达探测得到的三维点云数据,三维点云数据包含路面标识区域的数据,将三维点云数据压缩成二维点云特征图,处理二维点云特征图,得到路面标识识别结果,由于激光雷达的可靠性较高,且受环境因素影响非常小,即使在恶劣的成像环境下基于激光雷达获得的三维点云数据也能够获得准确性较高的路面标识识别结果,使得路面标识识别不再受限于成像环境,扩大了路面标识识别的使用场景,解决了传统技术中基于图像进行路边标识识别的方式使用场景较为局限,难以满足用户需求的问题。

图5为本申请另一实施例提供的路面标识识别方法的流程示意图,本实施例在图5所示实施例的基础上,主要描述了处理二维点云特征图,得到路面标识识别结果的一种可选的实现方式。如图5所示,本实施例的方法可以包括:

步骤501,获得激光雷达探测得到的三维点云数据,所述三维点云数据包含路面标识区域的反射数据。

需要说明的是,步骤501与步骤401类似,在此不再赘述。

步骤502,将所述三维点云数据压缩成二维点云特征图。

本步骤中,根据目标方向压缩所述三维点云数据,得到包含特征信息的二维点云特征图,所述特征信息包括相对高度信息和/或反射率信息,所述目标方向为可以获得能够用于识别路面标识的特征信息的任意方向。示例性的,目标方向包括竖直方向,相应的,所述二维点云特征图可以理解为二维水平面点云特征图,以便于简化实现。

其中,相对高度信息可以是指物体在目标方向上相对于目标参照物的高度信息,目标参照物可以包括激光雷达或用于设置激光雷达的移动平台。由于路面标识是设置在路面上,路面与目标参照物之间的相对高度信息通常可以满足一定条件,因此根据相对高度信息可以识别路面标识,即相对高度信息可以用于识别路面标识。

反射率信息可以是指激光雷达采集到的回波能量占激光雷达的发射能量的百分比,由于反射率主要取决于物体本身的性质,以及入射波长和入射角度,因此在入射波长和入射角度一定时,可以根据反射率识别物体,即反射率信息可以用于识别路面标识。

通过特征信息包括相对高度信息,可以避免由于压缩导致的信息丢失问题,通过特征信息包括相对高度信息和反射率信息,有利于提高路面标识的识别准确性。

示例性的,所述按照目标方向压缩所述三维点云数据,得到包含反射率信息和/或相对高度信息的二维点云特征图,具体可以包括如下步骤A和步骤B。

步骤A,沿所述目标方向对所述三维点云数据进行投影压缩,得到二维点云数据。

其中,所述二维点云数据中每个点可以包括二维坐标和反射率信息。可选的,所述二维点云数据中还可以包括相对高度信息,以避免由于压缩带来的信息丢失的问题。

步骤B,从所述二维点云数据中提取出特征信息,得到包含所述特征信息的二维点云特征图。

其中,对于二维点云数据中每个点均提取特征信息,可以得到包含特征信息的二维点云特征图。二维点云特征图中的像素可以与二维点云数据中的点一一对应。

步骤503,基于所述二维点云特征图的区域反射率和高度,输出路面标识区域。

本步骤中,可选的,可以将路面标识区域作为路面标识识别结果。

示例性的,可以根据二维点云特征图中各像素的反射率和高度,将所述二维点云特征图划分多个区域,其中,一个区域可以对应一个物体,进一步的,可以根据多个区域中各区域对应物体的反射率和高度,以及目标反射率和目标高度,从多个区域中确定出路面标识区域。其中,目标反射率可以表征物体为路面标识时的反射率,目标高度可以表征物体为路面标识时的高度率。

或者,可选的,可以根据路面标识区域进一步确定路面标识是识别结果。示例性的,可以进一步确定路面标识区域具体对应何种路面标识。示例性的,步骤503之后还可以包括:对输出的所述路面标识区域进行聚类处理;对聚类处理的结果进行识别,输出所述结果对应的路面标识。示例性的,对步骤502输出的路面标识区域可以通过聚类算法进行聚类处理,以将对应相同路面标识的路面标识区域分成一个聚类簇,将对应不同路面标识的路面标识区域划分成不同聚类簇。例如假设路面标识区域包括对应单实线的路面标识区域a、对应间断线的路面标识区域b、对应单实线的路面标识区域c以及对应间断线的路面标识区域d,则通过聚类处理可以得到将路面标识区域a和b分成一个聚类簇,将路面标识区域b和d分成另一聚类簇的聚类处理的结果。

通过先进行聚类,再根据聚类处理的结果进行识别,由于通过聚类可以将对应相同路面标识的路面标识区域分成一个聚类簇,根据聚类处理的结果进行识别时,可以实现基于一个路面标识的所有路面标识区域确定该路面标识的类别,有利于提高识别的准确性。

示例性的,所述对聚类处理的结果进行识别,输出所述结果对应的路面标识,具体可以包括:根据所述结果对所述二维点云特征图进行像素级比对,以获得所述结果对应的路面标识。示例性的,可以根据单个聚类簇中的路面标识区域,确定二维点云特征图中属于该聚类簇的像素的排列方式,并根据该排列方式确定该聚类簇对应的路面标识。例如,假设二维点云特征图中属于一个聚类簇的像素的排列方式为沿着一条直线非连续排列,则该聚类簇对应的路面标识为间断线。通过根据所述结果对二维点云特征图进行像素级比对,有利于提高所获得的路面标识的置信度。

本实施例中,通过获得激光雷达探测得到的三维点云数据,三维点云数据包含路面标识区域的数据,将三维点云数据压缩成二维点云特征图,基于二维点云特征图的区域反射率和高度,输出路面标识区域,实现了基于二维点云特征图的区域反射率和高度的路面标识识别方式,有利于简化实现。

图6为本申请又一实施例提供的路面标识识别方法的流程示意图,本实施例在图6所示实施例的基础上,主要描述了处理二维点云特征图,得到路面标识识别结果的另一种可选的实现方式。如图6所示,本实施例的方法可以包括:

步骤601,获得激光雷达探测得到的三维点云数据,所述三维点云数据包含路面标识区域的数据。

需要说明的是,步骤601与步骤401类似,在此不再赘述。

步骤602,将所述三维点云数据压缩成二维点云特征图。

需要说明的是,步骤602与步骤401、步骤501类似,在此不再赘述。

步骤603,将所述二维点云特征图输入预设神经网络模型,得到所述预设神经网络模型的模型输出结果。

本步骤中,所述预设神经网络模型用于确定所述二维点云特征图中各像素的地表对象类别。所述预设神经网络模型可以包括多个输出通道,所述多个输出通道与多个地表对象类别一一对应,所述多个地表对象类别包括至少一个路面标识类别。所述输出通道用于输出对应地表对象类别的置信度特征图,所述置信度特征图用于表征像素是对应地表对象类别的概率。其中,置信度特征图中的像素可以与二维点云特征图中的像素一一对应。

例如,假设路面标识类别的个数为3,分别为单实线、间断线和左转箭头,且对应单实线的输出通道输出置信度特征图1、对应间断线的输出通道输出置信度特征图2、对应左转箭头的输出通道输出置信度特征图3,则置信度特征图1中的像素值可以表征像素是单实线的概率,置信度特征图2中的像素值可以表征像素是间断线的概率,置信度特征图3中的像素值可以表征像素是左转箭头的概率。需要说明的是,本申请实施例中一个像素是一个地表对象类别,可以理解为该像素的像素位置是识别为该地表对象类别的像素位置。

需要说明的是,当多个地表对象类别包括一个路面标识类别时,该预设神经网络可以用于识别出一个路面标识类别,该路面标识类别可以表示特定的一种路面标识类别,或者可以表示至少两种路面标识类别的集合。

示例性的,所述多个地表对象类别还可以包括其他地表对象类别,相应的,模型输出结果还可以包括其他地表对象类别的置信度特征图。例如,模型输出结果还可以包括建筑物的置信度特征图,该置信度特征图中的像素值可以表征像素是建筑物的概率。例如,模型输出结果还可以包括建筑物的置信度特征图,该置信度特征图中的像素值可以表征像素是建筑物的概率。

示例性的,所述多个地表对象类别还可以包括“其他”,用于表示不能识别出类别的地表对象,以区别于预设神经网络模型能够识别出类别的地表对象。

示例性的,可以将所述模型输出结果作为路面标识识别结果,从而简化路面标识识别方法的实现。

或者,示例性的,步骤603之后还可以包括:基于所述模型输出结果,得到所述路面标识识别结果。从而能够获得更具体的路面标识识别结果,有利于在获得路面标识识别方法之后的后续处理。

示例性的,所述根据所述模型输出结果,得到所述路面标识识别结果,包括:将所述多个地表对象类别分别的置信度特征图中同一像素位置像素值最大的置信度特征图对应的地表对象类别,作为所述像素位置的地表对象类别。

假设,所述预设神经网络模型的输出通道的个数为4,4个置信度特征图分别为置信度特征图1至置信度特征图4,且置信度特征图1对应单实线、置信度特征图2对应间断线、置信度特征图3对应左转箭头、置信度特征图4对应“其他”。例如,当置信度特征图1中像素位置(100,100)的像素值是70,置信度特征图2中像素位置(100,100)的像素值是50,置信度特征图3中像素位置(100,100)的像素值是20,置信度特征图4中像素位置(100,100)的像素值是20时,可以确定像素位置(100,100)的地表对象类别为单实线。又例如,当置信度特征图1中像素位置(100,80)的像素值是20,置信度特征图2中像素位置(100,80)的像素值是30,置信度特征图3中像素位置(100,80)的像素值是20,置信度特征图4中像素位置(100,80)的像素值是70时,可以确定像素位置(100,80)的地表对象类别为“其他”,即不是单实线、间断线和左转箭头中的任意一种。

由于置信度特征图中的像素位置与二维点云特征图中的像素位置可以一一对应,因此上述像素位置的地表对象类别可以表征二维点云特征图中像素位置的地表对象类别。

示例性的,可以将二维点云特征图中像素位置的地表对象类别作为路面标识识别结果。

或者,示例性的,本实施例的方法还可以包括将所述像素位置的地表对象类别,作为所述三维点云数据中对应所述像素位置的点的地表对象类别,即可以将三维点云数据中点的地表对象类别作为路面标识识别结果。

示例性的,所述预设神经网络模型具体可以为卷积神经网络(ConvolutionalNeural Networks,CNN)模型。预设神经网络模型的结构例如可以如图7所示。如图7所示,预设神经网络模型可以包括多个计算节点,每个计算节点中可以包括卷积(Conv)层、批量归一化(Batch Normalization,BN)以及激活函数ReLU,计算节点之间可以采用跳跃连接(Skip Connection)方式连接,K×H×W的输入数据可以输入预设神经网络模型,经过预设神经网络模型处理后,可以获得C×H×W的输出数据。其中,K可以表示二维点云特征图的个数,H可以表示二维点云特征图的高,W可以表示二维点云特征图的宽,C可以表示类别数。

需要说明的是,当二维点云特征图过大时,可以将一个二维点云特征图切割为N个子特征图,相应的,输入数据可以为N×K×H’×W’,输出数据可以为N×C×H’×W’,其中,H’可以表示子特征图的高,W’可以表示子特征图的宽。

本实施例中,通过获得激光雷达探测得到的三维点云数据,三维点云数据包含路面标识区域的数据,将三维点云数据压缩成二维点云特征图,将所述二维点云特征图输入预设神经网络模型,得到所述预设神经网络模型的模型输出结果,基于预设神经网络模型对二维点云特征图中的语义进行区分,以获得路面标识识别结果,实现了通过预设神经网络模型获得路面标识识别结果。

可选的,在上述实施例的基础上,所述将所述三维点云数据压缩成二维点云特征图,具体可以包括:根据筛选条件,筛选所述三维点云数据,得到筛选后的三维点云数据,并将所述筛选后的三维点云数据压缩成二维点云特征图。通过在处理二维点云特征图之前,提前过滤掉无需关注的无关数据,从而可以减小二维点云特征图的数据量,避免无关数据影响路面标识识别结果的准确性。示例性的,筛选条件可以包括距离条件和/或高度条件。其中,距离条件例如可以为距离小于100米,以从三维点云数据中筛选出符合与激光雷达距离小于100米条件的三维点云数据,从而避免对于距离过远的点进行不必要的识别,有利于节省计算资源。高度条件例如可以为相对高度大于高度阈值1且小于高度阈值2,高度阈值1小于高度阈值2,以从三维点云数据中筛选出符合相对高度大于高度阈值1且小于高度阈值2的三维点云数据,从而避免对于不会是路面标识的点进行不必要的识别,有利于节省计算资源。

可选的,在上述实施例的基础上,所述获得激光雷达探测得到的三维点云数据,具体可以包括:获得激光雷达探测得到的多帧三维点云数据;对所述多帧三维点云数据进行累积,获得累积后的三维点云数据。通过多帧累积的方式,可以获得较密集的点云,避免由于单帧探测到的点数量较少,点云稀疏的问题。相应的,所述将所述三维点云数据压缩成二维点云特征图,具体可以包括:将所述累积后的三维点云数据压缩成二维点云特征图。

可选的,在上述方法实施例的基础上,还可以包括如下步骤C和步骤D。

步骤C,确定是否满足预设环境条件。

步骤D,若满足所述预设环境条件,则获得图像采集模块采集得到的图像信息,所述图像信息包含所述路面标识区域,并处理所述图像信息,得到路面标识识别结果。

其中,与上述激光雷达类似,所述路面标识识别装置可以包括所述图像采集模块,步骤D中获取图像信息具体可以包括路面标识识别装置的图像采集获得图像信息;或者,所述路面标识识别装置可以不包括所述图像采集模块,步骤D中获取图像信息具体可以包括接收其他装置/设备发送的由图像采集模块采集到的图像信息。其中,图像采集模块例如可以为摄像头。

预设环境条件可以是指采用基于图像信息获得路面标识识别结果的方式需要满足的成像环境条件。在满足预设环境条件时,可以表示成像环境较好,所获得的图像信息的成像质量较好,因此可以认为基于图像信息获得的路面标识识别结果的准确性较高,从而可以采用基于图像信息获得路面标识识别结果的方式。在不满足预设环境条件时,可以表示成像环境较差,所获得的图像信息的成像质量较差,因此可以认为基于图像信息获得的路面标识识别结果的准确性较低,从而可以不采用基于图像信息获得路面标识识别结果的方式。

所述预设环境条件可以包括影响成像质量的任意环境因素中的一种或多种。示例性的,所述预设环境条件可以包括环境光条件和/或镜头脏污程度条件。示例性的,所述环境光条件可以包括环境光强度大于强度阈值。示例性的,所述镜头脏污程度条件包括镜头脏污程度小于程度阈值。

需要说明的是,对于处理图像信息得到路面标识识别结果的具体方式,本申请实施例不做限定。

通过步骤C和步骤D,使得路面标识识别装置不仅可以支持基于三维点云数据的路面标识识别的功能,还可以支持基于图像信息的路面标识识别功能,提高了路面标识识别装置识别路面标识的灵活性。

示例性的,可以将通过处理二维点云特征图得到的路面标识识别结果(以下记为第一路面标识识别结果)以及通过处理图像信息得到的路面标识识别结果(以下记为第二路面标识识别结果),并列作为最终的路面标识识别结果,例如第一路面标识识别结果可以作为一个功能的输入,第二路面标识结果可以作为另一个功能的输入。

或者,示例性的,可以根据融合策略,融合第一路面标识识别结果和第二路面标识识别结果,得到融合后的路面标识识别结果,即融合后的路面标识识别结果可以作为最终的路面标识识别结果。通过融合第一路面标识识别结果和第二路面标识识别结果可以提高路面标识的识别效果。

示例性的,所述融合策略可以包括基于距离远近的融合策略。其中,该距离可以是指路面距离。

示例性的,所述根据融合策略,融合第一路面标识识别结果和第二路面标识结果,得到融合后的路面标识识别结果,具体可以包括:对于距离大于距离阈值的视野范围,将所述第一路面标识识别结果作为所述融合后的路面标识识别结果。由于距离越远时,图像信息中单个像素对应的实际区域越大,根据图像信息所确定的距离准确性越差,因此将第一路面标识识别结果作为距离大于距离阈值的视野范围的融合后的路面标识识别结果,可以避免将第二路面标识识别结果作为距离大于距离阈值的视野范围的路面标识识别结果所导致的识别结果不准确的问题。

和/或,示例性的,所述根据融合策略,融合第一路面标识识别结果和第二路面标识结果,得到融合后的路面标识识别结果,具体可以包括:对于距离小于距离阈值的视野范围,将所述第二路面标识识别结果作为所述融合后的路面标识识别结果。由于激光雷达的成本远高于图像采集模块,因此将第二路面标识识别结果作为对于距离小于距离阈值的视野范围的融合后的路面标识识别结果,有利于节省成本。

或者,示例性的,可以在成像环境较好时选择采用基于图像信息获得路面标识识别结果的方式,在成像环境较差时选择采用三维点云数据获得路面标识识别结果的方式。示例性的,上述获得激光雷达探测得到的三维点云数据,包括:若不满足所述预设环境条件,则获得激光雷达探测得到的三维点云数据的步骤。

可选的,在上述实施例的基础上,还可以包括:展示所述路面标识识别结果。从而有利于用户查看路面标识识别结果。示例性的,所述展示所述路面标识识别结果,包括:根据所述路面标识识别结果在目标图像中标注路面标识,得到标注后的图像,并展示所述标注后的图像。示例性的,可以采用不同颜色标注不同类别的路面标识,例如绿色代表单实线、黄色代表间断线、紫色代表边缘线。

示例性的,所述目标图像包括下述中的一种或多种:全黑图像、全白图像或包含所述路面标识区域的图像。其中,全黑图像可以为各像素的红(Red,R)值、绿(Green,G)值和蓝(Blue,B)值均为0的图像,全白图像可以为各像素的R值、G值和B值均为255的图像。

可选的,在上述实施例的基础上,若路面平坦,则在目标方向为竖直方向时,根据压缩过的三维点云数据(即二维点云特征图)获得的激光雷达与路面标识之间的路面距离,可以与激光雷达与路面标识之间的实际路面距离相符合,因此,通过目标方向为竖直方向,在路面平坦时可以确保获得的路面标识与激光雷达之间路面距离的准确性。

然而,对于路面不平坦的场景,若目标方向为竖直方向,则会存在根据压缩过的三维点云数据所获得的激光雷达与路面标识之间的路面距离,与激光雷达与路面标识之间的实际路面距离不符的情况,或者说,在路面不平坦的情况下,根据压缩过的三维点云数据所获得的路面标识长度,例如车道线的长度,会比其实际长度短。对于其它路面标识会存在同样问题,这会导致通过激光点云获得的路面标识信息无法与其它传感器获得的路面标识信息相对应。对于需要进行识别的路面标识,由于路面标识的形状会产生压缩,还可能存在误识别的问题。

如图8所示,对于平坦路面R1,根据基于竖直方向d1压缩过的三维点云数据所获得的激光雷达O与路面标识A1之间的路面距离L1,即为激光雷达O与路面标识A1之间的实际路面距离。对于上坡路面R2,根据基于竖直方向d1压缩过的三维点云数据所获得的激光雷达O与路面标识A2之间的路面距离L2,小于激光雷达O与路面标识A2之间的实际路面距离L3+L4。需要说明的是,图8中以路面为平面路面为例,对于路面为曲线的场景,在目标方向为竖直方向时也存在上述激光雷达与路面标识的路面距离不准确的问题。

在图8的基础上,假设路面标识A2为单实线,则实际的单实线901与根据压缩过的三维点云数据识别出的单实线902的关系可以如图9A所示,可以看出,识别出的单实线902的长度比实际的单直线901的长度短。

在图8的基础上,假设路面标识A2为箭头,则实际的箭头903与根据压缩过的三维点云数据识别出的箭头904的关系可以如图9B所示,可以看出,识别出的箭头904的长度比实际的箭头903的长度短,且识别出的箭头904的三角形比实际的箭头903的三角形扁。

因此为了避免激光雷达与路面标识的路面距离不准确的问题,可以根据路面的起伏状态动态确定目标方向,以使得根据基于目标方向压缩过的三维点云数据所获得的激光雷达与路面标识之间的路面距离,可以与实际路面距离相符合。

示例性的,可以根据激光雷达探测得到的三维点云数据,通过三维建模的方式获知路面起伏状态,并根据路面起伏状态,对三维点云数据进行压缩。示例性的,可以根据路面起伏状态,确定不同点云范围与目标方向的对象关系,并根据目标方向对对应点云范围内的点云数据进行压缩。例如,如图10所示,可以根据路面平台状态确定平坦路面范围内的三位点云数据对应的目标方向为竖直方向d1,并确定上坡路面范围内的三维点云数据对应的目标方向为与路面垂直的倾斜方向d2,进一步的,可以根据竖直方向d1压缩平坦路面范围的三维点云数据,并根据倾斜方向d2压缩上坡路面范围的三维点云数据。并且,采用图10的方式,根据压缩过的三维点云数据获得的激光雷达与路面标识A1之间的路面距离L1,即为激光雷达与路面标识之间的实际路面距离,根据压缩或的三维点云数据获得的激光雷达与路面标识A2之间的路面距离L3+L4,即为激光雷达与路面标识之间的实际路面距离。同时,基于本实施的方法,可以解决车辆识别路面标识尺寸发生变化或者形状发生变化的问题。

需要说明的是,图10中以路面为平面路面为例。对于路面为曲面的场景,可以将路面按照一定的粒度分为多个路面范围,对于多个路面范围中的各路面范围,可以将与其切平面垂直的方向作为其范围内的三维点云数据对应的目标方向。可以理解的是,粒度越小,激光雷达与路面标识的路面距离的准确性越高。

对于曲面路面,如图11所示,可以将车辆前方的路面分为多个路面范围,每个路面范围可以按照相应的目标方向进行三维点云数据的压缩。需要说明的是,图11中以分为13个路面范围为例,一个路面范围上方的箭头可以表示该路面范围对应的目标方向。

图12为本申请一实施例提供的路面标识识别装置的结构示意图,如图12所示,该装置1200可以包括:处理器1201和存储器1202。

所述存储器1202,用于存储程序代码;

所述处理器1201,调用所述程序代码,当程序代码被执行时,用于执行以下操作:

获得激光雷达探测得到的三维点云数据,所述三维点云数据包含路面标识区域的反射数据;

将所述三维点云数据压缩成二维点云特征图;

处理所述二维点云特征图,得到路面标识识别结果。

本实施例提供的路面标识识别装置,可以用于执行前述方法实施例的技术方案,其实现原理和技术效果与方法实施例类似,在此不再赘述。

本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

相关技术
  • 路面标识识别方法及装置
  • 基于雷达图像和相似度权重的路面目标识别方法
技术分类

06120112182299