掌桥专利:专业的专利平台
掌桥专利
首页

车道线检测方法、装置及电子设备

文献发布时间:2023-06-19 19:28:50


车道线检测方法、装置及电子设备

技术领域

本公开涉及自动驾驶技术领域,尤其涉及一种车道线检测方法、装置及电子设备。

背景技术

车道线检测是自动驾驶感知的任务之一,对于车道线检测任务,相关技术中,通常使用分割或检测模型对车道线进行检测,然而,由于规划控制模块无法得知输出车道线的左右顺序以及和历史帧的匹配关系,导致模型输出结果往往不能直接输入给规划控制模块,因此,需要对车道线进行复杂的后处理和逻辑判断,相关技术中,通常使用密集预测后的语义掩膜或者一系列坐标点进行处理,这使得计算量消耗巨大,计算效率较低,因此,如何保证车道线的准确性的同时,降低输出车道线过程中的计算量已成为了亟待解决的问题。

发明内容

本公开提出一种车道线检测方法、装置及电子设备。

本公开第一方面实施例提出了一种车道线检测方法,包括:基于当前时刻采集的第一图像,获取所述第一图像对应的N个拟合车道线;获取前一时刻采集第二图像对应的M个输出车道线,所述N和M均为大于或者等于1的整数;获取所述N个拟合车道线和所述M个输出车道线之间的距离代价矩阵;根据所述距离代价矩阵,对所述N个拟合车道线和所述M个输出车道线进行匹配,以获取所述N个拟合车道线和所述M个输出车道线之间的匹配关系;根据所述匹配关系,确定所述第一图像的候选输出车道线,并从所述候选输出车道线中,确定所述第一图像的输出车道线进行输出。

本公开实施例中,所述获取所述N个拟合车道线和所述M个输出车道线之间的距离代价矩阵,包括:对所述N个拟合车道线进行遍历,获取每个遍历到的拟合车道线与所述M个输出车道线之间的L1距离;以每个所述拟合车道线与所述M个输出车道线之间的L1距离,构建所述距离代价矩阵。

在本公开的一个实施例中,所述根据所述距离代价矩阵,对所述N个拟合车道线和所述M个输出车道线进行匹配,以获取所述N个拟合车道线和所述M个输出车道线之间的匹配关系,包括:以所述N个拟合车道线为第一集合,所述M个输出车道线为第二集合,根据所述距离代价矩阵,对所述第一集合和所述第二集合进行匈牙利匹配算法,得到所述匹配关系。

在本公开的一个实施例中,所述方法还包括:若所述N个拟合车道线中存在未匹配成功的多余拟合车道线,则在后续连续N帧图像中对所述多余拟合车道线进行跟踪;若所述后续连续N帧图像中均出现所述多余拟合车道线,确定所述多余拟合车道线为新增车道线,并在所述后续连续N帧图像中的最后一帧作为输出车道线进行输出。

在本公开的一个实施例中,所述方法还包括:若所述M个输出车道线中存在未匹配成功的剩余输出车道线,则在后续连续N帧图像中对所述剩余输出车道线进行跟踪;若所述后续连续N帧图像中均未出现所述多余拟合车道线,对所述剩余输出车道线进行丢弃。

在本公开的一个实施例中,所述根据所述匹配关系,确定所述第一图像的候选输出车道线,包括:根据所述匹配关系,确定匹配成功的车道线组,其中,所述车道线组中包括一个拟合车道线和一个输出车道线;针对每个车道线组,对所述车道线组中的拟合车道线和输出车道线进行坐标融合,得到所述车道线组对应的候选输出车道线。

在本公开的一个实施例中,所述从所述候选输出车道线中,确定所述第一图像的输出车道线进行输出,包括:确定所述候选车道线的曲率和斜率;根据所述曲率和所述斜率,识别所述候选车道线中的异常候选车道线和未异常候选车道线;对所述未异常候选车道线进行延长,生成所述第一图像的输出车道线。

在本公开的一个实施例中,所述从所述候选输出车道线中,确定所述第一图像的输出车道线进行输出之后,还包括:确定所述第一图像的输出车道线的坐标;以所述输出车道线其中一个作为参考输出车道线;根据所述输出车道线的坐标,获取剩余的所述输出车道线与所述参考输出车道线在指定坐标轴上坐标值之间的坐标差;根据所述坐标差值确定所述输出车道线在道路上的从左至右的顺序。

在本公开的一个实施例中,所述获取当前时刻采集的第一图像对应的N个拟合车道线,包括:对所述第一图像进行车道线检测,获取检测车道线的图像坐标;基于相机内外参数,对所述检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到所述检测车道线的3D坐标;对所述3D坐标进行曲线拟合,得到所述N个拟合车道线。

本公开第二方面实施例提出一种车道线检测装置,包括:第一获取模块,用于基于当前时刻采集的第一图像,获取所述第一图像对应的N个拟合车道线;第二获取模块,用于获取前一时刻采集第二图像对应的M个输出车道线,所述N和M均为大于或者等于1的整数;第三获取模块,用于获取所述N个拟合车道线和所述M个输出车道线之间的距离代价矩阵;匹配模块,用于根据所述距离代价矩阵,对所述N个拟合车道线和所述M个输出车道线进行匹配,以获取所述N个拟合车道线和所述M个输出车道线之间的匹配关系;确定模块,用于根据所述匹配关系,确定所述第一图像的候选输出车道线,并从所述候选输出车道线中,确定所述第一图像的输出车道线进行输出。

在本公开的一个实施例中,所述第三获取模块,还用于:对所述N个拟合车道线进行遍历,获取每个遍历到的拟合车道线与所述M个输出车道线之间的L1距离;以每个所述拟合车道线与所述M个输出车道线之间的L1距离,构建所述距离代价矩阵。

在本公开的一个实施例中,所述匹配模块,还用于:以所述N个拟合车道线为第一集合,所述M个输出车道线为第二集合,根据所述距离代价矩阵,对所述第一集合和所述第二集合进行匈牙利匹配算法,得到所述匹配关系。

在本公开的一个实施例中,所述装置还用于:若所述N个拟合车道线中存在未匹配成功的多余拟合车道线,则在后续连续N帧图像中对所述多余拟合车道线进行跟踪;若所述后续连续N帧图像中均出现所述多余拟合车道线,确定所述多余拟合车道线为新增车道线,并在所述后续连续N帧图像中的最后一帧作为输出车道线进行输出。

在本公开的一个实施例中,所述装置还用于:若所述M个输出车道线中存在未匹配成功的剩余输出车道线,则在后续连续N帧图像中对所述剩余输出车道线进行跟踪;若所述后续连续N帧图像中均未出现所述多余拟合车道线,对所述剩余输出车道线进行丢弃。

在本公开的一个实施例中,所述确定模块,还用于:根据所述匹配关系,确定匹配成功的车道线组,其中,所述车道线组中包括一个拟合车道线和一个输出车道线;针对每个车道线组,对所述车道线组中的拟合车道线和输出车道线进行坐标融合,得到所述车道线组对应的候选输出车道线。

在本公开的一个实施例中,所述确定模块,还用于:确定所述候选车道线的曲率和斜率;根据所述曲率和所述斜率,识别所述候选车道线中的异常候选车道线和未异常候选车道线;对所述未异常候选车道线进行延长,生成所述第一图像的输出车道线。

在本公开的一个实施例中,所述确定模块,还用于:确定所述第一图像的输出车道线的坐标;以所述输出车道线其中一个作为参考输出车道线;根据所述输出车道线的坐标,获取剩余的所述输出车道线与所述参考输出车道线在指定坐标轴上坐标值之间的坐标差;根据所述坐标差值确定所述输出车道线在道路上的从左至右的顺序。

在本公开的一个实施例中,所述第一获取模块,还用于:对所述第一图像进行车道线检测,获取检测车道线的图像坐标;基于相机内外参数,对所述检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到所述检测车道线的3D坐标;对所述3D坐标进行曲线拟合,得到所述N个拟合车道线。

本公开第三方面实施例提出了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述第一方面实施例的车道线检测方法。

本公开第四方面实施例提出了一种存储有计算机指令的计算机可读存储介质,所述计算机指令用于使所述计算机执行如上述第一方面实施例的车道线检测方法。

本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本公开一实施例提供的车道线检测方法的流程示意图;

图2为本公开另一实施例提供的车道线检测方法的流程示意图;

图3为一种对车道线进行处理的示例图;

图4为本公开另一实施例提供的车道线检测方法的流程示意图;

图5为本公开另一实施例提供的车道线检测方法的流程示意图;

图6为本公开另一实施例提供的车道线检测方法的流程示意图;

图7为本公开另一实施例提供的车道线检测装置的结构示意图;

图8为本公开一实施例提供的电子设备的框图。

具体实施方式

下面详细描述本公开的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。

下面参考附图描述本公开实施例的车道线检测方法、装置、电子设备和存储介质。

图1为本公开一实施例提供的车道线检测方法的流程示意图,如图1所示,该方法包含以下步骤:

S101,基于当前时刻采集的第一图像,获取第一图像对应的N个拟合车道线。

需要说明的是,本公开实施例的车道线检测方法的执行主体为车道线检测装置,该装置可以由软件和/或硬件的方式实现,该车道线检测装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。

需要说明的是,本公开对于获取当前时刻采集的第一图像对应的N个拟合车道线的具体方式不作限定,可以根据实际情况进行选取。

可选地,可以第一图像通过车道线检测模型进行车道线检测,以获取第一图像对应的N个拟合车道线。

可选地,可以对第一图像进行车道线检测,获取检测车道线的图像坐标,基于相机内外参数,对检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到检测车道线的3D坐标,并对3D坐标进行曲线拟合,得到N个拟合车道线。

可选地,可以基于图像采集装置,对第一图像进行采集。

S102,获取前一时刻采集第二图像对应的M个输出车道线,N和M均为大于或者等于1的整数。

需要说明的是,第二图像对应的M个输出车道线可以与第一图像对应的N个拟合车道线的数量可以相同,也可以不相同,即N和M可以相同,也可以不相同。

举例而言,可以获取前一时刻采集第二图像对应的4个输出车道线以及当前时刻采集的第一图像对应的5个拟合车道线。

需要说明的是,本公开对于获取前一时刻采集第二图像对应的M个输出车道线的具体方式不作限定,可以根据实际情况进行选取。

可选地,可以从通过查询历史车道线,获取前一时刻采集第二图像对应的M个输出车道线。

S103,获取N个拟合车道线和M个输出车道线之间的距离代价矩阵。

可选地,可以获取N个拟合车道线与M个输出车道线之间的曼哈顿距离(ManhattanDistance)即L1距离,并根据多个L1距离,进行构建距离代价矩阵。

举例而言,可以以拟合车道线n1和输出车道线m1的纵坐标为参考点,计算拟合车道线n1和输出车道线m1横坐标之间的差值,以获取拟合车道线n1和输出车道线m1之间的L1距离。

可选地,可以根据拟合车道线的数量,分别计算拟合车道线与输出车道线之间的L1距离,以构建距离代价矩阵。

S104,根据距离代价矩阵,对N个拟合车道线和M个输出车道线进行匹配,以获取N个拟合车道线和M个输出车道线之间的匹配关系。

需要说明的是,本公开对于根据距离代价矩阵,对N个拟合车道线和M个输出车道线进行匹配,以获取N个拟合车道线和M个输出车道线之间的匹配关系的具体方式不作限定,可以根据即情况进行选取。

可选地,可以以N个拟合车道线为第一集合,M个输出车道线为第二集合,根据距离代价矩阵,对第一集合和第二集合进行匈牙利匹配算法,获取N个拟合车道线和M个输出车道线之间的匹配关系。

其中,匈牙利匹配算法(Hungarian algorithm)是一种在多项式时间内求解任务分配问题的组合优化算法,即在图论中寻找最大匹配的算法。

S105,根据匹配关系,确定第一图像的候选输出车道线,并从候选输出车道线中,确定第一图像的输出车道线进行输出。

需要说明的是,在获取到匹配关系后,可以根据匹配关系,确定匹配成功的拟合车道线和输出车道线,并将匹配成功的拟合车道线和输出车道线进行坐标融合,以确定第一图像的输出车道线。

举例而言,当拟合车道线1与输出车道线a匹配成功后,可以将拟合车道线1与输出车道线a的坐标进行融合,以确定第一图像的输出车道线。

可选地,在确定第一图像的输出车道线后,可以根据第一图像的输出车道线的斜率和曲率去除不满足预设条件的输出车道线,同时,可以对满足预设条件的输出车道线进行延长,以优化输出车道线的可视化效果。

本公开实施例中,基于当前时刻采集的第一图像,获取第一图像对应的N个拟合车道线,获取前一时刻采集第二图像对应的M个输出车道线,N和M均为大于或者等于1的整数,获取N个拟合车道线和M个输出车道线之间的距离代价矩阵,根据距离代价矩阵,对N个拟合车道线和M个输出车道线进行匹配,以获取N个拟合车道线和M个输出车道线之间的匹配关系,根据匹配关系,确定第一图像的候选输出车道线,并从候选输出车道线中,确定第一图像的输出车道线进行输出。由此,本公开在确定第一图像的输出车道线的过程中,无需保存大的量坐标点,节省了内存开销,减小了第一图像的输出车道线过程中的计算量,提高了获取车道线的准确率和效率。

图2为本公开一实施例提供的车道线检测方法的流程示意图,在上述实施例的基础上,进一步结合图2,对获取N个拟合车道线和M个输出车道线之间的距离代价矩阵的过程进行解释说明,包含以下步骤:

S201,对N个拟合车道线进行遍历,获取每个遍历到的拟合车道线与M个输出车道线之间的L1距离。

需要说明的是,可以从N个拟合车道线中任意选取拟合车道线n,从M个输出车道线任意选取拟合车道线m,获取拟合车道线n的第一位置和输出车道线m的第二位置,并根据第一位置和第二位置确定拟合车道线n与输出车道线m之间的L1距离。

可选地,可以根据第一位置和第二位置,获取拟合车道线n1和输出车道线m1的纵坐标,并以拟合车道线n1和输出车道线m1的纵坐标为参考点,计算拟合车道线n1和输出车道线m1的横坐标的差值,以获取L1距离,其中,纵坐标即为道路延伸方向(与车辆行驶方向相同),横坐标即为垂直与道路延伸方向。

S202,以每个拟合车道线与M个输出车道线之间的L1距离,构建距离代价矩阵。

在本公开实施例中,在获取到每个拟合车道线与M个输出车道线之间的L1距离后,可以以每个拟合车道线与M个输出车道线之间的L1距离,进行构建距离代价矩阵。

本公开实施例中,通过对N个拟合车道线进行遍历,获取每个遍历到的拟合车道线与M个输出车道线之间的L1距离,以每个拟合车道线与M个输出车道线之间的L1距离,构建距离代价矩阵。本公开通过使用L1距离构建距离代价矩阵,节省了对拟合车道线和输出车道线进行匹配过程中的车道线检查以及匹配的计算量,提高了拟合车道线和输出车道线的匹配效率。

进一步地,在获取到距离代价矩阵后,以N个拟合车道线为第一集合,M个输出车道线为第二集合,根据距离代价矩阵,对第一集合和第二集合进行匈牙利匹配算法,得到N个拟合车道线和M个输出车道线之间的匹配关系。

可选地,若N个拟合车道线中存在未匹配成功的多余拟合车道线,则在后续连续N帧图像中对多余拟合车道线进行跟踪,若后续连续N帧图像中均出现多余拟合车道线,确定多余拟合车道线为新增车道线,并在后续连续N帧图像中的最后一帧作为输出车道线进行输出。

可选地,若M个输出车道线中存在未匹配成功的剩余输出车道线,则在后续连续N帧图像中对剩余输出车道线进行跟踪,若后续连续N帧图像中均未出现多余拟合车道线,对剩余输出车道线进行丢弃。

举例而言,如图3所示,可以建立车道线的前防御机制和后防御机制,以防止在车道线检测过程中的漏检和错检的情况,当历史帧图像中出现过车道线,例如:连续检测3帧图像中出现过车道线,即寿命=3,即为确定态,当后续连续N帧图像中均未出现车道线,则寿命=0,即对车道线进行丢弃,当历史帧图像中未出现过车道线,即为不确定态,当后续连续N帧图像中,均连续检测3帧图像中出现过车道线,确定车道线为新增车道线,即寿命=3,即为确定态,当后续连续N帧图像中均未出现车道线,则寿命=0,即对车道线进行丢弃。

本公开实施例中,在获取到距离代价矩阵后,以N个拟合车道线为第一集合,M个输出车道线为第二集合,根据距离代价矩阵,对第一集合和第二集合进行匈牙利匹配算法,得到N个拟合车道线和M个输出车道线之间的匹配关系。本公开通过使用匈牙利匹配算法,对N个拟合车道线和M个输出车道线进行匹配,提高了拟合车道线和输出车道线的匹配效率,并保证了拟合车道线和输出车道线匹配的准确性和可靠性。

图4为本公开一实施例提供的车道线检测方法的流程示意图,在上述实施例的基础上,进一步结合图4,对根据匹配关系,确定第一图像的候选输出车道线的过程进行解释说明,包含以下步骤:

S401,根据匹配关系,确定匹配成功的车道线组,其中,车道线组中包括一个拟合车道线和一个输出车道线。

在本公开实施例中,在获取到匹配关系后,可以根据匹配关系,确定匹配成功的车道线组。

举例而言,针对N个拟合车道线中的拟合车道线n1、n2、n3、n4,针对M个输出车道线中的输出车道线m1、m2、m3、m4,可以根据匹配关系,确定匹配成功的车道线组(n1,m2)、(n2,m1)、(n3、m4)、(n4、m3)。

S402,针对每个车道线组,对车道线组中的拟合车道线和输出车道线进行坐标融合,得到车道线组对应的候选输出车道线。

需要说明的是,在获取到每个车道线组后,可以获取车道线组中的拟合车道线的坐标和输出车道线的坐标,然后将拟合车道线和输出车道线进行坐标融合进行坐标融合,根据融合坐标进行拟合出车道线组对应的候选输出车道线。

可选地,在获取到候选输出车道线后,可以基于最近最少使用算法(Leastrecently used,简称LRU)对候选车道线进行存储。

需要说明的是,在获取到候选输出车道线后,可以从候选输出车道线中,确定第一图像的输出车道线进行输出。

可选地,确定候选车道线的曲率和斜率,根据曲率和斜率,识别候选车道线中的异常候选车道线和未异常候选车道线。

举例而言,可以预先设置候选车道线的曲率阈值和斜率阈值,当候选车道线的曲率小于或等于曲率阈值,候选车道线的斜率小于或等于斜率阈值时,识别候选车道线为未异常候选车道线,当候选车道线的曲率大于曲率阈值,候选车道线的斜率大于斜率阈值时,识别候选车道线为异常候选车道线。

进一步地,在获取到未异常车道线后,可以对未异常候选车道线进行延长,生成第一图像的输出车道线。

举例而言,可以为未异常候选车道线在切线方向上进行延长,以生成第一图像的输出车道线。

本公开实施例中,可以根据匹配关系,确定匹配成功的车道线组,其中,车道线组中包括一个拟合车道线和一个输出车道线,针对每个车道线组,对车道线组中的拟合车道线和输出车道线进行坐标融合,得到车道线组对应的候选输出车道线,并确定候选车道线的曲率和斜率,根据曲率和斜率,识别候选车道线中的异常候选车道线和未异常候选车道线,对未异常候选车道线进行延长,生成第一图像的输出车道线。本公开在获取到候选车道线后,可以根据候选车道线的曲率和斜率,对候选车道线中的异常候选车道线进行识别,同时可以对未异常候选车道线进行延长,提高了第一图像的输出车道线的准确性和可靠性,同时优化了输出车道线的可视化效果。

图5为本公开一实施例提供的车道线检测方法的流程示意图,在上述实施例的基础上,进一步结合图5,对从候选输出车道线中,确定第一图像的输出车道线进行输出之后的过程进行解释说明,包含以下步骤:

S501,确定第一图像的输出车道线的坐标。

可选地,每个第一图像的输出车道线都有对应的定位矩阵,可以根据第一图像的输出车道线的定位矩阵,确定第一图像的输出车道线的坐标。

S502,以输出车道线其中一个作为参考输出车道线。

需要说明的是,在获取到输出车道线后,可以从多个输出车道线中任意选取一个输出车道线作为参考输出车道线。

S503,根据输出车道线的坐标,获取剩余的输出车道线与参考输出车道线在指定坐标轴上坐标值之间的坐标差。

可选地,指定坐标轴可以为横坐标(X)轴。

举例而言,以输出车道线A为参考输出车道线,以输出车道线B、C、D为剩余的输出车道线,可以将参考输出车道线A的X轴坐标值与剩余的输出车道线B、C、D的X轴坐标值进行相减,获取参考输出车道线A与剩余的输出车道线B、C、D之间的坐标差。

S504,根据坐标差值确定输出车道线在道路上的从左至右的顺序。

举例而言,在获取参考输出车道线A与剩余的输出车道线B、C、D之间的坐标差后,如果参考输出车道线A与输出车道线B、输出车道线C、输出车道线D之间的坐标差为负值,则输出车道线B、输出车道线C和输出车道线D在参考输出车道线A的右侧,如果参考输出车道线A与输出车道线B、输出车道线C、输出车道线D之间的坐标差为正值,则输出车道线B、输出车道线C和输出车道线D在参考输出车道线A的左侧。

本公开实施例中,可以确定第一图像的输出车道线的坐标,以输出车道线其中一个作为参考输出车道线,根据输出车道线的坐标,获取剩余的输出车道线与参考输出车道线在指定坐标轴上坐标值之间的坐标差,根据坐标差值确定输出车道线在道路上的从左至右的顺序。由此,本公开通过获取输出车道线在道路上的从左至右的顺序,可以为下游规划控制模块提供信息,提高了输出车道线的利用率。

图6为本公开一实施例提供的车道线检测方法的流程示意图,在上述实施例的基础上,进一步结合图6,对获取当前时刻采集的第一图像对应的N个拟合车道线的过程进行解释说明,包含以下步骤:

S601,对第一图像进行车道线检测,获取检测车道线的图像坐标。

需要说明的是,本公开对第一图像进行车道线检测,获取检测车道线的图像坐标的具体方式不作限定,可以根据实际情况进行选取。

可选地,可以基于车道线检测模型,对第一图像进行车道线检测,获取检测车道线的图像坐标。

S602,基于相机内外参数,对检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到检测车道线的3D坐标。

需要说明的是,相机的内参数是与相机自身特性相关的参数,例如:相机的焦距、像素大小等参数,相机的外参数是在世界坐标系中的参数,例如:相机的位置、旋转方向等参数。

需要说明的是,本公开对检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到检测车道线的3D坐标的具体方式不作限定,可以根据实际情况进行选取。

举例而言,可以利用以下坐标变换公式,对检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,以得到检测车道线的3D坐标:

其中,R为旋转矩阵、T为平移矩阵、

S603,对3D坐标进行曲线拟合,得到N个拟合车道线。

可选地,在获取到3D坐标后,可以根据3D点坐标,使用最小二乘公式拟合三次曲线,即使用三次样条拟合车道线方程,并通过三次样条拟合车道线方程即可得到N个拟合车道线。

本公开实施例中,通过对第一图像进行车道线检测,获取检测车道线的图像坐标,基于相机内外参数,对检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到检测车道线的3D坐标,对3D坐标进行曲线拟合,得到N个拟合车道线。由此,本公开通过使用三次样条拟合车道线方程得到N个拟合车道线,只需传递参数即可,无需储存大量的坐标点,节省内存读写时间,提高了获取拟合车道线的效率。

为了实现上述实施例,本公开实施例还提出一种车道线检测装置。图7为本公开一实施例的车道线检测装置的结构示意图。如图7所示,车道线检测装置700包括:

第一获取模块710,用于基于当前时刻采集的第一图像,获取所述第一图像对应的N个拟合车道线;

第二获取模块720,用于获取前一时刻采集第二图像对应的M个输出车道线,所述N和M均为大于或者等于1的整数;

第三获取模块730,用于获取所述N个拟合车道线和所述M个输出车道线之间的距离代价矩阵;

匹配模块740,用于根据所述距离代价矩阵,对所述N个拟合车道线和所述M个输出车道线进行匹配,以获取所述N个拟合车道线和所述M个输出车道线之间的匹配关系;

确定模块750,用于根据所述匹配关系,确定所述第一图像的候选输出车道线,并从所述候选输出车道线中,确定所述第一图像的输出车道线进行输出。

本公开实施例中,基于当前时刻采集的第一图像,获取第一图像对应的N个拟合车道线,获取前一时刻采集第二图像对应的M个输出车道线,N和M均为大于或者等于1的整数,获取N个拟合车道线和M个输出车道线之间的距离代价矩阵,根据距离代价矩阵,对N个拟合车道线和M个输出车道线进行匹配,以获取N个拟合车道线和M个输出车道线之间的匹配关系,根据匹配关系,确定第一图像的候选输出车道线,并从候选输出车道线中,确定第一图像的输出车道线进行输出。由此,本公开在确定第一图像的输出车道线的过程中,无需保存大的量坐标点,节省了内存开销,减小了第一图像的输出车道线过程中的计算量,提高了获取车道线的准确率和效率。

在本公开的一个实施例中,第三获取模块730,还用于:对所述N个拟合车道线进行遍历,获取每个遍历到的拟合车道线与所述M个输出车道线之间的L1距离;以每个所述拟合车道线与所述M个输出车道线之间的L1距离,构建所述距离代价矩阵。

在本公开的一个实施例中,匹配模块740,还用于:以所述N个拟合车道线为第一集合,所述M个输出车道线为第二集合,根据所述距离代价矩阵,对所述第一集合和所述第二集合进行匈牙利匹配算法,得到所述匹配关系。

在本公开的一个实施例中,装置700还用于:若所述N个拟合车道线中存在未匹配成功的多余拟合车道线,则在后续连续N帧图像中对所述多余拟合车道线进行跟踪;若所述后续连续N帧图像中均出现所述多余拟合车道线,确定所述多余拟合车道线为新增车道线,并在所述后续连续N帧图像中的最后一帧作为输出车道线进行输出。

在本公开的一个实施例中,装置700还用于:若所述M个输出车道线中存在未匹配成功的剩余输出车道线,则在后续连续N帧图像中对所述剩余输出车道线进行跟踪;若所述后续连续N帧图像中均未出现所述多余拟合车道线,对所述剩余输出车道线进行丢弃。

在本公开的一个实施例中,确定模块750,还用于:根据所述匹配关系,确定匹配成功的车道线组,其中,所述车道线组中包括一个拟合车道线和一个输出车道线;针对每个车道线组,对所述车道线组中的拟合车道线和输出车道线进行坐标融合,得到所述车道线组对应的候选输出车道线。

在本公开的一个实施例中,确定模块750,还用于:确定所述候选车道线的曲率和斜率;根据所述曲率和所述斜率,识别所述候选车道线中的异常候选车道线和未异常候选车道线;对所述未异常候选车道线进行延长,生成所述第一图像的输出车道线。

在本公开的一个实施例中,确定模块750,还用于:确定所述第一图像的输出车道线的坐标;以所述输出车道线其中一个作为参考输出车道线;根据所述输出车道线的坐标,获取剩余的所述输出车道线与所述参考输出车道线在指定坐标轴上坐标值之间的坐标差;根据所述坐标差值确定所述输出车道线在道路上的从左至右的顺序。

在本公开的一个实施例中,第一获取模块710,还用于:对所述第一图像进行车道线检测,获取检测车道线的图像坐标;基于相机内外参数,对所述检测车道线的图像坐标从图像坐标系向车辆坐标系的转换,得到所述检测车道线的3D坐标;对所述3D坐标进行曲线拟合,得到所述N个拟合车道线。

需要说明的是,上述对车道线检测方法实施例的解释说明,也适用于本公开实施例的车道线检测装置,具体过程此处不再赘述。

为了实现上述实施例,如图8所示,本公开还提出一种电子设备800,包括存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序,处理器820执行程序,以实现本公开前述实施例提出的车道线检测方法。

为了实现上述实施例,本公开还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以实现本公开前述实施例提出的车道线检测方法。

在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

相关技术
  • 基于深度学习多任务网络的交通车道线检测方法及装置
  • 车道线检测方法和装置
  • 一种车道线实例检测方法和装置
  • 车道线检测方法及装置
  • 一种车道线检测方法和装置
  • 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质
  • 车道线检测模型训练方法、装置及车道线检测方法、装置
技术分类

06120115921745