掌桥专利:专业的专利平台
掌桥专利
首页

一种道路异常区域检测方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 09:47:53


一种道路异常区域检测方法、装置、电子设备及存储介质

技术领域

本发明涉及智能交通技术领域,尤其涉及一种道路异常区域的检测方法、装置、电子设备及存储介质。

背景技术

随着智能交通领域的快速发展,越来越多的汽车制造企业开始大力发展智能驾驶车辆。智能驾驶车辆通过车辆上的人工智能控制系统、监控装置、定位系统、雷达等协同工作,实现对车辆的精确控制,达到自动智能驾驶的目的。但是,现实中的道路情况复杂,怎么实现智能驾驶车辆对于道路上障碍物的识别与避让,成为了提高智能驾驶车辆安全性的重要部分。

目前,对于道路上的普通障碍物,例如车辆、人员、道路围栏等,智能驾驶车辆的识别方法为通过建立普通障碍物的识别模型并进行机器学习,可以使得智能驾驶车辆可以识别并避让道路上的普通障碍物,实现车辆的正常行驶。

智能驾驶车辆虽然可以识别出道路上的普通障碍物,但是对于道路上的异常区域(包括如树叶、石头等突出物,以及坑、洞等负障碍物)无法进行识别,而异常区域也可能影响到智能驾驶车辆的正常行驶,产生安全隐患。

发明内容

本发明提供一种道路异常区域的检测方法、装置、电子设备及存储介质,用以解决现有技术中的智能驾驶车辆虽然可以识别出道路上的普通障碍物,但是对于道路上的异常区域无法进行识别,而异常区域也可能影响到智能驾驶车辆的正常行驶,产生安全隐患的缺陷,实现对异常区域的识别,从而使得智能驾驶车辆可以对异常区域进行避让,减少安全隐患。

本发明提供一种道路异常区域检测方法,包括:

确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域;

获取所述可通行区域的点云图像;

根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

根据本发明提供的一种道路异常区域检测方法,所述根据由所述点云图像确定的拟合平面,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域,包括:

获取根据所述点云图像确定的任一拟合平面,判断在所述任一拟合平面的第一侧是否存在到所述任一拟合平面的距离大于第一阈值的第一扫描点,以及在所述任一拟合平面的第二侧是否存在到所述任一拟合平面的距离大于第二阈值的第二扫描点;

若在所述任一拟合平面的第一侧存在所述第一扫描点,则所述可通行区域中的路面上包含存在突出物的区域,且所述存在突出物的区域位于所述第一扫描点对应的范围内;

若在所述任一拟合平面的第二侧存在所述第二扫描点,则所述可通行区域中的路面上包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第二扫描点对应的范围内;

其中,所述任一拟合平面的第一侧对应所述可通行区域中道路上方的区域,所述任一拟合平面的第二侧对应所述可通行区域中道路下方的区域。

根据本发明提供的一种道路异常区域检测方法,所述根据所述点云图像中扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域,包括:

针对所述点云图像中的任一扫描线,判断所述任一扫描线相对于理想扫描线是否存在偏移线段;

若存在所述偏移线段,确定所述偏移线段中是否存在到所述理想扫描线的距离大于第三阈值的第三扫描点;

若所述偏移线段中存在所述第三扫描点,则所述可通行区域中的路面上包含存在负障碍物的区域和/或存在突出物的区域;

其中,所述理想扫描线为激光雷达对不存在负障碍物的区域和不存在突出物的区域的道路进行扫描形成的扫描线。

根据本发明提供的一种道路异常区域检测方法,所述若所述偏移线段中存在所述第三扫描点,则所述可通行区域中存在负障碍物的区域和/或存在突出物的区域,包括:

获取所述第三扫描点与所述激光雷达的第一距离;确定所述第三扫描点到所述理想扫描线上的最近距离点,并获取所述最近距离点与激光雷达的第二距离;

若所述第一距离大于所述第二距离,则可通行区域中包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第三扫描点对应的范围内;若所述第一距离小于所述第二距离,则可通行区域中包含存在突出物的区域,且所述存在突出物的区域位于所述第三扫描点对应的范围内。

根据本发明提供的一种道路异常区域检测方法,所述确定道路的可通行区域,包括:

获取对车辆前方的道路采集的道路图像;

将所述道路图像输入识别模型,得到由所述识别模型识别的实体;其中,所述识别模型用于基于输入的道路图像识别出所述道路图像中出现的影响当前车辆通行的实体;

从所述道路图像中去除由所述识别模型识别的实体得到目标图像,将所述目标图像对应的区域作为所述可通行区域。

根据本发明提供的一种道路异常区域检测方法,还包括:

获取通过扫描道路得到的点云图像,作为原始点云图像;

将所述原始点云图像与所述目标图像配准,去除所述原始点云图像中在所述目标图像中无法匹配的扫描点,得到所述可通行区域的点云图像。

根据本发明提供的一种道路异常区域检测方法,还包括:

若所述可通行区域中的路面上包含存在突出物的区域,且所述存在突出物的区域位于所述第一扫描点对应的范围内,则根据所述第一扫描点在所述任一拟合平面中形成的投影区域的第一面积和所述第一扫描点中距所述任一拟合平面最远的扫描点与所述任一拟合平面的距离,生成对车辆行驶过程的第一提示信息;

若所述可通行区域中的路面上包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第二扫描点对应的范围内,则根据所述第二扫描点在所述任一拟合平面中形成的投影区域的第二面积和所述第二扫描点中距所述任一拟合平面最远的扫描点与所述任一拟合平面的距离,生成对车辆行驶过程的第二提示信息。

本发明还提供一种道路异常区域检测装置,包括:

确定单元,用于确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域;

获取单元,用于获取所述可通行区域的点云图像;

检测单元,用于根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述道路异常区域检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述道路异常区域检测方法的步骤。

本发明提供的一种道路异常区域检测方法、装置、电子设备及存储介质,通过确定道路的可通行区域;获取所述可通行区域的点云图像;根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。通过扫描点云中的拟合平面和扫描线,车辆可以识别出道路上的存在负障碍物的区域和/或存在突出物的区域,即可以确定异常区域中存在负障碍物和/或突出物,从而在异常区域可能影响行驶安全的情况下,控制车辆对异常区域进行避让,减少车辆行驶过程中的安全隐患。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的道路异常区域检测方法的流程示意图;

图2是本发明提供的智能驾驶车辆自动检测道路上异常障碍物的方法流程示意图;

图3是本发明提供的智能驾驶车辆自动检测道路上负障碍物的方法流程示意图;

图4是本发明提供的道路异常区域检测装置的结构示意图;

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在智能驾驶汽车上安装有摄像头和激光雷达,其中,摄像头用于获取前方道路的图像,激光雷达用于扫描前方道路,并获得前方道路上障碍物的点云图像,并最终判断车辆能否通过前方道路区域。本发明实施例以使用激光雷达进行前方道路的扫描为例,说明本发明提供的道路异常区域的检测方法。

下面结合图1描述本发明提供的一种道路异常区域检测方法。参见图1,该道路异常区域检测方法包括:

步骤101:确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域。

智能驾驶车辆在道路上运行时,道路上经常存在着影响车辆通行的实体,例如其他车辆、行人、护栏等;车辆需要识别出这些影响通行的实体,并实施避让,以免发生事故。智能驾驶车辆上安装有摄像头,用于获取前方道路的道路图像并实时监控。在此过程中,智能驾驶车辆上安装的摄像头获取前方道路的道路图像,将道路图像中可以识别出的实体输入至普通障碍物的识别模型并进行比较;若道路图像中的实体与普通障碍物吻合,则确认前方道路上的障碍物为普通障碍物,会影响车辆的正常通行,因此在为智能驾驶车辆规划通行路线时,将前方道路上的普通障碍物所在的区域去除,并将剩下的道路区域作为智能驾驶车辆的可通行区域。

步骤102:获取所述可通行区域的点云图像。

车辆上的激光雷达对前方道路进行扫描时,通过激光雷达发出的激光扫描线扫描前方道路,获得前方道路的原始点云图像;得到的原始点云图像中包括影响车辆通行的实体的点云图像,也包括可通行区域的点云图像。根据摄像头得到的前方道路的道路图像,将前方道路的激光扫描点云图像与道路图像进行配准,在根据识别出的普通障碍物,将激光扫描获得的原始点云图像中的普通障碍物的点云图像去除,剩下的点云图像即为可通行区域的点云图像。

步骤103:根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

具体的,获得可通行区域的点云图像后,可以通过拟合平面和/或扫描线判断可通行区域中是否存在异常区域;即可以将扫描线中的扫描点拟合成至少一个拟合平面,或者直接根据扫描线确定。

进一步地,通过将点云图像与道路图像进行配准,还可以得到点云图像中的每个扫描点与当前车辆上安装的激光雷达的距离,进而可以计算出点云图像中任一拟合平面与扫描点的距离、任一扫描线与扫描点的距离、任一扫描点与当前车辆上的激光雷达的距离。

其中,道路上的异常区域可以为低于路面的负障碍物,例如道路上的坑洞、沟等;也可以为高于路面的突出物,例如石块、玻璃碎块等;这些障碍物无法被普通障碍物的识别模型识别出来,但是仍会对车辆的正常行驶造成影响,甚至是损坏车辆,造成事故。因此,通过识别出这些异常区域,可以减少车辆行驶过程中的安全隐患。

本发明提供的道路异常区域检测方法,通过确定道路的可通行区域;获取所述可通行区域的点云图像;根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。通过扫描点云中的拟合平面和扫描线,车辆可以识别出道路上的存在负障碍物的区域和/或存在突出物的区域,即可以确定异常区域中存在负障碍物和/或突出物,从而在异常区域可能影响行驶安全的情况下,控制车辆对异常区域进行避让,减少车辆行驶过程中的安全隐患。

在上述实施例的基础上,所述根据由所述点云图像确定的拟合平面,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域,包括:

获取根据所述点云图像确定的任一拟合平面,判断在所述任一拟合平面的第一侧是否存在到所述任一拟合平面的距离大于第一阈值的第一扫描点,以及在所述任一拟合平面的第二侧是否存在到所述任一拟合平面的距离大于第二阈值的第二扫描点;

若在所述任一拟合平面的第一侧存在所述第一扫描点,则所述可通行区域中的路面上包含存在突出物的区域,且所述存在突出物的区域位于所述第一扫描点对应的范围内;

若在所述任一拟合平面的第二侧存在所述第二扫描点,则所述可通行区域中的路面上包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第二扫描点对应的范围内;

其中,所述任一拟合平面的第一侧对应所述可通行区域中道路上方的区域,所述任一拟合平面的第二侧对应所述可通行区域中道路下方的区域。

可通行区域的点云图像中存在着很多扫描点,将这些扫描点按照平面拟合的方法,拟合出至少一个拟合平面,使得尽可能多的扫描点在该拟合平面中,即该拟合平面可以近似看作前方道路的路面所在的平面。

其中,当任一拟合平面的上方存在扫描点时,即该拟合平面所在的可通行区域中存在着高于路面的实体;当该高于拟合平面的扫描点与该拟合平面的距离大于第一阈值时,可以认为该扫描点所在的道路区域中存在着高于路面且高度较高的实体,该实体可能会影响到车辆的正常通行,则将此扫描点作为第一扫描点, 该可通行区域中存在突出物。

当任一拟合平面下方存在扫描点时,即该拟合平面所在的可通行区域中存在着低于路面的实体;当该低于拟合平面的扫描点与该拟合平面的距离大于第二阈值时,可以认为该扫描点所在的道路区域中存在着低于路面较多的实体,该实体可能会影响到车辆的正常通行,则将此扫描点作为第二扫描点,该可通行区域中存在负障碍物。

其中,第一阈值、第二阈值可以由人为设定,本实施例对此不作具体限定。

例如,当一个拟合平面的上方存在扫描点时,且该扫描点距离该拟合平面的距离为10cm,设定的第一阈值为5cm,则可以确定该可通行区域中存在着突出物,再根据车辆本身的高度参数,确定此突出物是否会影响车辆的正常通行,以及是否需要车辆进行避让。

本实施例通过确定拟合平面的上方或下方是否存在与拟合平面的距离大于阈值的扫描点,一方面可以确定可通行区域中是否存在异常区域,另一方面还可以确定异常区域为负障碍物或突出物,从而为智能驾驶车辆提供更准确的识别结果,使得车辆可以进行准确的判断出是否需要避让,降低车辆行驶过程中的安全隐患。

在上述各实施例的基础上,所述根据所述点云图像中扫描线,检测所述可通行区域中是否存在异常区域,包括:

针对所述点云图像中的任一扫描线,判断所述任一扫描线相对于理想扫描线是否存在偏移线段;

若存在所述偏移线段,确定所述偏移线段中是否存在到所述理想扫描线的距离大于第三阈值的第三扫描点;

若所述偏移线段中存在所述第三扫描点,则所述可通行区域中的路面上包含存在负障碍物的区域和/或存在突出物的区域;

其中,所述理想扫描线为激光雷达对不存在负障碍物的区域和不存在突出物的区域的道路进行扫描形成的扫描线。

具体的,偏移线段可以为直线线段,也可以为偏移曲线线段或偏移点,本实施例对此不作具体限制,以下略称为偏移线段。

进一步的,理想扫描线为激光雷达对不存在异常区域的道路进行扫描形成的扫描线,即理想扫描线可以为数学意义上的直线、曲线,或根据激光雷达的激光扫描特性确定的其他曲线。

当激光雷达扫描不存在异常区域的道路时,得到的扫描点云图像中的每一根扫描线上不存在偏移线段,即每一个扫描线均为理想扫描线,其上的扫描点与理想扫描线的距离为零。

当激光雷达扫描存在异常区域的道路时,得到的扫描线在异常区域的表面上会发生形变,即得到的扫描线上会存在偏移线段。通过判断偏移线段中的扫描点与理想扫描线的距离是否大于第三阈值,确定此扫描线对应的可通行区域中是否存在异常区域。

本实施例中通过直接判断扫描线上偏移线段的扫描点与理想扫描线的距离,可以更快的确定可通行区域中是否存在异常区域,提高道路异常区域的识别效率,加快智能驾驶车辆对异常区域的响应速度。

在上述各实施例的基础上,所述若所述偏移线段中存在所述第三扫描点,则所述可通行区域中负障碍物的区域和/或存在突出物的区域,包括:

获取所述第三扫描点与所述激光雷达的第一距离;确定所述第三扫描点到所述理想扫描线上的最近距离点,并获取所述最近距离点与激光雷达的第二距离;

若所述第一距离大于所述第二距离,则可通行区域中包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第三扫描点对应的范围内;若所述第一距离小于所述第二距离,则可通行区域中包含存在突出物的区域,且所述存在突出物的区域位于所述第三扫描点对应的范围内。

通过可通行区域的点云图像,可以获得点云图像中各扫描点与激光雷达的距离、任一理想扫描线与激光雷达的距离。

当任一扫描线投影到道路的可通行区域内,若可通行区域内不存在异常区域,则投影到可通行区域的扫描线为理想扫描线,即可以得到理想扫描线上的任一扫描点与激光雷达的距离;若可通行区域内存在异常区域,得到的扫描线存在偏移线段,通过获得偏移线段上的第三扫描点到理想扫描线上的最近距离点,理想扫描线上的该最近距离点与激光雷达的距离即为第二距离。

当第一距离大于第二距离时,可以得到偏移线段上的第三扫描点向远离当前车辆的方向偏移,即异常区域相对于路面较低,存在着负障碍物;当第一距离小于第二距离时,可以得到偏移线段上的第三扫描点向靠近当前车辆的方向偏移,即异常区域高于路面,存在着突出物。

具体的,当前车辆上安装的为旋转发射式的激光雷达,则对前方道路进行扫描时得到的理想扫描线为圆弧型;或者当前车辆安装的为摆动扫描式的激光雷达,则对前方道路进行扫描时得到的理想扫描线为直线,此时确定第三扫描点到圆弧形理想扫描线或直线型理想扫描线上的最近距离点,并获取最近距离点与车辆上的激光雷达的距离作为第二距离,以使得测量结果更准确。

本实施例中,通过判断第一距离与第二距离的长度关系,确定异常区域中存在负障碍物或突出物,可以在识别出前方道路存在异常区域的基础上,为异常区域的识别提供更精确的识别结果,降低车辆行驶过程中的安全隐患。

在上述各实施例的基础上,所述确定道路的可通行区域,包括:

获取对车辆前方的道路采集的道路图像;

将所述道路图像输入识别模型,得到由所述识别模型识别的实体;其中,所述识别模型用于基于输入的道路图像识别出所述道路图像中出现的影响当前车辆通行的实体;

从所述道路图像中去除由所述识别模型识别的实体得到目标图像,将所述目标图像对应的区域作为所述可通行区域。

影响当前车辆通行的实体通常为道路上的其他车辆、行人、道路护栏等常见障碍物,其中每个实体通常有着各自相似的外观和轮廓,可以通过建立深度学习的识别模型,识别出前方道路图像中的这些影响车辆通行的实体。

通过摄像头获得前方道路的道路图像,将道路图像输入识别模型中后,识别模型识别出道路图像中的常见障碍物后,将道路图像中的常见障碍物所在的道路区域去除,剩下的道路区域即为当前车辆的可通行区域。

本发明实施例提供的方法中,通过深度学习算法得到的检测模型(即识别模型)在训练时,由于没有异常障碍物(即异常区域)作为样本数据,因此检测模型理论上并不能检测出异常障碍物;本实施例中首先通过检测模型,检测出常见的物体,如车辆、行人等,然后在图像上去除常见物体,理论上只剩下路面,再用激光检测方法检测路面,如果有突变点,就可能是异常障碍物。

本实施例中,通过常见障碍物的识别模型,可以将前方道路的道路图像中的常见障碍物去除,获得可通行区域;通过去除常见障碍物,可以减少常见障碍物对可通行区域中异常区域识别的干扰,提高识别效率。

在上述各实施例的基础上,所述获取所述可通行区域的点云图像,包括:

获取通过扫描道路得到的点云图像,作为原始点云图像;

将所述原始点云图像与所述目标图像配准,去除所述原始点云图像中在所述目标图像中无法匹配的扫描点,得到所述可通行区域的点云图像。

通过激光雷达获得前方道路的扫描点云,即原始点云图像,将原始点云图像投影到道路图像上,确保道路图像中的道路情况与激光雷达扫描的道路情况是一致的;通过识别道路图像中的常见障碍物,将扫描点云中常见障碍物上的扫描点去除,得到可通行区域的点云图像。

本实施例中,通过去除常见障碍物上的扫描点,可以得到只包含可通行区域的扫描线,减少了普通障碍物上的扫描点对可通行区域的点云图像的干扰,使得可通行区域中的扫描点与所述点云图像确定的拟合平面和/或所述点云图像中的扫描线的距离更精准,提高对异常区域的识别准确度。

在上述各实施例的基础上,所述一种道路异常区域检测方法,还包括:

若所述可通行区域中的路面上包含存在突出物的区域,且所述存在突出物的区域位于所述第一扫描点对应的范围内,则根据所述第一扫描点在所述任一拟合平面中形成的投影区域的第一面积和所述第一扫描点中距所述任一拟合平面最远的扫描点与所述任一拟合平面的距离,生成对车辆行驶过程的第一提示信息;

若所述可通行区域中的路面上包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第二扫描点对应的范围内,则根据所述第二扫描点在所述任一拟合平面中形成的投影区域的第二面积和所述第二扫描点中距所述任一拟合平面最远的扫描点与所述任一拟合平面的距离,生成对车辆行驶过程的第二提示信息。

通过点云图像,可以得到每个扫描点距离当前车辆上激光雷达的距离。对于根据由所述点云图像确定的拟合平面,检测所述可通行区域中是否存在异常区域的过程中,当拟合平面上方存在第一扫描点时,通过对所有第一扫描点在拟合平面上的投影,获得投影区域的最大的长度和宽度,即获得异常区域中突出物在水平方向的面积;通过比较各第一扫描点距离拟合平面的距离,可以得到该突出物的最大高度,通过突出物的面积和最大高度,生成第一提示信息;当前车辆通过第一提示信息,根据车辆本身的车身宽度、底盘高度等信息判断当前车辆能否通过此突出物。

同样的,当拟合平面的下方存在第二扫描点时,可以通过第二扫描点,获得包含异常区域中负障碍物面积和深度的第二提示信息,当前车辆通过第二提示信息,从而判断当前车辆能否通过此负障碍物。

例如,当拟合平面上方存在第一扫描点时,即异常区域中存在突出物,计算得到所有第一扫描点在拟合平面上的投影面积为150cm

本实施例中,当可通行区域中存在异常区域时,通过向当前车辆发送提示信息,当前车辆可以判断出能否通过此异常区域,调整当前车辆的行驶路线,从而减少车辆形式过程中的安全隐患。

以本发明实施例提供的道路异常区域检测方法为例,还提供了一种车辆自动检测道路上异常障碍物的方法,参见图2,具体步骤如下:

步骤201:智能驾驶车上在前方部署传感器,包括摄像头和激光雷达;

步骤202:将摄像头采集的图像与激光雷达采集的点云配准;

其中,确定图像上的拍到的点与激光检测的点是一致的,通过配准,可以将激光检测到的点和图像上的点配在一起。理论上可以知道智能驾驶车与每个点的距离;

步骤203:从摄像头拍摄的图像上通过深度学习方法检测出常见物体,包括车辆、行人、自行车、摩托车等;

步骤204:从图像上通过深度学习检测出地面上的可通行区域,包括地面上的箭头和车道线等标志,但不包含步骤203中检测出的物体;

其中,步骤203和步骤204通过深度学习所得到的检测模型是不一样的。步骤204可以得到可通行区域内的检测结果,将步骤204与步骤203的检测结果求差,可以得到路面的检测结果;

步骤205:将激光点云的每条扫描线分别投影在图像上的可通行区域,保留区域内的点;

步骤206:检查每条线上的点是否有突变;

其中,可通过检查每条线上的点的高度是否有突然变化,来确定点是否有突变;有突变的点就是可能的异常障碍物。

进一步地,本发明实施例提供了一种车辆自动检测道路上负障碍物的方法,参见图3,具体步骤如下:

步骤301:智能驾驶车上在前方部署传感器,包括摄像头和激光雷达;

步骤302:将摄像头采集的图像与激光雷达采集的点云配准;

步骤303:从摄像头拍摄的图像上通过深度学习方法检测出常见物体,包括车辆、行人、自行车、摩托车等;

步骤304:从图像上通过深度学习检测出地面上的可通行区域,包括地面上的箭头和车道线等标志,但不包含步骤303中检测出的物体;

步骤305:将激光点云的每条扫描线分别投影在图像上的可通行区域,保留区域内的点;

步骤306:对保留下的点由近及远分块,分别拟合出多个平面;

其中,之所以要分块,是考虑到路面坡度有起伏;

步骤307:低于这些平面超过一定阈值的点输出为负障碍物,如井盖没有的情况;

步骤308:基本处于平面内,但是单条扫描线线上的点与圆弧形状差异过大,且向远处突出,提示可能为负障碍物。

下面对本发明提供的道路异常区域检测装置进行描述,下文描述的道路异常区域检测装置与上文描述的道路异常区域检测方法可相互对应参照。

图4是本发明提供的道路异常区域检测装置的结构示意图,参见图4,本发明提供的道路异常区域检测装置包括:

确定单元401,用于确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域;

获取单元402,用于获取所述可通行区域的点云图像;

检测单元403,用于根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

本实施例提供的道路异常区域检测装置适用于上述各实施例提供的道路异常区域检测方法,在此不再赘述。

本发明提供的一种道路异常区域检测装置,通过确定道路的可通行区域;获取所述可通行区域的点云图像;根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。通过扫描点云中的拟合平面和扫描线,车辆可以识别出道路上的存在负障碍物的区域和/或存在突出物的区域,即可以确定异常区域中存在负障碍物和/或突出物,从而在异常区域可能影响行驶安全的情况下,控制车辆对异常区域进行避让,减少车辆行驶过程中的安全隐患。

进一步地,根据本发明提供的一种道路异常区域检测方法,所述根据由所述点云图像确定的拟合平面,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域,包括:

获取根据所述点云图像确定的任一拟合平面,判断在所述任一拟合平面的第一侧是否存在到所述任一拟合平面的距离大于第一阈值的第一扫描点,以及在所述任一拟合平面的第二侧是否存在到所述任一拟合平面的距离大于第二阈值的第二扫描点;

若在所述任一拟合平面的第一侧存在所述第一扫描点,则所述可通行区域中的路面上包含存在突出物的区域,且所述存在突出物的区域位于所述第一扫描点对应的范围内;

若在所述任一拟合平面的第二侧存在所述第二扫描点,则所述可通行区域中的路面上包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第二扫描点对应的范围内;

其中,所述任一拟合平面的第一侧对应所述可通行区域中道路上方的区域,所述任一拟合平面的第二侧对应所述可通行区域中道路下方的区域。

进一步地,根据本发明提供的一种道路异常区域检测方法,所述根据所述点云图像中扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域,包括:

针对所述点云图像中的任一扫描线,判断所述任一扫描线相对于理想扫描线是否存在偏移线段;

若存在所述偏移线段,确定所述偏移线段中是否存在到所述理想扫描线的距离大于第三阈值的第三扫描点;

若所述偏移线段中存在所述第三扫描点,则所述可通行区域中的路面上包含存在负障碍物的区域和/或存在突出物的区域;

其中,所述理想扫描线为激光雷达对不存在负障碍物的区域和不存在突出物的区域的道路进行扫描形成的扫描线。

进一步地,根据本发明提供的一种道路异常区域检测方法,所述若所述偏移线段中存在所述第三扫描点,则所述可通行区域中存在负障碍物的区域和/或存在突出物的区域,包括:

获取所述第三扫描点与所述激光雷达的第一距离;确定所述第三扫描点到所述理想扫描线上的最近距离点,并获取所述最近距离点与激光雷达的第二距离;

若所述第一距离大于所述第二距离,则可通行区域中包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第三扫描点对应的范围内;若所述第一距离小于所述第二距离,则可通行区域中包含存在突出物的区域,且所述存在突出物的区域位于所述第三扫描点对应的范围内。

进一步地,根据本发明提供的一种道路异常区域检测方法,所述确定道路的可通行区域,包括:

获取对车辆前方的道路采集的道路图像;

将所述道路图像输入识别模型,得到由所述识别模型识别的实体;其中,所述识别模型用于基于输入的道路图像识别出所述道路图像中出现的影响当前车辆通行的实体;

从所述道路图像中去除由所述识别模型识别的实体得到目标图像,将所述目标图像对应的区域作为所述可通行区域。

进一步地,根据本发明提供的一种道路异常区域检测方法,所述获取所述可通行区域的点云图像,包括:

获取通过扫描道路得到的点云图像,作为原始点云图像;

将所述原始点云图像与所述目标图像配准,去除所述原始点云图像中在所述目标图像中无法匹配的扫描点,得到所述可通行区域的点云图像。

进一步地,根据本发明提供的一种道路异常区域检测方法,还包括:

若所述可通行区域中的路面上包含存在突出物的区域,且所述存在突出物的区域位于所述第一扫描点对应的范围内,则根据所述第一扫描点在所述任一拟合平面中形成的投影区域的第一面积和所述第一扫描点中距所述任一拟合平面最远的扫描点与所述任一拟合平面的距离,生成对车辆行驶过程的第一提示信息;

若所述可通行区域中的路面上包含存在负障碍物的区域,且所述存在负障碍物的区域位于所述第二扫描点对应的范围内,则根据所述第二扫描点在所述任一拟合平面中形成的投影区域的第二面积和所述第二扫描点中距所述任一拟合平面最远的扫描点与所述任一拟合平面的距离,生成对车辆行驶过程的第二提示信息。

图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行一种道路异常区域检测方法,该方法包括:确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域;获取所述可通行区域的点云图像;根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的一种道路异常区域检测方法,该方法包括:确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域;获取所述可通行区域的点云图像;根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的一种道路异常区域检测方法,该方法包括:确定道路的可通行区域;其中,所述可通行区域为去除所述道路中出现的影响当前车辆通行的实体后确定的区域;获取所述可通行区域的点云图像;根据由所述点云图像确定的拟合平面和/或所述点云图像中的扫描线,检测所述可通行区域中的路面上存在负障碍物的区域和/或存在突出物的区域。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术分类

06120112302163