基于稠密视差图的路面坑洼检测方法、系统和设备

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于稠密视差图的路面坑洼 检测方法、系统和设备。

背景技术

目前，汽车辅助驾驶方向的研究随着图像处理技术的发展不断进步，该技 术的研究通过传感器对环境的感知能力和场景的理解能力，实现对前方成像物 体的检测等功能。监测前方道路并评估其危险情况是自动驾驶技术发展中的关 键的环节，如果能实时检测到前方道路存在的坑洼情况，车辆通过调整悬挂设 置，降低路面对车辆的影响，确保驾驶稳定性和舒适性，从而减少爆胎、车轮 与车辆损坏以及道路交通事故的发生。

因此，提供一种路面坑洼检测方法，以解决针对前方道路的实时路况监测， 提高行车舒适性和安全性，就成为本领域技术人员亟待解决的问题。

发明内容

为此，本发明实施例提供一种基于稠密视差图的路面坑洼检测方法、系统 和设备，以至少部分解决现有技术中缺少行车区域坑洼检测导致的，自动驾驶 或辅助驾驶过程中行车舒适性和安全性较差的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于稠密视差图的路面坑洼检测方法，所述方法包括：

获取同一道路场景的左右视图，并基于左右视图计算道路场景的稠密视差 图；

基于得到的稠密视差图截取检测区域；

基于检测区域的图像信息和视差信息计算区域点云信息；

通过区域点云信息对道路平面建模，以得到路面方程，并计算区域点云中 每个离散点到路面方程所在平面的高度信息；

根据所述区域点云信息和所述高度信息生成高度图；

通过融合多帧连续图像的高度图对检测结果进行滤波和修正，以得到融合 结果；

根据融合结果对车辆行驶中，前方检测区域的道路起伏情况和明显具有坑 洼特征的区域进行检测与确认。

进一步地，所述基于左右视图计算道路场景的稠密视差图，具体包括：

通过SGM匹配算法、图像分割方法或深度学习方法计算道路场景的稠密 视差图。

进一步地，所述基于得到的稠密视差图截取检测区域，具体包括：

根据检测深度要求与检测宽度要求计算真实世界坐标系下的检测区域；

将所述真实世界坐标系下的检测区域通过仿射变换的方式换算为图像坐 标系区域，以得到以真实世界坐标系下的检测区域为基准的、基于得到的稠密 视差图截取检测区域。

进一步地，所述基于检测区域的图像信息和视差信息计算区域点云信息， 具体包括：

通过所述检测区域对图像信息进行分割，仅将检测区域内图像信息进行处 理，并将图像坐标系转换为世界坐标系，通过下述公式完成所述检测区域的 3D点云重建：

Z

X

Y

其中，b为双目立体视觉成像系统模型的左右相机间距；

F为相机焦距；

cx与cy为相机主点的图像坐标；

Img

disp为图像点坐标为(Img

X

Y

Z

进一步地，所述通过区域点云信息对道路平面建模，具体包括：

基于3D点云重建信息拟合路面模型；

路面模型方程为：

cosα*X+cosβ*Y+cosγ*Z+D＝0

其中，cosα是路面法矢量与世界坐标系X坐标轴夹角的方向余弦；

cosβ是路面法矢量与世界坐标系Y坐标轴夹角的方向余弦；

cosγ是路面法矢量与世界坐标系Z坐标轴夹角的方向余弦；

D是世界坐标系原点到路面平面的距离。

进一步地，所述计算区域点云中每个离散点到路面方程所在平面的距离， 具体通过以下公式得到：

A＝cosα；

B＝cosβ；

C＝cosγ；

其中，cosα、cosβ、cosγ和D是路面模型方程的参数；

X

H是坐标为(X

进一步地，通过融合多帧连续图像的高度图对检测结果进行滤波和修正， 以得到融合结果，具体包括：

通过车载双目立体视觉系统获取同一道路场景的多帧连续图像，记录多帧 连续图像的采集时间信息与速度信息，计算相邻两帧之间的移动距离；

对于相邻两帧的检测结果，将前一状态下的检测结果依据所述移动距离进 行位置更新，再添加后一状态下的检测结果作为新的检测数据。

本发明还提供一种基于稠密视差图的路面坑洼检测系统，用于实施如上所 述的方法，所述系统包括：

视图获取单元，用于获取同一道路场景的左右视图，并基于左右视图计算 道路场景的稠密视差图；

检测区域获取单元，用于基于得到的稠密视差图截取检测区域；

点云信息获取单元，用于基于检测区域的图像信息和视差信息计算区域点 云信息；

高度信息获取单元，用于通过区域点云信息对道路平面建模，以得到路面 方程，并计算区域点云中每个离散点到路面方程所在平面的高度信息；

高度图生成单元，用于根据所述区域点云信息和所述高度信息生成高度图；

图像融合单元，用于通过融合多帧连续图像的高度图对检测结果进行滤波 和修正，以得到融合结果；

结果输出单元，用于根据融合结果对车辆行驶中，前方检测区域的道路起 伏情况和明显具有坑洼特征的区域进行检测与确认。

本发明还提供一种基于稠密视差图的路面坑洼检测设备，所述设备包括： 数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指 令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个 或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

本发明所提供的基于稠密视差图的路面坑洼检方法，通过双目立体视觉系 统获取同一道路场景的左右视图，并对左右视图进行处理，计算道路场景的稠 密视差图；基于得到的稠密视差图截取检测区域；基于检测区域的图像信息和 视差信息计算区域点云信息；通过点云信息对道路平面建模，并计算点到真实 道路平面的高度信息；通过多帧信息融合对高度信息进行滤波和修正，根据融 合结果对车辆行驶中，前方检测区域的道路起伏情况和明显具有坑洼特征的区 域进行检测与确认。从而基于检测区域的多帧检测，实现快速、准确的前方行 驶区域坑洼检测，解决了现有技术中缺少行车区域坑洼检测导致的，自动驾驶 或辅助驾驶过程中行车舒适性和安全性较差的技术问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对 实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下 面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创 造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内 容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条 件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调 整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明 所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于稠密视差图的路面坑洼检测方法一种具体实 施方式的流程图；

图2为本发明所提供的基于稠密视差图的路面坑洼检测系统一种具体实 施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由 本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的 实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。

本发明所提供的基于稠密视差图的路面坑洼检测方法、系统和装置，通过 对前方行驶区域内坑洼情况的检测和判定，实现坑洼路段的预警，提高自动驾 驶或辅助驾驶过程中的行车舒适性和安全性。

在一种具体实施方式中，如图1所示，本发明所提供的基于稠密视差图的 路面坑洼检测方法包括以下步骤：

S1：获取同一道路场景的左右视图，并基于左右视图计算道路场景的稠密 视差图，具体可通过SGM匹配算法、图像分割方法或深度学习方法计算道路 场景的稠密视差图。在实际实施过程中，通过两台相机组成的双目设备，例如 车载双目立体相机获取同一结构化道路场景的左右视图，并对获取的左右视图 进行处理，得到道路场景的稠密视差图。此处的道路场景为具有清晰的道路标 志线，道路的背景环境比较单一，道路的几何特征也比较明显的结构化道路场 景。

S2：基于得到的稠密视差图截取检测区域。具体地，以真实世界坐标系下 的检测区域为基准截取在图像中的检测区域，也就是说，根据检测深度要求与 检测宽度要求计算真实世界坐标系下的检测区域；将所述真实世界坐标系下的 检测区域通过仿射变换的方式换算为图像坐标系区域，以得到以真实世界坐标 系下的检测区域为基准的、基于得到的稠密视差图截取检测区域。

S3：基于检测区域的图像信息和视差信息计算区域点云信息；具体地，通 过所述检测区域对图像信息进行分割，仅将检测区域内图像信息进行处理，并 将图像坐标系转换为世界坐标系，通过下述公式完成所述检测区域的3D点云 重建：

Z

X

Y

其中，b为双目立体视觉成像系统模型的左右相机间距；

F为相机焦距；

cx与cy为相机主点的图像坐标；

Img

disp为图像点坐标为(Img

X

Y

Z

S4：通过区域点云信息对道路平面建模，以得到路面方程，并计算区域点 云中每个离散点到路面方程所在平面的高度信息。

具体地，通过区域点云信息对道路平面建模，包括：

基于3D点云重建信息拟合路面模型；

路面模型方程为：

cos α*X+cos β*Y+cos γ*Z+D＝0

其中，cos α是路面法矢量与世界坐标系X坐标轴夹角的方向余弦；

cos β是路面法矢量与世界坐标系Y坐标轴夹角的方向余弦；

cos γ是路面法矢量与世界坐标系Z坐标轴夹角的方向余弦；

D是世界坐标系原点到路面平面的距离。

进一步地，所述计算区域点云中每个离散点到路面方程所在平面的距离， 具体通过以下公式得到：

A＝cosα；

B＝cosβ；

C＝cosγ；

其中，cosα、cosβ、cosγ和D是路面模型方程的参数；

X

H是坐标为(X

S5：根据所述区域点云信息和所述高度信息生成高度图。也就是说，将所 述检测区域的3D点云中离散点信息投影至X0Z平面(俯视平面)，并将离散 点的高度信息存储在相应位置。

S6：通过融合多帧连续图像的高度图对检测结果进行滤波和修正，以得到 融合结果。具体地，通过车载双目立体视觉系统获取同一道路场景的多帧连续 图像，记录多帧连续图像的采集时间信息与速度信息，计算相邻两帧之间的移 动距离；对于相邻两帧的检测结果，将前一状态下的检测结果依据所述移动距 离进行位置更新，再添加后一状态下的检测结果作为新的检测数据。

在多帧融合过程中，不断更新XOZ平面的高度信息，并按照物理尺寸截 取大小为m*m的滑动窗口，滑动窗口代表路面检测范围内的一个小区域，对 该区域内的所有高度数据进行排序，取中值作为该滑动窗口中心位置处的路面 高度值。

S7：根据融合结果对车辆行驶中，前方检测区域的道路起伏情况和明显具 有坑洼特征的区域进行检测与确认。在多帧融合过程中，对双目成像系统的最 近可视距离Z_min以内的数据进一步滤波，即在0-Z_min距离范围内，将计 算高度小于预设高度阈值的位置置零，对于高度大于预设高度阈值的路段，输 出在当前时刻距离相机的距离和该路段的凹凸高度。

在上述具体实施方式中，本发明所提供的基于稠密视差图的路面坑洼检方 法，通过双目立体视觉系统获取同一道路场景的左右视图，并对左右视图进行 处理，计算道路场景的稠密视差图；基于得到的稠密视差图截取检测区域；基 于检测区域的图像信息和视差信息计算区域点云信息；通过点云信息对道路平 面建模，并计算点到真实道路平面的高度信息；通过多帧信息融合对高度信息 进行滤波和修正，根据融合结果对车辆行驶中，前方检测区域的道路起伏情况 和明显具有坑洼特征的区域进行检测与确认。从而基于检测区域的多帧检测， 实现快速、准确的前方行驶区域坑洼检测，解决了现有技术中缺少行车区域坑 洼检测导致的，自动驾驶或辅助驾驶过程中行车舒适性和安全性较差的技术问 题。

除了上述方法，本发明还提供一种基于稠密视差图的路面坑洼检测系统， 用于实施如上所述的方法，如图2所示，所述系统包括：

视图获取单元100，用于获取同一道路场景的左右视图，并基于左右视图 计算道路场景的稠密视差图，具体可通过SGM匹配算法、图像分割方法或深 度学习方法计算道路场景的稠密视差图。在实际实施过程中，通过两台相机组 成的双目设备，例如车载双目立体相机获取同一结构化道路场景的左右视图， 并对获取的左右视图进行处理，得到道路场景的稠密视差图。此处的道路场景 为具有清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较 明显的结构化道路场景。

检测区域获取单元200，用于基于得到的稠密视差图截取检测区域。检测 区域获取单元200具体用于以真实世界坐标系下的检测区域为基准截取在图 像中的检测区域，也就是说，根据检测深度要求与检测宽度要求计算真实世界 坐标系下的检测区域；将所述真实世界坐标系下的检测区域通过仿射变换的方 式换算为图像坐标系区域，以得到以真实世界坐标系下的检测区域为基准的、 基于得到的稠密视差图截取检测区域。

点云信息获取单元300，用于基于检测区域的图像信息和视差信息计算区 域点云信息。点云信息获取单元300具体用于，通过所述检测区域对图像信息 进行分割，仅将检测区域内图像信息进行处理，并将图像坐标系转换为世界坐 标系，通过下述公式完成所述检测区域的3D点云重建：

Z

X

Y

其中，b为双目立体视觉成像系统模型的左右相机间距；

F为相机焦距；

cx与cy为相机主点的图像坐标；

Img

disp为图像点坐标为(Img

X

Y

Z

高度信息获取单元400，用于通过区域点云信息对道路平面建模，以得到 路面方程，并计算区域点云中每个离散点到路面方程所在平面的高度信息。高 度信息获取单元400具体用于，基于3D点云重建信息拟合路面模型；路面模 型方程为：

cos α*X+cos β*Y+cos γ*Z+D＝0

其中，cos α是路面法矢量与世界坐标系X坐标轴夹角的方向余弦；

cos β是路面法矢量与世界坐标系Y坐标轴夹角的方向余弦；

cosγ是路面法矢量与世界坐标系Z坐标轴夹角的方向余弦；

D是世界坐标系原点到路面平面的距离。

高度信息获取单元400，具体通过以下公式计算区域点云中每个离散点到 路面方程所在平面的距离：

A＝cosα；

B＝cosβ；

C＝cosγ；

其中，cosα、cosβ、cosγ和D是路面模型方程的参数；

X

H是坐标为(X

高度图生成单元500，用于根据所述区域点云信息和所述高度信息生成高 度图。也就是说，高度图生成单元500用于将所述检测区域的3D点云中离散 点信息投影至X0Z平面(俯视平面)，并将离散点的高度信息存储在相应位 置。

图像融合单元600，用于通过融合多帧连续图像的高度图对检测结果进行 滤波和修正，以得到融合结果。具体地，图像融合单元600用于通过车载双目 立体视觉系统获取同一道路场景的多帧连续图像，记录多帧连续图像的采集时 间信息与速度信息，计算相邻两帧之间的移动距离；对于相邻两帧的检测结果， 将前一状态下的检测结果依据所述移动距离进行位置更新，再添加后一状态下 的检测结果作为新的检测数据。

在多帧融合过程中，不断更新XOZ平面的高度信息，并按照物理尺寸截 取大小为m*m的滑动窗口，滑动窗口代表路面检测范围内的一个小区域，对 该区域内的所有高度数据进行排序，取中值作为该滑动窗口中心位置处的路面 高度值。

结果输出单元700，用于根据融合结果对车辆行驶中，前方检测区域的道 路起伏情况和明显具有坑洼特征的区域进行检测与确认。在多帧融合过程中， 对双目成像系统的最近可视距离Z_min以内的数据进一步滤波，即在0-Z_min 距离范围内，将计算高度小于预设高度阈值的位置置零，对于高度大于预设高 度阈值的路段，输出在当前时刻距离相机的距离和该路段的凹凸高度。

在上述具体实施方式中，本发明所提供的基于稠密视差图的路面坑洼检系 统，通过双目立体视觉系统获取同一道路场景的左右视图，并对左右视图进行 处理，计算道路场景的稠密视差图；基于得到的稠密视差图截取检测区域；基 于检测区域的图像信息和视差信息计算区域点云信息；通过点云信息对道路平 面建模，并计算点到真实道路平面的高度信息；通过多帧信息融合对高度信息 进行滤波和修正，根据融合结果对车辆行驶中，前方检测区域的道路起伏情况 和明显具有坑洼特征的区域进行检测与确认。从而基于检测区域的多帧检测， 实现快速、准确的前方行驶区域坑洼检测，解决了现有技术中缺少行车区域坑 洼检测导致的，自动驾驶或辅助驾驶过程中行车舒适性和安全性较差的技术问 题。

本发明还提供一种基于稠密视差图的路面坑洼检测设备，所述设备包括： 数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指 令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该 计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令 用于被一种双目相机深度标定系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能 力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简 称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、 现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可 编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通 用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本 发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或 者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存 储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄 存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件 完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或 可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、 可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读 存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器 (Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称 RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的 RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机 存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器 (Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储 器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存 取存储器(Enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储 器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器 (DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类 型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描 述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储 在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进 行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括 便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通 用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一 步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于 限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、 等同替换、改进等，均应包括在本发明的保护范围之内。