一种基于360°环视系统多目视觉的路沿检测方法及装置

技术领域

本发明涉及汽车防撞系统技术领域，具体涉及一种基于360°环视系统多目视觉的路沿检测方法、装置、可存储介质及计算机软件程序产品。

背景技术

在高级驾驶辅助系统（Advanced Driving Assistance System）里，安全系统是非常重要的组成部分，防碰撞系 统就是为安全设计的，而路沿检测在防碰撞系统中具有重要作用，准确检测路沿可以实现行驶安全预警和车轮毂的保护。

现有的路沿检测方法可以分为三种：一是基于激光雷达扫描获取道路中的三维坐标信息（点云），利用三维信息检测路沿，检测设备成本高。二是通过超声波扫描道路信息，容易受噪声和离散点影响，所以抗干扰性较差，检测准确性较低。三是基于视觉获取图像信息，通过图像信息检测路沿，较难获取距离信息，对系统性能要求较高，很难实现实时检测。

针对上述路沿检测存在的问题，本发明人进行了积极研发试验，遂产生本案。

发明内容

本发明的目的在于提供一种基于360°环视系统多目视觉的路沿检测方法、装置、可存储介质及计算机软件程序产品，以提高路沿检测的实时性。

为实现上述目的，本发明采用的技术方案是：

一种基于360°环视系统多目视觉的路沿检测方法，其包括以下步骤：

步骤1、获取车辆的前后左右四路图像即前视图、后视图、左视图和右视图；

步骤2、分别从四路图像中提取感兴趣区域，并对感兴趣区域进行预处理；

步骤3、对预处理后的感兴趣区域查找边缘线，令边缘线的高度H=0，然后结合摄像头内、外参数将边缘线映射到车身坐标系下，接着对边缘线进行拟合；

步骤4、分别匹配车身坐标系下的四组边缘线，即匹配前视图和右视图的边缘线、前视图和左视图的边缘线、后视图和右视图的边缘线、后视图和左视图的边缘线；对于每组边缘线，若匹配失败，增加边缘线高度值H，并继续匹配；若匹配成功，判断H＞H_min，满足则判断该边缘线为路沿，否则，剔除当前边缘线对并增加边缘线高度值H，继续匹配，直至检测出路沿或者H不小于H_max或边缘线条数小于2；其中，H_max和H_min分别为预设的路沿最大高度值和最小高度值。

所述步骤4检测出路沿后，还继续执行以下步骤：

步骤5、根据步骤 4 的路沿检测结果，融合超声波信息，综合判断

以上步骤获取的路沿信息与超声波检测的路沿信息，若两者相差较小则 进行加权处理，并将处理结果作为最终输出；若相差较大则取靠近车身的路沿信息作为最终输出，增加环境感知的冗余度。

所述步骤5后，还继续执行以下步骤：

步骤6、根据步骤5的路沿检测结果，确定跟踪距离和跟踪时间，结合车身运动信息路沿进行跟踪，输出路沿跟踪结果。

输出路沿跟踪结果后，计算路沿与车轮的距离，并向驾驶员预警车身离路沿的距离。

一种基于360°环视系统多目视觉的路沿检测装置，其包括

图像预处理模块，用于从360°环视系统的摄像头获取车辆的前后左右四路图像，即前视图、后视图、左视图和右视图；以及用于从四路图像中提取感兴趣区域，并对感兴趣区域进行预处理；

边缘线检测模块，连接图像预处理模块，用于从预处理后的感兴趣区域中提取边缘线，并将边缘性的高度H设置为0，同时结合摄像头内、外参数将边缘线映射到车身坐标系；以及用于对边缘线进行拟合；

路沿识别模块，连接边缘线检测模块，用于进行边缘线匹配，即匹配前视图和右视图的边缘线、前视图和左视图的边缘线、后视图和右视图的边缘线、后视图和左视图的边缘线；对于每组边缘线，若匹配失败，增加边缘线高度值H，并继续匹配；若匹配成功，判断H＞H_min，满足则判断该边缘线为路沿，否则，剔除当前边缘线对并增加边缘线高度值H，继续匹配，直至检测出路沿或者H不小于H_max或边缘线条数小于2；其中，H_max和H_min分别为预设的路沿最大高度值和最小高度值。

所述装置还包括路沿跟踪模块，连接路沿识别模块，用于根据路沿检测结果确定跟踪距离和跟踪时间，并结合车身运动信息路沿进行跟踪，输出路沿跟踪结果。

所述装置还包括预警模块，连接路沿跟踪模块，用于在检测出路沿后，计算路沿与车轮的距离，并向驾驶员预警车身离路沿的距离。

所述装置还包括超声波融合模块和检测输出模块，所述超声波融合模块利用超声波检测路沿信息，所述检测输出模块用于综合判断路沿识别模块输出的路沿信息和超声波融合模块输出的路沿信息，若两者相差较小则进行加权处理，得到最终输出；若相差较大则取靠近车身的路沿信息作为最终输出。

一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的路沿检测方法。

一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的路沿检测方法。

采用上述方案后，本发明利用车辆本身的360°环视系统作为图像来源设备，无需而外增加新的检测设备，并从四路图像查找出边缘线；然后将边缘线结合到鸟瞰图中，基于两张具有视差的视图进行边缘性匹配，实现路沿检测。检测时基于边缘线高度进行迭代计算，计算复杂度低，实时性高，鲁棒性强。在检测出路沿后，通过预警车轮与路沿之间的距离，来提高行驶安全和实现车轮毂保护，具有广泛的市场需求。

附图说明

图1为本发明路沿检测总体方法流程图；

图2为本发明路沿识别方法流程图；

图3为本发明实施例的提取感兴趣区域的示意图；

图4为本发明实施例的边缘线映射到车身坐标系的示意图；

图5为本发明实施例的路沿检测过程示意图。

具体实施方式

如图1所示，本发明揭示了一种基于360°环视系统多目视觉的路沿检测方法，其包括以下步骤：

步骤1、获取车辆的前后左右四路图像。

车辆的前后左右四路图像分别为前视图、后视图、左视图和右视图，其来源于车辆的360°环视系统的四个摄像头。车辆的360°环视系统的四个摄像头一般安装在车辆的前后方以及左右两侧，所以可以获取其拍摄的图像作为路沿检测的基础。而本发明正是利用车辆本身的360°环视系统，无需追加新的检测设备，从而降低路沿检测的成本，使路沿检测简单便捷高效。

步骤2、分别从四路图像中提取感兴趣区域（ROI区），并对感兴趣区域进行预处理。

感兴趣区域是指包含路沿信息的图像区域块，根据摄像头内外参自适应提取感兴趣区域 (ROI, Region of Interest)，对感兴趣区域预处理的目的是提升图像质量，便于后续算法处理，预处理算法包括：图像下采样、高斯滤波、二值化等。

步骤3、对预处理后的感兴趣区域查找边缘线，令边缘线的高度H=0，然后结合摄像头内、外参数将边缘线映射到车身坐标系，接着对边缘线进行拟合。

本步骤中，将前后左右四路图像中的边缘线全部映射到同一车身坐标系，使得四路图像的边缘线产生一定的可匹配性，以便后续进行路沿检测识别。本实施例中，车身坐标系是以车后轴中心为原点的车身坐标系。

本实施例中，利用最小二乘法对映射后的边缘线进行拟合处理，以筛除离群点，获取更加准确的边缘线信息进行路沿线识别。

步骤4、分别匹配拟合后的四组边缘线，即匹配前视图和右视图的边缘线、前视图和左视图的边缘线、后视图和右视图的边缘线、后视图和左视图的边缘线；对于每组边缘线，若匹配失败，增加边缘线高度值H，并继续匹配；若匹配成功，判断H＞H_min，满足则判断该边缘线为路沿，否则，剔除当前边缘线对并增加边缘线高度值H，继续匹配，直至检测出路沿或者H不小于H_max或边缘线条数小于2；其中，H_max和H_min分别为预设的路沿最大高度值和最小高度值。

在上述基础上，为了提高检测的准确性，进一步提高车辆驾驶的安全性，本实施例在步骤4检测出路沿后，还继续执行以下步骤：

步骤 5、根据步骤 4 的路沿检测结果，融合超声波信息，综合判断

以上步骤获取的路沿信息与超声波检测的路沿信息，若两者相差较小则

进行加权处理，并将处理结果作为最终输出；若相差较大则取靠近车身的路沿信息作为最终输出，增加环境感知的冗余度。

步骤 6、根据步骤 5 的路沿检测结果，确定跟踪距离和跟踪时间，结合车身运动信息对路沿进行跟踪，最终输出路沿检测结果，计算路

沿与前、后车轮的距离，并向驾驶员预警车身离路沿的距离。

本实施例中，当检测到路沿时，可以提示驾驶员存在路沿，小心驾驶。同时，预警车轮离路沿的距离，当两者距离小于设定值时，可以发出报警。而当没有检测到路沿时，可以提示驾驶员无路沿，可安全行驶。

本实施例利用车辆本身的360°环视系统作为图像来源设备，无需而外增加新的检测设备，并从四路图像查找出边缘线；然后将边缘线结合到鸟瞰图中，基于两张具有视差的视图进行边缘性匹配，实现路沿检测。检测时基于边缘线高度进行迭代计算，计算复杂度低，实时性高，鲁棒性强。在检测出路沿后，通过预警车轮与路沿之间的距离，来提高行驶安全和实现车轮毂保护，具有广泛的市场需求。

如图2-5所示，为本发明路沿检测方法的一具体实施例，该实施例涉及到车辆的右前方的路沿检测。该实施例主要涉及到车辆360°环视系统的前视摄像头和右视摄像头，并分别从前视摄像头和右视摄像头获取图像，并从其中获取感兴趣区域（如图3所示）。然后从感兴趣区域中提取边缘线，并将其映射到车身坐标系（如图4所示）。最后匹配前视图和后视图的边缘线，假定不同的边缘高度进行迭代（h0、h1、h2、h3…）当在某一高度时，边 缘线匹配成功，则路沿检测成功（ 如图5中高度为h3时匹配成功）。

基于同一发明构思，本发明还揭示了一种基于360°环视系统多目视觉的路沿检测装置，其包括图像预处理模块，用于从360°环视系统的摄像头获取车辆的前后左右四路图像，即前视图、后视图、左视图和右视图；以及用于从四路图像中提取感兴趣区域，并对感兴趣区域进行预处理；

边缘线检测模块，连接图像预处理模块，用于从预处理后的感兴趣区域中提取边缘线，并将边缘性的高度H设置为0，同时结合摄像头内、外参数将边缘线映射到以车身后轴中心为原点的车身坐标系；以及用于对边缘线进行拟合；

路沿识别模块，连接边缘线检测模块，用于进行边缘线匹配，即匹配前视图和右视图的边缘线、前视图和左视图的边缘线、后视图和右视图的边缘线、后视图和左视图的边缘线；对于每组边缘线，对于每组边缘线，若匹配失败，增加边缘线高度值H，并继续匹配；若匹配成功，判断H＞H_min，满足则判断该边缘线为路沿，否则，剔除当前边缘线对并增加边缘线高度值H，继续匹配，直至检测出路沿或者H不小于H_max或边缘线条数小于2；其中，H_max和H_min分别为预设的路沿最大高度值和最小高度值。

路沿跟踪模块，连接路沿识别模块，用于根据路沿检测结果确定跟踪距离和跟踪时间，并结合车身运动信息路沿进行跟踪，输出路沿跟踪结果。

为了提高行驶安全，路沿检测装置还包括预警模块，所述预警模块连接路沿跟踪模块，用于在检测出路沿后，计算路沿与车轮的距离，并向驾驶员预警车身离路沿的距离。

在上述基础上，装置还包括超声波融合模块和检测输出模块，所述超声波融合模块利用超声波检测路沿信息，所述检测输出模块用于综合判断路沿识别模块输出的路沿信息和超声波融合模块输出的路沿信息，若两者相差较小则进行加权处理，得到最终输出；若相差较大则取靠近车身的路沿信息作为最终输出。

本发明还揭示了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述路沿检测方法。

本发明还揭示了一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行上述的路沿检测方法。

综上，本发明的关键在于，本发明利用车辆本身的360°环视系统作为图像来源设备，无需而外增加新的检测设备，并从四路图像查找出边缘线；然后将边缘线结合到车身坐标系，基于两张具有视差的视图进行边缘线匹配，实现路沿检测。检测时基于边缘线高度进行迭代计算，计算复杂度低，实时性高，鲁棒性强。在检测出路沿后，通过预警车轮与路沿之间的距离，来提高行驶安全和实现车轮毂保护，具有广泛的市场需求。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。