用于基于目标检测结果来优化可行驶区域的方法和系统

技术领域

本发明涉及计算机视觉领域，尤其涉及一种用于基于目标检测结果来优化可行驶区域的方法和系统。

背景技术

随着人们生活水平的提高，车辆的普及程度越来越高，随之而来的交通事故也越发频繁。据统计，25％～30％的交通事故与驾驶员对道路的警觉程度直接相关，其中并线过程是交通事故的主要发生场合之一，而在非结构化道路，行人及其他非机动车车辆共享道路，驾驶的安全性完全依靠驾驶员的注意力集中度，因此而产生的交通事故也屡见不鲜，这些都给汽车行业的发展带来了巨大的挑战。为解决上述问题，基于语义分割的道路可行驶区域检测方法应运而生。可行驶区域(freespace)是一种语义分割的方法，检测并获取道路边缘信息，防止车冲出区域，也可以提供约束信息，获得更精细的目标信息进一步约束障碍物位置。

可行驶区域在学术界稀疏平常，工程界却争议很大。可行驶区域本质是语义分割，深度学习模型可以轻易地将各种障碍物检测出来，但如果失去了外部信息，例如车载摄像头识别到一小块灰色马路，模型很难判断其是否属于可行驶区域，因为模型不是根据局部特征来直接判断的，可通行是一个通过观察周边物体属性后间接确认的高维度概念。维度越高，训练就越不容易，稳定性就越差，也正因为这样，工程落地存在分歧。

但是可行驶区域的实际应用要求语义分割模型快速且准确，在有限的算力下很难达到理想的效果。深度学习模型可以轻易地将各种障碍物检测出来，但如果失去了外部信息，特征较小的障碍物识别率较差，因为模型不是根据局部特征来直接判断的，可通行是一个通过观察周边物体属性后间接确认的高维度概念。

针对上述技术问题，在现有技术中存在使用目标检测模型将路面作为检测的类别的方法，该方法输出检测框来检测可行驶的路面，从而达到可行驶区域的检测，但由于目标检测的输出是矩形框，该方法用矩形框拼接成可行驶区域，因此上述方法描述的可行驶区域边界不准确。在现有技术中还存在使用语义分割模型来输出可行驶区域的方法，但该方法在实际应用中也会出现小障碍物无法划分且效果不理想的情况。

因此，需要能够改进现有技术中的缺陷的方法和系统。

发明内容

提供本发明内容来以简化形式介绍将在以下具体实施方式部分中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

针对现有技术中的问题，为了提高可行驶区域对于较小障碍物进行区域划分的效果，本发明提出了一种利用目标检测结果优化可行驶区域的方法。该方法可包括获取四周环视的鱼眼图像，该鱼眼图像中包含2D目标检测所关注的目标物；将该鱼眼图像同时送入检测模型与分割模型进行推理；将检测模型输出的各路鱼眼图像中目标物的方框坐标与分割模型输出的二值图结果进行融合，以将该鱼眼图像中检测到的目标物标记为不可行驶区域以用于帮助系统实现避障的功能；以及可选地在自车前保险杠坐标系下输出可行驶区域信息并将该信息利用鸟瞰图进行可视化。

本发明中的这一方法能够达到实时且准确，同时保证模型在车端可以稳定运行，并为可行驶区域检测提供一种可行且高效的实现方式。

具体而言，在本发明的一个实施例中，公开了一种用于基于目标检测结果来优化可行驶区域的方法，该方法包括：

获取多个鱼眼图像；

将该多个鱼眼图像输入到目标检测模型和语义分割模型中；

经由该目标检测模型来检测该多个鱼眼图像中的目标障碍物并确定该目标障碍物的位置和尺寸；

经由该语义分割模型来在该多个鱼眼图像中生成初始可行驶区域；以及

基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域以生成并输出最终可行驶区域。

在本发明的一个实施例中，该方法进一步包括对该多个鱼眼图像进行裁剪以过滤不存在该目标障碍物的图像区域并降低经裁剪的多个鱼眼图像的分辨率。

在本发明的一个实施例中，该多个鱼眼图像是经由鱼眼图像采集设备捕捉到的环视四周的鱼眼道路图像。

在本发明的一个实施例中，该目标检测模型使用anchor-free模型，采用单阶段方法来对该目标障碍物进行实时检测。

在本发明的一个实施例中，该语义分割模型采用Encoder-Decoder结构来在该多个鱼眼图像中实时划分出可行驶区域和不可行驶区域，并且该可行驶区域被用作该初始可行驶区域。

在本发明的一个实施例中，基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域进一步包括基于该目标障碍物的位置和尺寸来在该初始可行驶区域中生成对应于该目标障碍物的方框区域并从该初始可行驶区域中剔除该方框区域以生成该最终可行驶区域。

在本发明的一个实施例中，输出该最终可行驶区域进一步包括：

在该多个鱼眼图像上融合该最终可行驶区域以输出可视化结果；以及

利用透视变换矩阵来将该可视化结果转换成鸟撖图。

在本发明的另一个实施例中，公开了一种用于基于目标检测结果来优化可行驶区域的系统，该系统包括：

图像获取模块，其被配置成获取多个鱼眼图像；

目标检测模块，其被配置成：

从该图像获取模块获取该多个鱼眼图像；

检测该多个鱼眼图像中的目标障碍物并确定该目标障碍物的位置和尺寸；

语义分割模块，其被配置成：

从该图像获取模块获取该多个鱼眼图像；

在该多个鱼眼图像中生成初始可行驶区域；以及

可行驶区域优化模块，其被配置成基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域以生成并输出最终可行驶区域。

在本发明的一个实施例中，该图像获取模块被进一步配置成对该多个鱼眼图像进行裁剪以过滤不存在该目标障碍物的图像区域并降低经裁剪的多个鱼眼图像的分辨率。

在本发明的一个实施例中，该多个鱼眼图像是经由鱼眼图像采集设备捕捉到的环视四周的鱼眼道路图像。

在本发明的一个实施例中，该目标检测模块被进一步配置成使用anchor-free模型，采用单阶段方法来对该目标障碍物进行实时检测。

在本发明的一个实施例中，该语义分割模块被进一步配置成采用Encoder-Decoder结构来在该多个鱼眼图像中实时划分出可行驶区域和不可行驶区域，并且该可行驶区域被用作该初始可行驶区域。

在本发明的一个实施例中，该可行驶区域优化模块被进一步配置成通过以下操作来基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域：基于该目标障碍物的位置和尺寸来在该初始可行驶区域中生成对应于该目标障碍物的方框区域并从该初始可行驶区域中剔除该方框区域以生成该最终可行驶区域。

在本发明的一个实施例中，该可行驶区域优化模块被进一步配置成通过以下操作来输出该最终可行驶区域：

在该多个鱼眼图像上融合该最终可行驶区域以输出可视化结果；以及

利用透视变换矩阵来将该可视化结果转换成鸟撖图。

在本发明的又一个实施例中，公开了一种计算机可读存储介质，其存储用于的指令，包括：

用于获取多个鱼眼图像的指令；

用于将该多个鱼眼图像输入到目标检测模型和语义分割模型中的指令；

用于经由该目标检测模型来检测该多个鱼眼图像中的目标障碍物并确定该目标障碍物的位置和尺寸的指令；

用于经由该语义分割模型来在该多个鱼眼图像中生成初始可行驶区域的指令；以及

用于基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域以生成并输出最终可行驶区域的指令。

在结合附图研读了下文对本发明的具体示例性实施例的描述之后，本发明的其他方面、特征和实施例对于本领域普通技术人员将是明显的。尽管本发明的特征在以下可能是针对某些实施例和附图来讨论的，但本发明的全部实施例可包括本文所讨论的有利特征中的一个或多个。换言之，尽管可能讨论了一个或多个实施例具有某些有利特征，但也可以根据本文讨论的本发明的各种实施例使用此类特征中的一个或多个特征。以类似方式，尽管示例性实施例在下文可能是作为设备、系统或方法实施例进行讨论的，但是应当领会，此类示例性实施例可以在各种设备、系统、和方法中实现。

附图说明

为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中阐示。然而应该注意，附图仅阐示了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。

图1示出了根据本公开的一个实施例的用于基于目标检测结果来优化可行驶区域的系统的示意性框图。

图2示出了根据本公开的一个实施例的经裁剪的鱼眼图像的示意图。

图3示出了根据本公开的一个实施例的目标检测模型的输出结果的示意图。

图4示出了根据本公开的一个实施例的语义分割模型的输出结果的示意图。

图5示出了根据本公开的一个实施例的基于目标检测结果来优化可行驶区域的示意图。

图6示出了根据本公开的一个实施例的在鱼眼图像上融合最终可行驶区域的可视化结果的示意图。

图7示出了根据本公开的一个实施例的用于基于目标检测结果来优化可行驶区域的方法的流程图。

具体实施方式

以下将参考形成本发明一部分并示出各具体示例性实施例的附图更详尽地描述各个实施例。然而，各实施例可以以许多不同的形式来实现，并且不应将其解释为限制此处所阐述的各实施例；相反地，提供这些实施例以使得本公开变得透彻和完整，并且将这些实施例的范围完全传达给本领域普通技术人员。各实施例可按照方法、系统或设备来实施。因此，这些实施例可采用硬件实现形式、全软件实现形式或者结合软件和硬件方面的实现形式。因此，以下具体实施方式并非是局限性的。

各流程图中的步骤可通过硬件(例如，处理器、引擎、存储器、电路)、软件(例如，操作系统、应用、驱动器、机器/处理器可执行指令)或其组合来执行。如本领域普通技术人员将理解的，各实施例中所涉及的方法可以包括比示出的更多或更少的步骤。

目标检测算法已经在自动驾驶领域有着广泛的应用，可以有效的提供出现在ROI范围内的各类障碍物信息。目标检测将识别到的障碍物用方框框出其在图像中的位置，对障碍物使用方框剔除出可行驶区域是可行的方法，这让障碍物附近的不可行驶区域有了一个范围，也符合不可行驶区域的描述。因此，针对上述现有技术的不足，本发明所要解决的问题是:如何提供一种基于环视目标检测结果优化行驶场景下的可行驶区域方法，能够达到实时且准确，同时保证模型在车端可以稳定运行，并为可行驶区域检测提供一种可行且高效的实现方式。

在本发明的技术方案中，车辆在行驶时，实时采集车身四路环视鱼眼图像，将采集到的图像按照相同的裁剪和尺寸调整分别送入目标检测模型和语义分割模型中。目标检测模型会准确地输出各类目标物的类别以及在图中的位置坐标，而语义分割模型会分割出可行驶与不可行驶区域，在语义分割模型输出结果前，取目标检测中识别到障碍物的坐标，将障碍物框内的区域标记为不可行驶区域，再输出结果。该方法有选择性地优化某些目标，适用于行人、锥桶、地锁等较难分割的目标物，而车辆、柱子等障碍物在分割中效果较准确，故不需要该方法进行优化。

本发明中描述的用于基于目标检测结果来优化可行驶区域的方法、系统、装置及计算机可读存储介质通过2D目标检测模型强大的特征提取能力，能够适应提取在不同道路环境目标物的变化，且通过语义分割有效得到可行驶区域的具体信息，相结合描绘出目标物在车身坐标系中的位置，耗时少且准确性高，具有一定的实时性。

下文中将通过框图以及方法流程图对本公开的各方面进行更详细、更全面的描述。

图1示出了根据本公开的一个实施例的用于基于目标检测结果来优化可行驶区域的系统100的示意性框图。

如图1所示，系统100包括图像获取模块102、目标检测模块104、语义分割模块106、以及可行驶区域优化模块108。以下将在图1的基础上结合图2到图6来详细描述上述各个模块。

在本发明的一个实施例中，图像获取模块102可被配置成获取多个鱼眼图像。在该实施例中，该多个鱼眼图像可以是经由鱼眼图像采集设备捕捉到的环视四周的鱼眼道路图像。鱼眼图像中可包括一个或多个目标检测关注的目标障碍物，诸如行人、锥桶、地锁等。在该实施例中，四周环视的鱼眼图像可通过安装于车辆前端的图像采集设备(例如，单目鱼眼摄像头(单目摄像头的朝向与车身航向角度一致，横向位置为车身坐标系横轴中心))在车辆行驶过程中所采集到的鱼眼环视道路图像。在其他实施例中，也可通过多路鱼眼相机获得同一时刻表征车辆周围环境的鱼眼图像。

在一个实施例中，所获取的鱼眼图像可以是未经畸变校正的鱼眼图像，并且可根据鱼眼图像采集设备的内部畸变参数对所采集原图像进行校正。所获取的鱼眼图像中的道路部分占比应不低于阈值，该阈值可以是本领域技术人员根据实际需要来自行设置，而不限于任何特定值。

在本发明的另一实施例中，图像获取模块102可被进一步配置成对该多个鱼眼图像进行裁剪以过滤不存在目标障碍物的图像区域，并降低经裁剪的多个鱼眼图像的分辨率。

具体而言，在该实施例中，可根据大数据或鱼眼图像采集设备的位置和定向来提前设置鱼眼图像中出现所关注的目标障碍物的概率低于阈值的图像部分，并在所获取的鱼眼图像中剪除这些图像部分以减小图像的大小。另外，还可以减小所获取的鱼眼图像的分辨率以进一步减小图像大小，以加速后续的目标检测模型和语义分割模型的推理速度。

如本领域技术人员可以理解的，设置鱼眼图像中出现目标障碍物概率较低的图像区域可以是根据实际情况自行设置的，而不限于任何特定方法和特定设置。

在本发明的其他实施例中，还可剪除鱼眼图像中畸变严重的图像区域。如本领域技术人员可以理解的，可使用任何合适的方法来判定鱼眼图像中存在严重畸变的图像区域，而不限于任何特定方法和图像区域。图2示出了根据本公开的一个实施例的经裁剪的鱼眼图像的示意图。

在本发明的一个实施例中，目标检测模块104可被配置成从图像获取模块102获取该多个鱼眼图像，以及检测该多个鱼眼图像中的目标障碍物并确定该目标障碍物的位置和尺寸。在该实施例中，目标检测模块104可被进一步配置成使用anchor-free模型，采用单阶段方法来对该目标障碍物进行实时检测。另外，还可任选地首先构建数据库，收集行驶场景下各障碍物的图片和标注文件，包括地锁，锥桶，行人，车辆等。在本发明的其他实施例中，除了输出目标障碍物的尺寸和位置之外，还可以为不同的目标障碍物赋予不同的id值以表示该目标障碍物的类型，由此目标障碍物可根据模型输出的标签相区分，作为示例而非限制：车辆信息为0，行人信息为1等等。

在本发明的一个实施例中，目标检测模型可被存储在计算机可读存储介质中，其中还存储有训练好的目标检测模型的权重文件、网络模型的结构文件以及读取使用权重文件的相关程序代码。在该实施例中，利用卷积神经网络强大的特征提取能力，直接对鱼眼图像进行目标检测，而且单阶段检测的方法速度快，可以实时得到任意大小的图像检测结果。图3示出了根据本公开的一个实施例的目标检测模型的输出结果的示意图，其中识别出：car表示车辆，front表示车辆前部，rear表示车辆后部，person表示行人。

在本发明的一个实施例中，语义分割模块106可被配置成从该图像获取模块获取该多个鱼眼图像，并在该多个鱼眼图像中生成初始可行驶区域。在该实施例中，语义分割模块106可被进一步配置成采用Encoder-Decoder结构来在该多个鱼眼图像中实时划分出可行驶区域和不可行驶区域，并且该可行驶区域被用作该初始可行驶区域。本发明中的语义分割模型同时对于行驶场景的图像数据进行可行驶区域标注，将所获取的鱼眼图像划分为可行驶和不可行驶两种不同区域。采用语义分割模型对可行驶区域进行划分，在环境较为简单的行驶场景下可以达到快速且准确的效果。

具体地，语义分割模型采用Encoder-Decoder的结构。Encoder(编码器)负责特征提取得到特征图，由卷积操作和下采样操作组成，模型所用的卷积结构统一为3x3的卷积核，padding为0，stride为1；Decoder(解码器)对feature map(特征图)进行解析得到与输入图像相同分辨率的分割结果。在还原分辨率时所用到的关键操作为上采样，采用的是双线性插值的上采样操作，双线性插值是用原图像中4(2x2)个点计算新图像中1个点，具体实现过程如下:

已知Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，求四个点中的点P(x，y)。

1.x方向单线性插值:

2.y方向单线性插值:

3.将第一步的f(R

4.由于Q11、Q12、Q21、Q22是最邻近的点，四个点的坐标之间相差1，即上式分母全为1，公式化简如下:

f(x，y)＝f(Q

语义分割模型采用skip-connection这一关键步骤通过拼接的方式融合了底层信息的位置信息与深层特征的语义信息，拼接保留了更多的维度/位置信息，这使得后面的layer(层)可以在浅层特征与深层特征自由选择，这对语义分割任务来说更有优势。图4示出了根据本公开的一个实施例的语义分割模型的输出结果的示意图。如图4所示，语义分割模块106输出的初始可行驶区域包括行人。

在本发明的一个实施例中，可行驶区域优化模块108可被配置成基于目标检测模块104输出的目标障碍物的位置和尺寸来从语义分割模块106生成的初始可行驶区域中剔除不可行驶区域以生成并输出最终可行驶区域。在该实施例中，可行驶区域优化模块108可被进一步配置成通过以下操作来基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域：基于该目标障碍物的位置和尺寸来在该初始可行驶区域中生成对应于该目标障碍物的方框区域并从该初始可行驶区域中剔除该方框区域以生成该最终可行驶区域。

图5示出了根据本公开的一个实施例的基于目标检测结果来优化可行驶区域的示意图。如图5所示，左侧示图是语义分割模块106生成的初始可行驶区域(白色区域)。由于语义分割模块106可能会对鱼眼图像中的某些目标障碍物识别不佳(例如，对图4中的行人识别不佳)，因此可行驶区域优化模块108可基于目标检测模块输出的该行人的位置和尺寸来在初始可行驶区域中生成对应于该行人的方框区域并从该初始可行驶区域中排除该方框区域以生成最终可行驶区域，如图5中的右侧示图所示，白色区域顶部的方框区域被剔除出可行驶区域。

在本发明的一个实施例中，可行驶区域优化模块108可被进一步配置成通过以下操作来输出最终可行驶区域：在鱼眼图像上融合该最终可行驶区域以输出可视化结果。图6示出了根据本公开的一个实施例的在鱼眼图像上融合最终可行驶区域的可视化结果的示意图。在本发明的另一实施例中，由于鸟瞰投影的信息对于后续自动驾驶场景中的路径规划和控制具有至关重要的作用，因此可行驶区域优化模块108还可利用透视变换矩阵来将该可视化结果转换成鸟撖图，并且该透视变换矩阵可根据具体的摄像头安装参数以及具体成像数据来确定。

图7示出了根据本公开的一个实施例的用于基于目标检测结果来优化可行驶区域的方法700的流程图。

方法700开始于步骤702，获取多个鱼眼图像。在本发明的一个实施例中，步骤702可进一步包括对该多个鱼眼图像进行裁剪以过滤不存在该目标障碍物的图像区域并降低经裁剪的多个鱼眼图像的分辨率。在本发明的另一个实施例中，该多个鱼眼图像可以是经由鱼眼图像采集设备捕捉到的环视四周的鱼眼道路图像。

随后，方法700继续至步骤704，将该多个鱼眼图像输入到目标检测模型和语义分割模型中。

然后，方法700继续至步骤706，经由该目标检测模型来检测该多个鱼眼图像中的目标障碍物并确定该目标障碍物的位置和尺寸。在本发明的一个实施例中，该目标检测模型可使用anchor-free的模型，采用单阶段方法来对该目标障碍物进行实时检测。

接着，方法700继续至步骤708，经由该语义分割模型来在该多个鱼眼图像中生成初始可行驶区域。在本发明的一个实施例中，该语义分割模型可采用Encoder-Decoder结构来在该多个鱼眼图像中实时划分出可行驶区域和不可行驶区域，并且该可行驶区域被用作该初始可行驶区域。

最后，方法700继续至步骤710，基于该目标障碍物的位置和尺寸来从该初始可行驶区域中剔除不可行驶区域以生成并输出最终可行驶区域。在本发明的一个实施例中，步骤710可进一步包括基于该目标障碍物的位置和尺寸来在该初始可行驶区域中生成对应于该目标障碍物的方框区域并从该初始可行驶区域中剔除该方框区域以生成该最终可行驶区域。在本发明的一个实施例中，步骤710还可包括在该多个鱼眼图像上融合该最终可行驶区域以输出可视化结果，并利用透视变换矩阵来将该可视化结果转换成鸟撖图。

综上，本发明所述的基于环视目标检测结果优化自动泊车场景下的可行驶区域方法，利用目标检测结果提供障碍物的位置信息，对可行驶区域进行优化。本发明中采用的目标检测与语义分割模型都有较高的准确度，且具有一定的实时性。结合同一时刻多路鱼眼图像的检测结果，实现了对于智能驾驶车辆周围可行驶区域的准确检测，解决了只使用语义分割模型带来检测效果不佳的问题，便于无人驾驶车辆根据可行驶区域的结果做出警报以及更加准确的避让动作。

以上参考根据本发明的实施例的方法、系统和计算机程序产品的框图和/或操作说明描述了本发明的实施例。框中所注明的各功能/动作可以按不同于任何流程图所示的次序出现。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次序来执行。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。