一种真实和仿真数据增强的道路栅格地图构建方法、系统

技术领域

本发明涉及自动驾驶技术领域，特别涉及基于真实和仿真数据增强的无遮挡道路检测模型的训练方法、道路栅格地图的构建系统以及道路识别方法。

背景技术

道路检测是智能汽车环境感知领域的重要技术之一。基于视觉的方法主要根据RGB图像的颜色和纹理特征来实现像素级的分类获取可见的道路区域。当前领先的道路分割算法大都基于深度学习方法。

根据RGB图像的颜色和纹理特征来实现像素级的分类只能获取可见的道路区域。实际应用中，完整的道路区域表示能更好地表达车辆周围的道路分布情况，更好地服务于规划控制模块。但由于道路常常被路上目标等遮挡，导致部分路面区域不可见。另外，基于深度学习的方法的性能与训练数据的数量密切相关，通过对真实世界的数据进行标注获取训练数据耗时耗力。

发明内容

本发明旨在通过图像进行语义理解同时获取当前范围内的可见类别的语义分类，并在此基础上对被遮挡的道路区域进行预测，获取完整的道路区域。并通过仿真数据与真实数据联合训练解决单以真实训练数据训练模型难以获得精确的完整道路区域检测效果的问题。在此基础上构建道路栅格地图表示车辆前方的完整道路情况。其具体技术方案如下所述。

作为第一方面，本发明提供了一种真实和仿真数据增强的道路栅格地图构建方法，其特征在于，所述步骤包括：

S1，构建用于训练无遮挡道路分割模型的真实训练数据集和仿真训练数据集；

S2，构建无遮挡道路检测模型；

S3，根据真实训练数据集和仿真训练数据集对无遮挡道路检测模型进行训练；

S4，根据训练结果，构建道路栅格地图；

S5，在车端部署步骤S1-S4所述的道路栅格地图构建方法。

其中，作为上述步骤的进一步优化，其各步骤优化如下：

S1，构建用于训练无遮挡道路分割模型的训练数据，包括：

获取真实世界驾驶场景下的图像数据，通过人工标注获取真实世界数据，构建真实训练数据集，记作D

通过在仿真环境中构建多样化的驾驶场景，分别在静态环境和动态交通环境下，对比在同一位置下相同车辆采集的数据获取不同动态场景下的标注结果，构建仿真训练数据集，记作D

S2，构建无遮挡道路检测模型，其检测任务的输入信息形式为RGB图像I∈Q

S3，利用构建的真实训练数据集和仿真训练数据集对步骤S2中构建的无遮挡道路检测模型进行训练，算法将道路检测视为像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，获得无遮挡道路检测数据；

S4，根据无遮挡道路检测数据，通过逆透视变换和相机的外参构建道路栅格地图。

结合第一方面，在其可能发生的任意一种情况下的第一种情况为，构建真实训练数据集包括以下步骤：

采集真实世界驾驶场景下的图像数据I

人工标注所采集的数据的语义信息，构建语义标签S

人工标注所采集数据的道路分割标签L

构建仿真训练数据集包含以下步骤：

构建仿真动态驾驶场景和具备图像采集功能的虚拟车辆，控制车辆在仿真动态驾驶场景中行驶，所述动态驾驶场景指该虚拟场景中同时包含其他虚拟的交通参与者，记录虚拟车辆在仿真环境行驶中的图像和位置信息D

构建仿真静态驾驶场景，所述静态驾驶场景为所述仿真动态驾驶场景中去除动态交通参与者和遮挡道路的前景目标之后的仿真环境，记录虚拟车辆在行驶过程中的数据，即D

根据位置信息进行匹配，对于位置误差小于阈值的数据帧，构建仿真训练数据集D

结合第一方面或上述第一种情况，在其可能发生的任意一种情况下的第二种情况为，所构建的无遮挡道路检测模型包含输入层、下采样层、残差卷积层、上采样层和输出层，其中：

输入层，为RGB图像的语义分割结果；

下采样层，通过步长为m的上下文卷积模块实现对输入特征的下采样，所述下采样层增加了一个上下文分支，和主干卷积并行；首先采用n×n卷积和Softmax函数得到注意力权重，然后进行注意力池化，得到特征层的全局上下文特征；然后将全局上下文特征通过n×n卷积进行变换，并加入到主干卷积的特征图中；

残差卷积，通过在卷积运算两端增加跳跃连接来减轻梯度消失，提取更深的层次的特征；

上采样层，利用上下文卷积模块和双线性上采样操作将两个特征图结合，先将两个特征图的两个分支沿通道进行合并，并对合并后的特征图再用一个上下文卷积模块处理。

结合第一方面或上述第一、二种情况，在其可能发生的任意一种情况下的第三种情况为，步骤S3中所述的目标函数为：L

L

根据设计的目标函数，采用Adam优化器进行无遮挡道路检测模型的参数优化；首先计算t时间步的梯度：

其次，计算梯度平方的指数移动平均数v

再次，对m

然后，对v

结合第一方面或上述第一、二、三种情况，在其可能发生的任意一种情况下的第四种情况为，所述步骤S4的方法为：

在车辆坐标系下，构建x∈[n

所述转换运算为：

假设道路平坦，即z

其中，u、v是该点在图像中相应像素的横、纵坐标；d

在构建栅格地图的过程中，以车辆坐标系为基准，对于车辆坐标系下一点[x

其中，R和t分别为车辆坐标系到相机坐标系的旋转矩阵和平移向量。

结合第一方面或上述第一至四种情况下的其中一种情况，在其可能发生的任意一种情况下的第五种情况为，步长为m为2，n×n卷积为1×1卷积；构建x∈[n1,m1]和y∈[n2,m2]的区域大小为：x∈[6,50]、y∈[-15,15]；分辨率为n×n的栅格地图为：分辨率为0.1×0.1的栅格地图；β

作为第二方面，本发明公开了一种道路识别的方法，所述方法的步骤如下：

步骤1，部署所述方法训练的道路栅格地图检测模型，其包含已训练的无遮挡道路检测模型和道路栅格地图生成后处理算法；

步骤2，实时采集目标道路图像，对所采集的图像进行预处理后，其预处理的方法为对采集的图像的像素值进行标准化处理，其方法见如下公式：

x’＝(x-μ)/σ

其中，x为像素值，μ为其均值，σ为其标准方差；

步骤3，将标准化处理结果输入到部署的无遮挡道路检测模型；

步骤4，实时检测前方道路区域，得到图像种每个像素属于道路或非道路类别的概率，通过所述方法的步骤S4构建道路栅格地图；

步骤5，根据道路栅格地图，识别目标道路区域内的道路进行识别、输出。

作为第三方面，本发明提供了一种真实和仿真数据增强的道路栅格地图构建系统，所述系统包括图像采集系统、训练数据集模块、无遮挡道路检测模型，其中：

图像采集系统，用于采集目标道路的图像信息，对所采集的图像信息进行人工标注预处理，供训练数据集模块调用；实时采集目标道路图像，对所采集的图像进行预处理；实时检测前方道路区域，得到图像种每个像素属于道路或非道路类别的概率，所述预处理的结果或所述概率供无遮挡道路检测模型调用；

训练数据集模块，获取人工标注的图像信息，构建成真实训练数据集；获取在仿真环境中构建多样化的驾驶场景，分别在静态环境和动态交通环境下，对比在同一位置下相同车辆采集的数据获取不同动态场景下的标注的图像信息，构建成仿真训练数据集；上述训练数据集供无遮挡道路检测模型调用；

无遮挡道路检测模型，根据上述训练数据集进行训练，构建道路栅格地图。

作为第四方面，本发明公开了一种存储一个或多个程序的计算机可读存储介质，所述计算机可读存储介质存储有一个或多个程序指令，所述程序指令被处理器执行时，完成上述的任意一种方法。

本发明的有益效果是：

1、并通过仿真数据与真实数据联合训练解决单以真实训练数据训练模型难以获得精确的完整道路区域检测效果的问题。在此基础上构建道路栅格地图表示车辆前方的完整道路情况，为规划控制系统提供有效的道路感知结果。

能够获取完整的道路区域，对被前景目标遮挡的道路区域进行推理，更好地服务于自动驾驶系统中的规划控制子系统。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的方法流程示意图；

图2为本发明的道路分割模型架构；

图3为本发明的上下文卷积模块逻辑示意图；

图4为本发明的上采样模块逻辑示意图；

图5为本发明的残差卷积模块逻辑示意图；

图6为本发明的栅格地图透明视角示意图；

图7为本发明的栅格地图俯视视角示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。显然，所描述的实施例仅仅是本发明的部分实施例。

实施例1

如图1所示，本发明提供了一种真实和仿真数据增强的道路栅格地图构建方法，其方法步骤如下：

一、训练数据集构建

为了实现检测完整道路区域的目的，首先构建用于训练无遮挡道路分割模型的训练数据。

一方面，利用车载摄像头获取真实世界驾驶场景下的图像数据，然后通过人工标注获取真实世界数据，简称真实训练数据集，记作D

另一方面，为了弥补人工标注效率低下的问题，获取足量的训练数据，通过在仿真环境中构建多样化的驾驶场景，分别在静态环境和动态交通环境下，对比在同一位置下相同车辆采集的数据获取不同动态场景下的标注结果，所构建的仿真训练数据集，记作D

具体地，构建真实训练数据集包括以下步骤：

(1)利用车载摄像头采集真实世界驾驶场景下的图像数据I

(2)人工标注所采集的数据的语义信息，构建语义标签S

(3)人工标注所采集数据的道路分割标签L

具体地，构建仿真训练数据集包含以下步骤：

(1)在仿真软件中构建动态驾驶场景和一辆搭载摄像头传感器的虚拟车辆，控制车辆在仿真环境中行驶。所述动态驾驶场景指该虚拟场景中同时包含其他虚拟的交通参与者，记录虚拟车辆在仿真环境行驶中的图像和位置信息D

(2)在仿真软件中构建静态驾驶场景，所述静态驾驶场景为步骤(1)中的动态驾驶场景中去除动态交通参与者和遮挡道路的前景目标之后的仿真环境。记录虚拟车辆在行驶过程中的数据，即D

(3)根据位置信息进行匹配，对于位置误差小于阈值的数据帧，构建仿真训练数据集D

二、无遮挡道路检测模型构建

无遮挡道路检测任务是与传统道路分割一样的像素级分类任务，但包含遮挡推理过程，以获得道路区域的完整表示。任务的输入信息形式为RGB图像I∈Q

如图2所示，所构建的无遮挡道路检测模型包含输入层、下采样层、残差卷积层、上采样层和输出层等模块。其中：

输入层为RGB图像的语义分割结果。

下采样层通过步长为2的上下文卷积模块实现对输入特征的下采样。所述下采样层如图3所示，增加了一个上下文分支，和主干卷积并行，首先采用1×1卷积和Softmax函数得到注意力权重，然后进行注意力池化，得到特征层的全局上下文特征；然后将全局上下文特征通过1×1卷积进行变换，并加入到主干卷积的特征图中。

残差卷积模块如图5所示，其通过在卷积运算两端增加跳跃连接来减轻梯度消失问题，利于提取更深的层次的特征。

上采样层如图4所示，其利用上下文卷积模块和双线性上采样操作将两个特征图有效地结合，先将两个特征图的两个分支沿通道进行合并，并对合并后的特征图再用一个上下文卷积模块处理。

在整个模型中上采样模块依次由深层特征到浅层特征级联，当前上采样模块利用了前一级的结果和相应的解码特征，使得上采样操作更加高效。

三、训练无遮挡道路分割模型

利用步骤一构建的训练数据集对步骤二中构建的无遮挡道路检测模型进行训练，算法将道路检测视为像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，使用自适应距估计优化器改善损失下降路径，提高训练模型性能。所采用的目标函数为：

L

其中，L

其中，y为真值，p为预测值，i和j分别为像素的坐标，H和W分别为图像的高和宽。

根据设计的目标函数，采用Adam优化器进行无遮挡道路检测模型的参数优化。

计算t时间步的梯度：

首先计算t时间步的梯度的指数移动平均数m

m

其次，计算梯度平方的指数移动平均数v

再次，对m

然后，对v

最后，更新参数，设置默认学习率α＝0.001，ε＝10

四、道路栅格地图生成

在步骤三的获得的无遮挡道路检测的基础上，通过逆透视变换和相机的外参构建道路栅格地图。

首先，在车辆坐标系下，构建x∈[6,50]和y∈[-15,15]区域大小，分辨率为0.1×0.1的栅格地图G＝{c

所述转换运算为：

假设道路平坦，即z

其中，u、v是该点在图像中相应像素的横、纵坐标；d

在构建栅格地图的过程中，以车辆坐标系为基准，对于车辆坐标系下一点[x

其中，R和t分别为车辆坐标系到相机坐标系的旋转矩阵和平移向量。

实施例2

本实施例提供了一种道路识别的方法，利用实施例1所述的训练好的道路栅格地图检测模型结合实时采集的道路图像构建栅格地图，从而对道路进行识别。其步骤如下：

在车载控制器上部署道路栅格地图检测模型及其算法，其包含已训练的无遮挡道路检测模型和道路栅格地图生成算法。通过车载摄像头采集车辆前方道路图像，对所采集的图像进行预处理，所述预处理即对输入图像像素值进行标准化处理，其方法见如下公式：

x’＝(x-μ)/σ；

其中，x为像素值，μ为其均值，σ为其标准方差。

然后，图像预处理结果输入到部署的无遮挡道路检测模型，实时检测前方道路区域，得到图像中每个像素属于道路或非道路类别的概率。

在此基础上，通过实施例1的步骤四所述的道路栅格地图构建方法构建道路栅格地图，对识别目标道路区域内的道路进行识别，输出图6所示的栅格地图透视视角和图7所示的栅格地图俯视视角。

应理解，上述实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解为在阅读本发明的内容后，本领域技术人员可以对本发明作各种改动和修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。