一种自动驾驶仿真数据生成方法

技术领域

本发明涉及了一种驾驶数据生成方法，具体涉及了一种自动驾驶仿真数据生成方法。

背景技术

自动驾驶离不开基于计算机视觉的3D检测算法，其中包括单目3D目标检测，多目鸟瞰视图目标检测等。虽然各个3D目标检测算法的实现方式各有不同，但是都离不开对于真实标注数据的依赖。3D目标检测数据集的标注成本远高于2D目标检测数据集，标注效率也远低于2D目标检测数据集。同时，训练优秀的3D目标检测模型需要精确标注的数据集，3D目标检测框是在点云中进行标注，而训练数据却是图像。点云数据由激光雷达获得，图像数据由相机获得，由于相机的曝光时间无法确定，导致激光雷达的刷新频率与相机拍摄频率无法精确对齐，即手工标注的3D目标框投影到2D图像以后大多数情况下是偏离目标车辆的，这对自动驾驶中的检测模型训练带来了极大的负面影响。

发明内容

为了克服人工采集和标注自动驾驶目标检测数据集成本高、效率低、精度差的问题，本发明提供了一种自动驾驶仿真数据生成方法，本发明旨在对没有车辆的道路图像进行可行驶车道标注后，通过相机参数进行反向投影获得世界坐标系中的可行驶车道。通过可行驶车道对点云数据进行筛选，利用筛选过后的点云集合拟合出真实路面方程，从车辆3D模型库中选取车辆模型放置到真实路面，根据路面方程对车辆角度进行调整。从灯光库中选取不同的灯光信息后，便可利用blender进行渲染得到高真实度的前景图像与蒙版信息。为了排除前景与背景的风格差异，通过风格和谐化模型，以背景图像作为参考，对前景图像进行风格和谐化操作，最后利用蒙版信息将前景图像与背景图像进行贴图操作，得到最终的仿真图像。本发明可以以极低的成本快速地获得高真实度的自动驾驶数据集以及高精度的3D目标检测框标注。

本发明所采用的技术方案如下：

1)通过车辆检测模型筛选获得没有车辆的道路图像并记为目标背景图像，接着通过可行驶车道检测模块对目标背景图像进行可行驶车道标注，获得车道标注信息，最后通过相机参数对车道标注信息进行反向投影，获得世界坐标系中的可行驶车道；

2)利用世界坐标系中的可行驶车道筛选目标背景图像对应世界坐标系的点云坐标集合，根据筛选获得世界坐标系的点云坐标集合拟合出车道平面方程；

3)在可行驶车道中随机生成世界坐标系中的X轴坐标X

4)根据可行驶车道的中轴线计算出偏航角，再根据拟合出车道平面方程计算得到俯仰角和翻滚角，由偏航角、俯仰角和翻滚角组成基准旋转角度(θ

5)从车辆3D模型库中随机抽取车辆模型后导入图像渲染引擎中，将3)中的基准坐标作为车辆模型的底面几何中心坐标，将4)中的基准旋转角度(θ

6)根据目标背景图像、前景渲染图像以及蒙版信息，利用风格和谐化模型进行图像仿真，获得仿真图像；

7)根据当前车辆模型的尺寸信息、图像渲染引擎中的相机参数计算得到投影到仿真图像的3D检测框标注信息；由仿真图像和对应的3D检测框标注信息组成仿真数据。

所述1)中，车道标注信息为一个四边形的四个顶点坐标，根据相机参数利用以下公式对四个顶点坐标进行反向投影，获得世界坐标系中的可行驶车道：

M

其中，每个可行驶车道由4个顶点表示，

所述2)具体为：

首先，根据世界坐标系中的可行驶车道确定可行驶车道在X轴和Y轴坐标范围，接着，根据可行驶车道在X轴和Y轴坐标范围对目标背景图像对应世界坐标系的点云坐标集合进行筛选，再根据筛选获得世界坐标系的点云坐标集合利用以下公式拟合出车道平面方程，公式如下：

min||An||

||n||＝1

Sp

p

p

n＝[a b c]

其中，min|| ||表示取最小值操作，S

所述4)中，将车道平面方程的平面法向量与世界坐标系的x轴的夹角记为俯仰角，将车道平面方程的平面法向量与世界坐标系的y轴的夹角记为翻滚角。

所述风格和谐化模型包括第一特征提取模块、第二特征提取模块和生成网络，目标背景图像、前景渲染图像以及蒙版信息输入到风格和谐化模型中，目标背景图像作为第一特征提取模块的输入，前景渲染图像作为第二特征提取模块的输入，前景渲染图像还作为生成网络的第一输入，第一特征提取模块的输出和第二特征提取模块的输出分别作为生成网络的第二输入和第三输入，目标背景图像还作为生成网络的第四输入，蒙版信息作为生成网络的第五输入，生成网络的输出作为风格和谐化模型的输出。

所述第一特征提取模块和第二特征提取模块的结构相同，第一特征提取模块包括5个特征编码模块、4个特征解码模块、4层最大池化层和4层反卷积层，第一特征提取模块的输入作为第一特征编码模块的输入，第一特征编码模块依次经第一最大池化层、第二特征编码模块、第二最大池化层、第三特征编码模块、第三最大池化层、第四特征编码模块、第四最大池化层和第五特征编码模块后与第四反卷积层相连，第四特征编码模块的输出与第四反卷积层的输出拼接后再输入到第四特征解码模块，第四特征解码模块与第三反卷积层相连，第三特征编码模块的输出与第三反卷积层的输出拼接后再输入到第三特征解码模块，第三特征解码模块与第二反卷积层相连，第二特征编码模块的输出与第二反卷积层的输出拼接后再输入到第二特征解码模块，第二特征解码模块与第一反卷积层相连，第一特征编码模块的输出与第一反卷积层的输出拼接后再输入到第一特征解码模块，第二特征解码模块-第四特征解码模块的输出分别进行双线性插值后再一起与第一特征解码模块的输出进行相加，输出获得最终特征图并作为第一特征提取模块的输出。

所述生成网络包括2个自适应实例归一化层和6层全连接层，生成网络的第二输入和第三输入分别作为第一自适应实例归一化层的第一输入和第二输入，第一自适应实例归一化层依次经6层全连接层后与第二自适应实例归一化层相连，生成网络的第一输入作为第二自适应实例归一化层的第一输入，第二自适应实例归一化层的输出记为和谐化前景图像，和谐化前景图像与生成网络的第四输入和第五输入进行贴图操作后，获得仿真图像作为生成网络的输出。

所述7)具体为：

将当前车辆模型的底面几何中心作为原点，根据当前车辆模型的尺寸信息计算获得当前车辆模型的最小外接长方体的8个顶点，对最小外接长方体的8个顶点进行投影，获得3D检测框标注信息，计算公式如下：

其中，K

本发明的有益效果为：

该发明可以快速得到与真实世界高度相似的合成图像数据，在车辆类型、位置、光照信息等方向有着很高的丰富度以及真实度。相比与传统采集以及手工标注的方式，合成数据的方式成本更加低廉，数据生成效率远高于传统方式。同时由于自动驾驶数据集标注时雷达和相机硬件上存在时间难以对齐问题，导致难以获得标准的检测框，相对而言该发明可以轻松地获得标准且高精度的检测框，对于各类自动驾驶检测模型的训练提供了极大的帮助。

附图说明

图1是本发明中的方法流程图。

图2是本发明中的风格和谐化模型中的特征提取模块结构图。

图3是本发明中的风格和谐化模型中的生成网络结构图。

图4是本发明生成的未和谐化的合成图像。

图5是本发明生成的和谐化的合成图像。

具体实施方式

为了更加清楚说明本发明的目的和技术方案，以下结合附图，对本发明进行进一步详细说明。

如图1所示，本发明包括以下步骤：

1)通过车辆检测模型筛选获得没有车辆的道路图像并记为目标背景图像，接着通过可行驶车道检测模块对目标背景图像进行可行驶车道标注，获得车道标注信息，最后通过相机参数对车道标注信息进行反向投影，获得世界坐标系中的可行驶车道；

1)中，车道标注信息为一个四边形的四个顶点坐标，根据相机参数利用以下公式对四个顶点坐标进行反向投影，获得世界坐标系中的可行驶车道：

M

其中，每个可行驶车道由4个顶点表示，

2)利用世界坐标系中的可行驶车道筛选目标背景图像对应世界坐标系的点云坐标集合，根据筛选获得世界坐标系的点云坐标集合拟合出车道平面方程；

2)具体为：

首先，根据世界坐标系中的可行驶车道确定可行驶车道在X轴和Y轴坐标范围[X′

S

P

X

Y

其中，P

接着，根据可行驶车道在X轴和Y轴坐标范围对目标背景图像对应世界坐标系的点云坐标集合进行筛选，即选择满足X

min||An||

||n||＝1

Sp

p

p

n＝[a b c]

其中，min|| ||表示取最小值操作，S

3)在可行驶车道中随机生成世界坐标系中的X轴坐标X

随机生成坐标X

4)根据可行驶车道的中轴线计算出偏航角，再根据拟合出车道平面方程计算得到俯仰角和翻滚角，由偏航角、俯仰角和翻滚角组成基准旋转角度(θ

具体实施中，对于每条可行驶车道的顶点集合S

其中，X

将车道平面方程的平面法向量n＝(a，b，c)与世界坐标系的x轴所在的单位向量n

5)从预先准备的车辆3D模型库中随机抽取至少一辆车辆模型后导入图像渲染引擎blender中，车型包括小轿车、厢式货车、特种车辆、SUV。将3)中的基准坐标(X

6)根据目标背景图像、前景渲染图像以及蒙版信息，利用风格和谐化模型进行图像仿真，获得拥有高真实度的仿真图像；风格和谐化模型中，首先对前景渲染图像进行背景风格和谐化操作，获得和谐化前景图像，如图5所示，与图4相比，图5中的前景渲染图像与背景风格更和谐。再利用蒙版信息将和谐化前景图像和前景渲染图像进行贴图合成，便可获得拥有高真实度的仿真图像。

风格和谐化模型为U型结构，包括第一特征提取模块、第二特征提取模块和生成网络，目标背景图像、前景渲染图像以及蒙版信息输入到风格和谐化模型中，目标背景图像作为第一特征提取模块的输入，前景渲染图像作为第二特征提取模块的输入，前景渲染图像还作为生成网络的第一输入，第一特征提取模块的输出和第二特征提取模块的输出分别作为生成网络的第二输入和第三输入，目标背景图像还作为生成网络的第四输入，蒙版信息作为生成网络的第五输入，生成网络的输出作为风格和谐化模型的输出。

如图2所示，第一特征提取模块和第二特征提取模块的结构相同，第一特征提取模块包括5个特征编码模块、4个特征解码模块、4层最大池化层和4层反卷积层，第一特征提取模块的输入作为第一特征编码模块的输入，第一特征编码模块依次经第一最大池化层、第二特征编码模块、第二最大池化层、第三特征编码模块、第三最大池化层、第四特征编码模块、第四最大池化层和第五特征编码模块后与第四反卷积层相连，第四特征编码模块的输出与第四反卷积层的输出拼接后再输入到第四特征解码模块，第四特征解码模块与第三反卷积层相连，第三特征编码模块的输出与第三反卷积层的输出拼接后再输入到第三特征解码模块，第三特征解码模块与第二反卷积层相连，第二特征编码模块的输出与第二反卷积层的输出拼接后再输入到第二特征解码模块，第二特征解码模块与第一反卷积层相连，第一特征编码模块的输出与第一反卷积层的输出拼接后再输入到第一特征解码模块，第二特征解码模块-第四特征解码模块的输出分别进行双线性插值后再一起与第一特征解码模块的输出进行相加，输出获得最终特征图并作为第一特征提取模块的输出。特征编码模块和特征解码模块的结构相同，每个特征编码模块中有两个CBL模块，其中C表示卷积层，B表示批量归一化层，L表示Leaky ReLU激活层，卷积层、批量归一化层和Leaky ReLU激活层依次相连。

如图3所示，生成网络包括2个自适应实例归一化层(Adaptive InstanceNormalization，AdaIN)和6层全连接层，生成网络的第二输入和第三输入分别作为第一自适应实例归一化层的第一输入和第二输入，第一自适应实例归一化层依次经6层全连接层后与第二自适应实例归一化层相连，即第六全连接层的输出作为第二自适应实例归一化层的第二输入，生成网络的第一输入作为第二自适应实例归一化层的第一输入，第二自适应实例归一化层的输出记为和谐化前景图像，和谐化前景图像与生成网络的第四输入(即目标背景图像)和第五输入(即蒙版信息)进行贴图操作后，获得仿真图像作为生成网络的输出。

相邻两个特征编码模块中间由最大池化层连接，共4个最大池化层。编码器G的每一层特征提取模块会得到不同尺度的特征图，公式为：

G(I)＝{F

(W，H)表示特征图尺寸。解码神经网络E由4个相同的解码模块构成，解码模块与编码模块结构相同，相邻解码模块间由反卷积层连接，第5个编码模块与第4个解码模块之间也由反卷积层(DConv)连接，共4个反卷积层，每一层反卷积层对上一层特征进行上采样操作，解码过程中具体公式为：

F′

其中F′

7)根据当前预先标注的车辆模型的尺寸信息、图像渲染引擎中的相机参数计算得到投影到仿真图像(即2D图像)以后的3D检测框标注信息；由仿真图像和对应的3D检测框标注信息组成仿真数据，用于训练自动驾驶视觉感知模型，实现车辆的自动驾驶。

7)具体为：

将当前车辆模型的底面几何中心作为原点，根据当前车辆模型的尺寸信息(w，l，h)计算获得当前车辆模型的最小外接长方体的8个顶点，对最小外接长方体的8个顶点进行投影，获得3D检测框标注信息，计算公式如下：

其中，K