俯视语义分割图的生成方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉感知领域，尤其涉及一种俯视语义分割图的生成方法、装置、电子设备及存储介质。

背景技术

俯视语义分割图是基于对普通的二维语义分割技术的改进而生成的，生成过程包括：对车身周围的多个摄像头的前视图像进行学习和下采样，获得前视特征图；将前视特征图转换到车辆鸟瞰坐标系特征图中，以获得鸟瞰特征图；最后对鸟瞰特征图进行编码、解码、上采样等处理，以生成俯视视角的语义分割图。

俯视语义分割图的获取难点在于将前视特征图转换为鸟瞰特征图的转换步骤，相关技术主要采用以下几种方式实现：一是对前视图像的每个像素点进行深度方向上的预测，从而把图像转换成空间立体的点云图，通过相机内外参数对点云进行坐标系转换，最后再通过池化纵向压缩点云并进行语义分割，即可得到鸟瞰特征图；二是产生鸟瞰坐标系的栅格，在通过相机内外参直接地或者通过Cross Attention(交叉注意力模块)逆向求解鸟瞰坐标系的每个栅格点在前视图像中对应的像素点，并基于对应的前视像素点对鸟瞰坐标系的栅格点进行填充，从而生成鸟瞰特征图；三是通过一些全连接层或者Transformer(变换模块)隐晦地进行图像转换，以获得鸟瞰特征图。

但是，前述第一种方式将前视图像的像素点放在特定深度上的操作将形成较为稀疏的点云，不利于残差网络的处理，而且在遇到较大物体遮挡视野的情况时，生成的鸟瞰特征图具有较大误差；第二种方式需要前视图像和雷达信息的融合，如果仅使用前视图像，纯视觉模式时的效果欠佳，如果前视图像被遮挡，那么遮挡区域在鸟瞰特征图中的体素无法获得正确的路况语义信息，鲁棒性较差；第三种方式的核心是变换模块的设置，但是变换模块只能单独对前视图像的每条竖线进行单独转换，未考虑各个竖线与环境(即其他竖线)之间的关联性，缺乏对前视图像的全局理解，因此生成的鸟瞰特征图的效果欠佳，另外变换模块会占用较大的内存，转变效率较低。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种俯视语义分割图的生成方法、装置、电子设备及存储介质。

本公开的一个方面提供了一种俯视语义分割图的生成方法，可包括：对目标车辆所处路况的多个前视特征图进行前视校正，以获得多个前视校正特征图；根据所述前视特征图对应的采集装置的相机参数，将各个所述前视校正特征图的三维点云由各自对应的像素坐标系转换至所述目标车辆的车辆坐标系中，以形成用于表征所述路况的至少部分俯视特征的鸟瞰特征图；以及根据所述路况的历史鸟瞰图的历史特征，对所述鸟瞰特征图进行鸟瞰校正，以获得用于表征所述路况的道路信息的俯视语义分割图。

在一些实施方式中，所述对目标车辆所处路况的多个前视特征图进行前视校正，以获得多个前视校正特征图，可包括：生成各个所述前视特征图对应的特征图副本，其中所述特征图副本与对应的所述前视特征图相同；以所述前视特征图为基准，对所述特征图副本执行并行的至少一次正向移位和并行的至少一次逆向移位，以通过自交流推断所述前视特征图中的缺失信息；以及利用所述缺失信息，对所述前视特征图进行信息补充，获得具备所述缺失信息的所述前视校正特征图。

在一些实施方式中，所述根据所述路况的历史鸟瞰图的历史特征，对所述鸟瞰特征图进行鸟瞰校正，以获得用于表征所述路况的全部所述俯视特征的俯视语义分割图，可包括：对所述路况的历史鸟瞰图进行坐标系转换，以将所述历史鸟瞰图映射至所述目标车辆的车辆坐标系；在所述目标车辆的车辆坐标系中，将表征所述历史特征的历史特征通道与表征所述俯视特征的目标特征通道进行连接；利用所述历史特征对不具备所述俯视特征的所述目标特征通道进行特征补充，以获得鸟瞰矫正后的鸟瞰特征图；以及对鸟瞰矫正后的鸟瞰特征图进行分割处理，以生成用于表征所述路况的道路信息的俯视语义分割图。

在一些实施方式中，在所述对目标车辆所处路况的多个前视特征图进行前视校正，以获得多个前视校正特征图之前，可包括：对所述目标车辆所处路况的多个前视图像进行特征处理，以获得多个用于表征所述前视图像的路况特征的前视特征图，其中所述路况特征包括路况语义和路况深度信息。

在一些实施方式中，所述对所述目标车辆所处路况的多个前视图像进行特征处理，以获得多个用于表征所述前视图像的路况特征的前视特征图，可包括：以预设层数间隔设置用于执行特征处理的多个特征处理层；由所述特征处理层将所述前视图像下采样为不同尺度的多个子视图，其中对应于同一所述特征处理层的多个所述子视图之间具有目标尺度梯度；对各个所述子视图进行特征提取，并将所述子视图的特征和与其相邻的多个尺度的前序子特征图进行特征融合，以获得多个子特征图，其中所述前序子特征图为位于所述特征处理层之前且依序相邻的特征处理层对应的子特征图；以及将各个所述子特征图进行上采样，以获得目标尺度的前视特征图。

在一些实施方式中，所述前视特征图对应的特征矩阵为：

x∈R

在一些实施方式中，在所述根据所述前视特征图对应的采集装置的相机参数，将各个所述前视校正特征图的三维点云由各自对应的像素坐标系转换至所述目标车辆的车辆坐标系中，以形成用于表征所述路况的至少部分俯视特征的鸟瞰特征图之前，可包括：根据所述前视校正特征图对应的路况特征，生成所述前视矫正特征图的三维点云，其中所述前视矫正特征图用于表征所述前视图像的路况特征，所述路况特征包括路况语义和路况深度信息，可包括，在所述路况特征中分割出所述前视校正特征图中各个像素点对应的至少一个所述路况深度信息；以及将至少一个所述深度信息填充至所述像素点对应的所述三维点云中，以生成所述前视校正特征图的所述三维点云，其中所述像素点对应有至少一个所述深度信息。

本公开的另一个方面提供了一种俯视语义分割图的生成装置，可包括：初始矫正模块，用于对目标车辆所处路况的多个前视特征图进行前视校正，以获得多个前视校正特征图；鸟瞰特征图生成模块，用于根据所述前视特征图对应的采集装置的相机参数，将各个所述前视校正特征图的三维点云由多个像素坐标系转换至所述目标车辆的车辆坐标系中，以形成用于表征所述路况的至少部分俯视特征的鸟瞰特征图；以及俯视语义分割图生成模块，用于根据所述路况的历史鸟瞰图的历史特征，对所述鸟瞰特征图进行鸟瞰校正，以获得用于表征所述路况的全部所述俯视特征的俯视语义分割图。

本公开的又一个方面一种电子设备，可包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述任一实施方式所述的俯视语义分割图的生成方法。

本公开的再一个方面一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述任一实施方式所述的俯视语义分割图的生成方法。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1为本公开示例性实施方式的语义分割图的生成方法流程图；

图2为本公开示例性实施方式的前视特征图生成示意图；

图3为本公开示例性实施方式的前视矫正特征图生成示意图；

图4为本公开示例性实施方式的自交流示意图；

图5为本公开示例性实施方式的坐标系转换示意图；

图6A为一种晴朗城区路段的语义分割图；

图6B为另一种晴朗城区路段的语义分割图；

图6C为雨天城区路段的语义分割图；

图6D为山区路段的语义分割图；

图6E为夜间路段的语义分割图；以及

图7为本公开示例性实施方式的语义分割图的生成装置示意图。

1000 语义分割图的生成装置

1002 初始矫正模块

1004 鸟瞰特征图生成模块

1006俯视语义分割图生成模块

1100 总线

1200 处理器

1300 存储器

1400 其他电路

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

图1为本公开示例性实施方式的语义分割图的生成方法流程图。下面将结合图1对本公开的语义分割图的生成方法S100进行详细阐述。

步骤S102，对目标车辆所处路况的多个前视特征图进行前视校正，以获得多个前视校正特征图。

其中，前视特征图是对目标车辆所处路况的前视图像进行特征处理的结果，其用于表征目标车辆某一前视图像所对应的路况特征。

路况特征包括前视图像中各个像素点的路况语义和路况深度信息。路况语义用于表征各个像素点的实体名称，例如路缘、车道线、人行横道线等。路况深度信息用于表征各个像素点的高程。

前视矫正特征图是对前视特征图中缺失信息的补充结果，其能够表征更完整的路况特征。具体地，由于各个采集设备具有一定的相机畸变，造成部分路况特征不能完整识别，使得前视特征图中部分像素点存在缺失信息；通过前视矫正，使得前视特征图通过自交流的方式，确定缺失信息，以获得包含有缺失信息的前视矫正特征图。

更具体地，所述步骤S102的具体步骤包括：生成各个前视特征图对应的特征图副本，其中特征图副本与对应的前视特征图相同；以前视特征图为基准，对特征图副本执行并行的至少一次正向移位和并行的至少一次逆向移位，以通过自交流推断所述前视特征图中的缺失信息；以及利用缺失信息，对前视特征图进行信息补充，获得具备缺失信息的前视校正特征图。

其中，自交流指的是前视特征图和复制而得的特征图副本(即自身)在不同移位情况下进行路况特征的映射，以在不同移位情况下，了解缺失信息对应的像素点与已有路况特征对应的像素点的吻合情况，若移位后二者吻合，那么以已有路况特征对缺失信息进行填补。

为了保证对目标车辆所处路况的完整覆盖，通常在目标车辆的车身上设置多个采集设备，例如六个，每个采集设备采集一个视角的前视图像。基于此，会生成对应于目标车辆所处路况不同视角的多个前视图像。那么，对各个前视图像分别进行特征处理，将获得多个前视特征图。由于每个视角的采集设备所对应的遮挡情况和相机畸变是不同的，因此每个采集设备将设置有一个唯一的前视矫正模块，每个前视矫正模块具有一个正逆移位信息自交流层构成，正逆移位信息自交流层用于执行至少一次正向移位自交流操作和至少一次逆向移位自交流操作。

图3为本公开示例性实施方式的前视矫正特征图生成示意图。如图3所示，以其中一个前视矫正图为例，展示前视特征图200的自交自交流过程，即：首先对前视特征图200进行复制，以获得特征图副本200a；将特征图副本200a向右下方正向移位，使二者进行路况特征进行自交流；将特征图副本200a向左上方逆向移位且与前视特征图200进行对齐，使得特征图副本200a再次与前视特征图200进行特征自交流，进而可推断出由于相机畸变或者遮挡所导致的缺失信息，以对缺失信息进行补全。

当然，在正向移位自交流或者逆向移位自交流的过程中，也可利用多头注意力层并行展开多个正向移位自交流进程或者逆向移位自交流进程，进而提高所获得的前视矫正特征图的鲁棒性。

图4为本公开示例性实施方式的自交流示意图。如图4所示，是对自交流过程的细节展示，每次路况特征的自交流过程均分为两步，将前视特征图和前视特征图副本对应的价值矩阵V、关键特征矩阵K以及查询表矩阵Q输入至自交流层之后，先通过头数为1的多头注意力层进行层归一操作，以使得将路况特征限制在一个小且统一的范围中，便于执行残差连接。进一步地，由全连接层进行归一操作，对路况特征进行进一步限定，以便执行残差连接。

步骤S104，根据前视特征图对应的采集装置的相机参数，将各个前视校正特征图的三维点云由各自对应的像素坐标系转换至目标车辆的车辆坐标系中，以形成用于表征路况的至少部分俯视特征的鸟瞰特征图。

其中，相机参数包括相机的内参和外参，相机的内参用于调整相机畸变，以进行相机坐标系至像素坐标系的转换；相机的外参用于表征各个像素点的旋转和位移尺度，以进行像素坐标系至车辆坐标系的转换。

前视矫正特征图的三维点云是前视矫正特征图中各个像素点的二维坐标和深度信息的集合。

车辆坐标系以目标车辆的行驶方向为X轴、以垂直于X轴且指向驾驶室右侧的方向为Y轴、以竖直方向为Z轴的XYZ三维世界坐标系，车辆坐标系以目标车辆的质心位置为原点。

鸟瞰特征图用于表征路况的至少部分俯视特征，是在目标车辆的车辆坐标系中对各个前视矫正特征图的整合结果。俯视特征包含各个前视矫正特征图的路况特征。但是，由于视线遮挡等原因，鸟瞰特征图中还存在部分像素点的特征通道缺失的情况。

具体地，通过相机参数进行坐标系转换，通过池化操作把三维点云竖直方向压扁形成鸟瞰特征图。其中，三维点云可表示为：

X2∈R

三维点云的坐标矩阵可表示为：J∈R

相机参数的内参矩阵可表示为：I∈R

相机参数的外参矩阵可表示为：E∈R

那么基于相机参数和三维点云，用于表征鸟瞰特征图中各个像素点的二维坐标的鸟瞰坐标矩阵为：K＝(I×E)

进一步地，利用鸟瞰坐标矩阵对前视特征图对应的路况特征矩阵进行重采样操作，并在竖直方向上进行求和池化操作，以生成鸟瞰特征图。其中，鸟瞰特征图BEV∈R

图5为本公开示例性实施方式的坐标系转换示意图。如图5所示，目标车辆的车身周围设置相机1、相机2、相机3、相机4、相机5和相机6等六个采集设备，以相机1对应的像素坐标系为例，通过相机参数进行坐标转换，即可将相机1对应的三维点云由像素坐标系转换至车辆坐标系中。在相机1的像素坐标系中X轴、Y轴和Z周的方向如图所示，其中，X轴为车辆行驶方向的反向。经过转换之后，车辆坐标系的X轴为车辆行驶方向、Y轴为垂直于X轴且指向驾驶室右侧的方向，Z轴为垂直方向。

步骤S106，根据路况的历史鸟瞰图的历史特征，对鸟瞰特征图进行鸟瞰校正，以获得用于表征路况的道路信息的俯视语义分割图。

其中，历史鸟瞰图为当前路况在过去时刻的鸟瞰特征图，其具有包含各个像素的历史特征的历史特征通道。

鸟瞰矫正是为了补全鸟瞰特征图中由于被遮挡而缺失的俯视特征。

俯视语义分割图通过对鸟瞰矫正之后的鸟瞰特征图的分割，可展示目标车辆所处路况的道路信息，例如人行横道的位置、车道线中双实线和白虚线的位置、路缘走向和停车线的位置等，以便于后续进行自动驾驶轨迹预测和行为规划，以计算自动驾驶路线。

具体地，步骤S106的具体步骤为：对路况的历史鸟瞰图进行坐标系转换，以将历史鸟瞰图映射至目标车辆的车辆坐标系；在目标车辆的车辆坐标系中，将表征历史特征的历史特征通道与表征俯视特征的目标特征通道进行连接；利用历史特征对不具备俯视特征的目标特征通道进行特征补充，以获得鸟瞰矫正后的鸟瞰特征图；以及对鸟瞰矫正后的鸟瞰特征图进行分割处理，以生成用于表征路况的道路信息的俯视语义分割图。

其中，历史鸟瞰图的历史特征通道和鸟瞰特征图的目标特征通道的通道数一样，都假设为C，那么将二者连接之后的带有时间维度的鸟瞰特征图的通道数为2*C，其他方向维度不变。

利用鸟瞰矫正模块对带有时间维度的鸟瞰特征图进行矫正和改善，鸟瞰矫正模块由三个正逆移位信息交流层组成，与前视矫正模块的结构相似。但是，在俯视特征的自交流过程中，设置了更多头数的多头注意力层。

例如，第一层正逆移位信息自交流层的多头注意力层的头数为3，那么第二层正逆移位信息自交流层的多头注意力层的头数为6，第三层正逆移位信息自交流层的多头注意力层的头数为12，依序靠后的正逆移位信息自交流层的多头注意力层的头数相比于前一交流层数量翻倍，以更多角度地理解俯视特征，最终获得的效果具有鲁棒性。

基于目标特征通道，对经过鸟瞰矫正的鸟瞰特征图进一系列的卷积和上采用操作，以获得清晰的且能够表示路况语义的俯视语义分割图。

例如，首先进行3*3的卷积操作，卷积层步长为1；进而对第一次卷积之后的图片进行上采样，比例为2，使其尺寸扩大为经过鸟瞰矫正的鸟瞰特征图的二倍；依序重复上述两个步骤一次；对获得的结果进行第三次3*3的卷积操作，卷积层步长为1；再进行一次1*1的卷积操作，卷积层步长为1，即可将经过鸟瞰矫正的鸟瞰特征图转换为清晰的且能够表示路况语义的俯视语义分割图。

结合了时间维度信息对俯视特征进行补充，避免了对前视图像的过度依赖，使得获得的俯视语义分割图在被遮挡场景也具有更全面的俯视特征。

在一些实施方式中，在步骤S102之前，可包括：对目标车辆所处路况的多个前视图像进行特征处理，以获得多个用于表征前视图像的路况特征的前视特征图，其中路况特征包括路况语义和路况深度信息。

具体地，以预设层数间隔设置用于执行特征处理的多个特征处理层；由特征处理层将前视图像下采样为不同尺度的多个子视图，其中对应于同一特征处理层的多个子视图之间具有目标尺度梯度；对各个子视图进行特征提取，并将子视图的特征和与其相邻的多个尺度的前序子特征图进行特征融合，以获得多个子特征图，其中前序子特征图为位于特征处理层之前且依序相邻的特征处理层对应的子特征图；以及将各个子特征图进行上采样，以获得目标尺度的前视特征图。

其中，特征处理层为特征处理模块的处理层，特征处理模块具有多个处理层，本公开以被控制用于对前视图像及其过程图像进行特征处理的处理层为特征处理层。

在相关技术中，通常设置1至2个特征处理层对前视图像及其过程图像进行特征处理，而本公开则以预设层数间隔设置用于执行特征处理的多个特征处理层。例如，预设层数间隔为1，那么每间隔一个处理层设定一个特征处理层，以实现对前视图像及其过程图像的多次特征处理，使得提取的路况特征具有鲁棒性。

在特征处理的过程中包括卷积和下采样两种操作，卷积用于进行特征提取；下采样则用于对输入该特征处理层的前视图像或者过程图像进行尺度缩放，以获得多个尺度的子视图。相关技术中，在给各个尺度的子视图进行特征提取时，只会结合与当前尺度一样的前序子特征图进行特征融合。而本公开中，对某尺度的子视图进行特征提取时，会融合各个尺度的前序子特征图，以使得输出的任意尺度的子特征图兼顾全局特征和局部特征，融合范围更广，结果具有更强的鲁棒性。

图2为本公开示例性实施方式的前视特征图生成示意图。如图2所示，将前视图像100进行1:4的比例进行尺度缩放，并对其进行特征提取，以获得第一子特征图；经过中间处理层，将第一子特征图传输至后一特征处理层，由其对第一子特征图进行复制以及1:2的比例进行尺度缩放，将第一子特征图的路况特征分别与所得的两个不同尺度的子视图进行特征融合，以获得第二子特征图和第三子特征图，其中第三子特征图与前视图像100呈1:8的比例。经过中间处理层，对第二子特征图和第三子特征图分别进行复制，并对第三子特征图进行1：2比例的尺度缩放，将第二子特征图的路况特征和第三子特征图的路况特征分别与所得的三个不同尺度的子视图进行特征融合，以获得第四子特征图、第五子特征图和第六子特征图，其中第六子特征图与前视图像100呈1:16的比例。同理，获得第七子特征图、第八子特征图、第九子特征图和第十子特征图，其中第十子特征图与前视图像100呈1:32的比例，每个子特征图均结合各个不同尺度的前序子特征图的路况特征。

为了保证输出结果的高分辨率，最后输出的前视特征图200的目标尺度设定为前视图像100的1/4，那么需要对结合第十子特征图的路况特征、第九子特征图的路况特征、第八子特征图的路况特征，依序对三者进行上采样，最后将第七子特征图融合各个尺度的路况特征，生成具备目标尺度的前视特征图200，该前视特征图200能够更好的结合全局和局部的语义信息和深度信息。

在上例中，对于第七子特征图、第八子特征图、第九子特征图和第十子特征图而言，其前序子特征图为第四子特征图、第五子特征图和第六子特征图，即以位于当前的特征处理层之前且依序相邻的特征处理层对应的子特征图为前序子特征图。

在一些实施方式中，前视特征图对应的特征矩阵为：x∈R

在一些实施方式中，在使用特征处理模块之前，还需要利用大量的样本对其进行训练。包括对所有训练样本进行统一缩放，使其像素所防伪224*480。在训练阶段，对各个训练样本进行数据增强，包括随机的左右翻转和旋转，以使得训练之后的特征处理模块适用于更重角度的前视图像。

在一些实施方式中，在步骤S104之前，可包括：根据前视校正特征图对应的路况特征，生成前视矫正特征图的三维点云，其中前视矫正特征图用于表征前视图像的路况特征，路况特征包括路况语义和路况深度信息。

具体地，在路况特征中分割出前视校正特征图中各个像素点对应的至少一个路况深度信息；以及将至少一个深度信息填充至像素点对应的三维点云中，以生成前视校正特征图的三维点云；其中，像素点对应有至少一个深度信息。

相关技术中，通常一个像素点对应一个唯一的深度信息，即高程；但是，由于前视特征矫正图是对前视图像进行一定比例的缩放而获得的，因此其中的一个像素点对应实际路况的一个具有长度的范围，该范围中可能同时包括路缘和车道线，那么对应与该像素点的高程不唯一。为了使获得的三维点云具有可信度，在本公开中，每个像素点可对应多个深度信息，同一像素点的不同深度信息之间不互斥。例如，当一个像素点同时对应路缘的深度信息和车道线的深度信息，那么路缘和车道线的像素点在三维点云中形成连续密集的不，从而形成更连续且符合实际的鸟瞰特征图。该鸟瞰特征图在后续的分割处理以获得深度信息时，具有更好的效果。

在一些实施方式自，三维点云生成前的特征矩阵为X0∈R

X1∈R

对该特征矩阵进行切片，以分割为通道特征矩阵：XC∈R

最终，将用于表征目标特征通道的通道特征矩阵和用于表征各个像素点的深度信息的深度特征矩阵填充至三维点云中，可获得三维点云：

X2＝XC×XD∈R

图6A为一种晴朗城区路段的语义分割图；图6B为另一种晴朗城区路段的语义分割图；图6C为雨天城区路段的语义分割图；图6D为山区路段的语义分割图；图6E为夜间路段的语义分割图。

下面将结合图6A至图6E，对俯视语义分割图在不同道路特征、不同天气下的生成结果进行展示。

如图6A所示，在晴朗的城区路段场景下，通过前述方法可清晰的获得俯视角度的语义分割图300a，包括：路缘310a、车道线320a和人行横道330a。

如图6B所示，在另一个晴朗的城区路段场景下，通过前述方法可清晰的获得俯视角度的语义分割图300b，包括：路缘310b、车道线320b和人行横道330b。

如图6C所示，在雨天城区路段场景下，通过前述方法可清晰的获得俯视角度的语义分割图300c，包括：路缘310c、车道线320c和人行横道330c。

如图6D所示，在山区路段场景下，通过前述方法可清晰的获得俯视角度的语义分割图300d，包括：路缘310d、车道线320d和人行横道330d。

如图6E所示，在夜间路段场景下，通过前述方法可清晰的获得俯视角度的语义分割图300e，包括：路缘310e、车道线320e和人行横道330e。

基于图6A至图6E，可以直观的看到本方法适用于对各种道路特征、各种天气以及各种时段光线下的俯视角度的语义分割图的获取，具有普适性。

本公开的俯视语义分割图的生成方法，通过设置前视矫正和鸟瞰矫正，利用前视图像可对目标车辆所处路况的路况特征进行补全，避免了由于相机畸变或者遮挡所导致的信息缺失。另外，在进行鸟瞰矫正时，引入了时间维度的信息，利用历史的鸟瞰特征图对当前的鸟瞰特征图进行补充，提高了路况特征的完整性和可信度。在获得前视特征图的过程中，增加了特征处理的次数，以及特征融合的广度，将全局特征和局部特征进行融合，提升了前视特征图的准确性。在获得三维点云的过程中，使得每个像素点对应多个深度信息，使得三维点云中的像素点具有更连续密集的分部，进而可获得更加连续的鸟瞰特征图。

图7为本公开示例性实施方式的语义分割图的生成装置示意图。如图7所示，本公开的另一个方面提供了一种俯视语义分割图的生成装置1000，可包括：初始矫正模块1002，用于对目标车辆所处路况的多个前视特征图进行前视校正，以获得多个前视校正特征图；鸟瞰特征图生成模块1004，用于根据前视特征图对应的采集装置的相机参数，将各个前视校正特征图的三维点云由多个像素坐标系转换至目标车辆的车辆坐标系中，以形成用于表征路况的至少部分俯视特征的鸟瞰特征图；以及俯视语义分割图生成模块1006，用于根据路况的历史鸟瞰图的历史特征，对鸟瞰特征图进行鸟瞰校正，以获得用于表征路况的全部俯视特征的俯视语义分割图。

俯视语义分割图的生成装置1000的各个模块是为了实现俯视语义分割图的生成方法的各个步骤而设置的，其各个模块的执行步骤和原理与前文相同，不在赘述。

该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。

总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

本公开的俯视语义分割图的生成装置，通过设置前视矫正和鸟瞰矫正，利用前视图像可对目标车辆所处路况的路况特征进行补全，避免了由于相机畸变或者遮挡所导致的信息缺失。另外，在进行鸟瞰矫正时，引入了时间维度的信息，利用历史的鸟瞰特征图对当前的鸟瞰特征图进行补充，提高了路况特征的完整性和可信度。在获得前视特征图的过程中，增加了特征处理的次数，以及特征融合的广度，将全局特征和局部特征进行融合，提升了前视特征图的准确性。在获得三维点云的过程中，使得每个像素点对应多个深度信息，使得三维点云中的像素点具有更连续密集的分部，进而可获得更加连续的鸟瞰特征图。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。

应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行俯视语义分割图的生成方法。

本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现俯视语义分割图的生成方法。

在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。