语义场景补全方法、系统、车辆及计算机可读存储介质

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种语义场景补全方法、系统、车辆及计算机可读存储介质。

背景技术

激光雷达为自动驾驶场景中最常用的3D传感器，通过激光雷达来采集点云数据，并通过点云数据来进行推断和理解场景。然而，由于受到激光雷达的采集方式和采集视野限制，使得通过激光雷达采集的点云数据一方面是具有稀疏性，另一方面是不包括被遮挡区域的点云数据，这就增加了通过点云数据进行场景理解和推断的难度。

语义场景补全(Semantic Scene Completion，SSC)可以从部分观测数据中估计出密集的几何空间和语义空间，被广泛用于对点云数据进行补全。目前在进行语义场景补全时，为了避免因点云数据的分辨率增大而导致的语义场景补全所需计算量大大增多。为此，目前普遍是采用轻量化方式进行点云补全，然而，现有的轻量化补全方式普遍是仅利用点云空间的占据信息，而没有很好的利用语义信息，从而导致语义场景补全的准确性低。

发明内容

本申请的主要目的在于提供一种语义场景补全方法、系统、车辆及计算机可读存储介质，旨在解决现有技术中在汽车功能场景化以及SOA架构的车辆中，车载场景编排的测试方法并不完善的问题。

本申请第一方面实施例提供一种语义场景补全方法，包括以下步骤：获取待补全点云数据；提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征；基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图；基于所述二维特征图确定语义场景补全结果。

根据上述技术手段，本申请实施例针通过分别对待补全点云数据进行体素特征提取和占位特征提取，可以提取到体素的局部结构特征和全局语义信息，使得确定得到的二维特征图携带有几何信息和语义信息，可以使得语义场景补全结果携带三维场景的几何结构和语义信息，提高了语义场景补全的准确性。同时，本申请实施例将体素特征和占位特征转换为二维特征图，减少了语义场景补全的计算量，从而可以减少语义场景补全所需的计算资源，并提高语义补全的计算效率。

可选地，在本申请一个实施例中，所述获取待补全点云数据具体包括：获取原始点云数据以及所述原始点云数据对应的感兴趣区域范围；基于所述感兴趣区域范围在所述原始点云数据中选取目标点云数据点，将选取到的所有目标点云数据点作为待补全点云数据。

根据上述技术手段，本申请实施例通过在原始点云数据中进行感兴趣区域选取，可以在原始点云数据中选取关注目标所对应的点云数据，这样可以减少待补全点云数据所需的处理时间，并且可以避免其他区域对感兴趣区域补全的影响，从而可以提高语义场景补全结果的精度。

可选地，在本申请一个实施例中，所述体素特征的提取过程具体包括：将所述待补全点云数据在预设平面上进行网格划分，得到二维网格；沿垂直于所述预设平面的方向选取二维网格中的各二维单元网格对应的所有点云数据点，以得到各二维单元网格的体素网格；对各体素网格进行特征提取，得到各体素网格对应的体素网格特征；根据得到的所有体素网格特征确定所述待补全点云数据的体素特征。

根据上述技术手段，本申请实施例可以将待补全点云数据压缩到二维网格中，并通过对二维网格中的每个二维单元网格对应的体素网格进行特征提取，这样可以直接对点云数据进行特征提取，从而可以提高体素特征的获取效率。

可选地，在本申请一个实施例中，所述根据得到的所有体素网格特征确定所述待补全点云数据的体素特征具体包括：对于每个体素网格特征，获取所述体素网格特征对应的二维单元网格在所述二维网格中的第一位置信息，并将所述第一位置信息作为所述体素网格特征的体素索引；将各体素网格特征按照各自对应的体素索引映射至鸟瞰图视角，以得到所述待补全点云数据的体素特征。

根据上述技术手段，本申请实施例在获取到各体素网格特征后，通过采用位置信息作为体素索引来生成鸟瞰图视角，通过鸟瞰图视角来表示体素特征，这样可以提高后续体素特征与占位特征融合的方便性，同时可以通过二维数据来表示待补全点云数据的体素特征，使得语义场景补全轻量化。

可选地，在本申请的一个实施例中，所述占位特征的提取过程具体包括：将所述待补全点云数据在预设平面和垂直所述预设平面的方向所构成的三维空间中进行网格划分，以得到三维网格；获取所述三维网格中的各三维单元网格所包含点云数据点的数据量，并根据各三维单元网格对应的数据量为各三维网格配置占位元素；基于各三维单元网格的占位元素确定所述占位特征。

根据上述技术手段，本申请实施例通过将三维空间划分为三维网格，并根据三维网格中的各三维单元网格的数据量来确定三维单元网格的占位元素，这使得获取到的占位特征可以很好的反映待补全点云数据的几何信息，从而可以提高语义场景补全的准确性。特别是，对于三维环境中目标遮挡以及快速移动等问题具有很好的鲁棒性。

可选地，在本申请的一个实施例中，所述基于各三维网格的占位元素确定所述体素特征具体为：

对于每个占位元素，获取所述占位元素对应的三维单元网格在所述三维网格中的第二位置信息，并将所述第二位置信息作为所述占位元素的占位索引；将各占位元素按照各自对应的占位索引映射至三维网格，以得到所述占位特征。

根据上述技术手段，本申请实施例通过将各三维单元网格的位置信息作为占位元素的占位索引，并基于占位索引将占位元素映射至三维网格，将三维空间划分为若干二维网格层，以便于通过二维数据来表示待补全点云数据的占位特征，这样一方面可以方便体素特征与占位特征的融合，另一方面可以通过二维网络模型对占位特征进行提取，使得语义场景补全轻量化。

可选地，在本申请的一个实施例中，所基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图具体包括：将所述体素特征和所述占位特征进行融合，得到融合特征；将所述融合特征输入预设的轻量化骨干网络，通过所述轻量化骨干网络输出二维特征图。

根据上述技术手段，本申请实施例通过轻量化骨干网络对融合特征进行特征提取，这样可以用于进行特征提取的网络模型所需要的计算资源，降低了语义场景补全方法对硬件设备的要求，从而可以提高语义场景补充方法的使用场景。同时，通过轻量化骨干网络对融合特征进行特征提取，可以二维特征图的提取速度，从而可以提高语义场景补全的实时性。

可选地，在本申请的一个实施例中，所述轻量化骨干网络包括形成UNet网络结构的编码器模块和解码器模块；所述编码器模块包括若干级联的编码器，所述解码器模块包括若干级联的解码器，编码器包括若干编码卷积块，编码卷积块包括若干二维卷积层、二维正则化层和激活函数层，解码器包括上采样层和解码卷积模块，解码卷积模块包括若干二维卷积层、二维正则化层和激活函数层。

根据上述技术手段，本申请实施例可以通过编码器模块逐步提取体素的局部结构信，在保持整个网络具有较高计算效率的同时，保持体素特征和占位特征的表达能力；然后通过解码器对提取的特征逐层解耦，输出带几何信息和语义信息的二维特征图，这样可以使得二维特征图携带有丰富的几何信息和语义信息，从而可以提高后续基于二维特征图确定的语义场景补全结果的准确性。

可选地，在本申请的一个实施例中，所述将所述体素特征和所述占位特征进行融合，得到融合特征具体为：将所述体素特征和所述占位特征按通道方向拼接，以得到融合特征

根据上述技术手段，本申请实施例通过将体素特征和所述占位特征按照通道进行拼接，使得拼接得到的融合特征同时携带有体素特征和占位特征，以通过融合特征可以同时提取到语义信息和几何信息。

本申请第二方面实施例提供一种语义场景补全装置，其特征在于，所述的语义场景补全方法包括：获取模块，用于获取待补全点云数据；提取模块，用于提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征；确定模块，用于基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图；补全模块，用于基于所述二维特征图确定语义场景补全结果。

本申请第三方面实施例提供一种车辆，所述车辆包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语义场景补全程序，所述语义场景补全程序被所述处理器执行时实现如上述实施例所述的语义场景补全方法的步骤。

本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有语义场景补全程序，所述语义场景补全程序被处理器执行时实现如上述实施例所述的语义场景补全方法的步骤。

本申请的有益效果：

(1)本申请实施例针通过分别对待补全点云数据进行体素特征提取和占位特征提取，可以提取到体素的局部结构特征和全局语义信息，使得确定得到的二维特征图携带有几何信息和语义信息，可以使得语义场景补全结果携带三维场景的几何结构和语义信息，从而可以提高语义场景补全的准确性。同时，本申请实施例将体素特征和占位特征转换为二维特征图，减少了语义场景补全的计算量，从而可以减少语义场景补全所需的计算资源，并提高语义补全的计算效率。

(2)本申请实施例可以将待补全点云数据压缩到二维网格中，并通过对二维网格中的每个二维单元网格对应的体素网格进行特征提取，这样可以直接对点云数据进行特征提取，从而可以提高体素特征的获取效率。

(3)本申请实施例通过将三维空间划分为三维网格，并根据三维网格中的各三维单元网格的数据量来确定三维单元网格的占位元素，这使得获取到的占位特征可以很好的反映待补全点云数据的几何信息，从而可以提高语义场景补全的准确性。特别是，对于三维环境中目标遮挡以及快速移动等问题具有很好的鲁棒性。

(4)本申请实施例通过轻量化骨干网络对融合特征进行特征提取，这样可以用于进行特征提取的网络模型所需要的计算资源，降低了语义场景补全方法对硬件设备的要求，从而可以提高语义场景补充方法的使用场景。同时，通过轻量化骨干网络对融合特征进行特征提取，可以二维特征图的提取速度，从而可以提高语义场景补全的实时性。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的语义场景补全方法的流程图。

图2为本申请实施例提供的语义场景补全方法的一个具体实现过程的流程示意图。

图3是轻量化骨干网络的结构原理图。

图4是本申请实施例提供的语义场景补全系统的结构示原理图。

图5为本申请实施例提供的车辆的结构原理图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

经研究发现，激光雷达为自动驾驶场景中最常用的3D传感器，通过激光雷达来采集点云数据，并通过点云数据来进行推断和理解场景。然而，由于受到激光雷达的采集方式和采集视野限制，使得通过激光雷达采集的点云数据一方面是具有稀疏性，另一方面是不包括被遮挡区域的点云数据，这就增加了通过点云数据进行场景理解和推断的难度。

语义场景补全(Semantic Scene Completion，SSC)可以从部分观测数据中估计出密集的几何空间和语义空间，被广泛用于对点云数据进行补全。例如，将点云数据在空间中划分为体素网格，然后使用3D卷积操作获得稀疏体素之间的局部语义信息，再通过下采样获得体素网格在不同尺度空间中的全局语义信息，最终通过上采样恢复到原体素网格尺寸，得到完整的几何和语义信息等。然而，虽然激光雷达精度的提高，通过激光雷达采集到的点云数据的分辨率越来越大，相应的，语义场景补全所需计算量大大增多，这样限制了语义场景补全方法的应用范围。

为此，目前进行语义场景补全时，普遍会采用轻量化方式进行点云补全，例如，使用轻量级的2D卷积骨干网络和3D分割头来实现点云数据补全的轻量化。然而，现有的轻量化补全方式普遍是仅利用点云空间的占据信息，而没有很好的利用语义信息，从而导致语义场景补全的准确性低。

基于此，在本申请实施例中，获取待补全点云数据；提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征；基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图；基于所述二维特征图确定语义场景补全结果。根据上述技术手段，本申请实施例针通过分别对待补全点云数据进行体素特征提取和占位特征提取，可以提取到体素的局部结构特征和全局语义信息，使得确定得到的二维特征图携带有几何信息和语义信息，可以使得语义场景补全结果携带三维场景的几何结构和语义信息，从而可以提高语义场景补全的准确性。同时，本申请实施例将体素特征和占位特征转换为二维特征图，减少了语义场景补全的计算量，从而可以减少语义场景补全所需的计算资源，并提高语义补全的计算效率。

下面结合附图对本申请提供的语义场景补全方法进行具体说明。图1为本申请实施例所提供的语义场景补全方法的流程示意图。如图1所示，本申请实施例提供的语义场景补全方法具体包括：

S10、获取待补全点云数据。

具体地，待补全点云数据可以是通过雷达、毫米波雷达或者激光雷达等传感器采集车辆、物体或者环境等的点云数据，例如，待补全点云数据通过激光雷达获取，激光雷达用3D点云为自动驾驶汽车精确“描绘”出周边环境，待补全点云数据可以包含目标的距离、角度、反射强度等信息，不依赖于外界光照条件或目标本身的辐射特性，可以更好的感知汽车周边道路环境，为感知系统提供决策依据。其中，待补全点云数据可以为通过传感器采集到的原始点云数据，也可以是对传感器采集到的原始点云数据进行预处理后的点云数据。其中，预处理可以包括去噪操作、下采样操作以及感兴趣区域选取操作等。

在本申请实施例的一个实现方式中，所述获取待补全点云数据具体包括：

获取原始点云数据以及所述原始点云数据对应的感兴趣区域范围；

基于所述感兴趣区域范围在所述原始点云数据中选取目标点云数据点，将选取到的所有目标点云数据点作为待补全点云数据。

具体地，所述感兴趣区域范围为用于确定待补全点云数据的依据，其可以为预先设置的，也可以是通过对原始点云数据进行感兴趣区域提取所得到的等。在本申请实施例中，感兴趣区域范围为根据语义场景补全方法所应用的应用场景预先设置的，例如，语义场景补全方法所应用的应用场景为自动驾驶场景，预感兴趣区域范围可以x坐标范围(-5，75)m，y坐标范围(-30，30)m，z坐标范围(-1，8.6)所围成的区域范围。

进一步，在获取到感兴趣区域范围后，逐一遍历原始点云数据中的所有点云数据点，保留感兴趣区域范围内的点云数据点，去除感兴趣区域范围外的点云数据点，以得到待补全点云数据。其中，待补全点云数据中的每个点云数据点除了具有三维坐标(x，y，z)，还可以包括反射强度信息等。在本申请实施例中，每个点云数据点具有三维坐标(x，y，z)和反射强度信息，通过反射强度信息来丰富点云数据的语义信息。当然，在实际应用中，每个点云数据可以仅具有三维坐标(x，y，z)。

当然，值得说明的是，在根据感兴趣区域范围选取到待补全点云数据后，还可以对待补全点云数据进行其他预处理操作。例如，对待补全点云数据进行去噪操作以及下采样操作，其中，去噪操作用于去除待补全点云数据中得到噪声点，例如，通过统计滤波器或者体素滤波器等进行去噪操作；下采样操作可以减小计算量和内存需求，例如，使用体素栅格滤波器进行下采样操作等。

S20、提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征。

具体地，体素特征用于反映所述待补全点云数据的语义信息，占位特征用于反映待补全数据的几何信息，其中，体素特征和占位特征均可以直接对待补全点云数据进行提取得到的，也可以是先对待补全点云数据进行网格划分，然后再基于划分得到的网格来确定体素特征和占位特征。例如，预先设置用于提取体素特征的体素分支模型和用于提取占位特征的占位分支模型，并且体素分支模型和占位分支模型均通过预先训练的，然后再获取到的待补全点云数据后，通过体素分支模型对待补全点云数据进行特征提取，得到体素特征；通过占位分支模型对待补全点云数据进行特征提取，得到占位特征。

在本申请实施例中，为了便于体素特征和占位特征的融合以及语义场景补全的轻量化，在提取待补全点云数据的体素特征和占位特征时，可以对待补全点云数据对应的三维空间进行网格划分，然后再基于划分后的各单元网格来确定体素特征和占位特征，以采用二维数据形式来表示体素特征和占位特征。下面对通过网格划分方式提取体素特征和占位特征的过程做具体说明。

在本申请实施例中，所述体素特征的提取过程具体包括：

S210、将所述待补全点云数据在预设平面上进行网格划分，得到二维网格；

S211、沿垂直于所述预设平面的方向选取二维网格中的各二维单元网格对应的所有点云数据点，以得到各二维单元网格的体素网格；

S212、对各体素网格进行特征提取，得到各体素网格对应的体素网格特征；

S213、根据得到的所有体素网格特征确定所述待补全点云数据的体素特征。

具体地，预设平面为待补全点云数据所对应的三维空间中的一个空间平面，例如，预设平面为xy平面，yz平面或者xz平面等。垂直于所述预设平面的方向指的是与预设平面垂直的方向，例如，预设平面为xy平面，那么垂直于所述预设平面的方向为z方向，预设平面为yz平面，那么垂直于所述预设平面的方向为x方向，预设平面为xz平面，那么垂直于所述预设平面的方向为y方向。在本申请实施例以预设平面采用xy平面，垂直于所述预设平面的方向为z方向为了进行说明。

本申请实施例中，将待补全点云数据在xy平面上划分网格以得到二维网格，然后对于二维网格中的每个二维单元网格，将该二维单元网格在z方向上对应的所有点云数据点作为一个体素网格。由此可知，本申请中的体素网格为Pillar体素，其包括二维单元网格沿z方向所形成的柱体所包括的所有点云数据点。例如，待补全点云数据在z方向的高度为9.6m，在xy平面上以0.2*0.2m为单位进行网格划分，得到若干0.2*0.2m的二维单元网格，那么体素网格的分辨率为0.2×0.2×9.6m。

进一步，所述体素网格特征为对体素网格进行特征提取得到的，用于反映体素网络的特征信息。其中，体素网格特征可以通过经过训练的体素特征提取模型提取得到的。也就是说，在获取到的各体素网格之后，将各体素网格输入经过训练的体素特征提取模型，通过体素特征提取模型输出各体素网格对应的体素网格特征。其中，体素特征提取模型可以采用一维卷积模块或者PointNet等可以对点云数据点进行特征提取的网络模型。本申请实施例通过采用体素特征提取模型进行特征提取，将待补全点云数据转换为二维体素特征，这样可以采用二维轻量化模型对体素特征进行提取，实现了语义场景补全的轻量化。

在本申请实施例中，所述根据得到的所有体素网格特征确定所述待补全点云数据的体素特征具体包括：

对于每个体素网格特征，获取所述体素网格特征对应的二维单元网格在所述二维网格中的第一位置信息，并将所述第一位置信息作为所述体素网格特征的体素索引；

将各体素网格特征按照各自对应的体素索引映射至鸟瞰图视角，以得到所述待补全点云数据的体素特征。

具体地，第一位置信息用于反映二维单元网格在二维网格中的位置，其中，第一位置信息可以为二维单元网格中左上角相对于二维网络的网格原点的偏移量，也可以是二维单位网格的网格中心相对于二维网络的网格原点的偏移量等。本申请实施例采用二维单元网格在二维网格中的位置信息作为体素索引，可以准确的将各体素网络特征映射在各体素网格对应的二维单位网格位置。此外，在获取到体素索引之后，通过体素索引作为位置指引，将各自对应的体素索引映射至鸟瞰图视角，以得到鸟瞰图视角(Bird＇s Eye View，BEV)下的体素特征。本申请实施例通过鸟瞰图视角的体素特征来使得体素特征和占位特征更容易融合。此外，在将各自对应的体素索引映射至鸟瞰图视角得到体素特征后，体素特征的特征维度可以表示为[C

在本申请实施例中，所述占位特征的提取过程具体包括：

S220、将所述待补全点云数据在预设平面和垂直所述预设平面的方向所构成的三维空间中进行网格划分，以得到三维网格；

S221、获取所述三维网格中的各三维单元网格所包含点云数据点的数据量，并根据各三维单元网格对应的数据量为各三维网格配置占位元素；

S222、基于各三维单元网格的占位元素确定所述占位特征。

具体地，在对三维空间进行网格划分时所采用的预设平面和垂直所述预设平面的方向与进行二维网格划分时采用的预设平面和垂直所述预设平面的方向相同，也就是说，在本申请实施例中，进行三维网格划分的预设平面为xy平面，垂直所述预设平面的方向为z方向，此外，二维单元网格的网格宽度和长度与三维单元网格在预设平面上的网格宽度和长度相同。例如，二维单元网格的网格尺寸的宽度和长度均为0.2m，那么三维单元网格在xy平面的宽度和长度也为0.2m。此外，三维单元网格在垂直所述预设平面的方向的尺寸可以根据实际情况确定，通过该尺寸反映占位特征的特征细粒度。其中，垂直所述预设平面的方向的尺寸可取为0.05-0.5m之间，在本申请实施例中，垂直所述预设平面的方向的尺寸为0.2m，这样既可以保证占位特征的特征细粒度，又可以避免占位特征的数据量过大，从而可以在保证语义场景补全的准确性的基础上，尽量减少语义场景补全所需的计算量。

举例说明：假设预设平面为xy平面，垂直所述预设平面的方向为z方向，二维单元网格的网格尺寸为0.2*0.2m，三维单元网格在z方向的尺寸为0.2m，待补全点云数据在z方向的高度为9.6米，那么体素网格的分辨率为0.2*0.2*9.6m，三维单元网格(即占位单体素网格)的分辨率为0.2*0.2*0.2m。

进一步，在划分得到三维网格后，获取三维网格中的每个三维单元网格所包括的点云数据点的数据量，其中，由于待补全点云数据为稀疏数据，并且待补全点云数据可以为具有遮挡物体的点云数据，从而三维单元网格可以包括有一个点云数据点，也可以包括有多个点云数据点，还可以不包含点云数据点。也就是说，三维单元网格所包括的点云数据点的数据量可以为0,1，或者大于1的数字，而数据量可以反映三维单元网格所包括的点云数据点的情况。由此，根据获取到的数据量来确定为各三维网格配置占位元素，其中，当数据量大于或者等于1时，占位元素可以表示为第一数值，当数据量为0时，占位元素可以表示为第二数值，第一数值用于表示三维单元网格包含点云数据点，第二数值用于表示三维单元网格未包含点云数据点。例如，第一数值为1，第二数值为0等。

在获取到占位元素后，将占位元素添加到各三维单元网格中，以得到占位特征。其中，在将占位元素添加到各三维单元网格时，可以三维单元网格在三维网格中的位置信息为索引将各占位信息进行排布，以得到占位特征。在本申请实施例中，所述基于各三维网格的占位元素确定所述体素特征具体为：

对于每个占位元素，获取所述占位元素对应的三维单元网格在所述三维网格中的第二位置信息，并将所述第二位置信息作为所述占位元素的占位索引；

将各占位元素按照各自对应的占位索引映射至三维网格，以得到所述占位特征。

具体地，第二位置信息用于反映三维单元网格在三维网格中的位置信息，通过将第二位置信息作为占位索引，可以使得按照占位索引排布得到的占位特征与三维网格相对应，占位特征中占位特征元素用于反映三维网格中的一个三维单元网格的占位信息，其中，占位特征元素在占位特征中所处的位置与其反映的三维单元网络在三维网格中所处的位置相同。基于此，占位特征的特征维度可以表示为[C

S30、基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图。

具体地，二维特征图为通过对体素特征和占位特征进行特征提取所得到的，其可以表示为所述二维特征图可以表示为[C

在本申请实施例中，如图2所示，所基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图具体包括：

将所述体素特征和所述占位特征进行融合，得到融合特征；

将所述融合特征输入预设的轻量化骨干网络，通过所述轻量化骨干网络输出二维特征图。

具体地，将体素特征和所述占位特征进行融合时，可以将体素特征和占位特征按照通道方向进行融合，也可以是将体素特征和占位特征按照长度方向拼接，还可以是将体素特征和占位特征按照宽度方式拼接。在本申请实施例中，体素特征的长度和占位特征的长度相等，体素特征的宽度和占位特征的宽度相同，在将所述体素特征和所述占位特征进行融合时，将体素特征和占位特征按照通道方向进行拼接，以得到融合特征，使得融合特征携带有体素特征的特征信息以及占位特征的特征信息，从而通过对融合特征进行特征提取，可以提取到语义信息和几何信息，进而可以充分利用语义信息和几何信息来进行语义场景补全。

进一步，所述轻量化骨干网络为经过训练的二维神经网络模型，轻量化骨干网络的输入项为融合特征，输出项为携带有语义信息和几何信息的二维特征图。本申请通过采用轻量化骨干网络进行特征提取，可以降低特征提取所需的计算资源，并且可以提高特征提取的计算速度，从而可以降低语义场景补全方法所需的计算资源，同时可以提高语义场景补全方法的执行效率。

在本申请实施例的一个实现方式中，如图3所示，所述轻量化骨干网络可以包括编码模块和解码器模块，编码器模块包括若干级联的编码器，解码器模块包括若干级联的解码器，若干编码器和若干解码器形成UNet网络结构。其中，编码器包括若干级联的编码卷积块，每个编码卷积块可以包括依次级联的若干二维卷积层、二维正则化层和激活函数层，解码器包括上采样层和解码卷积模块，解码卷积模块包括若干二维卷积层、二维正则化层和激活函数层，其中，编码卷积块中的激活函数层可以采用ReLU激活函数，解码卷积块中的激活函数层可以采用LeakyReLU激活函数。本申请实施例通过编码器模块逐步提取体素的局部结构信息，在保持整个网络具有较高计算效率的同时，保持体素特征和占位特征的表达能力；然后通过解码器对提取的特征逐层解耦，输出带几何信息和语义信息的二维特征图，这样可以使得二维特征图携带有丰富的几何信息和语义信息，从而可以提高后续基于二维特征图确定的语义场景补全结果的准确性。

进一步，若干编码器和若干解码器形成UNet网络结构具体为：若干编码器和若干解码器通过跳跃连接形成UNet网络结构。具体地，如图3所述，第一级解码器的输入为最后一级编码器的输出和倒数第二级编码器的输出，最后一级编码器的输出经过上采样层后恢复出和倒数第二级编码器的输出尺寸一致的语义图，然后和倒数第二级编码器的输出进行级联拼接，再经过双卷积层进行特征提取，得到的特征图作为第二级解码器的输入之一。第二级解码器将该特征图经过上采样层后恢复出和倒数第三级编码器的输出尺寸一致的语义图，继续和倒数第三级编码器的输出进行级联拼接和特征提取，直至特征图恢复至Y，X大小。

在一个具体实现方式中，若干编码器中的每个编码器中的第一个编码卷积模块的步幅为2，以通过第一个编码卷积模块来提升感受野，这样通过若干编码器后，轻量化骨干网络可以提高到足够的语义信息。其中，编码器模块提取到的特征的维度可以为[C

S40、基于所述二维特征图确定语义场景补全结果。

具体地，在获取到二维特征图后，通过经过训练的语义场景补全头对二维特征图进行语义场景补全，以得到语义场景补全结果，其中，语义场景补全结果为基于二维特征图重塑的三维网格特征图确定的。三维网格特征图包括若干三维单元网格特征，每个三维单元网格特征的特征维度均为[C

综上所述，本申请实施例提供了一种语义场景补全方法，方法包括提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征；基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图；基于所述二维特征图确定语义场景补全结果。根据上述技术手段，本申请实施例针通过分别对待补全点云数据进行体素特征提取和占位特征提取，可以提取到体素的局部结构特征和全局语义信息，使得确定得到的二维特征图携带有几何信息和语义信息，可以使得语义场景补全结果携带三维场景的几何结构和语义信息，从而可以提高语义场景补全的准确性。同时，本申请实施例将体素特征和占位特征转换为二维特征图，减少了语义场景补全的计算量，从而可以减少语义场景补全所需的计算资源，并提高语义补全的计算效率。

相应的，基于上述的语义场景补全方法，本申请实施例提供了一种语义场景补全系统，如图4所示，所述语义场景补全系统包括获取模块100和控制模块200，所述获取模块100用于获取待补全点云数据，所述控制模块200用于提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征；基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图；基于所述二维特征图确定语义场景补全结果。

在一个具体实现方式中，所述语义场景补全系统配置有语义场景补全模型，所述控制模块用于控制所述语义场景补全模型提取所述待补全点云数据的体素特征，并提取所述待补全点云数据的占位特征；基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图；基于所述二维特征图确定语义场景补全结果。具体地，控制模块用于控制体素分支体提取所述待补全点云数据的体素特征，控制占位分支提取所述待补全点云数据的占位特征，控制融合模块和轻量化骨干网络共同作用以基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图，控制语义补全头基于所述二维特征图确定语义场景补全结果。也就是说，语义场景补全方法被封装成一个语义场景补全模型，所述语义场景补全模型包括体素生成模块、体素分支、占位分支、融合模块、轻量化骨干网络和语义补全头，所述体素生成模块分别与体素分支和占位分支相连接，体素分支和占位分支并行且均与融合模块相连接，融合模块与轻量化骨干网络相连接，轻量化骨干网络与语义补全头相连接。其中，体素分支体用于提取所述待补全点云数据的体素特征，占位分支用于提取所述待补全点云数据的占位特征，融合模块和轻量化骨干网络用于共同作用以基于所述体素特征和所述占位特征确定所述待补全点云数据对应的二维特征图，语义补全头用于基于所述二维特征图确定语义场景补全结果。

基于上述语义场景补全方法，本申请实施提供了一种车辆，如图5所示，该车辆可以包括：

存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。

处理器502执行程序时实现上述实施例中提供的语义场景补全方法。

进一步地，车辆还包括：

通信接口503，用于存储器501和处理器502之间的通信。

存储器501，用于存放可在处理器502上运行的计算机程序。

存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandardArchitecture，简称为EIS)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选地，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。

处理器502可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的语义场景补全方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

应当理解的是，本申请的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本申请所附权利要求的保护范围。