一种基于体素和图卷积的三维点云语义分割方法

技术领域

本发明涉及计算机视觉的图卷积三维点云语义分割领域，是基于深度学习的方法实现三维点云的语义分割。

背景技术

由于点云数据的稀疏性和不规则性，直接利用点的方法变得流行起来。在所有基于点的模型中，图卷积网络(GCN)通过充分保留数据粒度和利用点相互关系带来了显著的性能。然而，基于点的网络在数据结构(例如，最远点采样(FPS)和邻近点查询)上花费了大量时间，这限制了速度和可扩展性。而传统的体素模型是将点云转移到空间量化体素网格并使用体积卷积在网格空间中执行计算的一系列模型，其使用网格作为数据结构化方法，点与网格中的位置相关联，并且3D卷积核从相邻体素收集信息。尽管网格数据结构是有效的，但需要高体素分辨率来保持数据位置的粒度。由于计算和内存使用量随着体素分辨率呈立方增长，因此处理大型点云的成本很高。因此，部分研究人员提出了将基于点的模型与基于体素的模型结合起来，充分利用两种模型的优势，同时实现了高效的数据结构化和高效的计算。但现有的基于体素和基于点的模型的结合的探索还不充分，设计出一个充分融合点与体素的优势的模型是点云语义分割实现实时化的重要前置条件。

发明内容

为了克服基于点的网络在数据结构构造中消耗大量时间的问题，从而提升网络处理速度和提高可扩展性，本发明提出了一种基于体素和图卷积的方法，用于快速和可扩展的点云学习。如图1所示，该方法使用一种名为覆盖感知网格查询(CAGQ)的新颖的数据结构化策略，通过利用网格空间的效率，覆盖感知网格查询(CAGQ)提高了空间覆盖率，同时降低了理论时间复杂度，CAGQ可以加速中心采样和邻域点查询，同时为学习过程提供更完整的点云覆盖。如图2所示，通过CAGQ之后，利用图卷积构造了卷积模块，称为网格上下文聚合(GCA)，网格上下文聚合(GCA)执行网格上下文池化以提取网格邻域的上下文特征，其作用是在每个点组上构建一个局部图，并将信息聚合到中心。通过CAGQ和GCA，构成了一个完整的GridConv层，该层先执行数据结构化，然后进行卷积，充分利用了体素和图卷积的有点，提升网络处理速度和可扩展性。

本发明采用的技术方案是基于体素和图卷积的方式来进行三维点云语义分割，该方法包括：

步骤1：在数据结构化阶段，采用体素化来对不规则的点云数据进行结构化，通过仅对占用区域进行计算，来提升计算效率，数据结构化之后，可以依据索引关系清晰得到中心点的邻域点信息；

步骤2：为每个点构建一个局部图，根据节点与边的关系，计算权重，依据权重，通过网格上下文池化将特征信息聚合到每个组的中心，这些信息作为下一层的数据节点进行传递；

步骤3：将步骤1与步骤2合并，即构建了GridConv层，每个GriConv层通过数据结构化与图卷积，快速获取点云信息，并将这些信息输入到下一层。与现有技术相比，本发明的有益效果是：

(1)以往的点云语义分割算法，直接对不规则的点云数据进行处理，且因为点云数据没有保存邻域信息，所以需要消耗大量的时间进行邻域，本发明采用覆盖感知网格查询(CAGQ)模块，快速有效的构建点云；

(2)本发明对覆盖感知网格查询(CAGQ)模块提供的每个点组，采用图卷积构建网格上下文池化，将特征从节点聚合到组中心，与以往只用最大池化进行特征聚合的方式相比，充分利用了节点与边的关系。

附图说明：

附图1：覆盖感知网格查询框架图。

附图2：网格上下文聚合图。

附图3：GridConv模块框架图。

具体实施方式：

下面结合附图对本发明做进一步说明。

步骤1：如附图1所示，本发明采用CAGQ快速有效的构建点云，并简化中心采样和邻近点查询的过程，首先设置体素大小(v

步骤2：令O

步骤3：对步骤2得到的中心体素，采用KNN，在中心体素的上下文节点中，寻找K个最邻近的节点作为每个中心体素的邻域节点，每个中心体素与邻域点组共同形成局部点组；

步骤4：对于每个点组，首先构造一个局部图G(V,E)，其中V由CAGQ提供的组中心和K个节点组成，然后将每个节点连接到组中心，形成E；

步骤5：利用节点与边的距离关系，计算权重，如图2所示，采用共享的多层感知机(MLP)将距离抽象为权重，以此获得注意力分数；

步骤6：用步骤5获得的注意力分数矩阵进行网格上下文池化，每个点的特征与注意力分数进行相乘，再进行相加，以此将每个组中的特征信息聚合到组中心；

步骤7：如图3所示，聚合得到的组中心信息作为下一层的输入，在输入到下一层网络时，先利用CAGQ构建体素化的点云表示，然后将CAGQ得到的局部点组输入GCA进行特征聚合。