融合自注意力和多路路径图卷积的点云上采样方法及系统

技术领域

本发明涉及点云数据处理技术领域，特别是涉及一种融合自注意力和多路路径图卷积的点云上采样方法及系统。

背景技术

点云(Point Cloud)用来作为三维数据变得越来越流行。其促进了三维目标检测、3D点云补全等理论的研究兴起。对于新的应用如自动驾驶技术、机器人操控起到关键性的作用。通过三维激光雷达传感器获取的点云数据能为汽车自动驾驶的路径规划和导航定位提供可靠的支撑。然而由于硬件条件尤其是三维传感器芯片的限制，直接采集到的点云通常都是低分辨率的甚至是有噪声的。难以满足使用要求。点云上采样技术皆在将稀疏的、不均匀的点云转化为视觉质量更好、细节更精细的点云。因此点云上采样作为一种修正操作备受研究人员的关注。传统的点云上采样方法例如双边正则化项的序列深度图像上采样方法用多个点云数据之间的冗余，仅根据退化模型实现上采样，缺点在于只适用于静态的场景且多帧点云数据依赖精确的配准。基于单帧深度图像的点云上采样方法只需原始点云数据，系统效率高。其缺点是极度依赖先验信息，而非数据驱动，通常难以处理特征较多且携带噪声的点云数据。

近些年来深度学习技术的迅速发展，研究人员越来越积极地将深度学习技术运用在点云上采样上。并且相较于传统的点云上采样方法取得了更好的结果。而基于深度学习的点云上采样网络较大程度取决于特征提取器和上采样器。目前基于深度学习的点云上采样方法缺失对局部区域特征和全局特征的多尺度提取，导致输出点云存在异常值过多，细粒度不高。

发明内容

本发明的目的是提供一种融合自注意力和多路路径图卷积的点云上采样方法及系统，提高了点云上采样的质量。

为实现上述目的，本发明提供了如下方案：

一种融合自注意力和多路路径图卷积的点云上采样方法，包括：

获取目标物体的原始点云；

将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；

所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。

可选地，所述特征提取器包括依次连接的第一k近邻算法模块、图卷积模块、第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块；所述第一融合特征提取模块、所述第二融合特征提取模块和所述第三融合特征提取模块结构相同，所述第一融合特征提取模块的输出、所述第二融合特征提取模块的输出与所述所述第三融合特征提取模块的输出合并作为所述特征提取器的输出；

所述第一融合特征提取模块包括瓶颈层、第二k近邻算法模块、第三k近邻算法模块、第一残差多层图卷积、第二残差多层图卷积、第三残差多层图卷积、自注意力模块、全局最大池化和拼接模块；所述瓶颈层的输出分别与所述第二k近邻算法模块、所述第三k近邻算法模块和第三残差多层图卷积的输入连接，所述第二k近邻算法模块的输出与所述第一残差多层图卷积的输入连接，所述第三k近邻算法模块的输出与所述第二残差多层图卷积的输入连接，所述第三残差多层图卷积的输出与所述自注意力模块的输入连接，所述瓶颈层的输入与所述全局最大池化的输入连接，所述第一残差多层图卷积、所述第二残差多层图卷积、所述自注意力模块和所述全局最大池化的输出均与所述拼接模块连接，所述拼接模块的输出与所述瓶颈层的输入合并得到所述第一融合特征提取模块的输出；所述第二k近邻算法模块和所述第三k近邻算法模块中k近邻算法的扩张率不同。

可选地，所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同；

所述第一残差多层图卷积中包括第四k近邻算法模块和顺次连接的多个图卷积运算层，所述第四k近邻算法模块的输出连接第一个图卷积运算层的输入；每个图卷积运算层均包括第一多层感知机和第二多层感知机；第一多层感知机和第二多层感知机均为32输出通道数的多层感知机；

当所述图卷积运算层为第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到当前图卷积运算层的输出；

当所述图卷积运算层不是第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到第一输出结果，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出。

可选地，所述自注意力模块包括第三多层感知机、第四多层感知机、第五多层感知机和第六多层感知机；所述第三多层感知机、所述第四多层感知机、所述第五多层感知机和所述第六多层感知机均为32输出通道数的多层感知机；

所述自注意力模块用于对输入特征经过第三多层感知机得到Q矩阵，对输入特征经过第四多层感知机得到K矩阵，对输入特征经过第五多层感知机得到V矩阵，将Q矩阵与K矩阵的转置进行矩阵相乘得到注意力权重，将注意力权重通过softmax函数归一化处理后得到的矩阵与V矩阵相乘后通过第六多层感知机得到所述自注意力模块的输出。

可选地，所述第二k近邻算法模块中k近邻算法的扩张率为2，所述第三k近邻算法模块中k近邻算法的扩张率为3。

可选地，所述上采样器用于通过瓶颈层对输入特征进行压缩，对压缩后的特征采用边缘图卷积进行拓展聚合，采用洗牌算子对拓展聚合后的特征重新排列，得到高级点云特征。

可选地，所述坐标重建器包括依次连接的第七多层感知机和第八多层感知机。

本发明还公开了一种融合自注意力和多路路径图卷积的点云上采样系统，包括：

原始点云获取模块，用于获取目标物体的原始点云；

原始点云上采样模块，用于将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；

所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过多个残差多层图卷积对原始点云进行特征提取，融合更多层次的语义信息，采用自注意力模块，从而提取全局语义信息，对特征信息进行了充分利用，提高了点云上采样的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种融合自注意力和多路路径图卷积的点云上采样方法流程示意图；

图2为本发明实施例提供的点云上采样模型结构示意图；

图3为本发明实施例提供的第一融合特征提取模块结构示意图；

图4为本发明实施例提供的第一残差多层图卷积结构示意图；

图5为本发明实施例提供的自注意力模块结构示意图；

图6为本发明实施例提供的在一种融合自注意力和多路路径图卷积的点云上采样方法在PU-GAN数据集上的上采样可视化结果示意图；

图7为本发明实施例提供的本发明方法与传统方法在PU1K数据集上的上采样可视化对比结果示意图；

图8为本发明实施例提供的一种融合自注意力和多路路径图卷积的点云上采样系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种融合自注意力和多路路径图卷积的点云上采样方法及系统，提高了点云上采样的质量。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

本发明将输入原始稀疏的点云通过融合自注意力模块和多路经图卷积的特征提取器，提取输入图像的初级点云特征，通过采用图卷积方法的上采样器后将初级点云特征拓展聚合重新排列得到高级点云特征。最后高级点云特征通过坐标重建器回归三维空间，得到稠密点云。

本实施例提供了一种融合自注意力和多路路径图卷积的点云上采样方法，如图1所示，该方法包括以下步骤。

步骤101：获取目标物体的原始点云。

步骤102：将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云。

所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。数据集采用公开的合成数据集，数据集采用低分辨率点云的集合。

本实施例所用数据集为点云上采样任务专门创建的大规模3D数据集PU-GAN和PU1K。PU-GAN数据集包含120个训练样本和27个测试模型，点云模型多数为简单形状。PU1K数据集里面包含1147个3D模型，其中有训练样本模型1020个，测试样本模型127个。其中训练和测试的模型包括来自PU-GAN数据集的147个3D模型和来自ShapeNetCore的1000多个3D模型。PU1K数据集覆盖了更大的语义范围，点云模型包含了简单形状、复杂形状甚至组合体，在相关领域展示了其作为实验数据集的优越性。

在点云上采样网络的训练阶段，将每个3D模型裁剪为50个补丁，1020个训练样本共有51000个补丁。每个补丁有256个点作为低分辨率输入，1024个点作为真实点云，在训练阶段，以有256个点的低分辨率点云作为输入，1024个点的真实点云作为输出训练点云上采样网络。在测试阶段，输入点云由2048个点组成，真实点云由8192个点组成，上采样率r设置为固定值4，批量大小(batch size)设置为64，epoch设置为100。使用倒角距离(CD)，豪斯多夫距离(HD)，点面距离(P2F)三个度量指标评价本发明点云上采样网络的上采样性能。指标越低，性能越好。

特征提取器包括三个融合特征提取模块(FEM)，每个FEM并联三条加入残差设计的多层图卷积，融合更多层次的语义信息。

所述特征提取器包括依次连接的第一k近邻算法模块、图卷积模块、第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块；所述第一融合特征提取模块、所述第二融合特征提取模块和所述第三融合特征提取模块结构相同，所述第一融合特征提取模块的输出、所述第二融合特征提取模块的输出与所述所述第三融合特征提取模块的输出合并作为所述特征提取器的输出。

所述第一k近邻算法模块用于获取所述原始点云的近邻图，所述图卷积模块用于对所述近邻图中每个顶点与近邻点进行特征聚合，获得每个顶点的多维几何特征；所述第一融合特征提取模块包括瓶颈层、第二k近邻算法模块、第三k近邻算法模块、第一残差多层图卷积、第二残差多层图卷积、第三残差多层图卷积、自注意力模块、全局最大池化和拼接模块；所述瓶颈层的输出分别与所述第二k近邻算法模块、所述第三k近邻算法模块和第三残差多层图卷积的输入连接，所述第二k近邻算法模块的输出与所述第一残差多层图卷积的输入连接，所述第三k近邻算法模块的输出与所述第二残差多层图卷积的输入连接，所述第三残差多层图卷积的输出与所述自注意力模块的输入连接，所述瓶颈层的输入与所述全局最大池化的输入连接，所述第一残差多层图卷积、所述第二残差多层图卷积、所述自注意力模块和所述全局最大池化的输出均与所述拼接模块连接，所述拼接模块的输出与所述瓶颈层的输入合并得到所述第一融合特征提取模块的输出；所述第二k近邻算法模块和所述第三k近邻算法模块中k近邻算法的扩张率不同。

所述第二k近邻算法模块中k近邻算法的扩张率为2，所述第三k近邻算法模块中k近邻算法的扩张率为3。本发明并联使用多个带有残差设计的多层图卷积(第一残差多层图卷积、第二残差多层图卷积和第三残差多层图卷积)，将多条不同扩张率的图卷积并联，扩大了多路径图卷积的感受野。在图卷积中加入残差连接，加深图卷积的训练层数，更好地对高级特征信息进行提取。

所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同。

如图4所示，所述第一残差多层图卷积中包括第四k近邻算法模块和顺次连接的多个图卷积运算层，所述第四k近邻算法模块的输出连接第一个图卷积运算层的输入；每个图卷积运算层均包括第一多层感知机和第二多层感知机；第一多层感知机和第二多层感知机均为32输出通道数的多层感知机。

图3和图4中KNN均表示k近邻算法。

当所述图卷积运算层为第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到当前图卷积运算层的输出。

当所述图卷积运算层不是第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到第一输出结果，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出。

所述自注意力模块包括第三多层感知机、第四多层感知机、第五多层感知机和第六多层感知机；所述第三多层感知机、所述第四多层感知机、所述第五多层感知机和所述第六多层感知机均为32输出通道数的多层感知机。

所述自注意力模块用于对输入特征分别经过三个32输出通道数的多层感知机后得到Q矩阵、K矩阵和V矩阵，将Q矩阵与K矩阵的转置进行矩阵相乘得到注意力权重，将注意力权重通过softmax函数归一化处理后得到的矩阵与V矩阵相乘后通过多层感知机得到所述自注意力模块的输出。

如图2所示，原始点云作为输入点集

第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块的结构均如图3所示。N×C维几何特征F

本发明全局最大池化模块，针对不同接受域与多路径图卷积一起提取全局上下文信息。如图3所示F

所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同，如图4所示。F

所述第一残差多层图卷积中包括串联的多个图卷积运算层，每个的图卷积运算层中将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，表示为：

G

其中，σ表示ReLU激活函数，MLP表示多层感知机，Δf

当所述图卷积运算层不是第一个图卷积运算层时，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出，表示为：

G

本发明将特征提取器的输出聚合特征F

本发明将自注意力机制模块融合到多路径图卷积中高效提取全局语义信息，输出充分利用图结构信息的点云特征，以利于生成高质量点云，解决了缺少区域之间关联性的问题。

所述上采样器用于通过瓶颈层对输入特征进行压缩，对压缩后的特征采用边缘图卷积进行拓展聚合，采用洗牌算子对拓展聚合后的特征重新排列，得到高级点云特征。

所述坐标重建器包括依次连接的两个多层感知机。

以往的点云上采样方法极度依赖先验信息，非数据驱动通常难以处理特征较多且携带噪声的点云数据。基于深度学习的点云上采样网络以数据作为驱动，低分辨率的点云数据作为输入，通过特征提取映射到高维特征空间，使用k近邻算法构建每个顶点及其领域点的图结构，使用融合特征提取模块对顶点图结构进行多尺度扩展融合。将获得的多尺度点云特征输入采用图卷积的上采样器聚合排列后输出高级点云特征。最后通过坐标重建器输出所需的高分辨率稠密点云。

本发明点云上采样模型首先给定一个N×3的原始点云输入该网络，送到加入带有残差结构连接的融合特征提取模块(第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块)提取所对应的N×C维点云特征。其次将提取到的特征输入上采样器得到rN×C维度的高级点云特征。最后高级特征通过坐标重建器输出维度为N×rC的稠密点云。本发明方法在合成数据集PU-GAN和PU1K上进行实验，结果生成了相较主流方法细粒度更高，形状更接近真实值的稠密点云。

本实施例在TensorFlow平台上进行实验，在InterCorei9-10900X CPU和NVIDIARTX3090 GPU上训练数据集PU-MGS，使用ADAM优化器，学习率为0.001，衰减率为0.9。使用上采样率×4，即r＝4报告实验结果，方便与其他主流点云上采样网络性能进行比较。

图6显示了本发明在PU-GAN数据集上的上采样性能的定性表现。随机选取四个点云模型，与它们的低分辨率输入点云进行比较。由于此数据集收录的模型多为形状简单，边缘光滑的物体。使用本发明方法生成的高分辨率点云具有较低的群点分布，边缘平滑接近真实点云形状。表1报告了本发明在PU-GAN数据集上随机选取的11个模型的量化评估指标，平均数据在主流方法中处于上流水平。

表2报告了本发明在PU1K合成数据集上与测试基准相比的性能。在三个评价指标上都有显著的改进。本发明在现阶段最有综合竞争力的PU-GCN上CD和HD分别提升7.863％和11.759％。由于本发明没有使用空间细化器调整输出点云的位置，使其接近网格面。P2F对比效果最好的PU-GACNet仅有3.2％的提升。由于加入了排斥损失，对比PU-GCN提升了13.285％。图7显示了本发明和主流方法在PU1K上生成的定性点云上采样对比结果。图7随机选择了4个不同类型的物体，分别对应不同的形状层次展示数据集的多样性。选取的物体包括第一排表面光滑的物体(焊枪)，第二排普通形状的物体(鸟)，第三排复杂细节的物体(摩托)，第四排组合体(人物雕像)。从图7中上采样输出点云及其放大图可观察到本发明生成的点云可视化保留了较高质量细粒度的细节，还原程度更接近真实点云形状。详细可见图7第二、三排特写(鸟的脚，摩托车的龙头)。能够保持分离结构的质量，而非倾向于合并原来分离的结构。如第一排物体特写(焊枪的手柄)。对于第三排多个物体组合而成的结构(人物雕像)，图7中(a)列为原始点云，(b)列为采用点云上采样网络PU-net进行上采样后的结果，(c)列为用于点云上采样的图注意力卷积网络(Graph Attention ConvolutionNetwork for Point Cloud Upsampling，PU-GACnet)进行上采样后的结果，(d)列为采用点云上采样网络PU-GCN进行上采样后的结果，(e)列为本发明点云上采样网络进行上采样后的结果，(f)列真实点云。本发明输出上采样点云的离群值相较基准方法明显减少，异常值的生成相较PU-GCN等先进网络有了显著减少。

实施例2

本实施例提供了一种融合自注意力和多路路径图卷积的点云上采样系统，如图8所示，该系统包括：

原始点云获取模块201，用于获取目标物体的原始点云。

原始点云上采样模块202，用于将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云。

所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。