一种基于可逆神经网络的点云上采样方法

技术领域

本发明属于深度学习和计算机视觉三维点云技术领域，具体涉及一种基于可逆神经网络的点云上采样方法。

背景技术

点云已经成为代表三维世界的最流行的数据类型之一。现如今，LiDAR等3D传感器的可用性越来越高。此类传感器已成为机器人技术和自动驾驶汽车中重要应用的关键部分。尽管3D传感技术近年有巨大进步，但获得密集且高度详细的点云仍然是计算昂贵且费时的。由于硬件和计算的限制及现实世界光照和材料的复杂性，这些3D传感器通常会采集到稀疏和嘈杂的点云。尤其对于小物体或远离相机的物体表现出了明显的缺陷。

在三维重建领域中，一种常见的技术是获取点云，然后从中恢复网格。然而，当原始点云稀疏且嘈杂时，会导致恢复的网格质量较低。从而进一步影响到下游任务的性能，例如自动驾驶汽车、机器人技术、表面重建和医学分析等。因此，需要进行研究以加快此类数据模式的部署。将稀疏和不规则的点云上采样为密集和均匀的数据，在计算机视觉和计算机图形学中引起了越来越多的关注。对基于计算的点云上采样问题进行分析：给定稀疏，低分辨率的点云，生成具有非典型计算方法的均匀且密集的点云，可以完美地表示其下表面。为了解决这个问题，通常在网格划分之前应用点云上采样，即采用一组稀疏点作为输入并生成一组更密集的点以更好地反射反应其下表面。由于该问题是图像超分辨率的3D对应物，因此典型的想法是从图像处理领域借用强大的技术。但是，由于点云的无序性和不规则性，简单的维度扩展绝非易事，尤其是在点云下表面曲面具有复杂几何形状的情况下。

目前，现有的上采样方法，如PU-Net、PU-GAN、PU-GCN、Dis-PU和PC2-PU，通常进行特征提取，将点云的特征编码为一个潜在向量。然后，这些方法用一些副本复制潜在向量来增加点的数量，最后通过对复制的潜在向量进行解码来重建点在欧氏空间的三维坐标。具体来说，坐标重建部分受到评价指标的约束限制，如均匀性和平滑度。与上述方法不同的是，最近有学者提出了一种称为PU-Flow的标准化流网络结构用于点云上采样。标准化流网络参数化了复杂分布和简单分布之间的双向映射。但标准化流网络参数化了复杂分布和简单分布之间的偏向映射。由于具有可逆性，PU-Flow在编码和解码过程中实现了信息无损。然而，这种方法依赖于设计结构化的Jacobian矩阵和专门的架构，这对模型的性能有很大影响。

发明内容

本发明的目的是解决现有点云上采样领域坐标重建部分受到评价指标的约束限制，及依赖于设计结构化的标准化流方法对模型性能造成影响等技术问题，提出一种基于可逆神经网络的点云上采样方法。大量的定性和定量实验表明，该方法优于现有的所有其它方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于可逆神经网络的点云上采样方法，所述点云上采样方法包括以下步骤：

S1、构建基于可逆神经网络，该网络包括M个顺序连接条件注入器INJ

S2、通过点云上采样数据集训练可逆神经网络，通过最小化损失函数，以端到端的方式迭代训练，每次迭代过程中计算得到损失函数，并使用反向传播技术更新可逆神经网络的参数，直至网络收敛；

S3、将稀疏点云X输入条件注入器INJ

S4、将稀疏点云X和条件信息C

S5、将条件信息C

S6、依次将条件信息C

S7、通过点插值器将潜在向量Z上采样得到插值向量Z′；

S8、将插值向量

进一步地，所述条件注入器INJ

输入稀疏点云

输入稀疏点云X，通过条件注入器INJ

输入局部特征

条件注入器INJ

进一步地，所述可逆残差块IRB

给定稀疏点云X＝h

进一步地，所述条件注入器INJ

输入条件信息C

输入条件信息C

输入局部特征

条件注入器INJ

进一步地，所述可逆残差块IRB

可逆残差块IRB

进一步地，所述点插值器工作过程中如下：

给定潜在特征Z，通过kNN算法提取稀疏点云X的邻域信息，得到邻域信息

点插值器采用语义相似性作为高维空间度量，使通过kNN提取到的邻域信息表征更为精准强大，增强了上采样点云的几何结果表示，且参数量较少，便于计算，减少内存损耗。

进一步地，所述可逆残差块的逆向解码

给定插值特征

可逆残差块

进一步地，所述可逆残差块的逆向解码

给定逆向变换特征

进一步地，所述损失函数定义如下：

其中，

先验损失项

其中，X为稀疏点云，C为条件信息，θ为当前模型参数，先验概率分布p()设置为标准高斯分布

相似性损失项通过下面的公式计算：

其中φ:P→X是稠密点云P到稀疏点云X的最优双向搬运映射方案，‖·‖

均匀性损失项通过下面的公式计算：

其中，P为稠密点云，k为邻域规模大小，exp()为指数运算，其中j为特定不等于当前索引i的下标索引。

损失函数关注了解码点云的相似征和均匀性，以及神经网络对潜在变量似然概率的准确估计。驱动了神经网络的训练，有利于减少神经网络的解空间。

本发明相对于现有技术具有如下的优点及效果：

1、能生成精细的几何细节。受益于条件注入器中对于局部特征和全局特征的提取与聚合，本方法上采样后的稠密点云可以更好地显示点的原点形状轮廓，同时保留更多的结构细节。

2、能生成均匀的稠密点云。受益于我们自己设计均匀性损失，该网络鼓励点与点在几何约束下尽可能的相距较远，从而保证上采样后稠密点云的均匀性。

3、产生更少的噪点。受益于可逆神经网络的特征变化能力与条件信息的注入以及相似性损失和先验损失的约束，上采样后稠密点云的噪点较少，点云分布更趋向于下表面。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中公开的一种基于可逆神经网络的点云上采样方法的流程图；

图2是本发明实施例中点云上采样方法的系统结构图；

图3是本发明实施例中点云上采样方法的局部特征提取模块结构图；

图4是本发明实施例中点云上采样方法的全局特征提取模块结构图；

图5是本发明实施例中点云上采样方法的特征融合模块结构图；

图6是本发明实施例中与其他方法的视觉结果对比示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开了一种基于可逆神经网络的点云上采样方法，该方法的整个流程图如图1所示，系统结构图如图2所示。

S1、构建基于可逆神经网络的点云上采样方法，该网络包括依次顺序连接的条件注入器、可逆残差块和点插值器，其中条件注入器由依次顺序连接的局部特征提取器、全局特征提取器和特征融合器组成；其中设定上采样倍率为4；

S2、通过点云上采样数据集训练基于可逆神经网络的点云上采样网络，通过最小化损失函数，以端到端的方式迭代训练，每次迭代过程中计算损失函数值，并使用反向传播技术更新点云上采样网络中的参数，直至网络收敛；

其中点云上采样数据集使用Qian等人在论文《PUGCN:Point cloud upsamplingusing graph convolutional networks》中提出的PU1K数据集，该数据集的训练集包含从ShapeNetCore数据集收集的900个不同的模型，及Li等人在论文《PU-GAN:a point cloudupsampling adversarial network》中提出的PU-GAN数据集的120个3D模型；测试集包含来自PU-GAN数据集的的27个模型和来自ShapeNetCore的100个模型。其中ShapeNetCore的模型是从50个不同的类别中选择的。PU1K数据集从每个类别中随机选择200个模型，以获得1000个不同的具有不同形状复杂性的模型，以鼓励多样性。我们将1147个3D模型分为1020个训练样本和127个测试评估样本；

损失函数定义如下：

其中，

先验损失项

其中，X为稀疏点云，C为条件信息，θ为当前模型参数，先验概率分布p()设置为标准高斯分布

相似性损失项通过下面的公式计算：

其中φ:P→X是稠密点云P到稀疏点云X的最优双向搬运映射方案，‖·‖

其中，P为稠密点云，k为邻域规模大小，exp()为指数运算，其中j为特定不等于当前索引j的下标索引。

S3、输入稀疏点云X，通过如图3所示的局部特征提取器提取进行特征编码得到局部特征X

S4、将稀疏点云X和条件信息C

S5、将条件信息C

S6、依次将条件信息C

S7、通过点插值器将潜在向量Z上采样得到插值向量Z′；

S8、将插值向量

如图6所示，第一列为稀疏点云，第二列为论文《PUGCN:Point cloud upsamplingusing graph convolutional networks》中所提出的方法PU-GCN的上采样稠密点云，第三列为论文《Point cloud upsampling via disentangled refinement》中所提出的方法DIS-PU的上采样稠密点云，第四列为论文《PU-FLOW:a point cloud upsampling networkwith normalizing flows.》中所提出的方法PU-Flow的上采样稠密点云，第五列为步骤S6中得到的稠密输出点云，即本发明的结果。

现有技术1：《PU-GCN:Point Cloud Upsampling using Graph ConvolutionalNetworks》提出了名为NodeShuffle的点云上采样模块，其使用GCN(图卷积网络)来编码各点的邻域局部信息，针对特征提取模块，现有技术1还提出了一个新的多尺度点特征提取模块Inception DenseGCN，其通过聚合多个尺度的特征，最终提高点全局及局部特征的表征能力。现有技术1主要依赖于图神经网络设计模块，从而实现点云上采样网络中的特征提取部分，然而图神经网络参数量巨大。并且其特征提取编码模块和坐标重建解码模块需要分别学习参数，更加大大增加了模型的参数量。且其图神经网络中的邻域构建，在任何尺度上都采样欧氏距离作为其空间度量，而在深层空间中，黎曼距离才是空间度量的最佳首选。

现有技术2：《Point Cloud Upsampling via Disentangled Refinement》根据多目标性质分解点云上采样任务，将生成密集点云，实现分布均匀性，接近下表面，修复孔洞从单目标转变为多目标，其制定了两个级联子网络，即稠密产生模块和空间细化模块，其中稠密产生模块推断出一个粗略但稠密的输出，空间细化器则通过调整每个点的位置，通过进一步的微调，得到最终结果。现有技术2中将点云上采样问题从单目标转换为多目标任务来处理，这就引入了次序性的问题，其细化模块的输入为前序稠密发生模块的输出，而稠密发生模块忽略了过多的局部特征细节，从而导致细化模块也是在粗糙的结果上进行微调，破坏了物体的微小局部结构，因此在高曲率区域，该方法结果较差；且其同样编解码参数不共享，仍存在模型参数量巨大的问题。

现有技术3：《PU-Flow:a Point Cloud Upsampling Network with NormalizingFlows》结合了标准化流和权重预测技术，从而产生能够均匀分布在下表面的稠密点云，其在潜在空间中将相邻点看为一个集合，上采样中的权重是通过各集合中的局部几何背景自适应学习。现有技术3中采用标准化流模型作为其网络主架构，但这种方法依赖于设计结构化的雅各布和专门的架构来保证其可逆性，固定的结构使网络具有很强的归纳偏置，这对模型的性能有很大影响，大大降低了其非线性变化能力；且其在高维空间中仍然采用欧氏距离进行邻域构建，也较为不合理。

从图中可以看出，其他方法往往会产生更多的噪声，或破坏微小的部分结构。且其他方法在高曲率区域，不能产生高质量的结果，难以保留微小的局部结构。而本发明输出可以更好地显示点的原点形状轮廓，同时保留更多的结构细节。

表1展示了目前流行的方法PUGCN、DIS-PU、PU-FLOW与本发明在PU1K数据集的测试集上的定量对比结果，评价指标搬运距离、倒角距离、豪斯多夫距离、均匀性度量、点到面距离，值越小越好。从表中结果可以看出，本发明在绝大多数类别上性能超过了已有方法，证明了本发明的有效性。

表1.本发明公开方法与有方法的定量对比结果表(×10

实施例2

本实施例公开了一种基于可逆神经网络的点云上采样方法，该方法的整个流程图如图1所示，系统结构图如图2所示。

S1、构建基于可逆神经网络的点云上采样方法，该网络包括依次顺序连接的条件注入器、可逆残差块和点插值器，其中条件注入器由依次顺序连接的局部特征提取器、全局特征提取器和特征融合器组成；其中设定上采样倍率为16；

S2、通过点云上采样数据集训练基于可逆神经网络的点云上采样网络，通过最小化损失函数，以端到端的方式迭代训练，每次迭代过程中计算损失函数值，并使用反向传播技术更新点云上采样网络中的参数，直至网络收敛；

其中点云上采样数据集使用Qian等人在论文《PUGCN:Point cloud upsamplingusing graph convolutional networks》中提出的PU1K数据集，该数据集的训练集包含从ShapeNetCore数据集收集的900个不同的模型，及Li等人在论文《PU-GAN:a point cloudupsampling adversarial network》中提出的PU-GAN数据集的120个3D模型；测试集包含来自PU-GAN数据集的的27个模型和来自ShapeNetCore的100个模型。其中ShapeNetCore的模型是从50个不同的类别中选择的。PU1K数据集从每个类别中随机选择200个模型，以获得1000个不同的具有不同形状复杂性的模型，以鼓励多样性。将1147个3D模型分为1020个训练样本和127个测试评估样本；

损失函数定义如下：

其中，

先验损失项

其中，X为稀疏点云，C为条件信息，θ为当前模型参数，先验概率分布p()设置为标准高斯分布

相似性损失项通过下面的公式计算：

其中φ:P→X是稠密点云P到稀疏点云X的最优双向搬运映射方案，‖·‖

均匀性损失项通过下面的公式计算：

其中，P为稠密点云，k为邻域规模大小，exp()为指数运算，其中j为特定不等于当前索引i的下标索引。

S3、输入稀疏点云X，通过如图3所示的局部特征提取器提取进行特征编码得到局部特征X

S4、将稀疏点云X和条件信息C

S5、将条件信息C

S6、依次将条件信息C

S7、通过点插值器将潜在向量Z上采样得到插值向量Z′；

S8、将插值向量

表2展示了目前流行的方法PUGCN、DIS-PU、PU-FLOW与本发明在PU1K数据集的测试集上的定量对比结果，评价指标搬运距离、倒角距离、豪斯多夫距离、均匀性度量、点到面距离，值越小越好。从表中结果可以看出，本发明在绝大多数类别上性能超过了已有方法，证明了本发明的有效性。

表2.本发明公开方法与有方法的定量对比结果表(×10

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。