一种用于增强压缩点云重建质量的装置及方法

技术领域

本发明属于点云几何技术领域，具体涉及一种用于增强压缩点云重建质量的装置及方法。

背景技术

点云是表示三维物体形状、颜色、反射强度等信息的数据集合，如今已成为描述三维物体形状和结构的主流方式，被广泛应用于自动驾驶、虚拟现实等技术领域。现实应用中涉及的点云往往包含数量庞大的点，存在大量冗余，如果直接对未经压缩的点云进行存储和传输，需要消耗大量的内存和带宽，而点云压缩能够有效解决这个问题。

传统的点云压缩方法中，比较具有代表性的是Moving Picture Experts Group(MPEG)提出的Geometry-based Point Cloud Compression(G-PCC)和Video-based PointCloud Compression(V-PCC)方法。其中，G-PCC通常用于静态点云的压缩，V-PCC则用于动态点云的压缩。这两种方法利用八叉树分解、二维到三维的投影、三角曲面模型等传统手段，能够高效地完成点云的无损和有损压缩。但是压缩后的点云视觉效果不佳，对压缩后的点云进行上采样可以提升点云视觉效果，以及客观评价指标，使重建点云更接近原始点云。

目前针对点云重建的方法可分为传统和基于深度学习的方法，传统方法主要是查表法：在体素化点云后，利用多个尺度的点云体素信息构建查找表，按照此表对点云进行重建，能够提升重建点云的质量，但是建立表的时间过长，且提升效果有限。基于深度学习的方法有：(1)基于点的方法，利用多层感知机提取点之间的特征信息，对点云进行重建，但是此类方法只适用于点数较少的点云，复杂度较高；(2)基于体素的方法：体素化点云后利用三维卷积提取点云特征信息，再进行重建，该类方法适用于点数多的点云，符合实际应用。

然而现有的点云压缩重建方法，在对重建点云进行质量增强时，没有充分利用点云的原始信息，通常只能对特定种类的点云进行质量增强，特别是在训练集的点云类型上表现较好，但是泛化性较差，此外点云增强的效果也很有限。

发明内容

针对现有技术的不足，本发明提出了一种用于增强压缩点云重建质量的装置及方法，在点云压缩前计算其密度信息，然后在重建过程中根据密度信息进行针对性的质量增强，克服现有技术的增强方法质量较差的缺点。

一种用于增强压缩点云重建质量的装置，包括点云密度计算模块、多尺度特征提取模块和点云质量增强模块。

所述点云密度计算模块计算原始点云的全局密度信息。设置球体半径为R，依次以原始点云中的每个点作为球体中心，计算球体覆盖的点元数量除以球体体积的商，作为该点的局部密度，然后取点云中所有点的局部密度的中位数，作为该点云的全局密度ρ。其中，R为正整数。

所述多尺度特征提取模块包括多个特征提取分支，对输入点云进行不同尺度的下采样操作，每个尺度的点云都使用卷积进行特征提取，最后将多尺度的特征进行融合，得到点云的多尺度特征。

所述点云质量增强模块将点云的全局密度ρ与设定的阈值T

所述坐标恢复模块对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据原始点云的多尺度特征计算每个点对应的概率，然后保留其中概率最高的k个点，得到重建点云。k为原始点云中点的数量。

所述坐标细化模块将原始点云的多尺度特征进行稀疏卷积，然后通过3个连续的全连接操作，得到坐标的偏移量。将压缩点云的坐标加上偏移量，得到重建点云。

作为优选，还包括点云分割模块，用于将原始点云分割为M个子点云，每个子点云分别进行压缩与质量增强。其中M为正整数。

一种用于增强压缩点云重建质量的方法，具体包括以下步骤：

步骤1、原始点云分割

将待压缩的原始点云分割成M块子点云，其中M为正整数。

步骤2、子点云密度计算

设置球体半径为R，依次以子点云中的每个点作为球体中心，计算球体覆盖的点元数量除以球体体积的商，作为该点的局部密度，然后取子点云中所有点的局部密度的中位数，作为该子点云的全局密度ρ。其中，R为正整数。

步骤3、特征提取与压缩

通过多个分支对原始点云进行不同尺度的下采样和卷积操作，以获得原始点云不同尺度的特征，最后将每个分支的输出结果融合，得到原始点云的多尺度特征。最后对原始点云的几何信息进行压缩。

步骤4、点云质量增强

将每个子点云压缩前的全局密度ρ与设定的阈值T

s4.1、当ρ≥T

s4.2、当T

s4.3、当ρ≤T

本发明具有以下有益效果：

1、对原始点云分割后，对子点云进行分类，作为压缩点云质量增强时的密度信息，选择合适的重建方法，能够显著提升压缩点云的重建效果，使重建点云更接近原始点云。同时该重建方法可以处理不同压缩率以及不同种类的点云，符合实际场景的应用。

2、在点云质量增强过程中使用多尺度的特征提取模块，包含多个尺度的点云特征提取模块，对输入点云进行一次到多次的下采样，每个尺度的点云都使用卷积进行特征提取，最后将多尺度的特征进行融合，得到点云的多尺度特征，用于后续点云重建过程。能够充分提取点云的特征信息，增强点云重建质量。

附图说明

图1为实施例中一种用于增强压缩点云重建质量的装置结构示意图；

图2为实施例中点云分割示意图；

图3为实施例中点多尺度特征提取模块示意图；

图4为实施例中点云质量增强模块示意图图

图5为实施例中坐标恢复模块示意图；

图6为实施例中坐标细化模块示意图；

图7为实施例中针对不同数据的对比实验结果。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，一种用于增强压缩点云重建质量的装置，包括点云特征提取模块100、点云质量增强模块200。所述点云特征提取模块100包括点云分割模块101、多尺度特征提取模块102、点云分类模块103和点云密度计算模块104。

如图2所示，所述点云分割模块101用于将原始点云分割成M个子点云，针对子点云进行后续的密度计算与特征提取、压缩重建等操作，可以降低计算复杂度与处理时间。

所述点云密度计算模块104针对点云分割模块101分割后的子点云，计算其全局密度信息。

如图3所示，所述多尺度特征提取模块102包含多个分支，在每个分支中通过不同尺度的下采样与卷积操作，提取子点云不同尺度的特征，最后融合得到子点云的多尺度特征，用于后续重建点云的质量增强中。

所述点云分类模块103根据点云密度计算模块104计算的子点云全局密度ρ与阈值T

如图4所示，所述点云质量增强模块200对Solid点云，使用坐标恢复模块进行点云质量增强；对Dense点云，先使用坐标恢复模块，再使用坐标细化模块进行点云质量增强；对Sparse点云，使用坐标细化模块进行点云质量增强。

如图5所示，所述坐标恢复模块对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据原始点云的多尺度特征计算每个点对应的概率，然后保留其中概率最高的k个点，得到重建点云。k为原始点云中点的数量。

如图6所示，所述坐标细化模块将原始点云的多尺度特征进行稀疏卷积，然后通过3个连续的全连接操作，得到坐标的偏移量。将压缩点云的坐标加上偏移量，得到重建点云。

一种用于增强压缩点云重建质量的方法，具体包括以下步骤：

步骤1、原始点云分割

将待压缩的原始点云分割成M块子点云，其中M为正整数。

步骤2、子点云密度计算

设置球体半径为R，依次以子点云中的每个点作为球体中心，计算球体覆盖的点元数量除以球体体积的商，作为该点的局部密度，然后取子点云中所有点的局部密度的中位数，作为该子点云的全局密度ρ。其中，R为正整数。

步骤3、特征提取与压缩

通过多个分支对原始点云进行不同尺度的下采样操作，以获得原始点云不同尺度的特征，最后将每个分支的输出结果融合，得到原始点云的多尺度特征。最后对原始点云的几何信息进行压缩。

步骤4、点云质量增强

将每个子点云压缩前的全局密度ρ与设定的阈值T

s4.1、当ρ≥T

s4.2、当T

s4.3、当ρ≤T

为了说明本方法的效果，使用相同的数据集训练对比方法PU-Dense，在MPEG序列上进行测试，实验结果如图7所示，其中横轴Bpp表示压缩率的大小，竖轴D1 PSNR为评价点云质量的一种常用客观指标，量纲为dB。GPCC+upsampling为本发明的方法，利用原始点云的密度信息选择合适的点云质量增强方法。PU-Dense为基于体素的点云质量增强方法，没有利用原始点云的密度信息。LUT为查表上采样方法，GPCC(octree)和GPCC(trisoup)为有损压缩方法。根据图中的线条走向可以看出，本发明的方法在多个数据集上的表现均优于其他点云质量增强方法。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。