一种用于增强压缩点云重建质量的装置及方法
文献发布时间:2023-06-19 18:29:06
技术领域
本发明属于点云几何技术领域,具体涉及一种用于增强压缩点云重建质量的装置及方法。
背景技术
点云是表示三维物体形状、颜色、反射强度等信息的数据集合,如今已成为描述三维物体形状和结构的主流方式,被广泛应用于自动驾驶、虚拟现实等技术领域。现实应用中涉及的点云往往包含数量庞大的点,存在大量冗余,如果直接对未经压缩的点云进行存储和传输,需要消耗大量的内存和带宽,而点云压缩能够有效解决这个问题。
传统的点云压缩方法中,比较具有代表性的是Moving Picture Experts Group(MPEG)提出的Geometry-based Point Cloud Compression(G-PCC)和Video-based PointCloud Compression(V-PCC)方法。其中,G-PCC通常用于静态点云的压缩,V-PCC则用于动态点云的压缩。这两种方法利用八叉树分解、二维到三维的投影、三角曲面模型等传统手段,能够高效地完成点云的无损和有损压缩。但是压缩后的点云视觉效果不佳,对压缩后的点云进行上采样可以提升点云视觉效果,以及客观评价指标,使重建点云更接近原始点云。
目前针对点云重建的方法可分为传统和基于深度学习的方法,传统方法主要是查表法:在体素化点云后,利用多个尺度的点云体素信息构建查找表,按照此表对点云进行重建,能够提升重建点云的质量,但是建立表的时间过长,且提升效果有限。基于深度学习的方法有:(1)基于点的方法,利用多层感知机提取点之间的特征信息,对点云进行重建,但是此类方法只适用于点数较少的点云,复杂度较高;(2)基于体素的方法:体素化点云后利用三维卷积提取点云特征信息,再进行重建,该类方法适用于点数多的点云,符合实际应用。
然而现有的点云压缩重建方法,在对重建点云进行质量增强时,没有充分利用点云的原始信息,通常只能对特定种类的点云进行质量增强,特别是在训练集的点云类型上表现较好,但是泛化性较差,此外点云增强的效果也很有限。
发明内容
针对现有技术的不足,本发明提出了一种用于增强压缩点云重建质量的装置及方法,在点云压缩前计算其密度信息,然后在重建过程中根据密度信息进行针对性的质量增强,克服现有技术的增强方法质量较差的缺点。
一种用于增强压缩点云重建质量的装置,包括点云密度计算模块、多尺度特征提取模块和点云质量增强模块。
所述点云密度计算模块计算原始点云的全局密度信息。设置球体半径为R,依次以原始点云中的每个点作为球体中心,计算球体覆盖的点元数量除以球体体积的商,作为该点的局部密度,然后取点云中所有点的局部密度的中位数,作为该点云的全局密度ρ。其中,R为正整数。
所述多尺度特征提取模块包括多个特征提取分支,对输入点云进行不同尺度的下采样操作,每个尺度的点云都使用卷积进行特征提取,最后将多尺度的特征进行融合,得到点云的多尺度特征。
所述点云质量增强模块将点云的全局密度ρ与设定的阈值T
所述坐标恢复模块对压缩后的点云坐标进行反卷积,在每个点的周围生成新的点。然后根据原始点云的多尺度特征计算每个点对应的概率,然后保留其中概率最高的k个点,得到重建点云。k为原始点云中点的数量。
所述坐标细化模块将原始点云的多尺度特征进行稀疏卷积,然后通过3个连续的全连接操作,得到坐标的偏移量。将压缩点云的坐标加上偏移量,得到重建点云。
作为优选,还包括点云分割模块,用于将原始点云分割为M个子点云,每个子点云分别进行压缩与质量增强。其中M为正整数。
一种用于增强压缩点云重建质量的方法,具体包括以下步骤:
步骤1、原始点云分割
将待压缩的原始点云分割成M块子点云,其中M为正整数。
步骤2、子点云密度计算
设置球体半径为R,依次以子点云中的每个点作为球体中心,计算球体覆盖的点元数量除以球体体积的商,作为该点的局部密度,然后取子点云中所有点的局部密度的中位数,作为该子点云的全局密度ρ。其中,R为正整数。
步骤3、特征提取与压缩
通过多个分支对原始点云进行不同尺度的下采样和卷积操作,以获得原始点云不同尺度的特征,最后将每个分支的输出结果融合,得到原始点云的多尺度特征。最后对原始点云的几何信息进行压缩。
步骤4、点云质量增强
将每个子点云压缩前的全局密度ρ与设定的阈值T
s4.1、当ρ≥T
s4.2、当T
s4.3、当ρ≤T
本发明具有以下有益效果:
1、对原始点云分割后,对子点云进行分类,作为压缩点云质量增强时的密度信息,选择合适的重建方法,能够显著提升压缩点云的重建效果,使重建点云更接近原始点云。同时该重建方法可以处理不同压缩率以及不同种类的点云,符合实际场景的应用。
2、在点云质量增强过程中使用多尺度的特征提取模块,包含多个尺度的点云特征提取模块,对输入点云进行一次到多次的下采样,每个尺度的点云都使用卷积进行特征提取,最后将多尺度的特征进行融合,得到点云的多尺度特征,用于后续点云重建过程。能够充分提取点云的特征信息,增强点云重建质量。
附图说明
图1为实施例中一种用于增强压缩点云重建质量的装置结构示意图;
图2为实施例中点云分割示意图;
图3为实施例中点多尺度特征提取模块示意图;
图4为实施例中点云质量增强模块示意图图
图5为实施例中坐标恢复模块示意图;
图6为实施例中坐标细化模块示意图;
图7为实施例中针对不同数据的对比实验结果。
具体实施方式
以下结合附图对本发明作进一步的解释说明;
如图1所示,一种用于增强压缩点云重建质量的装置,包括点云特征提取模块100、点云质量增强模块200。所述点云特征提取模块100包括点云分割模块101、多尺度特征提取模块102、点云分类模块103和点云密度计算模块104。
如图2所示,所述点云分割模块101用于将原始点云分割成M个子点云,针对子点云进行后续的密度计算与特征提取、压缩重建等操作,可以降低计算复杂度与处理时间。
所述点云密度计算模块104针对点云分割模块101分割后的子点云,计算其全局密度信息。
如图3所示,所述多尺度特征提取模块102包含多个分支,在每个分支中通过不同尺度的下采样与卷积操作,提取子点云不同尺度的特征,最后融合得到子点云的多尺度特征,用于后续重建点云的质量增强中。
所述点云分类模块103根据点云密度计算模块104计算的子点云全局密度ρ与阈值T
如图4所示,所述点云质量增强模块200对Solid点云,使用坐标恢复模块进行点云质量增强;对Dense点云,先使用坐标恢复模块,再使用坐标细化模块进行点云质量增强;对Sparse点云,使用坐标细化模块进行点云质量增强。
如图5所示,所述坐标恢复模块对压缩后的点云坐标进行反卷积,在每个点的周围生成新的点。然后根据原始点云的多尺度特征计算每个点对应的概率,然后保留其中概率最高的k个点,得到重建点云。k为原始点云中点的数量。
如图6所示,所述坐标细化模块将原始点云的多尺度特征进行稀疏卷积,然后通过3个连续的全连接操作,得到坐标的偏移量。将压缩点云的坐标加上偏移量,得到重建点云。
一种用于增强压缩点云重建质量的方法,具体包括以下步骤:
步骤1、原始点云分割
将待压缩的原始点云分割成M块子点云,其中M为正整数。
步骤2、子点云密度计算
设置球体半径为R,依次以子点云中的每个点作为球体中心,计算球体覆盖的点元数量除以球体体积的商,作为该点的局部密度,然后取子点云中所有点的局部密度的中位数,作为该子点云的全局密度ρ。其中,R为正整数。
步骤3、特征提取与压缩
通过多个分支对原始点云进行不同尺度的下采样操作,以获得原始点云不同尺度的特征,最后将每个分支的输出结果融合,得到原始点云的多尺度特征。最后对原始点云的几何信息进行压缩。
步骤4、点云质量增强
将每个子点云压缩前的全局密度ρ与设定的阈值T
s4.1、当ρ≥T
s4.2、当T
s4.3、当ρ≤T
为了说明本方法的效果,使用相同的数据集训练对比方法PU-Dense,在MPEG序列上进行测试,实验结果如图7所示,其中横轴Bpp表示压缩率的大小,竖轴D1 PSNR为评价点云质量的一种常用客观指标,量纲为dB。GPCC+upsampling为本发明的方法,利用原始点云的密度信息选择合适的点云质量增强方法。PU-Dense为基于体素的点云质量增强方法,没有利用原始点云的密度信息。LUT为查表上采样方法,GPCC(octree)和GPCC(trisoup)为有损压缩方法。根据图中的线条走向可以看出,本发明的方法在多个数据集上的表现均优于其他点云质量增强方法。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。
- 一种用于控制增强复合材料压缩样块厚度的装置及方法
- 一种层析SAR三维点云重建质量评价方法及装置
- 重建神经元质量检测方法、有序点云分类方法及装置