对自旋传感器头捕获的点云几何数据进行编码/解码的方法和装置

相关申请的交叉引用

本申请要求于2021年4月9日提交的欧洲专利申请No.EP21305461.2的优先权，其内容通过引用整体并入本公开。

技术领域

本申请一般而言涉及点云压缩，并且具体地涉及编码/解码由自旋传感器头捕获的点云几何数据的方法和装置。

背景技术

本节旨在向读者介绍本领域的各个方面，这些方面可以与下面描述和/或要求保护的本申请的至少一个示例性实施例的各个方面有关。本讨论被认为有助于向读者提供背景信息以促进更好地理解本申请的各个方面。

作为3D数据的表示的一种格式，点云最近获得了关注，因为它们在表示所有类型的物理对象或场景方面具有多种能力。点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3D方式扫描如雕像或建筑物之类的物体，以便在不发送或不访问物体的情况下共享物体的空间配置。而且，它是确保在物体可能被破坏的情况下保存物体的知识的方式；例如，被地震破坏的寺庙。此类点云通常是静态的、彩色的和巨大的。

另一个用例是在拓扑学和制图学中，其中使用3D表示允许地图不限于平面并且可以包括地貌。谷歌地图现在是3D地图的良好示例，但使用网格而不是点云。不过，点云可以是3D地图的合适数据格式，并且此类点云通常是静态的、彩色的且巨大的。

虚拟现实(VR)、增强现实(AR)和沉浸式世界最近成为热门话题，并被许多人预见为2D平面视频的未来。其基本理念是让观众沉浸在周围环境中，而标准电视只允许观众观看他/她眼前的虚拟世界。根据观众在环境中的自由度，沉浸感有几个层次。点云是分发VR/AR世界的良好格式候选。

汽车行业，尤其是可预见的自动驾驶汽车，也是可以大量使用点云的领域。自动驾驶汽车应当能够“探测”它们的环境，以基于检测到的它们的最接近的附近物体的存在和性质以及道路配置做出良好的驾驶决策。

点云是位于三维(3D)空间中的点集合，可选地为每个点附加附加值。这些附加值通常被称为属性。属性可以是例如三分量颜色、材料特性(如反射率)和/或与点相关联的表面的双分量法向量。

因此，点云是几何(3D空间中点的位置，通常由3D笛卡尔坐标x、y和z表示)和属性的组合。

点云可以由各种类型的设备捕获，如相机的阵列、深度传感器、激光器(光检测和测距，也称为激光雷达)、雷达，或者可以由计算机生成(例如，在电影后期制作中)。取决于用例，点云可以有数千到数十亿个点用于制图应用。点云的原始表示要求每个点的位数非常多，每个笛卡尔坐标x、y或z至少有十几个位，并且可选地为(一个或多个)属性提供更多位，例如10位的三倍以用于颜色。

在许多应用中，通过仅消耗合理数量的位速率或存储空间同时维持可接受的(或优选地非常好的)体验质量，能够向最终用户分发点云或将它们存储在服务器中，是非常重要的。这些点云的高效压缩是使许多沉浸式世界的分发链实用的关键点。

对于由最终用户进行的分发和可视化，例如在AR/VR眼镜或任何其他支持3D的设备上，压缩可以是有损的(如在视频压缩中)。其他用例确实要求无损压缩，如医疗应用或自动驾驶，以避免更改从压缩和传输的点云的后续分析中获得的决策的结果。

直到最近，大众市场还没有解决点云压缩(又名PCC)问题，也没有可用的标准化的点云编解码器。2017年，标准化工作组ISO/JCT1/SC29/WG11，也称为运动图像专家组或MPEG，发起了关于点云压缩的工作项目。这带来了两个标准，即

·MPEG-I第5部分(ISO/IEC 23090-5)或基于视频的点云压缩(V-PCC)

·MPEG-I第9部分(ISO/IEC 23090-9)或基于几何的点云压缩(G-PCC)

V-PCC编码方法通过对3D对象执行多次投影来压缩点云，以获得打包到图像(或处理动态点云时的视频)中的2D图块。然后使用现有的图像/视频编解码器压缩获得的图像或视频，从而允许充分利用已经部署的图像和视频解决方案。就其本质而言，V-PCC仅在密集和连续的点云上是高效的，因为图像/视频编解码器无法压缩非平滑的图块，例如从激光雷达捕获的稀疏几何数据的投影中获得的非平滑的图块。

G-PCC编码方法有两种用于压缩捕获的几何数据的方案。

第一种方案基于占用树，在本地是八叉树、四叉树或二叉树中的任何类型的树，表示点云几何形状。被占用的节点被拆分直到达到一定尺寸，并且被占用的叶节点提供点的3D位置，通常在这些节点的中心处。占用信息通过占用标志携带，占用标志发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术，可以获得密集点云的占用标志的高水平压缩。稀疏点云也可以通过直接编码节点内非最小尺寸的点的位置来解决，当节点中仅存在孤立点时停止树构造；这种技术被称为直接编码模式(DCM)。

第二种方案基于预测树，其中每个节点表示一个点的3D位置，并且节点之间的父/子关系表示从父到子的空间预测。这种方法只能解决稀疏点云，并提供比占用树更低时延和更简单解码的优势。但是，相对于第一种基于占用的方法，压缩性能仅稍微好一点，并且编码也是复杂的，因为编码器在构造预测树时必须(在一长串潜在预测器中)集中寻找最佳预测器。

在这两种方案中，属性(解码)编码是在完成几何(解码)编码之后执行的，实际上导致了两次编码。因此，联合几何/属性低延迟是通过使用将3D空间分解成独立编码的子体积的切片获得的，而无需在子体积之间进行预测。当使用许多切片时，这会严重影响压缩性能。

将对编码器和解码器简单性、低时延和压缩性能的要求结合在一起仍然是现有点云编解码器尚未令人满意解决的问题。

一个重要的用例是传输由安装在移动车辆上的自旋传感器头(例如，自旋激光雷达头)捕获的稀疏几何数据。这通常要求简单且低时延的嵌入式编码器。要求简单性，因为编码器可能部署在并行执行其他处理(诸如(半)自动驾驶)的计算单元上，从而限制了点云编码器可用的处理能力。还要求低时延以允许从汽车到云端的快速传输，以便基于多车辆采集实时查看本地交通，并基于交通信息做出足够快速的决策。虽然通过使用5G可以使传输时延足够低，但编码器本身不应因编码而引入太多时延。而且，压缩性能极其重要，因为从数百万辆汽车到云端的数据流预计将非常庞大。

与由自旋传感器头捕获的稀疏几何数据相关的特定先验已经被用来获得非常高效的编码/解码方法。

例如，G-PCC利用自旋传感器头捕获的仰角(相对于水平地面)，如图1和图2上所描绘的。自旋传感器头10包括传感器11的集合(例如，激光器)，这里示出了五个传感器。自旋传感器头10可以绕垂直轴z旋转以捕获物理对象的几何数据，即，点云的点的3D位置。然后，自旋传感器头捕获的几何数据以球坐标(r

在由自旋传感器头捕获的几何数据上观察到沿着方位角的规则分布，如图3上所描绘的。这种规律性在G-PCC中用于获得点云的准1D表示，其中，直到噪声，只有半径r

通过在球坐标空间中通过使用角度的离散性质基于已经编码的点预测当前点的位置，这种准1D特性已在G-PCC中的占用树和预测树中得到利用。

更精确地说，占用树大量使用DCM，并通过使用上下文自适应熵编码器对节点内的点的直接位置进行熵编码。然后从点位置到坐标(φ，θ)的本地转换以及这些坐标相对于从已经编码的点获得的离散角坐标(φ

使用这个坐标空间的准1D性质(r，φ

图5图示了与基于G-PCC预测树的编码器类似的点云编码器。

首先，将点云的点的笛卡尔坐标(x，y，z)转换成球坐标(r，φ，θ)，(r，φ，θ)＝C2A(x，y，z)。

变换函数C2A(.)部分地由下式给出：

r＝round(sqrt(x*x+y*y)/ΔIr)

φ＝round(atan2(y，x)/ΔIφ)

其中round()是舍入到最接近的整数值的运算，sqrt()是平方根函数，并且atan2(y，x)是应用于y/x的反正切。

ΔIr和ΔIφ分别是半径和方位角的内部精度。它们通常与其各自的量化步长相同，即，ΔIφ＝Δφ，并且ΔIr＝Δr，

以及，

Δr＝2

其中M和N是可以在位流中(例如在几何参数集中)用发信号通知的编码器的两个参数，并且其中基本量化步长通常等于1。通常，对于无损编码，N可以是17，并且M可以是0。

编码器可以通过最小化用于对Δφ笛卡尔空间中的球坐标表示和xyz残差进行编码的成本(例如，位数)来导出Δφ和Δr。

为了简单起见，在下文中，Δφ＝ΔIφ以及Δr＝ΔIr。

同样为了清楚和简单起见，θ在下文中用作例如使用下式获得的仰角值

其中atan(.)是反正切函数。但是，在G-PCC中，例如θ是表示θ

然后球坐标(r，φ，θ)与从预测器PR

(r

＝(r，φ，θ)-(r

其中(r

编码器可以根据自旋传感器头在不同仰角执行捕获的频率和旋转速度导出基本方位步长φ

例如，基本方位步长φ

残差球坐标(r

残差球坐标(r

对于预测树的每个节点，φ

预测索引n指向候选预测器列表中选定的预测器。

候选预测器PR

另一个候选预测器PR

另一个候选预测器PR

例如，PR

另一个候选预测器PR

例如，PR

预测的笛卡尔坐标(x

(x

其中由解码器解码的球坐标(r

(r

其中(r

解码的残差球坐标(r

在G-PCC中，没有对残差球坐标进行量化，并且解码的球坐标(r

逆变换解码的球坐标(r

r＝r

X

y

z

其中sin()和cos()是正弦和余弦函数。这两个函数可以通过基于定点精度的运算来近似。值tan(θ

原始点与预测的笛卡尔坐标(x

(x

残差笛卡尔坐标(x

当x，y，z量化步长等于原始点精度(通常为1)时，残差笛卡尔坐标可以是无损编码的，或者当量化步长大于原始点精度(通常量化步长大于1)时，其可以是有损编码的。

由解码器解码的笛卡尔坐标(x

(x

其中IQ(Q(x

那些解码的笛卡尔坐标(x

图6图示了与基于G-PCC预测树的预测树解码器类似的点云解码器。

对于预测树的每个节点，从位流B访问预测索引n和数量m，而基本方位步长φ

解码的残差球坐标(r

可以从位流B中解码量化的残差球坐标Q(r

解码的球坐标(r

预测的笛卡尔坐标(x

从位流B中解码量化的残差笛卡尔坐标Q(x

在G-PCC中，等式(1)和(4)被用于预测的方位角φ并获得解码的方位角φ

然后，当半径足够小时(即，当点足够接近LiDAR传感器时)，可以在等式(1)和(4)中使用不同的“m”值(例如m+1或m-1)将产生相同的(量化的)笛卡尔残差值。

图7上图示了G-PCC的这个缺陷。在图7的示例中，解码的点云(黑色圆圈)的点属于xy笛卡尔空间中的方形。这些方形与笛卡尔空间中x和y轴的规则采样对应。在无损压缩的情况下，方形的尺寸取决于输入点云的精度，或者在有损压缩的情况下粗略地取决于量化步长。具有角度φ

为了改进G-PCC，需要对基本方位步长数量m进行更好的编码。

发明内容

下一节呈现了至少一个示例性实施例的简化概要以便提供对本申请的一些方面的基本理解。本概要不是示例性实施例的详尽概述。它不旨在识别实施例的关键或重要元素。以下概要仅以简化形式呈现示例性实施例中的至少一个的一些方面作为在本文中其他地方提供的更详细描述的前序。

根据本申请的第一方面，提供了一种将点云编码成表示物理对象的编码的点云数据的位流的方法，点云的每个点与表示响应于捕获该点的自旋传感器头的传感器的捕获角的方位角和响应于该点距参考点的距离的半径的球坐标相关联。该方法包括获得与点云的点相关联的缩放的基本方位步长，当第二数据严格低于阈值时，所述缩放的基本方位步长等于第一数据，第一数据大于基本方位步长，并且在其他情况下缩放的基本方位步长等于基本方位步长，所述基本方位步长是从自旋传感器头捕获点云的频率和旋转速度导出的，并且所述第二数据取决于通过对与点相关联的半径进行编码和解码而获得的点的解码半径；将从点的方位角、方位角的预测和缩放的基本方位步长获得的缩放的基本方位步长的数量编码到位流中；和将点的方位角与从缩放的基本方位步长的数量和缩放的基本方位步长导出的预测的方位角之间的点的残差方位角编码到位流中。

根据本申请的第二方面，提供了一种从表示物理对象的编码的点云数据的位流中解码点云的方法，点云的每个点与表示响应于捕获该点的自旋传感器头的传感器的捕获角的方位角和响应于该点距参考点的距离的半径的球坐标相关联。该方法包括从位流中解码基本方位步长；从自位流中解码出的解码的残差半径获得点云中的点的解码半径；获得与点云的点相关联的缩放的基本方位步长，当取决于点的解码半径的第二数据严格小于阈值时，所述缩放的基本方位步长等于第一数据，第一数据大于基本方位步长，并且在其他情况下缩放的基本方位步长等于基本方位步长；从位流中解码缩放的基本方位步长的数量；从位流中解码出解码的残差方位角；和从解码的残差方位角和从缩放的基本方位步长的数量和缩放的基本方位步长导出的预测的方位角获得解码的方位角。

在一个示例性实施例中，第一数据取决于解码半径。

在一个示例性实施例中，第一数据与解码半径和大于或等于1的缩放因子的乘积成反比。

在一个示例性实施例中，第二数据是解码半径(r

在一个示例性实施例中，通过对解码半径应用单调函数来获得第二数据，并且将所述第二数据与通过对阈值应用相同的单调函数获得的第二阈值进行比较。

在一个示例性实施例中，单调函数被定义为提供残差方位角的整数界限的函数。

在一个示例性实施例中，第一数据获得自2π/(r

在一个示例性实施例中，第一数据是通过迭代地细化所述近似来获得的。

在一个示例性实施例中，所述近似是通过找到低于2π/(r

根据本申请的第三方面，提供了一种将点云编码成表示物理对象的编码的点云数据的位流的装置。该装置包括一个或多个处理器，一个或多个处理器被配置为执行根据本申请的第一方面的方法。

根据本申请的第四方面，提供了一种从位流中解码表示物理对象的点云的点的装置。该装置包括一个或多个处理器，一个或多个处理器被配置为执行根据本申请的第二方面的方法。

根据本申请的第五方面，提供了一种包括指令的计算机程序产品，当该程序由一个或多个处理器执行时，指令使一个或多个处理器执行根据本申请的第一方面的方法。

根据本申请的第六方面，提供了一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，指令使一个或多个处理器执行根据本申请的第二方面的方法。

根据本申请的第七方面，提供了一种非暂态存储介质，该非暂态存储介质承载用于执行根据本申请的第二方面的方法的程序代码的指令。

示例性实施例中的至少一个的具体性质以及所述示例性实施例中的至少一个的其他目的、优点、特征和用途将从以下结合附图对示例的描述中变得明显。

附图说明

现在将以示例的方式参考示出本申请的示例性实施例的附图，并且其中：

图1图示了根据现有技术的传感器头及其一些参数的侧视图；

图2图示了根据现有技术的传感器头及其一些参数的俯视图；

图3图示了根据现有技术的由自旋传感器头捕获的数据的规则分布；

图4图示了根据现有技术的3D空间中的点的表示；

图5图示了与根据现有技术的基于G-PCC预测树的编码器类似的点云编码器；

图6图示了与根据现有技术的基于G-PCC预测树的解码器类似的点云解码器；

图7图示了根据现有技术的G-PCC的缺点；

图8图示了根据至少一个示例性实施例的对表示物理对象的点云进行编码的方法100的步骤的框图；

图9图示了根据至少一个示例性实施例的对表示物理对象的点云进行解码的方法200的步骤的框图；

图10图示了根据至少一个示例性实施例的确定缩放的基本方位步长的近似的方法300的示例；

图11图示了根据至少一个示例性实施例的确定缩放的基本方位步长的近似的方法400的示例；和

图12图示了其中实现各个方面和示例性实施例的系统的示例的示意性框图。

在不同的图中可以已经使用相似的附图标记来表示相似的组件。

具体实施方式

下文将参考附图更全面地描述示例性实施例中的至少一个，其中图示了示例性实施例中的至少一个的示例。但是，示例性实施例可以以许多替代形式来实施并且不应当被解释为限于本文阐述的示例。因而，应当理解的是，无意将示例性实施例限制于所公开的特定形式。相反，本公开旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代方案。

当附图以流程图的形式呈现时，应当理解的是，它还提供了对应装置的框图。类似地，当附图以框图的形式呈现时，应当理解的是，它还提供对应方法/过程的流程图。

这些方面中的至少一个一般而言涉及点云编码和解码，并且至少一个其他方面一般而言涉及传输生成或编码的位流。

而且，本方面不限于诸如与点云压缩相关的MPEG-I第5部分或第9部分之类的MPEG标准，并且可以应用于例如其他标准和推荐，无论是预先存在的还是未来开发的，以及任何此类标准和推荐(包括MPEG-I第5部分和第9部分)的扩展。除非另有指示，或技术上排除，否则本申请中描述的方面可以被单独或组合使用。

本发明涉及编码和解码技术领域，旨在提供一种对点云数据进行编码/解码的技术方案。由于点云是海量数据的集合，因此存储点云会消耗大量的存储器，而且在不压缩点云的情况下不可能直接在网络层传输点云，因此要求压缩点云。因此，随着点云在自主导航、实时巡检、地理信息服务、文化遗产/建筑保护、3D沉浸式沟通和互动等中越来越广泛地使用，本发明可以在许多应用场景中使用。

本编码/解码方法具体地涉及基于动态列表缩放的方位角步长对点云数据进行编码/解码，以提高点云的压缩性能。

本发明涉及一种将点云编码成表示物理对象的编码的点云数据的位流/从表示物理对象的编码的点云数据的位流中解码点云的方法，点云的每个点与表示响应于捕获该点的自旋传感器头的传感器的捕获角的方位角和响应于该点距参考点的距离的半径的球坐标相关联。

该方法包括用于从所述点的解码半径计算点云的点的方位角的预测的方位角的基本方位步长的缩放。因此，方位角步长是动态缩放的并且因此取决于点云的点的半径。

当点的半径太小以至于无法高效地使用基本方位步长φ

图8图示了根据至少一个示例性实施例的对表示物理对象的点云进行编码的方法100的步骤的框图。

在步骤110中，基本方位步长φ

在步骤120中，可以通过等式(4)获得点云中的点的解码半径r

r

其中r

在步骤130中，当取决于解码半径r

在步骤140中，缩放的基本方位步长的数量m

m

在步骤150中，从缩放的基本方位步长S(φ

φ

在步骤160中，残差方位角φ

φ

图9图示了根据至少一个示例性实施例的对表示物理对象的点云进行解码的方法200的步骤的框图。

在步骤210中，基本方位步长φ

在步骤220中，解码的残差半径r

在步骤130中，获得与点云的点相关联的缩放的基本方位步长(S(φ

在步骤230中，从位流B中解码缩放的基本方位步长的数量m

在步骤150中，从等式(7)导出预测的方位角φ

在步骤240中，解码的残差方位角φ

在步骤250中，从解码的残差方位角φ

φ

在一个示例性实施例中，本发明可以用在由等式(1)或(4)给出的G-PCC预测方案中，其中与点云的点相关联的方位角φ被自适应地量化，如欧洲专利申请No.EP20306674中所描述的。

结合图5和图6描述的Q(r

在编码侧，从等式(1)获得残差半径r

由等式(1)获得的残差方位角φ

Qφ

其中Q

Δφ(r

其中Δφ

如果编解码器使用定点精度算术并且编解码器的用于方位角的表示的内部精度ΔIφ由ΔIφ＝2π/2

逆量化的残差方位角IQφ

IQφ

其中IQ

解码的方位角φ

φ

或由下式给出：

φ

＝Qφ

量化的残差方位角Qφ

在一个示例性实施例中，对点云的点的方位角与所述方位角的预测角之间的残差方位角φ

|φ

其中|φ

B＝Q

＝round(r

其中Δφ

在步骤130的一个第一示例性实施例中，第一数据D1取决于解码半径r

在该第一实施例中，当解码半径r

在变体中，第一数据D1与解码半径和大于或等于1的缩放因子α的乘积成反比。

例如，

D1＝2π/(r

当解码半径r

在变体中，如果内部精度为

D1＝2

在变体中，阈值TH等于由下式给出的阈值Th

Th

当残差方位角以整数界限B为界时，可以如下获得阈值Th

然后，通过求解下式，从B＝1时出现的不等式的上限推导出阈值Th

从而获得：

Th

由等式(18)给出的阈值Th

在变体中，如果内部精度

Th

在步骤130的第二示例性实施例中，通过对解码半径r

如果单调函数m(.)是单调递增函数，那么当第二数据D2大于或等于阈值TH时，缩放的基本方位步长S(φ

使用单调递增或递减函数是等效的，并且本发明的范围延伸至单调递增或递减函数m(.)。

例如，如果函数m(.)是单调递减函数，那么可以从m(x)构造等效的单调递增函数m’(x)，例如m’(x)＝-m(x)，以便继续使用单调递增函数。

作为另一个示例，如果函数m(.)是直接使用的单调递减函数，那么显然可以获得与结合附图描述的方法等效的方法：例如，当第二数据D2严格低于阈值TH时，缩放的基本方位步长S(φ

在变体中，单调函数m(.)是按大于或等于一的缩放因子α进行的缩放。

然后，第二数据D2和阈值TH由下式给出

在变体中，如果内部精度

在变体中，单调函数m(.)被定义为提供等式(15)中的整数界限B的函数。

于是，第二数据D2和阈值TH由下式给出：

在那个变体中，由于整数界限B(等式15)是整数，因此条件B＞0等效于D2≥TH(即，D2≥1)，并且条件B＝0等效于D2＜1。当B＝0(D2＜1)时，缩放的基本方位步长S(φ

如果等式(15)的整数界限B被用于界定残差方位角φ

当第二数据D2(整数界限B)由等式(23)给出时，整数除法可以被计算为按位的移位运算。例如，如果编解码器的内部精度用于方位角

D2＝B＝round(r

＝(r

其中(a)＜＜(b)的结果是(a)按位左移(b)位(即，(a)乘以2

等式(16)涉及针对点云的每个点的整数除法。这是最好避免的事情，因为在硬件设计、执行运行时长和/或功耗方面，除法成本高昂。

在先前实施例的优选变体中，除法运算通过硬件成本较低的运算来近似。

有很多近似整数除法的可能性。例如，除法u/v可以简单地通过u的等于v所取的位数NV(即，NV＝floor(log2(v)+1))的位数的向右按位的移位运算来近似。在那种情况下，u/v近似为u/2

D1

其中divApprox(u，v)是整数除法u/v的近似函数，并且+ε(r

例如，divApprox(2

由于近似误差ε(r

三种不同的情况会发生：

1)D1

然后，由于D1

2)D1

然后，由于D1

3)D1

在我们的实验中，一般观察到，对于误差ε(r

在等式(16)的变体中，通过等式(16)获得的第一数据D1(缩放的基本方位步长S(φ

图2图示了根据至少一个示例性实施例的确定缩放的基本方位步长S(φ

简而言之，该方法在每个细化步骤中使用一些简单的运算(按位的移位运算、递增一并比较)迭代地细化缩放的基本方位角步骤S(φ

如之前所解释的，当解码半径r

φ

在步骤320中，从第一基本方位步长φ

然后，从索引i＝0开始，当整数界限B

当整数界限B

在变体中，为了也解决上面的第二种情况，如图10上另外示出的，当整数界限B

如果整数界限B

然后，获得新的基本方位步长(步骤370)并且获得新的整数界限(步骤380)。

迭代地重复这个过程，直到整数界限B

在变体中，(一个或多个)增加和/或减少操作可以使用动态确定的增量(和/或减量)步长。

例如，在方法的每次迭代之后增量值加倍。

图11图示了根据至少一个示例性实施例的确定缩放的基本方位步长S(φ

如之前所解释的，当解码半径r

φ

然后，从索引i＝0开始，当弧长φ

当弧长φ

通常，Th

作为示例，使用图11所示的变体，在Th

本编码/解码方法可以被用于对点云进行编码/解码，其可以被用于各种目的，尤其涉及基于动态列表缩放的方位角步长对点云数据进行编码/解码，这提高了点云的压缩性能。

图12示出了图示其中实现各个方面和示例性实施例的系统的示例的示意性框图。

系统500可以被嵌入作为一个或多个设备，包括下面描述的各种组件。在各种实施例中，系统500可以被配置为实现本申请中描述的一个或多个方面。

可以构成系统500的全部或部分的装备的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴(cave)”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒，以及用于处理点云、视频或图像的任何其他设备，或其他通信设备。系统500的元件可以单独地或组合地实施在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统500的处理和编码器/解码器元件可以跨多个IC和/或分立组件分布。在各种实施例中，系统500可以经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。

系统500可以包括至少一个处理器510，该至少一个处理器510被配置为执行其中加载的指令，以用于实现例如本申请中描述的各个方面。处理器510可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统500可以包括至少一个存储器520(例如，易失性存储器设备和/或非易失性存储器设备)。系统500可以包括存储设备540，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备540可以包括内部存储设备、附接存储设备和/或网络可访问存储设备。

系统500可以包括编码器/解码器模块530，其被配置为例如处理数据以提供编码/解码的点云几何数据，并且编码器/解码器模块530可以包括其自己的处理器和存储器。编码器/解码器模块530可以表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块中的一者或两者。此外，编码器/解码器模块530可以被实现为系统500的分开的元件，或者可以作为本领域技术人员已知的硬件和软件的组合结合到处理器510内。

要被加载到处理器510或编码器/解码器530上以执行本申请中描述的各个方面的程序代码可以被存储在存储设备540中，并且随后被加载到存储器520上以由处理器510执行。根据各种实施例，在执行本申请中描述的过程期间，处理器510、存储器520、存储设备540和编码器/解码器模块530中的一个或多个可以存储各种项目中的一个或多个。此类存储的项目可以包括但不限于点云帧、编码/解码的几何形状/属性视频/图像或编码/解码的几何形状/属性视频/图像的部分、位流、矩阵、变量，以及等式、公式、运算和运算逻辑处理的中间或最终结果。

在几个实施例中，处理器510和/或编码器/解码器模块530内部的存储器可以被用于存储指令并为可以在编码或解码期间执行的处理提供工作存储器。

但是，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器510或者编码器/解码器模块530)被用于这些功能中的一个或多个。外部存储器可以是存储器520和/或存储设备540，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储电视的操作系统。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器可以被用作用于视频编码和解码操作的工作存储器，例如对于MPEG-2第2部分(也称为ITU-T Recommendation H.262和ISO/IEC 13818-2，也称为MPEG-2视频)、HEVC(高效视频编码)、VVC(通用视频编码)或MPEG-I第5部分或第9部分。

如方框590中所指示的，可以通过各种输入设备提供对系统500的元件的输入。此类输入设备包括但不限于(i)可以接收例如由广播设备通过空中传输的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施例中，方框590的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与对于以下必要的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到频带内)，(ii)下变频所选择的信号，(iii)将频带再次限制到较窄的频带，以选择(例如)在某些实施例中可以被称为信道的信号频带，(iv)解调下变频和频带受限的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据包流。各种实施例的RF部分可以包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，这些功能包括例如将接收到的信号下变频为更低频率(例如，中频或近基带频率)或基带。

在一个机顶盒实施例中，RF部分及其相关联的输入处理元件可以接收在有线(例如，电缆)介质上传输的RF信号。然后，RF部分可以通过滤波、下变频和再次滤波到期望的频带来执行频率选择。

各种实施例重新布置上述(和其他)元件的次序、移除这些元件中的一些、和/或添加执行类似或不同功能的其他元件。

添加元件可以包括在现有元件之间插入元件，诸如例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

此外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统500连接到其他电子设备。应该理解的是，在必要时输入处理的各个方面(例如，Reed-Solomon纠错)可以例如在分开的输入处理IC内或在处理器510内实现。类似地，在必要时可以在分开的接口IC内或处理器510内实现USB或HDMI接口处理的各个方面。经解调、纠错和解复用的流可以被提供给各种处理元件，包括例如处理器510以及编码器/解码器530，它们与存储器和存储元件结合操作，以在必要时处理数据流以在输出设备上呈现。

可以在集成壳体内提供系统500的各种元件。在集成壳体内，可以使用合适的连接布置590，例如，本领域已知的内部总线(包括I2C总线)、布线和印刷电路板，来互连各种元件并在它们之间传输数据。

系统500可以包括通信接口550，其使得能够经由通信信道900与其他设备通信。通信接口550可以包括但不限于被配置为在通信信道900上发送和接收数据的收发器。通信接口550可以包括但不限于调制解调器或网卡，并且通信信道900可以例如在有线和/或无线介质内实现。

在各种实施例中，可以使用诸如IEEE 802.11之类的Wi-Fi网络将数据流式传输到系统500。这些实施例的Wi-Fi信号可以通过适于Wi-Fi通信的通信信道900和通信接口550被接收。这些实施例的通信信道900通常可以连接到接入点或路由器，该接入点或路由器提供对包括互联网在内的外部网络的接入，以允许流式传输应用和其他云上(Over-the-top)通信。

其他实施例可以使用机顶盒向系统500提供流式传输的数据，该机顶盒通过输入方框590的HDMI连接来递送数据。

还有其他实施例可以使用输入方框590的RF连接将流式传输的数据提供给系统500。

流式传输的数据可以用作系统500使用的信令信息的方式。信令信息可以包括位流B和/或诸如点云的点的数量和/或传感器设置参数(诸如与自旋传感器头10的传感器相关联的基本方位步长φ

应该认识到的是，可以以多种方式实现信令。例如，在各种实施例中，一个或多个语法元素、标志等可以被用于向对应的解码器发信号通知信息。

系统500可以向各种输出设备，包括显示器500、扬声器700和其他外围设备800，提供输出信号。在实施例的各种示例中，其他外围设备800可以包括独立DVR、盘播放器、立体声系统、照明系统和基于系统500的输出提供功能的其他设备中的一个或多个。

在各种实施例中，控制信号可以使用诸如AV.Link(音频/视频链路)、CEC(消费电子控制)或在有或没有用户干预的情况下启用设备到设备控制的其他通信协议的信令在系统500和显示器600、扬声器700或其他外围设备800之间通信。

输出设备可以通过相应的接口560、570和580经由专用连接通信地耦合到系统500。

可选地，可以经由通信接口550使用通信信道900将输出设备连接到系统500。显示器600和扬声器700可以与电子设备(诸如例如电视)中的系统500的其他组件集成在单个单元中。

在各种实施例中，显示接口560可以包括显示驱动器，诸如例如定时控制器(TCon)芯片。

例如，如果输入端590的RF部分是分开的机顶盒的一部分，那么显示器600和扬声器700可以可选地与其他组件中的一个或多个分开。在显示器600和扬声器700可以是外部组件的各种实施例中，可以经由专用的输出连接(包括例如HDMI端口、USB端口或COMP输出端)来提供输出信号。

在图1-12中，本文描述了各种方法，并且每种方法包括一个或多个步骤或动作，以实现所描述的方法。除非方法的正确操作需要特定的步骤或动作次序，否则可以修改或组合特定步骤和/或动作的次序和/或使用。

关于框图和/或操作流程图描述了一些示例。每个方框表示电路元件、模块或代码的部分，其包括用于实现(一个或多个)指定逻辑功能的一个或多个可执行指令。还应当注意的是，在其他实施方式中，方框中标注的(一个或多个)功能可以不按指示的次序发生。例如，根据所涉及的功能，相继示出的两个方框实际上可以基本上并发地执行，或者有时可以以相反的次序执行这些方框。

可以在例如方法或过程、装置、计算机程序、数据流、位流或信号中实现本文描述的实施方式和方面。即使仅在单一形式的实施方式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其他形式(例如，装置或计算机程序)来实现。

方法可以在例如处理器中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备。

此外，方法可以通过由处理器执行的指令来实现，并且此类指令(和/或由实施方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采用实施在一个或多个计算机可读介质中并且具有实施在其上的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。考虑到在其中存储信息的固有能力以及从其提供信息的检索的固有能力，如本文使用的计算机可读存储介质可以被认为是非暂态存储介质。计算机可读存储介质可以是，但不限于，例如电子、磁、光学、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。应该认识到的是，以下虽然提供了可以对其应用本实施例的计算机可读存储介质的更具体示例，但是如本领域普通技术人员容易认识到的那样，仅仅是说明性的而非详尽列表：便携式计算机软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或前述的任何合适组合。

指令可以形成有形地实施在处理器可读介质上的应用程序。

例如，指令可以在硬件、固件、软件或组合中。例如，可以在操作系统、单独的应用或两者的组合中找到指令。因此，处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。另外，除了指令之外或代替指令，处理器可读介质可以存储由实施方式产生的数据值。

装置可以在例如适当的硬件、软件和固件中实现。这种装置的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒，以及用于处理点云、视频或图像的任何其他设备，或其他通信设备。应当清楚的是，装备可以是移动的并且甚至安装在移动车辆中。

计算机软件可以由处理器510或由硬件、或由硬件和软件的组合实现。作为非限制性示例，还可以通过一个或多个集成电路来实现实施例。存储器520可以是适合于技术环境的任何类型并且可以使用任何适当的数据存储技术(诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器，作为非限制性示例)来实现。处理器510可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一种或多种，作为非限制性示例。

如对于本领域普通技术人员来说显而易见的，实施方式可以产生各种被格式化为携带例如可以被存储或传输的信息的信号。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的位流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路被传输。信号可以存储在处理器可读介质上。

本文使用的术语仅用于描述特定实施例的目的并且不旨在进行限制。如本文所使用的，单数形式“一个”、“一种”和“该”也可以旨在包括复数形式，除非上下文另有明确指示。将进一步理解的是，当在本说明书中使用时，术语“包括/包含(include/comprise)”和/或“包括/包含(including/comprising)”可以指定所陈述的例如特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们的组的存在或添加。而且，当一个元素被称为“响应”或“连接”到另一个元素时，它可以直接响应或连接到另一个元素，或者可以存在中间元素。相反，当一个元素被称为“直接响应”或“直接连接”到另一个元素时，不存在中间元素。

应该认识到的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，符号/术语“/”、“和/或”和“至少一个”中的任何一个的使用可以旨在涵盖仅第一个列出的选项(A)的选择，或仅第二个列出的选项(B)的选择，或两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞旨在涵盖仅第一个列出的选项(A)的选择，或仅第二个列出的选项(B)的选择，或仅第三个列出的选项(C)的选择，或仅第一个和第二个列出的选项(A和B)的选择，或仅第一个和第三个列出的选项(A和C)的选择，或仅第二个和第三个列出的选项(B和C)的选择，或所有三个选项(A和B和C)的选择。如本领域和相关领域的普通技术人员清楚的那样，这可以扩展到与列出的一样多的项目。

在本申请中可以使用各种数值。特定值可以用于示例目的并且所描述的各方面不限于这些特定值。

将理解的是，虽然术语第一、第二等在本文中可以被用于描述各种元素，但这些元素不受这些术语的限制。这些术语仅用于将一个元素与另一个元素区分开来。例如，在不脱离本申请的教导的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。第一元素和第二元素之间不暗示排序。

对“一个示例性实施例”或“示例性实施例”或“一个实施方式”或“实施方式”及其其他变化的引用频繁地被用于传达特定特征、结构、特点等(结合实施例/实施方式描述的)包括在至少一个实施例/实施方式中。因此，出现在本申请中各处的短语“在一个示例性实施例中”或“在示例性实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其他变化的出现不一定都指同一实施例。

类似地，本文对“根据示例性实施例/示例/实施方式”或“在示例性实施例/示例/实施方式中”及其其他变化的引用频繁地被用于传达特定特征、结构或特点(结合示例性实施例/示例/实施方式描述的)可以包括在至少一个示例性实施例/示例/实施方式中。因此，出现在说明书中各处的表述“根据示例性实施例/示例/实施方式”或“在示例性实施例/示例/实施方式中”不一定都指同一示例性实施例/示例/实施方式，也不是单独或替代的示例性实施例/示例/实施方式必须与其他示例性实施例/示例/实施方式相互排斥。

权利要求中出现的附图标记仅用于说明并且对权利要求的范围没有限制作用。虽然没有明确描述，但是可以以任何组合或子组合来采用本实施例/示例和变型例。

当图作为流程图呈现时，应当理解的是，它也提供对应装置的框图。类似地，当图作为框图呈现时，应当理解的是，它也提供对应方法/过程的流程图。

虽然一些图包括通信路径上的箭头以示出通信的主要方向，但应该理解的是，通信可以发生在与所描绘的箭头相反的方向上。

各种实施方式涉及解码。如本申请中使用的，“解码”可以涵盖例如对接收到的点云帧(可能包括对一个或多个点云帧进行编码的接收到的位流)执行的过程的全部或部分，以便产生适合显示或在重构的点云域中进一步处理的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个。在各种实施例中，例如，此类过程还或者可选地包括由本申请中描述的各种实施方式的解码器执行的过程。

作为进一步的示例，在一个实施例中“解码”可以指熵解码，在另一个实施例中，“解码”可以仅指差分解码，而在另一个实施例中，“解码”可以指熵解码和差分解码的组合。基于具体描述的上下文，短语“解码过程”到底旨在具体地指运算的子集，还是一般地指更广泛的解码过程将是清楚的，并且据信是本领域技术人员能够很好理解的。

各种实施方式都涉及编码。与以上关于“解码”的讨论类似，本申请中使用的“编码”可以涵盖例如对输入点云帧执行以便产生编码的位流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的过程中的一个或多个。在各种实施例中，此类过程还包括或者可选地包括由本申请中描述的各种实施方式的编码器执行的过程。

作为进一步的示例，在一个实施例中“编码”可以仅指熵编码，在另一个实施例中，“编码”可以仅指差分编码，而在另一个实施例中，“编码”可以指差分编码和熵编码的组合。基于特定描述的上下文，短语“解码过程”到底旨在具体地指运算的子集，还是一般地指更广泛的解码过程将是清楚的，并且据信是本领域技术人员能够很好理解的。

此外，本申请可以提到“确定”各种信息。确定信息可以包括例如以下各项中的一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。

另外，本申请可以提到“访问”各种信息。访问信息可以包括例如以下各项中的一项或多项：接收信息、(例如，从存储器或位流)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。

此外，本申请可以提到“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括以下各项中的一项或多项：例如，访问信息或(例如，从存储器或位流)检索信息。另外，以一种或另一种方式，在诸如例如以下操作期间：存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常涉及“接收”。

而且，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某事等。例如，在某些实施例中，编码器发信号通知特定信息，诸如点云的点数或传感器设置参数(诸如与传感器k相关联的基本方位步长φ

已经描述了多个实施方式。不过，应该理解的是，可以进行各种修改。例如，可以组合、补充、修改或移除不同实施方式的元素以产生其他实施方式。此外，普通技术人员将理解的是，其他结构和过程可以替代所公开的结构和过程，并且由此产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一个或多个)功能，以实现至少与所公开的实施方式基本相同的(一个或多个)结果。因而，本申请设想了这些和其他实施方式。