点云处理方法及装置、编码器、解码器、可读存储介质

技术领域

本公开涉及通信技术领域，尤其涉及一种点云处理方法及装置、编码器、解码器、可读存储介质。

背景技术

作为一种表示3D数据的格式，点云最近受到了关注，因为它们在表示所有类型的3D对象或场景方面具有通用性。点云可用于各种用途，其中包括：

·电影后期制作，

·实时3D沉浸式远程呈现或VR/AR应用，

·自由视点视频(例如用于观看体育运动)，

·地理信息系统(又名制图学)，

·文化遗产(稀有物品的扫描到数字形式的存储)，

·自动驾驶,包括环境与实时激光雷达数据获取的3D映射。

发明内容

本公开实施例提供一种点云处理方法及装置、编码器、解码器、可读存储介质，能够更为准确的对从点云编码的比特流进行解码，并提高重构点云的性能。

在第一方面中，提供了一种点云处理方法，该方法包括：获取比特流，其中，比特流包括叶节点的顶点的顶点信息；确定第一叶节点的第一质心残差信息；基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

在该技术方案中，可以基于当前叶节点之后相邻的叶节点的质心残差信息调整当前叶节点的顶点的顶点信息，从而可以更为准确的对从点云编码的比特流进行解码，并提高重构点云的性能。

在第二方面中，提供了一种点云处理方法，该方法包括：获取叶节点的顶点的顶点信息；将顶点信息编码成比特流；通过从比特流获取顶点信息来重构目标点云，其中，重构目标点云包括：确定第一叶节点的第一质心残差信息；基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

在第三方面中，提供了一种点云处理装置，该装置包括：数据获取单元，用于获取比特流，其中，比特流包括叶节点的顶点的顶点信息；确定单元，用于确定第一叶节点的第一质心残差信息；调整单元，用于基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；以及重构单元，用于基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

在第四方面中，提供了一种点云处理装置，该装置包括：信息获取单元，用于获取叶节点的顶点的顶点信息；编码单元，用于将顶点信息编码成比特流；点云重构单元，用于通过从比特流获取顶点信息来重构目标点云，其中，重构目标点云包括：确定第一叶节点的第一质心残差信息；基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

在本公开的第五方面中，提供了一种编码器。该编码器包括至少一个处理器和存储器，其中，存储器存储有指令，当处理器执行指令时，指令执行根据第一方面所述的方法的步骤。

在本公开的第六方面中，提供了一种解码器。该解码器包括至少一个处理器和存储器，其中，存储器存储有指令，当处理器执行指令时，指令执行根据第二方面所述的方法的步骤。

在本公开的第七方面中，提供了一种比特流，其中，通过根据第一方面所述的方法的步骤对比特流进行编码。

在本公开的第八方面中，提供了一种计算机可读存储介质，包括指令以执行根据第一方面或第二方面所述的方法的步骤。

在本公开的第九方面中，提供了一种计算机程序产品，包括计算机程序。当计算机程序在计算机上运行时，使得计算机执行根据第一方面或第二方面所述的方法的步骤。

在本公开的第十方面中，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行根据第一方面或第二方面所述的方法的步骤。

附图说明

以下将参考所附附图详细地描述本公开。

附图中示出：

图1示出了立方体的边上的顶点的示例；

图2示出了由顶点生成三角形；

图3示出了根据图7确定三角形的顺序的示例；

图4示出了由顶点生成三角形；

图5示出了体素化的步骤的示意图；

图6示出了使用质心点C作为枢轴点重构三角形的示例；

图7示出了法向矢量的示例；

图8示出了沿法向矢量的1D残差的示例；

图9示出了在建模由顶点和质心点构建的三角形的情况下的叶节点中的精炼的(refined)表面的示例；

图10示出了顶点信息调整的示例；

图11示出了点云处理方法的流程图；

图12示出了另一点云处理方法的流程图；

图13示出了点云处理装置的框图；

图14示出了另一点云处理装置的框图；

图15示出了解码器或编码器。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。

点云是位于三维(3D)空间中的一组点，可选地具有附加到每个点的附加值。这些附加值通常称为点属性。从而，点云是几何数据(每个点的3D位置)和属性的组合。

例如，属性可以是与点相关联的表面的三分量颜色、反射率等材料性能和/或两分量法向矢量。

点云可以被各种类型的设备感测，例如相机阵列、深度传感器、激光雷达、扫描器，或者可以是计算机生成的(例如在电影后期制作中)。根据用例，点云可能具有数千到数十亿个用于制图学应用的点。

点云的原始表示中每个点需要非常多的位，每个空间分量x、y或z至少有十几个位，并且可选地更多位用于属性，例如三倍于10位用于颜色。基于点云的应用的实际部署需要压缩技术，使得以合理的存储和传输基础设施存储和分发点云。

对于最终用户的分发和可视化，压缩可能是有损的(例如在视频压缩中)，例如在AR/VR眼镜或任何其他支持3D的设备上。其他用例确实需要无损压缩，例如医疗应用或自动驾驶，以避免改变从经压缩和传输的点云的后续分析中获得的决策结果。

直到最近，大众市场还没有解决点云压缩(又名PCC)问题，也没有可用的标准化点云编解码器。在2017年，标准化工作组ISO/JCT1/SC29/WG11，又名运动图像专家组或MPEG，已经启动了关于点云压缩的工作项目。这导致了两个标准，即

·MPEG-I第5部分(ISO/IEC 23090-5)或基于视频的点云压缩(又名V-PCC)

·MPEG-I第9部分(ISO/IEC 23090-9)或基于几何的点云压缩(又名G-PCC)

V-PCC和G-PCC标准均已经在2020年底完整其第一版本，并将很快可被推向市场。

V-PCC编码方法通过对3D对象执行多次投影来压缩点云，以获得2D块，这些块被打包到图像(或处理移动点云时的视频)中。然后使用现有的图像/视频编解码器对获得的图像或视频进行压缩，从而允许利用已部署的图像和视频解决方案。就其本质而言，V-PCC仅在密集和连续点云上有效，因为图像/视频编解码器无法压缩非平滑块，例如从激光雷达感测的稀疏几何形状数据的投影中获得的。

G-PCC编码方法具有两种压缩几何形状的方案。

第一种方案基于占用树(八叉树、四叉树或二叉树)，表示点云几何形状。被占用的节点被分割直到达到一定尺寸，并且被占用的叶节点提供点的位置，通常在这些节点的中心处。通过使用基于邻居的预测技术，可以获得密集点云的高度压缩。稀疏点云也可以通过直接编码具有非最小尺寸的节点内的点的位置来处理，通过在节点中仅存在孤立点时停止树构建；这种技术被称为直接编码模式(DCM)。

第二种方案基于预测树，其中每个节点表示一个点的3D位置，以及节点之间的关系是从父到子的空间预测。这种方法只能处理稀疏点云，并且比占用树具有更低的延迟和更简单的解码的优点。然而，相对于第一种基于占用的方法，压缩性能仅略好一些，并且编码复杂，因为编码器在构建预测树时必须集中寻找最佳预测器(在一长串潜在预测器中)。

在这两种方案中，属性编码(解码)是在完整的几何形状编码(解码)之后执行的，实际上导致了两次编码(解码)。因此，通过使用切片，该切片将3D空间分解为独立编码的子体积，无需在子体积之间进行预测，从而获得低延迟。当使用许多切片时，这可能会严重影响压缩性能。

一个重要的用例是动态AR/VR点云的传输。动态意味着点云随着时间而演变。此外，AR/VR点云通常是局部2D的，因为它们大部分时间都表示对象的表面。因此，AR/VR点云是高度连接的(或者说是密集的)，因为一个点很少是孤立的，而是有许多邻居。

密集(或实体)点云表示具有分辨率的连续表面，使得与点相关联的体积(称为体素的小立方体)彼此接触，而不会在表面上展示出任何视觉孔。

这种点云通常用于AR/VR环境中，并由最终用户通过电视、智能手机或耳机等设备进行查看。它们被传输到设备或通常存储在本地。许多AR/VR应用使用随时间变化的移动点云，而不是静态点云。因此，数据量巨大，并且必须进行压缩。如今，基于点云的几何形状的八叉树表示的无损压缩可以实现略低于每个点一位(1bpp)。对于每个帧可能涉及数百万个点且帧速率高达每秒50帧(fps)的实时传输，因此会导致每秒数百兆位的数据，这可能是不够的。

因此，有损压缩可以与保持可接受的视觉质量同时充分压缩以适应传输通道提供的带宽同时保持帧的实时传输的惯常要求一起使用。在许多应用中，低至0.1bpp的比特率(比无损编码压缩10倍)已经可以实现实时传输。

基于MPEG-I第5部分(ISO/IEC 23090-5)的编解码器VPCC或基于视频的点云压缩(V-PCC)可以通过使用视频编解码器的有损压缩来实现如此低比特率，该视频编解码器压缩从点云在平面上的投影获得的2D帧。几何形状由一系列组装成帧的投影块来表示，每个块都是一个小的局部深度图。然而，VPCC不是通用的且仅限于不表现出局部复杂几何形状(如树、头发)的狭窄类型的点云，因为获得的投影深度图不够平滑，无法被视频编解码器有效压缩。

纯3D压缩技术可以处置任何类型的点云。3D压缩技术能否在密集点云上与VPCC(或任何投影+图像编码方案)竞争仍然是一个悬而未决的问题。标准化仍在进行中，以提供当前GPCC的扩展(修订)，其提供具有竞争力的有损压缩，该压缩将像VPCC内部一样压缩密集点云，同时保持GPCC可以处置任何类型的点云(密集的、激光雷达的、3D地图等)的通用性。该扩展可能使用研究八叉树的所谓的TriSoup编码方案，如以下部分中详细描述的。正在ISO/IEC的标准化工作组JTC1/SC29/WG7中探索TriSoup。

基本上有三种主要方法用于在八叉树表示上获得有损方案。

1.下采样+无损+上采样

2.在编码器侧本地修改体素

3.局部地建模点云

第一种方法基本上包括将整个点云下采样到更小的分辨率，对下采样点云进行无损编码，以及然后在解码后进行上采样。已经提出了许多上采样方案(如超分辨率、基于AI或学习的3D后处理等)。当下采样不太激进(例如在每个空间方向上不超过2倍)时，可以提供良好的PSNR结果。然而，即使该度量示出良好的PSNR，视觉质量也是有争议的并且没有得到很好的控制。

第二种方法是让编码器在本地“调整”点云，使得八叉树的编码需要更少的比特率。为此，可以稍微移动点，以便获得由相邻节点更好地预测的占用信息，从而以减小的比特率对修改后的八叉树进行无损编码。不幸的是，这种方法只会导致很小的比特率降低。

第三种方法是最有前途的，但在达到成熟之前仍需要一些工作。基本思想是通过使用树(或八叉树)来编码几何形状直到某个分辨率，诸如NxNxN块，其中N可以是4、8或16。使用无损方案例如GPCC来编码该树。该树本身不需要太多比特率，因为它不会深入至最深深度，并且相较于点云的点数量具有更少数量的叶节点。然后，在每个NxNxN块中，点云通过局部模型建模。例如，模型可以是平均平面，或可以是一组三角形，如在所谓的TriSoup方案中描述的。

通过使用一组三角形，TriSoup局部地建模点云，而无需明确地提供连接信息，因此其名称来源于“三角形汤”。

如图1所示，三角形的顶点沿与树的叶节点相关联的体积的边进行编码。边上的这些顶点在具有共同边的叶节点中共享。这意味着对于属于至少一个叶节点的每条边最多编码一个顶点。通过这样做，通过叶节点来确保模型的连续性。

如上所述，对于每条边，TriSoup顶点的编码需要两种信息：

·顶点标志，指示TriSoup顶点是否存在于边上，以及

·当存在时，沿着边的顶点位置。

因此，编码数据包括八叉树数据加上TriSoup数据。由于TriSoup模型而导致的数据的增加不只被通过TriSoup三角形重构点云的改进所补偿，如下文所述。

顶点标志由自适应二进制算术编码器编码，该编码器使用一个特定上下文来编码顶点标志。在以长度N＝2

在叶节点内，如果叶节点的边上存在至少三个顶点，从TriSoup顶点构建三角形。图2中示出构建的三角形。

显然，三角形的其他组合也是可能的。三角形的选择来自三步过程：

1.确定沿三个轴之一的主导方向

2.根据主导方向对TriSoup顶点进行排序

3.基于顶点的有序列表构建三角形

关于当前叶子内的三角形的准确位置的知识并非必须的，并且可从顶点得出。

将使用图3解释该过程。测试三个轴的每个，并且将使得三角形的总表面最大化的一个轴保持为主导轴。

为附图简单起见，图3仅描绘了两个轴上的测试。

通过将立方体和TriSoup顶点竖直地投影在2D平面上执行沿竖直轴的第一测试(上部)。然后按照相对于投影节点(正方形)的中心的顺时针顺序对顶点进行排序。然后，基于有序顶点遵循固定规则构建三角形。这里，当涉及到4个顶点时，有系统地构建三角形123和134。当存在3个顶点时，仅一个可能的三角形是123。当存在5个顶点时，固定规则可以是构建三角形。依此类推，最多12个顶点。

通过将立方体和TriSoup顶点水平地投影在2D平面上执行沿水平轴的第二测试(左部)。

竖直投影展现了最大的三角形的2D总表面，因此主导轴被选为竖直，并根据节点内(如图3中)的竖直投影的顺序获得构建的TriSoup三角形。注意，将水平轴作为主导将导致三角形的另外的构建。

注意，将水平轴作为主导将导致如图4所示的三角形的另外的构建。

通过最大化投影表面来适当地选择主导轴，导致点云的连续重构而没有孔。

通过光线追踪执行TriSoup三角形到点的渲染。通过光线追踪的所有渲染点的集合将形成解码的点云。

对于光线追踪，如图5所示，沿平行于轴的三个方向发射光线。它们的原点是具有与渲染所需的采样精度相对应的精度的整数(体素化)坐标的点。然后将光线与TriSoup三角形的交点(如果有的话，虚线点)进行体素化(＝以所需的采样精度四舍五入到最近的点)并添加到渲染点列表中。

在将TriSoup应用于所有叶节点(即构建三角形和通过光线追踪获得点)之后，所有渲染点的列表中相同点的副本被丢弃(即在共享相同位置和体积的所有体素中仅保留一个体素)以获得一组解码(唯一)点。

基于上述基本概念，可对TriSoup编码进行改进。例如，通过计算质心点，其坐标是所有(有序)顶点Vi的平均坐标，参见图6，其中使用棋盘填充描绘质心点C。质心点被用作枢轴点。从绕质心点C旋转的有序顶点(V

·V

·V

·…

·V

·V

其中，顶点按照顺时针排序，并且哪个顶点被选为V1并不重要。

该构建保持模型的自然对称性，而并不特别处理任意一些三角形。此外，提供额外自由度以改进模型的准确度，即质心点C的定位。

因此，可以通过将残差位置编码到比特流中进一步改进质心点C的定位，使得质心点C的位置距离点云的原点更近。

例如，C＝C

其中，C

编码残差可以是3D残差。然而，观察到3D残差优势很小，因为它要求编码许多位以及该许多位并不能通过模型的更好准确度而得到充分补偿。因此，优选地编码1D残差C

例如，可以构建法向矢量

其中，α是编码在比特流中的1D有符号的标量值，参见图12。可以通过以下两个步骤来得到法向矢量

2.以及然后归一化

其中，×是两个矢量之间的叉积(也称为矢量(叉)积)，以及边

将理解的是，矢量

编码器确定值α，其被编码成比特流并可通过解码比特流来获得。值α可被二值化，并且可以使用二进制熵编码器诸如算术编码器或上下文自适应二进制编码器诸如CABAC对每个位进行编码。

值α可被二值化为：

·标志f

·符号，指示α是否大于0或小于0，

·标志f

·余数|α|-2，由expGolomb编码器编码。

通过考虑属于当前叶节点的点云的所有点P

并且，在该距离d

因此通过下式获得值α：

其中S为点P

在一些实施例中，可以应用进一步改进。例如，通过对叶节点中的三角形建模进行精炼以使重构的表面在解码器侧更接近原表面。具体地，在解码器侧获得解码顶点和解码质心点C之后，朝向凸或凹区域的叶节点中的矢量

对于点云数据的trisoup编码中的三角形建模的精炼方法的实施例包括以下步骤。

在解码器侧，在从比特流解码每个叶节点的顶点之后，通过迭代处理遍历每个叶节点以构建三角形，用于通过光线追踪方法得到重构的点云。

具体地，对于每个叶节点，

·如果处理的叶节点具有多于三个顶点，

·首先，确定质心点C以构建建模表面，建模表面由顶点和质心点C构建的三角形构成。具体地，确定叶节点中的顶点(V

·然后，确定叶节点中的建模表面的突出度。在优选实施例中，判断质心残差C

·如果质心残差C

·否则，并不精炼叶节点中的所有顶点(V

·然后，使用叶节点中的所有顶点(包括精炼的顶点V’和其他非精炼的顶点V)结合质心点C构建三角形，以及对每个三角形应用光线追踪方法以得到叶节点中的重构点。

·否则，如果叶节点具有三个顶点，在处理的叶节点中不存在平均点C

·否则，如果叶节点具有少于三个顶点，对于该叶节点不构建三角形，因此对于该叶节点不能生成重构点。

如上所述，如果质心残差C

·首先，确定矢量

·然后，可以找到在叶节点中平行于轴axis_max的边上的顶点(V

·基于叶节点的质心残差矢量

其中offset为从V

按照顺序逐叶节点地精炼叶节点的边上的顶点，叶节点中的精炼的顶点可被用于重构三角形以得到重构的点云。然而，精炼方法仅基于当前叶节点的质心漂移信息，因此，在以下情况中，属于两个相邻叶节点的边上的顶点可以沿

·情况(a)，两个相邻叶节点的质心沿其漂移的

·情况(b)，即使它们的

然而，在重构的点云的表面中可导致一些可见孔，如图10所示。蓝正方形表示两个相邻叶节点的相邻表面，以及边上的具有虚线轮廓的蓝点表示未经精炼的点。

这些可见孔可导致较低视觉质量和较低压缩效率。因此，要解决的问题是移除由顶点精炼方法生成的孔。

本公开提供一种点云处理方法。该方法包括：获取比特流，其中，比特流包括叶节点的顶点的顶点信息；确定第一叶节点的第一质心残差信息；基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。在该技术方案中，可以基于当前叶节点之后相邻的叶节点的质心残差信息调整当前叶节点的顶点的顶点信息，从而可以更为准确的对从点云编码的比特流进行解码，并可以提高重构点云的性能。

将结合所附附图描述本公开提供的点云处理方法和装置、编码器、解码器以及可读存储介质。

参考图11，图11示出一种点云处理方法的流程图。如图11所示，该方法包括，但不限于以下步骤。

S111，获得比特流。比特流包括叶节点的顶点的顶点信息。

S112，确定第一叶节点的第一质心残差信息.

S113，基于第一质心残差信息，调整第二叶节点的顶点的顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻.

S114，基于调整后的第二叶节点的顶点的顶点信息，重构第二叶节点对应的目标点云。

S115，确定第三叶节点的第二质心残差新，其中第二叶节点按照光栅扫描顺序紧接在第一叶节点之前，并且第三叶节点按照光栅扫描顺序紧跟在第一叶节点之后。

S116，基于第二质心残差信息调整第一叶节点的除已经基于第一质心残差信息调整的目标顶点之外的顶点的顶点信息(即，当基于第二质心残差信息调整第一叶节点的顶点的顶点信息时，对于已经基于第一质心残差信息调整的目标顶点不进行调整)，其中目标顶点包括在第一叶节点的立方体与第二叶节点的立方体的共同边上的顶点。

S117，基于调整后的第一叶节点的顶点的顶点信息，重构第一叶节点对应的目标点云。

在本公开的实施例中，获得比特流包括获得对任一物体扫描得到的点云进行编码后的比特流。

示例性地，物体可以为桌子、汽车、雕塑、还可以为人，等等。

可以理解的是，将点云编码成比特流包括使用树(二叉树、四叉树、八叉树、十六叉树等)对点云的几何形状进行编码。

比特流包括叶节点的顶点的顶点信息。

例如，叶节点可以指点云的体积的八叉树结构的叶节点。

比特流还可以包括叶节点的结构信息。

叶节点的结构信息可以反映叶节点的立方体的位置分布。

可以理解的是，在基于叶节点的立方体的结构信息，确定叶节点的立方体的位置分布的情况下，可以根据光栅扫描顺序确定叶节点的处理顺序，进而可以确定相邻的叶节点。

需要说明的是，叶节点的立方体可以简称为叶节点，示例性地，叶节点的立方体的顶点的顶点信息可以称之为叶节点的顶点的顶点信息，或者第一叶节点的立方体的第一质心残差信息可以称之为第一叶节点的第一质心残差信息，或者第三叶节点的立方体的第二质心残差信息可以称之为第三叶节点的第二质心残差信息等等。

在一些实施例中，本公开实施例提供的点云处理方法可以包括S111至S117中的任一者。例如，S111可以作为独立实施例来实施，S112可以作为独立实施例来实施，S113可以作为独立实施例来实施，S114可以作为独立实施例来实施，S115可以作为独立实施例来实施，S116可以作为独立实施例来实施，S117可以作为独立实施例来实施，S111+S112+S113+S114可以作为独立实施例来实施，S115+S116+S117可以作为独立实施例来实施，但不限于此。

在一些实施例中，S115、S116、S117可以是可选的，在不同实施例中可以对这些步骤中的一个或多个步骤进行省略或替代。

需要说明的是，本公开实施例中，在获得每个叶节点对应的目标点云之后，所有叶节点对应的目标点云可以形成比特流解码后重构的完整点云。

在本公开实施例中，在根据光栅扫描顺序确定第一叶节点的立方体的第一质心残差信息，且确定存在第一叶节点之前相邻并满足预设条件的第二叶节点的情况下，可以根据第一质心残差信息，调整第二叶节点的立方体的顶点的顶点信息。

在一些实施例中，确定第一叶节点的立方体的第一质心残差信息包括：根据第一叶节点的立方体的顶点信息中包括的顶点位置，确定虚拟位置；基于顶点位置和虚拟位置构建三角形；基于构建的三角形确定第一叶节点的立方体的法向矢量；基于法向矢量确定质心位置；以及基于虚拟位置和质心位置，确定第一质心残差信息。

示例性地，如图6所示，基于第一叶节点的立方体的顶点信息中包括的顶点位置(V

在一些实施例中，在确定虚拟位置后可以基于虚拟位置和顶点位置构建三角形。

示例性地，如图6所示，基于虚拟位置和顶点位置构建三角形包括：V

在一些实施例中，在基于虚拟位置和顶点位置构建三角形后，可以基于构建的三角形确定第一叶节点的立方体的法向矢量。

示例性地，如图7所示，基于构建的三角形确定第一叶节点的立方体的法向矢量可以为

关于基于构建的三角形确定第一叶节点的立方体的法向矢量

在一些实施例中，在确定第一叶节点的立方体的法向矢量之后，可以基于第一叶节点的立方体的法向矢量确定质心位置。

示例性地，如图8所示，基于第一叶节点的立方体的法向矢量

关于基于第一叶节点的立方体的法向矢量

在一些实施例中，在确定虚拟位置和质心位置的情况下，可以基于虚拟位置和质心位置，确定第一质心残差信息。

示例性地，如图9所示，第一质心残差信息，可以为起点为质心位置C，终点为虚拟位置C

关于基于虚拟位置和质心位置确定第一质心残差信息的方法可参见图10的相关描述。

在一些实施例中，基于调整后的第一顶点信息重构第二叶节点对应的目标点云包括：基于调整后的第一顶点信息中包括的顶点位置以及第二叶节点的质心位置，构建三角形；以及基于构建的三角形，通过光线追踪重构目标点云。

在一些实施例中，当基于调整后的第一顶点信息重构第二叶节点对应的目标点云时，可以确定第二叶节点的质心位置，可以基于调整后的第一顶点信息中包括的顶点位置以及第二叶节点的质心位置构建三角形，并基于构建的三角形通过光线追踪重构目标点云。

关于确定第二叶节点的质心位置的方法可以参见确定第一叶节点的质心位置的方法的相关描述，此处不再赘述。

在一些实施例中，在第一叶节点的立方体满足第一条件的情况下，确定第一叶节点的立方体的第一质心残差信息。

或者，在确定第一叶节点为第一个叶节点，且第一叶节点的立方体未满足第一条件的情况下，无需确定第一叶节点的立方体的第一质心残差信息。

或者，在确定第一叶节点不为第一个叶节点，且第一叶节点的立方体未满足第一条件的情况下，确定第一叶节点的立方体的第一质心残差信息。

第一条件可以为第一叶节点的立方体的顶点的顶点信息中包括至少三个顶点，也即第一叶节点的立方体的顶点的数量大于或等于3。

在一些实施例中，在确定第一叶节点的立方体的顶点的顶点信息中包括至少三个顶点的情况下，确定第一叶节点的立方体的第一质心残差信息。

可以理解的是，当判断第一叶节点是否为第一个叶节点时，可以判断是否存在第一叶节点之前相邻的叶节点，若存在第一叶节点之前相邻的叶节点，则可以确定第一叶节点不是第一个叶节点，若不存在第一叶节点之前相邻的叶节点，则可以确定第一叶节点是第一个叶节点。

在本公开实施例中，在确定第一叶节点为第一个叶节点，且第一叶节点的立方体的顶点的顶点信息中包括少于三个顶点的信息的情况下，无需确定第一叶节点的立方体的第一质心残差信息。在此情况下，在此情况下，无法确定第一叶节点的立方体的第一质心残差信息。

在本公开实施例中，在确定第一叶节点不为第一个叶节点，且第一叶节点的立方体的顶点的顶点信息中包括少于三个顶点的信息的情况下，确定第一叶节点的立方体的第一质心残差信息。

在一些实施例中，在第一叶节点的立方体的顶点的顶点信息中包括少于三个顶点的信息的情况下，确定的第一叶节点的立方体的第一质心残差信息为0。

在本公开实施例中，在确定第一叶节点不是第一个叶节点的情况下，可以确定存在第一叶节点之前相邻的叶节点；若存在第一叶节点之前相邻的叶节点且满足预设条件，则可以确定第一叶节点之前相邻的叶节点为第二叶节点。预设条件可以为第一叶节点的立方体的顶点的顶点信息中包括至少三个顶点的信息。

在本公开实施例中，在确定第一叶节点的立方体的第一质心残差信息，且确定第二叶节点的情况下，可以基于第一质心残差信息，调整第二叶节点的立方体的顶点的顶点信息。

在一些实施例中，点云处理方法还包括：确定第二叶节点的立方体的第三质心残差信息；基于第三质心残差信息，确定第一移动方向和第一移动距离；将第二叶节点的立方体的顶点中位于与第一移动方向平行的边上且属性标记为第一属性的顶点，沿第一移动方向移动第一移动距离。

在本公开实施例中，在确定第二叶节点的情况下，在基于第一质心残差信息调整第二叶节点的立方体的顶点信息之前，可以确定第二叶节点的立方体的第三质心残差信息。基于第三质心残差信息，确定第一移动方向和第一移动距离。在调整第二叶节点的立方体的顶点的顶点信息时，将位于与第一移动方向平行的边上且属性标记为第一属性的顶点，沿第一移动方向移动第一移动距离。

关于确定第二叶节点的立方体的第三质心残差信息的方法可以参见确定第一叶节点的立方体的第一质心残差信息的相关描述，此处不再赘述。

在本公开实施例中，在确定第三质心残差信息的情况下，可以基于第三质心残差信息，确定第一移动方向和第一移动距离。

在一些实施例中，基于第三质心残差信息确定第一移动方向和第一移动距离包括：将第三质心残差信息具有最大分量的方向确定为第一移动方向；以及基于最大分量的长度确定第一移动距离。

在本公开实施例中，可以基于第三质心残差信息，将第三质心残差信息具有最大分量的方向确定为第一移动方向。可以基于最大分量的长度确定第一移动距离。

在一些实施例中，第一移动距离可以为最大分量的长度的二分之一、三分之一、五分之一、八分之一等等。

在本公开实施例中，在确定第一移动方向和第一移动距离之后，可以将第二叶节点的立方体的顶点中位于与第一移动方向平行的边上且属性标记为第一属性的顶点，沿第一移动方向移动第一移动距离。

在一些实施例中，点云处理方法还包括：将叶节点的立方体的顶点的属性标记为第一属性。

可以理解的是，在本公开实施例中，在获得叶节点的立方体的顶点的顶点信息的情况下，可以将叶节点的立方体的顶点属性标记为第一属性。

示例性地，第一属性可以为假(false)，表示属性为假的顶点为可调整的顶点。

示例性地，第一属性可以为负，表示属性为负的顶点为可调整的顶点。

示例性地，第一属性可以为“0”，表示属性为“0”的顶点为可调整的顶点。

示例性地，如图9所示，若第二叶节点的立方体为下方的立方体，第三质心残差信息为

在调整第二叶节点的立方体的顶点的顶点信息时，关于将第二叶节点的立方体的顶点中位于与第一移动方向平行的边上且属性标记为第一属性的顶点，沿第一移动方向移动第一移动距离的方法可以参见图9的相关描述。

在一些实施例中，基于第一质心残差信息调整第二叶节点的立方体的顶点信息包括：基于第一质心残差信息，确定第二移动方向和第二移动距离；将第一叶节点的立方体的顶点中位于与第二移动方向平行的边上且属性标记为第一属性的顶点，沿第二移动方向移动第二移动距离；当确定第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点时，基于两个不同顶点的位置，确定一个目标顶点的位置；以及以一个目标顶点的位置替换两个不同顶点的位置。

在本公开实施例中，当基于第一质心残差信息确定第二移动方向和第二移动距离时，可以将第一质心残差信息具有最大分量的方向确定为第二移动方向；以及根据最大分量的长度确定第二移动距离。

在一些实施例中，第二移动距离可以为最大分量的长度的二分之一、三分之一、五分之一、八分之一等等。

在本公开实施例中，在确定第二移动方向和第二移动距离的情况下，在调整第一叶节点的立方体的顶点的顶点信息时，将位于与第二移动方向平行的边上且属性标记为第一属性的顶点，沿第二移动方向移动第二移动距离。

示例性地，如图9所示，若第一叶节点的立方体为上方的立方体，第一质心残差信息为

若第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点，基于两个不同顶点的位置，确定一个目标顶点的位置，并用目标顶点的位置替换两个不同顶点的位置。

示例性地，如图9所示，若上方的立方体为第一叶节点的立方体，下方的立方体为第二叶节点的立方体，由于第一叶节点的立方体中位于与第二移动方向平行的边上的顶点沿第二移动方向移动第二移动距离，第二叶节点的立方体中位于与第一移动方向平行的边上的顶点沿第一移动方向移动第一移动距离，以及第一移动距离和第二移动距离可能不相等，则可能会导致第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点。

当然，在第一移动方向和第二移动方向不同的情况下，也可能会导致第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点。

当然，在第一移动距离和第二移动距离不相等，且第一移动方向和第二移动方向不同的情况下，也可能会导致第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点。

由此，在第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点的情况下，可以基于两个不同顶点的位置，确定一个目标顶点的位置，并用目标顶点的位置替换两个不同顶点的位置。

在一些实施例中，当基于两个不同顶点的位置确定一个目标顶点的位置时，可以选择两个不同顶点中的任一个作为目标顶点，确定两个不同顶点中的任一个顶点的位置为目标顶点的位置；或者还可以取两个不同顶点的位置之间的中间点的位置为目标顶点的位置，本公开实施例对此不作具体限制。

在一些实施例中，点云处理方法还包括：将目标顶点的属性标记为第二属性。

示例性地，第二属性可以为真(true)，表示属性为真的顶点为不可调整的顶点。

示例性地，第二属性可以为正，表示属性为正的顶点为不可调整的顶点。

示例性地，第二属性可以为“1”，表示属性为“1”的顶点为不可调整的顶点。

在本公开实施例中，在基于第一质心残差信息调整第二叶节点的立方体的顶点的顶点信息之后，可以基于调整后的第二叶节点的立方体的顶点的顶点信息，通过解码得到第二叶节点对应的目标点云。

在本公开实施例中，若基于光栅扫描顺序确定第一叶节点之后相邻的第三叶节点的立方体的第二质心残差信息，当基于第二质心残差信息调整第一叶节点的立方体的顶点信息时，对已经基于第一质心残差信息调整的目标顶点不进行调整。目标顶点为第一叶节点的立方体与第二叶节点的立方体的共同边上的顶点。

在一些实施例中，在第三叶节点的立方体满足第一条件的情况下，确定第三叶节点的立方体的第二质心残差信息。或者在确定第三叶节点不为第一个叶节点，且第三叶节点的立方体未满足第一条件的情况下，确定第三叶节点的立方体的第二质心残差信息。

在本公开实施例中，在第三叶节点的立方体满足第一条件的情况下，确定第三叶节点的立方体的第二质心残差信息。

在本公开实施例中，在确定第三叶节点不为第一个叶节点，且第三叶节点的立方体未满足第一条件的情况下，确定第三叶节点的立方体的第二质心残差信息。

关于第一条件可以参见前述实施例的相关描述，此处不再赘述。

在第三叶节点的立方体未满足第一条件的情况下，确定第三叶节点的立方体的第二质心残差信息为0。

在一些实施例中，基于第二质心残差信息调整第一叶节点的立方体中除已经基于第一质心残差信息调整的目标顶点之外的顶点的顶点信息，包括：基于第二质心残差信息，调整第一叶节点的立方体的属性为第一属性的顶点的顶点信息。

在本公开实施例中，当基于第二质心残差信息调整第一叶节点的立方体的顶点的顶点信息时，可以调整第一叶节点的立方体的属性为第一属性的顶点的顶点信息，而对于已经基于第一质心残差信息调整的目标顶点不进行调整。

为了更好的理解本公开，提供了一个示例实施例。

提出了一种精炼方法。在该方法中，在当前trisoup编码之后对一个叶节点应用光线追踪，以及当处理当前叶节点以获得其顶点和质心点信息时，可以基于当前叶节点的质心点信息(可以是质心残差)精炼先前叶节点的顶点信息，以及然后可以基于精炼的顶点对先前叶节点应用光线追踪。

此外，在所提出方法中，为了维持至多一个顶点在两个相邻叶节点的边上，在当前迭代中处理当前叶节点时，已在先前迭代中被精炼的先前叶节点的顶点将不再被精炼。

通过这样做，可以改进重构的点云的性能，以及相较于trisoup编码不会增大所提出方法的复杂性。

在优选实施例中，按照光栅扫描顺序处理叶节点，以及在解码过程中，通过迭代处理遍历每个叶节点以重构点云。在迭代之前，限定一个数据结构LeafInfor，其包含以下信息：

A.叶节点的8个拐角点中的最低位置，其可被命名为Leafpos；

B.叶节点的质心信息CentroidDrift，其可包括叶节点内的所有顶点的平均位置C

叶节点的顶点信息，其包括叶节点中的顶点的数量TriCount，每个顶点的位置VerticePos，以及每个顶点的属性IsSticked，其中属性IsSticked指示当处理当前叶节点以得到先前叶节点的精炼的顶点时属于叶节点的顶点是否可被精炼/调整，以及若叶节点中的顶点的IsSticked为真，则顶点不能被精炼/调整；否则，若叶节点中的顶点的IsSticked为假，则顶点可被精炼/调整，以及IsSticked最初被设为假。

C.可以限定两个索引i,j用于叶节点的迭代：其中i为处理的叶节点的索引以迭代地获得顶点信息和质心残差信息，i的范围可以从0到N-1，其中N为trisoup编码中的叶节点的数量；以及j为光线追踪的叶节点的索引以迭代地得到重构的点云，j的范围可以从1到N，其中N为trisoup编码中的叶节点的数量，其中j＝i+1。

限定遵循数据结构LeafInfor的变量PrevLeafInfor，以存储顶点信息和质心点信息，用于在处理当前叶节点时光线追踪先前叶节点。

判断当前叶节点是否为第一个叶节点(i是否等于0)。

如果是第一个(若i＝0)，则确定当前叶节点的顶点信息和质心信息。

如果当前叶节点的顶点的数量TriCount小于三，则跳过当前叶节点的顶点精炼和质心精炼过程，并将当前叶节点的信息(Leafpos,TriCount,质心残差信息CentroidDrift,VerticePos,以及属性信息IsSticked)存储在变量PrevLeafInfor中，其将在下次迭代中被用于光线追踪当前叶节点。

如果当前叶节点的顶点的数量TriCount大于或等于三，则将确定质心残差信息，其被用来精炼当前叶节点的顶点，稍后将描述详细过程，并将当前叶节点的信息(Leafpos,TriCount,质心残差信息CentroidDrift,精炼的顶点的位置VerticePos,以及属性信息IsSticked)存储在变量PrevLeafInfor中，其将在下次迭代中被用于光线追踪当前叶节点。

如果不是第一个，首先，判断先前叶节点的顶点的数量TriCount_prev是否小于三，以确定是否需要先前叶节点的光线追踪。如果TriCount_prev<3，则将不对先前叶节点应用光线追踪。否则，将使用变量PrevLeafInfor中的当前叶节点的质心信息基于先前叶节点的精炼的顶点对先前叶节点应用光线追踪。

然后，确定当前叶节点的顶点信息和质心信息。

如果当前叶节点的顶点的数量TriCount小于三，则跳过当前叶节点的顶点精炼和质心精炼过程，并将当前叶节点的信息(Leafpos,TriCount,质心残差信息CentroidDrift,VerticePos,以及属性信息IsSticked)存储在变量PrevLeafInfor中，其将在下次迭代中被用于光线追踪当前叶节点。

如果当前叶节点的顶点的数量TriCount大于或等于三，则将确定质心残差信息，其被用来精炼当前叶节点的顶点，稍后将描述详细过程，并将当前叶节点的信息(Leafpos,TriCount,质心残差信息CentroidDrift,精炼的顶点的位置VerticePos,以及属性信息IsSticked)存储在变量PrevLeafInfor中，其将在下次迭代中被用于光线追踪当前叶节点。

判断当前叶节点的顶点的数量TriCount是否小于三，以确定对于当前叶节点是否需要计算质心信息以及质心信息也被用来精炼先前叶节点的顶点。如果TriCount>3，则如在当前trisoup编码中计算质心质心点C和质心残差矢量信息。

以及如果质心残差幅值大于阈值Th，则确定质心残差矢量具有最大分量的轴方向M。

以偏置调整当前叶节点的沿轴方向M的边的顶点V，并令其为V’，然后迭代先前叶节点的顶点，以仅当顶点V_prev满足在先前迭代(当处理先前叶节点时)期间未被精炼的条件时，精炼沿先前叶节点的方向M的顶点V_prev并令其处于与V’相同的位置。

然后，精炼的顶点将存储在存储器中，以在下次迭代中用于光线追踪。

图12示出另一点云处理方法的流程图。如图12所示，该方法包括，但不限于以下步骤。

S121，获取叶节点的顶点的顶点信息。

S122，将顶点信息编码成比特流。

S123，通过从比特流获取顶点信息来重构目标点云。

通过执行以下步骤重构目标点云：

确定第一叶节点的第一质心残差信息；

基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；

基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

在本公开的实施例中，可以通过使用树(二叉树、四叉树、八叉树、十六叉树等)对点云的几何形状进行编码来获得叶节点的顶点的顶点信息。例如，叶节点可以指点云的体积的八叉树结构的叶节点。

此外，可以获得叶节点的顶点的顶点信息和结构信息。

叶节点的结构信息可以反映叶节点的立方体的位置分布。

需要说明的是，叶节点的立方体可以简称为叶节点，示例性地，叶节点的立方体的顶点的顶点信息可以称之为叶节点的顶点的顶点信息，第一叶节点的立方体的第一质心残差信息可以称之为第一叶节点的第一质心残差信息，或者第三叶节点的立方体的第二质心残差信息可以称之为第三叶节点的第二质心残差信息。

在实施例中，在获得叶节点的立方体的顶点的顶点信息和结构信息的情况下，可以将顶点信息和结构信息编码成比特流。

在实施例中，通过从比特流获取顶点信息来重构目标点云。

关于重构目标点云的具体过程可以参见先前实施例的相关描述，在此不再赘述。

图13示出根据本公开的实施例的点云处理装置的框图。如图13所示，装置10包括数据获取单元11，确定单元12，调整单元13，以及重构单元14。

数据获取单元11用于获取比特流，其中，比特流包括叶节点的顶点的顶点信息。

确定单元12用于确定第一叶节点的第一质心残差信息。

调整单元13用于基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻。

重构单元14用于基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

在一些实施例中，确定单元12还用于确定第三叶节点的第二质心残差信息，其中第二叶节点按照光栅扫描顺序紧接在第一叶节点之前，并且第三叶节点按照光栅扫描顺序紧跟在第一叶节点之后。

调整单元13用于基于第二质心残差信息，调整第一叶节点的除已经基于第一质心残差信息调整的目标顶点之外的顶点的第二顶点信息，其中目标顶点包括在第一叶节点的立方体与第二叶节点的立方体的共同边上的顶点。

重构单元14还用于基于调整后的第二顶点信息，重构第一叶节点对应的目标点云。

利用根据本公开的实施例的点云处理装置，可以基于当前叶节点之后相邻的叶节点的质心残差信息调整当前叶节点的立方体的顶点的顶点信息，从而可以更为准确的对从点云编码的比特流进行解码，并可以提高重构点云的性能。

在一些实施例中，确定单元12还用于，当第三叶节点满足第一条件时，确定第二质心残差信息；或当确定第三叶节点不是第一个叶节点且第三叶节点未满足第一条件时，确定第二质心残差信息。

在一些实施例中，确定单元12还用于：确定第二叶节点的第三质心残差信息；基于第三质心残差信息，确定第一移动方向和第一移动距离；并将第二叶节点的顶点中位于与第一移动方向平行的边上且属性标记为第一属性的顶点，沿第一移动方向移动第一移动距离。

在一些实施例中，确定单元12还用于：确定第二叶节点的第三质心残差信息；基于第三质心残差信息，确定第一移动方向和第一移动距离；并将第二叶节点的顶点中位于与第一移动方向平行的边上且属性标记为第一属性的顶点，沿第一移动方向移动第一移动距离。

在一些实施例中，确定单元12还用于：将第三残差质心信息具有最大分量的方向确定为第一移动方向；以及基于最大分量的长度确定第一移动距离。

在一些实施例中，调整单元13还用于：基于第一质心残差信息，确定第二移动方向和第二移动距离；将第一叶节点的顶点中位于与第二移动方向平行的边上且属性标记为第一属性的顶点，沿第二移动方向移动第二移动距离；当确定第一叶节点的立方体和第二叶节点的立方体的共同边上存在两个不同顶点时，基于两个不同顶点的位置，确定一个目标顶点的位置；以及以一个目标顶点的位置替换两个不同顶点的位置。

在一些实施例中，装置还包括处理点云，处理单元用于将目标顶点的属性标记为第二属性。

在一些实施例中，调整单元13还用于：基于第二质心残差信息，调整第一叶节点的立方体的属性为第一属性的顶点的第二顶点信息。

在一些实施例中，确定单元12还用于：当第一叶节点满足第一条件时，确定第一质心残差信息；或当确定第一叶节点为第一个叶节点时，无需确定第一质心残差信息；或当确定第一叶节点不为第一个叶节点且第一叶节点未满足第一条件时，确定第一质心残差信息。

在一些实施例中，确定单元12还用于：基于第一叶节点的顶点的第二顶点信息中包括的顶点位置，确定虚拟位置；基于顶点位置和虚拟位置构建三角形；基于构建的三角形确定第一叶节点的法向矢量；基于法向矢量确定质心位置；以及基于虚拟位置和质心位置，确定第一质心残差信息。

在一些实施例中，重构单元14还用于：基于调整后的第一顶点信息中包括的顶点位置以及第二叶节点的质心位置，构建三角形；以及基于构建的三角形，通过光线追踪重构目标点云。

在一些实施例中，装置还包括处理单元，处理单元用于将叶节点的顶点的属性标记为第一属性。

图14示出根据本公开的实施例的另一点云处理装置的框图。如图14中所示，装置100包括信息获取单元101，编码单元102，以及点云重构单元103。

信息获取单元101用于获取叶节点的顶点的顶点信息。

编码单元102用于将顶点信息编码成比特流。

点云重构单元103用于通过从比特流获取顶点信息来重构目标点云。

通过执行以下步骤重构目标点云：

确定第一叶节点的第一质心残差信息；

基于第一质心残差信息，调整第二叶节点的顶点的第一顶点信息，其中第一叶节点与第二叶节点按照光栅扫描顺序相邻；

基于调整后的第一顶点信息，重构第二叶节点对应的目标点云。

为了实现上述实施例，本公开还提出了计算机存储介质。

本公开的实施例提供的计算机存储介质存储可执行程序，在处理器执行可执行程序后，可以实现先前技术方案任一个提供的点云处理方法，例如，如图11-12中至少一个中所示。

为了实现上述实施例，本公开还提出了计算机程序产品，包括计算机程序。当计算机程序被处理器执行时，可以实现如上述的点云处理方法。

为了实现上述实施例，本公开还提供了计算机程序，当其被处理器执行时，实现本公开的实施例中描述的点云处理方法。

参考图15，其示出编码器或解码器300的示例实施例的框图。编码器或解码器300包括处理器301和存储设备303。存储设备303还存储包括指令的计算机程序或应用，当指令被执行时，使得处理器301执行本文中描述的那些操作。例如，根据本文中描述的方法，指令可以编码并输出编码的比特流或解码比特流并输出点云的点。应当理解，指令可被存储在非暂时性计算机可读介质，诸如光盘、闪存设备、随机存储器、硬驱动等。当指令被执行时，处理器301执行指令中指定的操作和功能以进行操作，诸如实现所述过程的专用处理器。在一些示例中，这样的处理器可被称为“处理器电路”或“处理器电路系统”。

将理解的是，在多个计算设备中实现根据本公开的解码器和/或编码器，计算设备包括而不限于服务器、适当编程的通用计算机、机器视觉系统以及移动设备。可以通过软件实现解码器或编码器，以执行本文中描述的功能，软件包括用于配置一个或多个处理器的指令。软件指令可被存储在任一适当的非暂时性计算机可读存储器，包括CD、RAM、ROM、闪存等。

将理解的是，可以使用标准计算机编程技术和语言，可以实现本文中描述的解码器和/或编码器、实现用于配置编码器或解码器的所述方法/过程、模块、例程、过程、线程或其他软件组件。本公开不限于特定处理器、计算机语言、计算机编程协议、数据结构、其他此类实施细节。本领域技术人员将认识到，所述过程可被实现为存储在易失性或非易失性存储器中的计算机可读代码的部分、或专用集成芯片(ASIC)的部分等。

可以作出所述实施例的一些修改和改变。因此，上述实施例被视为示例性而非限制性的。特别地，可以彼此自由地组合实施例。