对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
文献发布时间:2024-05-31 01:29:11
技术领域
本申请一般而言涉及点云压缩,并且具体地涉及对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置。
背景技术
本节旨在向读者介绍本领域的各个方面,这些方面可以与下面描述和/或要求保护的本申请的至少一个实施例的各个方面有关。本讨论被认为有助于向读者提供背景信息以促进更好地理解本申请的各个方面。
作为3D数据的表示的一种格式,点云最近获得了关注,因为它们在表示所有类型的物理对象或场景方面具有多种能力。点云可以被用于各种目的,诸如文化遗产/建筑物,其中以3D方式扫描如雕像或建筑物之类的物体,以便在不发送或不访问物体的情况下共享物体的空间配置。而且,它是确保在物体可能被破坏的情况下保存物体的知识的方式;例如,被地震破坏的寺庙。此类点云通常是静态的、彩色的和巨大的。
另一个用例是在拓扑学和制图学中,其中使用3D表示允许地图不限于平面并且可以包括地貌。谷歌地图现在是3D地图的良好示例,但使用网格而不是点云。不过,点云可以是3D地图的合适数据格式,并且此类点云通常是静态的、彩色的且巨大的。
虚拟现实(VR)、增强现实(AR)和沉浸式世界最近成为热门话题,并被许多人预见为2D平面视频的未来。其基本理念是让观众沉浸在周围环境中,而标准电视只允许观众观看他/她眼前的虚拟世界。根据观众在环境中的自由度,沉浸感有几个层次。点云是分发VR/AR世界的良好格式候选。
汽车行业,尤其是可预见的自动驾驶汽车,也是可以大量使用点云的领域。自动驾驶汽车应当能够“探测”它们的环境,以基于检测到的它们的最接近的附近物体的存在和性质以及道路配置做出良好的驾驶决策。
点云是位于三维(3D)空间中的点集合,可选地为每个点附加附加值。这些附加值通常被称为属性。属性可以是例如三分量颜色、材料特性(如反射率)和/或与点相关联的表面的双分量法向量。
因此,点云是几何数据(3D空间中点的位置,通常由3D笛卡尔坐标x、y和z表示)和属性的组合。
点云可以由各种类型的设备感测,如相机的阵列、深度传感器、激光器(光检测和测距,也称为激光雷达)、雷达,或者可以由计算机生成(例如,在电影后期制作中)。取决于用例,点云可以有数千到数十亿个点用于制图应用。点云的原始表示要求每个点的比特数非常多,每个笛卡尔坐标x、y或z至少有十几个比特,并且可选地为(一个或多个)属性提供更多比特,例如10比特的三倍以用于颜色。
在许多应用中,通过仅消耗合理数量的比特率或存储空间同时维持可接受的(或优选地非常好的)体验质量,能够向最终用户分发点云或将它们存储在服务器中,是非常重要的。这些点云的高效压缩是使许多沉浸式世界的分发链实用的关键点。
对于由最终用户进行的分发和可视化,例如在AR/VR眼镜或任何其他支持3D的设备上,压缩可以是有损的(如在视频压缩中)。其他用例确实要求无损压缩,如医疗应用或自动驾驶,以避免更改从压缩和传输的点云的后续分析中获得的决策的结果。
直到最近,大众市场还没有解决点云压缩(又名PCC)问题,也没有可用的标准化的点云编解码器。2017年,标准化工作组ISO/JCT1/SC29/WG11,又名运动图像专家组或MPEG,发起了关于点云压缩的工作项目。这带来了两个标准,即
·MPEG-I第5部分(ISO/IEC 23090-5)或基于视频的点云压缩(又名V-PCC)
·MPEG-I第9部分(ISO/IEC 23090-9)或基于几何的点云压缩(又名G-PCC)
V-PCC编码方法通过对3D对象执行多次投影来压缩点云,以获得打包到图像(或处理动态点云时的视频)中的2D图块。然后使用现有的图像/视频编解码器压缩获得的图像或视频,从而允许充分利用已经部署的图像和视频解决方案。就其本质而言,V-PCC仅在密集和连续的点云上是高效的,因为图像/视频编解码器无法压缩非平滑的图块,例如从激光雷达感测到的稀疏几何数据的投影中获得的非平滑的图块。
G-PCC编码方法有两种用于压缩感测到的稀疏几何数据的方案。
第一种方案基于占用树,在本地是八叉树、四叉树或二叉树中的任何类型的树,表示点云几何形状。被占用的节点被拆分直到达到一定尺寸,并且被占用的叶节点提供点的3D位置,通常在这些节点的中心处。占用信息通过占用标志携带,占用标志发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术,可以获得密集点云的占用标志的高水平压缩。稀疏点云也可以通过直接编码节点内非最小尺寸的点的位置来解决,当节点中仅存在孤立点时停止树构造;这种技术被称为直接编码模式(DCM)。
第二种方案基于预测树,其中每个节点表示一个点的3D位置,并且节点之间的父/子关系表示从父到子的空间预测。这种方法只能解决稀疏点云,并提供比占用树更低时延和更简单解码的优势。但是,相对于第一种基于占用的方法,压缩性能仅稍微好一点,并且编码也是复杂的,因为编码器在构造预测树时必须(在潜在预测器的长列表中)集中寻找最佳预测器。
在这两种方案中,属性(解码)编码是在完成几何(解码)编码之后执行的,实际上导致了两次编码。因此,联合几何/属性低延迟是通过使用将3D空间分解成独立编码的子体积的切片获得的,而无需在子体积之间进行预测。当使用许多切片时,这会严重影响压缩性能。
将对编码器和解码器简单性、低时延和压缩性能的要求结合在一起仍然是现有点云编解码器尚未令人满意解决的问题。
重要的用例是传输由安装在移动车辆上的至少一个传感器感测到的稀疏几何数据。这通常要求简单且低时延的嵌入式编码器。要求简单性,因为编码器可能部署在并行执行其他处理(诸如(半)自动驾驶)的计算单元上,从而限制了点云编码器可用的处理能力。还要求低时延以允许从汽车到云端的快速传输,以便基于多车辆采集实时查看本地交通,并基于交通信息做出足够快速的决策。虽然通过使用5G可以使传输时延足够低,但编码器本身不应因编码而引入太多时延。而且,压缩性能极其重要,因为从数百万辆汽车到云端的数据流预计将非常庞大。
与自旋激光雷达感测到的稀疏几何数据相关的特定先验已在G-PCC中得到利用,并已经导致非常显著的压缩增益。
首先,G-PCC利用来自自旋激光雷达头10的感测的仰角(相对于水平地面),如图1和图2中所描绘的。激光雷达头10包括传感器11(例如,激光器)的集合,这里表示了五个传感器。自旋激光雷达头10可以围绕竖直轴z旋转以感测物理对象的几何数据。然后,激光雷达感测到的几何数据用球坐标(r
沿着方位角的规律分布已经在激光雷达感测到的数据上观察到,如图3上所描绘的。这种规律性在G-PCC中用于获得点云的准1D表示,其中,直到噪声,只有半径r
通过在球坐标空间中通过使用角度的离散性质基于已经编码的点预测当前点的位置,这种准1D特性已在G-PCC中在占用树和预测树两者中得到利用。
更精确地说,占用树大量使用DCM,并通过使用上下文自适应熵编码器对节点内的点的直接位置进行熵编码。然后从点位置到角坐标(φ,θ)的本地转换以及这些角坐标相对于从先前编码的点获得的离散角坐标(φ
G-PCC确实使用角度先验来更好地压缩自旋激光雷达感测到的稀疏几何数据,但不使编码结构适应感测的次序。就其本质而言,占用树在输出点之前必须编码到其最后的深度。这种占用是按照所谓的广度优先次序进行编码的:首先对根节点的占用进行编码,指示其被占用的子节点;然后对每个被占用的子节点的占用进行编码,指示被占用的孙子节点;依此类推,在树深度上迭代,直到可以确定叶节点并将对应点提供/输出到应用或(一个或多个)属性编码方案。关于预测树,编码器可以自由选择树中的点的次序,但为了获得良好的压缩性能,为了优化预测准确性,G-PCC建议每个传感器编码一棵树。这主要具有与每个传感器使用一个编码切片相同的缺点,即,非最优压缩性能,因为不允许传感器之间的预测并且不提供编码器低时延。更糟糕的是,每个传感器应当有一个编码处理,并且核心编码单元的数量应当等于传感器的数量;这是不切实际的。
简而言之,在用于感测点云的稀疏几何数据的自旋传感器头的框架中,现有技术没有解决将编码和解码的简单性、低时延和压缩性能相结合的问题。
此外,通过使用自旋传感器头感测点云的稀疏几何数据具有一些缺点,并且可以使用其他类型的传感器头。
生成自旋传感器头的自旋(旋转)的机械零件容易损坏并且成本高昂。另外,根据构造,视角必须为2π。这不允许以高频率感测特定的感兴趣区域,例如感测车辆前方可能比感测后方更有趣。实际上,在大多数情况下,当传感器附接到车辆时,2π视角的大部分被车辆本身遮挡,而被遮挡的视角不需要被感测。
最近出现了新类型的传感器,允许更灵活地选择待感测的区域。在大多数的最近设计中,传感器可以更自由地并且以电子方式(从而避免易碎的机械零件)移动,以获得3D场景中的多种感测路径,如图5中所描绘的。在这个图5上,示出了四个传感器的集合。它们的相对感测方向(即,方位角和仰角)相对于彼此是固定的,但是它们总体上沿着二维角坐标(φ,θ)空间上的虚线描绘的可编程感测路径来感测场景。然后,可以沿着感测路径规律地感测点云的点。如图6上所图示的,当检测到感兴趣区域R时,一些传感器头还可以通过增加其感测频率来调整其感测频率。这种感兴趣区域R可以与例如在前一帧中先前分段的或在感测期间动态分段的近距离对象、移动对象或任何对象(行人、其他车辆等)相关联。图7图示了由包括两个传感器的传感器头使用的感测路径(典型的之字形感测路径)的另一个示例,当检测到感兴趣区域(灰色阴影点和灰色散列点)时这两个传感器能够增加它们的感测频率。使用之字形感测路径可以有利地用于感测3D场景的有限(方位角)角扇区。由于传感器可以附接到车辆,除非传感器位于汽车的顶部,否则其感兴趣的视口必然受到阻碍场景的车辆本身的存在的限制。因此,具有有限探测角扇区的传感器受到高度关注,并且更容易集成到车辆。
如图8中所图示的,包括单个传感器的传感器头也可以用于感测多个位置(图8上的两个竖直位置),例如使用随旋转(这里为竖直旋转)而振荡的镜上的反射。在这种情况下,不是使用传感器的集合,而是使用沿着感测路径(这里为之字形感测路径)处于不同角位置(即,图8上具有不同仰角)的单个传感器来模仿使用多个传感器的集合的感测。为了简单起见,在下面的描述和权利要求中,“传感器头”可以是指物理传感器的集合或模仿传感器的集合的感测仰角索引的集合。另外,本领域技术人员将理解的是,“传感器”也可以指在每个感测仰角索引位置中的传感器。
将编码器和解码器的简单性、低时延和任何类型的传感器感测到的点云的压缩性能的要求结合在一起仍然是现有点云编解码器尚未令人满意地解决的问题。
考虑到前述内容设计了本申请的至少一个实施例。
发明内容
下一节呈现了至少一个实施例的简化概要以便提供对本申请的一些方面的基本理解。本概要不是实施例的详尽概述。它不旨在识别实施例的关键或重要元素。以下概要仅以简化形式呈现实施例中的至少一个的一些方面作为在文档中其他地方提供的更详细描述的前序。
根据本申请的第一方面,提供了一种将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的方法,其中该方法包括:将表示感测路径的信息编码到比特流中,其中感测路径是在二维角坐标空间中定义的,该二维角坐标空间包括代表方位角的方位角坐标和仰角坐标,该方位角表示传感器相对于参考物的感测角,该仰角坐标表示传感器相对于水平参考平面的仰角;感测路径被用于根据表示点云的感测到的点的潜在位置的有序粗略点(coarse point)来感测点云的点,每个粗略点是在二维角坐标空间中根据与感测时刻相关联的一个样本索引和与传感器相关联的一个传感器索引定义的;所述样本索引是根据感测方案(sensing scheme)沿着感测路径定义的;对于点云的每个点,根据与点云的点沿着感测路径的感测时刻相关联的样本索引和感测方案获得在二维角坐标空间中的一个感测点;通过在二维角坐标空间中用移位值来移位感测点来获得在二维角坐标空间中的一个粗略点,该移位值取决于与感测点云的点的传感器相关联的传感器索引;以及相对于粗略点将点云的点编码到比特流中。
根据本申请的第二方面,提供了一种从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的方法,其中该方法包括从比特流中解码表示感测路径的信息,其中感测路径是在二维角坐标空间中定义的,该二维角坐标空间包括代表方位角的方位角坐标和仰角坐标,该方位角表示传感器相对于参考物的感测角,该仰角坐标表示传感器相对于水平参考平面的仰角;感测路径已被用于根据表示点云的感测到的点的潜在位置的有序粗略点来感测点云的点,每个粗略点是在二维角坐标空间中根据与感测时刻相关联的一个样本索引和与传感器相关联的一个传感器索引定义的;所述一个样本索引是根据感测方案沿着感测路径定义的;对于点云的每个点,根据与点云的点沿着感测路径的感测时刻相关联的样本索引和感测方案获得在二维角坐标空间中的一个感测点;通过在二维角坐标空间中用移位值来移位感测点来获得在二维角坐标空间中的粗略点,该移位值取决于与感测点云的点的传感器相关联的传感器索引;以及相对于粗略点对点云的点进行解码。
在一些实施例中,粗略点的角坐标是通过用方位角移位系数和仰角移位系数移位在二维角坐标空间中的感测点的角坐标获得的,方位角移位系数和仰角移位系数两者均取决于传感器索引。
在一些实施例中,方位角移位系数和/或仰角移位系数可以相对于与至少一个其他传感器索引对应的至少一个先前编码的方位角移位系数和至少一个先前编码的仰角移位系数进行编码或解码。
在一些实施例中,方位角移位系数等于0。
在一个实施例中,方位角移位系数之和等于0,并且仰角移位系数之和等于0。
在一些实施例中,粗略点的角坐标是通过将二维角坐标空间中的感测点的角坐标进一步移位一偏移量获得的,该偏移量取决于感测延迟和感测点的二维角速度。
在一些实施例中,感测延迟被编码到比特流中。
在一些实施例中,感测路径对应于特定参考传感器的感测轨迹。
根据本申请的第三方面,提供了一种将由与传感器索引相关联的至少一个传感器感测到的点云的点编码成编码的点云数据的比特流的装置。该装置包括被配置为执行根据本申请的第一方面的方法的一个或多个处理器。
根据本申请的第四方面,提供了一种从编码的点云数据的比特流中解码由与传感器索引相关联的至少一个传感器感测到的点云的点的装置。该装置包括被配置为执行根据本申请的第二方面的方法的一个或多个处理器。
根据本申请的第五方面,提供了一种包括指令的计算机程序产品,当程序被一个或多个处理器执行时,该指令使得一个或多个处理器执行根据本申请的第一方面的方法。
根据本申请的第六方面,提供了一种非暂态存储介质,该非暂态存储介质携带用于执行根据本申请的第一方面的方法的程序代码的指令。
根据本申请的第七方面,提供了一种包括指令的计算机程序产品,当程序被一个或多个处理器执行时,该指令使得一个或多个处理器执行根据本申请的第二方面的方法。
根据本申请的第八方面,提供了一种非暂态存储介质,该非暂态存储介质携带用于执行根据本申请的第二方面的方法的程序代码的指令。
实施例中的至少一个的具体性质以及该实施例中的至少一个的其他目的、优点、特征和用途将从以下结合附图对示例的描述中变得明显。
附图说明
现在将以示例的方式参考示出本申请的实施例的附图,并且其中:
图1示出了根据现有技术的传感器头及其一些参数的侧视图;
图2示出了根据现有技术的传感器头及其一些参数的俯视图;
图3示出了根据现有技术的由自旋传感器头感测到的数据的规律分布;
图4示出了根据现有技术的3D空间中点云的点的表示;
图5示意性地示出了根据现有技术的能够沿着可编程感测路径感测真实场景的传感器头的示例;
图6示意性地示出了根据现有技术的能够根据不同感测频率沿着可编程感测路径来感测真实场景的传感器头的示例;
图7示意性地示出了根据现有技术的能够根据不同感测频率沿着可编程之字形感测路径来感测真实场景的传感器头的示例;
图8示意性地示出了能够根据不同感测频率沿着可编程之字形感测路径来感测真实场景的单个传感器头;
图9示出了根据至少一个实施例的将点云编码成编码的点云数据的比特流的方法100的步骤的示意性框图;
图10示意性地图示了根据一个实施例的感测路径SP的表示;
图11示意性地图示了根据一个实施例的通过感测方案采样的感测路径SP;
图12示意性地图示了根据一个实施例的粗略点的排序的示例;
图13示意性地图示了根据一个实施例的二维坐标(s,λ)空间中有序点的表示;
图14示意性地图示了根据一个实施例的次序索引差的计算;
图15示意性地图示了根据一个实施例从感测点获得粗略点;
图16示意性地图示了根据一个实施例从感测点获得粗略点;
图17示意性地图示了根据一个实施例从感测点获得粗略点;
图18图示了根据至少一个实施例的从编码的点云数据的比特流中解码点云的方法200的步骤的示意性框图;以及
图19图示了其中实现各个方面和实施例的系统的示例的示意性框图。
在不同的图中可以已经使用相似的附图标记来表示相似的组件。
具体实施方式
下文将参考附图更全面地描述实施例中的至少一个,其中图示了实施例中的至少一个的示例。但是,实施例可以以许多替代形式来实施并且不应当被解释为限于本文阐述的示例。因而,应当理解的是,无意将实施例限制于所公开的特定形式。相反,本公开旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代方案。
至少一个方面一般而言涉及点云编码和解码,另一方面一般而言涉及传输生成或编码的比特流,并且另一方面涉及接收/访问解码的比特流。
此外,本方面不限于诸如与点云压缩相关的MPEG-I第5部分或第9部分之类的MPEG标准,并且可以应用于例如其他标准和推荐,无论是预先存在的还是未来开发的,以及任何此类标准和推荐(包括MPEG-I第5部分和第9部分)的扩展。除非另有指示,或技术上排除,否则本申请中描述的方面可以被单独或组合使用。
简而言之,本发明涉及根据感测路径对由任何类型的传感器头感测到的点云进行编码/解码。这种传感器头和感测路径的一些示例仅出于说明性目的而在图3、图5-8中示出,因为任何类型的(一个或多个)传感器都可以被用于沿着任何感测路径感测点云的点。感测路径被编码/解码到比特流中。感测路径是根据二维角坐标空间中的传感器特点来定义的,该二维角坐标空间包括代表方位角的方位角坐标和仰角坐标,该方位角表示与参考物相关联的传感器的感测角,该仰角坐标表示与水平参考平面相关联的传感器的仰角。感测路径被用于根据表示点云的感测到的点的潜在位置的有序粗略点来感测点云的点。每个粗略点是根据与沿着感测路径的感测时刻相关联的一个样本索引和与传感器相关联的一个传感器索引来定义的。根据每个粗略点在有序粗略点中的排序,将次序索引与每个粗略点相关联。
对于点云中的每个点,获得与点云的点的感测时刻相关联的一个样本索引以及感测到点云的该点的传感器的传感器索引。
由样本索引和传感器索引形成的对识别点云的感测到的点的粗略点(潜在位置)。但是,出于多种原因,这些潜在位置中的一些可能未被感测到的点占用。例如,当传感器使用激光束来感测对象时,波束可能不会被反射(没有对象),或者可能反射太弱(由于不利的表面条件),或者可能不会在预定的时间窗口内反射(对象太远),并且没有检测到对象。因此,粗略点(潜在位置)的占用应被编码到比特流中以用信号通知粗略点(潜在位置)是否被感测到的点占用。一个次序索引差被编码到比特流中,以对点云的感测到的点对粗略点的占用进行编码。该次序索引差表示在由样本索引和传感器索引识别出的粗略点的次序索引和在有序粗略点的列表中的与点云的先前感测到的点相关联的另一个粗略点的次序索引之间的差。根据样本索引和感测方案获得二维角坐标空间中的一个感测点。二维角坐标空间中的一个粗略点是通过用取决于与感测点云的点的传感器相关联的传感器索引的移位值来移位二维角坐标空间中的感测点获得的。然后,相对于粗略点将点云的点编码到比特流中。
本发明介绍了粗略点的使用。由点云的感测到的点占用的被占用的粗略点是该感测到的点的粗略表示,并且该感测到的点的角坐标可以相对于该被占用的粗略点的角坐标来编码。相对于粗略点对点云的点进行编码是有效的,与所使用的传感器头无关,并且可以使用任何类型的传感器,包括但不限于特定的传感器头,诸如自旋传感器头或能够沿着可编程感测路径来感测点云的点的传感器头。
与G-PCC相比,引入粗略表示来编码点云几何数据是有利的,因为它提供了更好的压缩增益、更低的复杂性以及非常低的时延,因为编码器和解码器两者都按照其感测次序处理点。
本发明通过用取决于与感测点云的点的传感器相关联的传感器索引的移位值来移位二维角坐标空间中的感测点来获得二维角坐标空间中的粗略点。
移位二维空间中的感测点的坐标需要非常低的计算资源来获得点云的感测到的点的粗略表示。
图9图示了根据至少一个实施例的将点云编码成编码的点云数据的比特流的方法100的步骤的示意性框图。
点云的几何数据(即,点云的点的3D位置)由任何传感器头感测,这些传感器头包括自旋传感器头和/或模仿多个传感器的单个传感器头。
在步骤110中,感测路径SP被表示为在二维角坐标(φ,θ)空间中定义的二维曲线。感测路径SP根据感测特点获得。二维角坐标(φ,θ)空间包括代表方位角的方位角坐标φ以及仰角坐标θ,该方位角表示传感器相对于参考物的感测角,该仰角坐标θ表示传感器相对于水平参考平面的仰角。
在图10上图示的步骤110的一个实施例中,感测路径SP可以由在二维角坐标(φ,θ)空间中具有角坐标(φ
控制点
在步骤110的一个实施例中,一个感测特点强制感测路径SP通过在感测路径SP的最后一个点与第一个点之间的额外插值来闭合。
在步骤110的一个实施例中,另一个感测特点强制感测路径SP是感测可在其上连续循环的固定路径。
在步骤110的一个实施例中,另一个感测特点强制感测路径SP是覆盖传感器的视口的至少一部分的之字形路径。
感测路径SP被用于根据有序的粗略点P
每个样本索引s与二维角坐标(φ,θ)空间中的感测点P
在图11中所示的步骤110的一个实施例中,感测方案可以提供感测路径SP的均匀采样,即,感测点P
在步骤110的一个实施例中,感测方案可以提供沿着感测路径SP的感测点P
在步骤110的一个实施例中,感测方案可以提供沿着感测路径SP的感测点P
在图12的示例性示例中,使用包括两个传感器的传感器头。两个传感器沿着的感测路径用虚线表示。对于每个样本索引s(每个感测时刻),定义两个粗略点。与第一传感器相关联的粗略点由图12上的黑色阴影点表示,并且与第二传感器相关联的粗略点由黑色散列点表示。这两个粗略点中的每个粗略点均属于由感测路径SP定义的传感器感测路径(虚线)。图13图示了二维坐标(s,λ)空间中有序粗略点的表示。图12和图13上的箭头说明了在两个相继的有序粗略点之间的链接。
根据每个粗略点在有序粗略点中的排序,将次序索引o(P)与每个粗略点相关联。
在一个实施例中,点云的感测到的点P所占用的粗略点的次序索引o(P)可以通过下式获得:
o(P)=λ+s*K
其中K是传感器的集合的传感器数量或单个传感器对于相同样本索引的不同位置的数量,λ是在感测时刻s感测到点云中的点P的传感器的传感器索引。
在步骤120中,可以将表示二维角坐标(φ,θ)空间中的感测路径SP的信息I(SP)编码到比特流B中。
在步骤120的一个实施例中,信息I(SP)可以包括表示控制点
在步骤120的一个实施例中,可以将控制点
在步骤120的一个实施例中,可以将控制点
(φ
例如,可以根据最后编码的控制点(m=1)的角坐标获得预测的角坐标:
(φ
在另一个示例中,可以通过线性组合多个先前编码的控制点(m=m1至m2)来获得预测的角坐标,其中m1和m2是两个整数值:
其中w
在一种变体中,坐标(φ
在一种变体中,角残差(φ
可以使用任何其他熵编码器。
在步骤120的一个实施例中,当感测路径SP不随时间变化时,信息I(SP)可以被编码为高级语法(HLS)的元素,例如在收集用于点云的一般编码参数的序列参数集(SPS)中。然后,编码的感测路径可以用于点云的几个实例(点云帧)。
在步骤120的一个实施例中,当感测路径SP是帧相关的时,可以将信息I(SP)编码为当前点云帧的几何参数集(GPS)中的高级语法示例。这需要在GPS中进行编码之前确定感测路径,并且可能会导致长达一帧的某个时延。
在步骤120的另一个实施例中,可以将信息I(SP)编码到携带编码的点云数据的比特流B中。
通过这样做,对感测路径SP进行动态编码保留了粗略表示的低时延优势,因为它只需要在编码之前对感测路径进行局部确定。
参考图9,针对由传感器头的传感器之一感测到的点云的每个点P运行步骤130至190,每个点P与传感器索引λ和感测时刻s对应,从而与有序粗略点中的被占用的粗略点对应。
点云的感测到的点P可以由三维笛卡尔坐标(x
在步骤130中,可以获得与点P的感测时刻相关联的一个样本索引s以及感测到点P的传感器的一个传感器索引λ。
由于传感器索引与用于在与样本索引s对应的感测时刻感测点P的传感器对应,因此样本索引s和传感器索引λ是在感测期间以直接方式获得的。
在步骤140中,可以将一个次序索引差Δo编码到比特流B中。次序索引差Δo表示在由样本索引s和传感器索引λ识别出的粗略点的次序索引o(P)和与点云的先前感测到的点P
Δo=o(P)-o(P
在一种变体中,在其值的二值化之后,可以使用如CABAC的熵编码器来压缩次序索引差Δo。
可以使用任何其他熵编码器。
在一种变体中,可以将点云的第一感测到的点P
给定点云的第一感测到的点P
o(P)=o(P
在图14上,表示了五个被占用的粗略点(黑色圆圈):两个粗略点P
在步骤150中,可以根据如上文解释的感测方案从样本索引s获得二维角坐标(φ,θ)空间中的一个感测点P
例如,感测方案可以告知沿着感测路径均匀地执行感测,使得感测P
在步骤160中,在二维角坐标空间中的粗略点P
P
其中δP是取决于与感测点云的点P的传感器相关联的传感器索引λ的感测点P
所获得的粗略点P
在图15上图示的步骤160的一个实施例中,粗略点P
(φ
粗略点P
在一种变体中,解码器预先已知方位角移位系数δφ
在一种变体中,方位角移位系数δφ
在该变体的一个实施例中,方位角移位系数δφ
在该变体的一个实施例中,方位角移位系数δφ
(δφ
在该变体的另一个实施例中,方位角移位系数δφ
(δφ
在该变体的又一实施例中,方位角移位系数δφ
在另一种变体中,方位角移位系数δφ
在该变体的一个实施例中,对应于粗略点P
在该变体的另一个实施例中,对应于粗略点P
(δφ
在该变体的另一个实施例中,对应于粗略点P
在该变体的又一实施例中,加权线性组合可以组合对应于最新粗略点P
例如,可以将以下残差编码到比特流B中:
(δφ
其中“s-n”是已经用传感器索引λ编码的点的最新样本索引,“s-m”是已经用传感器索引“λ”编码的点的倒数第二个样本索引。
在图16上图示的一种变体中,当传感器头的传感器竖直布置时,方位角移位系数δφ
(φ
在一种变体中,方位角移位系数δφ
和
该变体是有利的,因为可以避免将方位角移位系数δφ
在一种变体中,感测路径SP对应于特定参考传感器λ
(δφ
该变体是有利的,因为它不需要对参考传感器λ
通常,传感器头的所有传感器不会在同一感测时刻感测真实场景。例如,具有传感器索引λ的传感器可以在时间t
在步骤160的一个实施例中,通过一阶时间近似,粗略点P
(φ
该变体通过根据感测点P
该变体特别适用于自旋传感器头,诸如使用竖直旋转镜来调整感测仰角的激光雷达传感器头。
在一种变体中,感测点P
v(t
在一种变体中,感测点P
其中t
在一种变体中,感测延迟Δt
在一种变体中,感测延迟Δt
对于一些自旋传感器头,诸如使用竖直旋转镜来调整感测仰角的激光雷达传感器头,仰角移位系数δθ
在步骤160的一个实施例中,为了处理来自这种自旋传感器头的数据,仰角移位系数δθ
(φ
将不同的实施例组合在一起,粗略点P
(φ
在一种变体中,幅度系数因子α(s)被编码在比特流B中作为高级语法(HLS)的元素,例如在这样的元素的报头中。
在一种变体中,如果振荡幅度在点云感测期间交互地/动态地变化,则幅度系数因子α(s)被直接编码在比特流B中。
在步骤170中,可以将点P相对于粗略点P
在步骤170的一个实施例中,相对于粗略点P
(res(φ),res(θ))=(φ
可选地,方法100还可以包括在步骤180中,将点P的球坐标或柱面坐标的半径值r
在步骤180的一个实施例中,可以对半径值r
例如,Q1是使用量化步长Δ1的均匀量化器:
然后,重构的半径值r
IQ1(Q1(r
可以使用任何其他量化器和逆量化器。
在步骤180的实施例中,可以对半径值r
在一种变体中,量化的半径值r
可以使用任何其他熵编码器。
在步骤180的一个实施例中,半径值r
在步骤180的一个实施例中,半径值r
在一个实施例中,方法100还可以包括,在步骤190中,基于点P的笛卡尔坐标以及根据粗略点P
首先,通过将粗略点P
(φ
接下来,根据重构的点P
最后,基于点P的笛卡尔坐标(x
(x
在一种变体中,可以通过量化笛卡尔坐标残差(x
例如,Q2是使用量化步长Δ2的均匀量化器:
笛卡尔坐标残差(x
IQ2(Q2(x
可以使用任何其他量化器和逆量化器。
在一种变体中,量化的笛卡尔坐标残差Q2(x
可以使用任何其他熵编码器。
在一种变体中,可以通过量化角残差(res(φ),res(θ))来获得量化的角残差Q3(res(φ),res(θ))并且对量化的角残差Q3(res(φ),res(θ))进行编码。
然后,通过下式获得重构的点P
(φ
例如,Q3是使用量化步长Δ3的均匀量化器:
并且IQ3是逆量化器:
IQ3(Q3(res(φ),res(θ)))=Q3(res(φ),res(θ))*Δ3
可以使用任何其他量化器和逆量化器。
在一种变体中,量化的角残差Q3(res(φ),res(θ))可以在其值的二值化之后使用如CABAC的熵编码器进行熵编码。
可以使用任何其他熵编码器。
图18图示了根据至少一个实施例的从编码的点云数据的比特流中解码点云的方法200的步骤的示意性框图。
从比特流B中解码点云的点需要诸如点云的点的数量N的信息。该信息可以从比特流B中解码,或者可以通过任何其他手段接收该信息,或者该信息可以由解码器预先已知。
在步骤210中,可以从比特流中解码信息I(SP)。
在步骤210的一个实施例中,控制点
在步骤210的一个实施例中,控制点
在一种变体中,可以在逆量化之前对坐标(φ
在一种变体中,角残差(φ
可以使用任何其他熵解码器。
在步骤210的一个实施例中,表示感测路径SP的二维曲线可以通过在控制点
在步骤210的一个实施例中,当感测路径SP不随时间变化时,信息I(SP)可以从高级语法(HLS)的元素(例如在序列参数集(SPS)中)中解码。然后,解码的感测路径可以被用于点云(点云帧)的几个实例。
在步骤210的一个实施例中,当感测路径SP与帧相关时,信息I(SP)可以从当前点云帧的几何参数集(GPS)中的高级语法示例中进行解码。这需要在GPS中解码之前确定感测路径,并且可能会导致长达一帧的时延。
在步骤210的另一个实施例中,信息I(SP)可以从携带编码的点云数据的比特流B中进行解码。
通过这样做,对感测路径SP进行动态解码保留了粗略表示的低时延优势,因为它只需要在编码之前对感测路径进行局部确定。
参考图18,针对待解码的点云的每个点P运行步骤220至260以及步骤150和160。
在步骤220中,一个次序索引差Δo可以针对待解码的点云的点P从比特流B中进行解码。
次序索引差Δo表示在与点P相关联的粗略点的次序索引o(P)和与点云的先前解码的点P
在一种变体中,第一粗略点(由待解码的点云的第一点P
在一种变体中,次序索引差Δo
可以使用任何其他熵解码器。
在步骤230中,与感测到点P的传感器相关联的一个传感器索引λ和与点P的感测时刻相关联的一个样本索引s可以根据从解码的次序索引差Δo获得的次序索引o(P)获得。
传感器索引λ和样本索引s可以通过下式根据次序索引o(P)获得:
λ=o(P)以K为模
s=o(P)/K
其中除法/K是整数除法(也称为欧几里德除法)。因此,o(P
在步骤150中,可以根据上文讨论的感测方案从样本索引s中获得二维角坐标(φ,θ)空间中的一个感测点P
在步骤160中,如上文所解释的,二维角坐标空间中的粗略点P
在步骤240中,点云的点P可以相对于粗略点P
在步骤240的一个实施例中,根据粗略点P
在步骤270中,点P的笛卡尔坐标(x
可选地,方法200还可以包括在步骤250中从比特流B中解码半径值r
在步骤250的一个实施例中,从比特流B中对半径值r
在步骤250的一个实施例中,半径值r
在步骤250的实施例中,可以对半径值r
在一种变体中,量化的半径值可以在其值的二值化之后使用如CABAC的熵编码器进行熵解码。
可以使用任何其他熵编码器。
在步骤250的一个实施例中,半径值r
在步骤250的一个实施例中,半径值r
在一个实施例中,方法200还包括在步骤260中从比特流B中解码笛卡尔坐标残差(x
在步骤270中,点P的笛卡尔坐标(x
(x
在一种变体中,笛卡尔坐标残差(x
可以使用任何其他逆量化器。
在一种变体中,解码可以是在值的二值化之后使用如CABAC的熵解码器的熵解码器。
可以使用任何其他熵解码器。
在一种变体中,角残差(res(φ),res(θ))可以通过使用逆量化器Q3进行解码和逆量化来获得。
可以使用任何其他量化器和逆量化器。
在一种变体中,解码可以是在值的二值化之后使用如CABAC的熵解码器的熵解码器。
可以使用任何其他熵解码器。
然后,通过下式获得重构的点P
(φ
图19示出了图示其中实现各个方面和实施例的系统的示例的示意性框图。
系统300可以被嵌入为一个或多个设备,包括下面描述的各种组件。在各种实施例中,系统300可以被配置为实现本申请中描述的一个或多个方面。
可以构成系统300的全部或部分的装备的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴(cave)”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒,以及用于处理点云、视频或图像的任何其他设备,或其他通信设备。系统300的元件可以单独地或组合地实施在单个集成电路(IC)、多个IC和/或分立组件中。例如,在至少一个实施例中,系统300的处理和编码器/解码器元件可以跨多个IC和/或分立组件分布。在各种实施例中,系统300可以经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。
系统300可以包括至少一个处理器310,该至少一个处理器310被配置为执行其中加载的指令,以用于实现例如本申请中描述的各个方面。处理器310可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统300可以包括至少一个存储器320(例如,易失性存储器设备和/或非易失性存储器设备)。系统300可以包括存储设备340,其可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备340可以包括内部存储设备、附接存储设备和/或网络可访问存储设备。
系统300可以包括编码器/解码器模块330,其被配置为例如处理数据以提供编码/解码的点云几何数据,并且编码器/解码器模块330可以包括其自己的处理器和存储器。编码器/解码器模块330可以表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的,设备可以包括编码和解码模块中的一者或两者。此外,编码器/解码器模块330可以被实现为系统300的分开的元件,或者可以作为本领域技术人员已知的硬件和软件的组合结合到处理器310内。
要被加载到处理器310或编码器/解码器330上以执行本申请中描述的各个方面的程序代码可以被存储在存储设备340中,并且随后被加载到存储器320上以由处理器310执行。根据各种实施例,在执行本申请中描述的过程期间,处理器310、存储器320、存储设备340和编码器/解码器模块330中的一个或多个可以存储各种项目中的一个或多个。此类存储的项目可以包括但不限于点云帧、编码/解码的几何形状/属性视频/图像或编码/解码的几何形状/属性视频/图像的部分、比特流、矩阵、变量,以及等式、公式、运算和运算逻辑处理的中间或最终结果。
在几个实施例中,处理器310和/或编码器/解码器模块330内部的存储器可以被用于存储指令并为可以在编码或解码期间执行的处理提供工作存储器。
但是,在其他实施例中,处理设备外部的存储器(例如,处理设备可以是处理器310或者编码器/解码器模块330)被用于这些功能中的一个或多个。外部存储器可以是存储器320和/或存储设备340,例如,动态易失性存储器和/或非易失性闪存。在几个实施例中,外部非易失性闪存被用于存储电视的操作系统。在至少一个实施例中,诸如RAM之类的快速外部动态易失性存储器可以被用作用于视频编码和解码操作的工作存储器,例如对于MPEG-2第2部分(也称为ITU-T Recommendation H.262和ISO/IEC 13818-2,也称为MPEG-2视频)、HEVC(高效视频编码)、VVC(通用视频编码)或MPEG-I第5部分或第9部分。
如方框390中所指示的,可以通过各种输入设备提供对系统300的元件的输入。此类输入设备包括但不限于(i)可以接收例如由广播设备通过空中传输的RF信号的RF部分,(ii)复合输入端子,(iii)USB输入端子,和/或(iv)HDMI输入端子。
在各种实施例中,方框390的输入设备具有相关联的相应输入处理元件,如本领域中已知的。例如,RF部分可以与对于以下各项必要的元件相关联:(i)选择期望的频率(也称为选择信号,或将信号频带限制到频带内),(ii)下变频所选择的信号,(iii)将频带再次限制到较窄的频带,以选择(例如)在某些实施例中可以被称为信道的信号频带,(iv)解调下变频和频带受限的信号,(v)执行纠错,以及(vi)解复用以选择期望的数据包流。各种实施例的RF部分可以包括一个或多个执行这些功能的元件,例如,频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器,这些功能包括例如将接收到的信号下变频为更低频率(例如,中频或近基带频率)或基带。
在一个机顶盒实施例中,RF部分及其相关联的输入处理元件可以接收在有线(例如,电缆)介质上传输的RF信号。然后,RF部分可以通过滤波、下变频和再次滤波到期望的频带来执行频率选择。
各种实施例重新布置上述(和其他)元件的次序、移除这些元件中的一些、和/或添加执行类似或不同功能的其他元件。
添加元件可以包括在现有元件之间插入元件,诸如例如插入放大器和模数转换器。在各种实施例中,RF部分可以包括天线。
此外,USB和/或HDMI端子可以包括相应的接口处理器,用于通过USB和/或HDMI连接将系统300连接到其他电子设备。应该理解的是,在必要时输入处理的各个方面(例如,Reed-Solomon纠错)可以例如在分开的输入处理IC内或在处理器310内实现。类似地,在必要时可以在分开的接口IC内或处理器310内实现USB或HDMI接口处理的各个方面。经解调、纠错和解复用的流可以被提供给各种处理元件,包括例如处理器310以及编码器/解码器330,它们与存储器和存储元件结合操作,以在必要时处理数据流以在输出设备上呈现。
可以在集成壳体内提供系统300的各种元件。在集成壳体内,可以使用合适的连接布置390,例如,本领域已知的内部总线(包括I2C总线)、布线和印刷电路板,来互连各种元件并在它们之间传输数据。
系统300可以包括通信接口350,其使得能够经由通信信道700与其他设备通信。通信接口350可以包括但不限于被配置为在通信信道700上发送和接收数据的收发器。通信接口350可以包括但不限于调制解调器或网卡,并且通信信道700可以例如在有线和/或无线介质内实现。
在各种实施例中,可以使用诸如IEEE 802.11之类的Wi-Fi网络将数据流式传输到系统300。这些实施例的Wi-Fi信号可以通过适于Wi-Fi通信的通信信道700和通信接口350被接收。这些实施例的通信信道700通常可以连接到接入点或路由器,该接入点或路由器提供对包括互联网在内的外部网络的接入,以允许流式传输应用和其他云上(Over-the-top)通信。
其他实施例可以使用机顶盒向系统300提供流式传输的数据,该机顶盒通过输入方框390的HDMI连接来递送数据。
还有其他实施例可以使用输入方框390的RF连接将流式传输的数据提供给系统300。
流式传输的数据可以被用作系统300使用的信令信息的方式。信令信息可以包括比特流B和/或诸如点云的点的数量、坐标和/或传感器设置参数的信息。
应该认识到的是,可以以多种方式实现信令。例如,在各种实施例中,一个或多个语法元素、标志等可以被用于向对应的解码器发信号通知信息。
系统300可以向各种输出设备,包括显示器400、扬声器500和其他外围设备600,提供输出信号。在实施例的各种示例中,其他外围设备600可以包括独立DVR、盘播放器、立体声系统、照明系统和基于系统300的输出提供功能的其他设备中的一个或多个。
在各种实施例中,控制信号可以使用诸如AV.Link(音频/视频链路)、CEC(消费电子控制)或在有或没有用户干预的情况下启用设备到设备控制的其他通信协议的信令在系统300和显示器400、扬声器500或其他外围设备600之间通信。
输出设备可以通过相应的接口360、370和380经由专用连接通信地耦合到系统300。
可选地,可以经由通信接口350使用通信信道700将输出设备连接到系统300。显示器400和扬声器500可以与电子设备(诸如例如电视)中的系统300的其他组件集成在单个单元中。
在各种实施例中,显示接口360可以包括显示驱动器,诸如例如定时控制器(TCon)芯片。
例如,如果输入端390的RF部分是分开的机顶盒的一部分,那么显示器400和扬声器500可以可选地与其他组件中的一个或多个分开。在显示器400和扬声器500可以是外部组件的各种实施例中,可以经由专用的输出连接(包括例如HDMI端口、USB端口或COMP输出端)来提供输出信号。
在图1至19中,本文描述了各种方法,并且每种方法包括一个或多个步骤或动作,以实现所描述的方法。除非方法的正确操作需要特定的步骤或动作次序,否则可以修改或组合特定步骤和/或动作的次序和/或使用。
关于框图和/或操作流程图描述了一些示例。每个方框表示电路元件、模块或代码的部分,其包括用于实现(一个或多个)指定逻辑功能的一个或多个可执行指令。还应当注意的是,在其他实施方式中,方框中标注的(一个或多个)功能可以不按指示的次序发生。例如,根据所涉及的功能,相继示出的两个方框实际上可以基本上并发地执行,或者有时可以以相反的次序执行这些方框。
可以在例如方法或过程、装置、计算机程序、数据流、比特流或信号中实现本文描述的实施方式和方面。即使仅在单一形式的实施方式的上下文中讨论(例如,仅作为方法讨论),所讨论的特征的实施方式也可以以其他形式(例如,装置或计算机程序)来实现。
方法可以在例如处理器中实现,处理器一般是指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备。
此外,方法可以通过由处理器执行的指令来实现,并且此类指令(和/或由实施方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采用实施在一个或多个计算机可读介质中并且具有实施在其上的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。考虑到在其中存储信息的固有能力以及从其提供信息的检索的固有能力,如本文使用的计算机可读存储介质可以被认为是非暂态存储介质。计算机可读存储介质可以是,例如,但不限于,电子、磁、光学、电磁、红外或半导体系统、装置或设备,或前述的任何合适组合。应该认识到的是,以下虽然提供了可以对其应用本实施例的计算机可读存储介质的更具体示例,但是如本领域普通技术人员容易认识到的那样,仅仅是说明性的而非详尽列表:便携式计算机软盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪存);便携式光盘只读存储器(CD-ROM);光学存储设备;磁存储设备;或前述的任何合适组合。
指令可以形成有形地实施在处理器可读介质上的应用程序。
例如,指令可以在硬件、固件、软件或组合中。例如,可以在操作系统、单独的应用或两者的组合中找到指令。因此,处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。另外,除了指令之外或代替指令,处理器可读介质可以存储由实施方式产生的数据值。
装置可以在例如适当的硬件、软件和固件中实现。这种装置的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒,以及用于处理点云、视频或图像的任何其他设备,或其他通信设备。应当清楚的是,装备可以是移动的并且甚至安装在移动车辆中。
计算机软件可以由处理器310或由硬件、或由硬件和软件的组合实现。作为非限制性示例,还可以通过一个或多个集成电路来实现实施例。存储器320可以是适合于技术环境的任何类型并且可以使用任何适当的数据存储技术(诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器,作为非限制性示例)来实现。处理器310可以是适合于技术环境的任何类型,并且可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一种或多种,作为非限制性示例。
如对于本领域普通技术人员来说显而易见的,实施方式可以产生各种被格式化为携带例如可以被存储或传输的信息的信号。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如,信号可以被格式化为携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路被传输。信号可以存储在处理器可读介质上。
本文使用的术语仅用于描述特定实施例的目的并且不旨在进行限制。如本文所使用的,单数形式“一个”、“一种”和“该”也可以旨在包括复数形式,除非上下文另有明确指示。将进一步理解的是,当在本说明书中使用时,术语“包括/包含(include/comprise)”和/或“包括/包含(including/comprising)”可以指定所陈述的例如特征、整数、步骤、操作、元素和/或组件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们的组的存在或添加。而且,当一个元素被称为“响应”或“连接”到另一个元素时,它可以直接响应或连接到另一个元素,或者可以存在中间元素。相反,当一个元素被称为“直接响应”或“直接连接”到另一个元素时,不存在中间元素。
应该认识到的是,例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下,符号/术语“/”、“和/或”和“至少一个”中的任何一个的使用可以旨在涵盖仅第一个列出的选项(A)的选择,或仅第二个列出的选项(B)的选择,或两个选项(A和B)的选择。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一个”的情况下,这样的措辞旨在涵盖仅第一个列出的选项(A)的选择,或仅第二个列出的选项(B)的选择,或仅第三个列出的选项(C)的选择,或仅第一个和第二个列出的选项(A和B)的选择,或仅第一个和第三个列出的选项(A和C)的选择,或仅第二个和第三个列出的选项(B和C)的选择,或所有三个选项(A和B和C)的选择。如本领域和相关领域的普通技术人员清楚的那样,这可以扩展到与列出的一样多的项目。
在本申请中可以使用各种数值。特定值可以用于示例目的并且所描述的各方面不限于这些特定值。
将理解的是,虽然术语第一、第二等在本文中可以被用于描述各种元素,但这些元素不受这些术语的限制。这些术语仅用于将一个元素与另一个元素区分开来。例如,在不脱离本申请的教导的情况下,第一元素可以被称为第二元素,并且类似地,第二元素可以被称为第一元素。第一元素和第二元素之间不暗示排序。
对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”及其其他变化的引用频繁地被用于传达特定特征、结构、特点等(结合实施例/实施方式描述的)包括在至少一个实施例/实施方式中。因此,出现在本申请中各处的短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其他变化的出现不一定都指同一实施例。
类似地,本文对“根据实施例/示例/实施方式”或“在实施例/示例/实施方式中”及其其他变化的引用频繁地被用于传达特定特征、结构或特点(结合实施例/示例/实施方式描述的)可以包括在至少一个实施例/示例/实施方式中。因此,出现在说明书中各处的表述“根据实施例/示例/实施方式”或“在实施例/示例/实施方式中”不一定都指同一实施例/示例/实施方式,也不是单独或替代的实施例/示例/实施方式必须与其他实施例/示例/实施方式相互排斥。
权利要求中出现的附图标记仅用于说明并且对权利要求的范围没有限制作用。虽然没有明确描述,但是可以以任何组合或子组合来采用本实施例/示例和变型例。
当图作为流程图呈现时,应当理解的是,它也提供对应装置的框图。类似地,当图作为框图呈现时,应当理解的是,它也提供对应方法/过程的流程图。
虽然一些图包括通信路径上的箭头以示出通信的主要方向,但应该理解的是,通信可以发生在与所描绘的箭头相反的方向上。
各种实施方式涉及解码。如本申请中使用的,“解码”可以涵盖例如对接收到的点云帧(可能包括对一个或多个点云帧进行编码的接收到的比特流)执行以便产生适合显示或在重构的点云域中进一步处理的最终输出的过程的全部或部分。在各种实施例中,此类过程包括通常由解码器执行的过程中的一个或多个。在各种实施例中,例如,此类过程还或者可选地包括由本申请中描述的各种实施方式的解码器执行的过程。
作为进一步的示例,在一个实施例中“解码”可以仅指去量化,在一个实施例中“解码”可以指熵解码,在另一个实施例中,“解码”可以仅指差分解码,而在另一个实施例中,“解码”可以指去量化、熵解码和差分解码的组合。基于具体描述的上下文,短语“解码过程”可能旨在具体地指运算的子集,还是一般地指更广泛的解码过程将是清楚的,并且相信是本领域技术人员能够很好理解的。
各种实施方式都涉及编码。以与以上关于“解码”的讨论类似的方式,本申请中使用的“编码”可以涵盖例如对输入点云帧执行以便产生编码的比特流的过程的全部或部分。在各种实施例中,此类过程包括通常由编码器执行的过程中的一个或多个。在各种实施例中,此类过程还包括或者可选地包括由本申请中描述的各种实施方式的编码器执行的过程。
作为进一步的示例,在一个实施例中“编码”可以仅指量化,在一个实施例中“编码”可以仅指熵编码,在另一个实施例中,“编码”可以仅指差分编码,而在另一个实施例中,“编码”可以指量化、差分编码和熵编码的组合。基于特定描述的上下文,短语“编码过程”可能旨在具体地指运算的子集,还是一般地指更广泛的编码过程将是清楚的,并且相信是本领域技术人员能够很好理解的。
此外,本申请可以提到“获得”各种信息。获得信息可以包括例如以下各项中的一项或多项:估计信息、计算信息、预测信息或从存储器中检索信息。
另外,本申请可以提到“访问”各种信息。访问信息可以包括例如以下各项中的一项或多项:接收信息、(例如,从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
此外,本申请可以提到“接收”各种信息。与“访问”一样,接收旨在是广义的术语。接收信息可以包括以下各项中的一项或多项:例如,访问信息或(例如,从存储器)检索信息。另外,以一种或另一种方式,在诸如例如以下操作期间:存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息,通常涉及“接收”。
而且,如本文所使用的,词语“信号”尤其是指向对应的解码器指示某事等。例如,在某些实施例中,编码器发信号通知特定信息,诸如点云的点的数量或坐标或传感器设置参数。以这种方式,在实施例中,可以在编码器侧和解码器侧使用同一参数。因此,例如,编码器可以向解码器传输(显式信令)特定参数,使得解码器可以使用同一特定参数。相反,如果解码器已经具有特定参数以及其他参数,那么可以使用信令而无需传输(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能,在各种实施例中实现了比特节省。应该认识到的是,可以以多种方式来完成信令。例如,在各种实施例中,一个或多个语法元素、标志等被用于将信息发信号通知给对应的解码器。虽然前面涉及词语“信号(signal)”的动词形式,但词语“信号”在本文中也可以用作名词。
已经描述了多个实施方式。不过,应该理解的是,可以进行各种修改。例如,可以组合、补充、修改或移除不同实施方式的元素以产生其他实施方式。此外,普通技术人员将理解的是,其他结构和过程可以替代所公开的结构和过程,并且由此产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一个或多个)功能,以实现至少与所公开的实施方式基本相同的(一个或多个)结果。因而,本申请设想了这些和其他实施方式。
- 用于将至少一个传感器固定在铁轨上的方法和固定装置
- 图像解码装置、图像解码方法以及图像编码装置
- 图像解码装置、图像解码方法以及图像编码装置
- 一种编码模式切换方法和装置、解码模式切换方法和装置
- 具有至少一个颗粒和/或纤维产生装置和至少一个连续带的设备
- 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
- 编码/解码由至少一个传感器感测的点云几何数据的方法和装置