掌桥专利:专业的专利平台
掌桥专利
首页

用于基于几何的点云数据的瓦片轨道

文献发布时间:2023-06-19 19:30:30


用于基于几何的点云数据的瓦片轨道

相关申请的交叉引用

本申请是于2020年8月7日提交的名称为“用于基于几何的点云数据的瓦片轨道(Tile Tracks for Geometry-Based Point Cloud Data)”的美国临时专利申请序列号63/063,167的非临时提交,并且根据35 U.S.C.§119(e)要求该专利申请的权益,该专利申请以全文引用的方式并入本文;并且是于2020年10月5日提交的名称为“用于基于几何的点云数据的瓦片轨道(Tile Tracks for Geometry-Based Point Cloud Data)”的美国临时专利申请序列号63/087,683的非临时提交,并且根据35U.S.C.§119(e)要求该专利申请的权益,该专利申请以全文引用的方式并入本文;并且是于2021年3月12日提交的名称为“用于基于几何的点云数据的瓦片轨道(Tile Tracks for Geometry-Based Point Cloud Data)”的美国临时专利申请序列号63/160,223的非临时提交,并且根据35U.S.C.§119(e)要求该专利申请的权益,该专利申请以全文引用的方式并入本文;并且是于2021年7月1日提交的名称为“用于基于几何的点云数据的瓦片轨道(Tile Tracks for Geometry-Based PointCloud Data)”的美国临时专利申请序列号63/217,638的非临时提交,并且根据35U.S.C.§119(e)要求该专利申请的权益,该专利申请以全文引用的方式并入本文。

背景技术

高质量3D点云最近作为沉浸式媒体的高级表示而出现。点云由使用指示每个点的位置的坐标以及一个或多个属性(诸如与每个点相关联的颜色、透明度、激光的反射率或材料性质等)在3D空间中表示的点集组成。点云可以以多种方式捕获。例如,用于捕获点云的一种技术使用多个相机和深度传感器。光检测和测距(LiDAR)激光扫描仪通常也可用于捕获点云。为了使用点云逼真地重建对象和场景所需的点的数量大约为几百万(或者甚至几十亿)。因此,有效表示和压缩对于存储和/或传输点云数据是必需的。

捕获和渲染3D点的技术的最新进展已经实现了远程呈现、虚拟现实和大规模动态3D地图的领域中的新颖应用(N16331,“点云压缩的使用案例(Use Cases for Point CloudCompression(PCC))”,MPEG 115,2016年6月)。ISO/IEC JTC1/SC29/WG11运动图像专家组(MPEG)的3D图形子组当前正在开发两个3D点云压缩(PCC)标准:用于静态点云的基于几何的压缩标准和用于动态点云的基于视频的压缩标准。这些标准的目标是支持3D点云的有效且可互操作的存储和传输。这些标准的要求之一是支持点云几何坐标和属性的有损和/或无损编码。

诸如虚拟现实和沉浸式三维(3D)图形的新媒体已经产生了相当大的兴趣。高质量3D点云最近作为沉浸式媒体的高级表示而出现,从而实现与虚拟世界的新形式的交互和通信。表示此类点云所需的大量信息需要有效的编码算法。MPEG的3DG工作组当前正在开发用于点云的基于几何的压缩的ISO/IEC 23090-9标准(N19328,“ISO/IEC DIS 23090-9基于几何的点云压缩的文本(Text of ISO/IEC DIS 23090-9Geometry-based Point CloudCompression)”,MPEG 131,2020年7月)。关于用于携带G-PCC的另一标准ISO/IEC 23090-18的工作(“ISO/IEC 23090-18基于几何的点云压缩数据的携带的工作草案(WD of ISO/IEC23090-18Carriage of Geometry-based Point Cloud Compression Data)”,MPEG 130,2020年4月)正在进行中并且处于工作草案(WD)阶段。

ISO/IEC WD 23090-18的最新草案仅支持在单个轨道或多个轨道中携带基于几何的点云压缩(G-PCC数据),其中每个轨道携带G-PCC分量数据。即使当用户仅对G-PCC内容中的特定区域/对象感兴趣时,这种类型的支持在被迫下载和解码所有G-PCC分量信息的流式应用中也是一个问题。最新DIS版本的ISO/IEC 23090-18(N00075,“ISO/IEC DIS 23090-18基于几何的点云压缩数据的携带的文本(Text of ISO/IEC DIS 23090-18Carriage ofGeometry-based Point Cloud Compression Data)”,MPEG 132,2020年10月)支持携带非定时G-PCC数据,但是不提供非定时G-PCC数据的有效的部分访问支持。

描述了克服前述缺点的多种方法。

发明内容

一种方法和设备包括接收识别对应于点云场景内的一个或多个空间区域的点云瓦片的定时元数据轨道。解码装置确定要用于渲染图像的一个或多个点云瓦片。经由通信网络检索对应于所确定的一个或多个点云瓦片的一个或多个几何瓦片轨道。每个几何瓦片轨道包括相应瓦片的点云几何数据。处理所检索的几何瓦片轨道。

附图说明

附图中相同的附图标号指示相同的元件,其中:

图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统的系统图;

图1B是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图;

图1C是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图;

图1D是示出根据一个实施方案可在图1A所示的通信系统内使用的另外一个示例性RAN和另外一个示例性CN的系统图;

图2是示出根据一些实施方案的两台服务器和一台客户端的接口的示例集的系统接口图。

图3A是可由一些实施方案捕获和处理的场景或图像的示例性点云。

图3B示出了可由一些实施方案捕获和处理的对象或图像的示例性点云。

图4是基于几何的点云压缩数据文件结构;

图5是存储在单个轨道中的编码的G-PCC数据文件的示例性结构;

图6是多轨道G-PCC数据文件容器结构;

图7是示出非定时G-PCC数据的携带的示例的图;

图8是示出包含多个G-PCC瓦片的G-PCC瓦片项的图;

图9是示出根据实施方案的在多个瓦片轨道中的G-PCC数据文件的封装的图;

图10是示出根据实施方案的用于G-PCC内容的存储的轨道另选和分组的图。

图11是示出G-PCC瓦片基本轨道另选以及对应几何瓦片轨道和属性瓦片轨道的分组的图;

图12是示出根据实施方案的解码基于几何的点云数据的瓦片的方法的流程图;

图13是示出根据实施方案的多个轨道的另选属性轨道和对应几何轨道的分组的图;

图14是示出根据实施方案的另选属性瓦片轨道和对应几何瓦片轨道的分组的图;

图15是示出根据实施方案的具有基本轨道、多个瓦片轨道和3D空间区域定时元数据轨道之间的轨道引用的G-PCC数据文件的封装的图;

图16是示出具有N个G-PCC瓦片的非定时G-PCC数据的部分访问的图;

图17是示出具有类型‘gpe1’的G-PCC项的非定时G-PCC数据的部分访问的图;

图18是示出具有类型‘gpci’的G-PCC项的非定时G-PCC数据的部分访问的图。

用于实现实施方案的示例性系统

图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如,通信系统100可采用一个或多个信道接入方法,诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图1A所示,通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、互联网110和其他网络112,但应当理解,所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例,WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号,并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如,远程手术)、工业设备和应用(例如,在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。UE 102a、102b、102c和102d中的任一者可互换地称为WTRU。

通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备,其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN106/115、互联网110和/或其他网络112)的访问。作为示例,基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件,但应当理解,基站114a、114b可包括任何数量的互连基站和/或网络元件。

基站114a可以是RAN 104/113的一部分,该RAN还可包括其他基站和/或网络元件(未示出),诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖,该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如,与基站114a相关联的小区可被划分为三个扇区。因此,在实施方案中,基站114a可包括三个收发器,即,小区的每个扇区一个收发器。在实施方案中,基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个扇区利用多个收发器。例如,可使用波束成形在所需的空间方向上发射和/或接收信号。

基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信,该空中接口可为任何合适的无线通信链路(例如,射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地讲,如上所指出,通信系统100可为多址接入系统,并且可采用一个或多个信道接入方案,诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如,RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术,其可使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术,其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTEPro(LTE-A Pro)来建立空中接口116。

在一个实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如NR无线电接入之类的无线电技术,其可使用新无线电(NR)来建立空中接口116。

在实施方案中,基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如,基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此,WTRU 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如,eNB和gNB)发送的传输来表征。

在其他实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即,无线保真(WiFi))、IEEE 802.16(即,全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。

图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点,并且可利用任何合适的RAT来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如,供无人机使用)、道路等局部区域中的无线连接。在实施方案中,基站114b和WTRU 102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在实施方案中,基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在又一个实施方案中,基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示,基站114b可具有与互联网110的直接连接。因此,基站114b可不需要经由CN 106/115访问互联网110。

RAN 104/113可与CN 106/115通信,该CN可以是被配置为向WTRU102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求,诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等,和/或执行高级安全功能,诸如用户认证。尽管未在图1A中示出,但是应当理解,RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如,除了连接到可利用NR无线电技术的RAN 104/113之外,CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。

CN 106/115也可充当WTRU 102a、102b、102c、102d的网关,以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如,网络112可包括连接到一个或多个RAN的另一个CN,其可采用与RAN 104/113相同的RAT或不同的RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如,WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如,图1A所示的WTRU 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信,并且与可采用IEEE 802无线电技术的基站114b通信。

图1B是示出示例性WTRU 102的系统图。如图1B所示,WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。应当理解,在与实施方案保持一致的同时,WTRU 102可包括前述元件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能,这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120,该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件,但是应当理解,处理器118和收发器120可在电子封装或芯片中集成在一起。

发射/接收元件122可被配置为通过空中接口116向基站(例如,基站114a)发射信号或从基站接收信号。例如,在一个实施方案中,发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在一个实施方案中,发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一个实施方案中,发射/接收元件122可被配置为发射和/或接收RF和光信号。应当理解,发射/接收元件122可被配置为发射和/或接收无线信号的任何组合。

尽管发射/接收元件122在图1B中被描绘为单个元件,但是WTRU102可包括任何数量的发射/接收元件122。更具体地讲,WTRU 102可采用MIMO技术。因此,在一个实施方案中,WTRU 102可包括用于通过空中接口116发射和接收无线信号的两个或更多个发射/接收元件122(例如,多个天线)。

收发器120可被配置为调制将由发射/接收元件122发射的信号并且解调由发射/接收元件122接收的信号。如上所指出,WTRU 102可具有多模式能力。例如,因此,收发器120可包括多个收发器,以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。

WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如,液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。另外,处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息,并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中,处理器118可从未物理上定位在WTRU 102上(诸如,服务器或家用计算机(未示出)上)的存储器访问信息,并且将数据存储在该存储器中。

处理器118可从电源134接收电力,并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如,电源134可包括一个或多个干电池组(例如,镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118还可耦合到GPS芯片组136,该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如,经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息,WTRU 102可通过空中接口116从基站(例如,基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解,在与实施方案保持一致的同时,该WTRU 102可通过任何合适的位置确定方法来获取位置信息。

处理器118还可耦合到其他外围设备138,该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如,外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提耳麦、

WTRU 102可包括全双工无线电台,对于该全双工无线电台,一些或所有信号的传输和接收(例如,与用于UL(例如,用于传输)和下行链路(例如,用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元,该干扰管理单元用于经由硬件(例如,扼流圈)或经由处理器(例如,单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中,WTRU 102可包括半双工无线电台,对于该半双工无线电台,一些或所有信号的传输和接收(例如,与用于UL(例如,用于传输)或下行链路(例如,用于接收)的特定子帧相关联)。

图1C是示出根据实施方案的RAN 104和CN 106的系统图。如上所述,RAN 104可采用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c通信。RAN 104还可与CN 106通信。

RAN 104可包括演进节点B 160a、160b、160c,但是应当理解,在与实施方案保持一致的同时,RAN 104可包括任何数量的演进节点B。演进节点B 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中,演进节点B 160a、160b、160c可实现MIMO技术。因此,演进节点B 160a例如可使用多个天线来向WTRU 102a发射无线信号和/或从WTRU 102a接收无线信号。

演进节点B 160a、160b、160c中的每一者可与特定小区(未示出)相关联,并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度等。如图1C所示,演进节点B 160a、160b、160c可通过X2接口彼此通信。

图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一者被描绘为CN 106的一部分,但是应当理解,这些元件中的任一者可由除CN运营商之外的实体拥有和/或运营。

MME 162可经由S1接口连接到RAN 104中的演进节点B 162a、162b、162c中的每一者,并且可用作控制节点。例如,MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。

SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能,诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。

SGW 164可连接到PGW 166,该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问,以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。

CN 106可促进与其他网络通信。例如,CN 106可为WTRU 102a、102b、102c提供对电路交换网络(诸如,PSTN 108)的访问,以有利于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如,CN 106可包括用作CN 106与PSTN 108之间接口的IP网关(例如,IP多媒体子系统(IMS)服务器),或者可与该IP网关通信。另外,CN 106可向WTRU102a、102b、102c提供对其他网络112的访问,该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。

尽管WTRU在图1A至图1D中被描述为无线终端,但是可以设想到,在某些代表性实施方案中,这种终端可(例如,临时或永久)使用与通信网络的有线通信接口。

在代表性实施方案中,其他网络112可为WLAN。

处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分配系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送,例如,其中源STA可向AP发送流量,并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如,直接在它们之间)发送点对点流量。在某些代表性实施方案中,DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP,并且IBSS内或使用IBSS的STA(例如,所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。

当使用802.11ac基础结构操作模式或相似操作模式时,AP可在固定信道(诸如主信道)上发射信标。主信道可为固定宽度(例如,20MHz宽带宽)或经由信令动态设置的宽度。主信道可为BSS的操作信道,并且可由STA用来建立与AP的连接。在某些代表性实施方案中,例如在802.11系统中可实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA,STA(例如,每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙,则特定STA可退避。一个STA(例如,仅一个站)可在给定BSS中在任何给定时间发射。

高吞吐量(HT)STA可使用40MHz宽的信道进行通信,例如,经由主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。

极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道,或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置,在信道编码之后,数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道,并且可通过发射STA来发射数据。在接收STA的接收器处,可颠倒上述用于80+80配置的操作,并且可将组合的数据发送到介质访问控制(MAC)。

802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些,802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽,并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案,802.11ah可支持仪表类型控制/机器类型通信,诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力,例如有限的能力,包括支持(例如,仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如,以保持非常长的电池寿命)的电池。

可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中,对于支持(例如,仅支持)1MHz模式的STA(例如,MTC型设备),主信道可为1MHz宽,即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙,例如,由于STA(仅支持1MHz操作模式)正在向AP传输,即使大多数频段保持空闲并且可能可用,整个可用频段也可被视为繁忙。

在美国,可供802.11ah使用的可用频段为902MHz至928MHz。在韩国,可用频段为917.5MHz至923.5MHz。在日本,可用频段为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz,具体取决于国家代码。

图1D是示出根据一个实施方案的RAN 113和CN 115的系统图。如上文所指出,RAN113可采用NR无线电技术通过空中接口116与WTRU102a、102b、102c通信。RAN 113还可与CN115通信。

RAN 113可包括gNB 180a、180b、180c,但是应当理解,在与实施方案保持一致的同时,RAN 113可包括任何数量的gNB。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中,gNB 180a、180b、180c可实现MIMO技术。例如,gNB 180a、180b可利用波束成形来向gNB 180a、180b、180c传输信号和/或从gNB 180a、180b、180c接收信号。因此,gNB 180a例如可使用多个天线来向WTRU102a发射无线信号和/或从WTRU 102a接收无线信号。在实施方案中,gNB 180a、180b、180c可实现载波聚合技术。例如,gNB 180a可向WTRU 102a(未示出)发射多个分量载波。这些分量载波的子组可在免许可频谱上,而其余分量载波可在许可频谱上。在实施方案中,gNB180a、180b、180c可实现协作多点(CoMP)技术。例如,WTRU 102a可从gNB 180a和gNB 180b(和/或gNB 180c)接收协作发射。

WTRU 102a、102b、102c可使用与可扩展参数集相关联的发射来与gNB 180a、180b、180c通信。例如,OFDM符号间隔和/或OFDM子载波间隔可因不同发射、不同小区和/或无线发射频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如,包含不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。

gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信,同时也不访问其他RAN(例如,诸如演进节点B 160a、160b、160c)。在独立配置中,WTRU 102a、102b、102c可将gNB 180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中,WTRU 102a、102b、102c可在未许可频带中使用信号与gNB180a、180b、180c通信。在非独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接,同时也与其他RAN(诸如,演进节点B 160a、160b、160c)通信或连接。例如,WTRU 102a、102b、102c可实现DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中,演进节点B160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点,并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。

gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联,并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示,gNB 180a、180b、180c可通过Xn接口彼此通信。

图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF 184a、184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述元件中的每个元件描绘为CN 115的一部分,但是应当理解,这些元件中的任一个元件可由除CN运营商之外的实体拥有和/或运营。

AMF 182a、182b可在RAN 113中经由N2接口连接到gNB 180a、180b、180c中的一者或多者,并且可用作控制节点。例如,AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、网络切片的支持(例如,具有不同要求的不同PDU会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等。AMF 182a、182b可使用网络切片,以便基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如,可针对不同的用例(诸如,依赖超高可靠低延迟(URLLC)接入的服务、依赖增强型移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等)建立不同的网络切片。AMF162可提供用于在RAN 113与采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术(诸如WiFi))的其他RAN(未示出)之间切换的控制平面功能。

SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b,并且配置通过UPF184a、184b进行的流量路由。SMF 183a、183b可执行其他功能,诸如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。

UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者,这些gNB可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问,以促进在WTRU 102a、102b、102c与启用IP的设备之间的通信。UPF 184、184b可执行其他功能,诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。

CN 115可有利于与其他网络的通信。例如,CN 115可包括用作CN115与PSTN 108之间接口的IP网关(例如,IP多媒体子系统(IMS)服务器),或者可与该IP网关通信。另外,CN115可向WTRU 102a、102b、102c提供对其他网络112的访问,该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在实施方案中,WTRU 102a、102b、102c可通过UPF 184a、184b经由至UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN 185a、185b。

鉴于图1A至图1D以及图1A至图1D的对应描述,本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行:WTRU102a-d、基站114a-b、演进节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF182a-b、UPF184a-b、SMF 183a-b、DN 185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如,仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如,该一个或多个仿真设备可执行一个或多个或所有功能,同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分,以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能,同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。

该一个或多个仿真设备可执行一个或多个(包括所有)功能,同时不被实现/部署为有线和/或无线通信网络的一部分。例如,仿真设备可在测试实验室和/或非部署(例如,测试)有线和/或无线通信网络中的测试场景中使用,以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试装备。经由RF电路系统(例如,其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于发射和/或接收数据。

图2是示出根据一些实施方案的两台服务器和一台客户端的接口的示例集的系统接口图。根据该示例,一个服务器202可以是点云服务器,并且另一个服务器210可以是神经网络服务器。在一些实施方案中,服务器可以一致。两个服务器都连接到互联网110和其它网络112。客户端218还连接到互联网110和其他网络112,从而实现所有三个节点202、210、218之间的通信。每个节点202、210、218包括处理器204、212、220、非暂态计算机可读存储器存储介质206、214、224以及存储介质206、214、224内包含的可执行指令208、216、226,该指令可由处理器204、212、220执行以执行本文所公开的方法或部分方法。如图所示,对于一些实施方案,客户端可以包括图形处理器222以用于为显示器诸如头戴式显示器(HMD)228渲染3D视频。任一个或全部节点可包括WTRU并且通过网络通信,如以上关于图1A和图1B所述。

对于一些实施方案,系统200可以包括点云服务器202、神经网络服务器210和/或客户端218,该客户端包括一个或多个处理器204、212、220以及存储指令208、216、226的一个或多个非暂态计算机可读介质206、214、224,当由处理器204、212、220执行时,该指令可操作以执行本文所公开的方法。对于一些实施方案,节点218可以包括一个或多个图形处理器222。对于一些实施方案,节点202、210、218可以包括一个或多个传感器。

图3A示出了可由一些实施方案捕获和处理的场景或图像的示例性点云。场景302包括在一定距离处的多个建筑物以及从具有某个明显高度的观察者视点成像的一些更近的对象。当观察者视点改变时,诸如通过移动得更低或更靠近建筑物,与点云内的点的相对角度可以改变。点云可在真实世界场景中检测、用虚拟对象生成,或者用这些或其他适用技术的任何组合生成。区域304可包括一个或多个瓦片。

图3B示出了可由一些实施方案捕获和处理的对象或图像的示例性点云。图3B是三维点云对象306的二维黑白线画图。在三维显示环境中,点云对象具有表示三维坐标的点,在三维坐标中已经检测到存在对象的一部分。此类检测可使用例如3D传感器(诸如光检测和测距(LIDAR)、立体视频和RGB-D相机)来发生。点云数据可以包括例如3D位置和辐射图像数据或体素。

具体实施方式

描述了克服前述缺点的多种方法。提供了实现灵活的部分访问例如封装在ISOBMFF容器中的编码点云序列的不同部分的信令方法。还描述了提供对ISOBMFF文件中携带的非定时G-PCC数据的有效的部分访问的方式。

图4示出了用于基于几何的点云压缩(G-PCC)的数据文件的结构。在ISO/IEC23090-9的国际标准(DIS)版本的最新草案(N19328,“ISO/IEC DIS 23090-9基于几何的点云压缩的文本(Text of ISO/IEC DIS23090-9Geometry-based Point CloudCompression)”,MPEG 131,2020年7月)中,G-PCC数据文件402包括也称为类型长度值(TLV)封装结构的G-PCC单元404集,如图4所示。如最新版本的G-PCC标准的DIS草案中描述的G-PCC TLV单元404的语法在表1中给出,其中每个G-PCC TLV单元404具有G-PCC TLV类型406、G-PCC TLV单元有效载荷长度和G-PCC TLV单元有效载荷408。G-PCC TLV单元有效载荷408的示例包括序列参数集、几何参数集、属性参数集、几何数据、属性数据和帧边界标志。tlv_type和相关联的G-PCC数据单元描述在表2中示出。具有单元类型2和4的G-PCC TLV单元104是几何和属性数据单元,诸如在ISO/IEC23090-9中所定义。这些数据单元表示重建点云所需的两个主要分量。几何和属性G-PCC单元的有效载荷对应于可由在对应几何和属性参数集G-PCC单元中指定的G-PCC解码器解码的媒体数据单元,例如,TLV单元。

表1

表2

known_attribute_label的G-PCC属性类型在表3中示出。

表3

known_attribute_label的G-PCC的属性类型在表4中示出。

表4

G-PCC文件高级语法(HLS)支持几何和属性数据的切片和瓦片组的概念。帧划分为多个瓦片和切片。切片是可独立编码或解码的点集。切片包括一个几何数据单元以及零个或多个属性数据单元。属性数据单元可取决于相同切片内的对应几何数据单元。在切片内,几何数据单元出现在任何相关联的属性单元之前。切片的数据单元有利地是连续的。不指定帧内切片的顺序。

可通过公共瓦片标识来识别切片组。ISO/IEC 23090-9规范提供了描述每个瓦片的边界框的瓦片库存。在边界框中瓦片可与另一瓦片重叠。每个切片包含识别切片属于的瓦片的索引。

ISO/IEC 14496(MPEG-4)标准包括定义文件格式的几个部分以用于存储基于时间的媒体。这些格式基于ISO基本媒体文件格式(ISOBMFF)并且从其导出,该ISO基本媒体文件格式(ISOBMFF)具有结构的、媒体独立的定义。ISOBMFF包含可用于媒体数据(诸如音频、视频等)的定时呈现的结构的和媒体数据信息。还提供了对非定时数据的支持,诸如文件结构内处于不同级的元数据。文件的逻辑结构是包含时间并行轨道集的电影结构。文件的时间结构包括包含时间的样本序列的轨道,并且那些序列映射到整个电影的时间线中。ISOBMFF基于框结构化文件的概念。框结构化文件由一系列具有一定尺寸和类型的框(有时称为原子)组成。类型可以是32位值并且通常选为四个可印刷字符,也称为四字符码(4CC)。非定时数据可包含在(处于文件级的)元数据框中,或附接到电影框或电影内的一个定时数据的流(称为轨道)。

根据实施方案的多轨道G-PCC数据文件容器结构在图6中示出。ftyp顶层框602识别哪个规范是容器的‘最佳使用’(也称为文件),和这个规范的次要版本,以及文件遵循的其他规范集。

在ISOBMFF容器内的顶层框中是MovieBox(‘moov’)604,该MovieBox包含容器或文件中存在的连续媒体流的元数据。这些元数据在Movie框中框的层级内(例如,在TrackBox(‘trak’)内)用信号发送。轨道表示文件中存在的连续媒体流。媒体流本身由样本序列组成,诸如基础媒体流的音频或视频单元,并且包封在容器的顶层处存在的MediaDataBox(‘mdat’)606内。每个轨道的元数据包括样本描述条目的列表,每个样本描述条目提供轨道中使用的编码或封装格式和用于处理这种格式的初始化数据。每个样本与轨道的一个样本描述条目相关联。ISO/IEC 14496-12提供了用于定义每个轨道的显式时间线映射的工具。这个工具称为编辑列表,并且使用具有以下语法的EditListBox用信号发送,其中每个条目通过映射组成时间线的一部分或者通过指示‘空’时间来阐述轨道时间线的一部分,例如,呈现时间线的映射到无媒体的部分,也称为‘空’编辑。例如:

点云序列可表示具有多个瓦片的场景。在许多应用中,期望在不必解码场景的其它部分的情况下访问个别瓦片以例如流式传输和/或渲染数据。类似地,点云可以表示单个对象,并且用户可期望在不解码整个点云的情况下访问对象的某些部分。

当G-PCC数据文件在单个轨道中携带时,G-PCC编码数据由单个轨道声明表示。G-PCC数据的单轨道封装可通过将G-PCC数据文件存储在单个轨道中而不进一步处理来利用简单ISOBMFF封装。这个轨道中的每个样本包含一个或多个G-PCC分量。例如,每个样本包括一个或多个TLV封装结构。图5示出了当G-PCC几何和属性数据存储在单个轨道中时的样本结构的示例。该结构包括参数集TLV字段(如果存在)502、几何TLV字段504以及属性TLV字段(如果存在)506。

当编码的G-PCC几何数据和编码的G-PCC属性数据存储在独立轨道中时,轨道中的每个样本包含携带单个G-PCC分量数据的至少一个TLV封装结构。图6示出了根据MPEG-IPart 18(ISO/IEC 23090-18)标准(N19286,“ISO/IEC 23090-18基于几何的点云压缩数据的携带的工作草案(WD of ISO/IEC 23090-18Carriage of Geometry-based Point CloudCompression Data)”,MPEG 130,2020年4月)的最新草案的多轨道ISOBMFG-PCC容器的结构。图6中的框映射到ISO/IEC 14496-12中的对应ISOBMFF框。

基于图6的结构,多轨道G-PCC ISOBMFF容器包括以下:(i)G-PCC轨道608,该轨道包含几何参数集、序列参数集和携带几何数据TLV单元的几何数据样本610,该轨道还包括对携带G-PCC属性分量612的有效载荷的其他轨道的轨道引用;以及(ii)零个或多个G-PCC轨道614,每个轨道包含相应属性的属性参数集和携带属性数据TLV单元618的属性数据样本616。

当G-PCC数据文件在多个轨道中携带时,ISO/IEC 14496-12(“视听对象的编码,第12部分:ISO基本媒体文件格式(Coding of Audio-Visual Objects,Part 12:ISO BaseMedia File Format)”,2015年)的轨道引用工具用于在G-PCC分量轨道之间链接。一个TrackReferenceTypeBoxes添加到G-PCC轨道的TrackBox内的TrackReferenceBox。TrackReferenceTypeBox包含指定G-PCC轨道引用的轨道的track_IDs阵列。为了将G-PCC几何轨道链接到G-PCC属性轨道,G-PCC几何轨道中的TrackReferenceTypeBox的reference_type识别相关联的属性轨道。这些轨道引用类型的4CC为‘gpca’:引用的轨道包含G-PCC属性数据的编码的数据文件。

当G-PCC数据文件中的3D空间区域内的3D空间区域信息和相关联的G-PCC瓦片动态改变时,定时元数据轨道携带动态改变的3D空间区域信息。这个3D空间区域信息定时元数据轨道提供3D空间区域信息与每个3D空间区域的对应G-PCC瓦片之间随时间的关联。

定时元数据轨道可以包含对G-PCC基本轨道的‘cdsc’轨道引用。G-PCC基本轨道可以有利地包含使用4CC‘gbsr’于定时元数据轨道识别的新轨道引用类型。

非定时G-PCC数据使用G-PCC项封装到ISOBMFF文件中。与ISO/IEC 14496-12(“视听对象的编码,第12部分:ISO基本媒体文件格式(Coding of Audio-Visual Objects,Part12:ISO Base Media File Format)”,2015年)中描述的样本数据相反,项是携带不需要定时处理的数据的框。非定时G-PCC数据的携带使用具有G-PCC瓦片的单个项或多个项来支持。对于具有G-PCC瓦片的多个项,类型‘gpt1’的新项以及性质项和项引用在N00075(“ISO/IEC DIS 23090-18基于几何的点云压缩数据的携带的文本(Text of ISO/IEC DIS 23090-18Carriage of Geometry-based Point Cloud Compression Data)”,MPEG 132,2020年10月)中描述,以支持部分访问。

一个或多个G-PCC瓦片的数据可以在一个GPCC瓦片项中携带。图7示出了非定时G-PCC数据的携带的工作示例。如图7的示例所示,通过将每个G-PCC瓦片存储在单独的瓦片项704、706、708中,三个G-PCC瓦片的GPCC项702的数据在三个瓦片项中携带。播放器通过解译相关联的空间区域项性质710、712、714识别包含适当G-PCC瓦片的瓦片项。

如图8的示例所示,两个G-PCC瓦片(瓦片#1和瓦片#2)的数据在具有相关联的空间区域项性质806、808的一个瓦片项804中携带。为了支持G-PCC瓦片的更细粒度指示,即使一个G-PCC瓦片项804包含多个G-PCC瓦片,也可使用子样本信息810,如图8所示。例如,子样本信息810可适于指示包含在G-PCC瓦片项内的瓦片的标识符。另一个G-PCC瓦片(瓦片#3)的数据在具有相关联的空间区域项性质814的第二瓦片项812中携带。

当G-PCC数据文件的几何流包括多个瓦片时,每个瓦片或瓦片组封装于独立轨道中,称为几何瓦片轨道。几何瓦片轨道携带一个或多个几何瓦片的TLV单元,因此实现对这些瓦片的直接访问。相似地,包含多个瓦片的G-PCC数据文件的属性流可在多个属性瓦片轨道中携带。因此,瓦片的G-PCC瓦片轨道包括几何瓦片轨道和可选地一个或多个属性瓦片轨道,该几何瓦片轨道包含在轨道中携带的瓦片的几何信息,该一个或多个属性瓦片轨道包含在轨道中携带的瓦片的属性信息(诸如TLV单元)。

G-PCC瓦片数据在容器中的独立几何和属性瓦片轨道中携带。例如,每个瓦片可在专用于这个瓦片的几何瓦片轨道和专用于这个瓦片的一个或多个属性瓦片轨道中携带。为了支持用于G-PCC编码流的ISOBMFF容器中的部分访问,对应于点云场景内的空间区域的瓦片在定时元数据轨道(诸如具有Dynamic3DSpatialRegionSampleEntry的轨道,如ISO/IEC23090-18中描述或在ISO/IEC 23090-18中描述的GPCCSpatialRegionInfoBox框中)的样本中用信号发送。定时元数据轨道是容器中存在的单独轨道。定时元数据轨道包含识别G-PCC场景中存在的空间区域的信息。定时元数据轨道还包含与每个空间区域中存在的瓦片相关联的瓦片标识符(ID)。当用户想要流式传输涉及特定或选择的空间区域的内容时,播放器应用解析选择的空间区域中存在的瓦片ID,并且下载和/或提取涉及那些瓦片ID的相应G-PCC瓦片轨道中存在的瓦片数据。瓦片轨道样本条目包含这个瓦片轨道中存在的瓦片列表。因此使得播放器和流式传输客户端仅能够检索携带渲染点云场景内的某些空间区域或瓦片所需的信息的瓦片轨道集。

图9中示出了包括G-PCC基本轨道902、G-PCC几何瓦片轨道904、906和G-PCC属性瓦片轨道908、910、912、914的格式化容器的示例的架构。G-PCC基本轨道902携带TLV封装结构,该TLV封装结构例如仅包含SPS、GPS、APS和瓦片库存信息,如ISO/IEC 23090-9中描述。基本轨道902携带促进解码以对每个瓦片开始的初始化信息。为了将G-PCC基本轨道902链接到几何瓦片轨道904、906,具有新轨道引用类型的轨道引用使用四字符码(4CC)‘gpbt’识别。新轨道引用类型‘gpbt’的轨道引用用于将G-PCC基本轨道‘gpcb’902与几何瓦片轨道904、906中的每个链接或关联,诸如瓦片0至N-1的G-PCC几何瓦片轨道904、906‘gpt1’,如图9所示。

例如,使用ISO/IEC 14496-12的轨道引用工具,每个几何瓦片轨道904、906与携带相应瓦片或瓦片组的属性信息的G-PCC属性瓦片轨道908、910、912、914链接。这些轨道引用类型的4CC可以称为‘gpca’,如ISO/IEC 23090-18中描述。如图9所示,瓦片0到瓦片N-1的每个几何瓦片轨道‘gpt1’904、906通过‘gpca’轨道引用类型与分别对应于瓦片0到瓦片N-1并且携带相应瓦片或瓦片组的属性信息的一个或多个属性G-PCC瓦片轨道908、910、912、914链接或关联。

在另一个实施方案中,当G-PCC数据文件包含多个瓦片并且瓦片在几何瓦片轨道和属性瓦片轨道中携带时,G-PCC基本轨道可以使用具有样本条目类型为‘gpcb’的GPCCSampleEntry。

例如,G-PCC基本轨道样本条目包含诸如ISO/IEC 23090-18中描述的GPCCConfigurationBox。在‘gpcb’样本条目下,诸如ISO/IEC 23090-9中描述的所有参数集可存在于setupUnit阵列中或数据文件中。在‘gpcb’样本条目下,不存在GPCCComponentTypeBox。

在另一个实施方案中,当频繁改变参数集数据和瓦片库存信息时,参数集数据和瓦片库存信息可以作为G-PCC样本的一部分在基本轨道中携带,诸如ISO/IEC 23090-18中描述。基本轨道中的GPCC样本可以仅携带SPS、GPS、APS和瓦片库存信息TLV_encapsulation单元,并且可以有利地不包含任何几何或属性数据TLV封装单元。

使用样本的呈现时间识别解码G-PCC瓦片轨道样本的G-PCC基本轨道样本(携带参数集和瓦片库存数据)。对应的基本轨道样本的呈现时间例如等于或小于瓦片轨道样本呈现时间。当基本轨道和瓦片轨道样本的呈现时间不精确匹配时,具有更接近于瓦片轨道样本的呈现时间的呈现时间的基本轨道样本用于解码此类瓦片轨道样本或识别样本的瓦片库存信息。G-PCC样本(基本轨道或瓦片轨道)的呈现时间可通过解析TimeToSampleBox中的‘stts’表和CompositionOffsetBox中的‘ctts’表在相应轨道中导出,诸如ISO/IEC 14496-12中描述。

在另一个实施方案中,当瓦片库存信息在G-PCC数据文件中可用并且信息不随时间改变时,ISO/IEC 23090-9中描述的瓦片库存信息可以存在于瓦片基本轨道样本条目的setupUnit阵列中或样本中。

G-PCC瓦片轨道由GPCCTileSampleEntry样本描述识别。G-PCC几何或属性瓦片轨道的样本条目类型为‘gpt1’。GPCCTileSampleEntry可描述如下:

/>

以上样本条目描述了G-PCC分量瓦片轨道的媒体样本。

GPCCTileSampleEntry中的字段的语义的示例为:

基类VolumetricVisualSampleEntry中的compressorname指示所使用的压缩器的名称,推荐的值为“ 13GPCC编码”;第一字节是剩余字节的计数,这里由 13表示,其(八进制为13)为11(十进制),即串的剩余部分中的字节数;

config是G-PCC瓦片组配置记录信息;

type是GPCCComponentTypeBox的实例,其指示相应轨道中携带的G-PCC分量的类型;当所有分量的数据被一起携带时,这个框不存在;

num_tiles_in_track指示相应轨道中携带的瓦片数量;

dynamic_tile_id_flag指示tile_id在数据文件中是否改变;值0指示tile_id值在整个数据文件中不改变;值1指示tile_id值在数据文件中改变;当这个标志设定为1时,使用瓦片索引替代瓦片id表示这个特定瓦片;这个标志的默认值为0;

tile_id指示瓦片库存中特定瓦片的唯一标识符;当dynamic_tile_id_flag设定为值0时,tile_id表示瓦片库存中存在的一个瓦片id值;当dynamic_tile_id_flag设定为值1时,tile_id表示瓦片库存中的瓦片索引。

在另一个实施方案中,G-PCC瓦片轨道有利地指示相应瓦片轨道的样本中存在的所有瓦片标识符。瓦片轨道中存在的瓦片标识符在GPCCTileSampleEntry中用信号发送。瓦片轨道样本中存在的瓦片标识符不应与其它瓦片轨道样本中存在的瓦片标识符重叠。GPCCTileSampleEntry的描述如下:

以上样本条目描述了G-PCC分量瓦片轨道的媒体样本。

GPCCTileSampleEntry中的字段的语义的示例为:

基类VolumetricVisualSampleEntry中的compressorname指示所使用的压缩器的名称,推荐的值为“ 13GPCC编码”;第一字节是剩余字节的计数,这里由 13表示,其(八进制为13)为11(十进制),即串的剩余部分中的字节数。

config是G-PCC瓦片组配置记录信息。

type是GPCCComponentTypeBox的实例,其指示在相应轨道中携带的G-PCC分量的类型。当所有分量的数据被一起携带时,这个框不存在。

dynamic_tile_id_flag指示瓦片轨道样本中存在的瓦片或瓦片标识符的数量是否在流中动态改变。值0指示瓦片轨道中的所有样本包含相同数量的瓦片并且那些瓦片的瓦片标识符未改变。值1指示瓦片轨道样本中存在的瓦片的数量改变或者瓦片轨道样本中的瓦片标识符在流中改变。

max_num_tile_ids_in_track指示在相应轨道的样本中存在的唯一G-PCC瓦片标识符的最大数量。当dynamic_num_tiles_flag为0时,瓦片轨道中的每个样本应包含max_num_tile_ids_in_track个瓦片,并且那些瓦片的瓦片标识符在流中未改变。当dynamic_num_tiles_flag为1时,瓦片轨道中的每个样本最多包含max_num_tile_ids_in_track个瓦片,并且那些瓦片的瓦片标识符可以在样本之间改变。

tile_id指示对应于相应轨道中的样本的特定G-PCC瓦片的标识符。

几何和属性瓦片轨道中的样本可具有ISO/IEC WD 23090-18中描述的相同样本格式。SubsampleInformationBox的codec_specific_parameters字段中的标志值有利地设定为1。对应于单点云帧的瓦片轨中的每个G-PCC样本包含属于相同呈现时间的一个或多个TLV封装结构。样本中存在的所有TLV封装结构有利地具有相同的呈现时间。每个TLV封装结构包含单个类型的G-PCC有效载荷,例如几何数据单元或属性数据单元。在实施方案中,当参数集信息和瓦片库存信息在G-PCC基本轨道中携带时,参数集信息和瓦片库存信息不在G-PCC瓦片轨道样本中携带。

G-PCC基本轨道使用轨道引用链接到几何瓦片轨道。新的轨道引用类型使用四字符码(4CC)‘gpbt’描述,以链接G-PCC基本轨道与几何瓦片轨道。

使用如ISO/IEC WD 23090-18中描述的‘gpca’轨道引用类型,每个几何瓦片轨道与携带几何瓦片轨道中的瓦片的属性信息的其他G-PCC瓦片轨道链接。

当瓦片或瓦片组的所有G-PCC分量在单个瓦片轨道中携带时,G-PCC样本包括多个子样本。

在另一个实施方案中,当瓦片或瓦片组的所有G-PCC分量在单个瓦片轨道中携带时,样本条目类型为‘gptm’用于指示G-PCC样本包含两个或多个时间上交织的GPCC分量数据的表示。

‘gptm’样本条目可以描述如下:

存在‘gptm’样本条目类型指示使用时间上交织的分量封装布置。component_count_minus1+1连续样本的合成时间等于交织分量封装布置中的样本组中第一样本的值。语法可以如下:

在语义中,component_count_minus1+1指示G-PCC分量样本存在于轨道中作为连续样本的数量。

在另一个实施方案中,在编码的点云序列的整个持续时间,G-PCC帧中瓦片的数量和布局是固定的,以避免容器文件中的轨道数量的爆发。

另选的轨道和它们的分组是可视化的,如图10所示。轨道另选可以由ISO/IEC14496-12中描述的另选轨道机构指示,例如TrackHeaderBox的alternate_group字段。几何和属性是G-PCC分量。G-PCC分量瓦片轨道包括几何瓦片轨道和属性瓦片轨道。具有相同alternate_group值的G-PCC分量瓦片轨1004、1006、1010、1012、1014、1016、1018、1020、1022、1024是不同编码版本的相同G-PCC分量。G-PCC场景可在另选轨道中编码。当G-PCC场景在另选轨道中编码时,作为彼此另选的G-PCC分量瓦片轨道在它们的TrackHeaderBox具有相同的alternate_group值。

G-PCC分量瓦片轨道1004、1006、1010、1012、1014、1016、1018、1020、1022、1024可具有另选轨道。在此类情况下,属于另选组的所有G-PCC分量瓦片轨道1004、1006、1010、1012、1014、1016、1018、1020、1022、1024由G-PCC基本轨道1002或相应G-PCC几何瓦片轨道1004、1006引用。作为彼此另选的G-PCC分量瓦片轨道1004、1006、1010、1012、1014、1016、1018、1020、1022、1024使用另选分组机制,诸如ISO/IEC 14496-12中描述。

另选的瓦片基本轨道1102、1104以及对应的几何瓦片轨道1106、1108、1110、1112和属性瓦片轨道1114、1116、1118、1120、1122、1124、1126、1128的分组在图11中示出。可在另选轨道中对体积视觉场景进行编码。在另一个实施方案中,当不同编码版本的相同G-PCC几何分量可用并且每个版本的几何分量在一个瓦片基本轨道以及一个或多个G-PCC瓦片轨道中用信号发送时,对应的G-PCC瓦片基本轨道有利地具有相同的alternate_group值。在此类情况下,作为彼此另选的G-PCC瓦片基本轨道可在它们的TrackHeaderBox中具有相同alternate_group值。

图12中是示出解码基于几何的点云数据的瓦片的方法的流程图。该方法包括接收1202包括基于几何的点云数据的格式化容器,该基于几何的点云数据包括多个瓦片。从格式化容器获得1204定时元数据轨道。定时元数据轨道包括多个瓦片标识符。每个瓦片标识符对应于多个瓦片中的相应瓦片304。从多个瓦片中选择1206至少一个选择的瓦片。至少一个选择的瓦片对应于至少一个瓦片标识符。从格式化容器中识别1208与至少一个瓦片标识符相关联的至少一个几何瓦片轨道。利用与至少一个几何瓦片轨道相关联的第一轨道引用类型,从格式化容器中识别1210包括至少一个选择的瓦片的初始化数据的基本轨道。利用与至少一个几何瓦片轨道相关联的第二轨道引用类型,从格式化容器中识别1212与至少一个选择的瓦片(如果存在的话)相关联的至少一个属性瓦片轨道。利用至少一个几何瓦片轨道、至少一个属性瓦片轨道(如果存在的话)和初始化数据将至少一个选择的瓦片解码1214成至少一个解码的瓦片。有利地,在不解码所有基于几何的点云数据的情况下执行解码。

图12的方法可以应用于例如具有显示器的装置,诸如头戴式显示器、智能电话或其他WTRU。该装置从要显示的点云302的场景或点云的对象306的区域308识别区域304。区域302、308中的每个区域可包括一个或多个瓦片。在显示器上渲染解码的选择的瓦片。另选地,解码的选择的瓦片可以以其他方式流式传输或利用,诸如能够解码基于几何的点云内容的动态视频流应用。瓦片可以从服务器流式传输并且在接收客户端/UE/装置(在下文中称为“客户端”)上解码。可使用任何流式传输或传输协议(例如,HTTP上的动态自适应流式传输(DASH))执行流式传输。

可在另选轨道中对体积视觉场景进行编码。在另一个实施方案中,当不同编码版本的相同G-PCC属性分量可用并且每个版本的属性分量在单个轨道或一个或多个G-PCC瓦片轨道中用信号发送时,对应的G-PCC属性轨道可以具有相同的alternate_group值。作为彼此另选的G-PCC属性轨道有利地可以在它们的TrackHeaderBox具有相同的alternate_group值。作为彼此另选的G-PCC属性瓦片轨道有利地在它们的TrackHeaderBox具有相同的alternate_group值。示出用于多个轨道的另选属性轨道和对应的几何轨道的分组的图在图13中示出。G-PCC属性轨道1304、1308可以分别具有诸如G-PCC属性轨道1306、1310的另选轨道。属于另选组的所有G-PCC属性轨道1304、1306、1308、1310有利地由相应G-PCC几何轨道1302引用。作为彼此另选的G-PCC属性轨道1304、1306可以使用另选分组机制,诸如ISO/IEC 14496-12中描述。

示出另选属性瓦片轨道和对应的几何瓦片轨道的分组的图在图14中示出。对于G-PCC基本轨道,示出了标记为0至N-1的N个瓦片中的每个瓦片的几何瓦片轨道和对应的另选属性瓦片轨道的分组。G-PCC属性瓦片轨道1014、1022可以分别具有诸如G-PCC属性瓦片轨道1016、1024的另选轨道。属于另选组的所有G-PCC属性瓦片轨道1014、1016、1022、1024有利地由G-PCC基本轨道1002或相应G-PCC几何瓦片轨道1004和1006引用。作为彼此另选的G-PCC属性瓦片轨道1014、1016、1022、1024可以使用另选分组机制,诸如ISO/IEC 14496-12中描述。

在另一个实施方案中,为了将静态3D空间区域信息链接到G-PCC基本轨道,可以将GPCCSpatialRegionInfoBox框添加到基本轨道。基本轨道携带参数集诸如SPS、GPS、APS、瓦片库存信息TLV单元以及GPCCSpatialRegionInfoBox框。

在另一个实施方案中,当3D空间区域信息动态改变时,G-PCC基本轨道使用ISO/IEC 14496-12的轨道引用工具链接到携带动态改变的3D空间区域信息的定时元数据轨道1502。定时元数据轨道1502可以有利地包含对G-PCC基本轨道的‘cdsc’轨道引用。G-PCC基本轨道可以有利地包含使用4CC‘gb3d’于定时元数据轨道描述的新轨道引用类型。

G-PCC基本轨道、G-PCC瓦片轨道、3D空间区域定时元数据轨道1502以及基本轨道902与3D空间区域定时元数据轨道1502之间的轨道引用的整体架构在图15中示出。

ISO/IEC 23090-18中描述的GPCCComponentTypeBox表示G-PCC分量的类型,例如几何或属性。在另一个实施方案中,为了表示数据文件中存在的属性分量的类型并且区分G-PCC数据文件中存在的各种属性分量,GPCCComponentInfoBox描述为取代如ISO/IEC23090-18中描述的GPCCComponentTypeBox。

GPCCComponentInfoBox框用信号发送G-PCC分量的信息。当这个框存在于携带G-PCC分量数据的轨道的样本条目中时,这个框指示由相应轨道携带的G-PCC分量的类型。当相应轨道携带G-PCC属性分量时,这个框还提供属性类型和索引。GPCCComponentInfoBox中的attr_index变量区分具有如ISO/IEC 23090-9的表8中指定的相同attr_type值的各种属性分量。当G-PCC数据文件存储在单个轨道中时,这个框有利地不存在于样本条目中。

示例性语法可以如下:

/>

语义可以如下:attr_type识别如在ISO/IEC 23090-9的表8中指定的属性分量的类型,并且attr_index识别SPS中属性的顺序。

在另一个实施方案中,当相应轨道携带G-PCC属性分量时,GPCCComponentInfoBox框还提供属性名称、索引和可选的属性类型或属性对象标识符。

GPCCComponentInfoBox框的语法的示例如下。

GPCCComponentInfoBox框的语义可以如下。

attr_index识别SPS中属性的顺序。

attr_type_present指示GPCCComponentInfoBox中存在属性类型信息。值1指示属性类型信息在这个框中用信号发送。值0指示属性类型信息不用信号发送。

known_attribute_label_flag指示属性是由attr_type的值识别还是由国际对象标识符attribute_label_oid识别。

attr_type识别如ISO/IEC 23090-9的表8中指定的属性分量的类型。

attribute_label_oid识别如Recommendation ITU-T X.660ISO/IEC 9834-1中指定的国际对象标识符。对象标识符的语法在ISO/IEC 23090-9的子条款9.6.5.1中描述。

attr_name指定G-PCC属性分量的类型的人类可读名称。

在另一个实施方案中,当G-PCC数据文件包含3D对象时,3DObjectInfoStruct提供了3D对象的边界框信息。

3DObjectInfoStruct提供了3D对象的边界框信息,包括锚定点的X、Y、Z坐标值和边界框相对于锚定点沿X、Y、Z轴的尺寸。

示例性语法可以如下:

语义可以如下:

anchor_included指示3D对象的原点位置的X、Y、Z坐标值是否包括在结构中;

dimension_included等于1指示3D对象的维度在结构中用信号发送。dimension_included等于0指示3D对象的维度在结构中不用信号发送;

3d_object_id指示3D对象标识符;

anchor_x、anchor_y和anchor_z分别指示3D对象的锚定点在笛卡尔坐标中的x、y和z偏移。当结构中不存在时,可推断锚定点等于(0、0、0);

object_dx、object_dy和object_dz分别指示3D对象在笛卡尔坐标中相对于锚定点沿x、y和z轴的尺寸,并且指示3D对象在笛卡尔坐标中的宽度、高度和深度。

在另一个实施方案中,当G-PCC中存在的3D对象为静态时,G-PCC基本轨道中存在的GPCC3DObjectsInfoBox为每个3D对象提供边界框信息的3D对象和相关联的G-PCC瓦片。

GPCC3DObjectsInfoBox提供关于G-PCC数据文件中存在的3D对象的信息,包括边界框信息,诸如锚定点的X、Y、Z坐标值以及3D对象的边界框相对于锚定点沿X、Y、Z轴的尺寸。这个框还为每个对象提供映射到瓦片集,并且启用或禁用对象。

GPCC3DObjectsInfoBox框可以可选地存在于G-PCC基本轨道的样本条目中。当GPCC3DObjectsInfoBox框存在于G-PCC基本轨道的样本条目中时,GPCC3DObjectsInfoBox指示G-PCC中存在的静态3D对象的信息。

示例性语法可以如下:

语义可以如下:

num_objects指示在点云中存在的3D对象的数量;

3DObjectInfoStruct提供由锚定点指示的3D对象空间信息以及3D对象相对于锚定点沿X、Y、Z轴的尺寸;

num_tiles[i]指示与第i个3D对象相关联的G-PCC瓦片的数量;

object_enabled等于1指示3D对象在场景中是活动的。object_enabled等于0指示3D对象不存在于G-PCC数据文件的第一帧中;

tile_id[j]识别与第i个3D对象相关联的第j个G-PCC瓦片。

在另一个实施方案中,当G-PCC数据文件中的边界框信息的3D对象以及与3D对象相关联的G-PCC瓦片动态改变时,定时元数据轨道携带动态改变的3D对象信息。这个3D对象信息定时元数据轨道提供了3D对象信息与每个3D对象的对应G-PCC瓦片之间随时间的关联。

定时元数据轨道1502可以有利地包含对G-PCC基本轨道的‘cdsc’轨道引用。G-PCC基本轨道可以有利地包含使用4CC‘gb3d’于定时元数据轨道1502描述的新轨道引用类型。

定时元数据轨道中的同步样本可有利地携带所有3D对象的维度和相关联的瓦片映射信息,而不管是否启用3D对象。对于同步样本,每个3D对象的dynamic_dimension_flag和dynamic_tile_mapping_flag标志的值设定为1。当这个对象在这个同步样本中活动时,object_enabled标志设定为1,否则object_enabled标志设定为0。

这个定时元数据轨道中的非同步样本可以有利地仅携带引用最近在前同步样本中可用的3D对象信息的更新的3D对象信息。

如果基本轨道具有样本条目类型‘gpdo’的关联定时元数据轨道,则关联3D对象在点云数据中的位置被认为是动态的。

样本条目

GPCC3DObjectsInfoBox指示3D对象的初始位置信息;

num_objects指示在样本条目中用信号发送的3D对象的数量;

3DObjectInfoStruct提供了第i个3D对象的初始信息,包括样本条目中的锚定点和在笛卡尔坐标中相对于锚定点沿X、Y、Z轴的尺寸;

num_tiles[i]指示与样本条目中的第i个3D对象相关联的G-PCC瓦片的数量;

object_enabled等于1指示3D对象是活动的;object_enabled等于0指示3D对象不活动;

tile_id[j]识别与样本条目中的第i个3D对象相关联的第j个G-PCC瓦片;

dynamic_dimension_flag等于0指定3D对象的维度在引用这个样本条目的所有样本中保持不变;dynamic_dimension_flag等于1指定3D对象的维度在每个样本中指示;

dynamic_tile_mapping_flag等于0指定与3D对象相关联的瓦片的标识符在引用这个样本条目的所有样本中保持不变;

dynamic_tile_mapping_flag等于1指定与3D对象相关联的瓦片的标识符存在于每个样本中。

这个样本条目类型‘gpdo’的样本语法可以如下:

num_objects指示引用最近同步样本在样本中更新的3D对象的数量;

3d_object_id指示更新的3D对象标识符;

object_enabled等于0指定更新的3D对象不存在于样本中;

object_enabled等于1指定更新的3D对象在样本中是活动的;

dynamic_dimension_flag等于0指示更新的3D对象维度引用最近的同步样本尚未改变;dynamic_dimension_flag等于1指示更新的3D对象维度引用最近的同步样本已经改变;

dynamic_tile_mapping_flag等于0指示更新的3D对象关联的瓦片引用最近的同步样本尚未改变;dynamic_tile_mapping_flag等于1指示更新的3D对象关联的瓦片引用最近的同步样本已经改变;

3DObjectInfoStruct提供更新的3D对象空间信息;

num_tile[i]指示当应用这个样本时与第i个3D对象相关联的G-PCC瓦片的数量;

tile_id[j]识别当应用这个样本时与第i个3D对象相关联的G-PCC瓦片。

在另一个实施方案中,3D空间区域信息定时元数据轨道中的同步样本有利地携带所有3D空间区域的维度和相关联的瓦片映射信息。对于同步样本,每个3D空间区域的dynamic_dimension_flag和dynamic_tile_id_flag标志的值设定为1。

在另一个实施方案中,定时元数据轨道中的非同步样本有利地仅携带引用最近在前同步样本中可用的3D空间区域信息的更新的3D空间区域信息。

在另一个实施方案中,系统有利地将3D空间区域信息定时元数据轨道中的样本设定为同步样本或非同步样本。有利地,对于特定数量的样本(关键帧距离)或对于特定时间间隔(关键帧时间),存在一个同步样本。关键帧距离或关键帧时间有利地由系统指定。

在另一个实施方案中,对于同步样本,dynamic_dimension_flag标志的值设定为1,并且当瓦片库存信息存在于G-PCC数据文件中时dynamic_tile_id_flag标志设定为1,并且对于每个3D空间区域cancelled_region_flag设定为0。

在另一个实施方案中,非同步样本可以可选地仅用信号发送具有相对于最近在前同步样本的改变的3D空间区域,包括更新的维度或相关联的3D瓦片以及任何添加或消除的3D空间区域。当引用在前同步样本消除3D空间区域时,cancelled_region_flag标志的值设定为1。当引用在前同步样本更新当前样本中的3D空间区域的维度时,dynamic_dimension_flag标志的值设定为1。当引用在前同步样本更新当前样本中的3D空间区域的关联瓦片时,dynamic_tile_id_flag标志的值设定为1。

示例性语法可以如下:

/>

语义的示例为:

num_regions指示引用在前同步样本在样本中用信号发送的更新的3D空间区域的数量。其维度和/或相关联的3D瓦片引用在前同步样本更新的3D空间区域被认为是更新的区域。引用在前同步样本在这个样本中消除的3D空间区域也被认为是更新的区域。

cancelled_region_flag指示引用在前同步样本在当前样本中是消除还是更新3D区域。值0指示引用在前同步样本更新3D区域维度和/或相关联的3D瓦片。值1指示引用在前同步样本在这个样本中消除3D区域。

dynamic_dimension_flag指示引用在前同步样本是否更新这个3D区域的维度。

dynamic_tile_id_flag指示引用在前同步样本是否更新这个3D区域的相关联3D瓦片。

3DSpatialRegionStruct提供了当应用这个样本时G-PCC数据的3D空间区域信息

num_tile指示当应用这个样本时与3D空间区域相关联的G-PCC瓦片的数量

tile_id识别与3D空间区域相关联的特定G-PCC瓦片。

3d_region_id识别引用在前同步样本的消除的3D空间区域。

23090-18中描述的与一个或多个G-PCC瓦片项相关联的GPCCSpatialRegionInfoProperty描述性项性质用于描述空间区域信息,包括标识符、锚定点以及3D瓦片在笛卡尔坐标中相对于锚定点沿X、Y、Z轴的尺寸。当客户端想要部分访问非定时信息时,客户端解析所有GPCCSpatialRegionInfoProperty项性质并且基于用户视口和GPCCSpatialRegionInfoProperty性质项中存在的3D瓦片库存信息找到感兴趣的G-PCC瓦片项。这个过程在客户端侧是冗长的。

GPCCSpatialRegionsInfoProperty描述性项性质的使用解决了以上问题并且提供了更好的部分访问支持。

在另一个实施方案中,‘gpeb’类型的每个G-PCC项有利地与GPCCSpatialRegionsInfoProperty性质相关联。GPCCSpatialRegionsInfoProperty有利地指示每个3D区域的边界框信息的3D区域标识符、偏移和尺寸。在另一个实施方案中,当3D片库存信息在G-PCC数据文件中可用时,类型‘gpel’的每个G-PCC项有利地与GPCCSpatialRegionsInfoProperty性质项相关联。当3D片库存信息在G-PCC数据文件中不可用时,GPCCSpatialRegionsInfoProperty性质项不存在。

在另一个实施方案中,当3D瓦片库存信息在G-PCC数据文件中可用并且子样本项性质与这个G-PCC项链接时,携带G-PCC几何分量的类型‘gpci’的G-PCC项有利地与GPCCSpatialRegionsInfoProperty性质项相关联。当3D瓦片库存信息在G-PCC数据文件中不可用或者子样本项性质不与这个G-PCC项链接时,GPCCSpatialRegionsInfoProperty性质项不存在。

图16是示出具有空间区域项性质1604的具有N个G-PCC瓦片的非定时G-PCC数据项1602的部分访问的图,其中N是整数。图16是通过将G-PCC瓦片存储在具有相关联的瓦片信息项性质1610、1612的单独项中携带由布置在多个G-PCC瓦片项1606、1608中的N个G-PCC瓦片组成的非定时G-PCC数据的示例。

图17是示出具有类型‘gpe1’的G-PCC项1702的非定时G-PCC数据的部分访问的图。图17是具有类型‘gpe1’的G-PCC项的非定时G-PCC数据的携带的示例。当3D瓦片库存信息在G-PCC数据文件中可用时,G-PCC项与G-PCC空间区域项性质1704相关联。

图18是示出具有类型‘gpci’的G-PCC项1802的非定时G-PCC的部分访问的图。图18示出了具有类型‘gpci’的G-PCC项1802的非定时G-PCC的携带的示例。当3D瓦片库存信息1806在G-PCC数据文件中可用并且子样本项性质1810与类型‘gpci’的G-PCC项相关联时,携带几何数据的G-PCC项1802与G-PCC空间区域项性质1804相关联并且包括相关联的分量信息项性质1808。每个隐藏属性1812、1814示出为具有相关联的配置项性质1816、1818、相关联的分量信息项性质1820、1822以及子样本项性质1824、1826。

在另一个实施方案中,GPCCTileInfoProperty项性质描述了G-PCC瓦片项中存在的每个3D瓦片的瓦片标识符信息。类型‘gpt1’的每个G-PCC瓦片项有利地与GPCCTileInfoProperty性质项相关联。GPCCTileInfoProperty性质项有利地指示在类型‘gpt1’的G-PCC瓦片项中存在的每个3D瓦片的3D瓦片标识符信息。G-PCC播放器使用与G-PCC项相关联的G-PCC空间区域项性质基于感兴趣的视口区域识别所需的瓦片标识符。使用相关联的G-PCC瓦片信息项性质解译包含特定G-PCC瓦片标识符的瓦片项。

GPCCSpatialRegionsInfoProperty和GPCCTileInfoProperty项性质实现非定时G-PCC的部分访问。

G-PCC空间区域项性质可以描述如下。

GPCCSpatialRegionsInfoProperty描述性项性质用于描述空间区域信息,包括3D区域标识符、锚定点以及3D空间区域在笛卡尔坐标中相对于每个3D空间区域的锚定点沿X、Y、Z轴的尺寸。GPCCSpatialRegionsInfoProperty项性质还描述了与每个3D空间区域相关联的3D瓦片标识符。

语法的示例如下:

/>

语义的示例如下:

num_regions指示G-PCC数据文件中3D空间区域的数量。

3d_region_id指示空间区域的标识符。

anchor_x、anchor_y和anchor_z分别指示3D空间区域的锚定点在笛卡尔坐标中的x、y和z偏移。

region_dx、region_dy和region_dz分别指示3D空间区域在笛卡尔坐标中相对于锚定点沿x、y和z轴的尺寸,并且指示3D空间区域在笛卡尔坐标中的宽度、高度和深度。

num_tile指示与3D空间区域相关联的3D瓦片的数量。

tile_id指示与3D空间区域相关联的3D瓦片的瓦片标识符。

G-PCC瓦片信息项性质可描述如下。

GPCCTileInfoProperty描述性项性质描述了G-PCC瓦片项中存在的3D瓦片的瓦片标识符。GPCCTileInfoProperty项性质可以可选地包含锚定点和3D瓦片在笛卡尔坐标中相对于G-PCC瓦片项中存在的所有3D瓦片的锚定点沿X、Y、Z轴的尺寸。

语法的示例如下:

/>

语义的示例如下:

num_tile指示G-PCC瓦片项中存在的3D瓦片的数量。

tile_id指示G-PCC瓦片项中存在的3D瓦片的瓦片标识符。

tile_inventory_info_flag指示瓦片库存信息在GPCCTileInfoProperty性质中是否可用。值0指示瓦片库存信息在GPCCTileInfoProperty性质中不可用。值1指示瓦片库存信息在GPCCTileInfoProperty性质中可用。

3d_region_id指示3D瓦片的标识符。

anchor_x、anchor_y和anchor_z分别指示3D瓦片的锚定点在笛卡尔坐标中的x、y和z偏移。

region_dx、region_dy和region_dz分别指示3D瓦片在笛卡尔坐标中相对于锚定点沿x、y和z轴的尺寸,并且指示3D瓦片在笛卡尔坐标中的宽度、高度和深度。

在另一个实施方案中,可通过基于时间层划分G-PCC帧支持G-PCC数据文件中的时间可缩放性。系统可以选择G-PCC数据文件中存在的时间层的最大数量以支持时间可缩放性。系统可以将数据文件中的G-PCC帧分布到多个时间层。例如,可将包含600帧的G-PCC数据文件分布到3个时间层中,其中第一帧分配给时间层0,第二帧分配给时间层1,第三帧分配给时间层3,第四帧分配给时间层0,等等。如果G-PCC帧与时间层标识符信息之间的映射在G-PCC数据文件中没有用信号发送,则系统可以识别G-PCC帧到特定时间层的分布逻辑。G-PCC流式应用可仅流式传输特定时间层ID帧、属于多个时间层的帧或所有时间层帧,随后解码和渲染那些帧到点云渲染器。在不解码和渲染任何其它时间层的情况下,可解码和渲染多个识别的时间层中的个别时间层的帧。

在另一个实施方案中,GPCCScalabilityInfoBox框指示数据文件中存在的可缩放性信息。当这个框存在于表示主G-PCC数据的轨道的样本条目中时,该框指示是否支持可缩放性。如果支持可缩放性,则这个框提供G-PCC数据文件中存在的时间层的最大数量。

在另一个实施方案中,G-PCC瓦片基本轨道或主轨道用信号发送G-PCC数据文件中存在的时间层的最大数量。

GPCCScalabilityInfoBox的语法的示例如下:

GPCCScalabilityInfoBox的语义的示例如下:

temporal_scalability_flag指示数据文件中的G-PCC帧是否划分为时间层。值0指示时间层信息不可用或所有时间层帧在一个时间层中用信号发送。值1指示帧划分为多个时间层。

max_num_temporal_layers指示G-PCC数据文件帧划分为的时间层的最大数量。

temporal_layer_id指示存在的样本的时间层标识符。

在另一个实施方案中,G-PCC瓦片轨道可用信号发送这个轨道中存在的G-PCC样本的时间层标识符。瓦片轨道中存在的时间层标识符信息在GPCCTileSampleEntry中用信号发送。G-PCC瓦片轨道可以用信号发送属于一个或多个时间层或所有时间层的一个或多个瓦片。

样本条目描述了G-PCC分量瓦片轨道的媒体样本。GPCCTileSampleEntry描述如下:

GPCCTileSampleEntry的语法的示例如下:

GPCCTileSampleEntry中的字段的语义可描述如下:

基类VolumetricVisualSampleEntry中的compressorname指示所使用的压缩器的名称,推荐的值为“ 13GPCC编码”;第一字节是剩余字节的计数,这里由 13表示,其(八进制为13)为11(十进制),即串的剩余部分中的字节数。

config是G-PCC瓦片组配置记录信息。

type是GPCCComponentTypeBox的实例,其指示在相应轨道中携带的G-PCC分量的类型。当所有分量的数据一起携带时,这个框不存在。

dynamic_tile_id_flag指示瓦片轨道样本中存在的瓦片或瓦片标识符的数量是否在流中动态改变。值0指示瓦片轨道中的所有样本包含相同数量的瓦片并且那些瓦片的瓦片标识符未改变。值1指示瓦片轨道样本中存在的瓦片的数量改变或者瓦片轨道样本中的瓦片标识符在流中改变。

temporal_scalability_flag指示数据文件中的G-PCC帧是否划分为时间层。值0指示时间层信息不可用或者所有时间层帧在这个瓦片轨道中用信号发送。值1指示存在时间层标识符信息。

max_num_tile_ids_in_track指示在相应轨道的样本中存在的唯一G-PCC瓦片标识符的最大数量。当dynamic_num_tiles_flag为0时,瓦片轨道中的每个样本包含max_num_tile_ids_in_track个瓦片,并且这些瓦片的瓦片标识符在流中未改变。当dynamic_num_tiles_flag为1时,瓦片轨道中的每个样本最多包含max_num_tile_ids_in_track个瓦片,并且那些瓦片的瓦片标识符可以在样本之间改变。

tile_id指示对应于相应轨道中的样本的特定G-PCC瓦片的标识符。

num_temporal_layers指示在相应轨道的样本中存在的时间层的数量。

temporal_layer_id指示在相应轨道中用信号发送的样本的时间层标识符。

G-PCC瓦片基本轨道或G-PCC几何轨道的样本条目可包含GPCCScalabilityInfoBox框。G-PCC瓦片基本轨道的样本条目如下:

G-PCC几何轨道的样本条目如下:

在另一个实施方案中,类型‘gpe1’或‘gpeg’的G-PCC轨道可以用信号发送这个轨道中存在的G-PCC样本的时间层标识符。GPCCScalabilityInfoBox框可存在于样本条目中以用信号发送这个轨道中存在的时间层标识符信息。类型‘gpe1’或‘gpeg’的G-PCC轨道可以用信号发送数据文件中存在的所有时间层。

下面示出用于单个轨道情况的G-PCC轨道的样本条目。

scalabilityInfo指示这个轨道的样本中存在的时间可缩放性层标识符信息。

属于相同点云分量的不同时间级轨道中存在的样本的呈现时间应不同。例如,时间级0和时间级1轨道中存在的几何分量样本的呈现时间应不同。

如ISO/IEC 23090-18中描述的GPCCDecoderConfigurationRecord可扩展以指示文件中存在的时间层的数量。下面示出了扩展解码器配置记录的语法和语义。用于所有时间级轨道的解码器配置信息(诸如SPS、GPS、APS以及瓦片库存信息)可有利地为相同的。有利地,可以仅改变那些轨道中存在的时间级的数量和时间级标识符。

示例性语法如下:

示例性语义如下:

num_temporal_layers指示轨道中存在的时间层的最大数量。当时间层信息不可用或者所有帧在一个时间层中用信号发送时,这个字段值为1。

temporal_layer_id指示时间层标识符。

在另一个实施方案中,G-PCC分量的样本基于样本的时间级来分组。时间级样本分组(‘tele’)提供了可用于根据时间级对轨道(以及潜在轨道片段)中的G-PCC样本进行分组的编解码器独立的样本分组,其中一个时间级的样本不具有对其它时间级的样本的编码依赖性。

在另一个实施方案中,ISO/IEC 14496-12中指定的时间级样本组‘tele’用于指示TemporalId值。当‘tele’样本组存在于携带几何和/或属性数据的G-PCC轨道中时,具有时间级TemporalId的样本映射到样本组描述索引TemporalId+1。样本组描述框用信号发送在解码器配置记录中用信号发送的所有层的样本组描述。

在另一个实施方案中,当瓦片库存信息在G-PCC数据文件中可用并且是静态的或随时间改变时,使用具有grouping_type为‘gtii’的瓦片库存信息样本组用信号发送瓦片库存信息。具有分组类型‘gtii’的瓦片库存信息样本组用于对在G-PCC几何轨道中使用相同瓦片库存信息的G-PCC样本进行分组。瓦片库存信息可存在于样本组描述条目中或样本中。

在另一个实施方案中,当使用具有轨道类型‘gpc1’的G-PCC轨道携带G-PCC数据文件并且瓦片库存信息在数据文件中可用时,几何轨道包含具有分组类型‘gtii’的瓦片库存信息样本组,并且瓦片库存信息存在于样本组描述条目中。属性轨道不包含具有分组类型‘gtii’的样本组。

在另一个实施方案中,在‘gpcg’样本条目下,当瓦片库存信息在数据文件中可用时,几何轨道包含具有分组类型‘gtii’的瓦片库存信息样本组,并且瓦片库存信息可存在于样本组描述条目中或G-PCC几何轨道的样本中。

在另一个实施方案中,在‘gpe1’样本条目下,当瓦片库存信息在数据文件中可用时,G-PCC轨道包含具有分组类型‘gtii’的瓦片库存信息样本组,并且瓦片库存信息存在于样本组描述条目中。

在另一个实施方案中,在‘gpeg’样本条目下,当瓦片库存信息在数据文件中可用时,G-PCC轨道包含具有分组类型‘gtii’的瓦片库存信息样本组,且瓦片库存信息可存在于样本组描述条目中或G-PCC轨道的样本中。

在另一个实施方案中,当使用瓦片轨道携带G-PCC数据文件时,具有轨道类型‘gpcb’或‘gpeb’的瓦片基本轨道可以包含具有分组类型‘gtii’的样本组,并且瓦片库存信息在瓦片基本轨道样本中可用。瓦片库存信息不存在于‘gtii’样本组描述条目中。具有轨道类型‘gpt1’的几何和属性瓦片轨道不包含具有分组类型‘gtii’的样本组。

在另一个实施方案中,当使用具有轨道类型‘gpt1’的瓦片轨道携带G-PCC数据文件时,几何瓦片轨道可包含‘gtii’样本组以用信号发送这个轨道的样本中存在的瓦片的瓦片库存信息。

瓦片库存信息样本组条目:

组类型:‘gtii’

容器:样本组描述框(‘sgpd’)

必填项:无

数量:零个或多个

瓦片库存样本组条目描述使用相同瓦片库存信息的所有样本的瓦片库存信息。

语法的示例如下:

abstract class SampleGroupDescriptionEntry(unsigned int(32)grouping_type)

{

}

abstract class VolumetricSampleGroupEntry(unsigned int(32)grouping_type)

extends SampleGroupDescriptionEntry(grouping_type)

{

}

class TileInventoryInfoEntry()extends VolumetricSampleGroupEntry('gtii')

{

tlv_encapsulation tile_inventory_info;//as defined in ISO/IEC 23090-9

}

语义的示例如下:

tile_inventory_info包含如ISO/IEC 23090-9中描述的tlv_type等于5的瓦片库存信息TLV封装结构。

例如,具有多个瓦片轨道的G-PCC数据文件具有一个几何分量和两个属性分量。在这个示例中,G-PCC数据文件包括分组成十个瓦片集的50个瓦片。第一瓦片集可以包括瓦片1至5,第二瓦片集可以包括瓦片6至9,第三瓦片集可以包括瓦片10至20,等等。每个集中的瓦片数量可在集之间变化或可以是相同数量。瓦片集的每个分量在ISOBMFF容器文件中的独立G-PCC瓦片轨道中携带。

当客户端想要回放具有感兴趣的特定3D区域的G-PCC内容时,客户端从G-PCC基本轨道中存在的GPCCSpatialRegionInfoBox识别G-PCC数据文件中存在的3D区域。客户端选择与感兴趣的3D区域相关联的瓦片。客户端基于每个瓦片轨道GPCCTileSampleEntry中存在的瓦片信息识别选择的瓦片的所需瓦片轨道。GPCCTileSampleEntry指定这个瓦片轨道中存在的瓦片列表。

当存在G-PCC瓦片媒体内容时,客户端基于客户端的当前视口识别点云数据文件中的感兴趣瓦片。客户端解析G-PCC基本轨道中存在的GPCCSpatialRegionInfoBox,并且找到当前视口中存在的相应3D区域。使用GPCCSpatialRegionInfoBox识别那些选择的3D区域内的瓦片。客户端基于每个瓦片轨道GPCCTileSampleEntry中存在的瓦片信息识别选择的瓦片的所需瓦片轨道。

当3D区域信息或3D区域中存在的瓦片在G-PCC内容中动态改变并且客户端想要回放具有感兴趣的3D区域的G-PCC内容时,客户端从具有样本条目类型‘gpdr’的定时元数据轨道中的Dynamic3DSpatialRegionSampleEntry识别G-PCC数据文件中存在的动态改变的3D区域。客户端使用定时元数据轨道中存在的Dynamic3DSpatialRegionSample类型样本识别感兴趣的3D区域中存在的瓦片。客户端基于每个瓦片轨道GPCCTileSampleEntry中存在的瓦片信息识别选择的瓦片的所需瓦片轨道。

客户端还可以基于用户视口访问瓦片轨道数据。当用户视口中存在的3D分区为动态时,客户端从具有样本条目类型‘gpdr’的定时元数据轨道中存在的Dynamic3DSpatialRegionSampleEntry识别动态改变的3D区域存在于G-PCC数据文件中。客户端使用定时元数据轨道中存在的Dynamic3DSpatialRegionSample类型样本识别视口中存在的3D区域。客户端使用Dynamic3DSpatialRegionSample样本中可用的信息识别那些选择的3D区域中存在的瓦片。客户端基于每个瓦片轨道GPCCTileSampleEntry框中存在的瓦片信息识别选择的瓦片的所需瓦片轨道。

以下是用于回放G-PCC瓦片内容的示例性客户端方法。

1.识别客户端感兴趣的视口或用户视口信息;

2.使用GPCCSpatialRegionInfoBox识别与客户端感兴趣的视口或用户视口相关联的3D区域;

3.当3D区域信息动态改变时,识别类型Dynamic3DSpatialRegionSample的3D空间区域信息定时的元数据轨道样本中存在的3D区域信息;

4.基于可用的3D区域信息,识别与感兴趣的视口区域(例如,3D动态改变的区域)相关联的3D区域;

5.从3D空间区域信息定时元数据轨道样本识别与那些感兴趣的3D区域相关联的瓦片;

6.使用每个瓦片轨道中存在的GPCCTileSampleEntry框中的信息识别与那些选择的瓦片相关联的瓦片轨道;

7.基于用户当前视口或感兴趣的视口,选择的瓦片轨道流从G-PCC数据文件或比特流中提取、解码并且呈现给用户。

当客户端想要回放具有感兴趣的3D对象的G-PCC内容时,客户端从G-PCC基本轨道中存在的GPCC3DObjectsInfoBox识别G-PCC数据文件中存在的3D对象。客户端选择要为感兴趣的3D对象下载的瓦片。客户端基于每个瓦片轨道GPCCTileSampleEntry中存在的瓦片信息识别选择的瓦片的所需瓦片轨道。GPCCTileSampleEntry指定这个瓦片轨道中存在的瓦片列表。

当3D对象边界框信息或3D对象中存在的瓦片动态改变,并且客户端想要回放具有感兴趣的3D对象的G-PCC内容时,客户端用样本条目类型‘gpdo’从定时元数据轨道中的Dynamic3DObjectsInfoSampleEntry识别G-PCC数据文件中存在的动态改变的3D对象。客户端使用3D对象定时元数据轨道中存在的Dynamic3DObjectsInfoSample类型样本识别感兴趣的3D对象中存在的瓦片。客户端基于每个瓦片轨道GPCCTileSampleEntry中存在的瓦片信息识别选择的瓦片的所需瓦片轨道。

以下是用于回放G-PCC瓦片内容的示例性客户端方法。

1.识别用户感兴趣的3D对象和视口信息;

2.使用GPCC3DObjectsInfoBox识别与感兴趣的3D对象相关联的瓦片;

3.当3D对象空间信息动态地改变时,使用在类型Dynamic3DObjectsInfoSample的3D对象信息定时元数据项样本中存在的信息识别与感兴趣的3D对象相关联的瓦片;

4.使用每个瓦片轨道中存在的GPCCTileSampleEntry框中的信息识别与那些选择的瓦片相关联的瓦片轨道;

5.对于感兴趣的视口显示,使用GPCCSpatialRegionInfoBox识别与感兴趣的视口或用户视口相关联的3D区域;

6.当3D区域信息动态改变时,识别类型Dynamic3DSpatialRegionSample的3D空间区域信息定时元数据轨道样本中存在的3D区域信息;

7.基于可用的3D区域信息,识别与感兴趣的视口区域(例如,3D动态改变的区域)相关联的3D区域;

8.从3D空间区域信息定时元数据轨道样本识别与感兴趣的3D区域相关联的瓦片;

9.使用每个瓦片轨道中存在的GPCCTileSampleEntry框中的信息识别与选择的瓦片相关联的瓦片轨道;

10.基于感兴趣的用户的3D对象和当前视口或感兴趣的视口,来自步骤4和步骤9的选择的瓦片轨道流从G-PCC数据文件或比特流中提取、解码并且呈现给用户。

一种另选方法包括接收识别对应于点云场景内的一个或多个空间区域的点云瓦片的定时元数据轨道。解码装置确定要用于渲染图像的一个或多个点云瓦片。经由通信网络检索对应于所确定的一个或多个点云瓦片的一个或多个几何瓦片轨道。每个几何瓦片轨道包括相应瓦片的点云几何数据。处理所检索的几何瓦片轨道。定时元数据轨道可以是具有Dynamic3DSpatialRegionSampleEntry数据字段或GPCCSpatialRegionInfoBox框数据字段的轨道。确定要用于渲染图像的瓦片可以包括获得查看者装置相对于点云数据的视角。解码装置可以是播放器装置或流式客户端,并且确定一个或多个点云可以包括识别携带渲染点云场景内的某些空间区域或瓦片所需的信息的瓦片轨道集。基本轨道可以携带初始化数据,该初始化数据包括(i)仅包含SPS、GPS、APS的类型长度值封装结构、(ii)如在ISO/IEC23090-9中描述的瓦片库存信息中的至少一种。基本轨道可以使用四字符码(4CC)根据轨道引用类型链接到几何瓦片轨道。每个几何瓦片轨道可以与一个或多个属性瓦片轨道链接。几何瓦片轨道可使用ISO/IEC 14496-12的轨道引用工具与携带相应瓦片或瓦片组的属性信息的属性瓦片轨道相关联。多个瓦片和对应的瓦片数据可以在多个几何瓦片轨道和多个属性瓦片轨道中携带。基本轨道可以使用具有样本条目类型为‘gpcb’的GPCCSampleEntry数据字段。具有相同alternate_group值的GPCC分量瓦片轨道是不同编码版本的相同G-PCC分量,并且作为另选的G-PCC分量瓦片轨道可以具有相同的alternate_group值,例如在它们的TrackHeaderBox中。属于另选组的G-PCC分量瓦片轨道可由G-PCC基本轨道或相应G-PCC几何瓦片轨道引用。作为彼此另选的G-PCC属性轨道可以具有相同的alternate_group值。作为彼此另选的G-PCC属性瓦片轨道可以具有相同的alternate_group值。

在一个实施方案中,一种生成点云数据流的方法包括生成包含GPCCConfigurationBox的基本轨道样本条目。

在一个实施方案中,一种生成点云数据流的方法包括携带basetrack样本条目作为在ISO/IEC 23090-18中描述的G-PCC样本的一部分。

在一个实施方案中,一种方法包括:接收识别对应于点云场景内的一个或多个空间区域的点云瓦片的定时元数据轨道;在解码装置处确定要用于渲染图像的一个或多个点云瓦片;从通信网络检索对应于所确定的一个或多个点云瓦片的一个或多个几何瓦片轨道,每个几何瓦片轨道包括相应瓦片的点云几何数据;以及处理所检索的几何瓦片轨道。可以识别携带渲染点云场景内的某些空间区域或瓦片所需的信息的瓦片轨道集。每个几何瓦片轨道可以与一个或多个属性瓦片轨道链接。当使用瓦片轨道携带数据文件时,瓦片基本轨道可以包含瓦片基本轨道样本中的瓦片库存信息,并且几何瓦片轨道包含样本组以用信号发送几何瓦片轨道的样本中存在的瓦片的瓦片库存。当数据文件使用单个轨道或多个轨道携带并且每个轨道携带分量数据时,携带几何数据的轨道可以包含样本组以用信号发送瓦片库存信息。属于另选组的G-PCC分量瓦片轨道可由G-PCC基本轨道或相应G-PCC几何瓦片轨道引用。该方法还可以包括接收包括基于几何的点云数据的格式化容器,该基于几何的点云数据包括一个或多个点云瓦片;从格式化容器获得定时元数据轨道,其中定时元数据轨道包括多个瓦片标识符,其中每个瓦片标识符对应于一个或多个点云瓦片中的相应瓦片;从一个或多个点云瓦片选择至少一个选择的瓦片,其中至少一个选择的瓦片对应于至少一个瓦片标识符;识别与至少一个瓦片标识符相关联的至少一个几何瓦片轨道;利用与至少一个几何瓦片轨道相关联的第一轨道引用类型,识别包括至少一个选择的瓦片的初始化数据的基本轨道;利用至少一个几何瓦片轨道和初始化数据将至少一个选择的瓦片解码成至少一个解码的瓦片。该方法还可以包括:识别与至少一个选择的瓦片相关联的至少一个属性瓦片轨道;其中解码至少一个选择的瓦片包括将至少一个几何瓦片轨道、至少一个属性瓦片轨道和初始化数据利用于至少一个解码的瓦片中。可以在不解码所有基于几何的点云数据的情况下执行解码。该方法还可以包括:识别客户端的视口;识别与视口相关联的至少一个3D区域;当至少一个3D区域的信息动态改变时,识别3D空间区域信息定时元数据轨道样本中存在的至少一个3D区域的信息;基于可用的3D区域信息,识别至少一个3D区域中哪一个与视口相关联;从3D空间区域信息定时元数据轨道样本识别与至少一个感兴趣的3D区域相关联的至少一个瓦片;通过使用每个瓦片轨道中存在的信息识别与关联于至少一个感兴趣的3D区域的至少一个瓦片相关联的至少一个瓦片轨道;从G-PCC数据文件中提取所识别的瓦片轨道,解码所识别的瓦片轨道,并且基于当前视口或该视口显示所解码的瓦片轨道。定时元数据轨道可以将样本设定为同步样本或非同步样本,其中定时元数据轨道中的非同步样本仅携带引用最近在前同步样本中可用的3D空间区域信息的更新的3D空间区域信息,并且其中定时元数据轨道中的非同步样本仅用信号发送引用最近在前同步样本中可用的3D空间区域信息的更新的3D空间区域信息,包括更新的维度或相关联的3D瓦片以及任何添加的或消除的3D空间区域。不同编码版本的云瓦片可以使用多个瓦片基本轨道用信号发送,并且具有相同的组识别,例如一个组识别。不同编码版本的属性分量云瓦片可以使用相同的组识别用信号发送。点云数据的帧可以分布在多个识别的时间层中,并且其中每一帧分配给多个识别的时间层中的一个层,并且其中几何瓦片轨道用信号发送几何瓦片轨道中存在的G-PCC样本的至少一个时间层标识符,并且其中几何瓦片轨道的G-PCC分量的样本基于每个样本的时间级来分组。在没有解码和渲染任何其它时间层的情况下,可解码和渲染多个识别的时间层中的个别时间层的帧。一种存储有指令的非暂态计算机可读存储介质,该指令在由处理器执行时可致使处理器执行该方法。一种设备包括至少一个处理器;和至少一个存储器,该至少一个存储器存储有指令,该指令在由至少一个处理器执行时可操作以致使设备:接收识别对应于点云场景内的一个或多个空间区域的点云瓦片的定时元数据轨道;在解码装置处确定将用于渲染图像的一个或多个点云瓦片;从通信网络检索对应于所确定的一个或多个点云瓦片的一个或多个几何瓦片轨道,每个几何瓦片轨道包括相应瓦片的点云几何数据;处理所检索的几何瓦片轨道。

在一个实施方案中,一种方法包括使用样本的呈现时间识别解码G-PCC瓦片所需的G-PCC基本轨道样本(携带参数集和瓦片库存数据)。对应的基本轨道样本的呈现时间可以等于或小于瓦片轨道样本呈现时间。当基本轨道和瓦片轨道样本的呈现时间不匹配时,解码瓦片轨道样本,或者使用呈现时间更接近于瓦片轨道样本的呈现时间的基本轨道样本识别样本的瓦片库存信息。

可编码选择的瓦片使得在不解码整个格式化容器的情况下能够解码选择的瓦片。基本轨道可以包括参数集和瓦片库存数据。可使用对应样本的呈现时间识别解码瓦片轨道样本的基本轨道样本。基于几何的点云数据可以包括多个基于几何的点云压缩(G-PCC)单元,其中每个G-PCC单元包括G-PCC类型长度值和G-PCC有效载荷。一种非暂态计算机可读介质可以包括被配置为执行上述方法中任一种方法的计算机可读指令。

在一个实施方案中,一种方法包括:接收包括基于几何的点云数据的格式化容器,该基于几何的点云数据包括多个瓦片;以及从格式化容器获得定时元数据轨道,其中定时元数据轨道包括多个瓦片标识符,其中每个瓦片标识符对应于多个瓦片中的相应瓦片。至少一个选择的瓦片从多个瓦片中选择,其中至少一个选择的瓦片对应于至少一个瓦片标识符。识别与至少一个瓦片标识符相关联的至少一个几何瓦片轨道。利用与至少一个几何瓦片轨道相关联的第一轨道引用类型,识别包括至少一个选择的瓦片的初始化数据的基本轨道。利用至少一个几何瓦片轨道和初始化数据将至少一个选择的瓦片解码成至少一个解码的瓦片。该方法还可以包括:利用与至少一个几何瓦片轨道相关联的第二轨道引用类型,识别与至少一个选择的瓦片相关联的至少一个属性瓦片轨道;其中解码至少一个选择的瓦片包括将至少一个几何瓦片轨道、至少一个属性瓦片轨道和初始化数据利用于至少一个解码的瓦片中。可以在不解码所有基于几何的点云数据的情况下执行解码。当瓦片库存信息在数据文件中可用时,瓦片库存信息可使用瓦片库存信息样本组用信号发送,该瓦片库存信息样本组将具有相同瓦片库存信息的样本在几何轨道中分组。当瓦片库存信息在数据文件中可用时,几何轨道可包含瓦片库存信息样本组类型,其中瓦片库存信息存在于样本组描述中或几何轨道中的样本中。当使用瓦片轨道携带数据文件时,瓦片基本轨道可以包含瓦片基本轨道样本中的瓦片库存信息。当使用瓦片轨道携带数据文件时,几何瓦片轨道可包含样本组以用信号发送几何瓦片轨道的样本中存在的瓦片的瓦片库存。

在一个实施方案中,一种方法包括:识别客户端的视口;识别与视口相关联的至少一个3D区域;以及当至少一个3D区域的信息动态改变时,识别3D空间区域信息定时元数据轨道样本中存在的至少一个3D区域的信息;以及基于可用的3D区域信息,识别至少一个3D区域中哪一个与视口相关联。识别与来自3D空间区域信息定时元数据轨道样本的至少一个感兴趣的3D区域相关联的至少一个瓦片。通过使用每个瓦片轨道中存在的信息识别与关联于至少一个感兴趣的3D区域的至少一个瓦片相关联的至少一个瓦片轨道。从G-PCC数据文件中提取识别的瓦片轨道,解码识别的瓦片轨道,并且基于当前视口或该视口显示解码的瓦片轨道。定时元数据轨道可将样本设定为同步样本或非同步样本。样本可以以特定数量的样本存在。样本可以存在特定的时间间隔。定时元数据轨道中的非同步样本可引用最近在前同步样本中可用的3D空间区域信息仅携带更新的3D空间区域信息。定时元数据轨道中的非同步样本可引用最近在前同步样本中可用的3D空间区域信息仅用信号发送更新的3D空间区域信息,包括更新的维度或相关联的3D瓦片以及任何添加或消除的3D空间区域。动态瓦片ID标志可指示当前样本中3D空间区域的相关联瓦片引用在前同步样本是否更新。可以包括引用在前同步样本在当前样本中用信号发送的更新的3D空间区域的数量的指示。定时元数据轨道可以包括每个3D区域的3D区域标识符、偏移和边界框信息的尺寸。

在一个实施方案中,一种方法包括识别感兴趣的3D对象和视口信息;识别与感兴趣的3D对象相关联的瓦片;当3D对象的空间信息动态改变时,通过使用3D对象信息定时元数据轨道样本中存在的信息识别与感兴趣的3D对象相关联的至少一个瓦片;使用每个瓦片轨道中存在的信息识别与至少一个瓦片相关联的至少一个瓦片轨道。对于视口,识别与视口信息相关联的3D区域。当3D区域的信息动态改变时,识别3D空间区域信息定时元数据轨道样本中存在的3D区域信息。基于可用的3D区域信息,识别与视口区域相关联的3D区域。识别与来自3D空间区域信息定时元数据轨道样本的感兴趣的3D区域相关联的瓦片。使用每个瓦片轨道中存在的信息识别与识别的瓦片相关联的至少一个瓦片轨道。从G-PCC数据文件中提取至少一个瓦片轨道流,解码至少一个瓦片轨道流,并且基于当前视口或该视口显示解码的瓦片轨道。该视口可以是感兴趣的视口。

一种方法包括:接收项和识别对应于点云场景内的一个或多个空间区域的点云瓦片的相关联的空间区域性质项;在解码装置处,确定要用于渲染点云场景的帧的一个或多个点云瓦片;以及从通信网络检索对应于确定的一个或多个点云瓦片的一个或多个瓦片项,每个瓦片项包括相应瓦片的点云几何数据。处理所检索的瓦片项。通过解译相关联的空间区域图像性质和相关联的瓦片信息项性质识别包含点云瓦片的瓦片的瓦片项,其中一个或多个点云瓦片中的至少一些存储在单独的图像项中。图像项可以与瓦片信息项性质或适于指示包含在点云瓦片内的瓦片的标识符的子样本信息项性质相关联。空间区域项性质和瓦片信息项性质可促进对非定时云瓦片数据的部分访问。每个瓦片项还可包括属性数据。

一种方法包括:接收识别对应于点云场景内的一个或多个空间区域的点云瓦片的定时元数据轨道;在解码装置处,确定要用于渲染图像的一个或多个点云瓦片;以及从通信网络检索对应于所确定的一个或多个点云瓦片的一个或多个几何瓦片轨道,每个几何瓦片轨道包括相应瓦片的点云几何数据。处理所检索的几何瓦片轨道。不同编码版本的云瓦片在一个瓦片基本轨道中用信号发送并且具有相同的组识别。

在一个实施方案中,一种方法包括:接收识别对应于点云场景内的一个或多个空间区域的点云瓦片的定时元数据轨道;在解码装置处,确定要用于渲染图像的一个或多个点云瓦片,并且从通信网络检索对应于所确定的一个或多个点云瓦片的一个或多个几何瓦片轨道,每个几何瓦片轨道包括相应瓦片的点云几何数据。处理所检索的几何瓦片轨道。不同编码版本的云瓦片可以在一个瓦片基本轨道中用信号发送并且可以具有相同的组识别。点云数据的帧可以分布在多个识别的时间层中,并且每一帧可以分配给多个识别的时间层中的一个层。在没有解码和渲染任何其它时间层的情况下,可解码和渲染多个识别的时间层中的个别时间层的帧。可在数据文件中识别包括定时元数据轨道的数据文件中存在的最大数量的时间层。几何瓦片轨道可用信号发送几何瓦片轨道中存在的G-PCC样本的至少一个时间层标识符。几何瓦片轨道的G-PCC分量的样本可基于每个样本的时间级来分组。

尽管上文以特定组合描述了特征和元件,但是本领域的普通技术人员将理解,每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外,本文所述的方法可在并入计算机可读介质中以供计算机或处理器执行的计算机可读指令、计算机程序、软件或固件中实现。计算机可读介质可以是非暂态存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现射频收发器在无线发射/接收单元(WTRU)、用户装备(UE)、终端、基站、无线电网络控制器(RNC)或任何主机中的使用。

相关技术
  • 一种基于多视点图像三维建模的点云几何数据的自动拼接算法
  • 一种基于局部采样的多几何特征点云数据的分割方法
技术分类

06120115935414