信息处理装置和方法

技术领域

本公开内容涉及信息处理装置和方法，并且更特别地，涉及能够抑制再现处理的负荷增加的信息处理装置和方法。

背景技术

在MPEG-I部分9(ISO/IEC 23090-9)中，将点云分别编码成指示三维形状的几何信息和指示属性信息的属性的编码技术(通常被称为基于几何的点云压缩(G-PCC))当前正在经历标准化(例如，参见非专利文献1)，其中点云是在三维空间中同时具有位置信息和属性信息(颜色、反射等)的点的集合。

另外，存在着国际标准化组织基础媒体文件格式(ISOBMFF)，其是运动图像专家组4(MPEG-4)的运动图像压缩的文件容器规范(例如，参见非专利文献2)。

此外，为了提高来自本地存储装置的G-PCC所编码的比特流的再现处理和网络分发的效率的目的，在MPEG-I部分18(ISO/IEC 23090-18)中，在ISOBMFF中存储G-PCC比特流的方法当前正在经历标准化(例如，参见非专利文献3)。

G-PCC比特流可以包括部分访问结构，其可以独立于其他点来对一些点的比特流进行解码和再现。部分访问结构的点云中的可独立解码和再现(可独立访问)的数据单元被称为图块(tile)。

例如，已经提出了这样的简档(profile)，其中以更高分辨率仅解码点云的视场中的一部分或者解码更接近视点位置的一部分(例如，参见非专利文献4)。通过应用这样的方法，可以抑制不必要信息的处理的增加，并且因此可以抑制再现处理的负荷的增加。特别地，这样的方法在诸如地图数据的大点云中是有用的。

引文列表

非专利文献

非专利文献1：“Information technology-MPEG-I(Coded Representation ofImmersive Media)-Part 9:Geometry-based Point Cloud Compression”，ISO/IEC23090-9:2019(E)

非专利文献2：“Information technology-Coding of audio-visual objects-Part 12:ISO base media file format”，ISO/IEC 14496-12，2015-02-20

非专利文献3：K.Sejin Oh，Ryohei Takahashi，Youngkwon Lim，“WD of ISO/IEC23090-18Carriage of Geometry-based Point Cloud Compression Data”，ISO/IEC JTC1/SC 29/WG 11N19286，2020-06-05

非专利文献4：Satoru Kuma，Ohji Nakagami，“[G-PCC](New proposal)Onscalability profile”，ISO/IEC JTC1/SC29/WG11 MPEG2020/m53292，2020年4月

发明内容

发明要解决的问题

然而，在非专利文献3中描述的方法中，在具有这样的部分访问结构的G-PCC比特流的情况下，对于每个可独立再现的部分点云，部分点云被存储在彼此不同的轨道中。换言之，部分访问的粒度取决于轨道的数目。

通常，点云越大，可能需要越多样的部分访问。即，在非专利文献3中描述的方法的情况下，需要更多的轨道。如果轨道的数目增加，则存在着文件大小可能增加的可能性。另外，如果轨道的数目增加，则轨道的管理的复杂度增加，并且因此存在着再现处理的负荷增加的可能性。

因此，能够想到将多个部分点云存储在一个轨道中。然而，为了实现部分访问，需要从构成G-PCC比特流的几何信息数据单元和属性数据单元中提取再现所需的数据单元。为此目的，需要掌握图块与数据单元之间的关系，并且基于该关系来指定与要再现的图块对应的数据单元。

然而，在非专利文献3中描述的方法的情况下，指示图块与数据单元之间的关系的信息仅存储在G-PCC比特流中的每个数据单元的头部中。因此，为了指定要提取的数据单元，需要解析G-PCC比特流。即，需要解析不必要的G-PCC比特流，并且存在着再现处理的负荷增加的可能性。

本公开内容是鉴于这样的情形而给出的，并且旨在抑制再现处理的负荷的增加。

问题的解决方案

根据本技术的一方面的信息处理装置是这样的信息处理装置，该信息处理装置包括：图块管理信息生成单元，其通过使用图块标识信息生成图块管理信息，该图块标识信息指示与点云的比特流的数据单元对应的点云的图块，其中该点云将具有三维形状的对象表达为点的集合，该图块管理信息是用于管理与子样本对应的图块的信息，该子样本包括作为样本存储在文件中的比特流的单个或多个连续数据单元；以及文件生成单元，其生成存储比特流和图块管理信息的文件。

根据本技术的一方面的信息处理方法是这样的信息处理方法，该信息处理方法包括：通过使用图块标识信息生成图块管理信息，该图块标识信息指示与点云的比特流的数据单元对应的点云的图块，其中该点云将具有三维形状的对象表达为点的集合，该图块管理信息是用于管理与子样本对应的图块的信息，该子样本包括作为样本存储在文件中的比特流的单个或多个连续数据单元；以及生成存储比特流和图块管理信息的文件。

根据本技术的另一方面的信息处理装置是这样的信息处理装置，该信息处理装置包括：提取单元，该提取单元基于图块管理信息从文件中提取再现期望图块所需的比特流的一部分，该图块管理信息是用于通过使用图块标识信息来管理与存储在文件中的子样本对应的图块的信息，该图块标识信息指示与子样本对应的点云的图块，该子样本包括比特流的单个或多个连续数据单元，该图块管理信息与点云的比特流一起存储在文件中，该点云将具有三维形状的对象表达为点的集合。

根据本技术的另一方面的信息处理方法是这样的信息处理方法，该信息处理方法包括基于图块管理信息从文件中提取再现期望的图块所需的比特流的一部分，该图块管理信息是用于通过使用图块标识信息来管理与存储在文件中的子样本对应的图块的信息，该图块标识信息指示与子样本对应的点云的图块，该子样本包括比特流的单个或多个连续数据单元，该图块管理信息与点云的比特流一起存储在文件中，该点云将具有三维形状的对象表达为点的集合。

在根据本技术的一方面的信息处理装置和方法中：使用图块标识信息生成图块管理信息，该图块标识信息指示将具有三维形状的对象表达为点的集合的点云的图块，该图块标识信息对应于点云的比特流的数据单元，该图块管理信息是用于管理与子样本对应的图块的信息，该子样本包括作为样本存储在文件中的比特流的一个或多个连续数据单元；以及生成存储比特流和图块管理信息的文件。

在根据本技术的另一方面的信息处理装置和方法中，基于图块管理信息从文件中提取再现期望图块所需的比特流的一部分，该图块管理信息是用于通过使用图块标识信息来管理与存储在文件中的子样本对应的图块的信息，该图块标识信息指示与子样本对应的点云的图块，该子样本包括比特流的单个或多个连续数据单元，该图块管理信息与点云的比特流一起存储在文件中，该点云将具有三维形状的对象表达为点的集合。

附图说明

图1是用于说明G-PCC的概述的图。

图2是用于说明部分访问的图。

图3是示出G-PCC比特流的结构示例的图。

图4是示出图块库存的语法的示例的图。

图5是示出文件结构的示例的图。

图6是示出文件结构的示例的图。

图7是用于说明可伸缩解码的图。

图8是用于说明图块标识信息的信令的图。

图9是示出单轨道的情况下的文件结构的示例的图。

图10是用于说明图块标识信息的信令的示例的图。

图11是用于说明SubSampleInformationBox的示例的图。

图12是示出codec_specific_parameters的示例的图。

图13是用于说明图块标识信息的信令的示例的图。

图14是示出codec_specific_parameters的示例的图。

图15是用于说明图块标识信息的信令的示例的图。

图16是示出codec_specific_parameters的示例的图。

图17是用于说明使用定时元数据的图块标识信息的信令的示例的图。

图18是示出多轨道的情况下的文件结构的示例的图。

图19是用于说明图块标识信息的信令的示例的图。

图20是用于说明使用定时元数据的图块标识信息的信令的示例的图。

图21是示出Matroska媒体容器的配置示例的图。

图22是示出文件生成装置的主要配置示例的框图。

图23是示出文件生成处理的过程的示例的流程图。

图24是示出解码装置的主要配置示例的框图。

图25是示出再现处理单元的主要配置示例的框图。

图26是示出再现处理的过程的示例的流程图。

图27是示出计算机的主要配置示例的框图。

具体实施方式

现在描述用于执行本公开内容的实施方式(在下文中被称为实施方式)。此外，按以下顺序给出描述。

1.G-PCC比特流的部分访问

2.图块标识信息的信令

3.第一实施方式(文件生成装置)

4.第二实施方式(再现装置)

5.附加说明

<1.G-PCC比特流的部分访问>

<支持技术内容和技术术语的文献等>

在本技术中公开的范围不仅包括在实施方式中描述的内容，而且还包括在提交时已知的以下非专利文献等中描述的内容、在以下非专利文献中引用的其他文献的内容等。

非专利文献1：(如上所述)

非专利文献2：(如上所述)

非专利文献3：(如上所述)

非专利文献4：(如上所述)

非专利文献5：https://www.matroska.org/index.html

即，上述非专利文献中描述的内容、上述非专利文献中引用的其他文献的内容等也是用于确定支持要求的基础。

<点云>

传统上，存在着3D数据，诸如由点位置信息、属性信息等表示三维结构的点云。

例如，在点云的情况下，三维结构(具有三维形状的对象)被表达为大量点的集合。点云包括每个点的位置信息(也被称为几何信息)和属性信息(也被称为属性)。属性可以包括任何信息。例如，可以在属性中包括每个点的颜色信息、反射率信息、法线信息等。如上所述，点云具有相对简单的数据结构，并且可以通过使用足够大量的点以足够的准确度表达任何三维结构。

非专利文献1公开了被称为基于几何的点云压缩(G-PCC)的编码技术，其通过将该点云划分成几何信息和属性来进行编码。G-PCC在MPEG-I部分9(ISO/IEC 23090-9)中被标准化。

如图1所示的八叉树编码被应用于压缩几何信息。例如，八叉树编码是以下方法：在由图1的左侧所示的矩形体素(voxel)表示的数据中，通过图1的右侧所示的八叉树来表达每个块中的点的存在或不存在。在该方法中，如图1所示，将其中存在点的块表示为1，将其中不存在点的块表示为0。

通过如上所述对几何信息进行编码而生成的编码数据(比特流)也被称为几何比特流。

此外，应用诸如预测权重提升、区域自适应分层变换(RAHT)或固定权重提升的方法来压缩属性。通过对属性进行编码而生成的编码数据(比特流)也被称为属性比特流。此外，几何比特流和属性比特流被组合成一个的比特流也被称为G-PCC比特流。

<图块>

G-PCC比特流可以包括部分访问结构，其可以独立于其他点来对一些点的比特流进行解码和再现。作为部分访问结构的点云中的可独立解码和再现(可独立访问)的数据单元，存在着图块和条带(slice)。

如图2的A所示，设置边界框21以包围具有三维形状的对象20。图块22是边界框21中的长方体区域。如图2的B所示，条带24是图块23中的点的集合。条带之间的点可能重叠(即，一个点可能属于多个条带)。图块包括一个或更多个条带(1个图块＝Y个条带)。

某个时间的点云被称为点云帧。该帧是与二维运动图像中的帧对应的数据单元。点云帧包括一个或更多个图块(1个点云帧＝X个图块)。

<部分访问结构的G-PCC比特流>

图3示出了通过对这样的部分可访问点云进行编码而获得的G-PCC比特流的主结构的示例(在非专利文献1的附录B中定义的类型-长度-值字节流格式的示例)。即，图3中示出的G-PCC比特流具有部分访问结构，并且G-PCC比特流的一部分可以独立于其他部分而被提取和解码。

在图3中，每个方形表示一个类型-长度-值封装结构(tlv_encapsulation())。如图3所示，G-PCC比特流具有序列参数集(SPS)、几何参数集(GPS)、属性参数集(APS)、图块库存、几何信息数据单元和属性数据单元。

序列参数集是具有与整个序列有关的参数的参数集。几何参数集是具有与几何信息有关的参数的参数集。属性参数集是具有与属性有关的参数的参数集。几何参数集和属性参数集可以是复数。几何参数集和属性参数集可以以条带为基础而不同(可以以条带为基础来设置)。

图块库存管理与关于图块的信息。例如，图块库存存储每个图块的标识信息、位置信息、大小信息等。图4示出了图块库存的语法的示例。如图4所示，图块库存为每个图块存储图块标识信息(tile_id)、关于图块的位置和大小的信息(tile_bounding_box_offset_xyz、tile_bounding_box_size_xyz)等。图块库存以帧为基础变化(可以以帧为基础来设置)。

数据单元是可以独立于其他数据提取的数据的单元。几何信息数据单元是几何信息的数据单元。属性数据单元是属性的数据单元。针对属性中包括的每个特征生成属性数据单元。

条带包括一个几何信息数据单元以及零个或更多个属性数据单元。条带包括G-PCC比特流中的单个或多个连续数据单元。每个数据单元存储指示数据单元所属的条带的条带标识信息(slice_id)。即，相同的条带标识信息被存储在属于相同条带的数据单元中。以这种方式，使用条带标识信息来关联属于相同条带的几何信息数据单元和属性数据单元。

图块包括G-PCC比特流中的单个或多个连续条带。每个几何信息数据单元存储指示条带所属的图块的图块标识信息(tile_id)，其中几何信息数据单元属于条带。即，相同的图块标识信息被存储在属于相同图块的几何信息数据单元中。即，属于相同图块的条带使用图块标识信息彼此关联。

另外，如上所述在图块库存中管理图块标识信息，并且关联诸如与关于三维空间的每个图块标识信息对应的图块的位置和大小的信息。换言之，在期望再现三维空间上的期望点的情况下，可以基于图块标识信息(以及条带标识信息)来指定和提取必要的数据单元。因此，可以实现部分访问，并且不需要对不必要信息进行解码，使得可以抑制再现处理的负荷的增加。

非专利文献2公开了国际标准化组织基础媒体文件格式(ISOBMFF)，其是运动图像专家组4(MPEG-4)的运动图像压缩的文件容器规范。

<在ISOBMFF中存储G-PCC比特流>

非专利文献3公开了以提高来自本地存储装置的G-PCC所编码的比特流的再现处理和网络分发的效率为目的，在ISOBMFF中存储G-PCC比特流的方法。该方法在MPEG-I部分18(ISO/IEC 23090-18)中被标准化。

图5是示出这种情况下的文件结构的示例的图。存储在ISOBMFF中的G-PCC比特流被称为G-PCC文件。

序列参数集被存储在G-PCC文件的GPCCDecoderConfigurationRecord中。GPCCDecoderConfigurationRecord取决于样本条目类型还可以包括几何参数集、属性参数集和图块库存。

媒体数据盒(Media)的样本包括与1个点云帧对应的几何条带和属性条带。此外，其取决于样本条目类型可以包括几何参数集、属性参数集和图块库存。

G-PCC文件具有用于基于三维空间信息来访问和解码部分点云的结构。G-PCC文件将每个部分点云存储在彼此不同的轨道中。部分点云包括一个或更多个图块。例如，如图6所示，假设点云帧61包括部分点云61A、部分点云61B和部分点云61C。在这种情况下，部分点云61A、部分点云61B和部分点云61C分别存储在G-PCC文件的彼此不同的轨道(G-PCC轨道)中。利用这样的结构，可以通过选择要再现的轨道来选择要再现的图块。

<部分访问的利用>

非专利文献4公开了支持可以缩放点云的功能的简档。该简档使得能够例如在大规模点云静止图像的局部再现期间根据视点位置进行解码和渲染。例如，在图7中，在从视点71观看视线方向72的情况下，不对视场73之外的区域(图中的白色区域)进行解码，而仅对视场73中的部分点云进行解码和再现。此外，可以执行根据视点位置的解码和渲染处理，其中以高LoD(高分辨率)对接近视点71的区域(图中的深灰色区域)中的部分点云进行解码和再现，并且以低LoD(低分辨率)对远离视点71的区域(图中的浅灰色区域)中的部分点云进行解码和再现。因此，由于减少了不必要信息的再现，因此可以抑制再现处理的负荷的增加。

<轨道中的部分访问>

如上所述，根据视点位置的部分点云的解码和渲染处理在大规模点云的局部再现时特别有用。

然而，在非专利文献3中描述的方法中，在具有这样的部分访问结构的G-PCC比特流的情况下，对于每个可独立再现的部分点云，部分点云被存储在彼此不同的轨道中。换言之，部分访问的粒度取决于轨道的数目。

通常，点云越大，可能需要越多样的部分访问。即，在非专利文献3中描述的方法的情况下，需要更多的轨道。如果轨道的数目增加，则存在着文件大小可能增加的可能性。另外，如果轨道的数目增加，则轨道的管理的复杂度增加，并且因此存在着再现处理的负荷增加的可能性。

因此，能够想到将多个部分点云存储在一个轨道中。然而，为了实现部分访问，需要从构成G-PCC比特流的几何信息数据单元和属性数据单元中提取再现所需的数据单元。为此目的，需要掌握图块与数据单元之间的关系，并且基于该关系来指定与要再现的图块对应的数据单元。

然而，在非专利文献3中描述的方法的情况下，指示图块与数据单元之间的关系的信息仅存储在G-PCC比特流中的每个数据单元的头部中。因此，为了指定要提取的数据单元，需要解析G-PCC比特流。即，需要解析不必要的G-PCC比特流，并且存在着再现处理的负荷增加的可能性。

<2.图块标识信息的信令>

因此，如图8中示出的表的第一行所示，图块标识信息被存储在G-PCC文件中。例如，在G-PCC文件的样本中形成子样本，并且在G-PCC文件中存储图块标识信息，作为用于管理与每个子样本对应的图块的图块管理信息。

例如，信息处理装置包括：图块管理信息生成单元，其通过使用图块标识信息生成图块管理信息，该图块标识信息指示与点云的比特流的数据单元对应的点云的图块，其中该点云将具有三维形状的对象表达为点的集合，该图块管理信息是用于管理与子样本对应的图块的信息，该子样本包括作为样本存储在文件中的比特流的单个或多个连续数据单元；以及文件生成单元，其生成存储比特流和图块管理信息的文件。

例如，信息处理方法包括：通过使用图块标识信息生成图块管理信息，该图块标识信息指示与点云的比特流的数据单元对应的点云的图块，其中该点云将具有三维形状的对象表达为点的集合，该图块管理信息是用于管理与子样本对应的图块的信息，该子样本包括作为样本存储在文件中的比特流的单个或多个连续数据单元；以及生成存储比特流和图块管理信息的文件。

此外，例如，信息处理装置包括提取单元，该提取单元基于图块管理信息从文件中提取再现期望的图块所需的比特流的一部分，该图块管理信息是用于通过使用图块标识信息来管理与存储在文件中的子样本对应的图块的信息，该图块标识信息指示与子样本对应的点云的图块，该子样本包括比特流的单个或多个连续数据单元，该图块管理信息与点云的比特流一起存储在文件中，该点云将具有三维形状的对象表达为点的集合。

例如，信息处理方法包括基于图块管理信息从文件中提取再现期望的图块所需的比特流的一部分，该图块管理信息是用于通过使用图块标识信息来管理与存储在文件中的子样本对应的图块的信息，该图块标识信息指示与子样本对应的点云的图块，该子样本包括比特流的单个或多个连续数据单元，该图块管理信息与点云的比特流一起存储在文件中，该点云将具有三维形状的对象表达为点的集合。

通过这样做，可以基于由图块管理信息管理的图块标识信息来对再现期望的图块所需的信息进行提取和解码，并且可以生成呈现信息。因此，可以减少不必要信息的处理(解析等)。因此，可以抑制再现处理的负荷的增加。

G-PCC比特流的使用情况的示例包括对大规模点云数据的编码，大规模点云数据诸如是点云的地图数据或影片制作中的虚拟资产(被转换成数字数据的真实影片集)。

对于这样的大规模点云，主要假设局部再现。由于客户端通常在缓存大小方面受限，因此G-PCC比特流并未被完全解码，而是每次仅对必要区域进行解码和渲染。

在这样的重复解码和渲染处理中，为了降低处理负荷，预期根据视点位置仅对可视区域中的部分点云进行解码和渲染的处理、以高LoD(高分辨率)对近区域中的部分点云进行解码和渲染的处理、以及以低LoD(低分辨率)对远区域中的部分点云进行解码和渲染的处理等。

为了取决于视点位置而仅对可见区域中的部分点云进行解码和渲染，仅需要访问G-PCC比特流的一部分。

局部再现(再现整体的一部分而不是再现整体)主要假设用于大规模点云。因此，如上所述，通过基于由图块管理信息管理的图块标识信息来对再现期望图块所需的信息进行提取和解码以生成呈现信息，可以抑制客户端上的负荷的增加。

<2-1.单轨道情况>

在G-PCC文件中，存在着几何信息和属性被存储在一个轨道中的结构(也被称为单轨道封装结构)，以及几何信息和属性被存储在彼此不同的轨道中的结构(也被称为多轨道封装结构)。这里，如图8中的表从顶部起的第二行所示，将描述在单轨道的情况下的图块标识信息的存储(方法1)。

图9是示出在单轨道的情况下的G-PCC文件的主要配置示例的图。如图9所示，在单轨道的情况下，几何信息数据单元和属性数据单元两者均可以存储在样本内。注意，存储G-PCC的数据的样本也被称为G-PCC样本。

<2-1-1.通过SubSampleInformationBox的信令>

图块管理信息可以针对文件的每个轨道生成，并且包括与存储在轨道中的子样本对应的图块标识信息的列表。

此外，G-PCC文件可以是ISOBMFF的文件，并且图块管理信息可以被存储在以下盒(box)中：所述盒存储与G-PCC文件的moov盒中的子样本有关的信息。例如，如图10所示，在G-PCC文件的moov盒中，存在着由ISO/IEC 23090-18定义的SubSampleInformationBox(“subs”)。如图8中的表从顶部起的第三行所示，图块管理信息(图块标识信息的列表)可以被存储在SubSampleInformationBox中(方法1-1)。注意，SubSampleInformationBox可能存储在G-PCC文件的moof盒中。

例如，在ISOBMFF中存储了已经编码的G-PCC比特流的情况下，生成ISOBMFF的文件生成装置解析G-PCC比特流以提取图块标识信息等，并且将提取的图块标识信息等作为图块管理信息存储在SubSampleInformatoinBox中。此外，在按一系列处理执行编码和文件转换的情况下，文件生成装置从编码器获取图块标识信息等，并且将获取的图块标识信息等作为图块管理信息存储在SubSampleInformationBox中。通过这样做，可以在SubSampleInformationBox中存储图块管理信息(图块标识信息的列表)。

在再现图块时，可以通过参考SubSampleInformationBox中的图块管理信息来容易地识别与期望图块对应的子样本(即，几何信息数据单元或属性数据单元)。因此，可以仅对期望图块的数据进行解码和再现，而不增加不必要的解析处理等。因此，可以抑制再现处理的负荷的增加。

图11示出了SubSampleInformationBox的语法的示例。如图11所示，在SubSampleInformationBox中准备了能够存储任意参数的编解码器特定参数。可以通过扩展编解码器特定参数来存储图块管理信息(图块标识信息的列表)。通过以这种方式使用现有的盒存储图块管理信息(图块标识信息的列表)，可以提高与传统标准的兼容性。因此，可以实现可以由通用编码器或解码器处理的文件。

<2-1-1-1.每个图块的子样本>

如图8中的表从顶部起的第四行所示，可以针对每个图块对G-PCC样本中的G-PCC数据进行子采样(方法1-1-1)。在图10的示例中，针对每个图块对存储在样本中的G-PCC数据进行子采样。即，可以将比特流的单个或多个连续数据单元设置为子样本，该数据单元存储在样本中，并且包括比特流的属于同一图块的几何信息的数据单元或属性的数据单元或者这两者。然后，对于这样的子样本，图块管理信息可以包括与和子样本中包括的几何信息的数据单元对应的图块标识信息相关联的信息。

如上所述，由于条带包括一个几何信息数据单元，并且图块包括单个或多个条带，因此在单轨道的情况下，还可以说包括该数据单元的子样本包括单个或多个连续数据单元，该单个或多个连续数据单元包括一个或更多个几何信息数据单元。

注意，如图10所示，单个或多个连续参数集和图块库存也被设置为子样本。

在这样的配置的情况下，在上述图块管理信息中，如图10所示，对于每个子样本，存储指示子样本是否是图块的信息(data_units_for_tile)。在data_units_for_tile为假(例如，0)的情况下，这指示子样本是由单个或多个连续参数集和图块库存配置的子样本。另外，在data_units_for_tile为真(例如，1)的情况下，这指示子样本是由构成相同图块的单个或多个连续数据单元配置的子样本。然后，对于data_units_for_tile为真的子样本，还存储图块标识信息(tile_id)。tile_id指示与子样本对应的图块(即，构成子样本的数据单元所属的图块)。在图10的示例的情况下，由于构成图块的数据单元被分组为子样本，因此在图块管理信息中省去了几何信息数据单元与属性数据单元之间的关联(这两者通过被包括在相同子样本中而相关联)。

图12是示出codec_specific_parameters的语法的示例的图。如图12所示，在编解码器特定参数中，子样本的data_units_for_tile和tile_id被存储为图块管理信息。即，在图块管理信息中，对于每个子样本，存储指示子样本是否是图块的信息(data_units_for_tile)，并且在data_units_for_tile为真的情况下，还存储图块标识信息(tile_id)。

利用这样的配置，可以容易地控制是否以图块为单位执行解码。另外，几何信息数据和属性数据可以容易地彼此关联。

注意，如图12中示出的示例那样，编解码器特定参数可以使用标记来扩展。在这种情况下，编解码器特定参数的内容可以通过标记的值来切换。因此，可以在保留现有参数的同时存储图块管理信息(data_units_for_tile、tile_id等)。这使得可以提高与传统标准的兼容性。因此，可以实现可以由通用编码器或解码器处理的文件。

<2-1-1-2.每个条带的子样本>

注意，可以针对每个条带设置子样本。换言之，如图8中的表从顶部起的第五行所示，可以针对每个条带对G-PCC样本中的G-PCC数据进行子采样(方法1-1-2)。在图13的示例中，针对每个条带对存储在样本中的G-PCC数据进行子采样。即，可以将比特流的单个或多个连续数据单元设置为子样本，该数据单元存储在样本中，并且包括比特流的属于同一条带的几何信息的数据单元或属性的数据单元或者这两者。在这种情况下，图块标识信息指示与子样本对应的条带所属的图块。然后，对于这样的子样本，图块管理信息可以包括与和子样本中包括的几何信息的数据单元对应的图块标识信息相关联的信息。

如上所述，由于条带包括一个几何信息数据单元，因此在单轨道的情况下，还可以说包括该数据单元的子样本包括单个或多个连续数据单元，其中该单个或多个连续数据单元包括一个几何信息数据单元。

注意，如图13所示，单个或多个连续参数集和图块库存也被设置为子样本。

在这样的配置的情况下，在上述图块管理信息中，如图13所示，对于每个子样本，存储指示子样本是否是条带的信息(data_units_for_slice)。在data_units_for_slice为假(例如，0)的情况下，这指示子样本是由单个或多个连续参数集和图块库存配置的子样本。另外，在data_units_for_slice为真(例如，1)的情况下，这指示子样本是由构成相同条带的单个或多个连续数据单元配置的子样本。然后，对于data_units_for_slice为真的子样本，还存储图块标识信息(tile_id)。tile_id指示与子样本对应的条带所属的图块(即，构成子样本的数据单元所属的图块)。在图13的示例的情况下，由于构成条带的数据单元被分组为子样本，因此在图块管理信息中省去了几何信息数据单元与属性数据单元之间的关联(这两者通过被包括在相同子样本中而相关联)。

图14是示出在这种情况下的codec_specific_parameters的语法的示例的图。如图14所示，在编解码器特定参数中，子样本的data_units_for_slice和tile_id被存储为图块管理信息。即，在图块管理信息中，对于每个子样本，存储指示子样本是否是条带的信息(data_units_for_slice)，并且在data_units_for_slice为真的情况下，还存储图块标识信息(tile_id)。

利用这样的配置，可以容易地控制是否以条带为单位执行解码。另外，几何信息数据和属性数据可以容易地彼此关联。

注意，同样在这种情况下，如图14中示出的示例那样，可以使用标记来扩展编解码器特定参数。通过这样做，可以提高与传统标准的兼容性。因此，可以实现可以由通用编码器或解码器处理的文件。

<2-1-1-3.每个数据单元的子样本>

注意，可以针对每个数据单元设置子样本。换言之，如图8中的表从顶部起的第六行所示，可以针对每个数据单元对G-PCC样本中的G-PCC数据进行子采样(方法1-1-3)。在图15的示例中，针对每个数据单元对存储在样本中的G-PCC数据进行子采样。即，可以将存储在样本中的比特流的几何信息或属性的单个数据单元设置为子样本。在这种情况下，图块标识信息指示子样本(数据单元)所属的图块。然后，图块管理信息可以包括将与几何信息的数据单元对应的图块标识信息和条带标识信息与包括几何信息的数据单元的子样本相关联的信息，以及将与属性的数据单元对应的条带标识信息与包括属性的数据单元的子样本相关联的信息。注意，条带标识信息是指示与比特流的数据单元对应的点云的条带的信息。

注意，如图15所示，将参数集和图块库存中的每一个也分别设置为子样本。

在这样的配置的情况下，在上述图块管理信息中，如图15所示，针对几何信息数据单元的子样本存储有效载荷类型、图块标识信息(图块id，tile id)和条带标识信息(条带id，slice id)。另外，针对属性数据单元的子样本存储有效载荷类型和条带标识信息(slice id)。此外，针对其他子样本存储有效载荷类型。

有效载荷类型指示构成子样本的数据的类型(例如，是几何信息数据单元、属性数据单元还是其他类型等)。tile_id指示与子样本对应的图块(即，构成子样本的数据单元所属的图块)。slice_id指示与子样本对应的条带(即，构成子样本的数据单元所属的条带)。在这种情况下，几何信息数据单元和属性数据单元通过条带标识信息彼此关联。

图16是示出在这种情况下的codec_specific_parameters的语法的示例的图。如图16所示，在编解码器特定参数中，有效载荷类型、tile_id和geom_slice_id被存储为几何信息数据单元的子样本的图块管理信息。geom_slice_id是指示由几何信息数据单元构成的条带的条带标识信息。另外，针对属性数据单元的子样本存储有效载荷类型和attr_slice_id。attr_slice_id是指示由属性数据单元构成的条带的条带标识信息。此外，针对其他子样本存储有效载荷类型。

利用这样的配置，可以容易地控制是否以条带为单位执行解码。

注意，同样在这种情况下，如图16中示出的示例那样，可以使用标记来扩展编解码器特定参数。通过这样做，可以提高与传统标准的兼容性。因此，可以实现可以由通用编码器或解码器处理的文件。

<2-1-2.通过SubSampleItemProperty的信令>

注意，在以上描述中，扩展SubSampleInformationBox以存储图块管理信息(图块标识信息)，但是代替于SubSampleInformationBox，可以扩展SubSampleItemProperty以存储图块管理信息(图块标识信息)。扩展方法与上述SubSampleInformationBox的情况类似。通过在SubSampleItemProperty中存储图块管理信息，对于静止图像可以获得类似的效果。

<2-1-3.通过定时元数据的信令>

如图8中示出的表从顶部起的第七行所示，可以将图块标识信息存储在定时元数据中(方法1-2)。如图17所示，定时元数据轨道与轨道参考('gsli')中的G-PCC轨道相关联。该方法可以应用于上述每种方法。即，存储在每种方法中的信息可以被存储在定时元数据中。

<2-2.多轨道的情况>

本技术还可以应用于G-PCC文件具有多轨道封装结构的情况。如图8中的表从顶部起的第八行所示，将描述在多轨道的情况下的图块标识信息的存储(方法2)。在多轨道的情况下，G-PCC文件结构如图18所示。即，几何信息数据单元和属性数据单元被存储在彼此不同的轨道中。因此，如图19所示，图块管理信息仅需要存储在每个轨道中。

即，在G-PCC文件中，几何信息的数据单元和属性的数据单元可以存储在彼此不同的轨道中，并且管理与轨道中的子样本对应的图块标识信息的图块管理信息可以存储在每个轨道中。

每个轨道中的存储方法与单轨道的情况类似。因此，同样在多轨道的情况下，也可以获得与单轨道的情况类似的效果。注意，针对单轨道的情况描述的每种方法均可以应用于该多轨道。

例如，在方法1-1-1的情况下，在几何轨道和属性轨道中的每一个中，针对这些轨道中的每个子样本存储data_units_for_tile作为图块管理信息。针对构成图块的子样本，还存储tile_id。

另外，在方法1-1-2的情况下，在几何轨道和属性轨道中的每一个中，针对这些轨道中的每个子样本存储data_units_for_slice作为图块管理信息。针对构成条带的子样本，还存储tile_id。

此外，在方法1-1-3的情况下，在几何轨道中，针对轨道中的每个子样本存储有效载荷类型作为图块管理信息。针对几何信息数据单元的子样本，还存储tile_id和sliceid。在属性轨道中，针对轨道中的每个子样本存储有效载荷类型作为图块管理信息。针对属性数据单元的子样本，还存储slice id。

注意，在多轨道中，在子样本是几何轨道情况下的几何信息数据单元的情况下，以及在子样本是属性轨道情况下的构成相同条带的属性数据单元的情况下，data_units_for_tile和data_units_for_slice为真(例如，1)。

注意，如图20所示，同样在多轨道的情况下，如在单轨道的情况那样，图块标识信息也可以存储在定时元数据中。同样，在多轨道的情况下，也可以获得与单轨道的情况类似的效果。

<2-3.Matroska媒体容器的情况>

尽管上面已经描述了应用ISOBMFF作为文件格式的示例，但是用于存储G-PCC比特流的文件是任意的，并且可以不同于ISOBMFF。例如，如图8中示出的表的底部所示，G-PCC比特流可以存储在Matroska媒体容器中(方法3)。图21示出了Matroska媒体容器的主要配置示例。

在这种情况下，例如，图块管理信息(图块标识信息)可以被存储为轨道条目元素下的新定义的元素。另外，在图块管理信息(图块标识信息)被存储在定时元数据中的情况下，定时元数据可以被存储在与存储G-PCC比特流的轨道条目不同的轨道条目中。

<3.第一实施方式>

<文件生成装置>

将描述编码侧装置。上述本技术的(每种方法)可以应用于任何装置。图22是示出作为应用本技术的信息处理装置的一方面的文件生成装置的配置的示例的框图。图22中示出的文件生成装置300是通过应用G-PCC对点云数据进行编码并且将通过编码生成的G-PCC比特流存储在ISOBMFF中的装置。

文件生成装置300应用上述本技术，并且将G-PCC比特流存储在ISOBMFF中以实现部分访问。即，文件生成装置300将每个子样本的图块标识信息存储在G-PCC文件中作为图块管理信息。

注意，在图22中，示出了主要的处理单元、主要的数据流等，并且图22中示出的这些不一定是全部。即，在文件生成装置300中，可以存在图22中未示出为块的处理单元，或者可以存在图22中未示出为箭头等的处理或数据流。

如图22所示，文件生成装置300包括提取单元311、编码单元312、比特流生成单元313、图块管理信息生成单元314和文件生成单元315。此外，编码单元312包括几何编码单元321、属性编码单元322和元数据生成单元323。

提取单元311从输入至文件生成装置300的点云数据中提取几何信息数据和属性数据。提取单元311将提取的几何信息的数据提供给编码单元312的几何编码单元321。此外，提取单元311将提取的属性的数据提供给编码单元312的属性编码单元322。

编码单元312对点云的数据进行编码。几何编码单元321对从提取单元311提供的几何信息数据进行编码以生成几何比特流。几何编码单元321将生成的几何比特流提供给元数据生成单元323。此外，几何编码单元321还将生成的几何比特流提供给属性编码单元322。

属性编码单元322对从提取单元311提供的属性的数据进行编码以生成属性比特流。属性编码单元322将生成的属性比特流提供给元数据生成单元323。

元数据生成单元323参考提供的几何比特流和属性比特流来生成元数据。元数据生成单元323将生成的元数据与几何比特流和属性比特流一起提供给比特流生成单元313。

比特流生成单元313对提供的几何比特流、属性比特流和元数据进行复用以生成G-PCC比特流。比特流生成单元313将生成的G-PCC比特流提供给图块管理信息生成单元314。

图块管理信息生成单元314应用上面在<2.图块标识信息的信令>中描述的本技术，并且通过使用图块标识信息来生成图块管理信息，该图块标识信息指示与所提供的G-PCC比特流的数据单元对应的点云的图块，该图块管理信息是用于管理与子样本对应的图块的信息，该子样本包括作为样本存储在文件中的比特流的单个或多个连续数据单元。图块管理信息生成单元314将图块管理信息与G-PCC比特流一起提供给文件生成单元315。

文件生成单元315应用上面在<2.图块标识信息的信令>中描述的本技术，并且生成G-PCC文件，该G-PCC文件存储所提供的G-PCC比特流和图块管理信息(图块标识信息)。文件生成单元315将如上所述生成的G-PCC文件输出至文件生成装置300外部。

例如，在针对每个图块执行子采样的情况下，图块管理信息生成单元314根据如图12所示的语法生成图块管理信息(图块标识信息的列表)。文件生成单元315将图块管理信息存储在SubSampleInformationBox的编解码器特定参数中。

此外，在针对每个条带执行子采样的情况下，图块管理信息生成单元314根据如图14所示的语法生成图块管理信息(图块标识信息的列表)。文件生成单元315将图块管理信息存储在SubSampleInformationBox的编解码器特定参数中。

此外，在针对每个数据单元执行子采样的情况下，图块管理信息生成单元314根据如图16所示的语法生成图块管理信息(图块标识信息的列表)。文件生成单元315将图块管理信息存储在SubSampleInformationBox的编解码器特定参数中。

注意，文件生成单元315可以将图块管理信息存储在SubSampleItemProperty或定时元数据中。此外，如上面在<2.图块标识信息的信令>中所描述的，同样在多轨道的情况下，图块管理信息生成单元314可以生成图块管理信息，并且文件生成单元315可以将图块管理信息存储在文件中。

通过这样做，如上面在<2.图块标识信息的信令>中所描述的，可以抑制再现处理的负荷的增加。

<文件生成处理的步骤>

参照图23的流程图描述由文件生成装置300执行的文件生成处理的过程的示例。

一旦开始文件生成处理，文件生成装置300的提取单元311就在步骤S301中从点云中分别提取几何信息和属性。

在步骤S302中，编码单元312对在步骤S301中提取的几何信息和属性进行编码，以生成几何比特流和属性比特流。编码单元312还生成元数据。

在步骤S303中，比特流生成单元313对在步骤S302中生成的几何比特流、属性比特流和元数据进行复用，以生成G-PCC比特流。

在步骤S304中，图块管理信息生成单元314应用上面在<2.图块标识信息的信令>中描述的本技术，并且生成图块管理信息，该图块管理信息用于管理在步骤S303中生成的G-PCC比特流中包括的图块标识信息。

在步骤S305中，文件生成单元315生成其他信息，应用上述本技术，并且生成存储G-PCC比特流和图块管理信息的G-PCC文件。

当完成步骤S305中的处理时，文件生成处理结束。

如上所述，文件生成装置300将<2.图块标识信息的信令>中描述的本技术应用于文件生成处理，并且将图块标识信息存储在G-PCC文件中。通过这样做，可以减少不必要信息的处理(解码等)，并且可以抑制再现处理的负荷的增加。

<4.第二实施方式>

<再现装置>

图24是示出作为应用了本技术的信息处理装置的一方面的再现装置的配置的示例的框图。图24中示出的再现装置400是对G-PCC文件进行解码、构造点云、并且渲染点云以生成呈现信息的装置。此时，再现装置400可以应用上述本技术，从G-PCC文件中提取再现点云中的期望图块所需的信息，并且解码和再现提取的信息。即，再现装置400可以仅对点云的一部分进行解码和再现。

注意，在图24中，示出了主要的处理单元、主要的数据流等，并且图24中示出的这些不一定是全部。即，在再现装置400中，可以存在图24中未示出为块的处理单元，或者可以存在图24中未示出为箭头等的处理或数据流。

如图24所示，再现装置400包括控制单元401、文件获取单元411、再现处理单元412和呈现处理单元413。再现处理单元412包括文件处理单元421、解码单元422和呈现信息生成单元423。

控制单元401控制再现装置400中的每个处理单元。文件获取单元411获取存储有要再现的点云的G-PCC文件，并且将G-PCC文件提供给再现处理单元412(的文件处理单元421)。再现处理单元412执行与所提供的G-PCC文件中所存储的点云的再现有关的处理。

再现处理单元412的文件处理单元421获取从文件获取单元411提供的G-PCC文件，并且从G-PCC文件中提取比特流。此时，文件处理单元421应用上面在<2.图块标识信息的信令>中描述的本技术，并且仅提取再现期望图块所需的比特流。文件处理单元421将提取的比特流提供给解码单元422。解码单元422对提供的比特流进行解码以生成几何信息和属性的数据。解码单元422将生成的几何信息和属性的数据提供给呈现信息生成单元423。呈现信息生成单元423使用所提供的几何信息和属性数据来构造点云，并且生成作为用于呈现(例如，显示)点云的信息的呈现信息。例如，呈现信息生成单元423使用点云执行渲染，并且生成从预定视点观看的点云的显示图像作为呈现信息。呈现信息生成单元423将以这种方式生成的呈现信息提供给呈现处理单元413。

呈现处理单元413执行对所提供的呈现信息进行呈现的处理。例如，呈现处理单元413将呈现信息提供给再现装置400的外部显示设备等，使得呈现信息被呈现。

图25是示出再现处理单元412的主要配置示例的框图。如图25所示，文件处理单元421包括比特流提取单元431。解码单元422包括几何解码单元441和属性解码单元442。呈现信息生成单元423包括点云构造单元451和呈现处理单元452。

比特流提取单元431应用上面在<2.图块标识信息的信令>中描述的本技术，参考提供的G-PCC文件中包括的图块管理信息，基于图块管理信息(中包括的图块标识信息)从G-PCC文件中提取再现期望图块所需的比特流(即，与该图块对应的几何比特流和属性比特流)。

例如，比特流提取单元431基于诸如图块库存的信息来指定与期望图块对应的图块标识信息。然后，比特流提取单元431参考存储在SubSampleInformationBox的编解码器特定参数等中的图块管理信息，并且指定与对应于期望图块的图块标识信息相对应的子样本。然后，比特流提取单元431提取指定的子样本比特流。

例如，在针对每个图块对G-PCC样本中的G-PCC数据进行子采样的情况下，比特流提取单元431基于图12所示的语法来分析存储在SubSampleInformationBox的编解码器特定参数等中的图块管理信息。

另外，在针对每个条带对G-PCC样本中的G-PCC数据进行子采样的情况下，比特流提取单元431基于图14所示的语法来分析存储在SubSampleInformationBox的编解码器特定参数等中的图块管理信息。

此外，在针对每个数据单元对G-PCC样本中的G-PCC数据进行子采样的情况下，比特流提取单元431基于图16所示的语法来分析存储在SubSampleInformationBox的编解码器特定参数等中的图块管理信息。

注意，在图块管理信息被存储在SubSampleItemProperty中的情况下，比特流提取单元431参考SubSampleItemProperty。此外，在图块管理信息被存储在定时元数据中的情况下，比特流提取单元431参考定时元数据。另外，G-PCC文件可以是多轨道的。

比特流提取单元431将提取的几何比特流提供给几何解码单元441。此外，比特流提取单元431将提取的属性比特流提供给属性解码单元442。

几何解码单元441对所提供的几何比特流进行解码以生成几何信息数据。几何解码单元441将生成的几何信息数据提供给点云构造单元451。属性解码单元442对所提供的属性比特流进行解码并且生成属性数据。属性解码单元442将生成的属性数据提供给点云构造单元451。

点云构造单元451使用所提供的几何信息和属性数据来构造点云。即，点云构造单元451可以构造点云的期望图块。点云构造单元451将构造的点云的数据提供给呈现处理单元452。

呈现处理单元452通过使用所提供的点云数据生成呈现信息。呈现处理单元452将生成的呈现信息提供给呈现处理单元413。

利用这样的配置，再现装置400可以基于存储在G-PCC文件中的图块管理信息(图块标识信息)，更容易地仅提取、解码、构造和呈现期望图块，而无需解析整个比特流。因此，可以抑制再现处理的负荷的增加。

<再现处理的过程>

参照图26的流程图描述由再现装置400执行的再现处理的过程的示例。

一旦开始再现处理，再现装置400的文件获取单元411就在步骤S401中获取要再现的G-PCC文件。

在步骤S402中，比特流提取单元431基于在步骤S401中获取的G-PCC文件中存储的图块管理信息(的图块标识信息)来提取对期望图块进行解码和显示所需的参数集和数据单元。即，比特流提取单元431应用上面在<2.图块标识信息的信令>中描述的本技术，并且从G-PCC文件中提取与期望图块对应的几何比特流和属性比特流。

例如，比特流提取单元431基于存储在G-PCC文件的SubSampleInformationBox中的有效载荷类型来识别并提取序列参数集、几何参数集、属性参数集和图块库存。比特流提取单元431基于提取的图块库存中指示的图块的位置信息来确定每个图块的解码方法。基于存储在G-PCC文件的SubSampleInformationBox中的图块管理信息(图块标识信息)，比特流提取单元431识别并提取构成要解码的图块的子样本(即，构成图块的几何信息数据单元或属性数据单元)。

在步骤S403中，解码单元422的几何解码单元441对在步骤S402中提取的几何比特流进行解码以生成几何信息数据。此外，属性解码单元442对在步骤S402中提取的属性比特流进行解码并且生成属性数据。

在步骤S404中，点云构造单元451使用在步骤S403中生成的几何信息和属性的数据来构造点云。即，点云构造单元451可以构造期望图块(点云的一部分)。

在步骤S405中，呈现处理单元452通过使用在步骤S404中构造的点云执行渲染等来生成呈现信息。呈现处理单元413将呈现信息提供给再现装置400外部，使得呈现信息被呈现。

当完成步骤S405的处理时，再现处理结束。

如上所述，再现装置400将<2.图块标识信息的信令>中描述的本技术应用于再现处理，使用存储在G-PCC文件中的图块标识信息来提取与期望图块对应的信息，并且再现提取的信息。通过这样做，可以减少不必要信息的处理(解码等)，并且可以抑制再现处理的负荷的增加。

<5.附加说明>

<计算机>

上述一系列处理可以通过硬件执行，并且也可以以软件执行。在通过软件执行一系列处理的情况下，形成该软件的程序被安装在计算机上。在本文中，术语计算机包括内置于专用硬件中的计算机、能够通过在其上安装各种程序来执行各种功能的计算机，例如通用个人计算机。

图27是示出根据程序执行上述一系列处理的计算机的配置示例的框图。

在图27中示出的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904互连。

另外，输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘或半导体存储器。

在如上配置的计算机中，例如通过使CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中并执行该程序来执行上述一系列处理。另外，CPU 901执行各种处理等所需的数据也适当地存储在RAM 903中。

例如，可以通过将由计算机执行的程序记录在作为封装介质的实例的可移除介质921上等来应用由计算机执行的程序。在这种情况下，可以通过将可移除介质921插入驱动器915，经由输入/输出接口910将程序安装在存储单元913中。

另外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，程序可以由通信单元914接收并且被安装在存储单元913中。

否则，程序还可以预先安装在ROM 902或存储单元913中。

<本技术的应用目标>

尽管上面已经描述了将本技术应用于点云数据的编码和解码的情况，但是本技术不限于这些示例，并且可以应用于任意标准的3D数据的编码和解码。即，只要与上述本技术不存在矛盾，诸如编码/解码方法的各种类型的处理以及诸如3D数据和元数据的各种类型的数据的规范就是任意的。另外，只要与本技术不存在矛盾，就可以省去上述处理和规范的一部分。

此外，本技术可以应用于任意配置。例如，本技术可以应用于各种电子设备。

另外，例如，本技术还可以执行为安装在任意设备或系统中所包括的装置上的任何配置，例如用作系统大规模集成(LSI)的处理器(例如，视频处理器)、使用多个处理器的模块(例如，视频模块)、使用多个模块的单元(例如，视频单元)、或者通过进一步向单元添加另一功能而获得的集合(例如，视频集)。

此外，在一个示例中，本技术适用于具有多个装置的网络系统。在一个示例中，本技术能够实现为云计算，其中多个装置通过网络以共享或联合方式执行处理。在一个示例中，本技术能够在云服务中实现，其中与图像(运动图像)有关的服务被递送至诸如计算机、视听(AV)设备、便携式信息处理终端和物联网(IoT)设备的任何终端。

注意，在本说明书中，系统意指一组多个组成元件(例如，装置或模块(部件))，而不管所有组成元件是否在同一壳体中。因此，包含在不同壳体中并经由网络连接的多个装置以及多个模块被包含在一个壳体中的一个装置两者均是系统。

<本技术适用的领域和应用>

注意，应用本技术的系统、装置、处理单元等可以用于任意领域，例如交通、医疗领域、犯罪预防、农业、畜牧业、采矿业、美容业、工业工厂、家用电子产品、气象领域和自然监测。此外，系统、装置、处理单元等的使用应用可以是任何使用应用。

例如，可以将本技术应用于以下系统或设备：提供该系统或设备以用于提供供观察的内容等。此外，例如，本技术还可以应用于为了交通运输目的(诸如交通状况的监测和自动驾驶控制)而提供的系统或设备。此外，例如，本技术还可以应用于为了安全性目的而提供的系统或设备。此外，例如，可以将本技术应用于为自动控制机器等提供的系统或设备。此外，例如，本技术也可以应用于为农业或畜牧业提供的系统或设备。此外，本技术可以应用于例如监测火山、森林、海洋等的自然状态、野生动植物等的系统或设备。此外，例如，本技术还可以应用于为了运动目的而提供的系统或设备。

<其他>

注意，在本说明书中，“标记”是用于标识多个状态的信息，并且不仅包括用于标识真(1)和假(0)两个状态的信息，而且还包括能够标识三个或更多个状态的信息。因此，“标记”可以取的值可以是例如二进制1/0或三进制或更多。即，构成该“标记”的位的数目是任意的，并且可以是一个位或多个位。另外，由于假设标识信息(包括标记)不仅形成包括比特流中的标识信息的类型，而且还形成以下类型：该类型包括比特流中的标识信息相对于特定参考信息的差异信息，因此在本说明书中，“标记”和“标识信息”不仅包括信息，而且还包括相对于参考信息的差异信息。

此外，可以以任何形式发送或记录与编码数据(比特流)有关的各种类型的信息(元数据等)，只要该信息与编码数据相关联即可。本文中使用的术语“关联”意指例如在处理其他数据时使一个数据可用(可链接)。即，彼此关联的数据可以被收集作为一个数据，或者可以是单独的数据。在一个示例中，可以在与编码数据(图像)的传输路径不同的传输路径上发送与编码数据(图像)相关联的信息。另外，在一个示例中，可以将与编码数据(图像)相关联的信息记录在与记录有编码数据(图像)的记录介质不同的记录介质(或相同记录介质的其他记录区域)上。注意，该“关联”可能是数据的一部分而不是整个数据。例如，图像和与图像对应的信息可以以诸如多个帧、一帧、或帧中的一部分的任意单位彼此关联。

注意，在本说明书中，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“装入”、“穿透”和“插入”的术语意指将多个项目组合成一个，例如，将编码数据和元数据组合成一个数据，并且意指上述“关联”的一种方法。

另外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种改变和修改。

此外，例如，被描述为一个装置(或处理单元)的元件可以被划分和配置为多个装置(或处理单元)。相反，上面被描述为多个装置(或处理单元)的元件可以被共同配置为一个装置(或处理单元)。此外，可以将除了上述元件之外的元件添加至每个装置(或处理单元)的配置。此外，只要作为整体的系统的配置或操作基本相同，则特定装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。

另外，例如，上述程序可以在任何装置中执行。在这种情况下，如果装置具有必要功能(功能块等)并且可以获得必要信息就足够了。

另外，例如，一个流程图的每个步骤可以由一个装置执行或者通过分配给多个装置来执行。此外，在一个步骤中包括多个处理的情况下，多个处理可以由一个装置执行或者通过分配给多个装置来执行。换言之，一个步骤中包括的多个处理可以作为多个步骤执行。相反，被描述为多个步骤的处理也可以作为一个步骤共同执行。

此外，例如，在由计算机执行的程序中，描述程序的步骤中的处理可以按照本说明书中描述的顺序以时间顺序来执行，或者可以同时执行，或者在必要定时例如在进行调用时单独执行。换言之，除非另外产生矛盾，否则可以按照与上述顺序不同的顺序执行各个步骤中的处理。此外，描述程序的步骤中的处理可以与另一程序的处理同时执行，或者可以与另一程序的处理组合执行。

此外，例如，除非出现矛盾，否则根据本技术的多种技术可以彼此独立地单独执行。当然，可以组合执行任何多种本技术。在一个示例中，实施方式中的任何实施方式中描述的本技术的部分或全部可以与在另一实施方式中描述的本技术的部分或全部组合执行。另外，上述本技术中的任何本技术的一部分或全部可以与上面未描述的另一技术组合执行。

另外，本技术还可以按如下配置。

(1)一种信息处理装置，包括：

图块管理信息生成单元，所述图块管理信息生成单元通过使用图块标识信息生成图块管理信息，所述图块标识信息指示与点云的比特流的数据单元对应的所述点云的图块，其中所述点云将具有三维形状的对象表达为点的集合，所述图块管理信息是用于管理与子样本对应的图块的信息，所述子样本包括作为样本存储在文件中的所述比特流的单个或多个连续数据单元；以及

文件生成单元，所述文件生成单元生成所述文件，所述文件存储所述比特流和所述图块管理信息。

(2)根据(1)所述的信息处理装置，其中，

所述图块管理信息是针对所述文件的每个轨道生成的，并且包括与存储在所述轨道中的子样本对应的图块标识信息的列表。

(3)根据(2)所述的信息处理装置，其中，

所述文件是国际标准化组织基础媒体文件格式(ISOBMFF)文件，并且

所述图块管理信息被存储在所述文件的moov盒或moof盒中存储关于所述子样本的信息的盒中。

(4)根据(3)所述的信息处理装置，其中，

所述子样本包括所述比特流的属于同一图块的几何信息的数据单元或属性的数据单元或者这两者，并且

所述图块管理信息包括将与所述子样本中包括的所述几何信息的数据单元对应的图块标识信息与所述子样本相关联的信息。

(5)根据(3)所述的信息处理装置，其中，

所述子样本包括所述比特流的属于同一条带的几何信息的数据单元或属性的数据单元或者这两者，并且

所述图块管理信息包括将与所述子样本中包括的所述几何信息的数据单元对应的图块标识信息与所述子样本相关联的信息。

(6)根据(3)所述的信息处理装置，其中，

所述子样本包括所述比特流的几何信息或属性的单个数据单元，并且

所述图块管理信息包括：

将与所述几何信息的数据单元对应的图块标识信息以及条带标识信息与包括所述几何信息的数据单元的子样本相关联的信息，其中所述条带标识信息与所述几何信息的数据单元对应，并且指示与所述比特流的数据单元对应的点云的条带；以及

将与所述属性的数据单元对应的条带标识信息与包括所述属性的数据单元的子样本相关联的信息。

(7)根据(3)至(6)中任一项所述的信息处理装置，其中，

所述图块管理信息被存储在所述文件的定时元数据中。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中，

所述文件生成单元将几何信息的数据单元和属性的数据单元存储在所述文件的彼此不同的轨道中，并且

所述图块管理信息生成单元在每一个所述轨道中生成所述图块管理信息。

(9)根据(1)至(8)中任一项所述的信息处理装置，还包括

编码单元，所述编码单元对所述点云的数据进行编码，并且生成所述比特流，其中，

所述文件生成单元生成存储由所述编码单元生成的所述比特流的所述文件。

(10)一种信息处理方法，包括：

通过使用图块标识信息生成图块管理信息，所述图块标识信息指示与点云的比特流的数据单元对应的所述点云的图块，所述点云将具有三维形状的对象表达为点的集合，所述图块管理信息是用于管理与子样本对应的图块的信息，所述子样本包括作为样本存储在文件中的所述比特流的单个或多个连续数据单元；以及

生成存储所述比特流和所述图块管理信息的所述文件。

(11)一种信息处理装置，包括

提取单元，所述提取单元基于图块管理信息从文件中提取再现期望的图块所需的比特流的一部分，所述图块管理信息是用于通过使用图块标识信息来管理与存储在所述文件中的子样本对应的图块的信息，所述图块标识信息指示与所述子样本对应的点云的图块，所述子样本包括所述比特流的单个或多个连续数据单元，所述图块管理信息与所述点云的比特流一起存储在所述文件中，所述点云将具有三维形状的对象表达为点的集合。

(12)根据(11)所述的信息处理装置，其中，

所述图块管理信息是针对所述文件的每个轨道生成的，并且包括与存储在所述轨道中的子样本对应的图块标识信息的列表，并且

所述提取单元基于所述列表来指定与所述期望的图块对应的子样本，并且提取所指定的子样本。

(13)根据(12)所述的信息处理装置，其中，

所述文件是国际标准化组织基础媒体文件格式(ISOBMFF)文件，并且

所述提取单元基于存储在所述文件的moov盒或moof盒中的图块管理信息的列表来指定与所述期望的图块对应的子样本，并且提取所指定的子样本。

(14)根据(13)所述的信息处理装置，其中，

所述子样本包括所述比特流的属于同一图块的几何信息的数据单元或属性的数据单元或者这两者，并且

所述图块管理信息包括将与所述子样本中包括的所述几何信息的数据单元对应的图块标识信息与所述子样本相关联的信息。

(15)根据(13)所述的信息处理装置，其中，

所述子样本包括所述比特流的属于同一条带的几何信息的数据单元或属性的数据单元或者这两者，并且

所述图块管理信息包括将与所述子样本中包括的所述几何信息的数据单元对应的图块标识信息与所述子样本相关联的信息。

(16)根据(13)所述的信息处理装置，其中，

所述子样本包括所述比特流的几何信息或属性的单个数据单元，并且

所述图块管理信息包括：

将与所述几何信息的数据单元对应的图块标识信息以及条带标识信息与包括所述几何信息的数据单元的子样本相关联的信息，其中所述条带标识信息与所述几何信息的数据单元对应，并且指示与所述比特流的数据单元对应的点云的条带；以及

将与所述属性的数据单元对应的条带标识信息与包括所述属性的数据单元的子样本相关联的信息。

(17)根据(13)至(16)所述的信息处理装置，其中，

所述图块管理信息被存储在所述文件的定时元数据中。

(18)根据(11)至(17)中任一项所述的信息处理装置，其中，

所述文件将几何信息的数据单元和属性的数据单元存储在彼此不同的轨道中，并且

所述提取单元基于所述图块管理信息在每一个所述轨道中从所述文件提取再现所述期望的图块所需的所述比特流的一部分。

(19)根据(11)至(18)中任一项所述的信息处理装置，还包括

解码单元，所述解码单元对所述提取单元提取的再现所述期望的图块所需的所述比特流中的所述一部分进行解码。

(20)一种信息处理方法，包括

基于图块管理信息从文件中提取再现期望的图块所需的比特流的一部分，所述图块管理信息是用于通过使用图块标识信息来管理与存储在所述文件中的子样本对应的图块的信息，所述图块标识信息指示与所述子样本对应的点云的图块，所述子样本包括所述比特流的单个或多个连续数据单元，所述图块管理信息与所述点云的比特流一起存储在所述文件中，所述点云将具有三维形状的对象表达为点的集合。

附图标记列表

300文件生成装置

311提取单元

312编码单元

313比特流生成单元

314图块管理信息生成单元

315文件生成单元

321几何编码单元

322属性编码单元

323元数据生成单元

400再现装置

401控制单元

411文件获取单元

412再现处理单元

413呈现处理单元

421文件处理单元

422解码单元

423呈现信息生成单元

431比特流提取单元

441几何解码单元

442属性解码单元

451点云构造单元

452呈现处理单元