信息处理装置和信息处理方法

技术领域

本公开内容涉及信息处理装置和信息处理方法，并且更具体地涉及能够分发更高质量的G-PCC流的信息处理装置和信息处理方法。

背景技术

至此，基于MPEG-I部分9几何结构的点云压缩(ISO/IEC 23090-9)规定了对点云进行压缩的处理，点云表示在三维空间中同时具有位置信息和属性信息(例如，颜色信息、反射率信息等)的点的集合。

例如，如NPL 1中所公开的，根据基于几何结构的点云压缩(G-PCC)，将点云分割成表示三维结构的几何结构和表示颜色、反射率信息等的属性，并且对几何结构信息和属性进行编码。

此外，如图1所示的八叉树编码用于压缩几何结构。例如，八叉树编码表示以下处理：使用八叉树来表示针对由体素(Voxels)表示的数据在每个块(block)中是否存在点。根据该处理，如图1所示，存在点的块由1表示，不存在点的块由0表示。

此外，预测权重提升、区域自适应分层变换(RAHT)或固定权重提升被用于压缩属性。

引用列表

非专利文献

[NPL1]

w17770，G-PCC第三版工作草案(基于几何结构的PCC)，2018年7月，卢布尔雅那，斯洛文尼亚

[NPL2]

w18001，G-PCC核心实验13.2的说明：点云的基于片和条带的编码，2018年10月，澳门，中国

发明内容

技术问题

顺便提及，根据传统的分发技术，在通过如图1所示的八叉树编码来均匀压缩点云对象的三维结构信息时所生成的G-PCC流被分发。在通过八叉树编码均匀压缩三维结构信息的情况下，所分发的G-PCC流具有可以从外围通过360°观看的三维信息，并且对全部外围提供相同的精细度。此时，用于分发的网络带宽所造成的限制引起了下面要描述的两个关注点。

首先，在分发点云的点很密集的高清晰度G-PCC流时，无论G-PCC流是否表示用户在特定时间能够观看的点云的一部分，都均匀地降低整体点云对象的压缩比(即，导致高清晰度)。因此，比特率容易不必要地增加，可能导致再现中断。

其次，在降低比特率以抑制再现中断的情况下，均匀地增加整体G-PCC流的压缩比(即，导致较低的清晰度)。因此，使得用户在特定时间正在观看的点云对象的一部分中的点云的点成为稀疏的，导致低清晰度。

如上所述，至此，还没有为了更好的效率而利用网络带宽，并且还没有为了高清晰度观看体验和不间断的再现而实现高质量G-PCC流分发。

鉴于以上情况提出本公开内容，并且本公开内容目的在于提供更高质量的G-PCC流分发。

问题的解决方法

根据本公开内容的第一方面的信息处理装置包括文件生成部，该文件生成部生成包括空间位置信息和分组信息的文件，该空间位置信息指示各段部分点云数据的空间位置，所述各段部分点云数据表示当在三维结构基础上对点云数据进行编码以生成编码点云数据流时该点云数据被分割成的各个部分，该分组信息对部分点云数据进行分组。

根据本公开内容的第一方面的信息处理方法包括：通过信息处理装置进行下述操作：生成包括空间位置信息和分组信息的文件，该空间位置信息指示各段部分点云数据的空间位置，所述各段部分点云数据表示当在三维结构基础上对点云数据进行编码以生成编码数据流时该点云数据被分割成的各个部分，该分组信息对该部分点云数据进行分组。

根据本公开内容的第一方面，生成包括空间位置信息和分组信息的文件，该空间位置信息指示各段部分点云数据的空间位置，所述各段部分点云数据表示当在三维结构基础上对点云数据进行编码以生成编码数据流时该点云数据被分割成的各个部分，该分组信息对部分点云数据进行分组。

根据本公开内容的第二方面的信息处理装置包括编码部，当在三维结构基础上对点云数据进行编码以生成编码点云数据流时，该编码部生成表示编码部分的清晰度的部分清晰度信息。该编码部基于部分清晰度信息在点云数据的局部坐标系中生成方向信息，该方向信息指示指向相对高图像质量的区域的方向。

根据本公开内容的第二方面的信息处理方法包括通过信息处理装置进行下述操作：当在三维结构基础上对点云数据进行编码以生成编码数据流时，生成表示编码部分的清晰度的部分清晰度信息。基于部分清晰度信息，在点云数据的局部坐标系中生成方向信息，该方向信息指示指向相对高图像质量的区域的方向。

根据本公开内容的第二方面，当在三维结构基础上对点云数据进行编码以生成编码数据流时，生成表示编码部分的清晰度的部分清晰度信息。此外，基于部分清晰度信息，在点云数据的局部坐标系中生成方向信息，该方向信息指示指向相对高图像质量的区域的方向。

附图说明

[图1]是说明八叉树编码的图。

[图2]是示出针对点云对象的各个部分以不同清晰度对点云对象进行编码的示例的图。

[图3]是示出由方向方向信息指示的方向的示例的图。

[图4]是示出方向信息的信令的示例的图。

[图5]是示出清晰度信息的信令的示例的图。

[图6]是示出DirectionInformationBox中的信号位置的示例的图。

[图7]是示出DirectionInformationBox中的语法的示例的图。

[图8]是示出被分割成四个部分的点云对象的示例的图。

[图9]是示出在X轴方向上被分割成两半的对象框的示例的图。

[图10]是示出gpcc:blockInfo的属性的定义的图。

[图11]是示出部分G-PCC流的空间位置信息和分组信息的信令的示例的图。

[图12]是示出空间位置信息的视觉表示的图。

[图13]是示出部分G-PCC流的清晰度信息的信令的示例的图。

[图14]是示出数据生成设备的配置示例的框图。

[图15]是示出数据再现设备的配置示例的框图。

[图16]是说明用于生成存储了部分G-PCC流的文件的生成处理的流程图。

[图17]是说明用于再现存储了部分G-PCC流的文件的再现处理的流程图。

[图18]是说明对部分G-PCC流的方向对应信息的需要的图。

[图19]是示出部分G-PCC流的方向对应信息的信令的示例的图。

[图20]是说明对动态改变的空间位置信息和方向对应信息的需要的图。

[图21]是示出动态改变的空间位置信息和方向对应信息的信令的示例的图。

[图22]是示出定时元数据的样本条目的语法的示例的图。

[图23]是示出定时元数据的样本的语法的示例的图。

[图24]是示出在各个时间处的空间位置信息的信令的示例的图。

[图25]是示出BlockGroupBox的信号示例的图。

[图26]是示出用于用信号发送BlockGroupBox中的部分G-PCC流的空间位置信息的语法的示例的图。

[图27]是说明通过分层生成部分G-PCC流的方式的图。

[图28]是示出要组合的G-PCC流的空间位置信息的信令的示例的图。

[图29]是示出空间位置信息的视觉表示的图。

[图30]是示出应用了轨道参考的示例的图。

[图31]是示出CombinedAreaLodInfoBox(‘cloi’)的语法的示例的图。

[图32]是示出BrickGroupEntry的语法的示例的图。

[图33]是示出UnitMapEntry的语法的示例的图。

[图34]是示出应用了BrickGroupEntry和UnitMapEntry的示例的图。

[图35]是示出改变动态砖块配置的方式的图。

[图36]是说明砖块基础轨道和砖块轨道的配置的图。

[图37]是说明砖块的空间位置信息的信令的示例的图。

[图38]是示出渲染处理的信令的示例的图。

[图39]是示出RenderingInformationBox的信号示例的图。

[图40]是示出RenderingInformationBox的语法的示例的图。

[图41]是示出针对成为高清晰度的部分的处理类型的语法的示例的图。

[图42]是示出其中添加了combined_track_exists字段、combined_track_id字段和combined_area_type字段的语法的示例的图。

[图43]是示出其中添加了priority_flag字段的语法的示例的图。

[图44]是示出样本组概要的图。

[图45]是示出根据本技术的实施方式的计算机的配置示例的框图。

具体实施方式

在下文中将参照附图详细描述本技术的特定实施方式。

<本公开内容的三点>

首先，以下将描述表示本实施方式中公开的技术的特征的第一点至第三点。例如，在HMD(头戴式显示器)或平板显示器上观看点云对象的情况下，使用基于以下事实的观看方向自适应分发技术：不能看到与观看方向相反的一侧的表面形状和颜色。

第一点在于，分发通过针对各个部分以不同清晰度对一个点云对象的各部分进行编码而生成的G-PCC流。例如，将表示指向高清晰度的方向的方向信息和表示该方向上的清晰度的清晰度信息添加到G-PCC流。通过添加的信息，客户端能够获取G-PCC流，其中观看部分具有高清晰度，而除了观看部分之外的其他部分具有低清晰度。因此，第一点使得可以通过有效地利用网络带宽来实现具有高清晰度的观看部分。

第二点在于，将一个点云对象分割成多个部分对象，并且分发通过以不同清晰度对各个部分对象进行编码而生成的部分G-PCC流。此外，第二点提出了分发通过空间分割而生成的部分G-PCC流的第一处理和分发通过分层而生成的部分G-PCC流的第二处理。

例如，根据第二点的第一处理，将空间位置信息和清晰度信息添加到每个部分G-PCC流。通过添加的信息，客户端能够获取观看部分的高清晰度部分G-PCC流和除了观看部分之外的部分的低清晰度部分G-PCC流。因此，第二点的第一处理使得可以通过有效地利用网络带宽来实现具有高清晰度的观看部分。

此外，根据第二点的第二处理，将以下信息添加到通过第二点的第一处理而添加到每个部分G-PCC流的信息：用于识别要被组合以得到高清晰度的部分G-PCC流的信息。通过添加的信息，客户端能够以使观看部分具有高清晰度所需的组合来获取部分G-PCC流。因此，第二点的第二处理也使得可以通过有效地利用网络带宽来实现具有高清晰度的观看部分。

根据第三点，针对点云对象的低清晰度部分指定了渲染处理。例如，将改善低清晰度部分的主观质量所需的渲染处理的信息添加到G-PCC流。通过该信息，客户端能够识别指定的渲染处理，并且在该处理可执行的情况下，能够获取已经添加了渲染处理的信息的G-PCC流。因此，第三点使得可以保持主观质量，并且还可以减少G-PCC流分发所需的网络带宽。

顺便提及，通过扩展DASH MPD(基于HTTP的动态自适应流媒体呈现描述)或ISOBMFF(ISO基础媒体文件格式)来用信号发送根据第一点至第三点添加的信息。

<第一点>

下面将参照图2至图7描述分发通过以不同清晰度对部分进行编码而生成的G-PCC流的第一点。

如图2所示，当要生成G-PCC流时，可以通过改变在部分中的每一个中划分体素所利用的精细度(八叉树深度)来以不同清晰度对点云对象的部分进行编码。

在图2中示出的示例中，将点云对象分割成八个部分。用灰色阴影指示的部分中的两个部分以高清晰度(深度＝10)进行编码，并且其余部分以低清晰度(深度＝5)进行编码。

通过这样编码的部分，客户端能够获取观看部分的编码的高清晰度G-PCC流，以及其他部分的编码的低清晰度G-PCC流。因此，可以通过有效地利用网络带宽来实现具有高清晰度的观看部分。此时，由于除非对G-PCC流进行解码，否则无法识别每个部分的清晰度，因此，当客户端在服务器上选择和获取G-PCC流时，客户端需要能够识别高清晰度观看部分的G-PCC流。

例如，在根据观看方向针对360整个天球图像的区域而选择高图像质量的流时，需要这样的识别能力。具体地，在360整个天球图像的区域的高图像质量的流的情况下，由于视点的位置是固定的，因此用户观看的部分仅取决于观看方向。因此，一般将与高图像质量的区域的观看方向对应的信息添加到360整个天球图像的区域的高图像质量的流。

另一方面，在根据本技术的G-PCC流的情况下，可以从各种视点位置在不同观看方向上观看点云对象的一部分。因此，即使客户端参考在360整个天球图像上使用的与观看方向对应的信息，客户端也无法适当地获取高清晰度观看部分的G-PCC流。

在这方面，根据第一点，提出用信号发送方向，该方向指向关于G-PCC流的高清晰度。通过该提议，客户可以取决于观看方向和视点位置来选择和获取高清晰度观看部分的G-PCC流。

此外，根据第一点，提出用信号发送针对指向G-PCC流的高清晰度的方向的清晰度信息。通过该提议，在G-PCC流的观看部分已经改变的情况下，G-PCC流可以切换到以下G-PCC流：其中，新的观看部分的清晰度等于已经改变的先前观看部分的清晰度。例如，在清晰度由于观看部分的改变而大大改变的情况下，预期可能损害用户的观看体验。然而，尽管观看部分发生改变，但是通过抑制清晰度改变，可以防止损害用户的观看体验。

以下将参照图3至图5描述DASH MPD的扩展。

例如，作为指向G-PCC流的高清晰度的方向的信息，新定义并且在AdaptationSet中用信号发送高lod方向描述符(schemeIdUri的SupplementalProperty＝“urn:mpeg:mepgI:gpcc:high_lod_direction:2018”)。换言之，在gpcc:directionInfo元素的方向属性中用信号发送指向高清晰度的方向的信息。

此外，如图3所示，可以基于点云的局部坐标系在0：X+、1：Y+、2：X-、3：Y-、4：Z+和5：Z-这六个方向上用信号发送方向属性可以取的值。另外，可以以较小的粒度(例如45°间隔)用信号发送方向。

顺便提及，可以在一个G-PCC流中使得多个方向成为高清晰度。在该情况下，可以使用多个gpcc:directionInfo元素来用信号发送方向。此外，“gpcc:”是名称空间前缀，并且例如将使用“urn:mpeg:mpegI:gpcc:2018”的名称空间。

图4是示出方向信息的信令的示例的图。在图4中由粗体字母指示的位置处用信号发送方向信息。

例如，在用户正在局部坐标系的X+方向上观看点云的一部分的情况下，客户端可以参考高lod方向描述符，并且选择AdaptationSet@id＝1以获取高清晰度部分。这使得可以显示点云，从而使用户的观看部分的清晰度高。

此外，清晰度信息被添加到高lod方向描述符，并且在Representation中用信号发送，其中该清晰度信息表示指向高清晰度的方向上的清晰度。例如，在gpcc:directionInfo元素的lod_ranking属性中用信号发送清晰度排名信息。清晰度排名指示其值越小，清晰度越高。

图5示出了清晰度信息的信令的示例。在图5中由粗体字母指示的位置处用信号发送清晰度信息。

例如，在用户正在观看局部坐标系的X+方向上的点云的一部分，并且客户端正在再现Representation@id＝”1-1”的情况下，假设视点位置和观看方向已经改变，以供用户观看Y+方向上的部分。此时，客户端可以选择AdaptationSet@id＝”2”的Representation@id＝”2-1”，并且获取与视点位置和观看方向改变之前的清晰度相同的清晰度的部分。因此，抑制了清晰度由于观看部分的改变而大大改变，从而防止损害用户的观看体验。

顺便提及，可以用信号发送指向高清晰度的方向上的八叉树深度的值，而不是清晰度排名信息，以作为指向高清晰度的方向上的清晰度信息。

以下将参照图6和图7描述ISOBMFF的扩展。

例如，作为表示指向高清晰度的方向的方向信息和表示指向高清晰度的方向上的清晰度的清晰度信息，新定义并且用信号发送DirectionInformationBox(‘diri’)。

然后，如图6所示，在轨道的样本条目中用信号发送存储在ISOBMFF轨道中的G-PCC流的方向信息和清晰度信息(‘diri’)。因此，客户端能够基于方向信息和清晰度程度信息从ISOBMFF中包括的多个轨道中选择用于使得观看部分的清晰度高的轨道，并且以高清晰度再现观看部分。

图7示出了directionInformationBox中的语法的示例。

在图7中示出的语法中，high_lod_direction字段和lod_ranking字段的语义类似于以下属性：该属性具有高lod方向描述符的gpcc:directionInfo元素的相同名称。

顺便提及，可以用信号发送指向高清晰度的方向上的八叉树深度的值，而不是清晰度排名信息，以作为指向高清晰度的方向上的清晰度信息。此外，可以在除了ISOBMFF轨道的样本条目之外的位置中用信号发送清晰度信息(‘diri’)。

<第二点>

以下将参照图8至图37描述用于分发部分G-PCC流的第二点，其中通过以不同清晰度对部分对象进行编码而生成该部分G-PCC流。

例如，将一个点云对象分割成多个部分点云对象，并且通过对部分点云对象进行编码来生成部分G-PCC流。当对部分点云对象进行编码时，八叉树深度改变，使得部分G-PCC流具有各自的清晰度变化。通过清晰度变化，客户端可以获取部分G-PCC流，使得观看部分具有高清晰度，而其他部分具有低清晰度，从而使得可以通过有效地利用带宽来实现具有高清晰度的观看部分。

此时，需要识别部分G-PCC流对应于点云对象的哪部分，并且还需要在不对其进行解码的情况下识别部分G-PCC流的清晰度信息。换言之，当客户端在服务器上选择并获取G-PCC流时，需要适当地选择用于使得观看部分的清晰度高的部分G-PCC流。

以下将参照图8至图26描述用于分发通过空间分割而生成的部分G-PCC流的第二点的第一处理。

如图8所示，通过对一个点云对象进行空间分割来生成部分点云，并且可以通过对部分点云进行编码来生成和分发部分G-PCC流。图8示出了在空间上被分割成四个部分的点云对象的示例。

此时，用信号发送组成一个整体点云对象的部分G-PCC流的空间位置信息和部分G-PCC流的分组信息。此外，用信号发送部分G-PCC流的清晰度信息。

因此，客户端能够通过参考部分G-PCC流的分组信息和清晰度信息来获取用于使得观看部分的清晰度高的部分G-PCC流。

这里，以下将描述空间分割的处理和空间位置信息。

例如，点云对象的形状最多一帧一帧地改变。因此，通过应用不取决于点云对象的形状改变的固定分割规则来执行空间分割。具体地，将占据以下空间位置的长方体块(在下文中被称为块)中包括的部分点云对象编码为一个部分G-PCC流：该空间位置与包括整体点云对象的框(在下文中被称为对象框)相对相同。

图9示出了在X轴方向上被分割成两半的对象框的示例。

如图9所示，在时间t0处包括整体点云对象的对象框在X轴方向上被分割成两半，作为部分点云对象t0-a和t0-b。类似地，在时间t1处，对象框被分割成部分点云对象t1-a和t1-b，并且在时间t2处，对象框被分割成部分点云对象t2-a和t2-b。a的G-PCC流包括部分点云对象t0-a、部分点云对象t1-a和部分点云对象t2-a，而b的G-PCC流包括部分点云对象t0-b、部分点云对象t1-b和部分点云对象t2-b。

根据该处理，部分G-PCC流中包括的部分点云对象相对于整体点云对象的相对空间位置动态地保持不变。在相对空间位置被动态地改变的情况下，观看部分与包括观看部分的部分G-PCC流之间的关系被动态改变。因此，在客户端获取使得观看部分的清晰度高的G-PCC流的情况下，即使观看部分不变，也需要在获取的高清晰度G-PCC流之间切换。因此，空间分割的处理使得在观看部分不变时不需要在获取的高清晰度G-PCC流之间切换。

以下将参照图10至图13描述DASH MPD的扩展。

例如，作为部分G-PCC流的空间位置信息和分组信息，新定义并且在AdaptationSet中用信号发送块信息描述符(schemeIdUri的SupplementalProperty＝“urn:mpeg:mepgI:gpcc:block_information:2018”)。

如图10所示，空间位置信息由gpcc:blockInfo元素的属性block_offset_x、block_offset_y、block_offset_z、block_size_x、block_size_y和block_size_z来指示。当对象框沿x轴、y轴和z轴的每一侧由1表示时，将这些属性作为相对值用信号发送。当对部分点云对象进行G-PCC编码时，块的位置和形状和边界框的位置和形状将是彼相同的。在当对部分点云对象进行G-PCC编码时，块的位置和形状中的任一个与边界框的位置或形状不同的情况下，如果单独用信号发送表示边界框中的块的位置和形状的信息就足够了。

此外，分组信息由gpcc:blockInfo元素的object_id属性来指示。对于组成一个点云对象的部分G-PCC流，用信号发送具有相同值的Object_id属性。

图11示出了部分G-PCC流的空间位置信息和分组信息的信令的示例。在图11中由粗体字母指示的位置处用信号发送部分G-PCC流的空间位置信息和分组信息。

图12是示出通过各个AdaptationSet的块信息描述符来用信号发送的空间位置信息的视觉表示的图。

顺便提及，假设将用于用信号发送清晰度信息的属性添加到gpcc:blockInfo元素，并且然后通过块信息描述符来用信号发送多个gpcc:blockInfo元素，则可以在一个G-PCC流的每个空间位置处用信号发送清晰度信息。例如，在上述第一点中，可以通过参考扩展的块信息描述符来执行针对高清晰度观看部分选择G-PCC流的处理。

另外，根据空间位置信息信令的修改，可以用信号发送对象框的沿x轴、y轴和z轴的边的大小，并且可以通过关于大小的相对值用信号发送block_offset_x、block_offset_y、block_offset_z、block_size_x、block_size_y和block_size_z。

此外，作为部分G-PCC流的清晰度信息，新定义并且在Representation中用信号发送lod方向描述符(schemeIdUri的SupplementalProperty＝“urn:mpeg:mepgI:gpcc:lod_information:2018”)。例如，在gpcc:lodInfo元素的lod_ranking属性中用信号发送清晰度排名信息。清晰度排名指示其值越小，清晰度越高。

图13示出了部分G-PCC流的清晰度信息的信令的示例。在图13中由粗体字母指示的位置处用信号发送部分G-PCC流的清晰度信息。

这里，各个AdaptationSet的块信息描述符的信令类似于以上在图11中示出的那些。

顺便提及，可以用信号发送八叉树深度的值，而不是清晰度排名信息，以作为清晰度信息。

此外，在图13中示出的示例中客户端正从X+方向观看的情况下，参考了图12中示出的块b的部分G-PCC流的Adaptation Set@id＝“2”选择高清晰度的Representation(其中lod_ranking的值小)。此外，在该情况下，参考了块a的部分G-PCC流的AdaptationSet@id＝“1”选择低清晰度的Representation(其中lod_ranking的值大)。然后，通过根据这些选择来获取部分G-PCC流，可以通过有效地利用网络带宽来实现具有高清晰度的观看部分。例如，包括Representation@id＝“1-2”和Representation@id＝“2-1”的两个Representation所参考的部分G-PCC流被获取。

<系统配置>

以下将参照图14和图15描述应用本技术的数据生成设备和数据再现设备的系统配置。

图14是示出数据生成设备的配置示例的框图。

如图14所示，由11表示的数据生成设备包括控制器21、存储器22和文件生成部23。例如，存储器22存储控制器21控制文件生成部23所需的各种数据，并且控制器21参考这些数据来控制文件生成部23生成文件。

文件生成部23包括数据输入部31、数据编码和生成部32、MPD(媒体呈现描述)文件生成部33、记录部34和输出部35。例如，输入至数据输入部31的数据被提供给数据编码和生成部32和MPD文件生成部33。由数据编码和生成部32生成的文件和由MPD文件生成部33生成的MPD通过记录部34从输出部35输出，并且被记录在例如记录介质中。

数据编码和生成部32具有预处理部36、编码部37和文件生成部38。

预处理部36执行以下处理：分割从数据输入部31输入的点云对象以生成部分点云对象，并且同时生成空间位置信息和分组信息。

编码部37对部分点云对象进行G-PCC编码以生成部分G-PCC流，并且同时生成清晰度信息。

文件生成部38将部分G-PCC流存储在各个文件中，并且将文件提供给记录部34。

图15是示出数据再现设备的配置示例的框图。

如图15所示，由12表示的数据再现设备包括控制器41、存储器42和再现处理部43。例如，存储器42存储控制器41控制再现处理部43所需的各种数据，并且控制器41参考这些数据来控制再现处理部43再现点云。

再现处理部43包括获取部51、显示控制部52、数据分析和解码部53和显示部54。例如，由获取部51获取——即从记录介质等读取——的文件和MPD被提供给数据分析和解码部53。然后，由显示部54显示由数据分析和解码部53根据显示控制部52的显示控制而生成的显示画面。

数据分析和解码部53具有文件分析部55、解码部56和显示信息生成部57。

文件分析部55分析元数据，在该元数据中用信号发送上述各种信息。

此外，解码部56执行对部分G-PCC流进行解码的处理。

此外，显示信息生成部57基于空间位置信息来重构点云对象，渲染点云以生成显示画面，并且控制显示部54显示该显示画面。

<生成处理和再现处理>

图16是示出生成处理的流程图，其中数据生成设备11的数据编码和生成部32生成存储部分G-PCC流的文件。

在步骤S11中，预处理部36分割点云对象以生成部分点云对象，并且同时生成空间位置信息和分组信息。

在步骤S12中，编码部37对部分点云对象进行G-PCC编码以生成部分G-PCC流，并且同时生成清晰度信息。

在步骤S13中，文件生成部38将部分G-PCC流存储在各个文件中，并且将文件存储在记录部34中。

在步骤S14中，MPD文件生成部33生成包括部分G-PCC流的空间位置信息、分组信息和清晰度信息的MPD，并且将生成的MPD提供给记录部34。然后，在经由输出部35将MPD连同存储有部分G-PCC的文件一起从记录部34输出之后，生成处理结束。

图17是示出再现处理的流程图，其中数据再现设备12再现存储部分G-PCC流的文件。

在步骤S21中，获取部51获取MPD。

在步骤S22中，显示控制部52基于在步骤S21中由获取部51获取的MPD的空间位置信息，区分能够从当前视野中观看的部分G-PCC流的AdaptationSet和不能够观看的部分G-PCC流的AdaptationSet。

在步骤S23中，显示控制部52基于MPD的清晰度信息，选择关于能够从当前视点位置和视野方向观看的部分G-PCC流的高清晰度Representation。

在步骤S24中，显示控制部52基于MPD的清晰度信息，选择关于不能够从当前视点位置和视野方向观看的部分G-PCC流的低清晰度Representation。

在步骤S25中，获取部51获取从以下Representation参考的所有部分G-PCC流：在步骤S23和S24中由显示控制部52选择的Representation，并且将所获取的部分G-PCC流提供给数据分析和解码部53。

在步骤S26中，数据分析和解码部53的解码部56对所获取的部分G-PCC流进行解码，并且其显示信息生成部57基于空间位置信息来重构点云对象，并且渲染显示画面。然后，由显示部分54显示显示信息生成部57所渲染的显示画面。

在步骤S27中，显示控制部52确定是否已经到达流的终端。在步骤S27中显示控制部52确定还没有到达流的终端的情况下，控制进行到步骤S28。

在步骤S28中，显示控制部52确定视野方向是否已经改变。在显示控制部52确定视野方向没有改变的情况下，控制返回到步骤S26。在显示控制部52确定视野方向已经改变的情况下，控制返回到步骤S22，并且重复类似的处理序列。

另一方面，在步骤S27中显示控制部52确定已经到达流的终端的情况下，处理序列结束。

顺便提及，假设仅仅有上述空间位置信息的信令可能导致无法识别能够从特定观看方向观看的所有部分G-PCC流的情况。

例如，在图18中用阴影指示的区域存在于部分G-PCC流a中，并且该区域能够从图18中的箭头所指示的观看方向来观看。此时，为了使得可视部分的清晰度高，除了基于空间位置信息而确定为观看部分的部分G-PCC流b之外，还需要获取高清晰度的部分G-PCC流a。然而，由于仅通过上述空间位置信息的信令以低清晰度获取部分G-PCC流a，因此不能实现高质量的G-PCC流分发。

现在，将以下信息添加到基于点云对象的局部坐标系的每个方向：该信息用于标识对于显示而言所需要的所有部分G-PCC流。

例如，通过扩展块信息描述符来用信号发送部分G-PCC流的方向对应信息。具体地，添加gpcc:directionInfo元素的方向属性。

图19示出了部分G-PCC流的方向对应信息的信令的示例。在图19中由粗体字母指示的位置处用信号发送部分G-PCC流的方向对应信息。

例如，Adaptation Set@id＝“1”对应于图18中的部分G-PCC流a，并且指示在所有方向X+、Y+、X-、Y-、Z+和Z-上进行观看所需要的部分G-PCC流。此外，Adaptation Set@id＝“2”对应于部分G-PCC流b，并且指示在方向X+、Y+、Y-、Z+和Z-上进行观看所需、而在方向X-上进行观看不需要的部分G-PCC流。

通过这样用信号发送方向对应信息，可以正确地识别客户端的观看方向所需的部分G-PCC流，并且以高清晰度获取它们。

顺便提及，在一个部分G-PCC流对应于多个方向的情况下，在方向属性中通过空白分隔符不发送方向信息，而是可以用信号发送多个gpcc:directionInfo元素。此外，仅是部分G-PCC流的方向对应信息可以通过单独的描述符来发送。

此外，在用信号发送gpcc:directionInfo元素的情况下，可以不用信号发送gpcc:blockInfo元素，但是可以与其一起使用。在将gpcc:blockInfo元素与gpcc:directionInfo元素一起使用的情况下，可以通过参考gpcc:directionInfo元素，来标识显示观看部分所需要的所有部分G-PCC流，并且然后可以通过参考gpcc:blockInfo精细地改变每个块的清晰度。

顺便提及，在点云对象的外形随着时间大大改变的情况下，在生成无点(point-free)的空的部分G-PCC流时，有可能无法根据观看部分适当地执行获取处理。

以下将参照图20描述对动态地改变的空间位置信息和方向对应信息的需要。

如图20的上部所示，在客户端使得观看部分的清晰度高的情况下，客户端获取两个部分G-PCC流，这两个部分G-PCC流分别包括与观看部分对应的具有高清晰度(深度＝10)的块b和块d。此后，如图20的下部所示，在点云对象的外形在时间tN处改变的情况下，尽管块b为空，但是客户端获取包括高清晰度的块b的部分G-PCC流。

因此，为了使得在时间tN处观看部分具有高清晰度，需要获取分别包括块a和块d的部分G-PCC流。

现在，添加动态地改变的方向对应信息和空间位置信息。具体地，新定义并且在AdaptationSet中用信号发送动态块信息描述符(schemeIdUri的SupplementalProperty＝“urn:mpeg:mepgI:gpcc:dynamic_block_information:2018”)。

例如，在gpcc:dynamicBlockInfo元素的block_info_id属性中用信号发送参考了定时元数据的Representation的id，该定时元数据链接到AdaptationSet中的Representation所参考的部分G-PCC流，并且用信号发送动态地改变的空间位置信息和方向对应信息。顺便提及，object_id属性如上所述。

此外，Representation@associationId和Representation@associationType用于参考了定时元数据的Representation，以将该Representation链接到应用了动态改变的空间位置信息和方向对应信息的部分G-PCC流的Representation。此外，在associationType中用信号发送指示动态地改变的空间位置信息和方向对应信息的“dbif”。

图21示出了动态地改变的空间位置信息和方向对应信息的信令的示例。在图21中由粗体字母指示的位置处用信号发送动态地改变的空间位置信息和方向对应信息。

具体地，在上述定时元数据的样本中用信号发送每个时间处的方向对应信息。这使得可以在每个时间处用信号发送指示每个块与哪个方向对应的信息。

图22示出了定时元数据的样本条目的语法的示例，图23示出了定时元数据的样本的语法的示例。

顺便提及，方向字段的语义类似于块信息描述符的gpcc:directionInfo元素的方向属性。

此外，如图24所示，可以用信号发送每个时间处的空间位置信息。由于这允许空间分割处理被改变，因此可以执行空间分割以使得不会产生空块。

顺便提及，每个字段的语义类似于以下属性：该属性具有与块信息描述符的gpcc:blockInfo元素的相同名称。

通过这样的信令，客户端能够参考动态地改变的空间位置信息和方向对应信息，并且即使在点云对象的外形动态地大大改变的情况下，也能够适当地获取用于使得观看部分的清晰度高的部分G-PCC流。

以下将参照图25和图26描述ISOBMFF的扩展。

例如，部分G-PCC流被存储在ISOBMFF文件的各个轨道中。此时，为了清楚地指示组成一个点云对象的轨道组，使用由ISOBMFF定义的轨道分组功能对轨道进行分组。

具体地，如图25所示，TrackGroupTypeBox被扩展，并且新定义BlockGroupBox(‘blgp’)。换言之，其中用信号发送相同track_group_id的BlockGroupBox的轨道指示了组成相同点云对象的部分G-PCC流被存储。

例如，与DASH MPD扩展一样，在BlockGroupBox中用信号发送部分G-PCC流的空间位置信息、清晰度信息和方向对应信息以及对于具有动态改变的空间位置信息和方向对应信息的定时元数据的参考信息。顺便提及，具有动态改变的空间位置信息和方向对应信息的定时元数据被存储在通过轨道参考reference_type＝‘dbif’而链接到以下轨道的轨道中：该轨道存储应用了定时元数据的部分G-PCC流。

因此，客户端能够通过参考该blgp的信息来选择轨道，并且优选地解码与观看部分对应的部分G-PCC流。

图26示出了用信号发送BlockGroupBox中的部分G-PCC流的空间位置信息的语法的示例。这里，每个字段的语义类似于以下属性：该属性具有与块信息描述符的gpcc:blockInfo元素的相同名称。

顺便提及，可以使用EntityToGroupBox而不是轨道分组功能来用信号发送分组。另外，可以在轨道的样本条目中将清晰度信息作为单独的框来发送。此外，可以在样本组中用信号发送动态地改变的空间位置信息和方向对应信息。

此外，通过提供具有空间位置信息和每个空间位置的清晰度信息的新框，可以用信号发送针对一个G-PCC流的每个空间位置的清晰度信息。可以通过参考该框来选择存储用于高清晰度观看部分的G-PCC流的轨道。

以下将参照图27至图29描述用于分发通过空间分割而生成的部分G-PCC流的第二点的第二处理。

如图27所示，第二处理是指以下处理：将一个点云对象分层成低清晰度的整体点云对象以及用于使得其的一些部分的清晰度高的部分点云对象，对这些对象进行编码以生成部分G-PCC流，并且分发部分G-PCC流。图27示出了点云对象被分层成低清晰度的整体点云对象和两个部分点云对象的示例。

例如，用于使得一些部分的清晰度高的部分G-PCC流具有以下变型。

·自身具有高清晰度的部分G-PCC流(变型1)

·自身具有低清晰度并且与低清晰度的整体G-PCC流组合地组成高清晰度部分的部分G-PCC流(变型2)

顺便提及，根据变型2使得一些部分的清晰度高的部分G-PCC流具有不与低清晰度的整体G-PCC流交叠的点。

对于变型1，通过使用与第二点的第一处理类似的信令，客户端能够识别整体G-PCC流和部分G-PCC流的空间位置信息、分组信息和清晰度信息，并且能够获取使得观看部分的清晰度高的整体G-PCC流和部分G-PCC流。

对于变型2，虽然能够使用类似的信令，但是客户端无法识别为了使得观看部分的清晰度高而彼此组合的部分G-PCC流和整体G-PCC流。因此，客户端无法获取用于使得观看部分的清晰度高的适当G-PCC流。

现在，用信号发送以下信息：该信息用于链接为了使得观看部分的清晰度高而彼此组合的部分G-PCC流和整体G-PCC流。因此，客户端通过参考该信息，能够根据变型2获取用于使得观看部分的清晰度高的部分G-PCC流。

以下将参照图28至图29描述DASH MPD的扩展。

例如，使用由MPEG-DASH规定的associationId和associationType，将用于组合地组成高清晰度部分的部分G-PCC流和整体G-PCC流彼此链接。

然后，在部分G-PCC流的Representation中的associationId中用信号发送要组合的整体G-PCC流的Representation@id。此外，在associationType中用信号发送“pbas”，其指示所链接的Representation是指可以与部分G-PCC流相组合地实现高清晰度的整体G-PCC流。

通过扩展由上述第二点的第一处理定义的lod信息描述符，在gpcc:combinedAreaLodInfo中用信号发送指示两个G-PCC流的组合结果的清晰度信息。此外，在combined_rep_id属性中用信号发送要组合的整体G-PCC流的Representation@id，并且在lod_ranking属性中用信号发送指示两个G-PCC流的组合结果的清晰度信息。

图28示出了要组合的G-PCC流的空间位置信息的信令的示例。在图28中，在由粗体字母指示的位置处，用信号发送要组合的G-PCC流的空间位置信息。

图29示出了如图28所示用信号发送的空间位置信息的视觉表示。

顺便提及，没有通过associationId和associationType的链接指示通过部分G-PCC流自己实现了高清晰度。

此外，在部分G-PCC流具有低清晰度并且要被禁止自己再现的情况下，通过dependencyId而不是associationId来实现链接。替选地，可以使用SupplementalProperty或EssentialProperty来定义用于禁止独立再现的描述符。

此外，可以使用associationId和associationType从整体G-PCC流来参考部分G-PCC流。

通过该信令，客户端能够获取适当的G-PCC流，以便彼此组合地使观看的部分具有高清晰度。

顺便提及，该信令还可以用于通过将低清晰度部分G-PCC流彼此组合来产生高清晰度部分。

接下来，下面将参照图30和图31描述ISOBMFF的扩展。

如图30所示，将通过分层生成的部分G-PCC流存储在ISOBMFF文件的各个轨道中。此时，通过使用由ISOBMFF定义的轨道参考的原理，将彼此组合产生高清晰度部分的部分G-PCC流和整体G-PCC流进行彼此链接。顺便提及，reference_type被设置成‘pbas’。

例如，轨道#3存储低清晰度的整体G-PCC流，而轨道#1和轨道#2存储与整体点云对象的各个不同部分相对应的部分G-PCC流。然后，reference_type＝‘pbas’的tref指示在轨道#3中与整体G-PCC流组合产生了高清晰度部分。

因此，客户端能够根据轨道参考的信令来选择和再现存储合适的G-PCC流的轨道，这些流彼此组合地使得所观看的部分具有高清晰度。

此外，在由上述第二点的第一处理定义的BlockGroupBox中新定义并用信号发送CombinedArealLodInfoBox(‘cloi’)，该CombinedArealLodInfoBox(‘cloi’)用于用信号发送指示多个G-PCC流的组合结果的清晰度信息。

图31示出了CombinedArealLodInfoBox(‘cloi’)的语法。

如图31所示，在lod_ranking字段中用信号发送与combined_track_id字段所指示的轨道组合的清晰度信息。lod_ranking字段的语义类似于以下字段：该字段具有根据上述第一点的DirectionInformationBox的相同名称。

上述第二点通常适用于3D对象，例如，不仅适用于包括G-PCC流的对象，而且适用于包括基于视频的PCC(V-PCC)编码流、网格流和纹理流的对象。

<第一点和第二点的修改>

这里，下面将描述第一点和第二点的修改。

例如，在第一点中，用于改变划分体素的精细度以改变清晰度的单元可以是能够在点云对象中独立编码和解码的点的集合。该点的集合被称为砖块(brick)。砖块可以是表示MPEG当前所讨论的编码工具的片(tile)。片是条带(slice)的集合，条带是能够被独立地编码和解码的点的集合(参见上文提及的NPL2)。

此外，在第二点中，部分G-PCC流可以被编码，使得其包括一个砖块或多个砖块。

无论如何，根据第一点和第二点的上述信令都是适用的。

此外，通过对一个G-PCC流进行编码以使得其包括多个砖块，可以优先地从与所观看部分相对应的砖块解码和渲染它们。这是对于解码和渲染性能低的客户端有价值的用例。

另外，根据使用MPEG的片的传统技术，假设在G-PCC流中用信号发送G-PCC流中砖块数据的空间位置信息。在这种情况下，为了访问与所观看的部分相对应的砖块数据，需要对G-PCC流解码一次，从而导致大的处理开销。此外，在选择并解码与所观看部分相对应的砖块的情况下，与上述第二点的第一处理类似，需要将砖块的空间位置信息链接在构成G-PCC流中的砖块的数据单元中。

下面将参照图32至图37描述用于将砖块的空间位置信息链接在构成G-PCC流中的砖块的数据单元中的ISOBMFF的扩展。

例如，通过使用由ISOBMFF定义的样本组的功能，砖块的空间位置信息可以链接在构成G-PCC流中的砖块的数据单元中。具体地，新定义了用于用信号发送每个砖的空间位置信息的BrickGroupEntry以及用于将每个砖块的空间位置信息链接在构成G-PCC流中的砖块的数据单元中的UnitMapEntry。

图32示出了BrickGroupEntry的语法，并且图33示出了UnitMapEntry的语法。

在图32和图33所示的语法中，根据上述第二点的第一处理，BrickGroupEntry的brick_offset_x、brick_offset_y、brick_offset_z、brick_size_x、brick_size_y和brick_size_z的语义分别与BlockGroupBox的block_offset_x、block_offset_y、block_offset_z、block_size_x、block_size_y和block_size_z的语义相同。

此外，UnitMapEntry的unit_index表示在构成G-PCC流中的砖块的数据单元中的索引信息，其中，通过GroupID链接的BrickGroupEntry被应用于该G-PCC流。

可以按照构成关于几何结构比特流和属性比特流的砖块的每个数据单元分配该unit_index，所述几何结构比特流和属性比特流构成G-PCC流中的砖块，其中通过groupID链接的BrickGroupEntry被应用于该G-PCC流。

顺便提及，在表示当前由MPEG讨论的编码工具的片被应用的情况下，通过BrickGroupEntry的brick_offset_x、brick_offset_y、brick_offset_z、brick_size_x、brick_size_y和brick_size_z用信号发送的区域与片的边界框的区域或多个片的边界框的总区域一致。

图34示出应用了BrickGroupEntry和UnitMapEntry的示例。

如图34所示，G-PCC流的一个点云帧被用作一个ISOBMFF样本，并且构成砖块的数据单元表示链接到几何结构比特流(Geom)的一个属性比特流(Attr)或多个属性比特流(Attr)。

例如，在客户端仅解码对应于所观看部分的砖块的情况下，客户端首先参考grouping_type＝‘blif’的SampleGroupDescriptionBox的每个BrickGroupEntry，以识别期望砖块的GroupID。接下来，客户端参考grouping_type＝‘unim.’的SampleToGroupBox和SampleGroupDescriptionBox。如果期望的砖块的groupID的unit_index被包括在每个样本所链接的UnitMapEntry中，则客户端仅解码样本中的单元。

通过该信令，如图35所示，客户端能够以匹配对象的移动的方式来动态地改变砖块配置，从而消除空砖块(empty brick)。

然后，通过参考这些信令，可以直接访问与观看的部分相对应的砖块数据，并且优先解码和渲染砖块数据。

根据修改，此外，可以按照砖块分割对象，并且可以将这些分段单独地存储在ISOBMFF轨道中。例如，定义了砖块基础轨道和砖块轨道两种。

砖块基础轨道不存储G-PCC流，但是在其样本条目中存储整体G-PCC流的简档(profile)和级别、以及对存储在砖块轨道中的G-PCC流进行解码所需的公共参数集。顺便提及，样本条目的类型被设置成‘gpbb’。

砖块轨道存储G-PCC流，每个G-PCC流包括一个砖块或多个砖块，并且砖块轨道在其样本条目中存储轨道中所存储的G-PCC流的简档和级别、以及对其中所存储的G-PCC流进行解码所需的参数集。顺便提及，样本条目的类型被设置成‘gpcb’。

此外，轨道参考reference_type＝‘gpbt’被从砖块基础轨道用信号发送给砖道轨道，并且轨道参考reference_type＝‘gpbb’被从砖块轨道用信号发送给砖块基础轨道。

图36示出了砖块基础轨道和砖块轨道的配置。

通过如图36所示的信令，客户端能够通过参考存储在砖块轨道中的参数集以及存储在所链接的砖块基础轨道中的参数集来自己解码砖块轨道。换言之，可以选择包括与观看的部分相对应的砖块数据的砖块轨道，并且优先解码和渲染它们。

另外，客户端能够基于从砖块基础轨道参考的砖块轨道中所存储的G-PCC流的样本来重构整体G-PCC流，并且利用单个解码器来解码整体G-PCC流。

顺便提及，每个砖轨道可以由轨道组或EntityToGroupBox分组，并且在以下轨道组的情况下可以参考track_group_id：该轨道组基于来自砖块基础轨道的轨道参考，在EntityToGroup的情况下，可以参考group_id。

由这样的ISOBMFF扩展引起的信令不仅可应用于包括砖块的流，而且可以应用于上述第二点中提及的部分G-PCC流。在后一种情况下，砖块可以被认为是块(block)。

此外，如图37所示，可以通过扩展基本流的高级语法来用信号发送砖块的空间位置信息(brick_offset_x、brick_offset_y、brick_offset_z、brick_size_x、brick_size_y和brick_size_z)。

例如，构成G-PCC流中的砖块的数据单元通过brick_id而被链接到空间位置信息。

当解码G-PCC流时，客户端因此能够通过参考brick_inventory来容易地识别总体砖块配置，并且通过brick_id识别与观看的部分相对应的砖块的数据单元并对其进行解码。

<第三点>

下面将参照图38至图43描述用于指定点云对象的低清晰度部分的渲染处理的第三点。

例如，如果点云对象的低清晰度部分被按原样渲染，则其主观质量降低，如看透点云对象的相对侧的示例所表示的。此时，通过渲染低清晰度部分使得它们的点的大小增加，可以提高主观质量。

因此，当内容制作者指定提高低清晰度部分的主观质量所需的渲染处理并且客户端执行所指定的渲染处理时，点云对象的低清晰度部分的主观质量根据内容制作者的意图而提高。

但是，假设在G-PCC流中用信号发送用于提高主观质量的渲染处理所需要的参数，在选择G-PCC流时客户端无法确定是否需要主观质量提高渲染处理。

因此，客户端确定在已经获取流之后是否需要执行渲染处理。在客户端不处理用于提高主观质量的渲染处理的情况下，则不能执行适当的渲染处理。替选地，客户端再次获取不需要用于提高主观质量的渲染处理的其他流，从而导致处理效率的降低。

因此，通过用信号发送以下信息能够避免无法执行适当的渲染处理以及处理效率的降低：该信息用于确定是否需要用于提高低清晰度G-PCC流的主观质量的渲染处理。

通过这样用信号发送的信息，客户端考虑自己的主观质量提高渲染处理能力，如果能够处理，则获取低清晰度G-PCC流，并且执行用于提高主观质量的渲染处理，从而维持主观质量并减少分发G-PCC流所需的网络带宽。

这里，下面将描述DASH MPD的扩展。

例如，作为G-PCC流的渲染处理，新定义了渲染信息描述符(schemeIdUri的EssentialProperty＝“urn:mpeg:mepgI:gpcc:rendering_infor-mation:2018”)，并在Representation中用信号发送。

然后，通过gpcc:renderingInfo元素的类型属性来用信号发送渲染处理。当类型＝0时，其指示利用体素形状进行渲染，这是一般的渲染方法，当类型＝1时，其指示根据在G-PCC流中用信号发送的参数而执行的渲染处理。G-PCC流中的参数表示例如渲染在体素中内接的球体。

图38示出了渲染处理的信令的示例。在图38中的粗体字母所指示的位置处用信号发送渲染处理。

例如，如果客户端处理用于提高主观质量的渲染处理，则客户端可以在频带较窄的情况下获取id＝1-3的Representation，即较低清晰度的流，从而减少了用于分发G-PCC流所需的网络带宽。

顺便提及，在gpcc:renderingInfo元素的类型中用信号发送的处理可以不是强制的，而是可以被推荐给内容制作者。

接下来，下面将描述ISOBMFF的扩展。

例如，主观质量提高渲染处理的信息在ISOBMFF轨道中作为解码后信息(postdecoding information)而被用信号发送。

具体地，使用由ISOBMFF在样本条目下定义的RestrictedSchemeInformationBox(‘rinf’)。rinf表示用于存储解码后的后处理信息的框。在rinf下的SchemeTypeBox(‘schm’)的scheme_type被设置成“rndi”，以便指示主观质量提高渲染信息被存储。

图39示出了RenderingInformationBox的信号示例。

如图39所示，SchemeInformationBox(‘Schi’)表示用于存储由schm的schme_type指定的信息的框，并且在其中用信号发送与schme_type＝‘rndi’相对应的RenderinginformationBox(rndi’)。

图40示出了RenderingInformationBox的语法的示例。

顺便提及，类型字段的语义类似于以下属性：该属性具有渲染信息描述符的gpcc:renderingInfo元素的相同名称。

通过图40中所示的信令，客户端能够识别rndi的类型并执行适当的渲染处理。此外，在客户端不能执行通过rndi的类型用信号发送的渲染处理的情况下，客户端可以执行不选择其轨道而选择同一ISOBMFF文件中的另一轨道的处理。

这里，下面将描述第三点的修改。

例如，在与上述第二点的第二处理相同地对通过分层生成的部分G-PCC流的分发应用渲染处理的情况下，与其他G-PCC流组合而使清晰度高的部分不需要用于提高主观质量的渲染处理。此时，客户端需要改变渲染处理以提高点云对象的每个部分的主观质量。因此，仅仅是能够执行适当的渲染处理的客户端添加用于获取上述G-PCC流的信息。

例如，可以用信号发送针对与其他G-PCC流组合而成为高清晰度的部分的处理类型。

这里，下面将描述DASH MPD的扩展。

例如，扩展渲染信息描述符，并且用信号发送针对与其他G-PCC流组合而成为高清晰度的部分的处理类型。

具体地，添加gpcc:combinedAreaRenderingInfo元素，并且用信号发送根据其combined_rep_id属性而组合的G-PCC流的Representation@id。此外，在gpcc:combinedAreaRenderingInfo元素的类型属性中用信号发送针对组合的成为高清晰度的部分的处理类型。顺便提及，语义与gpcc:renderingInfo元素的类型属性相同。

图41示出了针对成为高清晰度的部分的处理类型的语法。在图41中的粗体字母所指示的位置处用信号发送针对成为高清晰度的部分的处理类型。

通过图41中所示的信令，基于gpcc:renderingInfo元素和gpcc:combinedAreaRenderingInfo元素的类型，以下客户端能够获取较低清晰度的流：该客户端可以改变并应用其客户端处理能力，例如，用于提高点云对象的每个部分的主观质量的渲染处理。

接下来，下面将描述ISOBMFF的扩展。

例如，扩展上述RenderingInformationBox(‘rndi’)，并且用信号发送combined_track_exists字段、combined_track_id字段和combined_area_type字段。

此外，combined_track_exists字段指示reference_type＝‘pbas’的轨道参考是否链接到组合地构成高清晰度部分的G-PCC流。combined_track_id字段用信号发送要组合的G-PCC流的track_id。combined_area_type字段用信号发送组合地成为高清晰度的部分的处理类型。

通过这些字段，客户端能够识别上述信息并执行适当的渲染处理。

图42示出了添加combined_track_exists字段、combined_track_id字段和combined_area_type字段的语法。在图42中的粗体字母所指示的位置处用信号发送combined_track_exists字段、combined_track_id字段和combined_area_type字段。

此外，在存在着以下点的情况下可以用信号发送指示要组合的G-PCC流的哪个点要被渲染的信息：所述点在位置上彼此重合，并且相对于组合地成为高清晰度的部分而彼此交叠。该信息使得客户端可以根据内容制作者的意图来执行渲染处理。

具体地，RenderingInformationBox被进一步扩展，并且添加priority_flag字段。在priority_flag＝1的情况下，指示具有RenderingInformationBox的轨道中的G-PCC流比combined_track_id的轨道中的G-PCC流具有更高的渲染优先级。对于交叠的点，仅渲染priority_flag＝1的轨道中的G-PCC流的点。另一方面，在priority_flag＝0的情况下，对于交叠的点，仅渲染combined_track_id的轨道中的G-PCC流的点。

图43示出添加了priority_flag字段的语法。在图43中的粗体字母所指示的位置处用信号发送priority_flag字段。

这里，图44示出了上述样本组概要。

图44中所示的SampleToGroupBox的grouping_type指示所链接的SampleGroupDescriptionBox的grouping_type。此外，按照每个条目用信号发送sample_count和group_description_index。group_description_index指示所链接的GroupEntry的索引，而sample_count指示属于该GroupEntry的样本的数目。

根据本技术，如上所述，在根据用户所观看的部分来分发G-PCC流(该G-PCC流是在几何结构基础上对点云对象进行编码而产生的点云流)的情况下，根据第一点，能够针对点云对象的各个部分分发以不同的清晰度编码的G-PCC流。此外，根据第二点，点云对象可被分割成多个部分对象，并且可以分发通过以各个不同的清晰度对部分对象进行编码而产生的部分G-PCC流。

当根据第一点分发G-PCC流时，指向高清晰度的方向信息和清晰度信息被添加到G-PCC流，并且客户端可以参考这些信息，并且可以获取使所观看的部分清晰度高的G-PCC流。

替选地，在根据第二点分发部分G-PCC流时，空间位置信息和清晰度信息被添加到部分G-PCC流，客户端可以参考这些信息，并且可以获取使所观看的部分清晰度高的部分G-PCC流。

此外，根据第三点，可以添加用于指示是否需要有效提高低清晰度部分(即点稀疏的部分)的主观质量的渲染处理的信息。通过所添加的信息，假设客户端可以执行渲染处理，则客户端可以获取包括较低清晰度部分的G-PCC流，从而减少了分发G-PCC流所需的网络带宽。

顺便提及，通过扩展DASH MPD或ISOBMFF来用信号发送所添加的信息。

根据以上点，通过随后分发G-PCC流以使得用户所观看的部分具有高清晰度、而用户所观看的部分之外的部分具有低清晰度，可以有效地使用网络带宽来分发高质量(即，不间断的高清晰度)的G-PCC流。

<计算机的配置示例>

接下来，上述处理序列(信息处理方法)可以由硬件实现或者可以由软件实现。在通过软件实现处理序列的情况下，软件的程序被安装在通用个人计算机等中。

图45是示出安装了执行以上处理序列的程序的根据实施方式的计算机的配置示例的框图。

程序可以预先记录在作为计算机中包括的记录介质的硬盘105或ROM 103中。

替选地，程序可以被存储(记录)在由驱动器109驱动的可移除记录介质111中。可移除记录介质111可以作为所谓的封装软件来提供。可移除记录介质111可以是例如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等。

顺便提及，程序可以通过通信网络或广播网络而下载到计算机中，并且安装在计算机中的硬盘105中，而不是从上述可移除记录介质111安装到计算机中。换言之，程序可以从下载站点经由用于数字卫星广播的人造卫星通过无线链路传送到计算机，或者可以经由诸如LAN(局域网)或因特网的网络通过有线链路传送到计算机。

计算机包括CPU(中央处理单元)102，输入/输出接口110通过总线101连接到该CPU。

当操作输入单元107的用户通过输入/输出接口110将命令输入到CPU 102时，CPU102执行存储在ROM(只读存储器)103中的程序。替选地，CPU 102将存储在硬盘105中的程序加载到RAM(随机存取存储器)104中，并执行加载的程序。

CPU 102由此执行根据上述流程图的处理序列或者要由上述框图中所示的布置执行的处理序列。然后，CPU 102通过输入/输出接口110从输出单元106输出处理结果，从通信单元108发送处理结果，或者根据需要将处理结果记录在例如硬盘105中。

顺便提及，输入单元107包括键盘、鼠标、麦克风等。此外，输出单元106包括LCD(液晶显示器)、扬声器等。

在本说明书中，计算机根据程序执行的处理序列不一定需要根据流程图中描述的序列以时间顺序执行。换言之，计算机根据程序执行的处理序列包括要同时或单独执行的处理序列(例如，并行处理序列或基于对象的处理序列)。

此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。此外，程序可以被传送到远程计算机以被执行。

此外，在本说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否容纳在一个壳体中无关紧要。因此，容纳在单独的壳体中并通过网络互连的多个设备以及具有容纳在单个壳体中的多个模块的单个设备都被称为系统。

此外，例如，可以将被描述为一个设备(或处理器)的布置划分成多个设备(或处理器)。相反，以上描述为多个设备(或处理器)的布置可以被一起布置为一个设备(或处理器)。另外，除了上述那些之外的布置可以被添加到每个设备(或每个处理器)的布置。此外，假设总体系统在布置或操作上保持基本相同，则设备(或处理器)的布置的一部分可以被包括在另一设备(或另一处理器)的布置中。

此外，例如，本技术可以被配置为云计算系统，其中经由网络，一个功能被多个设备共享并且被该多个设备协作地处理。

此外，例如，上述程序可以由任何设备执行。在这种情况下，如果设备具有必要的功能(功能块等)并且能够获得必要的信息就足够了。

此外，以上流程图中描述的每个步骤可以由单个设备执行或由彼此协作操作的多个设备执行。此外，在单个步骤包括多个处理序列的情况下，单个步骤中包括的处理序列可以由单个设备执行或由彼此协作操作的多个设备执行。换句话说，可以执行包括在单个步骤中的多个处理序列作为多个步骤的处理序列。相反，描述为多个步骤的处理序列可以作为单个步骤一起执行。

描述由计算机执行的程序的步骤的处理序列可以根据本说明书中描述的序列以时间顺序来执行，或者可以在必要的定时(诸如调用时)同时地或单独地执行。换言之，步骤的处理序列可以以与上述序列不同的序列来执行，除非它们导致任何不兼容。此外，描述程序的步骤的处理序列可以与其他程序的处理序列并行地执行，或者可以与其他程序的处理序列组合执行。

顺便提及，本说明书中描述的多个现有技术可以彼此独立地执行，除非它们导致任何不兼容。不用说，可以组合地执行本技术中的多个所需要的技术。例如，根据任何一个实施方式描述的本技术的一些或全部内容可以与根据另一实施方式描述的本技术的一些或全部内容组合地执行。此外，上述本技术中的一些或全部所需要的技术可以与上述未描述的其它技术组合地执行。

<布置的组合的实施方式>

本技术还可以具有以下描述的布置。

(1)

一种信息处理装置，包括：

文件生成部，所述文件生成部生成包括空间位置信息和分组信息的文件，所述空间位置信息指示各段部分点云数据的空间位置，所述各段部分点云数据表示当在三维结构基础上对点云数据进行编码以生成编码点云数据流时所述点云数据被分割成的各个部分，所述分组信息对所述部分点云数据进行分组。

(2)

根据以上(1)所述的信息处理装置，其中，

由所述文件生成部生成的文件还包括方向对应信息，所述方向对应信息指示基于所述点云数据的局部坐标系显示所述部分点云所需的方向。

(3)

根据以上(2)所述的信息处理装置，其中，

由所述文件生成部生成的文件还包括动态改变的空间位置信息。

(4)

根据以上(2)所述的信息处理装置，其中，

由所述文件生成部生成的文件还包括动态改变的方向对应信息。

(5)

根据以上(3)或(4)所述的信息处理装置，其中，

由所述文件生成部分生成的文件包括具有DASH MPD(基于HTTP的动态自适应流媒体呈现描述)或ISOBMFF(ISO基础媒体文件格式)结构的文件。

(6)

根据以上(1)至(5)中任一项所述的信息处理装置，其中，

所述部分包括砖块，所述砖块表示在所述点云数据中能够被独立地编码和解码的点的集合，以及

由所述文件生成部生成的文件还包括在所述点云数据流中的所述砖块的数据单元中链接所述砖块的空间位置信息的信息。

(7)

根据以上(1)至(6)中任一项所述的信息处理装置，其中，

所述部分点云数据包括砖块，所述砖块表示在所述点云数据中能够被独立地编码和解码的点的集合，以及

由所述文件生成部生成的文件还包括在所述部分点云数据的流中的所述砖块的数据单元中链接所述砖块的空间位置信息的信息。

(8)

根据以上(1)至(7)中任一项所述的信息处理装置，其中，

所述部分点云数据包括砖块，所述砖块表示在所述点云数据中能够被独立地编码和解码的点的集合，以及

由所述文件生成部生成的文件还包括在所述部分点云数据的流中的所述砖块的数据单元中链接所述砖块的空间位置信息的信息。

(9)

一种信息处理方法，包括：

通过信息处理装置进行下述操作：

生成包括空间位置信息和分组信息的文件，所述空间位置信息指示各段部分点云数据的空间位置，所述各段部分点云数据表示当在三维结构基础上对点云数据进行编码以生成编码数据流时所述点云数据被分割成的各个部分，所述分组信息对所述部分点云数据进行分组。

(10)

一种信息处理装置，包括：

编码部，当在三维结构基础上对点云数据进行编码以生成编码点云数据流时，所述编码部生成表示编码部分的清晰度的部分清晰度信息，其中，

所述编码部基于所述部分清晰度信息在所述点云数据的局部坐标系中生成方向信息，所述方向信息指示指向相对高图像质量的区域的方向。

(11)

根据以上(10)所述的信息处理装置，还包括：

文件生成部，其生成包括由所述编码部生成的所述部分清晰度信息和所述方向信息的文件。

(12)

根据以上(11)所述的信息处理装置，其中，

由所述文件生成部生成的文件包括具有DASH MPD或ISOBMFF结构的文件。

(13)

根据以上(12)所述的信息处理装置，其中，

由所述文件生成部生成的文件还包括就表示所述点云数据被分割成的各个部分的部分点云数据段而言组合地成为高清晰度的部分点云数据段的链接信息。

(14)

根据以上(13)所述的信息处理装置，其中，

由所述文件生成部生成的文件还包括表示组合的部分点云数据段的清晰度的清晰度信息。

(15)

根据以上(11)至(14)中任一项所述的信息处理装置，其中，

由所述文件生成部生成的文件还包括用于渲染所述部分中的低清晰度部分的渲染信息。

(16)

根据以上(11)至(15)中任一项所述的信息处理装置，其中，

由所述文件生成部分生成的文件还包括主观质量增加渲染信息，所述主观质量增加渲染信息指示增加各个部分的不同主观质量所需的渲染处理。

(17)

一种信息处理方法，包括：

通过信息处理装置进行下述操作：

当在三维结构基础上对点云数据进行编码以生成编码数据流时，生成表示编码部分的清晰度的部分清晰度信息，其中，

基于所述部分清晰度信息，在所述点云数据的局部坐标系中生成方向信息，所述方向信息指示指向相对高图像质量的区域的方向。

顺便提及，本技术不限于上述实施方式，并且在不脱离本公开内容的范围的情况下，可以在其中进行各种改变和修改。本说明书中描述的优点仅是说明性的，而不是限制性的，并且可以存在其他优点。

[参考符号列表]

11：数据生成设备

12：数据再现设备

21：控制器

22：存储器

23：文件生成部

31：数据输入部

32：数据编码和生成部

33：MPD文件生成部

34：记录部

35：输出部

36：预处理部

37：编码部

38：文件生成部

41：控制器

42：存储器

43：再现处理部

51：获取部

52：显示控制部

53：数据分析和解码部

54：显示部

55：文件分析部

56：解码部

57：显示信息生成部