掌桥专利:专业的专利平台
掌桥专利
首页

信息处理装置及方法

文献发布时间:2024-04-18 19:58:21


信息处理装置及方法

技术领域

本公开内容涉及信息处理装置及方法,并且更特别地,涉及能够使用对应于多种播放方法的场景描述来播放内容的信息处理装置及方法。

背景技术

在相关技术中,存在GL传输格式(glTF)(注册商标)2.0,其是用于在三维空间中设置和渲染3D(三维)对象的场景描述(Scene Description)的格式(例如,见非专利文献1)。

此外,在移动图像专家组(MPEG)-I场景描述中,已经提出了在时间方向上扩展glTF 2.0并处理动态内容的方法(例如,见非专利文献2)。

同时,已经提出了基于视频的点云压缩(V-PCC)方法作为对点云(point cloud)进行编码的方法,在该方法中,通过分割点云形成区域,针对每个区域进行平面投影,以及通过视频编解码器进行编码(例如,见非专利文献3)。点云是通过三维空间中的具有位置信息和特性信息(颜色、反射等)的一组点来表示对象的三维结构的3D数据。

此外,已经研究了以ISOBMFF存储包括通过V-PCC进行编码的点云编码数据的V3C比特流的方法(例如,见非专利文献4)。

近年来,已经研究了将以ISOBMFF存储的V3C比特流用作在场景中所设置的3D对象的实际数据的方法。已经研究了通过媒体访问功能(MAF)重建3D数据的方法以及通过演示引擎(PE)重建3D数据的方法作为播放这样的内容的方法。

引文列表

非专利文献

非专利文献1:Saurabh Bhatia,Patrick Cozzi,Alexey Knyazev,Tony Parisi,“Khronos glTF2.0”,https://github.com/KhronosGroup/glTF/tree/master/specification/2.0,June 9,2017

非专利文献2:“Text of ISO/IEC CD 23090-14 Scene Description for MPEGMedia”,ISO/IEC JTC 1/SC 29/WG 3 N00026,2020-11-30

非专利文献3:“ISO/IEC FDIS 23090-5 Visual Volumetric Video-basedCoding and Video-based Point Cloud Compression”,ISO/IEC JTC 1/SC 29/WG 11N19579,2020-09-21

非专利文献4:“Draft text of ISO/IEC FDIS 23090-10 Carriage of VisualVolumetric Video-based Coding Data”,INTERNATIONAL ORGANIZATION FORSTANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC 1/SC29/WG 03 MPEG SYSTEMS,ISO/IEC JTC 1/SC 29/WG 03 N0163,19995,2021-03-25

发明内容

本发明要解决的问题

然而,场景描述的配置在3D数据由MAF重建的情况与3D数据由PE重建的情况之间不同。因此,一个场景描述不能用于两种播放方法。因此,为了支持两种播放方法,有必要针对一个内容准备相应的场景描述文件。

本公开内容是鉴于这样的情况而作出的,是为了使得能够使用对应于多个播放方法的场景描述来播放内容。

问题的解决方案

根据本技术的一方面的信息处理装置是包括文件处理单元的信息处理装置,该文件处理单元基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,以及通过使用所选属性的播放方法来处理3D数据。

根据本技术的一方面的信息处理方法是如下信息处理方法,其包括:基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性;以及通过使用所选属性的播放方法来处理3D数据。

根据本技术的另一方面的信息处理装置是包括文件处理单元的信息处理装置,该文件处理单元从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并且通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

根据本技术的另一方面的信息处理方法是如下信息处理方法,其包括:从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并且通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

根据本技术的又一方面的信息处理装置是包括文件生成单元的信息处理装置,该文件生成单元生成存储有扩展的场景描述文件,扩展用于识别播放3D数据的每个方法的属性。

根据本技术的又一方面的信息处理方法是如下信息处理方法,其包括:生成存储有扩展的场景描述文件,扩展用于识别播放3D数据的每个方法的属性。

根据本技术的又一方面的信息处理装置是包括文件生成单元的信息处理装置,文件生成单元生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

根据本技术的又一方面的信息处理方法是如下信息处理方法,其包括:生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

在根据本技术的一方面的信息处理装置及方法中,基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,并且使用所选属性并通过播放方法来处理3D数据。

在根据本技术的另一方面的信息处理装置及方法中,从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并且通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

在根据本技术的又一方面的信息处理装置及方法中,生成存储有扩展的场景描述文件,扩展用于识别播放3D数据的每个方法的属性。

在根据本技术的又一方面的信息处理装置及方法中,生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

附图说明

图1是示出glTF 2.0的主要配置示例的图。

图2是示出glTF对象和参考关系的示例的图。

图3是示出场景描述的描述示例的图。

图4是用于说明访问二进制数据的方法的图。

图5是示出场景描述的描述示例的图。

图6是示出缓冲器对象、缓冲器视图对象及访问器对象之间的关系的图。

图7是示出缓冲器对象、缓冲器视图对象和访问器对象的描述示例的图。

图8是示出场景描述对象的配置示例的图。

图9是示出场景描述的描述示例的图。

图10是用于说明对象扩展方法的图。

图11是示出客户端处理的配置的图。

图12是示出用于处理定时元数据的扩展的配置示例的图。

图13是示出场景描述的描述示例的图。

图14是示出场景描述的描述示例的图。

图15是示出用于处理定时元数据的扩展的配置示例的图。

图16是示出客户端的主要配置示例的图。

图17是示出客户端处理的流程的示例的流程图。

图18是用于说明V-PCC的概要的图。

图19是示出V-PCC比特流的主要配置示例的图。

图20是示出在多轨道结构的情况下的ISOBMFF轨道的配置示例的图。

图21是示出在多轨道结构的情况下的MPD的描述示例的图。

图22是示出客户端处理的示例的图。

图23是示出在通过MAF重建3D数据的情况下的场景描述中的对象的配置示例的图。

图24是示出在通过PE重建3D数据的情况下的场景描述中的对象的配置示例的图。

图25是示出在通过PE重建3D数据的情况下的场景描述中的对象的配置示例的图。

图26是示出对应于多个播放方法的场景描述示例的图。

图27是示出场景描述的对象配置示例的图。

图28是示出场景描述的描述示例的图。

图29是示出场景描述的对象配置示例的图。

图30是示出场景描述的描述示例的图。

图31是示出场景描述的对象配置示例的图。

图32是示出场景描述的描述示例的图。

图33是示出场景描述的对象配置示例的图。

图34是示出场景描述的描述示例的图。

图35是示出对应于多个播放方法的场景描述示例的图。

图36是示出场景描述的对象配置示例的图。

图37是示出对应于多个播放方法的场景描述示例的图。

图38是示出场景描述的对象配置示例的图。

图39是示出文件生成装置的主要配置示例的框图。

图40是示出文件生成处理的流程示例的流程图。

图41是示出文件生成处理的流程示例的流程图。

图42是示出客户端装置的主要配置示例的框图。

图43是示出播放处理的流程示例的流程图。

图44是示出计算机的主要配置示例的框图。

实施本发明的模式

在下文中,将描述实施本公开内容的模式(在下文中称为实施方式)。注意,将按以下顺序进行描述。

1.支持技术内容和技术术语的文献等

2.MPEG-I场景描述

3.对应于多个播放方法的场景描述

4.第一实施方式(文件生成装置)

5.第二实施方式(客户端装置)

6.附录

<1.支持技术内容和技术术语的文献等>

本技术所公开的范围不仅包括实施方式中所描述的内容,还包括在申请时已知的以下非专利文献等中所描述的内容、在以下非专利文献中提及的其他文献的内容等。

非专利文献1:(以上所述)

非专利文献2:(以上所述)

非专利文献3:(以上所述)

非专利文献4:(以上所述)

也就是说,在上述非专利文献中描述的内容、在上述非专利文献中提及其他文献的内容等也是用于确定支持要求的基础。例如,即使在非专利文献1至非专利文献3中描述的诸如glTF 2.0及其扩展的语法和术语没有在本公开内容中直接定义的情况下,其也在本公开内容的范围内,并且满足权利要求的支持要求。此外,例如,即使在本公开内容中没有直接定义诸如解析、语法和语义等技术术语的情况下,所述技术术语也类似地在本公开内容的范围内,并且满足权利要求的支持要求。

<2.MPEG-I场景描述>

在相关技术中,例如,如非专利文献1所述,存在GL传输格式(注册商标)(glTF)2.0,其是用于在三维空间中设置3D(三维)对象的格式。例如,如图1所示,glTF 2.0包括JSON格式文件(glTF)、二进制文件(.bin)和图像文件(.png,.jpg等)。二进制文件存储诸如几何图形和动画的二进制数据。图像文件存储诸如纹理的数据。

JSON格式文件是以JSON(JavaScript(注册商标)对象符号)描述的场景描述文件(scene descriptionfile)。场景描述是描述3D内容的场景(场景的描述)的元数据。场景描述的描述定义了场景是什么种类的场景。场景描述文件是存储这样的场景描述的文件。在本公开内容中,场景描述文件也被称为一个场景描述文件。

JSON格式文件的描述包括键(KEY)和值(VALUE)的对的列表。以下将描述格式的示例。

“KEY”:“VALUE”

键包括字符串。值包括数值、字符串、真/假值、数组、对象、空等。

此外,可以使用{}(大括号)将多个键和值的对(“KEY”:“VALUE”)进行组合。在大括号中进行组合的对象也被称为JSON对象。以下将描述格式的示例。

“user”:{“id”:1,“name”:“tanaka”}

在该示例中,其中“id”:1的对和“Name”:“tanaka”的对进行组合的JSON对象被定义为对应于键(user)的值。

此外,可以使用[](方括号)来设置零个或更多个值。该数组也被称为JSON数组。例如,JSON对象可以作为该JSON数组的元素被应用。以下将描述格式的示例。

test”:[“hoge”,“fuga”,“bar”]

“users”:[{“id”:1,“name”:“tanaka”},{“id”:2,“name”:“yamada”},{“id”:3,“name”:“sato”}]

图2示出了可以在JSON格式文件顶部描述的glTF对象(glTF object)以及它们具有的参考关系。图2所示的树结构中的长圆圈指示对象,以及对象之间的箭头指示参考关系。如图2所示,在JSON格式文件的顶部描述诸如“scene(场景)”、“node(节点)”、“mesh(网格)”、“camera(相机)”、“skin(皮肤)”、“material(材料)”和“texture(纹理)”的对象。

这样的JSON格式文件的描述示例(场景描述)在图3中示出。图3的JSON格式文件20示出了顶部的一部分的描述示例。在JSON格式文件20中,所有所使用的顶层对象(top-level object)21在顶部处描述。顶层对象21是图2中示出的glTF对象。此外,在JSON格式文件20中,对象(object)之间的参考关系如由箭头22所指示的来指示。更具体地,通过在上级对象的属性(property)中指定要参考的对象的数组中的元素的索引(index)来指示参考关系。

图4是示出访问二进制数据的方法的图。如图4所示,二进制数据存储在缓冲器对象(buffer object)中。也就是说,指定了用于访问缓冲器对象中的二进制数据的信息(例如,统一资源标识符(URI)等)。在JSON格式文件中,如图4所示,可以经由访问器对象(accessor object)和缓冲器视图对象(bufferView object)以例如从诸如网格(mesh)、相机(camera)和皮肤(skin)的对象来访问缓冲器对象。

也就是说,在诸如网格(mesh)、相机(camera)或皮肤(skin)的对象中指定要参考的访问器对象。图5示出了JSON格式文件中的网格对象(mesh)的描述示例。例如,如图5所示,在网格对象中,顶点的特性(attribute)例如NORMAL、POSITION、TANGENT和TEXCORD_0被定义为键,以及将要引用的访问器对象指定为针对每个特性的值。

图6中示出了缓冲器对象、缓冲器视图对象及访问器对象之间的关系。此外,图7中示出了这些对象在JSON格式文件中的描述示例。

在图6中,缓冲器对象41是存储用于访问作为实际数据的二进制数据的信息(例如URI)和指示二进制数据的数据长度(例如,字节长度)的信息的对象。图7的A示出了缓冲器对象41的描述示例。图7的A中所示的““bytelength”:102040”指示缓冲器对象41的字节长度为102040字节(byte),如图6所示。此外,图7的A中所示的““URI”:“duck.bin””指示缓冲器对象41的URI是“duck.bin”,如图6所示。

在图6中,缓冲器视图对象42是存储与在缓冲器对象41中指定的二进制数据的子集(subset)区域有关的信息(即,与缓冲器对象41的部分区域有关的信息)的对象。图7的B示出了缓冲器视图对象42的描述示例。如图6或图7的B所示,缓冲器视图对象42存储例如以下信息:例如,关于缓冲器视图对象42所属的缓冲器对象41的识别信息、指示缓冲器视图对象42在缓冲器对象41中的位置的偏移(例如,字节偏移)、以及指示缓冲器视图对象42的数据长度(例如,字节长度)的长度(例如,字节长度)。

如图7的B所示,在存在多个缓冲器视图对象的情况下,针对每个缓冲器视图对象(即,针对每个子集区域)来描述信息。例如,在图7的B中的上侧上示出的信息例如““buffer”:0”、““bytelength”:25272”和““byteOffset”:0”是关于图6中的缓冲器对象41中所示的第一缓冲器视图对象42(bufferView[0])的信息。此外,在图7中B的下侧上示出的信息例如““buffer”:0”、““bytelength”:76768”和““byteOffset”:25272”是关于图6中的缓冲器对象41中所示的第二缓冲器视图对象42(bufferView[1])的信息。

图7中B所示的第一缓冲器视图对象42(bufferView[0])的““Buffer”:0”指示关于缓冲器视图对象42(bufferView[0])所属的缓冲器对象41的识别信息是“0”(Buffer[0]),如图6所示。此外,““bytelength”:25272”指示缓冲器视图对象42(bufferView[0])的字节长度为25272字节。此外,““byteOffset”:0”指示缓冲器视图对象42(bufferView[0])的字节偏移为0字节。

图7中B所示的第二缓冲器视图对象42(bufferView[1])的““Buffer”:0”指示关于缓冲器视图对象42(bufferView[0])所属的缓冲器对象41的识别信息为“0”(Buffer[0]),如图6所示。此外,““bytelength”:76768”指示缓冲器视图对象42(bufferView[0])的字节长度为76768字节。此外,““byteOffset”:25272”指示缓冲器视图对象42(bufferView[0])的字节偏移为25272字节。

在图6中,访问器对象43是存储与解释缓冲器视图对象42的数据的方法有关的信息的对象。图7的C示出了访问器对象43的描述示例。如图6或图7的C所示,访问器对象43存储例如以下信息:例如,关于访问器对象43所属的缓冲器视图对象42的识别信息、指示缓冲器视图对象42在缓冲器对象41中的位置的偏移(例如,字节偏移)、缓冲器视图对象42的部件类型、存储在缓冲器视图对象42中的数据条数、存储在缓冲器视图对象42中的数据类型等。这些信息是针对每个缓冲器视图对象描述的。

在图7的C中的示例中,示出了诸如““bufferView”:0”、““byteOffset”:0”、““componentType”:5126”、““count”:2106”和““Type”:“VEC3””的信息。““bufferView”:0”指示关于访问器对象43所属的缓冲器视图对象42(bufferView[0])的识别信息为“0”,如图6所示。此外,““byteOffset”:0”指示缓冲器视图对象42(bufferView[0])的字节偏移为0字节。此外,““componentType”:5126”指示部件类型为FLOAT类型(OpenGL宏常数)。此外,““count”:2106”指示在缓冲器视图对象42(bufferView[0])中存储的数据条数为2106。此外,““Type”:“VEC3””指示在缓冲器视图对象42(bufferView[0])中存储的数据(的类型)是三维矢量。

对图像(image)以外的数据的所有访问通过参考访问器对象43(通过指定访问器索引)来定义。

接下来,将描述在符合这样的glTF 2.0的场景描述(JSON格式文件)中指定点云的3D对象的方法。点云是将三维结构(三维形状的对象)表达为大量点的集合的3D内容。点云的数据包括每个点的位置信息(也称为几何)和特性信息(也称为特性)。特性可以包括任何信息。例如,在特性中可以包括每个点的颜色信息、反射信息、法线信息等。如上所述,点云具有相对简单的数据结构,并且能够通过使用足够多的点以足够的准确性表达任何三维结构。

在点云不在时间方向上变化(也称为静态)的情况下,glTF 2.0的Mesh.primitives对象用于指定3D对象。图8是示出在点云为静态的情况下在场景描述中对象的配置示例的图。图9是示出场景描述的描述示例的图。

如图9所示,基元对象的模式被指定为0,指示将数据(data)作为点云的点(point)来处理。如图8和图9所示,在Mesh.primitives中的特性对象的位置属性(POSITIONproperty)中指定了对于存储关于点(Point)的位置信息的缓冲器(buffer)的访问器(accessor)。类似地,在特性对象的颜色属性(COLOR property)中指定了对于存储关于点(Point)的颜色信息的缓冲器(buffer)的访问器(accessor)。可以存在一个缓冲器(buffer)和一个缓冲器视图(bufferView)(数据(data)可以存储在一个文件(file)中)。

接下来,将描述这样的场景描述的对象的扩展。glTF 2.0的每个对象可以在扩展对象(extensionobject)中存储新定义的对象。图10示出了在指定了新定义的对象(ExtensionExample)的情况下的描述示例。如图10所示,在使用新定义的扩展的情况下,扩展对象名称(在图10的示例中,ExtensionExample)在“extensionUsed”和“extensionRequired”中描述。这指示该扩展是所使用或者加载(load)所需的扩展。

<客户端处理>

接下来,将描述在MPEG-I场景描述中客户端装置的处理。客户端装置获取场景描述,基于场景描述获取3D对象的数据,以及使用场景描述和3D对象的数据来生成显示图像。

如非专利文献2所述,在客户端装置中,演示引擎、媒体访问功能等执行处理。例如,如图11所示,客户端装置50的演示引擎(Presentation Engine)51获取场景描述的初始值和用于更新场景描述的信息(在下文中也称为更新信息),并且在处理目标时间处生成场景描述。然后,演示引擎51解析场景描述,并且识别要播放的媒体(移动图像、音频等)。然后,演示引擎51请求媒体访问功能(Media Access Function)52以经由媒体访问API(MediaAccess API(Application Program Interface,应用程序接口))获取媒体。此外,演示引擎51还执行流水线处理的设置、缓冲器的指定等。

媒体访问功能52从云(Cloud)、本地存储装置(Local Storage)等获取由演示引擎51所请求的媒体的各种数据。媒体访问功能52将所获得的媒体的各种数据(编码数据)供应给流水线(Pipeline)53。

流水线53通过流水线处理对所供应的媒体的各种数据(编码数据)进行解码,并且将解码结果供应给缓冲器(Buffer)54。缓冲器54保持所供应的媒体的各种数据。

演示引擎51使用保持在缓冲器54中的媒体的各种数据来执行渲染(Rendering)等。

<定时媒体的应用>

近年来,例如,如非专利文献2所述,在MPEG-I场景描述中,已经研究了扩展glTF2.0以及将定时媒体(Timed media)应用为3D对象内容。定时媒体是在时间轴方向上变化的媒体数据,类似于二维图像中的移动图像。

glTF仅适用于静止图像数据作为媒体数据(3D对象内容)。也就是说,glTF不对应于移动图像的媒体数据。在移动3D对象的情况下,已经应用了动画(沿时间轴切换静止图像的方法)。

在MPEG-I场景描述中,已经研究了应用glTF 2.0、应用JSON格式文件作为场景描述以及进一步扩展glTF,使得可以将定时媒体(例如,视频数据)作为媒体数据来处理。例如,为了处理有时间限制的媒体,执行了以下扩展。

图12是用于描述用于处理定时媒体的扩展的图。在图12的示例中,MPEG媒体对象(MPEG_media)是glTF的扩展,并且是指定诸如视频数据的MPEG媒体的特性例如uri、轨道、渲染率(renderingRate)、开始时间(startTime)等的对象。

此外,如图12所示,提供MPEG纹理视频对象(MPEG_texture_video)作为纹理对象(texture)的扩展对象(extensions)。在MPEG纹理视频对象中存储有关于与要访问的缓冲器对象对应的访问器的信息。也就是说,MPEG纹理视频对象是指定有与以下缓冲器(buffer)对应的访问器(accessor)的索引的对象:在该缓冲器(buffer)中对由MPEG媒体对象(MPEG_media)指定的纹理媒体(texture media)进行解码和存储。

图13是示出在用于描述用于处理定时媒体的扩展的场景描述中的MPEG媒体对象(MPEG_media)和MPEG纹理视频对象(MPEG_texture_video)的描述示例的图。在图13的示例中,在从顶部起的第二行中,MPEG纹理视频对象(MPEG_texture_video)被设置为纹理对象(texture)的扩展对象(extensions),如下所述。然后,访问器的索引(该示例中的“2”)被指定为MPEG视频纹理对象的值。

″texture″:[{″sampler″:0,″source″:1,

″extensions″:{″MPEG_texture_video″:″accessor″:2}}],

此外,在图13的示例的情况下,在从顶部起的第七行至十六行中,MPEG媒体对象(MPEG_media)被设置为glTF的扩展对象(extensions),如下所述。然后,例如,存储与MPEG媒体对象有关的各种信息例如MPEG媒体对象的编码和URI作为MPEG媒体对象的值。

此外,对每一帧数据进行解码并将其顺序地存储在缓冲器中,但是每一帧数据的位置等是波动的。因此,场景描述具有存储波动的信息的机制,使得渲染器(renderer)能够读取数据。例如,如图12所示,提供MPEG缓冲器循环对象(MPEG_buffer_circular)作为缓冲器对象(buffer)的扩展对象(extensions)。在MPEG缓冲器循环对象中存储有用于在缓冲器对象中动态地存储数据的信息。例如,在MPEG缓冲器循环对象中存储有以下信息,例如,指示缓冲器头部(bufferHeader)的数据长度的信息以及指示帧数的信息。注意,缓冲器头部例如存储诸如索引(index)、所存储的帧数据的时间戳、数据长度等的信息。

此外,如图12所示,提供了MPEG访问器定时对象(MPEG_timed_accessor)作为访问器对象(accessor)的扩展对象(extensions)。在这种情况下,由于媒体数据是移动图像,因此所参考的缓冲器视图对象(bufferView)在时间方向上可能改变(位置可能变化)。因此,在MPEG访问器定时对象中存储有指示所要参考的缓冲器视图对象的信息。例如,MPEG访问器定时对象存储了指示对缓冲器视图对象(bufferView)的参考的信息,在该信息中描述了定时访问器信息头部(timedAccessor information header)。注意,定时访问器信息头部例如是存储缓冲器视图对象以及动态地变化的访问器对象中的信息的头部信息。

图14是示出在用于描述用于处理定时媒体的扩展的场景描述中的MPEG缓冲器循环对象(MPEG_buffer_circular)和MPEG访问器定时对象(MPEG_accessor_timed)的描述示例的图。在图14的示例中,在从顶部起的第五行中,MPEG访问器定时对象(MPEG_accessor_timed)被设置为访问器对象(accessors)的扩展对象(extensions),如下所述。然后,将诸如缓冲器视图对象的索引(该示例中的“1”)、更新率(updateRate)和不可变信息(immutable)的参数及其值指定为MPEG访问器定时对象的值。

″MPEG_accessor_timed″:{″bufferView″:1,″updateRate″:25.0,″immutable″:1,″}

此外,在图14的示例中,在从顶部起的第13行中,MPEG缓冲器循环对象(MPEG_buffer_circular)被设置为缓冲器对象(buffer)的扩展对象(extensions),如下所述。然后,将诸如缓冲器帧计数(count)、头部长度(headerLength)和更新率(updateRate)的参数及其值指定为为MPEG缓冲器循环对象的值。

″MPEG_buffer_circular″:{″count″:5,″headerLength”:12,″updateRate″:25.0}

图15是用于描述用于处理定时媒体的扩展的图。图15示出了MPEG访问器定时对象或MPEG缓冲器循环对象与访问器对象、缓冲器视图对象和缓冲器对象之间的关系的示例。

如上所述,缓冲器对象的MPEG缓冲器循环对象存储了对于在由缓冲器对象所指示的缓冲器区域中存储随时间变化的数据所必需的信息,例如缓冲器帧计数(count)、头部长度(headerLength)和更新率(updateRate)。此外,在作为缓冲器区域的头部的缓冲器头部(bufferHeader)中存储有诸如索引(index)、时间戳(timestamp)和数据长度(1ength)的参数。

如上所述,访问器对象的MPEG访问器定时对象存储与要参考的缓冲器视图对象有关的信息,例如缓冲器视图对象索引(bufferView)、更新率(updateRate)和不可变信息(immutable)。此外,MPEG访问器定时对象存储与其中存储有要参考的定时访问器信息头部的缓冲器视图对象有关的信息。定时访问器信息头部可以存储时间戳增量(timestamp_delta)、针对访问器对象的更新数据、针对缓冲器视图对象的更新数据等。

<在使用MPEG_texture_video的情况下的客户端处理>

场景描述是用于在3D空间中设置一个或更多个3D对象的空间布置信息。场景描述的内容可以沿时间轴更新。也就是说,可以随着时间的流逝来更新3D对象的布置。将描述此时在客户端装置中执行的客户端处理。

图16是关于客户端装置的客户端处理的主要配置示例,以及图17是示出客户端处理的流程的示例的流程图。如图16所示,客户端装置包括演示引擎(Presentation Engine(在下文中也称为PE))51、媒体访问功能(Media Access Function(在下文中也称为MAF))52、流水线(Pipeline)53和缓冲器(Buffer)54。演示引擎(PE)51包括glTF解析单元63和渲染(Rendering)处理单元64。

演示引擎(PE)51使媒体访问功能52获取媒体,经由缓冲器54获取其数据,并且执行与显示等有关的处理。具体来说,例如,处理以以下流程执行。

当客户端处理开始时,演示引擎(PE)51的glTF解析单元63如图17中的示例开始PE处理,以及在步骤S21中,glTF解析单元63获取作为场景描述文件的SD(glTF)文件62并解析(parse)该场景描述。

在步骤S22中,glTF解析单元63检查与3D对象(texture,纹理)相关联的媒体(media)、存储处理后的媒体的缓冲器(buffer)以及访问器(accessor)。在步骤S23中,glTF解析单元63向媒体访问功能52通知该信息作为文件获取请求。

媒体访问功能(MAF)52如图17中的示例开始MAF处理,以及在步骤S11中获取通知。在步骤S12中,媒体访问功能52基于通知获取媒体(3D对象文件(mp4))。

在步骤S13中,媒体访问功能52对所获取的媒体(3D对象文件(mp4))进行解码。在步骤S14中,媒体访问功能52基于来自演示引擎(PE 51)的通知,将通过解码获得的媒体数据存储在缓冲器54中。

在步骤S24中,演示引擎51的渲染处理单元64在适当的时间处从缓冲器54读取(获取)数据。在步骤S25中,渲染处理单元64使用所获取的数据来进行渲染,并生成显示图像。

媒体访问功能52重复步骤S13和步骤S14的处理,以执行对每个时间(每个帧)的处理。此外,演示引擎51的渲染处理单元64重复步骤S24和步骤S25的处理,以执行对每个时间(每个帧)的处理。当对所有帧的处理结束时,媒体访问功能52结束MAF处理,并且演示引擎51结束PE处理。也就是说,客户端处理结束。

同时,例如,如非专利文献3所述,作为对点云(point cloud)(其是在三维空间中的同时具有位置信息和特性信息(颜色、反射等)的点的集合)进行编码的方法,已经提出了基于视频的点云压缩(V-PCC),其中对点云进行分割以形成区域,对每个区域进行平面投影,并且通过视频编解码器进行编码。

在V-PCC中,对于每个小区域,将点云的几何和特性投影在二维平面上。在本公开内容中,该小区域可以被称为部分区域。其中几何和特性投影在二维平面上的图像也被称为投影图像。此外,每个小区域(部分区域)的投影图像被称为图块(patch)。例如,图18中的A的对象1(3D数据)被分解成如图18中的B所示的图块72(2D数据)。在几何图块的情况下,每个像素值指示关于点的位置信息。然而,在这种情况下,关于点的位置信息被表达为在垂直于该点的投影平面的方向(深度方向)上的位置信息(深度值(Depth))。

然后,将以这种方式生成的每个图块设置在视频序列的帧图像(也称为视频帧)中。设置有几何图块的帧图像也被称为几何视频帧(Geometry video frame)。此外,设置有特性图块的帧图像也被称为特性视频帧(Attribute video frame)。例如,从图18的A中的对象71生成设置有如图18的C中所示的几何图块73的几何视频帧81以及设置有如图18的D中所示的特性图块74的特性视频帧82。例如,几何视频帧81的每个像素值指示上述的深度值。

然后,通过用于二维图像的编码方法例如高级视频编码(AVC)或高效视频编码(HEVC)对这些视频帧进行编码。也就是说,作为表示三维结构的3D数据的点云数据可以使用用于二维图像的编解码器进行编码。

注意,也可以使用占用地图(也被称为占用图像)。占用地图是指示对于几何视频帧或特性视频帧的每N×N像素存在或不存在投影图像(图块)的地图信息。例如,占用地图以数值“1”指示几何视频帧或特性视频帧中的存在图块的区域(N×N像素),并且以数值“0”指示几何视频帧或特性视频帧中的不存在图块的区域(N×N像素)。

解码器可以通过参考该占用地图来掌握区域中是否存在图块,使得可以抑制由编码和解码引起的噪音等的影响,并且可以更精确地恢复3D数据。例如,即使在深度值由于编码和解码而改变时,解码器也可以通过参考占用地图来忽略不存在图块的区域的深度值。也就是说,通过参考占用地图,可以防止解码器按照关于3D数据的位置信息来执行处理。

例如,对于几何视频帧11和特性视频帧12,可以生成如图18的E所示的占用地图83。在占用地图83中,白色部分指示值“1”,并且黑色部分指示值“0”。

这样的占用地图可以被编码为与几何视频帧和特性视频帧分离的数据(视频帧),并且被传输至解码端。也就是说,如在几何视频帧和特性视频帧中,占用地图也可以通过用于二维图像的编码方法例如AVC或HEVC来进行编码。

通过对几何视频帧进行编码而生成的编码数据(比特流)也被称为几何视频子比特流(geometry video sub-bitstream)。通过对特性视频帧进行编码而生成的编码数据(比特流)也被称为特性视频子比特流(attribute video sub-bitstream)。通过对占用地图进行编码而生成的编码数据(比特流)也被称为占用地图视频子比特流(occupancy mapvideo sub-bitstream)。注意,在没有必要为了描述而彼此区分的情况下,将几何视频子比特流、特性视频子比特流和占用地图视频子比特流称为视频子比特流(video sub-bitstream)。

此外,作为用于从图块(2D数据)重建点云(3D数据)的信息的图集信息(atlas)被编码并传输至解码侧。图集信息的编码方法(和解码方法)是任意方法。通过对图集信息进行编码而生成的编码数据(比特流)也被称为图集子比特流(atlas sub-bitstream)。

注意,在下面的描述中,假定点云(点云的对象)可以类似于二维图像的移动图像在时间方向上变化(也称为动态)。也就是说,几何数据和特性数据具有时间方向的概念,并且类似于具有二维图像的移动图像,是在每个预定的时间间隔下采样的数据。注意,类似于具有二维图像的视频帧,每个采样时间下的数据被称为一帧。也就是说,点云数据(几何数据和特性数据)类似于具有二维图像的移动图像,包括多个帧。在本公开内容中,点云的帧也被称为点云帧。在V-PCC的情况下,即使是具有移动图像(多个帧)的点云,也可以通过将每个点云帧转换成视频帧以形成视频序列来使用移动图像编码方法以高效对所述点云进行编码。

编码器对上述几何视频帧、特性视频帧、占用地图和图集信息的编码数据进行复用以生成一个比特流。该比特流也被称为V-PCC比特流(V-PCC Bitstream)。

图19是示出V-PCC比特流的主要配置示例的图。如图19所示,V-PCC比特流91包括多个V-PCC单元(V-PCC Unit)92。

V-PCC单元92包括V-PCC单元头部(V-PCC unit header)93和V-PCC单元有效载荷(V-PCC unit payload)94。V-PCC单元头部93包括指示要存储在V-PCC单元有效载荷94中的信息类型的信息。V-PCC单元有效载荷94可以根据在其V-PCC单元头部93中用信号表示的类型来存储V-PCC参数集(V-PCC Parameter Set)95、几何视频子比特流96(几何视频数据)、特性视频子比特流97(特性视频数据)、占用地图视频子比特流98(占用视频数据)、图集子比特流99(图集数据)等。V-PCC参数集(V-PCC Parameter Set)95存储与V-PCC单元92有关的参数。

<以ISOBMFF的存储方法>

此外,例如,如非专利文献4所述,已经研究了以ISOBMFF存储由通过V-PCC进行编码的点云的编码数据来配置的V-PCC比特流(也称为V3C比特流)的方法。非专利文献4指定了以ISOBMFF存储V3C比特流的两种方法,即,单轨道结构(single track structure)和多轨道结构(multi-track structure)。

单轨道结构是将V3C比特流存储到一个轨道中的方法。也就是说,在这种情况下,几何视频子比特流、特性视频子比特流、占位图视频子比特流和图集子比特流共同地存储在同一轨道中。

多轨道结构是将几何视频子比特流、特性视频子比特流、占用地图视频子比特流和图集子比特流分别存储在不同的轨道(track)中的方法。由于每个视频子比特流是常规的2D视频流,因此以与在2D的情况下的方式类似的方式来存储(管理)所述视频子比特流。图20示出了在应用多轨道结构的情况下的文件配置示例。如图20所示,在多轨道结构的情况下,一个轨道(V3C图集轨道(V3C atlas track))存储轨道参考(Track References),轨道参考是用于访问存储V3C比特流的另一轨道(也称为V3C视频分量轨道(V3C videocomponent track))的信息。也就是说,每个V3C视频分量轨道通过该轨道参考与V3C图集轨道相关联。

注意,在应用通过超文本传输协议(HTTP)的移动图片专家组动态自适应流式传输(MPEG-DASH)来分发3D对象内容的情况下,在作为用于控制分发的控制文件的媒体演示描述(MPD)中可以存储有预选元素或预选描述符作为用于编译构成V-PCC的AdaptationSet的信息。图21示出了其描述示例。也就是说,在这种情况下,构成V3C比特流的各个比特流通过关于MPD的这些信息彼此相关联。

<客户端处理的模式>

播放内容(3D数据)的客户端装置解码V3C比特流,并且根据所获得的2D数据重建3D数据(例如,点云)。在这种情况下,客户端装置可以由媒体访问功能(MAF)或演示引擎(PE)来重建3D数据。在每种情况下,存储在缓冲器中的数据不同。

例如,如图22所示,在由MAF执行的MAF处理中,执行对构成3D对象的V-PCC文件的获取处理和对V-PCC文件(V3C比特流)的解码处理。在由MAF重建3D数据的情况下,在解码处理之后,如由图22上侧上的实线箭头所示,执行重建处理,并将处理结果(即,3D数据)存储在缓冲器中。在这种情况下,在由PE执行的PE处理中,读取在缓冲器中存储的3D数据,并且执行渲染处理以生成显示图像。

另一方面,在由PE重建3D数据的情况下,如由图22下侧上的虚线箭头所示,在MAF处理中,解码处理结果(即,2D数据等)被存储在缓冲器中。在这种情况下,在PE处理中,读取在缓冲器中存储的2D数据等,通过重建处理重建3D数据,并且执行渲染处理以生成显示图像。

因此,如图23所示,在由MAF重建3D数据(点云数据)的情况下,3D数据的特性(attribute)存储在场景描述中。然而,存储在缓冲器中的数据是重建的。另一方面,由MPEG_media指定的数据是重建之前的数据。也就是说,特性不与轨道一对一地相关联。因此,从每个缓冲器参考的MPEG_media是汇编了所有分量数据的V3C图集轨道(V3C atlastrack)。

另一方面,在由PE重建3D数据(点云数据)的情况下,作为被解码的V3C的V3C分量流(V3C component stream)被存储在缓冲器中。也就是说,2D数据等被存储在缓冲器中。因此,V3C分量(2D数据)的特性(attribute)存储在场景描述中。

在这种情况下,存在将存储在缓冲器中的V3C分量数据与由MPEG_media所指示的轨道进行关联的以下两种方法。也就是说,例如,如图24所示,缓冲器和V3C分量轨道可以一对一地相关联。此外,如图25所示,可以从每个缓冲器参考汇编了所有分量数据的V3C图集轨道(V3C atlas track)。

<场景描述的应用>

如上所述,由MAF重建3D数据的播放方法和由PE重建3D数据的播放方法在场景描述的配置方面不同。因此,一个场景描述不能用于两种播放方法。因此,为了使一个内容支持两种播放方法,必须为一个内容针对每个播放方法准备场景描述文件。

因此,例如,在生成场景描述文件的装置中,针对每个播放方法生成场景描述文件,并且存在与场景描述文件的生成有关的负荷增加的可能性。此外,在这种情况下,在每个场景描述文件中,仅对应的播放方法不同,而要设置的3D对象相同。因此,可以说,针对每个播放方法生成场景描述文件是多余的处理。

此外,在管理所生成的内容文件或场景描述文件的装置中,管理是复杂的,并且存在与管理有关的负荷增加的可能性。此外,在使用场景描述文件播放3D内容的装置中,存在与用于播放的场景描述文件的选择、获取等有关的负荷增加的可能性。例如,仅为了获取场景描述文件,就存在以下可能性:需要对于播放不必要的处理和不必要的信息的交换例如播放方法的确认。

<3.对应于多个播放方法的场景描述>

<使用扩展进行识别(#1)>

因此,如图26所示的表的顶部行所示,在场景描述(在下文中也称为SD)中可以存储有用于识别用于由MAF重建3D数据的播放方法的属性(也称为用于MAF重建的属性)和用于由PE重建3D数据的播放方法的属性(也称为用于PE重建的属性)的扩展(extension)(#1)。然后,可以基于扩展来识别用于MAF重建的属性和用于PE重建的属性,并且可以选择与播放方法对应的属性。

例如,信息处理装置(例如,客户端装置)包括文件处理单元,该文件处理单元基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,并通过使用所选属性的播放方法来处理3D数据。

例如,信息处理方法包括基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,并通过使用所选属性的播放方法来处理3D数据。

例如,信息处理装置(例如,文件生成装置)包括文件生成单元,该文件生成单元生成场景描述文件,该场景描述文件存储有用于识别用于播放3D数据的每个方法的属性的扩展。

例如,信息处理方法包括生成场景描述文件,该场景描述文件存储有用于识别用于播放3D数据的每个方法的属性的扩展。

通过将对应于各个播放方法的场景描述组合成一个来形成包括与多个播放方法有关的信息的场景描述。然而,仅通过将多个场景描述文件简单地组合成一个(例如,将它们串联式连接),难以确定场景描述的哪个部分对应于哪个播放方法。也就是说,难以实现场景描述文件对应于多个播放方法。

另一方面,通过使用上述的扩展,可以将场景描述的配置设置为可以识别用于每个播放方法的属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

例如,在生成场景描述文件的装置中,无需针对一个内容的每个播放方法生成场景描述文件,使得可以抑制与生成场景描述文件有关的负荷的增加,例如抑制多余处理的增加。

此外,在管理所生成的内容文件或场景描述文件的装置中,可以抑制与场景描述文件的管理有关的负荷的增加,例如有利于场景描述文件的管理。

此外,在使用场景描述文件播放3D内容的装置中,可以抑制对播放而言不必要的处理和不必要的信息的交换(例如播放方法的确认和场景描述文件的选择)的增加。因此,可以抑制与场景描述文件的使用有关的负荷的增加。

<基元中的扩展>

注意,扩展的布置位置是任意位置。例如,在(#1)的情况下,如图26所示的表从顶部起的第二行所示,该扩展可以存储在场景描述的一个基元(primitives)中(#1-1)。

<用于每个播放方法的扩展>

在(#1-1)的情况下,例如,如图26所示的表从顶部起的第三行所示,在场景描述的一个基元中可以存储有:第一扩展,该第一扩展存储用于由MAF重建3D数据的播放方法的特性属性(attributes property)(也称为用于MAF重建的特性属性);以及第二扩展,该第二扩展存储用于由PE重建3D数据的播放方法的特性属性(也称为用于PE重建的特性属性)(#1-1-1)。

例如,可以在场景描述的一个基元中指定第一扩展和第二扩展,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性,而可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在第一扩展中存储的一个或多个第一特性属性或在第二扩展中存储的一个或多个第二特性属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个基元中指定第一扩展和第二扩展。然后,文件生成单元可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。然后,文件生成单元可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

图27示出了在这种情况下的场景描述中的对象的主要配置示例。此外,在图28中示出了其描述示例。如图27和图28所示,在该示例的情况下,在基元(primitives)中指定扩展(MPEG_VPCC_reconstructMAF),并且在扩展(图28中的方形框202中的扩展)中存储用于MAF重建的特性属性(POSITION、COLOR等)。在由MAF重建3D数据的情况下,信息处理装置(例如,客户端装置)的文件处理单元可以通过使用与用于MAF重建的这些特性属性相关联的访问器,经由缓冲器将重建数据从MAF供应至PE。

此外,在基元(primitives)中指定扩展(MPEG_VPCC_reconstructPE),在扩展(图28中的方形框201中的扩展)中存储用于PE重建的特性属性(POSITION、_MPEG_ATLAS、_MPEG_ATTR、_MPEG_OCCU等)。在由PE重建3D数据的情况下,信息处理装置(例如,客户端装置)的文件处理单元可以通过使用与用于PE重建的这些特性属性相关联的访问器,经由缓冲器将重建前的数据从MAF供应至PE。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,每个扩展名(例如,MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展名来识别该扩展是存储用于MAF重建的特性属性的扩展还是存储用于PE重建的特性属性的扩展。因此,文件处理单元可以正确地选择存储有期望的特性属性的扩展,并使用该期望的特性属性。

<扩展的存在或不存在>

在(#1-1)的情况下,例如,如图26所示的表从顶部起第四行所示,可以在场景描述的一个基元中存储有用于MAF重建的特性属性以及用于存储用于PE重建的特性属性的扩展(#1-1-2)。

例如,可以在场景描述的一个基元中指定扩展。然后,可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在基元中存储的一个或多个第一特性属性或在扩展中存储的一个或多个第二特性属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。然后,文件生成单元可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

图29示出了在这种情况下的场景描述中的对象的主要配置示例。此外,在图30中示出了其描述示例。如图29和图30所示,在该示例的情况下,在基元(primitives)中指定扩展(MPEG_VPCC_reconstructPE),并且在扩展(图30的方形框221中的扩展)中存储用于PE重建的特性属性(POSITION、_MPEG_ATLAS、_MPEG_ATTR、_MPEG_OCCU等)。在由PE重建3D数据的情况下,信息处理装置(例如,客户端装置)的文件处理单元可以通过使用与用于PE重建的这些特性属性相关联的访问器,经由缓冲器将重建前的数据从MAF供应至PE。

此外,在基元(primitives)中存储用于MAF重建的特性属性(POSITION、COLOR等)。在由MAF重建3D数据的情况下,信息处理装置(例如,客户端装置)的文件处理单元可以通过使用与用于MAF重建的这些特性属性相关联的访问器,经由缓冲器将重建数据从MAF供应至PE。

如此,可以将场景描述的配置设置为可以识别用于每个播放方法的属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,扩展的存在或不存在可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于特性属性是否存储在扩展中来识别该特性属性是用于MAF重建的特性属性还是用于PE重建的特性属性。因此,文件处理单元可以正确地选择和使用期望的特性属性。

<属性指定>

注意,可以在不使用特性属性的情况下新指定并使用V-PCC的每个特性的属性。例如,在(#1-1)的情况下,如图26所示的表从顶部起第五行所示,在场景描述的一个基元中可以存储有:第一扩展,该第一扩展存储用于由MAF重建3D数据的播放方法的属性(property)(也称为用于MAF重建的属性);以及第二扩展,该的第二扩展存储用于由PE重建3D数据的播放方法的属性(property)(也称为用于PE重建的属性)(#1-1-3)。

例如,可以在场景描述的一个基元中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在第一扩展中存储的一个或多个第一属性或在第二扩展中存储的一个或多个第二属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个基元中指定第一扩展和第二扩展。然后,文件生成单元可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。然后,文件生成单元可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

图31示出了在这种情况下的场景描述中的对象的主要配置示例。此外,在图32中示出了其描述示例。如图31和图32所示,在该示例中,在基元(primitives)中指定扩展(MPEG_VPCC_reconstructPE),并且在扩展(图32的方形框241中的扩展)中存储新指定的用于PE重建的属性(MPEG_VPCC_GEO、MPEG_VPCC_ATL、MPEG_VPCC_ATT、_MPEG_VPCC_OCU等)。在由PE重建3D数据的情况下,信息处理装置(例如,客户端装置)的文件处理单元可以通过使用与用于PE重建的这些属性相关联的访问器,经由缓冲器将重建前的数据从MAF供应至PE。

此外,在基元(primitives)中指定扩展(MPEG_VPCC_reconstructMAF),并且在扩展(图32的方形框242中的扩展)中存储新指定的用于MAF重建的属性(MPEG_VPCC_POS、MPEG_VPCC_COL等)。在3D数据由MAF重建的情况下,信息处理装置(例如,客户端装置)的文件处理单元可以通过使用与这些用于MAF重建的属性相关的访问器,经由缓冲器将MAF的重建数据供应给PE。

如此,可以将场景描述的配置设置为可以识别用于每个播放方法的属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,每个扩展名(例如,MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展名来识别该扩展是存储用于MAF重建的属性的扩展还是存储用于PE重建的属性的扩展。因此,文件处理单元可以正确地选择存储有期望的属性的扩展,并使用该期望的属性。

针对V-PCC的每个特性新指定并使用属性而不使用特性属性的方法可以应用于参照图29和图30所述的以下情况:扩展的存在或不存在是识别信息。

例如,在(#1-1)的情况下,如图26所示的表从顶部起第六行所示,可以在场景描述的一个基元中存储有用于MAF重建的属性以及用于存储用于PE重建的属性的扩展(#1-1-4)。

例如,可以在场景描述的一个基元中指定扩展。然后,在基元中可以存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在基元中存储的一个或多个第一属性或在扩展中存储的一个或多个第二属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一属性。然后,文件生成单元可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,扩展的存在或不存在可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展中是否存储属性在来识别该属性是用于MAF重建的属性还是用于PE重建的属性。因此,文件处理单元可以正确地选择并使用期望的属性。

<使用替选数组识别(#2)>

尽管上面描述了使用扩展识别用于每个播放方法的属性的示例,但识别用于每个播放方法的属性的方法是任意方法,而不限于该示例。例如,可以使用替选(alternatives)数组来识别用于每个播放方法的属性,以指示数组中的元素被替选地使用。

例如,如图26所示的表最下方的行所示,可以在场景描述的一个基元中存储的扩展中存储有具有用于MAF重建的特性属性作为元素的第一替选数组和具有用于PE重建的特性属性作为元素的第二替选数组(#2)。然后,可以基于这些替选数组识别用于MAF重建的特性属性和用于PE重建的特性属性,并且可以选择与播放方法对应的属性。

例如,信息处理装置(例如,客户端装置)包括文件处理单元,该文件处理单元从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

例如,信息处理方法包括从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

例如,信息处理装置(例如,文件生成装置)包括文件生成单元,该文件生成单元生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

例如,信息处理方法包括生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

如上所述,通过使用替选数组,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

例如,在生成场景描述文件的装置中,无需针对一个内容的每个播放方法生成场景描述文件,使得可以抑制与生成场景描述文件有关的负荷的增加,例如抑制多余处理的增加。

此外,在管理所生成的内容文件或场景描述文件的装置中,可以抑制与场景描述文件的管理有关的负荷的增加,例如有利于场景描述文件的管理。

此外,在使用场景描述文件播放3D内容的装置中,可以抑制对播放而言不必要的处理和不必要的信息的交换(例如播放方法的确认和场景描述文件的选择)的增加。因此,可以抑制与使用场景描述文件有关的负荷的增加。

此外,在这种情况下,替选数组(用于存储该替选数组的扩展)的布置位置是任意布置位置。例如,替选数组(存储该替选数组的扩展)可以存储在场景描述的一个基元(primitives)中。

例如,可以在场景描述的一个基元中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。另外,第二替选数组可以具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。然后,在信息处理装置(例如,客户端装置)中,在应用第一播放方法的情况下,文件处理单元可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元可以在该扩展中存储第一替选数组,该第一替选数组具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,文件生成单元还可以在扩展中存储第二替选数组,该第二替选数组具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

图33示出了在这种情况下的场景描述中的对象的主要配置示例。此外,在图34中示出了其描述示例。如图33和图34所示,在该示例中,在基元(primitives)中指定扩展(MPEG_VPCC_ClientInfo),并且在(图34的方形框261中的)扩展中存储具有用于PE重建的特性属性(POSITION、_MPEG_ATLAS、_MPEG_ATTR、_MPEG_OCCU等)作为元素的替选数组。另外,在(在图34中的方形框262中的)扩展中也存储具有用于MAF重建的特性属性(POSITION、COLOR等)作为元素的替选数组。替选数组是指示数组中的元素被替选地使用的数组。也就是说,通过选择要应用的替选数组来选择用于每个播放方法的特性属性。

注意,如图34所示,在每个替选数组的元素中指定了客户端类型(ClientType),并且该参数指示存储有与哪个播放方法(重建方法)对应的属性。

<网格对象中的扩展(#3)>

可以在场景描述的网格对象中指定如以上示例(#1)和示例(#2)中描述的扩展。例如,如图35所示的表的顶部行所示,可以在场景描述的一个网格对象中存储用于识别用于MAF重建的(特性)属性和用于PE重建的(特性)属性的扩展(#3)。

<用于每个播放方法的扩展>

在(#3)的情况下,例如,如图35所示的表从顶部起的第二行所示,在场景描述的一个网格对象中可以存储有:第一扩展,该第一扩展存储有存储用于MAF重建的特性属性的第一基元;以及第二扩展,该第二扩展存储有用于PE重建的特性属性的第二基元(#3-1)。

例如,可以在场景描述的一个网格对象中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在第一扩展中存储的一个或多个第一特性属性或在第二扩展中存储的一个或多个第二特性属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个网格对象中指定第一扩展和第二扩展。然后,文件生成单元可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

图36示出了在这种情况下的场景描述中的对象的配置中的一部分的示例。如图36所示,在该示例的情况下,在网格对象(mesh)中指定扩展(MPEG_VPCC_reconstructPE),并且在该扩展中存储其中存储有用于PE重建的特性属性的基元。此外,在网格对象(mesh)中指定扩展(MPEG_VPCC_reconstructMAF),并且在该扩展中存储其中存储有用于MAF重建的特性属性的基元。

例如,信息处理装置(例如,客户端装置)的文件处理单元可以选择MPEG_VPCC_reconstructPE,并且通过使用与用于PE重建的特性属性相关联的访问器,经由缓冲器将重建前的数据从MAF供应至PE。此外,信息处理装置(例如,客户端装置)的文件处理单元可以选择MPEG_VPCC_reconstructMAF,并且通过使用与用于MAF重建的特性属性相关联的访问器,经由缓冲器将重建数据从MAF供应至PE。

也就是说,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,每个扩展名(例如,MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展名来识别该扩展是存储用于MAF重建的特性属性的扩展还是存储用于PE重建的特性属性的扩展。因此,文件处理单元可以正确地选择存储有期望的属性的扩展,并使用该期望的属性。

<扩展的存在或不存在>

此外,在(#3)的情况下,例如,如图35所示的表从顶部起第三行所示,在场景描述的一个网格对象中可以存储有:第一基元,该第一基元存储用于MAF重建的特性属性;以及扩展,该扩展存储有存储用于PE重建的特性属性的第二基元(#3-2)。

例如,可以在场景描述的一个网格对象中指定扩展。然后,可以在该网格对象中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在网格对象中存储的一个或多个第一特性属性或在扩展中存储的一个或多个第二特性属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,扩展的存在或不存在可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于特性属性是否存储在扩展中来识别该特性属性是用于MAF重建的特性属性还是用于PE重建的特性属性。因此,文件处理单元可以正确地选择和使用期望的特性属性。

<属性指定>

注意,可以在不使用特性属性的情况下新指定并使用V-PCC的每个特性的属性。例如,在(#3)的情况下,如图35所示的表从顶部起第四行所示,在场景描述的一个网格对象中可以存储有:第一扩展,该第一扩展存储有存储用于MAF重建的属性的第一基元,以及第二扩展,该第二扩展存储有存储用于PE重建的属性的第二基元(#3-3)。

例如,可以在场景描述的一个网格对象中指定第一扩展和第二扩展。然后,在第一扩展中可以存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,在第二扩展中可以存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在第一扩展中存储的一个或多个第一属性或在第二扩展中存储的一个或多个第二属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个网格对象中指定第一扩展和第二扩展。然后,文件生成单元可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。文件生成单元可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

如此,可以将场景描述的配置设置为可以识别用于每个播放方法的属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,每个扩展名(例如,MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展名来识别该扩展是存储用于MAF重建的属性的扩展还是存储用于PE重建的属性的扩展。因此,文件处理单元可以正确地选择存储有期望的属性的扩展,并使用该期望的属性。

此外,例如,在(#3)的情况下,如图35所示的表从顶部起第五行所示,在场景描述的一个网格对象中可以存储有:第一基元,该第一基元存储用于MAF重建的属性;以及扩展,该扩展存储有存储用于PE重建的属性的第二基元(#3-4)。

例如,可以在场景描述的一个网格对象中指定扩展。然后,在该网格对象中可以存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,在扩展中可以存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择在网格对象中存储的一个或多个第一属性或在扩展中存储的一个或多个第二属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元可以在网格对象中存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,扩展的存在或不存在可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展中是否存储属性在来识别该属性是用于MAF重建的属性还是用于PE重建的属性。因此,文件处理单元可以正确地选择和使用期望的属性。

<使用替选数组的识别>

此外,例如,在(#3)的情况下,如图35所示的表最下方的行所示,在场景描述的一个网格对象中存储的扩展中可以存储:第一替选数组,该第一替选数组具有存储用于MAF重建的属性的第一基元作为元素;以及第二替选数组,该第二替选数组具有存储用于PE重建的属性的第二基元作为元素(#3-5)。然后,可以基于这些替选数组识别用于MAF重建的特性属性和用于PE重建的特性属性,并且可以选择与播放方法对应的属性。

例如,可以在场景描述的一个网格对象中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,第二替选数组可以具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。然后,在信息处理装置(例如,客户端装置)中,在应用第一播放方法的情况下,文件处理单元可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元可以在扩展中存储第一替选数组,该第一替选数组具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,在扩展中还可以存储第二替选数组,该第二替选数组具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

注意,同样地在该情况下,在每个替选数组的元素中指定了客户端类型(ClientType),并且该参数指示存储有与哪个播放方法(重建方法)对应的属性。

如上所述,通过使用替选数组,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

<节点中的扩展(#4)>

可以在场景描述的节点中指定如以上示例(#1)至示例(#3)中描述的扩展。例如,如图37所示的表的顶部行所示,可以在场景描述的一个节点中存储用于识别用于MAF重建的(特性)属性和用于PE重建的(特性)属性的扩展(#4)。

<每个播放方法的扩展>

在(#4)的情况下,例如,如图37所示的表从顶部起的第二行所示,在场景描述的一个节点中可以存储有:与第一网格对象相关联的第一扩展,该第一网格对象存储有存储用于MAF重建的特性属性的第一基元;以及与第二网格对象相关联的第二扩展,该第二网格对象存储有存储用于PE重建的特性属性的第二基元(#4-1)。

例如,可以在场景描述的一个节点中指定第一扩展和第二扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与第一扩展相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与第二扩展相关联。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择与第一扩展相关联的一个或多个第一特性属性或与第二扩展相关联的一个或多个第二特性属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个节点中指定第一扩展和第二扩展。然后,文件生成单元可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与第一扩展相关联。此外,文件生成单元可以在第二扩展中关联与播放3D数据的第二方法对应的一个或多个第二特性属性。

图38示出了在这种情况下的场景描述中的对象的配置中的一部分的示例。如图38所示,在该示例的情况下,在节点(node)中指定扩展(MPEG_VPCC_reconstructPE),并且将存储有用于PE重建的特性属性(存储该特性属性的基元)的网格对象(mesh)与该扩展相关联。此外,在节点(node)中指定扩展(MPEG_VPCC_reconstructMAF),并且将存储有用于MAF重建的特性属性(存储该特性属性的基元)的网格对象(mesh)与该扩展相关联。

因此,例如,信息处理装置(例如,客户端装置)的文件处理单元可以选择MPEG_VPCC_reconstructPE,并且通过使用与MPEG_VPCC_reconstructPE相关联的访问器(与MPEG_VPCC_reconstructPE相关联的用于PE重建的特性属性),经由缓冲器将重建前的数据从MAF供应至PE。此外,信息处理装置(例如,客户端装置)的文件处理单元选择MPEG_VPCC_reconstructMAF,并且使用与MPEG_VPCC_reconstructMAF相关联的访问器(与MPEG_VPCC_reconstructMAF相关联的用于MAF重建的特性属性),使得可以经由缓冲器将重建数据从MAF供应至PE。

也就是说,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在这个示例中,每个扩展名(例如,MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展名来识别该扩展是存储用于MAF重建的特性属性的扩展还是存储用于PE重建的特性属性的扩展。因此,文件处理单元可以正确地选择存储有期望的属性的扩展,并使用该期望的属性。

<扩展的存在或不存在>

在(#4)的情况下,例如,如图37所示的表从顶部起第三行所示,存储有第一基元的第一网格对象可以被关联,该第一基元存储用于MAF重建的特性属性;并且可以在场景描述的一个节点中存储与第二网格对象相关联的扩展,该第二网格对象存储有第二基元,该第二基元存储用于PE重建的特性属性(#4-2)。

例如,可以在场景描述的一个节点中指定扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与节点相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与扩展相关联。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择与节点相关联的一个或多个第一特性属性或与扩展相关联的一个或多个第二特性属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与节点相关联。此外,文件生成单元可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与扩展相关联。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,扩展的存在或不存在可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于特性属性是否存储在扩展中来识别该特性属性是用于MAF重建的特性属性还是用于PE重建的特性属性。因此,文件处理单元可以正确地选择和使用期望的特性属性。

<属性指定>

注意,可以在不使用特性属性的情况下新指定并使用V-PCC的每个特性的属性。例如,在(#4)的情况下,如图37所示的表从顶部起第四行所示,在场景描述的一个节点中可以存储有:与第一网格对象相关联的第一扩展,该第一网格对象存储有存储用于MAF重建的属性的第一基元;以及与第二网格对象相关联的第二扩展,该第二网格对象存储有存储用于PE重建的属性的第二基元(#4-3)。

例如,可以在场景描述的一个节点中指定第一扩展和第二扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一属性与第一扩展关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二属性与第二扩展相关联。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择与第一扩展相关联的一个或多个第一属性或与第二扩展相关联的一个或多个第二属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个节点中指定第一扩展和第二扩展。然后,文件生成单元可以将与播放3D数据的第一方法对应的一个或多个第一属性与第一扩展相关联。此外,文件生成单元可以将与播放3D数据的第二方法对应的一个或多个第二属性与第二扩展相关联。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在这个示例中,每个扩展名(例如,MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于扩展名来识别该扩展是存储用于MAF重建的属性的扩展还是存储用于PE重建的属性的扩展。因此,文件处理单元可以正确地选择存储有期望的属性的扩展,并使用该期望的属性。

此外,例如,在(#4)的情况下,如图37所示的表从顶部起第五行所示,在场景描述的一个节点中可以存储有与第一网格对象和第二网格对象相关联的扩展,该第一网格对象存储有存储用于MAF重建的属性的第一基元;该第二网格对象存储有存储用于PE重建的属性的第二基元(#4-4)。

例如,可以在场景描述的一个节点中指定扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一属性与节点相关联。然后,可以将与播放3D数据的第二方法对应的一个或多个第二属性与扩展相关联。然后,在信息处理装置(例如,客户端装置)中,文件处理单元可以根据播放3D数据的方法选择与节点相关联的一个或多个第一属性或与扩展相关联的一个或多个第二属性。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元可以将与播放3D数据的第一方法对应的一个或多个第一属性与节点相关联。此外,文件生成单元可以将与播放3D数据的第二方法对应的一个或多个第二属性与扩展相关联。

如此,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过一个场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

在该示例中,扩展的存在或不存在可以是识别信息。也就是说,例如,信息处理装置(例如,客户端装置)的文件处理单元可以基于属性是否存储在扩展中来识别该属性是用于MAF重建的属性还是用于PE重建的属性。因此,文件处理单元可以正确地选择和使用期望的属性。

<使用替选数组的识别>

此外,例如,在(#4)的情况下,如图35所示的表最下方的行所示,在场景描述的一个节点的扩展中可以存储:第一替选数组,该第一替选数组具有与存储有第一基元的第一网格对象相关联的元素,第一基元存储用于MAF重建的特性属性;以及第二替选数组,该第二替选数组具有与存储有第二基元的第二网格对象相关联的元素,第二基元存储用于PE重建的特性属性(#4-5)。然后,可以基于这些替选数组识别用于MAF重建的特性属性和用于PE重建的特性属性,并且可以选择与播放方法对应的属性。

例如,可以在场景描述的一个节点中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与对应于播放3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素。此外,第二替选数组可以具有与对应于播放3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。然后,在信息处理装置(例如,客户端装置)中,在应用第一播放方法的情况下,文件处理单元可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

例如,在信息处理装置(例如,文件生成装置)中,文件生成单元可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与对应于播放3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与对应于播放3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。

注意,同样地在该情况下,在每个替选数组的元素中指定了客户端类型(ClientType),并且该参数指示存储有与哪个播放方法(重建方法)对应的属性。

如上所述,通过使用替选数组,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

如上所述,通过使用替选数组,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

可以通过适当地组合多个上述元素来应用本技术。

<4.第一实施方式>

<文件生成装置>

上述的本技术可以应用于任何装置。图39是示出作为应用本技术的信息处理装置的方面的文件生成装置的配置的示例的框图。图39中所示的文件生成装置300是对3D对象内容(例如,诸如点云的3D数据)进行编码并将编码的3D对象内容存储在诸如ISOBMFF的文件容器中的装置。此外,文件生成装置300生成3D对象内容的场景描述文件。

注意,在图39中示出了主要处理单元、主要数据流等,并且图39中所示的主要处理单元、主要数据流等不一定是全部。也就是说,在文件生成装置300中,可以存在没有被示出为图39中的块的处理单元,或者可以存在没有被示出为图39中的箭头等的处理或数据流。

如图39所示,文件生成装置300包括控制单元301和文件生成处理单元302。控制单元301控制文件生成处理单元302。文件生成处理单元302由控制单元301控制并执行与文件生成有关的处理。例如,文件生成处理单元302可以获取要在文件中存储的3D对象内容的数据。此外,文件生成处理单元302可以通过将获取的3D对象内容的数据存储在文件容器中来生成内容文件。此外,文件生成处理单元302可以生成与3D对象内容对应的场景描述,并将该场景描述存储在场景描述文件中。文件生成处理单元302可以将生成的文件输出至文件生成装置300的外部。例如,文件生成处理单元302可以将生成的文件上传至分发服务器等。

文件生成处理单元302包括输入单元311、预处理单元312、编码单元313、文件生成单元314、记录单元315、以及输出单元316。

输入单元311执行与3D对象内容的数据的获取有关的处理。例如,输入单元311可以从文件生成装置300的外部获取3D对象内容的数据。3D对象内容的数据可以是任意数据,只要该数据是表示对象的三维结构的3D数据即可。例如,3D对象内容的数据可以是点云的数据。输入单元311可以将所获取的3D对象内容的数据供应给预处理单元312。

预处理单元312执行与在编码前对3D对象内容的数据进行的预处理有关的处理。例如,预处理单元312可以获取从输入单元311供应的3D对象内容的数据。此外,预处理单元312可以从所获取的3D对象内容的数据等来获取用于对于生成场景描述所必需的信息。此外,预处理单元312可以将获取的信息供应给文件生成单元314。此外,预处理单元312可以将3D对象内容的数据供应给编码单元313。

编码单元313执行与3D对象内容的数据的编码有关的处理。例如,编码单元313可以获取从预处理单元312供应的3D对象内容的数据。此外,编码单元313可以对所获取的3D对象内容的数据进行编码并生成编码数据。此外,编码单元313可以将所生成的3D对象内容的编码数据作为V3C比特流供应给文件生成单元314。

文件生成单元314执行与文件的生成等有关的处理。例如,文件生成单元314可以获取从编码单元313供应的V3C比特流。此外,文件生成单元314可以获取从预处理单元312供应的信息。此外,文件生成单元314可以生成存储有从编码单元313供应的V3C比特流的文件容器(内容文件)。内容文件(文件容器)的规格等是任意规格,并且可以使用任意文件,只要可以存储V3C比特流即可。例如,内容文件可以是ISOBMFF。

此外,文件生成单元314可以使用从预处理单元312供应的信息来生成与V3C比特流对应的场景描述。然后,文件生成单元314可以生成场景描述文件并存储所生成的场景描述。此外,在由遵守MPEG-DASH的系统分发V3C比特流的情况下,文件生成单元314可以生成与V3C比特流对应的MPD。此外,文件生成单元314可以将生成的文件等(ISOBMFF、场景描述文件、MPD等)供应给记录单元315。

记录单元315包括例如诸如硬盘或半导体存储器的任意记录介质,并执行与数据记录有关的处理。例如,记录单元315可以将从文件生成单元314供应的文件等记录在记录介质中。此外,记录单元315可以根据来自控制单元301或输出单元316的请求或在预定的时间处读取在记录介质中记录的文件等,并将文件等供应给输出单元316。

输出单元316可以获取从记录单元315供应的文件等以将所述文件等输出至文件生成装置300的外部(例如,分发服务器、播放装置等)。

在具有以上配置的文件生成装置300中,上述的本技术可以应用于<3.对应于多个播放方法的场景描述>。

例如,文件生成单元314可以生成存储有扩展的场景描述文件,所述扩展用于识别用于播放3D数据的每个方法的属性。

在该情况下,文件生成单元314可以在场景描述文件的一个基元中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,文件生成单元314可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元314可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,文件生成单元314可以在场景描述文件的一个基元中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,文件生成单元314可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元314可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,文件生成单元314可以在场景描述文件的一个网格对象中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,文件生成单元314可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元314可以在网格对象中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,文件生成单元314可以在场景描述文件的一个网格对象中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,文件生成单元314可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元314可以在网格对象中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,文件生成单元314可以在场景描述文件的一个节点中指定第一扩展和第二扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与第一扩展相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二特性属性在第二扩展中关联。

此外,文件生成单元314可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与节点相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与扩展相关联。

此外,文件生成单元314可以在场景描述文件的一个节点中指定第一扩展和第二扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一属性与第一扩展相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二属性与第二扩展相关联。

此外,文件生成单元314可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一属性与节点相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二属性与扩展相关联。

此外,文件生成单元314可以生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

在这种情况下,文件生成单元314可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

此外,文件生成单元314可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

此外,文件生成单元314可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与对应于播放3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与对应于播放3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。

当然,上述的另一本技术可以应用于<3.对应于多个播放方法的场景描述>。此外,可以适当地组合和应用多个本技术。

由于文件生成装置300具有这样的配置,因此可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

<文件生成处理的流程1>

将参照图40的流程图描述由具有这样的配置的文件生成装置300执行的文件生成处理的流程的示例。图40的示例示出了在使用扩展来识别用于每个播放方法的属性的情况下的文件生成处理的流程示例。

在这种情况下,在文件生成处理开始的情况下,在步骤S301中,文件生成装置300的输入单元311获取3D对象的数据(3D数据)。例如,输入单元311获取点云的数据作为3D数据。

在步骤S302中,预处理单元312对在步骤S301中获取的3D对象的数据进行预处理。例如,预处理单元312从3D对象的数据中获取用于生成场景描述的信息,场景描述是用于在3D空间中设置一个或更多个3D对象的空间布置信息。

在步骤S303中,文件生成单元314使用该信息生成场景描述文件,场景描述文件存储有用于识别用于MAF重建的(特性)属性和用于PE重建的(特性)属性的扩展。也就是说,文件生成单元314生成存储有扩展的场景描述文件,该扩展用于识别用于播放3D数据的每个方法的(特性)属性。

在步骤S304中,编码单元313对在步骤S301中获取的点云的数据(3D数据)进行编码,并生成编码数据(V3C比特流)。

在步骤S305中,文件生成单元314生成存储有在步骤S304中生成的V3C比特流的内容文件(ISOBMFF)。

在步骤S306中,记录单元315将所生成的场景描述文件和所生成的内容文件记录在记录介质中。

在步骤S307中,输出单元316从记录介质中读取在步骤S306中记录的文件等,以在预定的时间处将读取的文件输出至文件生成装置300的外部。例如,输出单元316可以经由诸如网络的通信介质将从记录介质中读取的文件传输(上传)至另一装置例如分发服务器或播放装置。此外,输出单元316可以将从记录介质中读取的文件等记录在诸如可移动介质的外部记录介质中。在这种情况下,例如,可以经由外部记录介质将输出文件供应给另一装置(分发服务器、播放装置等)。

当步骤S307的处理结束时,文件生成处理结束。

通过以这种方式执行文件生成处理,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

注意,在步骤S303中,文件生成单元314可以在场景描述文件的一个基元中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元314可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个基元中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元314可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个网格对象中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元314可以在网格对象中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个网格对象中指定第一扩展和第二扩展。然后,文件生成单元314可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,文件生成单元314可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元314可以在网格对象中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,文件生成单元314可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个节点中指定第一扩展和第二扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与第一扩展相关联。此外,文件生成单元314可以在第二扩展中关联与播放3D数据的第二方法对应的一个或多个第二特性属性。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与节点相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与扩展相关联。

此外,在步骤S303中,文件生成单元314可以在场景描述文件的一个节点中指定第一扩展和第二扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一属性与第一扩展相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二属性与第二扩展相关联。

此外,在步骤S353中,文件生成单元314可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以将与播放3D数据的第一方法对应的一个或多个第一属性与节点相关联。此外,文件生成单元314可以将与播放3D数据的第二方法对应的一个或多个第二属性与扩展相关联。

当然,上述的另一本技术可以应用于<3.对应于多个播放方法的场景描述>。此外,可以适当地组合和应用多个本技术。

<文件生成处理的流程2>。

接下来,将参照图41的流程图描述在使用替选数组来识别用于每个播放方法的属性的情况下的文件生成处理的流程的示例。

在这种情况下,在文件生成处理开始的情况下,如在图40的步骤S301和步骤S302的处理中那样执行步骤S351和步骤S352的处理。

在步骤S353中,文件生成单元314生成存储有替选数组的场景描述文件,该替选数组具有用于MAF重建的特性属性和用于PE重建的特性属性作为元素。也就是说,文件生成单元314生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与彼此相同的播放3D数据的方法对应的属性作为元素。

当步骤S353的处理结束时,如在图40的步骤S304至步骤S307的处理中那样执行步骤S354至步骤S357的处理。

当步骤S357的处理结束时,文件生成处理结束。

通过以这种方式执行文件生成处理,可以将场景描述的配置设置为可以针对每个播放方法识别属性的状态。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

注意,在步骤S353中,文件生成单元314可以在场景描述文件的一个基元中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

此外,在步骤S353中,文件生成单元314可以在场景描述文件的一个网格对象中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

此外,在步骤S353中,文件生成单元314可以在场景描述文件的一个节点中指定扩展。然后,文件生成单元314可以在扩展中存储第一替选数组,该第一替选数组具有与对应于播放3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素。此外,文件生成单元314还可以在扩展中存储第二替选数组,该第二替选数组具有与对应于播放3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。

当然,上述的另一本技术可以应用于<3.对应于多个播放方法的场景描述>。此外,可以适当地组合和应用多个本技术。

<5.第二实施方式>

<客户端装置>

图42是示出作为应用本技术的信息处理装置的方面的客户端装置的配置的示例的框图。图42中所示的客户端装置400是基于场景描述执行对3D对象内容的播放处理的播放装置。例如,客户端装置400播放在由文件生成装置300生成的内容文件中存储的3D对象的数据。此时,客户端装置400基于场景描述执行与播放有关的处理。

注意,在图42中示出了主要处理单元、主要数据流等,并且图42中所示的主要处理单元、主要数据流等不一定是全部。也就是说,在客户端装置400中,可以存在没有被示出为图42中的块的处理单元,或者可以存在没有被示出为图42中的箭头等的处理或数据流。

如图42所示,客户端装置400包括控制单元401和播放处理单元402。控制单元401执行与播放处理单元402的控制有关的处理。播放处理单元402执行与3D对象的数据的播放有关的处理。

播放处理单元402包括文件获取单元411、文件处理单元412、解码单元413、显示信息生成单元414、显示单元415、以及显示控制单元416。

文件获取单元411执行与文件获取有关的处理。例如,文件获取单元411可以获取从客户端装置400的外部例如分发服务器或文件生成装置300供应的文件等。此外,文件获取单元411可以获取存储在本地存储装置(未示出)中的文件等。例如,文件获取单元411可以获取场景描述文件。此外,文件获取单元411可以获取内容文件。例如,文件获取单元411可以将所获取的文件供应给文件处理单元412。文件获取单元411可以在文件处理单元412的控制下执行与文件的获取有关的处理。例如,文件获取单元411可以从外部或本地存储装置获取由文件处理单元412所请求的文件,并将该文件供应给文件处理单元412。

文件处理单元412执行与对文件等进行处理有关的处理。例如,文件处理单元412可以具有参照图16所述的配置(例如,MAF 52、缓冲器54、PE 51等)。

文件处理单元412可以使文件获取单元411从客户端装置400的外部、本地存储装置等获取场景描述文件。此外,文件处理单元412可以使文件获取单元411基于场景描述文件从客户端装置400外部、本地存储装置等的内容文件中获取V3C比特流。

此外,文件处理单元412可以使解码单元413对V3C比特流进行解码。然后,文件处理单元412可以使用通过解码获得的数据来重建3D数据。此时,文件处理单元412可以通过MAF 52重建3D数据,或者可以通过PE 51重建3D数据。

此外,文件处理单元412可以使显示信息生成单元414渲染重建的3D数据并生成显示图像。此外,文件处理单元412可以使显示单元415显示显示图像。

解码单元413执行与解码有关的处理。例如,解码单元413可以由文件处理单元412控制,并对从文件处理单元412供应的V3C比特流进行解码。此外,解码单元413可以将通过解码获得的数据供应给文件处理单元412。

显示信息生成单元414执行与显示有关的处理。例如,显示信息生成单元414可以在文件处理单元412的控制下渲染从文件处理单元412供应的3D数据并生成显示图像等。在这个时候,显示信息生成单元414可以适当地遵循显示控制单元416的控制。此外,显示信息生成单元414可以将所生成的显示图像等供应给文件处理单元412。

显示单元415包括显示装置,并执行与图像显示有关的处理。例如,显示单元415可以根据文件处理单元412的控制,使用显示装置来显示从文件处理单元412供应的显示图像(由显示信息生成单元414生成的显示图像)。

显示控制单元416执行与图像显示控制有关的处理。例如,显示控制单元416可以获取诸如从文件处理单元412供应的诸如场景描述的信息。此外,显示控制单元416可以基于该信息来控制显示信息生成单元414。

在具有以上配置的客户端装置400中,上述的本技术可以应用于<3.对应于多个播放方法的场景描述>。

例如,文件处理单元412可以基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,并通过使用所选属性的播放方法来处理3D数据。

此外,在这种情况下,可以在场景描述的一个基元中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一特性属性或在第二扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个基元中指定扩展。然后,可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在基元中存储的一个或多个第一特性属性或在扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个基元中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一属性或在第二扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个基元中指定扩展。然后,可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在基元中存储的一个或多个第一属性或在扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个网格对象中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一特性属性或在第二扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个网格对象中指定扩展。然后,可以在该网格对象中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在网格对象中存储的一个或多个第一特性属性或在扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个网格对象中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一属性或在第二扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个网格对象中指定扩展。然后,可以在该网格对象中存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,文件处理单元412可以根据播放3D数据的方法来选择在网格对象中存储的一个或多个第一属性或在扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个节点中指定第一扩展和第二扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与第一扩展相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与第二扩展相关联。然后,文件处理单元412可以根据播放3D数据的方法来选择与第一扩展相关联的一个或多个第一特性属性或与第二扩展相关联的一个或多个第二特性属性。

此外,可以在场景描述的一个节点中指定扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与节点相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与扩展相关联。然后,文件处理单元412可以根据播放3D数据的方法来选择与节点相关联的一个或多个第一特性属性或与扩展相关联的一个或多个第二特性属性。

此外,可以在场景描述的一个节点中指定第一扩展和第二扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一属性与第一扩展相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二属性与第二扩展相关联。然后,文件处理单元412可以根据播放3D数据的方法来选择与第一扩展相关联的一个或多个第一属性或与第二扩展相关联的一个或多个第二属性。

此外,可以在场景描述的一个节点中指定扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一属性与节点相关联。可以将与播放3D数据的第二方法对应的一个或多个第二属性与扩展相关联。然后,文件处理单元412可以根据播放3D数据的方法来选择与节点相关联的一个或多个第一属性或与扩展相关联的一个或多个第二属性。

此外,文件处理单元412可以从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并且通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

在这种情况下,可以在场景描述的一个基元中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,第二替选数组可以具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。然后,在应用第一播放方法的情况下,文件处理单元412可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元412可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

此外,可以在场景描述的一个网格对象中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,第二替选数组可以具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。然后,在应用第一播放方法的情况下,文件处理单元412可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元412可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

此外,可以在场景描述的一个节点中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与对应于播放3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素。此外,第二替选数组也可以具有与对应于播放3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。然后,在应用第一播放方法的情况下,文件处理单元412可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元412可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

当然,上述的另一本技术可以应用于<3.对应于多个播放方法的场景描述>。此外,可以适当地组合和应用多个本技术。

由于客户端装置400具有这样的配置,因此客户端装置400可以识别场景描述中用于每个播放方法的属性。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

<播放处理的流程>

将参照图43的流程图描述由具有这样的配置的客户端装置400执行的播放处理的流程的示例。

当播放处理开始时,在步骤S401中,客户端装置400的文件处理单元412使文件获取单元411获取场景描述文件。

在步骤S402中,文件处理单元412解析在步骤S401中获取的场景描述文件,并选择与播放其自己的3D对象内容的方法(3D数据重建方法)对应的(特性)属性(例如,用于MAF重建的(特性)属性或用于PE重建的(特性)属性)。

此时,文件处理单元412可以基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,并通过使用所选属性的播放方法来处理3D数据。

此外,文件处理单元412可以从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,并通过使用作为所选替选数组的元素的属性的播放方法来处理3D数据。

在步骤S403中,文件处理单元412解析在步骤S401中获取的场景描述文件,使文件获取单元411根据解析结果获取3D数据的编码数据(V3C比特流)。

在步骤S404中,文件处理单元412使解码单元413对通过步骤S402中的处理而获得的V3C比特流进行解码。

在步骤S405中,文件处理单元412根据场景描述文件的解析结果,使用通过步骤S403中的处理而获得的数据来重建3D数据。

在步骤S406中,文件处理单元412使显示信息生成单元414使用在在步骤S405中重建的3D数据执行渲染,并生成显示图像。

在步骤S407中,文件处理单元412使显示单元415显示在步骤S406中生成的显示图像。当步骤S407处的处理结束时,播放处理结束。

通过以这种方式执行播放处理,客户端装置400可以识别场景描述中用于每个播放方法的属性。因此,一个场景描述可以对应于多个播放方法。

也就是说,可以通过场景描述使内容与多个播放方法对应,而无需准备多个场景描述。因此,可以抑制与场景描述有关的处理(例如场景描述文件的生成、管理和使用)的负荷的增加。

注意,可以在场景描述的一个基元中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一特性属性或在第二扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个基元中指定扩展。然后,可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在基元中存储的一个或多个第一特性属性或在扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个基元中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一属性或在第二扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个基元中指定扩展。然后,可以在基元中存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在基元中存储的一个或多个第一属性或在扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个网格对象中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一特性属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一特性属性或在第二扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个网格对象中指定扩展。然后,在该网格对象中可以存储与播放3D数据的第一方法对应的一个或多个第一特性属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二特性属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在网格对象中存储的一个或多个第一特性属性或在扩展中存储的一个或多个第二特性属性。

此外,可以在场景描述的一个网格对象中指定第一扩展和第二扩展。然后,可以在第一扩展中存储与播放3D数据的第一方法对应的一个或多个第一属性。此外,可以在第二扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在第一扩展中存储的一个或多个第一属性或在第二扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个网格对象中指定扩展。然后,可以在该网格对象中存储与播放3D数据的第一方法对应的一个或多个第一属性。另外,可以在扩展中存储与播放3D数据的第二方法对应的一个或多个第二属性。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择在网格对象中存储的一个或多个第一属性或在扩展中存储的一个或多个第二属性。

此外,可以在场景描述的一个节点中指定第一扩展和第二扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与第一扩展相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与第二扩展相关联。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择与第一扩展相关联的一个或多个第一特性属性或与第二扩展相关联的一个或多个第二特性属性。

此外,可以在场景描述的一个节点中指定扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一特性属性与节点相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二特性属性与扩展相关联。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择与节点相关联的一个或多个第一特性属性或与扩展相关联的一个或多个第二特性属性。

此外,可以在场景描述的一个节点中指定第一扩展和第二扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一属性与第一扩展相关联。此外,可以将与播放3D数据的第二方法对应的一个或多个第二属性与第二扩展相关联。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择与第一扩展相关联的一个或多个第一属性或与第二扩展相关联的一个或多个第二属性。

此外,可以在场景描述的一个节点中指定扩展。然后,可以将与播放3D数据的第一方法对应的一个或多个第一属性与节点相关联。可以将与播放3D数据的第二方法对应的一个或多个第二属性与扩展相关联。然后,在步骤S402中,文件处理单元412可以根据播放3D数据的方法来选择与节点相关联的一个或多个第一属性或与扩展相关联的一个或多个第二属性。

此外,可以在场景描述的一个基元中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,第二替选数组可以具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。然后,在步骤S402中,在应用第一播放方法的情况下,文件处理单元412可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元412可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

此外,可以在场景描述的一个网格对象中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与播放3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素。此外,第二替选数组可以具有与播放3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。然后,在步骤S402中,在应用第一播放方法的情况下,文件处理单元412可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元412可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

此外,可以在场景描述的一个节点中指定扩展。然后,可以在该扩展内指定第一替选数组和第二替选数组。然后,第一替选数组可以具有与对应于播放3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素。此外,第二替选数组也可以具有与对应于播放3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。然后,在步骤S402中,在应用第一播放方法的情况下,文件处理单元412可以选择第一替选数组,并通过使用一个或多个第一属性的第一播放方法来处理3D数据。此外,在应用第二播放方法的情况下,文件处理单元412可以选择第二替选数组,并通过使用一个或多个第二属性的第二播放方法来处理3D数据。

当然,上述的另一本技术可以应用于<3.对应于多个播放方法的场景描述>。此外,可以适当地组合和应用多个本技术。

<6.附录>

<组合>

上述本技术的每个示例都可以与其他示例适当地组合应用,只要不存在矛盾即可。此外,上述本技术的每个示例可以与除了上述技术以外的其他技术组合应用。

<计算机>

上述一系列处理可以通过硬件或软件执行。在通过软件执行一系列处理的情况下,构成该软件的程序被安装在计算机中。此处,计算机包括例如并入在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。

图44是示出通过程序执行上述一系列处理的计算机的硬件配置示例的框图。

在图44所示计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904相互连接。

输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元912包括例如显示器、扬声器、输出终端等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。

在如上所述配置的计算机中,例如,CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中并且执行该程序,由此执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所需的数据等。

由计算机执行的程序可以通过记录在例如作为封装介质等的可移除介质921上来应用。在该情况下,通过将可移动介质921附接至驱动器915,可以经由输入/输出接口910将程序安装在存储单元913中。

此外,例如,该程序也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。在该情况下,可以通过通信单元914接收程序并且将其安装在存储单元913中。

此外,可以将该程序预先安装在ROM 902或存储单元913中。

<本技术适用的对象>

本技术可以应用于任何编码/解码方法。

此外,本技术可以应用于任何配置。例如,本技术可以应用于各种电子装置。

此外,例如,还可以将本技术实现为装置的部分配置,例如作为系统大规模集成(LSI)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如,视频模块)、使用多个模块等的单元(例如,视频单元)、或者通过将其他功能进一步添加至单元而获得的套装(例如,视频套装)。

此外,例如,本技术还可以应用于包括多个装置的网络系统。例如,本技术可以被实现为经由网络由多个装置协作共享和协作处理的云计算。例如,本技术可以在向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任何终端提供与图像(运动图像)有关的服务的云服务中实现。

注意,在本说明书中,系统意指多个部件(装置、模块(部分)等)的集合,并且所有部件是否在同一壳体中无关紧要。因此,存储在不同壳体中并经由网络连接的多个装置和在一个壳体中存储有的多个模块的一个装置两者均是系统。

<本技术适用的领域和应用>

应用本技术的系统、装置、处理单元等可以用于任意领域,例如交通、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、气象和自然监控等。此外,可以使用其任何应用。

例如,本技术可以应用于用于提供供欣赏的内容等的系统和装置。此外,例如,本技术还可以应用于用于交通例如交通状况管理和自动驾驶控制的系统和装置。此外,例如,本技术也可以应用于用于安全性的系统和装置。此外,例如,本技术可以应用于用于机器等的自动控制的系统和装置。此外,例如,本技术还可以应用于提供给农业和畜牧业使用的系统和装置。此外,本技术还可以应用于例如监控自然状态例如火山、森林、海洋、野生动物等的系统和装置。此外,例如,本技术也可以应用于用于体育运动的系统和设备。

<其他>

注意,在本说明书中,“标志”是用于标识多个状态的信息,并且不仅包括用于标识真(1)和假(0)的两个状态的信息,还包括能够标识三个或更多个状态的信息。因此,“标志”可以取的值可以是例如二进制1/0或三进制或更多。也就是说,形成该“标志”的位数是任意的,并且可以是一位或多位。此外,假设识别信息(包括标志)不仅包括其在比特流中的识别信息,而且还包括识别信息相对于比特流中的特定参考信息的差异信息,并且因此,在本说明书中,“标志”和“识别信息”不仅包括其信息,而且还包括相对于参考信息的差异信息。

此外,可以以任何形式传输或记录与编码数据(比特流)相关的各种信息(例如元数据),只要其与编码数据相关联即可。在本文中,术语“相关联”旨在意指,例如,在处理一个数据时使另一数据可获得(可链接)。也就是说,彼此相关联的数据可以被集合为一个数据或者可以被变成单独的数据。例如,可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联信息。此外,例如,与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质(或相同记录介质的另一记录区域)上。注意,该“相关联性”可以不是整个数据而是数据的一部分。例如,图像和与图像对应的信息可以以任何单位例如多个帧、一个帧或帧内的一部分来彼此相关联。

注意,在本说明书中,例如,诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“引入”和“插入”等的术语意指将多个对象组合成一个,例如,将编码数据和元数据组合成一个数据,并且意指上述“相关联”的一种方法。

此外,本技术的实施方式不限于上述实施方式,并且在不脱离本技术的范围的情况下可以进行各种修改。

例如,可以将描述为一个装置(或处理单元)的配置划分并配置为多个装置(或处理单元)。相反,以上被描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外,可以将除了上述配置之外的配置添加至每个装置(或每个处理单元)的配置。此外,如果整个系统的配置和操作基本上相同,则某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。

此外,例如,上述程序可以在任何装置中执行。在这种情况下,只要该装置具有必要的功能(功能块等)并且仅需要获得必要的信息就足够了。

此外,例如,一个流程图的每个步骤可以由一个装置执行,或者可以由多个装置共享和执行。此外,在一个步骤中包括多个处理的情况下,多个处理可以由一个装置执行,或者可以由多个装置共享和执行。换言之,一个步骤中包括的多个处理也可以作为多个步骤的处理被执行。相反,被描述为多个步骤的处理可以作为一个步骤来共同执行。

此外,例如,在由计算机执行的程序中,描述程序的步骤的处理可以按照本说明书中描述的顺序以时间序列来执行,或者可以在必要的定时处诸如当进行调用时单独执行或并行执行。也就是说,只要不存在矛盾,就可以以与上述顺序不同的顺序执行每个步骤的处理。此外,描述该程序的步骤的处理可以与另一程序的处理并行执行,或者可以与另一程序的处理组合执行。

此外,例如,与本技术有关的多个技术可以独立地实现为单个主体,只要不存在矛盾即可。当然,可以组合实现多个任意的本技术。例如,任何实施方式中描述的本技术的部分或全部可以与其他实施方式中描述的本技术的部分或全部组合地实现。此外,可以通过与上面未描述的其它技术一起使用来实现上述本技术中的任何技术的部分或全部。

注意,本技术也可以有以下配置。

(1)一种信息处理装置,包括:

文件处理单元,所述文件处理单元基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,以及通过使用所选属性的所述播放方法来处理所述3D数据。

(2)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个基元中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述第一扩展中存储的一个或多个所述第一特性属性或在所述第二扩展中存储的一个或多个所述第二特性属性。

(3)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个基元中指定所述扩展,

在所述基元中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述基元中存储的一个或多个所述第一特性属性或在所述扩展中存储的一个或多个所述第二特性属性。

(4)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个基元中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述第一扩展中存储的一个或多个所述第一属性或在所述第二扩展中存储的一个或多个所述第二属性。

(5)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个基元中指定所述扩展,

在所述基元中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述基元中存储的一个或多个所述第一属性或在所述扩展中存储的一个或多个所述第二属性。

(6)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个网格对象中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述第一扩展中存储的一个或多个所述第一特性属性或在所述第二扩展中存储的一个或多个所述第二特性属性。

(7)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个网格对象中指定所述扩展,

在所述网格对象中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述网格对象中存储的一个或多个所述第一特性属性或在所述扩展中存储的一个或多个所述第二特性属性。

(8)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个网格对象中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述第一扩展中存储的一个或多个所述第一属性或在所述第二扩展中存储的一个或多个所述第二属性。

(9)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个网格对象中指定所述扩展,

在所述网格对象中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性,以及

所述文件处理单元根据播放所述3D数据的方法来选择在所述网格对象中存储的一个或多个所述第一属性或在所述扩展中存储的一个或多个所述第二属性。

(10)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个节点中指定第一扩展和第二扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一特性属性与所述第一扩展相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二特性属性与所述第二扩展相关联,以及

所述文件处理单元根据播放所述3D数据的方法来选择与所述第一扩展相关联的一个或多个所述第一特性属性或与所述第二扩展相关联的一个或多个所述第二特性属性。

(11)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个节点中指定所述扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一特性属性与所述节点相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二特性属性与所述扩展相关联,以及

所述文件处理单元根据播放所述3D数据的方法来选择与所述节点相关联的一个或多个所述第一特性属性或与所述扩展相关联的一个或多个所述第二特性属性。

(12)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个节点中指定第一扩展和第二扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一属性与所述第一扩展相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二属性与所述第二扩展相关联,以及

所述文件处理单元根据播放所述3D数据的方法来选择与所述第一扩展相关联的一个或多个所述第一属性或与所述第二扩展相关联的一个或多个所述第二属性。

(13)根据项(1)所述的信息处理装置,

其中,在所述场景描述的一个节点中指定所述扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一属性与所述节点相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二属性与所述扩展相关联,以及

所述文件处理单元根据播放所述3D数据的方法来选择与所述节点相关联的一个或多个所述第一属性或与所述扩展相关联的一个或多个所述第二属性。

(14)一种信息处理方法,所述信息处理方法包括:基于在场景描述中指定的扩展来选择与播放3D数据的方法对应的属性,以及通过使用所选属性的所述播放方法来处理所述3D数据。

(21)一种信息处理装置,包括:

文件处理单元,所述文件处理单元从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,以及通过使用作为所选替选数组的元素的属性的所述播放方法来处理所述3D数据。

(22)根据项(21)所述的信息处理装置,

其中,在所述场景描述的一个基元中指定扩展,

在所述扩展中指定第一替选数组和第二替选数组,

所述第一替选数组具有与播放所述3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素,以及

所述第二替选数组具有与播放所述3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素,以及

所述文件处理单元

在应用所述第一播放方法的情况下,选择所述第一替选数组,并通过使用一个或多个第一属性的所述第一播放方法来处理所述3D数据,以及

在应用所述第二播放方法的情况下,选择所述第二替选数组,并通过使用一个或多个第二属性的所述第二播放方法来处理所述3D数据。

(23)根据项(21)所述的信息处理装置,

其中,在所述场景描述的一个网格对象中指定扩展,

在所述扩展中指定第一替选数组和第二替选数组,

所述第一替选数组具有与播放所述3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素,以及

所述第二替选数组具有与播放所述3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素,以及

所述文件处理单元进行如下操作:

在应用所述第一播放方法的情况下,选择所述第一替选数组,并通过使用一个或多个第一属性的所述第一播放方法来处理所述3D数据,以及

在应用所述第二播放方法的情况下,选择所述第二替选数组,并通过使用一个或多个第二属性的所述第二播放方法来处理所述3D数据。

(24)根据项(21)所述的信息处理装置,

其中,在所述场景描述的一个节点中指定扩展,在所述扩展中指定第一替选数组和第二替选数组,

所述第一替选数组具有与对应于播放所述3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素,以及

所述第二替选数组具有与对应于播放所述3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素,以及

所述文件处理单元进行如下操作:

在应用所述第一播放方法的情况下,选择所述第一替选数组,并通过使用一个或多个第一属性的所述第一播放方法来处理所述3D数据,以及

在应用所述第二播放方法的情况下,选择所述第二替选数组,并通过使用一个或多个第二属性的所述第二播放方法来处理所述3D数据。

(25)一种信息处理方法,包括:

从在场景描述中指定的替选数组中选择与播放3D数据的方法对应的替选数组,以及通过使用作为所选替选数组的元素的属性的所述播放方法来处理所述3D数据。

(31)一种信息处理装置,还包括:

文件生成单元,所述文件生成单元生成存储有扩展的场景描述文件,所述扩展用于识别播放3D数据的每个方法的属性。

(32)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个基元中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性。

(33)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个基元中指定所述扩展,

在所述基元中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性。

(34)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个基元中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性。

(35)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个基元中指定所述扩展,

在所述基元中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性。

(36)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个网格对象中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性。

(37)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个网格对象中指定所述扩展,

在所述网格对象中存储与播放所述3D数据的第一方法对应的一个或多个第一特性属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二特性属性。

(38)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个网格对象中指定第一扩展和第二扩展,

在所述第一扩展中存储与播放所述3D数据的第一方法对应的一个或多个第一属性,以及

在所述第二扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性。

(39)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个网格对象中指定所述扩展,

在所述网格对象中存储与播放所述3D数据的所述第一方法对应的一个或多个第一属性,以及

在所述扩展中存储与播放所述3D数据的第二方法对应的一个或多个第二属性。

(40)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个节点中指定第一扩展和第二扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一特性属性与所述第一扩展相关联,以及

在所述第二扩展中关联与播放所述3D数据的第二方法对应的一个或多个第二特性属性。

(41)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个节点中指定所述扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一特性属性与所述节点相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二特性属性与所述扩展相关联。

(42)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个节点中指定第一扩展和第二扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一属性与所述第一扩展相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二属性与所述第二扩展相关联。

(43)根据项(31)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个节点中指定所述扩展,

将与播放所述3D数据的第一方法对应的一个或多个第一属性与所述节点相关联,以及

将与播放所述3D数据的第二方法对应的一个或多个第二属性与所述扩展相关联。

(44)一种信息处理方法,包括:

生成存储有扩展的场景描述文件,所述扩展用于识别用于播放3D数据的每个方法的属性。

(51)一种信息处理装置,包括:

文件生成单元,所述文件生成单元生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与所述彼此相同的播放3D数据的方法对应的属性作为元素。

(52)根据项(51)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个基元中指定扩展,

在所述扩展中存储第一替选数组,所述第一替选数组具有与播放所述3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素,以及

还在所述扩展中存储第二替选数组,所述第二替选数组具有与播放所述3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

(53)根据项(51)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个网格对象中指定扩展,

在所述扩展中存储第一替选数组,所述第一替选数组具有与播放所述3D数据的第一方法对应的一个或多个第一属性中的每个第一属性作为元素,以及

还在所述扩展中存储第二替选数组,所述第二替选数组具有与播放所述3D数据的第二方法对应的一个或多个第二属性中的每个第二属性作为元素。

(54)根据项(51)所述的信息处理装置,

其中,所述文件生成单元进行如下操作:

在所述场景描述文件的一个节点中指定扩展,

在所述扩展中存储第一替选数组,所述第一替选数组具有与对应于播放所述3D数据的第一方法的一个或多个第一属性中的每个第一属性相关联的元素,以及

还在所述扩展中存储第二替选数组,所述第二替选数组具有与对应于播放所述3D数据的第二方法的一个或多个第二属性中的每个第二属性相关联的元素。

(55)一种信息处理装置

所述信息处理装置生成存储有多个替选数组的场景描述文件,所述多个替选数组具有与所述彼此相同的播放3D数据的方法对应的属性作为元素。

附图标记列表

300 文件生成装置

301 控制单元

302 文件生成处理单元

311 输入单元

312 预处理单元

313 编码单元

314 文件生成单元

315 记录单元

316 输出单元

400 客户端装置

401 控制单元

402 客户端处理单元

411 文件获取单元

412 文件处理单元

413 解码单元

414 显示信息生成单元

415 显示单元

416 显示控制单元

相关技术
  • 信息处理装置及信息处理装置的控制方法
  • 信息处理装置、信息处理装置中的方法和存储介质
  • 信息处理装置、喷墨记录装置和信息处理方法
  • 信息处理装置、信息处理装置的控制方法和存储介质
  • 装置、信息处理装置、程序和信息处理方法
  • 校正系统、信息处理系统、机器人控制系统、校正方法、信息处理方法、机器人控制方法、校正程序、信息处理程序、校正装置、信息处理装置以及机器人控制装置
  • 信息处理方法、用于使计算机实施该信息处理方法的程序、实施该信息处理方法的信息处理装置及信息处理系统
技术分类

06120116483645