掌桥专利:专业的专利平台
掌桥专利
首页

在数字图形环境中生成外观响应材料贴图集合的神经网络

文献发布时间:2024-04-18 19:58:30


在数字图形环境中生成外观响应材料贴图集合的神经网络

技术领域

本公开总体涉及机器学习领域,并且更具体地涉及用于生成材料数据的神经网络。

背景技术

数字图形环境可以包括具有各种表面或外观的多个图形对象。例如,诸如计算机实现的游戏的交互式虚拟环境可以包括在图形环境中查看或交互的图形对象,诸如由用户或附加计算系统进行的虚拟交互。示例图形对象可以具有特定外观和纹理的各种材料,例如木材、金属、毛皮、草、皮革或具有各种表面的其他材料。在一些情况下,例如对于交互式计算机实现的游戏环境,期望图形对象具有高逼真度,诸如响应于计算机实现的游戏环境中的改变(诸如,周围虚拟照明的改变)的逼真外观。在一些情况下,当用户调整游戏中的视点或利用计算机实现的环境执行其他活动时,期望图形对象高度响应用户活动,诸如具有逼真纹理外观的快速绘制。

用于生成高度逼真图形对象的现有技术包括使用预计算的材料贴图(“map”),例如多级渐远纹理(“mipmap”)或其他类型的缩小材料贴图,以基于计算机实现的数字图形环境内的图形对象与视点之间的距离来绘制图形对象的纹理或其他外观。然而,当代生成材料贴图的技术包括在大小或细节上的朴素缩减,例如以顺序降低的分辨率计算的材料贴图集合。经由当代技术生成的多个预计算材料贴图集合可以包括不保留针对材料贴图的源材料数据的可视化特征的材料数据。

发明内容

根据某些实施例,外观响应材料贴图生成系统基于源材料数据中描述的材料的外观来生成材料贴图集合。包括在外观响应材料贴图生成系统中的神经网络被训练以标识特定源材料数据的特征,诸如对利用源材料数据中描述的材料所绘制的图形对象的高度逼真外观有贡献的特征。在一些情况下,经训练的神经网络接收包括至少一个源材料贴图的源材料数据作为输入。基于为特定源材料数据标识的特征,外观响应材料贴图生成系统创建针对特定源材料数据的相应的外观响应材料贴图集合。在一些情况下,外观响应绘制贴图集合被布置为材料贴图的不一致金字塔(“pyramid”)。

提及这些说明性实施例不是为了限制或限定本公开,而是为了提供示例以帮助理解本公开。在具体实施方式中讨论了附加实施例,并且其中提供了进一步的描述。

附图说明

当参考附图阅读以下具体实施方式时,会更好地理解本公开的特征、实施例和优点,其中:

图1是根据某些实施例,描述其中绘制三维图形对象的计算环境的示例的图示;

图2是根据某些实施例,描述包括外观响应材料贴图生成系统的计算环境的示例的图示;

图3是根据某些实施例,描述用于生成外观响应材料贴图集合的过程的示例的流程图;

图4是根据某些实施例,描述训练计算系统的示例的图示,其中材料贴图生成神经网络被训练以生成一个或多个外观响应材料贴图集合;以及

图5是根据某些实施例,描述被配置为生成外观响应材料贴图集合的计算系统的示例的图示。

具体实施方式

如上所述,用于生成材料贴图的现有技术包括材料贴图集合的朴素预计算,例如以特定分辨率集合预计算的材料贴图集合。在一些情况下,材料贴图的朴素预计算基于特定的分辨率集合在特定表面区域提供外观保留。当代预计算的材料贴图集合的示例是多级渐远纹理金字塔。在当代的多级渐远纹理金字塔中,表示图形对象的表面外观的材料贴图在大小和细节上以特定的分辨率降低序列降低,例如第一多级渐远纹理以全分辨率、第二多级渐远纹理以半分辨率、第三多级渐远纹理以四分之一分辨率以及附加多级渐远纹理以附加顺序分辨率降低。生成材料贴图集合的当代技术可以执行预定的分辨率降低序列,例如降低50%、降低80%等。此外,生成材料贴图集合的当代技术可以执行预定数量的分辨率降低以生成特定数量的材料贴图,例如具有13层的多级渐远纹理金字塔(例如,根据预定的分辨率降低序列生成的13张贴图)。在一些情况下,生成材料贴图集合的当代技术以预定的分辨率降低序列保留表面外观,而不考虑所保留的外观是否对利用预计算的材料贴图所绘制的图形对象的高度逼真外观有贡献。

然而,用于生成材料贴图的现有技术不会提供响应于所表示的纹理的外观的材料贴图。用于生成材料贴图的现有技术也不会向材料贴图集合提供响应于所表示的纹理的外观的一定数量的贴图(例如,金字塔层)。本文描述的某些实施例提供了基于源材料数据中描述的纹理的外观来生成材料贴图集合的外观响应材料贴图生成系统。包括在外观响应材料贴图生成系统中的神经网络被训练为标识特定源材料数据的特征,诸如对利用来自源材料数据的纹理所绘制的图形对象的高度逼真外观有贡献的特征。在一些情况下,经训练的神经网络标识包括在源材料数据中的、各种源材料贴图之间不同的特征。基于针对每个特定源材料贴图标识的特征,外观响应材料贴图生成系统创建针对该特定源材料贴图的相应的外观响应材料贴图集合。在各种源材料贴图中,相应的外观响应材料贴图集合可以具有从源贴图提取的不同材料数据、不同的贴图大小、不同数量的贴图或响应于源材料贴图的相应外观的其他变型。在一些情况下,与在预计算表面区域提供朴素外观保留的当代材料贴图相比,由外观响应材料贴图生成系统生成的多个外观响应材料贴图集合提供了绘制对象的改进外观。此外,由外观响应材料贴图生成系统生成的外观响应材料贴图集合在利用与当代预计算的材料贴图集合所使用的资源类似的计算资源的同时,提供绘制对象的改进外观。例如,与使用当代材料贴图集合绘制对象相比,实现图形环境的计算设备可以使用外观响应材料贴图集合来绘制具有改进的可视化外观的图形对象。此外,外观响应材料贴图集合可以利用与当代材料贴图集合相比类似或减少的计算资源,例如用于存储、处理能力,或者被配置为利用材料贴图集合来绘制图形对象的专用计算组件(例如,图形处理单元,“GPU”)的计算资源。在一些情况下,外观响应材料贴图集合使示例计算设备能够在利用类似或减少的计算资源的同时,提供具有改进外观的绘制图形对象。

提供以下示例以介绍本公开的某些实施例。外观响应材料贴图生成系统接收源材料贴图组。源材料贴图可以包括粗糙度、金属色泽、反照率、法线、位移的材料数据,或描述图形环境中纹理外观的其他类型的数据。外观响应材料贴图生成系统向经训练的材料贴图生成神经网络提供源材料贴图给。经训练的材料贴图生成神经网络被配置为在源材料贴图中标识对利用源材料所绘制的图形对象的逼真可视化外观有贡献的特征。通过基于所标识的特征来修改来自源材料贴图的输入材料数据,经训练的材料贴图生成神经网络生成输出材料数据。例如,输出材料数据可以是作为来自输入材料数据的附加数据元素的组合的数据元素(例如,像素、纹素、矢量值)。此外,该组合可以由所标识的特征来描述,诸如描述输入材料数据中的数据元素之间的关系的特征。

继续该示例,外观响应材料贴图生成系统使用从经训练的材料贴图生成神经网络接收的输出材料数据来生成外观响应材料贴图集合。外观响应材料贴图集合包括具有各种分辨率、大小、反射率、颜色或其他材料数据特性的多个材料贴图。在一些情况下,外观响应材料贴图集合被布置为金字塔,例如金字塔层具有相异或不同关系的不一致金字塔。例如,外观响应材料贴图生成系统可以生成外观响应材料贴图的不一致金字塔,金字塔中包括在特定层中的材料数据(例如,基于源材料贴图的所标识的特征来确定)跨金字塔的各个层以不一致的量改变。

示例外观响应材料贴图生成系统向绘制引擎提供外观响应材料贴图集合,诸如由附加计算系统实现的绘制引擎。例如,由实现诸如游戏环境的交互式图形环境的计算设备接收外观响应材料贴图集合。由计算设备实现的绘制引擎基于外观响应材料贴图集合来绘制图形对象。此外,绘制引擎将图形对象绘制为具有由外观响应材料贴图集合描述的表面纹理。计算设备在交互式图形环境内提供所绘制的图形对象,使得计算设备的用户可以查看所绘制的图形对象或以其他方式与之交互。

在一些实施例中,外观响应材料贴图集合包括对所绘制的图形对象的高度逼真外观有贡献的材料数据。此外,外观响应材料贴图集合省略了对所绘制的图形对象的高度逼真外观没有贡献的材料数据(例如,来自源材料贴图)。例如,外观响应材料贴图集合可以省略在所绘制的图形对象中生成可视化伪像或其他劣质可视化特性的材料数据,例如扭曲、锯齿状边缘或其他类型的可视化伪像。在一些情况下,与当代材料贴图集合相比,外观响应材料贴图集合为在计算机实现的图形环境中绘制图形对象提供了等效或改进的绘制质量。附加地或备选地,基于外观响应材料贴图集合来绘制图形对象生成具有更高质量可视化外观的3D图形对象,同时与使用当代材料贴图集合绘制相比消耗类似的计算资源。例如,接收外观响应绘制贴图集合的GPU或其他计算组件可以在利用与利用当代贴图绘制相比类似的存储器、处理能力或其他计算资源的同时,绘制具有改进的可视化外观的图形对象。在一些情况下,与具有以预定的分辨率降低序列朴素选择的材料数据(其可能对图形对象的逼真外观有贡献也可能没有贡献)的当代材料贴图集合相比,外观响应材料贴图集合包括由神经网络标识的、对图形对象的高度逼真外观有贡献的材料数据。

本文描述的某些实施例提供了对材料贴图生成系统的改进。例如,本文描述的材料贴图生成神经网络通过应用描述输入材料数据中的数据元素(例如,像素、纹素、矢量值)之间的关系的特定规则来标识输入材料数据(例如,源材料贴图)的特征。附加地或备选地,本文描述的外观响应材料贴图生成系统通过将附加的特定规则应用于输出由材料贴图生成神经网络提供的材料数据,来生成外观响应材料贴图集合。在一些情况下,材料贴图生成神经网络或外观响应材料贴图生成系统对这些规则的应用实现了改进的技术结果,例如通过生成紧凑地表示对绘制具有高度逼真外观的图形对象有贡献的材料数据并且省略对图形对象的高度逼真外观没有贡献的材料数据的外观响应材料贴图集合来实现改进的技术结果。附加地或备选地,这些规则的应用改进了计算系统的功能,例如通过使实现图形环境的计算设备能够更有效地以高度逼真的外观绘制图形对象。

现在参考附图,图1是其中绘制三维(“3D”)图形对象的计算环境的示例,诸如3D绘制计算环境100。3D绘制计算环境100包括图形环境计算系统105和外观响应材料贴图生成系统140。此外,3D绘制计算环境100包括被配置为实现数字图形环境的至少一个附加计算系统,诸如计算设备190。在一些情况下,图形环境计算系统105、外观响应材料贴图生成系统140、计算设备190以及一个或多个附加计算系统被配置为经由一个或多个计算网络(诸如,局域网或全球区域网)交换数据。图1描述了图形环境计算系统105、外观响应材料贴图生成系统140和计算设备190之间的通信连接,例如网络连接,但是其他实现也是可能的。例如,图形环境计算系统可以包括外观响应材料贴图生成系统或以其他方式处理用于外观响应材料贴图生成系统的通信,使附加计算设备经由图形环境计算系统从外观响应材料贴图生成系统接收数据。

在一些实施例中,计算设备190或一个或多个附加计算系统被配置为基于从图形环境计算系统105接收(或提供给图形环境计算系统105)的信息来实现数字图形环境。例如,图形环境计算系统105被配置为提供用于实现交互式游戏环境、教育模拟环境、艺术协作环境或其他类型的数字图形环境的数据。在一些情况下,计算设备190基于从图形环境计算系统105接收的数据来实现数字图形环境(或其中的部分)。例如,计算设备190配置至少一个显示设备195来显示描述数字图形环境(或其本地实例)的图像数据。附加地或备选地,计算设备190的用户可以经由对至少一个用户界面设备193的输入与数字图形环境交互。在一些情况下,计算设备190生成描述数字图形环境内的用户数据对象(例如,计算机实现的角色)的视点(例如,位置、视角、旋转)的视点数据113。例如,计算设备190响应于经由用户界面设备193提供的输入,诸如在数字图形环境内移动用户数据对象(或由其执行其他动作)的输入,生成或修改视点数据113。

在图1中,计算设备190包括绘制引擎180。绘制引擎180被配置为在数字图形环境内绘制一个或多个图形对象,使得可以经由显示设备195显示绘制对象。在一些情况下,绘制引擎180执行与绘制图形对象的外观相关的计算,并且计算设备190(或它的其他子模块)执行与数字图形环境的附加方面相关的附加计算,诸如响应于用户输入来计算视点数据113。附加地或备选地,绘制引擎180基于从图形环境计算系统105接收的数据(诸如图形数据110的至少部分)来绘制图形对象。在一些情况下,图形数据110包括用于在数字图形环境内绘制图形对象的数据。例如,图形数据110包括描述一个或多个3D图形对象115的数据。附加地或备选地,图形数据110包括描述一个或多个源材料数据120的数据,诸如描述3D图形对象115的相应纹理(例如,可视化外观)的材料数据。在一些情况下,图形环境计算系统105在图形数据110中包括视点数据113a,诸如数据视点数据113的本地副本,例如从计算设备190接收。

在一些实施例中,基于在3D绘制计算环境100中包括的计算系统或计算设备之间交换的信息来实现数字图形环境。例如,响应于接收视点数据113a,图形环境计算系统105可以标识用户数据对象正在接近3D图形对象115中的特定一个3D图形对象,诸如3D图形对象115a。图形环境计算系统105向计算设备190提供描述3D图形对象115a的数据,诸如3D图形对象115a的位置、形状、交互能力或其他特性。

附加地或备选地,计算设备190接收描述3D图形对象115a(诸如,外观响应材料贴图集合160)的纹理的数据。外观响应材料贴图集合160包括经由外观响应材料贴图生成系统140生成的一个或多个材料贴图。例如,包括在外观响应材料贴图生成系统140中的材料贴图生成神经网络130被训练为标识源材料贴图120中的一个或多个源材料贴图的特征,诸如有助于3D图形对象115a的可视化外观的特征。附加地或备选地,外观响应材料贴图生成系统140基于所标识的特征来生成外观响应材料贴图集合160,诸如通过使用由所标识的特征描述的关系来组合来自源材料数据120的材料数据。在一些情况下,外观响应材料贴图集合160包括描述不同可见度尺度的材料的贴图,诸如在数字图形环境内的各种距离处的可见度。例如,如果用户在相对近的距离(诸如,由视点数据113指示)查看3D图形对象115a,则3D图形对象115a包括相对高的细节尺度,诸如描述对象表面上的细微凹陷或凸起的所显示的图像数据。附加地或备选地,如果用户在相对远的距离处查看3D图形对象115a,则3D图形对象115a包括相对低的细节尺度,例如描述对象表面上没有太多可见变化的相对均匀外观的所显示的图像数据。

在一些情况下,计算设备190从图形环境计算系统105接收外观响应材料贴图集合160。例如,图形环境计算系统105可以响应于标识(例如,基于视点数据113a)用户数据对象在数字图形环境中的3D图形对象115a的阈值距离内,而向计算设备190提供贴图集合160。附加地或备选地,计算设备190从外观响应材料贴图生成系统140接收外观响应材料贴图集合160。例如,系统140可以响应于从图形环境计算系统105接收的数据,向计算设备190提供贴图集合160。

在图1中,计算设备190基于外观响应材料贴图集合160生成或修改数字图形环境的一个或多个部分。例如,绘制引擎180使用贴图集合160来绘制3D图形对象115a,使得所绘制的3D图形对象115a具有由贴图集合160描述的可视化外观。附加地或备选地,计算设备190使显示设备195例如在数字图形环境的显示部分内显示所绘制的3D图形对象115a。在一些情况下,计算设备190基于与数字图形环境相关的附加数据来修改所绘制的3D图形对象115a。例如,如果用户与所绘制的3D图形对象115a交互,例如经由提供给用户界面设备193的输入,则绘制引擎180可以修改所绘制的3D图形对象115a以具有也由贴图集合160描述的经修改的可视化外观。作为示例修改,如果所绘制的3D图形对象115a是描述虚拟球的数据对象,则绘制引擎180可以响应于指示用户已经将球数据对象扔得离用户数据对象更远的交互数据(例如,描述投掷活动的交互数据)来修改所绘制的3D图形对象115a以具有较少细节的外观。在该示例中,基于球数据对象与用户数据对象之间的距离增加来降低在球数据对象上可见的细节尺度。

在一些实现中,外观响应材料贴图生成系统包括材料贴图生成神经网络,其被配置为在一个或多个源材料贴图中标识对图形对象的高质量(例如,逼真)可视化外观有贡献的特征。在一些情况下,材料贴图生成神经网络被配置为基于输入材料数据(例如,包括源材料贴图组的源材料数据)来标识特征。附加地或备选地,材料贴图生成神经网络被配置为基于所标识的特征来输出外观响应材料贴图集合的材料数据。在一些情况下,输出材料数据被布置为金字塔,例如其中金字塔层(例如,贴图)具有诸如降低贴图分辨率的一般关系的材料贴图集合。例如,可以将输出材料数据布置为金字塔,其中最高分辨率层具有4096×4096个数据元素(例如,像素、纹素、矢量值)的大小,次高分辨率层具有2048×2048个数据元素的大小,并且附加层具有附加大小。在一些情况下,输出的外观响应材料贴图集合被布置为不一致金字塔,其中金字塔层包括具有相异或不同关系的材料数据,例如,包括来自源材料贴图的材料数据的各种组合的外观响应材料贴图。附加地或备选地,基于源材料贴图的所标识的特征来选择材料数据的组合,使得外观响应材料贴图集合中的输出材料数据在各层内或各层之间具有不一致的关系。在该示例中,外观响应材料贴图可以被布置为不一致金字塔,其不同于被布置为一致金字塔的传统贴图集合。例如,一致金字塔中的材料数据可以基于顺序分辨率降低(例如,全分辨率、降低一半、降低四分之一等)的预定关系或不考虑源材料数据的特征的其他类型的预定关系来选择。

图2描述了计算环境200的示例,其中外观响应材料贴图生成系统240被配置为生成外观响应材料贴图集合260。计算环境200包括外观响应材料贴图生成系统240和绘制引擎280。在一些实施例中,外观响应材料贴图生成系统240被包括在一个或多个附加计算系统中,或者被配置为与之通信。例如,外观响应材料贴图生成系统240能够与3D绘制计算环境中的一个或多个附加计算系统通信,例如图形环境计算系统105或计算设备190。

图2将绘制引擎280描述为与外观响应材料贴图生成系统240通信地耦合的计算模块,但是其他实现也是可能的。例如,外观响应材料贴图生成系统240可以向包括绘制引擎的附加计算系统提供外观响应材料贴图集合260,诸如被配置为实现数字图形环境的计算系统(例如,计算设备190、图形环境计算系统105)。

在计算环境200中,外观响应材料贴图生成系统240包括材料贴图生成神经网络230,其被配置为标识对图形对象的可视化外观有贡献的输入材料数据的特征。在一些情况下,经由训练或重新训练过程来配置材料贴图生成神经网络230。附加地或备选地,外观响应材料贴图生成系统240基于由材料贴图生成神经网络230标识的特征来生成外观响应材料贴图集合260。在一些情况下,这些特征标识对所绘制的图形对象(诸如,由绘制引擎280绘制的3D图形对象)的高质量可视化外观有贡献的输入材料数据的特性。

在图2中,外观响应材料贴图生成系统240接收源材料数据,例如源材料数据220。源材料数据220包括描述可视化表面外观特性(诸如,粗糙度、反照率、金属色泽、法线、位移或可视化外观的其他特性)的一个或多个源材料贴图。在源材料数据220中,源材料贴图中的每个源材料贴图是包括材料数据的数据对象。例如,源材料数据220中的源法线贴图222是具有描述表面法线的值的源贴图数据对象,诸如描述指示所描述的表面纹理中的变化的垂直向量的数据值。附加地或备选地,源材料数据220中的源反照率贴图224是具有描述反照率的值的源贴图数据对象,诸如描述所描述的表面纹理的反射率的数据值。例如,如果源材料数据220表示皮革表面,则源法线贴图222和源反照率贴图224可以指示表面法线的相对较高的变化和相对较低的反照率,指示皮革表面具有许多变化(例如,皱纹、裂缝)并且不反射太多光。作为附加示例,如果源材料数据220表示金属表面,则源法线贴图222和源反照率贴图224可以指示表面法线的相对较低的变化和相对较高的反照率,指示金属表面平滑并且变化很少并且反射大量光。在一些情况下,源贴图222或224中的一个或多个源贴图可以包括指示数学数据、图像数据或其他类型的材料数据的数据值,包括不旨在用于人类解释的材料数据(例如,在绘制图形对象之前)。

图2将源材料数据220描述为包括源法向贴图222和源反照率贴图224,但是其他实现也是可能的,例如用于粗糙度、金属色泽、位移或其他可视化外观特性的附加源材料贴图。在一些情况下,源材料数据包括一个源贴图,例如源反照率贴图。附加地或备选地,源材料数据包括多个源贴图,诸如描述粗糙度、反照率、金属色泽、法线、位移或其他可视化外观特性的两个或更多个材料贴图的组合。

在一些实现中,外观响应材料贴图生成系统240从诸如参考图1描述的图形环境计算系统105的附加计算系统接收源材料数据220。在一些情况下,所接收的源材料数据220是包括在附加计算系统中的附加材料数据的部分。例如,附加计算系统可以维护被布置为材料贴图的一致金字塔的材料数据,其中每一层与附加层具有预定关系。附加地或备选地,外观响应材料贴图生成系统240接收一致金字塔的特定层,诸如高分辨率法线贴图(例如,源法线贴图222)或高分辨率反照率贴图(例如,源反照率贴图224)。在一些情况下,外观响应材料贴图生成系统240从材料贴图的一致金字塔的高分辨率层生成外观响应材料贴图集合260,而不利用来自一致金字塔的附加层。

在外观响应材料贴图生成系统240中,材料贴图生成神经网络230接收源材料数据220作为输入材料数据。在一些实施例中,材料贴图生成神经网络230是经训练的神经网络,例如完全连接的多层感知器或另一适合类型的神经网络。在一些情况下,材料贴图生成神经网络230包括多个神经网络的组合,诸如分开训练或一起训练的多个子网络。材料贴图生成神经网络230被配置为接收输入材料数据,诸如一个或多个源材料贴图。附加地或备选地,材料贴图生成神经网络230被配置为标识对3D图形对象的可视化外观有贡献的输入材料数据的特征。例如,材料贴图生成神经网络230从贴图222和224标识对使用贴图222和224所绘制的图形对象的可视化外观有贡献的特征。在一些情况下,材料贴图生成神经网络230被训练为基于诸如3D图形对象的高质量绘制的基准真相(“groundtruth”)对象来标识特征。例如,在训练或重新训练期间,外观响应材料贴图生成系统240接收所绘制的3D图形对象,诸如从绘制引擎280接收的训练对象。附加地或备选地,外观响应材料贴图生成系统240(或材料贴图生成神经网络230)来计算一个或多个差异值,诸如通过将训练对象与基准真相对象进行比较。基于所计算的差异值,材料贴图生成神经网络230修改神经网络的一个或多个参数,使得来自神经网络230的输出材料数据(例如,在神经网络的非训练应用期间的附加训练轮次期间)提供更接近于基准真相对象的绘制对象。

在一些情况下,材料贴图生成神经网络230标识特定于由输入材料数据描述的纹理类型的特征。继续皮革表面和金属表面的示例,如上所述,材料贴图生成神经网络230可以标识对特定表面(例如皮革或金属)的可视化外观有贡献的特定特征。在这些示例的上下文中,材料贴图生成神经网络230可以标识相对于金属和皮革表面的材料数据不同的特征。例如,如果源材料数据220和相关联的源贴图222和224表示示例皮革表面,则材料贴图生成神经网络230可以标识指示表面法线的相对大量变化和相对低反照率的特征,例如具有给出皮革纹理中的皱纹外观的细微阴影或高光的非反射表面。作为附加示例,如果源材料数据220和相关联的源贴图222和224表示示例金属表面,则材料贴图生成神经网络230可以标识指示表面法线的相对少量变化和相对较高反照率的特征,例如给出金属纹理外观的平滑和高反射表面。在一些情况下,标识特定于由输入材料数据(例如,皮革、金属)描述的纹理的特征可以提供对图形对象绘制技术的一个或多个改进,诸如改进图形对象的可视化外观或改进执行绘制的计算系统的效率。例如,在图2中,外观响应材料贴图集合260包括由所标识的特征描述的材料数据。附加地或备选地,贴图集合260省略未由所标识的特征描述的材料数据。在一些情况下,外观响应材料贴图集合260比当代材料贴图集合更紧凑(例如,需要更少的计算存储资源),例如具有朴素预计算的材料数据的当代贴图。

在图2中,外观响应材料贴图生成系统240基于由材料贴图生成神经网络230标识的特征来生成或修改外观响应材料贴图集合260。例如,材料贴图生成神经网络230提供与所标识的特征相关联的材料数据作为输出,诸如从源法线和反照率贴图222和224中作为子集选择材料数据集合。附加地或备选地,材料贴图生成神经网络230标识与特定的所标识的特征相关联的特定数据元素。特定数据元素可以是像素、像素补丁、纹素、纹素补丁或其他适合类型的材料数据。在一些情况下,特定数据元素基于来自输入材料数据的附加数据元素的组合。例如,材料贴图生成神经网络230可以生成输出纹素,其是来自贴图222和224的多个输入纹素的加权平均,其中权重使用所标识的特征中的一个或多个特征而被计算。

在图2中,材料贴图生成神经网络230提供特定数据元素作为输出。附加地或备选地,外观响应材料贴图生成系统240使用来自材料贴图生成神经网络230的输出材料数据来生成(或修改)外观响应材料贴图集合260。例如,外观响应材料贴图生成系统240生成外观响应材料贴图集合260,包括贴图260a、贴图260b和贴图260c。贴图260a与第一细节等级相关联,诸如在使用贴图260所绘制的图形对象与数字图形环境中的视点之间的相对较短距离处可见(例如,经由用户界面显示)的细节等级。贴图260b与第二细节等级相关联,诸如在图形对象与视点之间的中间距离处可见的细节等级。贴图260c与第三细节等级相关联,诸如在图形对象与视点之间的相对较长距离处可见的细节等级。在一些情况下,外观响应材料贴图集合260包括描述不同可见度尺度的材料的贴图,诸如大尺度(例如,在数字图形环境中的相对较短距离处可见)、小尺度(例如,在相对较长距离处可见)、以及在其间的附加尺度(例如,在一个或多个中间距离处可见)。

在一些情况下,基于指示细节等级的附加信息,例如指示近视点、中视点或远视点的距离或视点数据,生成外观响应材料贴图集合260。可以由外观响应材料贴图生成系统240从附加计算系统接收附加信息,例如来自计算设备190的视点数据113。附加地或备选地,由外观响应材料贴图生成系统240存储附加信息,诸如指示外观响应材料贴图集合260中的贴图的数量的默认距离值集合。图2将外观响应材料贴图集合260描述为包括三个贴图260a至260c,但是其他实现也是可能的,例如具有更多或更少贴图的外观响应材料贴图集合。

在外观响应材料贴图生成系统240中,外观响应材料贴图集合260被布置为金字塔,例如不一致金字塔。例如,外观响应材料贴图集合260被布置为不一致金字塔,其中金字塔层(例如,贴图260a至260c)具有不一致的关系。在贴图集合260中,贴图260a是具有基于由材料贴图生成神经网络230标识的第一特征集合的第一材料数据的第一层。贴图260b是具有基于由材料贴图生成神经网络230标识的第二特征集合的第二材料数据的第二层。贴图260c是具有基于由材料贴图生成神经网络230标识的第三特征集合的第三材料数据的第三层。第一、第二和第三材料数据中的每个材料数据可以从来自源贴图222或224的特定贴图中的材料数据中选择。附加地或备选地,第一、第二和第三材料数据中的每个材料数据可以从源法线和反照率贴图222和224的组合中的材料数据中选择。在一些情况下,外观响应材料贴图集合260被布置为不一致金字塔,其中金字塔层具有不一致关系的材料数据。例如,贴图集合260可以具有多个关系,其中贴图260b中的第二材料数据是贴图260a中的第一材料数据的加权平均,而贴图260c中的第三材料数据是贴图260b中的第二材料数据的子集(例如,仅反照率数据)的附加(例如,不同)加权平均。附加地或备选地,贴图集合260可以具有多种关系,其中贴图260a中的第一材料数据是大约相等部分的正常数据和反照率数据的组合,贴图260b中的第二材料数据是大约25%的正常数据和大约75%的反照率数据的组合,并且贴图260c中的第三材料数据是大约100%的反照率数据,而很少或没有正常数据。贴图集合260中的材料数据或层的附加不一致关系可能是适合的。

在一些实施例中,外观响应材料贴图集合260是不一致金字塔,其包括与贴图的一致金字塔(例如,从中提取源贴图222和224的一致金字塔)中相同数量的层的层数量。附加地或备选地,外观响应材料贴图集合260是不一致金字塔,其中每层具有与贴图的一致金字塔的相应对应层相同的大小(例如,相同高度、相同宽度)。在一些情况下,具有与一致贴图集合相同层数量或具有相同大小的层的金字塔布置的外观响应材料贴图集合提供了被配置为绘制图形对象的计算系统的改进操作。

在图2中,外观响应材料贴图生成系统240向绘制引擎280提供外观响应材料贴图集合260。基于所接收的贴图集合260,绘制引擎280绘制一个或多个3D图形对象。例如,绘制引擎280绘制经由诸如图形环境计算系统105或计算设备190的附加计算系统实现的数字图形环境中包括的一个或多个3D图形对象。在一些情况下,绘制引擎280基于诸如描述数字图形环境内的视点距离的数据的附加数据来绘制3D图形对象。视点距离例如被包括在由计算设备190(或图形环境计算系统105)生成的视点数据113(或113a)中。在一些情况下,绘制引擎280基于与3D图形对象相关联的视点距离来选择贴图260a至260c中的特定一个贴图或其组合用于绘制技术。例如,响应于确定到3D图形对象的视点距离是相对较近的视点距离,绘制引擎280选择贴图260a来绘制3D图形对象。响应于确定到3D图形对象的视点距离分别是中等视点距离或相对较远的视点距离,绘制引擎280分别选择贴图260b或贴图260c来绘制3D图形对象。在一些情况下,绘制引擎选择贴图260a至260c的组合用于绘制技术。例如,响应于确定到3D图形对象的视点距离在相对较近和中等视点距离之间的中间范围内,绘制引擎生成例如贴图260a和贴图260b的三线性组合,并且利用该三线性组合来绘制3D图形对象。

在一些情况下,与利用当代材料贴图集合进行绘制相比,外观响应材料贴图集合260改进了绘制对象的外观并且提高了绘制计算系统的效率。例如,基于外观响应材料贴图集合260,绘制引擎280可以利用与对象外观相关的材料数据(例如,皮革对象的皮革相关材料数据或金属对象的金属相关材料数据)以更高的精度绘制3D图形对象。附加地或备选地,绘制引擎280可以基于外观响应材料贴图集合260以更高的效率来绘制3D图形对象,例如通过在对3D图形对象的精确外观有贡献的材料数据上花费计算资源(例如,处理、存储)而不在对外观没有贡献的材料数据上花费资源来绘制3D图形对象。在一些情况下,基于具有与一致贴图集相同数量和大小的层的金字塔布置的贴图集合260,外观响应材料贴图集合260改进了绘制引擎280的操作。例如,如果绘制引擎280被配置为接收包括与示例一致金字塔相同数量和大小的层的金字塔贴图集合(例如,多级渐远纹理),则绘制引擎280可以基于外观响应材料贴图集合260来产生改进的输出,例如通过基于贴图集合260中的特征选择的材料数据,以改进的效率和质量来绘制图形对象。在该示例中,绘制引擎280产生改进的输出而没有绘制引擎280的内部配置改变,从而提供具有向后兼容性的附加操作改进。

图3是描述用于生成外观响应材料贴图集合的过程300的示例的流程图。在诸如参考图1至图2描述的一些实施例中,执行外观响应材料贴图生成系统的计算设备通过执行适当的程序代码来实现图3中描述的操作。为了说明的目的,参考图1至图2中描述的示例来描述过程300。然而,其他实现也是可能的。

在框310处,过程300涉及访问源材料数据,诸如一个或多个源材料贴图的集合。在一些情况下,源材料数据包括描述针对图形对象的表面外观值的材料数据。例如,外观响应材料贴图生成系统访问描述表面法线、反照率、金属色泽、粗糙度、位移或其他可视化外观特性的至少一个源材料贴图。在一些实施例中,源材料贴图包括描述图形对象的外观的材料数据,诸如包括在数字图形环境内的3D图形对象的可视化表面外观。例如,外观响应材料贴图生成系统240接收源材料数据220。附加地或备选地,源材料数据与一个或多个图形对象相关联,诸如包括在经由图形环境计算系统105实现的数字图形环境中的图形对象。在一些情况下,外观响应材料贴图生成系统基于源材料数据来生成或接收附加材料数据。例如,外观响应材料贴图生成系统240基于源材料数据220来接收源法线贴图222和源反照率贴图224。

在框320处,过程300涉及标识源材料数据的一个或多个特征,诸如来自源材料贴图的特征组合。这些特征例如由材料贴图生成神经网络来标识,材料贴图生成神经网络被训练为标识对利用源材料数据绘制的3D图形对象的可视化外观有贡献的特征。在一些情况下,从提供给材料贴图生成神经网络的输入材料数据标识特征,例如包括一个或多个源材料贴图的输入材料数据。例如,材料贴图生成神经网络230接收源法线和反照率贴图222和224。附加地或备选地,材料贴图生成神经网络230从输入材料数据标识对利用源材料数据220所绘制的图形对象的外观有贡献的源材料数据220的特征。在一些情况下,材料贴图生成神经网络被训练为基于细节等级标识特征。例如,材料贴图生成神经网络230基于与各种视点距离(诸如,数字图形环境中的图形对象与视点之间的距离)相关联的细节等级来从输入材料数据标识特征。附加地或备选地,由材料贴图生成神经网络230提供的输出材料数据与细节等级相关联,诸如与各种贴图260a至260c相关联的视点距离(或距离范围)。在一些情况下,细节等级的特定值与数字图形环境的用户可见(例如,经由显示设备显示)的特定细节尺度相关联。

在框330处,过程300涉及由外观响应材料贴图生成系统生成外观响应材料贴图。外观响应材料贴图包括材料数据,例如与材料贴图生成神经网络所标识的特征相关联的材料数据的组合。在一些情况下,外观响应材料贴图被包括在多个外观响应材料贴图的集合中。附加地或备选地,外观响应材料贴图被包括在不一致金字塔中,例如被布置为不一致金字塔的外观响应材料贴图集合的层。例如,外观响应材料贴图生成系统240生成(或修改)外观响应材料贴图集合260中的每个贴图260a至260c。附加地或备选地,贴图260a至260c中的每个贴图包括与由材料贴图生成神经网络230标识的特征相关联的一个或多个数据元素的组合,诸如像素或纹素。在一些情况下,贴图260a至260c中的每个贴图对应于相应的细节等级,诸如与通过其标识特征的细节等级相关联的视点距离(或范围)。

在框340处,过程300涉及向绘制系统提供外观响应材料贴图,诸如被配置为绘制3D图形对象的计算系统。在一些情况下,外观响应材料贴图生成系统向绘制系统提供外观响应材料贴图,该绘制系统被包括在实现数字图形环境的计算系统中或以其他方式与之通信。在一些情况下,绘制系统可以是绘制子系统或绘制引擎。例如,外观响应材料贴图生成系统240向绘制引擎280提供外观响应材料贴图集合260给。附加地或备选地,绘制引擎280绘制一个或多个3D图形对象,使得绘制对象具有由贴图集合260描述的可视化外观。在一些情况下,绘制引擎280基于与3D图形对象相关联的视点距离来选择贴图260a至260c中的特定一个贴图或其组合用于绘制技术。在一些情况下,绘制对象被包括在数字图形环境中。例如,绘制引擎280可以向图形环境计算系统105或计算设备190中的一个或多个提供绘制对象。附加地或备选地,绘制对象可以诸如经由显示设备或其他用户界面设备被显示给数字图形环境的用户。

在框350处,过程300涉及从绘制系统接收至少一个绘制对象,诸如使用外观响应材料贴图绘制的3D图形对象。在一些情况下,在材料贴图生成神经网络的训练或重新训练阶段期间接收或以其他方式访问绘制对象。例如,外观响应材料贴图生成系统240从绘制引擎280接收使用外观响应材料贴图集合260绘制的3D图形对象。在一些情况下,绘制对象是训练对象。例如,外观响应材料贴图生成系统240在材料贴图生成神经网络230的训练阶段或重新训练阶段期间接收或访问绘制对象。

在框360处,过程300涉及计算所接收的绘制对象(诸如,训练对象)与基准真相图形对象之间的一个或多个差异值。例如,外观响应材料贴图生成系统或材料贴图生成神经网络将所接收的绘制对象与基准真相图形对象进行比较,例如通过执行所接收的对象和基准真相对象的表面外观特性的比较。所比较的表面外观特性可以包括例如颜色、亮度、反射率(例如,反照率、金属色泽)、阴影(例如,法线、粗糙度)、边缘或3D图形对象的其他可视化特性。基于该比较,外观响应材料贴图生成系统或材料贴图生成神经网络计算描述对象的表面外观特性是相似(例如,在训练阈值内)还是不相似(例如,在训练阈值外)的一个或多个差异值。例如,外观响应材料贴图生成系统240在训练阶段期间计算基准真相对象与由绘制引擎280使用外观响应材料贴图集合260生成的所绘制的3D图形对象之间的一个或多个差异值。

在框370处,过程300涉及向材料贴图生成神经网络提供一个或多个差异值。例如,外观响应材料贴图生成系统240向材料贴图生成神经网络230提供一个或多个差异值提供给。

在框380处,过程300涉及基于一个或多个差异值来修改材料贴图生成神经网络的参数。在一些情况下,材料贴图生成神经网络响应于确定差异值在训练阈值之外而修改至少一个参数,诸如确定所接收的绘制对象的特定表面外观特性与基准真相对象的对应表面外观特性不相似。例如,材料贴图生成神经网络230在训练阶段期间响应于确定基准真相对象与来自绘制引擎280的所绘制的3D图形对象之间的特定差异值在阈值训练值之外而修改其一个或多个参数。

在一些实施例中,重复与过程300的一个或多个框相关的操作。例如,在训练或重新训练阶段期间,外观响应材料贴图生成系统或材料贴图生成神经网络可以重复与框320至380相关的一个或多个操作。在一些情况下,重复该一个或多个操作,直到在基准真相对象与从绘制系统接收的所绘制的3D图形对象之间达到阈值相似性(例如,附加的所绘制的3D图形对象在阈值训练值内)。

图4描述了训练计算系统400的示例,其中材料贴图生成神经网络430被训练为生成一个或多个外观响应材料贴图集合,例如在材料贴图生成神经网络430的训练或重新训练阶段期间生成的外观响应材料贴图集合460。训练计算系统400包括材料贴图生成神经网络430、基准真相绘制引擎470、外观响应绘制引擎480和内插模块455。在一些情况下,材料贴图生成神经网络430、基准真相绘制引擎470、外观响应绘制引擎480或内插模块455中的一个或多个被包括在诸如外观响应材料贴图生成系统240的外观响应材料贴图生成系统中,或者被配置为与之通信。图4将基准真相绘制引擎470、外观响应绘制引擎480和内插模块455描述为被包括在训练计算系统400中,但是其他实现也是可能的。例如,材料贴图生成神经网络可以在诸如外观响应材料贴图生成系统的计算系统中实现,该计算系统被配置为与实现基准真相引擎、外观响应绘制引擎或内插模块的一个或多个附加计算系统通信。

在训练计算系统400中,材料贴图生成神经网络430包括多个神经网络层,包括用于神经网络的输入层、用于神经网络的一个或多个隐藏层、以及用于神经网络的输出层。在材料贴图生成神经网络430中,输入层包括一个或多个输入节点433,隐藏层包括一个或多个隐藏层节点435,并且输出层包括一个或多个输出节点437。附加地或备选地,材料贴图生成神经网络430被布置为全连接的多层感知器,其中输入节点433中的每个输入节点与隐藏层节点435中的每个隐藏层节点连接,并且隐藏层节点435中的每个隐藏层节点与输出节点437中的每个输出节点连接。图4将材料贴图生成神经网络430描述为完全连接的多层感知器,但是其他实现也是可能的,包括神经网络的其他架构。在图4中,材料贴图生成神经网络430具有隐藏层节点435的单个隐藏层,但是其他实现也是可能的,例如具有多个隐藏层的材料贴图生成神经网络。在示例配置中,材料贴图生成神经网络430包括相对较少数目的神经网络层(例如,大约3至5个神经网络层),并且每个神经网络层包括相对少数量的节点(例如,大约3至8个节点)。在一些实现中,具有相对少数目的神经网络层的材料贴图生成神经网络提供了改进的性能,例如减少了训练时间。

在一些实现中,训练计算系统400接收图形数据410。图形数据410包括用于在数字图形环境内绘制一个或多个图形对象的数据。例如,图形数据410包括以下一项或多项:描述3D图形对象415的几何数据、描述3D图形对象415的可视化表面外观特性的材料数据、或描述3D图形对象415的其他数据。在一些情况下,图形数据410包括描述包括3D图形对象415的数字图形环境的数据,诸如描述视点(例如,用户数据对象)相对于3D图形对象415的距离或角度的视点数据、描述数字图形环境的特性(例如,光源、雾/可见性效果)的环境数据、或描述数字图形环境的其他数据。在一些情况下,从一个或多个附加计算系统接收图形数据410。例如,从被配置为实现数字图形环境的计算系统(例如图形环境计算系统105或计算设备190)接收图形数据410。附加地或备选地,从诸如存储描述多个图形对象或多个数字图形环境的训练数据的数据库的图形数据存储库接收图形数据410。

在图4中,图形数据410包括描述3D图形对象415的数据。附加地或备选地,图形数据410包括描述3D图形对象415的可视化表面外观特性的源材料数据420。源材料数据420可以包括一个或多个源材料贴图,例如描述表面法线、反照率、金属色泽、粗糙度、位移的源材料贴图,或描述纹理特性的其他类型的源贴图。在图4中,源材料数据420包括源法向贴图422。在一些情况下,图形数据410包括从附加计算系统提供的附加材料数据提取的或以其他方式与其相关联的材料数据贴图,附加材料数据诸如被布置为一致金字塔的附加材料数据。例如,源法向贴图422可以是从具有层之间的预定关系(例如,前一层的一半分辨率)的一致材料贴图金字塔中提取的高分辨率层。图4将源材料数据420描述为包括源法向贴图422,但是可以包括附加源材料贴图,例如用于反照率、金属色泽、粗糙度、位移或其他纹理特性的材料贴图。

在一些实施例中,图形数据410包括细节等级数据412、视点数据414或光源数据416中的一个或多个。例如,视点数据414描述视点(例如,用户数据对象)在数字图形环境内的位置,诸如位置、角度、到3D图形对象415的距离或视点的其他特性。附加地或备选地,光源数据416描述数字图形环境中的一个或多个光源数据对象,诸如特定光源的位置、强度(例如,太阳光、手电筒)、光谱、光源的数量或数字图形环境内的光源的其他特性。此外,细节等级数据412描述与3D图形对象415相关联的细节等级,诸如向数字图形环境的用户描述(例如,经由显示设备)3D图形对象415的表面的细节的尺度。在一些情况下,细节等级数据412基于视点数据414或光源数据416中的一个或多个数据来确定,例如通过使用光源的强度或视点与3D图形对象415之间的距离来计算细节等级。

在图4中,材料贴图生成神经网络430接收源法线贴图422作为用于训练的输入材料数据。附加地或备选地,材料贴图生成神经网络430接收细节等级数据412作为用于训练的附加输入数据。在一些情况下,细节等级数据412包括指示细节等级范围的多个值。例如,细节等级数据412包括指示相对较高的细节等级的第一值,诸如在视点与3D图形对象415之间的近距离处可见的高质量纹理细节。细节等级数据412的第一值可以与对3D图形对象415在近距离处的绘制外观有贡献的源法向贴图422的第一特征相关联。附加地或备选地,细节等级数据412包括第二值,该第二值指示与源法向贴图422的第二特征相关联的中等细节等级,该第二特征对在视点与3D图形对象415之间的中等距离处的3D图形对象415的绘制外观有贡献。此外,细节等级数据412包括指示与源法向贴图422的第三特征相关联的相对较低的细节等级的第三值,第三特征对在视点与3D图形对象415之间的较远距离处的3D图形对象415的绘制外观有贡献。

在材料贴图生成神经网络430的训练阶段或重新训练阶段期间,输入节点433中的每个输入节点接收源法向贴图422的至少部分。附加地或备选地,每个输入节点433从细节等级数据412接收细节等级值。在一些情况下,细节等级值是随机的,例如用于训练的随机细节等级。在材料贴图生成神经网络430中,输入节点433中的每个输入节点分别选择(或以其他方式接收)输入数据元素组,诸如来自源法向贴图422的输入纹素的特定补丁。每个输入节点433向隐藏层节点435中的每个隐藏层节点提供相应的输入数据元素。

在一些情况下,隐藏层节点435例如从输入节点433接收细节等级值。基于输入数据元素,隐藏层节点435中的每个隐藏层节点计算(或修改)描述数据元素之间的关系的至少一个参数。在一些情况下,该参数基于细节等级值而被计算。在一些情况下,隐藏层节点435的参数标识与细节等级数据的特定值相关联的源材料数据420的特征。例如,响应于接收指示细节等级为高的细节等级值(例如,近距离观看3D图形对象415),隐藏层节点435中的每个隐藏层节点计算提供高细节等级的数据元素之间的关系。使用所计算的关系,隐藏层节点435可以标识对3D图形对象415在高细节等级的绘制外观有贡献的特征组。附加地或备选地,响应于接收指示细节等级为低的附加细节等级值(例如,在远距离观看3D图形对象415),隐藏层节点435中的每个隐藏层节点计算提供低细节等级的数据元素之间的附加关系。使用附加的所计算的关系,隐藏层节点435可以标识对3D图形对象415在低细节等级的绘制外观有贡献的附加特征组。在一些情况下,源法向贴图422的特定特征可以被包括在特征组中的一个、两者中或都不包括。

在材料贴图生成神经网络430中,每个隐藏节点435将所计算的参数提供给输出节点437中的每个输出节点。基于所计算的参数,每个输出节点437确定输出数据元素组,诸如输出纹素的特定补丁。作为示例,输出数据元素可以包括由输入节点433接收的输入数据元素的组合,其中该组合是根据由隐藏层节点435计算的参数来确定的。

在训练计算系统400中,基于输出数据元素的组合来生成外观响应材料贴图集合460。在一些情况下,包括在贴图集合460中的每个贴图与来自细节等级数据412的特定细节等级相关联。例如,贴图集合460中的第一贴图460a与指示相对高的细节等级的第一细节等级值相关联。通过组合基于高细节等级计算的输出数据元素来生成贴图460a。附加地或备选地,贴图集合460中的第二贴图460b与指示中等细节等级的第二细节等级值相关联,并且贴图460b通过组合基于中等细节等级计算的输出数据元素来生成。此外,贴图集合460中的第三贴图460c与指示相对低细节等级的第三细节等级值相关联,并且通过组合基于低细节等级计算的输出数据元素来生成贴图460c。

在图4中,内插模块455接收外观响应材料贴图集合460。在一些情况下,内插模块455将诸如三线性内插的至少一种内插技术应用于外观响应材料贴图集合460。例如,内插模块455通过内插来自贴图460a和460b的纹素(或其他数据元素)来生成中间材料数据值,该中间材料数据值是来自贴图460a和贴图460b的数据值的组合。在一些情况下,内插模块455基于细节等级数据412来生成中间材料数据值,例如通过标识与特定细节等级值相关联的贴图460a至460c的子集。图4将外观响应材料贴图集合460描述为由内插模块455接收,但是其他实现也是可能的,例如在省略内插的计算环境中。

在训练计算系统400中,外观响应绘制引擎480接收外观响应材料贴图集合460。附加地或备选地,外观响应绘制引擎480接收视点数据414或光源数据416中的一个或多个数据。在一些情况下,外观响应绘制引擎480接收经由内插模块455生成的内插值。

在训练或重新训练阶段期间,外观响应绘制引擎480生成训练绘制对象485。训练绘制对象485是具有由外观响应材料贴图集合460描述的表面外观的3D图形对象415的绘制。在一些情况下,基于诸如特定视点距离或特定光源方向的视点数据414或光源数据416中的一个或多个数据来绘制训练绘制对象485。附加地或备选地,基于由视点数据414或光源数据416描述的多个视点或多个光源来绘制训练绘制对象485。例如,外观响应绘制引擎480以一定范围的视点距离或角度、或在一定范围的光源距离或强度来执行训练绘制对象485的多次绘制。

附加地或备选地,基准真相绘制引擎470绘制一个或多个参考对象,诸如基准真相绘制对象475。例如,基准真相绘制引擎470基于源材料数据420来绘制基准真相绘制对象475。在一些情况下,基准真相绘制引擎470基于由视点数据414或光源数据416描述的多个视点或多个光源来执行基准真相绘制对象475的多次绘制。在一些实施例中,基准真相绘制引擎470是利用来自源材料数据420的大量材料数据的高质量绘制引擎。附加地或备选地,基准真相绘制引擎470是适合于绘制静态对象(例如,不包括在交互式数字图形环境中的对象)的“离线”引擎。例如,与例如关于图1描述的外观响应绘制引擎480或绘制引擎180相比,基准真相绘制引擎470绘制较慢。在一些情况下,与计算设备190的网络交互相比,基准真相绘制引擎470绘制较慢,并且可能不适合由图形环境计算系统105实现的交互式数字图形环境。

在图4中,训练计算系统400利用基准真相绘制对象475作为参考对象,将训练绘制对象485与该参考对象进行比较。例如,将训练绘制对象485与基准真相绘制对象475进行比较。附加地或备选地,将训练绘制对象485的多次绘制与基准真相绘制对象475的多次绘制进行比较,例如以视点和光源的特定组合的特定绘制的比较。训练计算系统400诸如通过计算对象485与475之间的损失函数的结果来计算训练绘制对象485与基准真相绘制对象475之间的一个或多个差异值。例如,差异值描述对象485与475的表面外观特性之间的相似性(或不相似性)。在一些情况下,差异值由材料贴图生成神经网络430接收。基于差异值,材料贴图生成神经网络430修改一个或多个参数,诸如隐藏层节点435的参数。

在附加训练或重新训练阶段期间,材料贴图生成神经网络430基于输入源法线图422来生成经修改的输出材料数据,诸如通过计算由经修改的参数描述的经修改的数据元素关系。训练计算系统400使用经修改的输出材料数据来生成经修改的外观响应材料贴图,并且外观响应绘制引擎480基于经修改的外观响应材料贴图来生成附加的训练绘制对象。在一些情况下,训练计算系统400执行修改外观响应材料贴图、将训练绘制对象与基准真相绘制对象475进行比较、以及修改材料贴图生成神经网络430的参数的多次迭代,诸如迭代修改,直到附加的训练绘制对象与基准真相绘制对象475足够相似(例如,在相似性阈值内)。

任何适合的计算系统或计算系统组都可用于执行本文描述的操作。例如,根据某些实施例,图5是描述被配置为生成外观响应材料贴图集合的计算系统的框图。

所描述的计算系统501的示例包括通信地耦合到一个或多个存储设备504的一个或多个处理器502。处理器502执行计算机可执行程序代码或访问存储在存储设备504中的信息。处理器502的示例包括微处理器、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)或其他适合的处理设备。处理器502可以包括任何数目的处理设备,包括一个处理设备。

存储器设备504包括用于存储外观响应材料贴图生成系统240、材料贴图生成神经网络230、外观响应材料贴图集合260以及其他所接收或所确定的值或数据对象的任何适合的非瞬态计算机可读介质。计算机可读介质可以包括能够向处理器提供计算机可读指令或其他程序代码的任何电、光、磁或其他存储设备。计算机可读介质的非限制性示例包括磁盘、存储器芯片、ROM、RAM、ASIC、光存储、磁带或其他磁存储、或处理设备可以从其读取指令的任何其他介质。指令可以包括由编译器或解释器从以任何适合的计算机编程语言编写的代码生成的处理器专用指令,计算机编程语言包括例如C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript和ActionScript。

计算系统501还可以包括多个外部或内部设备,例如输入或输出设备。例如,计算系统501被示为具有输入/输出(“I/O”)接口508,其可以从输入设备接收输入或向输出设备提供输出。计算系统501中还可以包括总线506。总线506可以通信地耦合计算系统501的一个或多个组件。

计算系统501执行程序代码,该程序代码将处理器502配置为执行上面参考图1至图4描述的一个或多个操作。程序代码包括例如与执行本文描述的一个或多个操作的外观响应材料贴图生成系统240、材料贴图生成神经网络230、外观响应材料贴图集合260或其他适合的应用或存储器结构中的一个或多个有关的操作。程序代码可以驻留在存储器设备504或任何适当的计算机可读介质中,并且可以由处理器502或任何其他适当的处理器执行。在一些实施例中,上述程序代码、外观响应材料贴图生成系统240、材料贴图生成神经网络230和外观响应材料贴图集合260被存储在存储器设备504中,如图5所示。在附加或备选实施例中,外观响应材料贴图生成系统240、材料贴图生成神经网络230、外观响应材料贴图集合260和上述程序代码中的一个或多个被存储在经由数据网络可访问的一个或多个存储器设备中,诸如经由云服务可访问的存储器设备。

图5中描述的计算系统501还包括至少一个网络接口510。网络接口510包括适合于建立到一个或多个数据网络512的有线或无线数据连接的任何设备或设备组。网络接口510的非限制性示例包括以太网网络适配器、调制解调器等。计算系统501能够使用网络接口510与诸如计算设备190或图形环境计算系统105的一个或多个附加计算系统通信。

一般考虑事项

本文阐述了许多具体细节,以提供对所要求保护的主题的透彻理解。然而,本领域技术人员将理解,可以在没有这些具体细节的情况下实践所要求保护的主题。在其他情况下,未详细描述本领域技术人员已知的方法、装置或系统,以避免混淆所要求保护的主题。

除非另有特别说明,否则应当理解,在整个说明书中,使用诸如“处理”、“运算”、“计算”、“确定”和“标识”等术语的讨论指的是计算设备的动作或过程,该计算设备诸如一个或多个计算机或一个或多个类似的电子计算设备,其操纵或变换在计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内表示为物理电子或磁量的数据。

本文讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入为条件的结果的任何适当的组件布置。适合的计算设备包括基于多用途微处理器的计算机系统,该计算机系统从通用计算装置到实现本主题的一个或多个实施例的专用计算装置访问对计算系统进行编程或配置的所存储的软件。任何适合的编程、脚本或其他类型的语言或语言组合可以用于在编程或配置计算设备中使用的软件中实现本文包含的教导。

本文公开的方法的实施例可以在这种计算设备的操作中执行。上述示例中呈现的框的顺序可以变化——例如,框可以被重新排序、组合和/或分解成子框。某些框或过程可以并行执行。

本文使用“适于”或“被配置为”是指开放和包含性的语言,其不排除适于或被配置为执行附加任务或步骤的设备。此外,使用“基于”是指开放和包含性的,因为“基于”一个或多个所记载的条件或值的过程、步骤、计算或其他动作在实践中可以基于所记载的条件或值之外的附加条件或值。本文中包括的标题、列表和编号只是为了便于解释,并不是为了限制。

虽然已经针对本主题的具体实施例详细描述了本主题,但是应当理解,本领域的技术人员一经理解了前述内容,就可以容易地产生对这些实施例的更改、变型和等同。因此,应当理解,本公开是为了示例而不是限制的目的而提出的,并且不排除包括本领域普通技术人员清楚的对本主题的修改、变化和/或添加。

相关技术
  • 使数字助理能够生成环境感知响应的方法和系统
  • 通过预生成应用元件的替代的图形表示来对输入做出低等待时间视觉响应以及在图形处理单元上的输入处置
技术分类

06120116499888