网点外观生成器

相关申请的交叉引用

本申请依据35U.S.C.§119(e)要求于2018年12月5日提交的题为“Thresher andHatcher tools:The Creation of a Screentone Look”的共同待决的美国临时专利申请No.62/775,842的优先权的权益。上述申请的公开内容通过引用并入本文。

技术领域

本公开涉及CG动画电影，并且更具体而言，涉及为CG动画电影生成“漫画书(comic-book)”外观。

背景技术

计算机图形(CG)动画电影的“图片外观(look of picture)”的基本原理通常包括：(1)为着色(shading)渲染平滑渐变；(2)模仿材料的真实世界表面特性；(3)模拟纹理的真实生活中看到的物理细节。但是，需要重新设计这些原理，以使CG动画电影中的“漫画书”外观栩栩如生。

发明内容

本公开提供了为CG动画电影生成网点(screen-tone)外观，其包括量化从渲染器接收到的渲染的平滑着色以及将半色调点(halftone dot)和阴影线(hatched line)集成到渲染图像。

在一个实施方式中，公开了一种用于为视频生成网点外观图像的方法。该方法包括：接收平滑渐变渲染图像和渲染图像中像素的位置信息；使用位置信息针对渲染图像中的像素中的每个像素生成图案；将渲染图像划分为由亮度定义的固定数量的分区，以产生亮度梯度图像；以及将图案施加到亮度梯度图像的固定数量的分区。

在一个实施方式中，固定数量的分区包括一系列连续的带，其中每个带被单独地操纵。在一个实施方式中，该方法还包括提供对位置、宽度、过渡宽度、过渡图案和最终颜色校正的交互式控制。在一个实施方式中，生成图案包括生成模拟打印的伪像的图案，包括点、线和网格图案。在一个实施方式中，该方法还包括调整图案的位置、朝向和频率。在一个实施方式中，该方法还包括将图案投影到视频场景中的对象上。在一个实施方式中，该方法还包括一旦图案被定位，就编辑图案中的每个图案的外观。在一个实施方式中，该方法还包括从亮度提取颜色。在一个实施方式中，该方法还包括：将所提取的颜色施加到亮度梯度图像；以及将亮度梯度图像输出为新颜色。在一个实施方式中，向固定数量的分区施加图案包括在相对明亮的分区中施加点和在相对阴暗的分区中施加线。

在另一个实施方式中，公开了一种网点外观生成系统。该系统包括：孵化器(hatcher)，用于从渲染器接收平滑渐变渲染图像以及每个像素的位置信息，该孵化器被配置为使用位置信息来生成渲染图像的图案；以及脱粒器(thresher)，用于将渲染图像划分为由亮度定义的固定数量的分区以产生亮度梯度图像，该脱粒器被配置为将图案施加到亮度梯度图像的固定数量的分区。

在一个实施方式中，图案模拟打印的伪像。在一个实施方式中，图案包括点、线和网格。在一个实施方式中，固定数量的分区包括一系列连续的带。在一个实施方式中，该系统还包括投影仪，该投影仪被配置为将图案投影到视频场景中的对象上。在一个实施方式中，该系统还包括提取器，该提取器被配置为从亮度提取颜色。在一个实施方式中，该系统还包括施加器，该施加器被配置为将所提取的颜色施加到亮度梯度图像，并且将亮度梯度图像输出为新颜色。

在另一个实施方式中，公开了一种用于为视频生成网点外观图像的装置。该装置包括：用于接收平滑渐变渲染图像和渲染图像中像素的位置信息的部件；用于使用位置信息为渲染图像中的像素中的每个像素生成图案的部件；用于将渲染图像划分为由亮度定义的固定数量的分区以产生亮度梯度图像的部件；以及用于将图案施加到亮度梯度图像的固定数量的分区的部件。

在一个实施方式中，该装置还包括用于将图案投影到视频场景中的对象上的部件。在一个实施方式中，该装置还包括用于将所提取的颜色施加到亮度梯度图像，以及将亮度梯度图像输出为新颜色的部件。

其它特征和优点从本描述中应该是显而易见的，本描述通过举例的方式说明了本公开的各方面。

附图说明

关于本公开的结构和操作的细节可以部分地通过研究附图来获得，其中相同的附图标记指代相同的部分，并且其中：

图1是根据本公开的一个实施方式的网点外观生成器的框图；

图2A是根据本公开的一个实施方式的生成网点图像的示例进展；

图2B、图2C和图2D示出了根据本公开的一个实施方式的在平滑梯度图像上施加网点外观生成器的结果；

图2E、图2F、图2G、图2H和图2J示出了根据本公开的另一个实施方式的在平滑梯度图像上施加网点外观生成器的结果；

图3是根据本公开的一个实施方式的用于生成网点外观图像的处理的流程图；

图4A是根据本公开的实施方式的计算机系统和用户的表示；

图4B是图示根据本公开的实施方式的托管网点外观应用的计算机系统的功能框图；以及

图5是根据本公开的一个实施方式的用于为视频生成网点外观图像的装置的框图。

具体实施方式

本公开的某些实施方式提供了为CG动画电影生成“网点”外观，其包括量化从渲染器(例如，光线跟踪器)接收到的渲染的平滑着色并且将半色调点和阴影线集成到渲染。在阅读这些描述之后，如何在各个实施方式和应用中实施本公开将变得显而易见。虽然本文将描述本公开的各个实施方式，但是应该理解的是，这些实施方式仅以示例而非限制的方式给出。由此，不应将各个实施方式的这种详细描述解释为限制本公开的范围或广度。

如上所述，CG动画电影的“图片外观”的基本原理需要被重新设计以通过生成网点外观来使“漫画书”外观栩栩如生。问题之一包括重组照明和渲染模型以模仿打印和手绘的艺术品。CG动画电影的图片外观的基本原理的其它问题包括图案投影问题、图案梯度问题、打印技术问题和量化问题。

关于图案投影问题，虽然阴影图案有时提供3D形式的指示，但是打印页面上的网点和阴影图案通常存在于图像的空间中，并且不需要移动或存在于真实的3D空间中。但是，由于图像不是静态的(即，对象和相机移动)，因此需要解决许多打印技术能够忽略的问题。例如，需要解决的一个问题包括当点图案被简单地投影到场景中并且场景中的角色转向时点图案的布置。该问题变成角色是否应该游遍图案、图案是否应该粘在角色上但可能伸展，或者是否应该填充附加图案。其它需要解决的问题包括如何响应极端的相机移动以及如何处置具有相同对象的稍微偏移视角的立体输出。

关于图案梯度问题，网点不能仅仅是打开(on)或关闭(off)的点。即，为了模拟打印，需要知道相对于每个色调梯度的每个像素的位置。

关于打印技术问题，打印图案中的任何点或线的厚度通常反映该区域沿着单个色调范围的亮度。但是，当引入运动时，图案可能会分散注意力，尤其是当图案在重要特征(诸如，眼睛)上移动时。因此，需要一种在复杂的移动表面上重现丝网印刷的感觉，同时专门保护可能在值梯度内任何地方的特征的方法。该解决方案还需要是灵活的和交互式的。

关于量化问题，需要简化平滑渐变以匹配到均匀值的区域中。

因此，为了解决上述问题，将从对漫画书艺术和概念绘画的研究中获得的规则结合到应用中。在一个实施方式中，本公开提供了孵化器和脱粒器应用，以量化光线跟踪器的平滑着色，并将半色调点和阴影线(统称为“网点”)集成到渲染图像中。由于可以在CG动画电影的每一帧上使用孵化器和脱粒器应用，因此这些应用还必须足够快和稳健，以满足整个电影的需求。

图1是根据本公开的一个实施方式的网点外观生成器100的框图。在图1所示的实施方式中，网点外观生成器100包括孵化器120和脱粒器130。

在一个实施方式中，渲染器110(例如，光线跟踪器)生成渲染模型的平滑着色，并将渲染图像以及渲染图像的每个像素的位置信息发送到网点外观生成器100。孵化器120使用来自渲染器110的位置信息为渲染图像的每个像素生成图案。例如，孵化器120生成沿着角色的边缘延伸的点，使得随着角色靠近相机，这些点变得更大，并且随着角色远离相机，这些点变得更小。

在一个实施方式中，孵化器120生成模拟打印的伪像的图案。例如，孵化器120从渲染模型生成网点、线和网格图案(对于2-D和3-D实施方式)。孵化器120包括投影仪122，其然后使用点的位置(P)、参考位置(P

在一个实施方式中，孵化器120还使用对象空间和边界框中心。投影模式被选择为以下之一：(1)UV空间；(2)屏幕空间；(3)单轴；或者(4)三平面的。然后修改投影变换，以根据给定镜头的需要调整图案的位置、朝向和频率。对于其中三平面投影不能对每个轴工作的情况(例如，当相机非常宽或对象形状或透视收缩导致不必要的压缩或拉伸时)，将提供控件来调整每个轴的变换。如果包括对象空间或边界框中心，那么锁定投影，使得图案跟踪到几何形状的位置，并且图案比例根据需要进行标准化。

在另一个实施方式中，孵化器120还使用孵化器节点的轴输入来附着动画轴以匹配对象的平移和旋转。因此，在这个实施方式中，一旦图案被定位，艺术家就可以编辑每个图案的外观。即，使得艺术家可以控制比例、朝向、间距和硬度。该工具的3D实施方式还提供了可选的分叉模式，该模式使用导数来标准化图案比例(即，如果图案变得太大，那么线或点被分开)。

在一个实施方式中，脱粒器130将渲染图像划分为由亮度定义的固定数量的分区(或梯度)。即，脱粒器130将亮度梯度划分为可以被单独操纵的一系列连续的带。因此，脱粒器130在以下方面提供了快速的全局控制：要细分的梯度范围；以及最终条件(即，超出范围的值的布置)。对于每个所得的带，脱粒器130提供对亮度带的位置和宽度、带之间的过渡区的宽度，要在每个过渡区上施加的图案以及最终颜色校正的交互式控制。这允许用户快速定位图案(通过定位具有相关联的图案的带)，并将图案限制到其中图案的干扰最小或最有用的值区域。

在另一个实施方式中，脱粒器130包括施加器134，该施加器134将新生成的梯度施加到第二图像的亮度提取的颜色，并且将结果输出为新的RGB颜色。脱粒器130还包括提取器132，该提取器132通过从亮度提取颜色来工作。基于亮度相对于给定像素处的传入的网点梯度通道的值来重新映射亮度。这些值然后被存储为“乘数”层，这是新的梯度，其值取决于像素是需要变暗还是变亮或者大于一或者小于一。一旦亮度被转换，就可以使用标准乘法将网点施加到任何图像。因此，在另一个实施方式中，无论新位置处的亮度如何，都可以在图形的其它位置使用新生成的梯度来应用如上游定义的网点分布。在另一个实施方式中，为了获得动漫外观，可以使用脱粒器130，但是可以用统一的灰度值代替网点。这可能会迫使梯度的每个带以相同的值步进，从而将网点梯度简化为简单的轮廓。

在一个实施方式中，脱粒器130还接收由孵化器120生成的图案，并将该图案施加到量化的分区。例如，如果脱粒器130被设置为将图像量化为四个亮度分区，那么脱粒器130可以被设置为向两个最亮的分区施加点，并且向两个较暗的分区施加阴影线。因此，在这个实施方式中，脱粒器130将渲染的图像划分为由亮度定义的分区(或梯度)，并将所选择的图案集成到定义的分区的边缘上。

图2A是根据本公开的一个实施方式的生成网点图像的示例进展200。在图2A所示的实施方式中，通过将平滑梯度图像210量化为量化图像220并且将由孵化器120生成的图案240集成在渐变带之间的过渡区中将平滑梯度图像210处理为“网点”图像230。

图2B、图2C和图2D示出了根据本公开的一个实施方式的在平滑梯度图像上施加网点外观生成器的结果。图2B是平滑梯度图像的示例。图2C是带有图案的图像的示例。图2D是网点图像的示例。

图2E、图2F、图2G、图2H和图2J示出了根据本公开的另一个实施方式的在平滑梯度图像上施加网点外观生成器的结果。图2E是平滑梯度图像的示例。图2F和图2G是通过将孵化器处理施加到图2E所产生的图案的示例。图2H是经由脱粒器处理施加到图2E的灰度亮度梯度的图案的示例。图2J是通过将脱粒器处理过的亮度图2E施加到输入平滑梯度图像图2E而得到的最终网点图像的示例。

图3是根据本公开的一个实施方式的用于生成网点外观图像的处理300的流程图。在一个实施方式中，方法300被实现为应用，其可以被划分为孵化器应用和脱粒器应用。

在一个实施方式中，孵化器应用在方框310从渲染器接收渲染图像的平滑着色以及位置信息。孵化器应用在位置312处使用位置信息为渲染图像的每个像素生成图案。例如，孵化器应用生成沿着角色边缘延伸的点，使得随着角色靠近相机，这些点变得更大，并且随着角色远离相机，这些点变得更小。孵化器应用生成模拟打印的伪像的图案，诸如网点、线和网格图案。孵化器应用在方框314处使用点的位置(P)、参考位置(P

在一个实施方式中，孵化器应用还使用对象空间和边界框中心。投影模式被选择为以下之一：(1)UV空间；(2)屏幕空间；(3)单轴；或者(4)三平面的。然后修改投影变换，以根据给定镜头的需要调整图案的位置、朝向和频率。对于其中三平面投影不能对每个轴工作的情况(例如，当相机非常宽或对象形状或透视收缩导致不必要的压缩或拉伸时)，将提供控件来调整每个轴的变换。如果包括对象空间或边界框中心，那么锁定投影，使得图案跟踪到几何形状的位置，并图案比例根据需要进行标准化。

在另一个实施方式中，孵化器应用还使用孵化器节点的轴输入来附着动画轴以匹配对象的平移和旋转。因此，在这个实施方式中，一旦图案被定位，艺术家就可以编辑每个图案的外观。即，使艺术家可以控制比例、朝向、间距和硬度。该工具的3D实施方式还提供了可选的分叉模式，该模式使用导数来标准化图案比例(即，如果图案变得太大，那么线或点被分开(split))。

在一个实施方式中，在方框320处，脱粒器应用将渲染图像划分为由亮度定义的分区(或梯度)。即，脱粒器应用将亮度梯度划分为可以被单独操纵的一系列连续的带。因此，脱粒器应用在以下方面提供了快速的全局控制：要细分的梯度范围；以及最终条件(即，在范围之外的值的布置)。对于每个所得的带，脱粒器应用提供对亮度带的位置和宽度、带之间的过渡区的宽度，要在每个过渡区上施加的图案以及最终颜色校正的交互式控制。这允许用户快速定位图案(通过定位具有相关联的图案的带)，并将图案限制到其中图案的干扰最小或图案最有用的值区域。

在另一个实施方式中，脱粒器应用在方框330处从亮度提取颜色，该亮度基于其相对于给定像素处的传入的网点梯度通道的值被重新映射。然后在方框332处，这些值被存储为“乘数”层，这是新的梯度，其值取决于像素是需要变暗还是变亮或者大于一或者小于一。一旦亮度被转换，在方框334处就使用标准乘法将网点施加到任何图像。因此，在另一个实施方式中，无论新位置处的亮度如何，都可以在图形的其它位置使用新生成的梯度来应用如上游定义的网点分布。然后，在方框336处，脱粒器应用将所提取的颜色施加到修改后的亮度梯度，并将结果输出为新的RGB颜色。在另一个实施方式中，为了获得动漫外观，可以使用脱粒器应用，但是可以用统一的灰度值代替网点。这可能会迫使梯度的每个带以相同的值步进，从而将网点梯度简化为简单的轮廓。

在一个实施方式中，在方框340处，脱粒器应用接收由孵化器应用生成的图案，并将图案施加到量化或分区的图像。例如，在相对亮的分区中，脱粒器应用施加点，而在相对暗或阴影的分区中，脱粒器应用施加线。因此，在这个实施方式中，脱粒器应用将渲染图像划分为由亮度定义的分区(或梯度)，并将所选择的图案集成到定义的分区的边缘上。

图4A是根据本公开的实施方式的计算机系统400和用户402的表示。用户402使用计算机系统400来实现如相对于图1中所示的框图的网点外观生成器100和图3中所示的处理300所示和所述的网点外观应用490。

计算机系统400存储并执行图4B的网点外观应用490。另外，计算机系统400可以与软件程序404通信。软件程序404可以包括用于网点外观应用的软件代码。可以将软件程序404加载在诸如CD、DVD或存储驱动器的外部介质上，如将在下面进一步解释的。

此外，计算机系统400可以连接到网络480。网络480可以以各种不同的体系架构连接，例如，客户端-服务器体系架构、对等网络体系架构或其它类型的体系架构。例如，网络480可以与服务器485通信，该服务器485协调在网点外观应用490内使用的引擎和数据。同样，网络可以是不同类型的网络。例如，网络480可以是互联网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网或无线网络。

图4B是图示根据本公开的实施方式的托管网点外观应用490的计算机系统400的功能框图。控制器410是可编程处理器，并且控制计算机系统400及其组件的操作。控制器410从存储器420或嵌入式控制器存储器(未示出)加载指令(例如，以计算机程序的形式)，并执行这些指令以控制系统。在其执行中，控制器410向网点外观应用490提供软件系统，诸如，以使得能够在网点外观应用490内创建和配置引擎和数据提取器。替代地，该服务可以被实现为控制器410或计算机系统400中的单独的硬件组件。

存储器420临时存储供计算机系统400的其它组件使用的数据。在一种实施方式中，存储器420被实现为RAM。在一种实施方式中，存储器420还包括长期或永久存储器，诸如闪存和/或ROM。

存储器430临时或长时间存储数据，以供计算机系统400的其它组件使用。例如，存储装置430存储由网点外观应用490使用的数据。在一种实施方式中，存储装置430是硬盘驱动器。

媒体设备440接收可移除媒体，并从插入的媒体读取数据和/或向插入的媒体读取写入数据。在一种实施方式中，例如，媒体设备440是光盘驱动器。

用户界面450包括用于接受来自计算机系统400的用户的用户输入并将信息呈现给用户402的组件。在一种实施方式中，用户界面450包括键盘、鼠标、音频扬声器和显示器。控制器410使用来自用户402的输入来调整计算机系统400的操作。

I/O接口460包括一个或多个I/O端口，以连接到对应的I/O设备，诸如外部存储装置或辅助设备(例如，打印机或PDA)。在一种实施方式中，I/O接口460的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一种实施方式中，I/O接口460包括用于与外部设备无线通信的无线接口。

网络接口470包括支持以太网连接的有线和/或无线网络连接，诸如RJ-45或“Wi-Fi”接口(包括但不限于802.11)。

计算机系统400包括计算机系统典型的附加硬件和软件(例如，电源、冷却、操作系统)，但是为了简单起见在图4B中未具体示出这些组件。在其它实施方式中，可以使用计算机系统的不同配置(例如，不同的总线或存储配置或多处理器配置)。

图5是根据本公开的一个实施方式的用于为视频生成网点外观图像的装置500的框图。在图5所示的实施方式中，装置500包括用于接收的部件510、用于生成的部件520、用于划分的部件530以及用于施加的部件540。

用于接收的部件510被配置为(例如，从渲染器)接收平滑渐变渲染图像和渲染图像中像素的位置信息。用于生成的部件520被配置为使用位置信息为渲染图像中的像素中的每个像素生成图案。用于划分的部件530被配置为将渲染图像划分为由亮度定义的固定数量的分区，以产生亮度梯度图像。用于施加的部件540被配置为将图案施加到亮度梯度图像的固定数量的分区。

在一个实施方式中，网点外观生成系统100是完全用硬件配置的系统，该硬件包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路系统。在另一个实施方式中，网点外观生成系统100配置有硬件和软件的组合。例如，孵化器120和脱粒器130配置有硬件，而渲染器的功能被配置为驻留在单独处理器内的软件。

提供本文所公开的实现方式的描述以使本领域的任何技术人员能够制造或使用本公开。对这些实现方式的许多修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的原理可以应用于其它实现方式。因此，本公开不旨在限于本文中所示的实现方式，而是应被赋予与本文中公开的原理和新颖特征一致的最广范围。

本公开的各种实现方式用电子硬件、计算机软件或这些技术的组合来实现。一些实现方式包括由一个或多个计算设备执行的一个或多个计算机程序。一般而言，计算设备包括一个或多个处理器、一个或多个数据存储组件(例如，易失性或非易失性存储器模块以及永久性光和磁存储设备，诸如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如，游戏控制器、鼠标和键盘)和一个或多个输出设备(例如，显示设备)。

计算机程序包括可执行代码，该可执行代码通常存储在持久性存储介质中，然后在运行时被复制到存储器中。至少一个处理器通过以规定顺序从存储器中检索程序指令来执行代码。当执行程序代码时，计算机从输入设备和/或存储设备接收数据、对数据执行操作，并且然后将结果数据传递到输出设备和/或存储设备。

本领域技术人员将认识到的是，本文描述的各种说明性模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地说明硬件和软件的这种互换性，在本文中总体上根据其功能描述了各种说明性模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。此外，模块或步骤内的功能分组是为了易于描述。可以在不脱离本公开的情况下将特定功能从一个模块或步骤移动到另一个模块或步骤。

在本公开的特定实现方式中，不一定需要每个上述示例的所有特征。另外，应该理解的是，本文提出的描述和附图代表本公开广泛预期的主题。还应该理解的是，本公开的范围完全涵盖对于本领域技术人员而言将变得显而易见的其它实现方式，并且本公开的范围因此仅由所附权利要求书来限制。