信息处理装置、信息处理方法和存储介质

技术领域

本公开涉及对用于检查物体的纹理外观(texture appearance)的照明条件进行设置的技术。

背景技术

近年来，随着打印和计算机图形(CG)技术的改进，物体的纹理外观的再现精度已大幅提高。纹理外观是指由表面上的凹凸、光泽等引起的对物体表面的印象。由于物体的纹理外观是基于照射在物体上的光的反射而被感知的，因此为了表现物体的纹理外观，重要的是如何设置照明条件。日本专利申请公开No.2007-18173讨论了一种控制虚拟空间中的虚拟光源和周围环境在虚拟物体上的反射以实现真实空间与虚拟空间之间的光学一致性的技术。

然而，根据日本专利申请公开No.2007-18173，在物体上没有照明反射的情况下，基于物体表面上的凹凸的阴影和光泽不被表现。这会引起用户难以检查物体的纹理外观的问题。

发明内容

本公开的各种实施例解决了上述问题，并致力于提供可以容易地检查物体的纹理外观的处理。

根据本公开的一个实施例，信息处理装置包括：切换单元，被配置成执行从显示作为物体的静止图像的第一图像的第一模式到显示物体的第二图像的第二模式的切换，该第二图像是基于视线信息而生成的；以及显示控制单元，被配置成根据由切换单元执行的切换，在显示单元上显示在物体上反射虚拟照明的第二图像。

根据以下参考附图对示例实施例的描述，本公开的其他特征将变得清楚。

附图说明

图1是图示出根据一个实施例的信息处理装置的硬件配置的框图。

图2是图示出根据一个实施例的信息处理装置的逻辑配置的框图。

图3是根据一个实施例的由信息处理装置执行的处理的流程图。

图4是图示出根据一个实施例的用于取得纹理外观信息的用户界面(UI)的示图。

图5是图示出根据一个实施例的显示图像的UI的示图。

图6是图示出根据一个实施例的信息处理装置的逻辑配置的框图。

图7是根据一个实施例的由信息处理装置执行的处理的流程图。

具体实施方式

下文中，将参考附图描述示例实施例。以下示例实施例不旨在限制本发明。另外，针对示例实施例描述的特征的所有组合不一定对于本发明的所有实施例的解决方案而言是必要的。

在第一示例实施例中，当显示物体的静止图像的第一查看模式被切换到显示基于视线信息而生成的物体的图像的第二查看模式时，在物体上反射虚拟照明。

<信息处理装置的硬件配置>

图1是图示出信息处理装置1的硬件配置的框图。信息处理装置1包括中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103。信息处理装置1还包括视频卡(VC)104、通用接口(I/F)105、串行高级技术附件(SATA)I/F 106和网络接口卡(NIC)107。CPU 101使用RAM 103作为工作存储器来执行存储在ROM 102、硬盘驱动器(HDD)113等中的操作系统(OS)或各种程序。CPU 101经由系统总线108控制部件。下面描述的流程图中的处理是由将存储在ROM 102、HDD 113等中的程序代码加载到RAM 103中的CPU 101来执行的。VC 104与显示设备115连接。通用I/F 105经由串行总线109与诸如鼠标或键盘之类的输入设备110和成像设备111连接。SATA I/F 106连接到通用驱动器114，通用驱动器114经由串行总线112执行对HDD 113或各种记录介质的读取和写入。NIC 107从外部设备输入信息并向外部设备输出信息。CPU 101使用HDD 113和安装在通用驱动器114中的各种记录介质作为各种类型数据的存储目的地。CPU 101在显示设备115上显示由程序提供的用户界面(UI)，并经由输入设备110接收用户指示的输入。显示设备115可以是具有检测诸如手指之类的指示器的触摸位置的触摸面板的功能的触摸面板显示器。

<信息处理装置的逻辑配置>

图2是图示出信息处理装置1的逻辑配置的框图。通过使用RAM 103作为工作存储器来从ROM 102或HDD 113读取并执行程序，CPU 101用作图2中图示的逻辑部件。下面描述的所有处理不一定由CPU 101执行。信息处理装置1可以被配置成使得处理中的一些或全部由除CPU 101之外的一个或多个处理电路执行。

信息处理装置1包括纹理外观取得单元201、第一图像生成单元202、初始视线取得单元203、设置单元204、动态视线取得单元205、第二图像生成单元206和显示控制单元207。纹理外观取得单元201取得漫反射强度ρ

<由信息处理装置1执行的处理>

将参考图3中图示的流程图来描述由本示例实施例中的信息处理装置1执行的处理的过程。当用户经由输入设备110发出指示并且CPU 101接收到输入的指示时，开始图3的流程图中图示的处理。

在S301中，纹理外观取得单元201按照经由输入设备110从用户接收的指示，从在纹理外观信息中指示的存储装置取得漫反射强度ρ

在步骤S302中，第一图像生成单元202基于在步骤S301中取得的纹理外观信息，生成关于在第一查看模式下显示的第一图像I

I

在上式中，E

在步骤S303中，显示控制单元207在显示设备115上显示由在步骤S302中生成的第一图像数据表示的第一图像I

在步骤S305中，初始视线取得单元203取得在步骤S304中接收到模式切换指示时的初始视线信息。视线信息是指示出视线的方向的视线向量V＝(Vx，Vy，Vz)。例如，使用图5中图示的UI中的视线信息输入区域503输入视线向量。具体地，视线向量V的Vx和Vy(满足Vx

在步骤S306中，设置单元204基于作为在步骤S305中取得的视线信息的视线向量V以及在步骤S301中取得的纹理外观信息来设置照明信息。

照明信息包含被设置为使得用户可以检查所期望的图像特征的指示出照明方向的照明向量L＝(Lx，Ly，Lz)和照明强度E。在本示例实施例中，使用其像素值饱和的像素的数量来确定是否可以检查所期望的图像特征。首先，设置单元204使用指示出物体的平均方向的法线来设置照明向量L，使得照明向量L与视线向量V形成镜面反射关系。具体地，设置单元204使用下式(3)来导出照明向量L：

L＝2dot(N’,V)N’-V(3)。

在上式中，N'是法线N(x，y)的平均向量，其是通过对法线的x、y、z分量求平均并对平均值进行归一化使得长度为1而获得的。在上式中，dot(·,·)表示向量的内积计算。

接下来，设置单元204设置照明强度E。设置单元204基于在使用照明向量L、视线向量V、漫反射强度ρ

在上式中，dot’(·,·)表示向量的内积计算。如果内积为负，则将负值替换为零。在上式中，H是照明向量L与视线向量V之间的中间向量(半向量)，并用表达式H＝(L+V)/|L+V|来导出。设置单元204在每次增大式(4)中的照明强度E的情况下计算图像I(x，y)，并设置其像素值饱和的像素的数量超过阈值的照明强度E。其像素值饱和的像素的数量的阈值被预设为所有像素的1％。

在步骤S307中，第二图像生成单元206开始步骤S308至S310的重复处理。响应于用户发出重复处理的结束指示，在步骤S311中结束重复处理。在步骤S308中，动态视线取得单元205取得视线向量V＝(Vx,Vy,Vz)作为要在第二查看模式下动态输入的视线信息。基于在图5中图示的UI中的视线信息输入区域503上由指针504指定的Vx和Vy以及由式(2)导出的Vz来取得视线向量V。

在步骤S309中，第二图像生成单元206通过使用照明向量L、照明强度E、视线向量V、第一图像I

I

I’(x,y)＝E(ρ

在上式中，β是第一图像I

在步骤S310中，显示控制单元207在显示设备115上显示在步骤S309中生成的第二图像I

如上所述，根据本示例实施例的信息处理装置1在显示物体的静止图像的第一查看模式被切换到显示基于视线信息而生成的物体的图像的第二查看模式时，在显示的图像上反映虚拟照明。因此，在切换到第二查看模式来检查物体的纹理外观之后，用户可以通过观察物体上反射的照明来容易地检查物体的诸如凹凸和光泽之类的纹理外观。

在第一示例实施例中，基于纹理外观信息来生成在第一查看模式下显示的第一图像。可替代地，作为第一图像显示的静止图像可以被单独准备。在第二示例实施例中，取得预先生成的图像作为在第一查看模式下显示的第一图像，并且基于纹理外观信息来生成在第二查看模式下显示的第二图像。本示例实施例中的信息处理装置的硬件配置与第一示例实施例中的配置相同，因此将省略冗余描述。下文中，将主要描述本示例实施例与第一示例实施例的差异。将使用相同的参考符号来描述与第一示例实施例的部件相同的本示例实施例的部件。

<信息处理装置1的逻辑配置>

图6是图示出信息处理装置1的逻辑配置的框图。通过使用RAM 103作为工作存储器来读取并执行存储在ROM 102或HDD 113中的程序，CPU 101用作图6中图示的逻辑部件。下面描述的所有处理不一定由CPU 101执行。信息处理装置1可以被配置成通过一个或多个处理电路来执行处理中的一些或全部。

信息处理装置1包括第一图像取得单元601、纹理外观取得单元201、初始视线取得单元203、设置单元204、动态视线取得单元205、第二图像生成单元602和显示控制单元207。第一图像取得单元601取得关于在第一查看模式下显示的第一图像I

<由信息处理装置1执行的处理>

将参考图7的流程图来描述由本示例实施例中的信息处理装置1执行的处理的过程。当用户经由输入设备110输入指示并且CPU 101接收到输入指示时，开始图7的流程图中图示的处理。

步骤S301是与第一示例实施例中的对应步骤类似的步骤，因此将省略冗余描述。在步骤S701中，响应于用户发出指示，第一图像取得单元601从数据存储装置取得关于第一图像I

在步骤S702中，显示控制单元207在显示设备115上显示由在步骤S701中取得的第一图像数据表示的第一图像I

在步骤S704中，第二图像生成单元602使用视线向量V、照明向量L、照明强度E、漫反射强度ρ

I

在步骤S705中，显示控制单元207在显示设备115上显示在步骤S704中生成的第二图像I

<本示例实施例的效果>

如上所述，本示例实施例中的信息处理装置1取得预先生成的图像作为在第一查看模式下显示的第一图像，并显示第一图像，直至第一查看模式被切换到第二查看模式为止。由于用户可以指定在第一查看模式下显示的图像，因此在第一查看模式下呈现给用户的图像可以被设置为对用户而言合适的图像。

[变形例]

在上述示例实施例中，在外部地连接到信息处理装置1的显示设备115上显示UI和图像。可替代地，可以在诸如其中集成了信息处理装置和显示单元的平板计算机之类的硬件配置上显示UI和图像。

在上述示例实施例中，经由UI输入在切换到第二查看模式时的初始视线信息和在第二图像被生成时使用的视线信息。在使用诸如平板计算机之类的硬件配置作为信息处理装置1的情况下，可以使用陀螺仪传感器或内置摄像头来取得视线信息。

在第一示例实施例中，当第一图像被生成时的照明强度的最大值被设置成使得I

在第一示例实施例中，通过将漫反射强度乘以常数来生成第一图像。可替代地，可以通过基于使用法线的Lambert模型的计算来取得第一图像。

在上述示例实施例中，取得指示出物体表面的方向的法线作为被包含在纹理外观信息中的物体的形状信息。可替代地，可以取得指示出物体的高度分布的高度图。

在这种情况下，通过微分将高度图转换成法线图，然后执行上述处理。

在上述示例实施例中，取得漫反射强度、镜面反射强度、光泽度和法线作为纹理外观信息。可替代地，还可以基于要表现的纹理外观来取得诸如指示出镜面反射的分布方向的各向异性图之类的其他信息。

在上述示例实施例中，纹理外观信息以具有由8位表示的像素值的图像的格式被使用。可替代地，可以使用不同的图像格式(诸如，16位图像格式)或不同格式的信息(具有数据列表、文本数据等的二进制文件)。

在上述示例实施例中，使用Blinn-Phong模型作为在生成第二图像时的镜面反射光的模型。可替代地，可以使用诸如Torrance-Sparrow模型或使用高斯函数的近似之类的不同模型形式。

在上述示例实施例中，基于其像素值饱和的像素的数量来设置在生成第二图像时使用的照明信息。可替代地，可以基于预设的镜面反射与漫反射的比率或局部对比度来设置照明信息。

在上述示例实施例中，在生成第二图像时与第一图像的组成比被设置为0.5。可替代地，可以使用不同的比率。

在上述示例实施例中，在设置照明强度时使用的饱和像素的数量被设置为图像中所有像素的1％。可替代地，可以设置不同的阈值。

在上述示例实施例中，当新取得了视线信息时，在图像显示区域501上显示的图像被更新。可替代地，各自具有不同视线信息的多个图像可以被一起显示。

显示多个图像使用户能够比较多个图像，并且用户可以通过观察视线信息的改变来容易地检查物体外观的差异。

根据本公开的示例实施例，可以容易地检查物体的纹理外观。

其他实施例

本发明的(一个或多个)各种实施例还可以通过读出并执行记录在存储介质(也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路以执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供到计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已描述了示例实施例，但要理解，本发明不限于所公开的示例实施例。随附权利要求的范围应被赋予最宽泛的解释，以包含所有这样的修改以及等同的结构和功能。