图像处理方法、信息处理装置、计算机程序及存储介质

技术领域

本发明涉及一种图像处理方法、信息处理装置以及计算机程序。

背景技术

专利文献1中记载了如下技术：将根据通过摄影部从多个拍摄方向拍摄对象物所得到的摄影图像组而生成的纹理(texture)映射到虚拟空间中的基元(primitive)，来生成在虚拟空间中从虚拟摄像机看到的虚拟空间图像。

专利文献2中记载了如下技术：利用从多个位置对立体场景模型物(diorama)进行拍摄所得到的照片的图像数据来生成三维模型数据，并将该三维模型数据用作用于表现计算机游戏中的场面的数据。

现有技术文献

专利文献

专利文献1：日本特开2020-107251号公报

专利文献2：日本特开2021-051537号公报

发明内容

发明要解决的问题

在上述技术中，在对对象物进行拍摄并使用拍摄得到的对象物的三维模型数据来生成将三维模型配置于虚拟空间上所得到的影像时，期望生成充满临场感的影像。

因此，本发明的目的在于，在对对象物进行拍摄并使用拍摄得到的对象物的三维模型数据来生成将三维模型配置于虚拟空间上所得到的影像时，实现充满临场感的影像的生成。

用于解决问题的方案

用于解决上述问题的一个方式是一种图像处理方法，用于生成用于使外部的显示装置显示虚拟现实(VR)影像的显示用数据，所述图像处理方法包括：第一生成工序，处理部根据通过扫描仪部从多个方向对模型物的外观的图像进行扫描而生成的多个扫描图像，来生成所述模型物的第一三维模型数据；加工工序，处理部对所述第一三维模型数据进行加工；赋予工序，所述处理部对加工后的所述第一三维模型数据赋予特效；以及第二生成工序，生成包含被赋予了所述特效后的第一三维模型数据的所述显示用数据。

发明的效果

在对对象物进行拍摄并使用拍摄得到的对象物的三维模型数据来生成将三维模型配置于虚拟空间上所得到的影像时，能够实现充满临场感的影像的生成。

附图说明

图1是示出与实施方式对应的图像处理系统的结构例的图、示出信息处理装置100的硬件结构的一例的图、以及示出头戴式组件150的硬件结构的一例的图。

图2是示出与实施方式对应的人形模型物的外观的一例的图。

图3是示出与实施方式对应的立体场景模型物的外观的一例的图。

图4是示出与实施方式对应的图像处理系统的实现的一例的图。

图5是与实施方式对应的图像处理系统10中的处理的一例所对应的流程图。

图6是与实施方式对应的扫描处理的一例所对应的流程图。

图7是示出与实施方式对应的扫描后处理的一例的流程图。

图8是示出与实施方式对应的VR影像的显示处理的一例的流程图。

图9是示出与实施方式对应的VR影像中的特效表现的一例的图。

具体实施方式

下面，参照附图来详细说明实施方式。此外，下面的实施方式不对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合不限于全部是发明所必需的。也可以任意地组合在实施方式中说明的多个特征中的两个以上的特征。另外，对相同或同样的结构标注相同的附图标记，并省略重复的说明。另外，在各图中，将相对于纸面的上下左右前后方向设为本实施方式中的部件(或配件)的上下左右前后方向，来在本文中的说明时使用。

首先，说明与本实施方式对应的图像处理系统的结构。图1的(A)是示出与本实施方式对应的图像处理系统10的结构的一例的图。图像处理系统10是通过对信息处理装置100连接扫描仪110、支撑臂120、模型物支承装置130、显示装置140、头戴式组件150等来构成的。此外，系统结构不限于图1的(A)所示的结构，也可以是，信息处理装置100还经由网络连接有外部服务器、云服务器等。在该外部服务器等中，能够执行在下面说明的实施方式中的至少一部分处理。

信息处理装置100控制扫描仪110、支撑臂120以及模型物支承装置130中的至少任一者的动作，从任意的角度对作为拍摄对象的物品进行拍摄来生成多个图像，并根据该多个图像来生成三维模型数据(正式数据)。在作为拍摄对象的物品为能够分离为多个构成物品的结构的情况下，也可以对每个构成物品进行拍摄来生成三维模型数据，并通过将这些三维模型数据进行整合来生成对象物品的三维模型数据。

信息处理装置100通过将所生成的三维模型数据用作虚拟空间用数据，也能够作为生成在虚拟空间内显示的图像的图像处理装置发挥功能。另外，也可以在生成三维模型数据的信息处理装置100以外单独地准备利用三维模型数据的图像处理装置。在本实施方式中，作为拍摄对象的物品是可拼装的塑料模型、可动手办(具备可动式的关节部的手办)、玩具、人偶等，在下面将它们统称为“模型物”。

接着，扫描仪110是按照信息处理装置100的控制来对作为拍摄对象的模型物的三维形状进行拍摄(扫描)并输出拍摄对象的三维形状和颜色信息的三维扫描仪装置。在本实施方式中，将从扫描仪110输出的扫描信号统称为“扫描图像”。扫描仪110例如能够使用Artec(埃太科，注册商标)公司制造的Space Spider。在本实施方式中，能够通过以500帧至800帧左右的方式获取扫描图像，来获取玩具整体的3D扫描数据。另外，作为扫描仪110，也可以利用例如安装了用于对三维形状进行拍摄的应用程序的、带摄像头的智能手机。

支撑臂120是按照信息处理装置100的控制来使扫描仪110移动为规定的拍摄位置和姿势的位置姿势控制装置。支撑臂120既可以构成为能够通过手动方式变更拍摄位置、姿势并且能够固定地维持变更后的位置、姿势，也可以构成为能够由信息处理装置100控制。在支撑臂120构成为能够由信息处理装置100控制的情况下，例如能够使用UFACTORY(众为创造，注册商标)公司制造的xArm 7。xArm 7由七个接头(joint)构成，能够进行与人类的臂同样的动作。此外，也可以代替支撑臂120而手动地进行扫描仪110的定位。另外，对于利用支撑臂120无法全部覆盖的拍摄位置和姿势，也可以手动地操作扫描仪110来进行扫描。

模型物支承装置130是用于支承姿势固定的模型物的支承台。模型物支承装置130例如也可以构成为使模型物能够在设置于支承台上或设置于支承棒的前端的状态下旋转。在本实施方式中，在通过支撑臂120使扫描仪110位于任意的拍摄位置、拍摄角度之后，使模型物支承装置130旋转一周并进行拍摄。通过在多个拍摄位置、拍摄角度进行该拍摄，能够获取模型物整体的图像。此外，在此，通过同步地驱动支撑臂120和模型物支承装置130，能够更简便且高精度地进行摄影处理。另外，代替模型物支承装置130，也可以手动地使扫描仪110在模型物的周围移动，来从任意的拍摄位置、拍摄角度进行扫描。

显示装置140是液晶显示器(LCD)等显示器装置，能够显示信息处理装置100中的处理结果。具体地说，能够显示通过扫描仪110获取到的图像，或者显示根据该拍摄图像而生成的三维模型数据的正式数据，或者显示使用正式数据进行重构所得到的VR影像。显示装置140能够具备接受来自用户的操作的操作部140A，用户能够通过对操作部140A进行操作来变更视频的显示区域或者进行规定的选择动作等。

头戴式组件150由后述的头戴式显示器150A和控制器150B构成。尤其也可以作为VR头戴式组件来构成为能够提供与用户的姿势、倾斜对应的动态图像。头戴式组件150中安装有规定的应用程序，能够从信息处理装置100下载要在该应用程序中执行的应用程序数据并执行该应用程序数据。该应用程序数据包含用于显示VR影像的显示用数据。

图1的(B)示出信息处理装置100的硬件结构的一例。CPU 101是进行信息处理装置100的整体性的控制、数据的计算、加工、管理的装置。例如，能够控制扫描仪110中的图像的拍摄时机、拍摄张数，并且控制支撑臂120的臂的接头来将扫描仪110配置为任意的拍摄位置、拍摄角度。另外，在决定了扫描仪110的拍摄位置、拍摄角度之后，能够使模型物支承装置130旋转并通过扫描仪110来实施拍摄动作。另外，CPU 101也能够作为对从扫描仪110输出的图像进行处理的图像处理部来发挥功能。

RAM 102是易失性的存储器，用作CPU 101的主存储器、工作区域等临时存储区域。ROM 103是非易失性的存储器，分别在规定的区域中保存图像数据、其它数据、CPU 101用来进行动作的各种程序等。CPU 101例如按照ROM 103中保存的程序，将RAM 102用作工作存储器，来控制信息处理装置100的各部。此外，CPU 101用来进行动作的程序不限于保存在ROM103中，也可以存储在存储装置104中。

存储装置104例如由HDD、闪速存储器等磁盘构成。存储装置104中保存有应用程序、OS、控制程序、关联程序、游戏程序等。存储装置104能够基于CPU 101的控制来读取或写入数据。也可以将存储装置104用作RAM 102、ROM 103的替代。

通信装置105是用于基于CPU 101的控制来与扫描仪110、支撑臂120、模型物支承装置130、显示装置140及头戴式组件150进行通信的通信接口。通信装置105也可以构成为还能够与外部服务器等进行通信。通信装置105能够包括无线通信模块，该模块能够包括公知的电路机构，该公知的电路机构包括天线系统、RF发送接收器、一个以上的放大器、调谐器、一个以上的振荡器、数字信号处理器、CODEC芯片组、加入者识别模块卡、存储器等。在此，信息处理装置100与扫描仪110、支撑臂120、模型物支承装置130、显示装置140及头戴式组件150的通信也可以通过无线通信来进行。

另外，通信装置105也能够包括用于进行有线连接的有线通信模块。有线通信模块使得能够经由一个以上的外部端口来进行与包括显示装置140在内的其它设备的通信。另外，能够包括用于处理数据的各种各样的软件组件。外部端口经由以太网、USB、IEEE 1394等来直接地或经由网络间接地与其它设备耦合。此外，也能够通过用于实现与以上的各装置等同的功能的软件来构成为硬件装置的替代。

操作部106例如由按钮、键盘、触摸面板等构成，接受来自用户的操作输入。操作部106既可以与操作部140A通用，也可以独立于操作部140A。例如，在设想操作部140A是构成为键盘和鼠标等的操作部的情况下，能够将其设为与操作部106通用。另一方面，在设想操作部140A是构成为触摸面板等的操作部的情况下，能够将其设为操作部106以外的单独的操作部。

显示控制部107作为用于在与信息处理装置100连接的显示装置140上显示信息的控制部来发挥功能，控制显示装置140的动作。操作部106的一部分功能也可以由显示装置140具备。例如，显示装置140也可以构成为具备平板终端这样的触摸面板的装置。

图1的(C)示出头戴式组件150的硬件结构的一例。头戴式组件150由头戴式显示器(HMD)150A和控制器150B构成。HMD 150A向用户的左右眼分别提供右眼影像、左眼影像，并通过右眼影像和左眼影像的视差来使用户感受到立体感，从而实现虚拟现实(VR)体验。在独立于HMD 150A的壳体中提供控制器150B。为了供用户的左右手分别握持并操作而设想控制器150B是两个控制器成对的结构，但也可以是单个的控制器。

CPU 151是进行头戴式组件150的整体性的控制、数据的计算、加工、管理的装置。例如，能够执行从信息处理装置100下载的应用程序数据来在显示器156中显示VR影像。另外，能够基于经由控制器150B接受到的操作、由检测部157探测到的信息，来切换所显示的VR影像本身，或者在VR空间内切换视点，或者变更VR空间内的位置。

RAM 152是易失性的存储器，用作CPU 151的主存储器、工作区域等临时存储区域。ROM 153是非易失性的存储器，分别在规定的区域中保存图像数据、其它数据、CPU 151用来进行动作的各种程序等。CPU 151例如按照ROM 153中保存的程序，将RAM 152用作工作存储器，来控制头戴式组件150的各部。此外，CPU 151用来进行动作的程序不限于保存在ROM153中，也可以存储在存储装置154中。

存储装置154例如由HDD、闪速存储器等磁盘构成。存储装置154中保存有应用程序、OS、控制程序、关联程序、游戏程序、从信息处理装置100下载的应用程序数据、显示用数据等。存储装置154能够基于CPU 151的控制来读取或写入数据。也可以将存储装置154用作RAM 152、ROM 153的替代。

通信装置155是用于基于CPU 151的控制来与信息处理装置100、控制器150B进行通信的通信接口。通信装置155包括用于实现基于Bluetooth(蓝牙)、WiFi(IEEE802.11)的无线通信的无线通信模块。头戴式组件150能够通过无线通信来与信息处理装置100连接并下载VR影像的显示用数据。另外，与控制器150B进行通信来接收用户对控制器150B的操作指示的信息。

显示器156构成为分别向用户的右眼和左眼提供由CPU 151生成的右眼影像和左眼影像。检测部157是用于检测用户的左右眼的视线方向并且检测头戴式显示器的倾斜的机构。检测部157例如包括用于检测穿戴着HMD150A的用户的视线方向或注视方向的传感器。另外，能够包括陀螺仪、磁力计、加速度计、全球定位系统(GPS)、罗盘等，并按照它们的检测信息来确定HMD 150A的位置、姿势、倾斜等。检测部157在HMD 150A中检测用于判定用户的注视方向、运动的信息，并向CPU 151发送该信息。CPU 151基于所接收到的检测信息来判定注视方向、运动，并调节在HMD 150A的显示器156中呈现的影像，以使其与所判定出的注视方向、运动一致。

控制器150B例如由多个按钮、十字键等构成，接受来自用户的选择操作、方向指示操作等操作输入。控制器150B经由通信装置155来与HMD 150A无线通信连接。

接着，参照图2来说明在本实施方式中成为拍摄对象的模型物的一例。模型物200是具有人形(机器人或人类)的外观的模型物。该模型物例如能够设为作为塑料模型被拼装、涂装的模型物。或者也可以是具备可动式的关节部的手办(可动手办)这样的已完成的模型物。图2的模型物仅是用于说明的一例，模型物的形状不限于具有人形的外观，能够设为一般车辆、赛车、军用车辆、飞机、船舶、动物、虚拟生命体等任意的形状的模型物。此外，成为拍摄对象的物品只要是能够由扫描仪110对其三维形状进行拍摄的物品，则当然不限定于模型物。

模型物200具有头部201、胸部202、右臂部203、左臂部204、右躯干部205、左躯干部206、右腿部207、左腿部208、右脚部209、左脚部210的各部件，这些各部件结合来构成模型物200。各个部位201～210中的至少一部分以能够相对于相邻的部位转动(或摆动)的方式被支承。例如，头部201以能够相对于胸部202转动的方式被支承，右臂部203、左臂部204以能够相对于胸部202转动的方式被支承。由于像这样在模型物200的各部位设置有关节构造，因此模型物200能够取任意的姿势。

另外，参照图3来说明在本实施方式中成为拍摄对象的立体场景模型物的一例。在图3所示的立体场景模型物300中，表现出人形模型物301在基座构件302上想要利用从光束步枪照射出的光束304来击落浮游配件303的场景。在立体场景模型物300中，能够分离为人形模型物301、基座构件302以及浮游配件303这些各构成部件。立体场景模型物300构建在底座306上，但底座306本身在VR影像中是不需要的。另外，为了使浮游配件303悬浮而配置有支承构件305，但该支承构件305在VR影像中也是不需要的。在生成VR影像时，从三维模型数据中去除这些构件。

立体场景模型物300是将规定的情景、场景制作为模型物所得到的模型物，在该情景、场景中也能够还包括如图2所示的人形的模型物200。立体场景模型物300与模型物200这样的单独的模型物不同，是制作还包括其周边在内的情景来赏玩的模型物。在本实施方式中，不仅针对模型物200这样的单独的玩具，还针对立体场景模型物300来生成三维模型数据并在VR影像中提供该三维模型数据，由此能够在更加充满临场感的环境中鉴赏立体场景模型物300。由于立体场景模型物能够模仿任意的情景、场景来制作，因此图3所示的立体场景模型物300仅是一例。

接着，参照图4来说明本实施方式中的图像处理系统10的实现例。图4示出能够生成对模型物进行拍摄而生成的正式数据的实现例。

在图4中，在箱401内包括信息处理装置100、用于驱动支撑臂402的驱动系统、用于驱动旋转台406的驱动系统等。此外，支撑臂402也能够通过手动方式调整拍摄方向、位置。箱401的表面成为平坦的构造，以能够张贴宣传用的海报。

支撑臂402与支撑臂120对应，能够按照信息处理装置100的控制或通过手动来支承作为扫描仪110发挥功能的终端403并固定其位置。支撑臂402另外也能够以控制终端403的倾斜的方式进行动作。

终端403是能够用作扫描仪110的、摄像机内置的触摸面板式的终端，例如能够利用智能手机、平板终端、数字摄像机等。也能够利用Artec公司制造的Space Spider来代替这些终端。图4仅是示出系统的结构例的图，终端403能够设为与被用作扫描仪110的设备的种类相应的结构。终端403能够拍摄模型物200的图像并向信息处理装置100发送该图像。环形灯404是在通过终端403对模型物200进行拍摄时被利用的照明装置，能够均匀地对模型物200打光，从而不易产生影子。此外，作为追加的光源，除环形灯404以外，也可以设置顶灯或在左右、下侧设置辅助灯。也可以使用如上述那样的三维扫描仪装置来代替终端403。

背景布405是摄影用的背景布，例如能够利用白色的布。旋转台406能够搭载模型物200并使模型物旋转。也可以在旋转台406上配置多个规定的标记410。标记410能够用于调整被拍摄的模型物的朝向、位置。

在图4中，模型物设置于半透明(透明)的台上，但除此以外，也可以利用例如被称为“可动支架(action base)”这样的支承器具。可动支架是指在台座上设置有构成为弯曲为“く”字型的支柱，且能够在支柱的前端安装模型物。此时，也可以在支柱的前端部分配置上述的标记410。模型物的指示方法能够根据姿势来变更。例如，在直立姿势的情况下，能够设置于透明的台上来进行拍摄。另一方面，在如飞翔姿势这样想要拍摄到脚底的情况下，也可以利用可动支架。此外，也可以为了对直立姿势进行拍摄而使用可动支架。

显示器装置407是与显示装置140对应的装置，也可以具有触摸面板功能。用户能够利用触摸面板功能来进行规定的选择动作。VR头戴式组件由HMD408A和控制器408B构成，分别与HMD 150A和控制器150B对应。用户通过将HMD 408A穿戴在头上并且用左右手分别握持并操作控制器408B，能够一边观看VR影像一边进行操作。

接着，参照图5来说明与本实施方式对应的图像处理系统10所执行的处理的一例。与该流程图对应的处理的至少一部分通过信息处理装置100的CPU 101执行ROM 103、存储装置104中存储的程序来实现，或者通过头戴式组件150的CPU 151执行ROM 153、存储装置154中存储的程序来实现。

首先，在S501中，CPU 101接受用户登记。接受用户的名称、联络地址的输入。对各用户赋予用于唯一地识别各个用户的用户标识符。CPU 101将所输入的用户信息与接受输入的时间、用户标识符相关联地存储到存储装置104中。

当用户完成了用户登记时，将自己的模型物设置于模型物支承装置130。此时，在如立体场景模型物300那样能够分离为多个构成要素的情况下，将每个构成要素设置于模型物支承装置130。CPU 101能够基于由扫描仪110得到的扫描图像来判定模型物是否被设置于模型物支承装置130。或者也可以是，配置当模型物被设置于模型物支承装置130的情况下变为开启的开关，由CPU 101探测来自开关的信号从而进行判断。或者，在显示装置140中显示用于在完成了模型物的设置的情况下接受操作的按钮，CPU 101能够探测是否接受到针对该按钮的操作。在S502中，CPU 101通过上述的任一方法探测到模型物被设置于模型物支承装置130。响应于该探测，处理进入S503。

在S503中，扫描仪110执行扫描处理(摄影处理)来生成扫描图像。拍摄得到的扫描图像被发送到信息处理装置100，CPU 101将该扫描图像与用户标识符等相关联地保存到存储装置104的表中。在接下来的S504中，CPU 101对通过扫描处理而获取到的扫描图像执行扫描后处理，来生成三维模型数据，并生成VR影像显示用的应用程序数据(显示用数据)。当在特定的应用程序中执行该应用程序数据时，能够播放VR影像。所生成的三维模型数据及显示用数据与用户信息相关联地存储在存储装置104中。在接下来的S505中，CPU101控制通信装置105来向HMD 150A发送该应用程序数据。在接下来的S506中，HMD 150A的CPU 151通过在对应的应用程序中执行所接收到的应用程序数据，来执行显示VR影像的处理。

接着，参照图6来说明S503中的扫描处理的详情。在本实施方式中，按拍摄位置登记支撑臂120的驱动信息、扫描仪110在该拍摄位置的拍摄次数。而且，在各拍摄位置进行拍摄时，能够通过使模型物支承装置130旋转来进行拍摄。

首先，在S601中，CPU 101控制支撑臂120，使扫描仪110移动至所登记的任一拍摄位置。或者，也可以手动地控制支撑臂120来使扫描仪110移动至任一拍摄位置。另外，控制模型物支承装置130来使其移动至旋转开始位置。设为此时作为拍摄对象的模型物的正面朝向扫描仪110。这是为了使得从模型物的正面侧开始扫描。在接下来的S602中，CPU 101能够在该拍摄位置一边使模型物支承装置130旋转一边使扫描仪110进行扫描，由此获取拍摄对象的扫描图像。扫描仪110从模型物的正面侧开始扫描，该模型物的正面侧相当于扫描数据的前表面侧。扫描仪110能够使用上述的Artec公司制造的Space Spider这样的扫描仪专用装置、或者智能手机、平板终端、数字摄像机等带扫描仪功能的通用装置。在扫描过程中，也能够根据部位的性质来切换使用扫描仪专用装置和通用装置。例如，由于扫描仪专用装置需要接近对象物来进行扫描，因此在扫描结构上难以接近的部位、错综复杂的部位的情况下，也可以代替扫描仪专用装置而使用通用装置。在扫描后处理中能够将利用各个装置获取到的扫描图像进行整合。

另外，此时，也可以使模型物支承装置130在特定的旋转位置停止，通过控制支撑臂120或者由拍摄者手动地改变扫描仪110的角度，来一边使扫描仪110沿纵向移动一边对模型物进行扫描。由此，能够还从上方或还从下方对模型物进行拍摄。尤其通过从下方进行扫描，能够还对模型物的脚底进行扫描。这样，在本实施方式中，以包罗模型物的整周的方式选择扫描方向、角度并进行扫描。

在本实施方式中，能够以将模型物设置在从模型物支承装置130延伸出的透明的支承棒上的形式使该模型物悬浮并进行扫描。也能够使该模型物在模型物支承装置130的旋转台上直接直立并进行扫描。在前者的方式中，由于能够还对模型物的脚底进行拍摄，因此适合于飞翔姿势的拍摄。另一方面，在后者的方式中，无法对脚底进行拍摄，但适合于对直立姿势进行拍摄。此外，也可以在前者的拍摄方式中对直立姿势进行拍摄。

在接下来的S603中，CPU 101判定是否存在未处理的扫描对象。如上所述，在立体场景模型物300中，有时分解为构成要素来进行扫描，因此在存在未处理的构成要素的情况下，返回S601并重复处理。另一方面，在不存在未处理的扫描对象的情况下，处理移至S604。在S604中，扫描仪110将通过以上处理得到的扫描图像发送到信息处理装置100，CPU 101将所接收到的图像与用户信息等相关联地存储到存储装置104中。

接着，参照图7来说明作为S504的扫描后处理的、基于在S503中得到的扫描图像来生成显示用数据的处理的详情。首先，在S701中，CPU 101获取被保存在存储装置104中的多个扫描图像。在接下来的S702中，CPU 101根据所获取到的扫描图像，来在多边形网格中生成成为正式数据的模型物的三维模型数据。若直接使用以自由曲线表现的扫描图像的信息，则信息量会变得庞大，因此能够通过进行网格化来削减数据量。另外，在生成三维模型数据时，也可以去除噪声，并且调整多边形数量或者向可动部位追加骨架构造。

在接下来的S703中，在存在多个模型物的构成要素的情况下，进行用于将其整合为一个三维模型数据的配置调整处理。模型物既可以是人形体模型物，也可以是立体场景模型物，但在扫描图像的获取过程中，在能够分离为多个构成要素的情况下，分离地进行扫描处理并在本步骤中将其进行整合。在如立体场景模型物300那样由多个构成要素构成的情况下，在不分离的状态下难以获取各构成要素的完整的三维模型数据，因此在单独地生成三维模型数据之后进行整合。在整合时的对准或配置的调整过程中，能够按照基于从多个方向对立体场景模型物300进行拍摄所得到的图像而确定出的各构成要素的位置关系，来决定各构成要素的相对位置关系。另外，在包括多个人形体玩具的情况下，能够调整各个人形体玩具的配置、朝向。

在接下来的S704中，CPU 101向VR影像开发平台导入在S703中被整合为一的三维模型数据，并将该三维模型数据配置在为了用于VR影像而构建的规定的虚拟空间上。在此，VR影像开发平台例如能够使用Unity Technologies(优三缔科技，注册商标)公司提供的游戏开发平台UNITY。

在接下来的S705中，在VR影像开发平台中，从在S704中被导入的三维模型数据中删除规定部分。例如，去除配置模型物的底座、用于支承模型物的构成要素的支承构件、通过CG等数字表现而作为特效演出的构件(例如光束表现、爆炸表现等)。该规定部分的去除也可以基于与预先准备的模板的比较等来进行。例如，就支承构件而言，由于支承构件一般来说配置为从底座或基座构件起与构成要素直接连接，因此能够将像这样从底座朝向构成要素延伸的线状的构件删除。另一方面，对于虽然是从底座朝向构成要素的线状的构件但是没有与构成要素连接的构件，也可以将其从删除对象中排除。另外，也可以是，确定作为删除对象的构件，根据在之后接受来自用户的解除操作，来决定实际要删除的构件。并且，也可以接受来自用户的删除范围的追加的指定，来使删除对象还包括接受到指定的部位。

在接下来的S706中，针对在S705中删除了不需要部分等之后的各构成要素，按构成要素进行调整多边形数量的处理。例如，在图3所示的立体场景模型物300中，观察者的注意力主要集中在人形模型物301和浮游配件303上，另一方面，基座构件302不会受到人形模型物301那样的程度的关注。在这种情况下，对人形模型物301和浮游配件303分配更多的多边形数量，并减少对基座构件302分配的多边形数量。通过这样减少多边形数量，能够减轻用于显示的计算负担。另外，对于人形模型物301、浮游配件303，也可以使朝向前侧的部分的多边形数量与朝向后侧的部分的多边形数量不同，使得对前侧分配更多的多边形数量。另外，对于最终提供给用户的显示用数据中的从用户的方向看不到的部分，也可以减少多边形数量或将其涂黑。对于基座构件302，也可以不是一律地减少多边形数量，而是根据前侧和后侧来对前侧分配更多的多边形数量。由此，对不显眼的部分减少多边形数量，另一方面，不减少显眼的部分的多边形数量，因此能够在减少整体的多边形数量的同时维持显示品质。此外，对于模型物的前侧和后侧，例如能够将扫描开始位置设为前侧，将扫描开始位置的相反侧的位置设为后侧。因此，在S503的处理中，设为从相当于模型物的前侧的位置起开始扫描。

在接下来的S707中进行特效生成。也可以以对在S705中被删除的不需要部分中的至少一部分进行补充的方式赋予特效。例如，在图3的立体场景模型物300中，进行了从人形模型物301持有的光束步枪照射出光束304并击穿浮游配件303的表现。由于该光束304在S705中被删除，因此生成如同对该被删除的构成要素进行补充那样的特效的动画。另外，在作为拍摄对象的模型物中包括爆炸表现等的情况下，能够还将该爆炸表现等排除并通过动画进行补充来替代该爆炸表现等。另一方面，即使是同样被删除的构成要素，图3的用于支承浮游配件303那样的构成要素的支承构件305在VR影像的表现中是不需要的，因此也不赋予用于对该部分进行补充的特效。另外，在单个模型物200的情况下，能够生成如表现从模型物排气这样的特效的动画。除此以外，能够生成用于达成特效效果的任意的动画并将其叠加于三维模型数据。并且，在S702中在可动部位追加了骨架结构情况下，能够追加利用该骨架结构来使模型物的一部分进行动作的特效。例如，在模型物中包括旗帜的情况下，能够利用嵌入该旗帜的骨架结构来将旗帜随风飘动的情形表现为特效。

在接下来的S708中，基于在上面的步骤中生成的数据来生成显示用数据，能够通过在VR影像开发平台上执行该显示用数据来显示VR影像。

在图8中，对与S506对应的显示用数据的显示处理进行说明。图8的处理由HMD150A的CPU 151执行。在HMD 150A中安装有与用于在信息处理装置100中生成VR数据的VR影像开发平台对应的VR影像显示用的应用程序，CPU 151通过执行该应用程序，能够使用显示用数据来在显示器156中显示VR影像。

首先，在S801中，CPU 151使HMD 150A的显示器156显示能够提供的VR影像的菜单画面。在菜单画面中，用户能够经由控制器150B来进行选择输入。在此，在该菜单画面中显示有多个图标。各图标表示VR影像的开始点，用户能够根据所选择的图标来从多个开始点中的任一个开始点起观看VR影像。各开始点与能够观看作为扫描对象的立体场景模型物300的多个视点位置对应。

在VR影像中，能够按照所决定的路线或者任意地在配置有模型物的三维模型数据的虚拟空间内移动，经由头戴式显示器150A来向用户提供对应的漫步影像。

CPU 151若在接下来的S802中接受到用户经由控制器150B进行的选择操作，则在S803中使显示器156显示从与被选择的图标对应的开始位置起的VR影像。在接下来的S804中，CPU 151获取用户对控制器150B的操作信息、HMD 150A中的检测部157中的检测信息。

在接下来的S805中，CPU 151基于在S804中获取到的操作信息和检测信息，来进行切换显示器156中显示的影像的控制。例如，在根据操作信息而是进行了拉进(zoom in)操作的情况下，以将显示器156中显示的影像放大显示的方式在应用程序中进行影像生成并更新显示器156中显示的影像。另外，在根据检测信息而是用户朝向上下左右的情况下，以将影像切换为对应的方向的方式在应用程序中进行影像生成并更新显示器156中显示的影像。

用户能够经由控制器150B来进行画面的放大、缩小、视线方向的变更、用户在虚拟空间内的位置的变更、菜单画面的显示、菜单选择等。另外，在用户在现实空间中通过行走等进行了移动的情况下，能够通过HMD 150A的检测部157来探测该移动，并变更在虚拟空间内的位置。另外，在用户改变了面部的朝向、角度的情况下，能够通过检测部157来检测该变化，并切换为对应的视线方向的VR影像。

以上说明了在HMD 150A中实施通过HMD 150A来进行S506中的VR影像显示处理的情形的情况。但是，发明的实施方式不限定于在HMD 150A中显示的方式。除此以外，也可以按照图8的流程图，来在安装有VR影像开发平台的信息处理装置100中使用显示用数据来在显示装置140中显示VR影像。此时，能够代替控制器150B而经由操作部140A来接受等同的操作。并且，同样地，还可以按照图8的流程图，来在安装有与VR影像开发平台对应的VR影像显示用的应用程序的个人计算机(PC)、智能手机、平板终端中使用显示用数据来显示VR影像。在该情况下，能够代替控制器150B而经由PC的键盘、鼠标、或者经由智能手机等的触摸面板来接受等同的操作。此时，PC、智能手机以及平板终端能够经由与信息处理装置100的无线通信来下载显示用数据。

并且，也可以经由网络来将服务器与PC、智能手机或平板终端连接，PC等从安装有VR影像开发平台的该服务器接受使用了显示用数据的VR影像的提供。此时，PC、智能手机或者平板终端能够经由浏览器来与服务器连接，并通过浏览器来阅览从服务器接收到的VR影像。在该情况下，即使不在PC等中安装特定的应用程序，只要能够利用浏览器就能够鉴赏VR影像。

图9是示出VR影像中的特效表现的一例的图。图9的(A)示出特效表现开始之前的图3所示的立体场景模型物300的影像。在此示出的例子中不包括在图3中原本存在的光束304、支承构件305以及底座306。它们在显示用数据的生成过程中已经被去除。

接着，在图9的(B)中，将来自模型物301持有的光束步枪的光束901照射到浮游配件303的情形作为特效来进行动画显示。图9的(B)示出了光束901碰到了浮游配件303的状态，但在VR影像中将光束901从光束步枪起前进的情形进行动画显示。另外，在光束901穿出浮游配件303时，能够将表示浮游配件303表面熔融的情形的动画902作为特效来进行叠加。在接下来的图9的(C)中，显示光束901穿出浮游配件303并前进的状态。在HMD 150A中提供的VR影像中，从图9的(A)到图9的(C)的迁移状态作为动画被重复。

这样，在本实施方式中，通过生成模型物的三维模型数据并将其置入VR影像内，能够实现在VR影像内鉴赏模型物。此时，由于只要在VR影像内就能够任意地改变模型物的尺寸，因此小型尺寸的模型物以原本的尺寸的感觉扩大地表现在眼前，临场感显著提高。

在上述的实施方式的说明中，说明了生成用于将根据对模型物进行拍摄而得到的图像生成的三维模型数据配置在虚拟空间内并显示VR影像的显示数据的情况。但是，实施方式不限定于VR影像的生成，也能够将该三维模型数据用作虚拟空间用的游戏数据。另外，也能够广泛地应用于在虚拟空间内使角色进行动作的处理。例如，也能够在虚拟空间内进行的活动、音乐会、体育运动、在线会议等中使该角色出场。并且，在扩展现实(XR)这样的将现实世界与虚拟世界融合使得能够感知到在现实空间中不存在的物体的影像技术中，也能够应用本实施方式的技术。

这样，在本实施方式中，根据对模型物的外观进行拍摄而得到的图像来生成三维模型数据，能够在VR影像中进行鉴赏。模型物例如像组装式塑料模型那样，是用户进行了涂装等而作为个人的作品完成的模型物，能够将它们的个性在视频、虚拟空间内的角色表现中反映出，因此能够使趣味性显著提高。

<实施方式的总结>

上述实施方式至少公开了下面的图像处理方法、信息处理装置以及计算机程序。

(1)一种图像处理方法，用于生成用于使外部的显示装置显示虚拟现实影像即VR影像的显示用数据，所述图像处理方法包括：

第一生成工序，处理部根据通过扫描仪部从多个方向对模型物的外观的图像进行扫描而生成的多个扫描图像，来生成所述模型物的第一三维模型数据；

加工工序，处理部对所述第一三维模型数据进行加工；

赋予工序，所述处理部对加工后的所述第一三维模型数据赋予特效；以及

第二生成工序，生成包含被赋予了所述特效后的第一三维模型数据的所述显示用数据。

(2)根据(1)所述的图像处理方法，其中，

所述模型物由多个构成要素构成，

所述第一三维模型数据中包含与所述多个构成要素对应的多个第二三维模型数据，

所述第一生成工序包括调整所述多个第二三维模型数据的配置。

(3)根据(2)所述的图像处理方法，其中，

所述加工工序包括调整工序，在所述调整工序中，所述处理部调整所述第一三维模型数据的多边形数量，

在所述调整工序中，针对每个所述第二三维模型数据执行多边形数量的调整。

(4)根据(3)所述的图像处理方法，其中，

在所述调整工序中，针对每个所述第二三维模型数据根据朝向而分配不同的多边形数量。

(5)根据(4)所述的图像处理方法，其中，

在所述调整工序中，对所述第二三维模型数据的前侧分配更多的多边形数量。

(6)根据(3)至(5)中的任一项所述的图像处理方法，其中，

所述模型物是至少包括人形模型物和基座构件且所述人形模型物配置在所述基座构件上的立体场景模型物。

(7)根据(6)所述的图像处理方法，其中，

在所述调整工序中，对所述人形模型物分配比对所述基座构件分配的多边形数量多的多边形数量。

(8)根据(1)至(7)中的任一项所述的图像处理方法，其中，

所述加工工序包括删除工序，在所述删除工序中，将与所述模型物的外观对应的所述第一三维模型数据中的、在VR影像中不需要的部分删除，

在所述赋予工序中，赋予用于对在所述删除工序中被删除的部分中的至少一部分进行补充的特效。

(9)根据(8)所述的图像处理方法，其中，

所述不需要的部分包括用于支承所述模型物的支承构件，

在所述赋予工序中，赋予用于对被删除的所述支承构件以外的其它部分进行补充的特效。

(10)根据(8)所述的图像处理方法，其中，

所述赋予工序包括在动画表现中赋予特效。

(11)根据(1)至(10)中的任一项所述的图像处理方法，其中，

所述外部的显示装置是头戴式显示器装置，

所述头戴式显示器装置中安装有规定的应用程序，所述显示用数据是由所述规定的应用程序执行来用于使所述头戴式显示器装置显示VR影像的数据。

(12)一种信息处理装置，用于生成用于使外部的显示装置显示虚拟现实影像即VR影像的显示用数据，所述信息处理装置具备：

第一生成单元，其根据通过扫描仪部从多个方向对模型物的外观的图像进行扫描而生成的多个扫描图像，来生成所述模型物的第一三维模型数据；

加工单元，其对所述第一三维模型数据进行加工；

赋予单元，其对加工后的所述第一三维模型数据赋予特效；以及

第二生成单元，其生成包含被赋予了所述特效后的第一三维模型数据的所述显示用数据。

(13)一种计算机程序，用于使计算机执行(1)至(11)中的任一项所述的图像处理方法。

发明不限制于上述的实施方式，在发明的主旨的范围内能够进行各种变形、变更。