电子装置、电子装置的控制方法及存储介质

技术领域

本发明涉及控制VR图像的显示的电子装置、电子装置的控制方法及存储介质。

背景技术

已知通过利用两个光学系统获取具有视差的广角图像并在虚拟球体上映射和显示这些图像来显示立体虚拟现实(VR)图像的技术。用于拍摄具有视差的图像的双镜头VR照相机包括面向相同方向的两个光学系统。因此，双镜头VR照相机通过一个图像拍摄操作来拍摄具有视差的两个图像。作为双镜头VR照相机，特别地，已知在各光学系统中垂直地和水平地对至少180°(半球体，与图像中心在所有方向上成90°)的宽范围进行摄像的照相机。

此外，作为VR显示方法，已知“单镜头VR显示”，其对要映射在虚拟球体上的VR图像进行变换并显示该一个图像。另一已知的VR显示方法是“双镜头VR显示”，其分别在左区域和右区域中并排显示左眼用的VR图像和右眼用的VR图像。

日本特开2019-121858提出了如下的电子装置，该电子装置在显示VR照相机所拍摄的VR图像时控制天顶校正(VR照相机的俯仰角和侧倾角的校正)和VR照相机的横摆角的校正，使得用户可以容易地观察VR图像。这里，电子装置根据诸如VR照相机的安装位置、移动速度和抖动等的条件来控制天顶校正等。

如果不进行天顶校正，则VR图像中的天顶和用户对其的认识发生偏差，这使得难以识别和观察VR图像。在一些情况下，除非进行天顶校正，否则使用VR图像进行操作变得困难。

当在双镜头VR照相机倾斜的状态下拍摄VR图像时，在左光学系统的高度和右光学系统的高度不同的状态下拍摄VR图像。因此，在传感器上所形成的左被摄体图像和右被摄体图像之间产生重力方向(垂直方向)上的视差。对以这种方式拍摄的VR图像(双镜头VR图像)进行天顶校正可以校正VR图像的倾斜，但不能消除重力方向上的视差，这会导致立体物体的识别受到干扰。作为结果，用户将这些VR图像感知为双重图像。使用户感知到双重图像的这种VR图像可能导致用户经历诸如头痛、头晕和恶心等的症状、即所谓的VR病的症状。以这种方式，如果在针对在倾斜状态下拍摄的双镜头VR图像进行双镜头VR显示的情况下进行天顶校正，可能生成导致不适的双重图像。在日本特开2019-121858中未考虑该问题。

发明内容

本发明是为了提供能够适当地显示多个光学系统所拍摄的VR图像的电子装置。

本发明的一方面是：

一种电子装置，包括：

获取单元，其被配置为获取包括彼此具有视差的第一图像和第二图像的图像集；以及

控制单元，其被配置为进行控制以使得：

1)在要显示所述第一图像而不显示所述第二图像的第一显示模式的情况下，在显示器上以将所述第一图像的朝向校正为指向预定朝向的方式显示所述第一图像，以及

2)在要显示所述第一图像和所述第二图像这两者的第二显示模式的情况下，在所述显示器上以不将所述第一图像和所述第二图像的朝向校正为指向所述预定朝向的方式显示所述第一图像和所述第二图像。

本发明的另一方面是：

一种电子装置的控制方法，所述方法包括：

获取步骤，用于获取包括彼此具有视差的第一图像和第二图像的图像集；

第一控制步骤，用于进行控制以使得：在显示所述第一图像而不显示所述第二图像的第一显示模式的情况下，在显示器上以将所述第一图像的朝向校正为指向预定朝向的方式显示所述第一图像；以及

第二控制步骤，用于进行控制以使得：在显示所述第一图像和所述第二图像这两者的第二显示模式的情况下，在所述显示器上以不将所述第一图像和所述第二图像的朝向校正为指向所述预定朝向的方式显示所述第一图像和所述第二图像。

本发明的又一方面是：

一种计算机可读存储介质，其存储用以使计算机执行上述控制方法的程序。

根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1A和图1B是用于说明根据实施例的VR照相机的图；

图2A至图2C是用于说明根据实施例的显示控制装置的图；

图3A至图3C是用于说明根据实施例的天顶校正的图；

图4A至图4F是用于说明根据实施例的显示模式的图；以及

图5是描绘了根据实施例的显示控制的处理的流程图。

具体实施方式

将参考附图来说明本发明的实施例。首先将说明VR图像，然后将说明根据实施例的显示控制装置。

VR图像

VR图像是可以进行VR显示(以“VR视图”显示模式进行显示)的图像。VR图像包括由全方位照相机(全球体照相机)拍摄的全方位图像(全球体图像)、以及图像范围(有效图像范围)比可以在显示单元上一次显示的图像的显示范围宽的全景图像。VR图像不仅是静止图像，还包括运动图像和实时取景图像(从照相机几乎实时获取的图像)。VR图像具有视野在垂直方向(垂直角度、相对于天顶的角度、仰角、俯角、姿态角、俯仰角)上最大为360°并且在水平方向(水平角度、方位角度、横摆角)上最大为360°的图像范围(有效图像范围)。

即使视野在垂直方向上小于360°并且在水平方向上小于360°，VR图像也包括具有比标准照相机可摄像(拍摄)的视角宽的视角(视野)、或者具有比可以在显示单元上一次显示的显示范围宽的图像范围(有效图像范围)的图像。例如，可拍摄水平方向(水平角度、方位角度)上为360°、并且以天顶为中心时垂直角度为210°的视野(视角)的被摄体的图像的全方位照相机所拍摄的图像是一种VR图像。此外，例如，可拍摄水平方向(水平角度、方位角度)上为180°、并且以水平方向为中心时垂直角度为180°的视野(视角)的被摄体的图像的照相机所拍摄的图像是一种VR图像。换句话说，具有在垂直方向和水平方向上分别为至少160°(±80°)的视野中的图像范围、并且具有比人类可一次进行视觉识别的范围宽的图像范围的图像是一种VR图像。

当对该VR图像进行VR显示(以“VR视图”显示模式进行显示)时，可以通过改变显示装置(显示VR图像的显示装置)在水平旋转方向上的姿势来观察(观看)水平方向(水平旋转方向)上无缝的全方位图像。在垂直方向(垂直旋转方向)上，在从正上方(天顶)起的±105°范围内可以观察到全方位图像，但从正上方起超过105°的范围是不存在图像的空白区域。VR图像可被视为“图像范围是虚拟空间(VR空间)的至少一部分的图像”。

VR显示(VR视图)是用以在VR图像中显示与显示装置的姿势相对应的视野中的图像的显示方法，并且是可改变显示范围的显示方法(显示模式)。在作为显示装置的头戴式显示器(HMD)被安装在头部以观察图像的情况下，显示与用户的面部方向相对应的视野中的图像。例如，假定在特定定时处，在VR图像中显示中心在水平方向上为0°(特定方位，诸如北)并且在垂直方向为90°(从天顶起的90°，即水平)的视野角(视角)的图像。如果在这种状态下，显示装置的姿势前后反转(例如，将显示面从面向南改变为面向北)，则在同一VR图像内，显示范围改变为视野角的中心在水平方向上为180°(相反方位，诸如南)并且在垂直方向上为90°(水平)的图像。在用户正在观察HMD的情况下，如果用户将其脸从北转向南(即，如果用户向后看)，则HMD上所显示的图像也从向北的图像改变为向南的图像。通过该VR显示，可以向用户提供如同用户在VR图像(VR空间)中的视觉感觉(沉浸感)。VR护目镜(头戴式适配器)中所安装的智能手机可被视为一种HMD。

VR图像的显示方法不限于上述方法。显示范围可能不是根据姿势的变化、而是根据对触摸面板和方向按钮等进行的用户操作而移动(滚动)。在VR显示(在显示模式“VR视图”)中，显示范围不仅可以通过姿势的变化、而且还可以通过对触摸面板的触摸移动、利用鼠标的拖动操作以及按下方向按钮等来改变。

可拍摄水平方向(水平角度、方位角度)上为180°并且以水平方向为中心时垂直角度为180°的视野(视角)中的被摄体的图像的照相机(摄像装置)的示例是图1A所示的VR照相机100。当用户按下快门按钮103时，VR照相机100可以经由镜头101和102来拍摄照相机前面的180°图像。如果使用VR照相机100，则可以从镜头101和镜头102的两个位置(两个光学系统)拍摄被摄体的图像，因此可以同时获取具有视差的两个VR图像(作为集合)。这里，在镜头101和镜头102被水平定位的VR照相机100的状态下，如图1A所示，VR照相机100的垂直方向104与重力方向105一致。然而，在镜头101和镜头102没有水平定位的VR照相机100的状态下，如图1B所示，VR照相机100的垂直方向104与重力方向105不一致。因此，如果对在图1B所示的状态下拍摄的两个VR图像进行天顶校正、并且进行双镜头VR显示，则在摄像期间，由于重力方向105的视差的影响，可能生成双重图像。

显示控制装置

图2A是作为一种电子装置的显示控制装置200的示例的外观图。显示控制装置200可以从VR照相机100获取VR图像，并显示VR图像。显示器205是显示图像和各种信息的显示单元。显示器205与后述的触摸面板206a一体化。显示控制装置200可以检测对显示器205的显示面的触摸操作。显示控制装置200可以在显示器205上进行VR图像(VR内容)的VR显示。

操作单元206包括触摸面板206a和操作单元206b、206c、206d和206e。操作单元206b是接收用以切换显示控制装置200的电源的开启/关闭的操作的电源按钮。操作单元206c和操作单元206d是用以使从声音输出单元212输出的声音的音量升高/降低的音量按钮。操作单元206e是用以在显示器205上显示主画面的主按钮。

声音输出端子212a是将声音输出到耳机和外部扬声器等的耳机插孔(组件)。扬声器212b是用以输出声音的电子装置的内部扬声器。

图2B是示出显示控制装置200的结构的示例的框图。本实施例的显示控制装置200可以使用诸如智能手机等的显示装置构成。这里，CPU 201、存储器202、非易失性存储器203、图像处理单元204、显示器205、操作单元206、存储介质接口207、外部接口209和通信接口210连接到内部总线250。此外，声音输出单元212和姿势检测单元213也连接到内部总线250。连接到内部总线250的各单元被配置成使得可以经由内部总线250来彼此交换数据。

CPU 201是整体控制显示控制装置200的控制单元。CPU 201包括至少一个处理器或电路。存储器202例如包括RAM(例如，由半导体元件构成的易失性存储器)。CPU 201例如根据非易失性存储器203中所存储的程序来控制显示控制装置200的各单元。在这种情况下，CPU 201使用存储器202作为工作存储器。非易失性存储器203存储诸如图像数据和声音数据等的数据、以及供CPU 201操作的各种程序。非易失性存储器203例如由闪速存储器或ROM构成。

基于CPU 201的控制，图像处理单元204对非易失性存储器203或存储介质208中所存储的图像、经由外部接口209获取的视频信号和经由通信接口210获取的图像等进行各种类型的图像处理。图像处理单元204所进行的图像处理包括A/D转换处理、D/A转换处理、图像数据的编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理。图像处理单元204还对作为具有宽范围的数据的宽范围图像(包括全方位图像和非全方位图像这两者)的VR图像进行包括全景展开、映射处理和转换处理的各种类型的图像处理。图像处理单元204可以由用以进行特定图像处理的专用电路块构成。根据图像处理的类型，CPU 201可以在不使用图像处理单元204的情况下根据程序执行图像处理。

显示器205基于CPU 201的控制来显示用以配置图像和图形用户界面(GUI)的GUI画面。CPU 201通过根据程序生成和输出显示控制信号来控制显示控制装置200的各单元。因此，显示控制装置200的各单元被控制为生成用于在显示器205上显示图像的视频信号、并将图像信号输出到显示器205。然后，显示器205基于所输出的视频信号来显示图像。显示控制装置200可以仅包括直到用以输出在显示器205上显示图像的视频信号的接口的结构。在这种情况下，显示器205可以是外部监视器(例如，TV)。

操作单元206是用以接收用户操作的输入装置。操作单元206包括文本信息输入装置(例如，键盘)、指示装置(例如，鼠标、触摸面板)、按钮、拨盘、操纵杆、触摸传感器和触摸板等。触摸面板是叠加在显示器205上的平板装置。触摸面板是被配置为根据触摸位置来输出坐标信息的输入装置。

在存储介质接口207中，可以安装存储介质208(例如，存储卡、CD、DVD)。基于CPU201的控制，存储介质接口207从所安装的存储介质208中读取数据，或者将数据写入存储介质208。外部接口209是用以通过无线地或经由电缆连接外部装置(例如，VR照相机100)来输入/输出视频信号和音频信号的接口。通信接口210是用以通过与外部装置和因特网211通信来发送/接收诸如文件和命令等的各种数据的接口。

声音输出单元212输出运动图像以及音乐数据的声音、操作音、铃音和各种通知音等。声音输出单元212包括用以连接耳机等的声音输出端子212a、以及扬声器212b。声音输出单元212可以经由无线通信来输出声音。

姿势检测单元213检测(感测)显示控制装置200相对于重力方向的姿势、以及相对于横摆、侧倾和俯仰的各轴的姿势的倾斜。基于姿势检测单元213所检测到的姿势，可以例如判断显示控制装置200是保持水平还是保持垂直，显示控制装置200是向上转动、是向下转动、还是处于斜的姿势。对于姿势检测单元213，可以使用加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器等中的至少一个、或组合这些传感器中的多个。

操作单元206包括触摸面板206a。CPU 201可以检测针对触摸面板206a的以下操作或其状态。

·没有正在触摸触摸面板206a的手指或笔触摸触摸面板206a，即触摸开始(以下为触及(Touch-Down))。

·手指或笔正在触摸触摸面板206a(以下为触摸持续(Touch-On))。

·手指或笔正在触摸触摸面板206a的状态下移动(以下为触摸移动(Touch-Move))。

·正在触摸触摸面板206a的手指或笔从触摸面板206a释放，即触摸结束(以下为触摸停止(Touch-Up))。

·没有什么正在触摸触摸面板206a(以下为未触摸(Touch-Off))。

在检测到触及时，同时也检测到触摸持续。除非在触及后检测到触摸停止，否则通常继续检测到触摸持续。在还检测到触摸移动的情况下，同时检测到触摸持续。即使在检测到触摸持续的情况下，除非触摸位置正在移动，否则也不会检测到触摸移动。在检测到所有手指或笔的触摸停止时，检测到未触摸。

这些操作、状态以及手指或笔触摸触摸面板206a的位置坐标经由内部总线通知给CPU 201。然后，基于所通知的信息，CPU 201判断在触摸面板206a上进行的操作(触摸操作)的类型。对于触摸移动，CPU 201还可以基于位置坐标的变化、针对触摸面板106a的垂直分量和水平分量分别判断触摸面板206a上的手指或笔的移动方向。如果检测到触摸移动进行了至少预定距离，则CPU 201判断为进行了滑动操作。

在触摸状态下使手指在触摸面板206a上快速移动一定距离并释放手指的操作被称为“轻拂”。换句话说，轻拂是在触摸面板206a上快速地移动和释放手指的操作。如果检测到触摸移动按预定速度或更快地进行了至少预定距离、此后检测到触摸停止，则CPU 201判断为进行了轻拂(判断为在滑动操作之后进行了轻拂)。此外，同时触摸多个点(例如，两个点)并且使这些触摸位置移动得更靠近的触摸操作被称为“捏合(Pinch-In)”，并且使这两个位置移动得相距更远的触摸操作被称为“分开(Pinch-Out)”。分开和捏合统称为捏分操作(或简称为“捏分”)。

对于触摸面板206a，可以使用诸如电阻膜型、电容型、表面声波型、红外型、电磁感应型、图像识别型和光学传感器型等的各种类型的触摸面板。存在在实际接触触摸面板的情况下检测出触摸的类型、以及在手指或笔靠近触摸面板的情况下检测出触摸的类型，但是可以使用任意类型。

图2C是可安装显示控制装置200的VR护目镜(头戴式适配器)230的外观图。显示控制装置200可以通过安装在VR护目镜230中而用作头戴式显示器(HMD)。

插入槽231是用以插入显示控制装置200的槽。整个显示控制装置200可以插入到VR护目镜230中，使得显示器205的显示面面向用于将VR护目镜230固定到用户的头部的头带232(换句话说，显示面面向用户)。因此，用户可以在其头部佩戴有VR护目镜230的状态下观察显示控制装置200的显示器205，而无需用手保持显示控制装置200。在这种情况下，随着用户移动其头部或身体，显示控制装置200的姿势变化。姿势检测单元213检测到显示控制装置200的姿势变化，并且CPU 201基于该姿势变化来进行VR显示处理。在这种情况下，姿势检测单元213“检测显示控制装置200的姿势”等同于“检测用户的头部的姿势(用户的眼睛正面向的方向)”。应当注意，显示控制装置200本身可以是具有安装单元的HMD，该安装单元可以在没有VR护目镜的情况下安装在用户的头部。

天顶校正

显示控制装置200可以通过CPU 201控制图像处理单元204来进行用以校正显示方向(显示区域)的天顶校正并显示天顶校正后的VR图像，使得用户可以更容易地观察图像。应当注意，显示控制装置200可以进行天顶校正后的显示，但也可以进行没有天顶校正的显示。现在将参考图3A至图3C来说明在显示VR图像时进行的天顶校正。

图3A是示出在进行利用VR照相机100的摄像(图像拍摄)时的状态的示意图。在图3A中，VR照相机100拍摄作为被摄体的家301和狗302的VR图像(宽范围图像)。这里，当从VR照相机100观察时，家301位于方向D(例如，北方)处，并且当从VR照相机100观察时，狗302位于方向D右侧90°的方向(例如，东方)。VR照相机100相对于重力方向105稍微向右倾斜地保持，因此重力方向105和VR照相机100的垂直方向104(垂直轴)不平行。假定在这种状态下，用户将VR照相机100的摄像镜头朝向家301来拍摄VR图像(运动图像或静止图像)，并且VR照相机100记录摄像结果作为图像A。

图3B是示出显示控制装置200在对在图3A的状态下所拍摄的图像A不进行天顶校正的情况下再现(显示)该图像A的情况的示意图。显示控制装置200(CPU 201)无线地或经由电缆通过文件传输从VR照相机100的存储介质、或者从显示控制装置200中所安装的诸如存储卡等的存储介质208获取图像A。

图3B还示出在根据显示控制装置200的姿势对图像A的部分区域进行VR显示(VR视图)的情况下的显示器205的显示示例。在图3B的左侧，安装有显示控制装置200的VR护目镜230被安装在用户的头部，并且用户正在VR显示中观察图像A。图像A是由VR照相机100在倾斜状态下拍摄的VR图像。因此，如果没有进行天顶校正，则在显示器205上显示向左(VR照相机100在摄像期间相对于重力方向105向右倾斜的相反方向)倾斜的被摄体(图像)。换句话说，在不进行天顶校正的情况下，图像A中的家301以倾斜状态显示。具体地，在VR显示中，显示图像A，使得与摄像期间的VR照相机100的垂直方向104相对应的图像A中的方向与显示控制装置200的姿势检测单元213所检测到的重力方向303(穿过天顶的轴的方向)平行。应当注意，如果显示方法不是VR显示，则显示图像A，使得与摄像期间的VR照相机100的垂直方向104相对应的图像A中的方向与显示控制装置200的显示器205的垂直方向平行。

图3B的右侧指示在用户从图3B的左侧的状态水平向右转动的情况下的显示器205的显示示例。基于用户向右转动时的姿势变化，改变图像A的显示范围(方向)，并显示狗302被摄像的范围(方向)。在这种状态下，狗302也以倾斜状态显示。如果用户转动至的位置在水平方向上向左或向右改变，则显示控制装置200通过围绕摄像期间的VR照相机100的垂直方向104作为轴旋转移动图像A的显示范围，来改变显示范围。因此，在用户所观察的显示中，看起来应当处于与家301相同高度处的狗302在垂直方向上的位置出现偏差。

图3C是示出显示控制装置200在进行天顶校正后显示(再现)图像A的情况的示意图。在图3A的状态下拍摄图像A。与图3B相同，图3C是显示方法是VR显示(VR视图)的情况。在图3C的左侧，安装有显示控制装置200的VR护目镜230被安装在用户的头部，并且用户正在VR显示中观察图像A。

在图3C中，对图像A的朝向(显示)进行校正(天顶校正)，使得在拍摄图像A时VR照相机100检测到的重力方向105变得与再现图像时的垂直方向平行。具体地，对图像A进行校正和显示，使得与摄像期间的重力方向105(VR照相机100所检测到的重力方向)相对应的图像A中的方向与显示控制装置200的姿势检测单元213所检测到的重力方向303平行。换句话说，如果进行天顶校正，则在图像A中无倾斜地显示家301。应当注意，如果显示方法不是VR显示，则显示图像A，使得与摄像期间的重力方向105相对应的图像A中的方向与显示控制装置200的显示器205的垂直方向平行。在任何一种情况下，校正显示朝向，以抵消相对于重力方向105(通过天顶的轴的方向)倾斜的摄像期间的VR照相机100的垂直方向104与拍摄图像A时VR照相机100所检测到的重力方向105之间的偏差量。

图3C的右侧指示在用户从图3C的左侧的状态水平向右转动的情况下的显示器205的显示示例。基于用户向右转动时的姿势变化，改变图像A的显示范围(方向)，并显示狗302被摄像的区域。在这种状态下，狗302也无倾斜地显示。此外，在VR显示中，与实际视图相同，狗302看起来处于与家301相同的高度处。

显示模式

显示控制装置200根据显示模式(显示方式)来判断是否对要显示的VR图像进行天顶校正。在本实施例中，存在四种显示模式：图4A所示的缩略图显示模式；图4B所示的平面图像显示模式；图4C所示的单镜头VR显示模式；以及图4E和图4F所示的双镜头VR显示模式。以下，将参考图4A至图4F来说明使用VR照相机100所拍摄的在重力方向和水平方向上具有视差的两个VR图像(左眼的图像和右眼的图像)的集合(图像集)的显示。在缩略图显示模式、平面图像显示模式和单镜头VR模式中，假定用户用左眼和右眼这两方来观察整个画面的显示。另一方面，在双镜头VR显示模式中，假设右眼看到在画面区域的左侧和右侧并列的两个图像中的右侧的图像，并且左眼看到两个图像中的左侧的图像。

图4A所示的缩略图显示模式是在一个画面上排列了多个图像的显示模式。缩略图显示模式是供用户选择为了观察而要显示的VR图像(图像集)的模式。以缩略图显示模式显示的多个图像中的各图像是存储介质208中所记录的一个图像集中所包括的VR图像其中之一。画面410是处于缩略图显示模式的显示器205的画面。图像411至414指示记录的VR图像的一部分或全部区域。用户可以通过对图像411至414中的任何一个进行触摸操作来选择要观察的VR图像(图像集)。要以缩略图显示模式显示的VR图像(图像集)可以通过进行轻拂操作来改变。按钮415是供用户操作的软件按钮。通过选择按钮415，用户可以结束VR图像的显示。在这种模式中，显示在进行天顶操作后的图像411至414。由于用户的左眼和右眼这两方看到相同的显示，因此在立体视觉中不会产生双重图像，并且天顶校正使得用户更容易观察图像。

图4B所示的平面图像显示模式是在一个画面上显示图像集(用户在缩略图模式中选择的一个VR图像的图像集)中所包括的VR图像其中之一的整个图像的模式。画面420是在一个画面(平面图像)上显示用户在缩略图显示模式中所选择的VR图像的显示器205的画面。按钮421至424是供用户进行各操作的软件按钮。通过用户选择按钮421至424其中之一，可以执行分配给所选按钮的功能。具体地，如果用户触摸按钮421，则显示返回先前的显示。如果用户触摸按钮422，则当前显示的VR图像显示为单镜头VR显示图像(显示模式转变为单镜头VR显示模式)。其它功能被分配给按钮423和424。例如，用以与外部装置(其他用户)共享VR图像的功能被分配给按钮423。并且，例如，用以从存储介质208中删除VR图像的功能被分配给按钮424。在该模式中，显示在进行天顶校正后的图像411。由于在这种模式中，用户的左眼和右眼这两方看到相同的显示，因此在立体视觉中不会产生双重图像，并且天顶校正使得用户更容易观察图像。

图4C所示的单镜头VR显示模式是将VR图像(平面图像显示中先前显示的VR图像的图像集中所包括的VR图像其中之一)映射在虚拟球体上、并且显示这种变换后的图像的部分区域的模式。在单镜头VR显示模式中，显示范围可以根据用户的显示范围改变操作而改变。画面430是单镜头VR显示中的显示器205的画面。按钮432是供用户进行操作的软件按钮。通过用户触摸按钮432，当前显示的VR图像被显示为双镜头VR显示图像(显示模式转变为双镜头VR显示模式)。在该模式中，显示进行天顶校正后的图像411的部分区域。由于在这种模式中，用户的左眼和右眼这两方看到相同的显示，因此在立体视觉中不会产生双重图像，并且天顶校正使得用户更容易地观察图像。

图4D是在用户指示双镜头VR显示时所显示的画面，并表示用于天顶校正的向导显示画面440。向导显示441是用以向用户询问(确认)双镜头VR显示中的天顶校正的执行是启用还是禁用的显示。按钮442和443是供用户进行操作的软件按钮。如果用户触摸按钮442，则启用双镜头VR显示中的天顶校正，并且在显示器205上显示图4E中的画面。另一方面，如果用户触摸按钮443，则禁用双镜头VR显示中的天顶校正，并且在显示器205上显示图4F中的画面。

图4E和图4F所示的双镜头VR显示模式是将图像集(单镜头VR显示中先前所显示的VR图像的图像集)中的图像分别映射在虚拟球体上、并且并排显示各变换后的图像的部分区域的模式。在双镜头VR显示模式中，显示范围可以根据用户的显示范围改变操作而改变。画面450a和450b分别是双镜头VR显示中的显示器205的画面。

图4E所示的画面450a上的图像451a和452a是由VR照相机100的左光学系统拍摄并进行了天顶校正的相同VR图像。换句话说，在图4E所示的双镜头VR显示模式中，并排显示图像集中所包括的VR图像其中之一。图像451a是供用户的左眼看的VR图像，并且图像452是供用户的右眼看的VR图像。对于图像451a和452a，可以使用由VR照相机100的右光学系统拍摄的VR图像。这里，图像451a和452a是相同的图像，因此不产生视差。在图4E所示的双镜头VR显示的情况下，显示没有视差的两个图像，因此用户不会具有立体视觉。然而，由于用户的左眼和右眼这两方看到相同的图像，因此不会产生由两个VR图像之间的视差导致的双重图像。因此，天顶校正使得用户更容易地观察图像。

图4F所示的画面450b上的图像451b是由VR照相机100的左光学系统拍摄的VR图像，并且画面450b上的图像452b是由VR照相机100的右光学系统拍摄的VR图像。在图4E所示的双镜头VR显示模式中，图像集的两个VR图像并排显示。换句话说，画面450b上的一个图像(图像451b)是供用户的左眼观察的VR图像，而另一个图像(图像452b)是供用户的右眼观察的VR图像。这两个图像具有视差，但没有接收天顶校正。由于没有进行天顶校正，因此在观察时两个图像之间不会产生重力方向上的视差，并且不太可能出现与立体视觉相关的问题(诸如双重图像)。此外，由于这两个图像彼此间具有视差，因此立体视觉是可能的。

如上所述，除了四种显示模式中的双镜头VR显示模式的情况之外，显示控制装置200对要显示的VR图像进行天顶校正。在双镜头VR显示模式的情况下，显示控制装置200允许用户选择是否对要显示的VR图像进行天顶校正。具体地，在本实施例中，在用户的左眼和右眼看到相同的显示图像的情况下，显示控制装置200对VR图像进行天顶校正。另一方面，在用户的左眼和右眼看到彼此不同的显示图像的情况下，显示控制装置200不对VR图像进行天顶校正。

显示控制处理

将参考图5中的流程图来说明显示控制装置200的显示控制处理。在通过预定用户操作向显示控制装置200的操作单元206指示VR图像的显示时，图5的流程图中的处理开始。图5的流程图中的各处理步骤是通过CPU 201将非易失性存储器203中所存储的程序在存储器202中展开并执行该程序而实现的。在本实施例中，假定显示控制装置200对VR照相机100所拍摄(获取)的图像集(图像文件)进行显示控制。

在S501中，CPU 201从存储介质208读取(获取)VR照相机100所拍摄的多个图像集(图像文件)。在本实施例中，CPU 201从存储介质208读取(获取)四个图像集，以显示图4A所示的缩略图。

在S502中，CPU 201从存储介质208读取(获取)与S501中所读取的多个图像集中的各图像集有关的详细信息。在这种情况下，详细信息例如是与图像集有关的倾斜信息、摄像期间的VR照相机100的重力方向、以及摄像期间的VR照相机100的垂直方向。例如，摄像期间的VR照相机100的垂直方向104相对于重力方向105的倾斜(与摄像期间的VR照相机100有关的倾斜信息)作为与图像集有关的倾斜信息由VR照相机100附加到该图像集，并被存储在存储介质208中。VR照相机100可以通过VR照相机100的陀螺仪传感器等来获取摄像期间的VR照相机100的垂直方向104相对于重力方向105的倾斜。与图像集有关的倾斜信息可被视为连接VR照相机100的两个光学系统(镜头101和102)的方向相对于拍摄图像集时的水平方向的倾斜信息。

在S503中，对于所读取的多个图像集中的各图像集，CPU 201基于倾斜信息来判断各图像集是否是倾斜图像集。这里，“倾斜图像集”是指在重力方向105和VR照相机100的垂直方向104不平行的状态下拍摄的图像集(VR图像)、或在水平方向与连接VR照相机100的两个光学系统(镜头101和102)的方向不平行的状态下拍摄的图像集(VR图像)。因此，CPU 201可以通过判断VR照相机100的摄像期间的重力方向105与摄像期间的VR照相机100的垂直方向104是否平行来判断图像集是否倾斜。如果多个图像集中的图像集是倾斜图像集，则处理进入S504，否则进入S505。

CPU 201可以基于VR图像(图像集)的特征来确定图像集的倾斜信息。例如，CPU201使用已知的直线提取方法来提取VR图像中的直线的特征，并计算多个直线交叉的两个点的坐标。然后，CPU 201基于连接这两点的线段的位置和倾斜性来获取VR照相机的倾斜性。

在S504中，CPU 201控制图像处理单元204以对S503中所确定的倾斜图像集中所包括的一个VR图像进行天顶校正，并在显示器205上进行缩略图显示。在S504中的缩略图显示中，通过等距圆柱投影来生成畸变图像，诸如图4A中的图像411。在图像411中，对整个VR图像进行显示(加框)，因此不能改变显示范围。图像411可以是从由等距圆柱投影绘制的矩形VR图像的中心提取的预定平方范围内的图像，而不是在画面中加框的整个VR图像。

在S505中，CPU 201将S503中所确定的无倾斜图像集中所包括的一个VR图像作为缩略图显示而显示在显示器205上。这里，CPU 201不对VR图像进行天顶校正。例如，在S505的缩略图显示中，例如显示图4A中的图像412至414。

换句话说，针对多个图像集中的各图像集独立地执行S503至S505中的处理步骤。具体地，在S503中，对于S501中所读取的多个图像集中的各图像集，CPU 201判断图像集是否是倾斜图像集。然后，在多个图像集中，倾斜图像集在S504中进行天顶校正并在缩略图显示中显示为一个图像。无倾斜图像集不进行天顶校正，并在缩略图显示中显示为一个图像。

在S506中，CPU 201判断用户是否指示结束缩略图显示模式。这里，在用户按下图4A中的按钮415的情况下，CPU 201判断为用户指示结束缩略图显示模式。如果用户指示结束缩略图显示模式，则图5的流程图中的所有处理步骤结束，否则处理进入S507。

在S507中，CPU 201判断用户是否进行了在缩略图显示中所显示的多个VR图像(在图4A的情况下为图像411至414)中选择任意一个VR图像的触摸操作。触摸操作是触及或触摸停止。如果进行了触摸操作，则处理进入S508，否则进入S506。在以下描述中，用户在S507中选择的VR图像被称为“所选图像”，并且包括所选图像的图像集被称为“所选图像集”。

在S508中，CPU 201基于与所选图像集有关的倾斜信息来判断所选图像集是否是倾斜图像集。如果所选图像集是倾斜图像集，则处理进入S509，否则进入S510。

在S509中，CPU 201控制图像处理单元204，以对所选图像进行天顶校正并在显示器205上进行平面图像显示，如图4B所示。在图4B中，显示通过等距圆柱投影所生成的畸变VR图像(没有进行通过映射在虚拟球体上的变换)。这里，由于整个VR图像在画面中被加框并在该状态下显示，因此不能改变显示范围。

在S510中，CPU 201在不对所选图像进行天顶校正的情况下在显示器205上显示该图像(进行平面图像显示)。

在S511中，CPU 201判断用户是否指示单镜头VR显示。例如，在用户触摸图4B中的按钮422的情况下，CPU 201判断为用户指示单镜头VR显示。如果指示单镜头VR显示，则处理进入S513，否则进入S512。

在S512中，CPU 201判断用户是否进行了用以结束平面图像显示的操作。例如，在用户触摸图4B中的按钮421的情况下，CPU 201判断为进行了用以结束平面图像显示的操作。如果用户进行了用以结束平面图像显示的操作，则处理进入S503，否则进入S511。

在S513中，CPU 201判断所选图像集是否是倾斜图像集。如果所选图像集是倾斜图像集，则处理进入S514，否则进入S515。

在S514中，CPU 201控制图像处理单元204以对所选图像进行天顶校正。然后，如图4C所示，CPU 201在显示器205上显示天顶校正后的所选图像作为单镜头VR显示。在图4C中，显示映射在虚拟球体上的VR图像的一部分。换句话说，在图4C中，显示进行图像变换处理后的VR图像的一部分，使得去除图像的畸变。

在S515中，CPU 201不对所选图像进行天顶校正，并且在显示器205上进行单镜头VR显示。

在S516中，CPU 201判断用户是否进行了显示范围改变操作。显示范围改变操作是触摸面板206a上的轻拂操作或用以改变显示控制装置200的姿势的操作。如果进行了显示范围改变操作，则处理进入S517，否则进入S518。

在S517中，CPU 201控制图像处理单元204以改变显示器205上所要显示的所选图像的范围。

在S518中，CPU 201判断用户是否指示双镜头VR显示。例如，在用户触摸图4C中的按钮432的情况下，CPU 201判断为指示双镜头VR显示。如果指示双镜头VR显示，则处理进入S520，否则进入S519。

在S519中，CPU 201判断用户是否进行了用以结束单镜头VR显示的操作。例如，在用户触摸图4C中的按钮421的情况下，CPU 201判断为进行了用以结束单镜头VR显示的操作。如果用户进行了用以结束单镜头VR显示的操作，则处理进入S508，否则进入S516。

在S520中，CPU 201判断所选图像集是否是倾斜图像集。如果所选图像集是倾斜图像集，则处理进入S521，否则进入S524。

在S521中，如图4D所示，CPU 201在显示器205上显示(进行)向导显示441，以允许用户选择是否对所选图像进行天顶校正。

在S522中，CPU 201确定用户在向导显示441中所选择的内容。如果用户使用操作单元206选择了进行天顶校正，则处理进入S523，或者如果用户选择不进行天顶校正，则处理进入S524。

处理步骤S521和S522不是必需的，并且例如，如果在S520中，所选图像集是倾斜图像集(S520中为“是”)，则处理可以进入S523。

在S523中，CPU 201控制图像处理单元204以对所选图像进行天顶校正，并在显示器205上进行双镜头VR显示(图4E)。在S523的双镜头VR显示中，左眼和右眼的VR图像是相同的图像，而没有视差。在S523中，由于针对左眼和右眼显示相同的图像，因此不能实现立体视觉，但优点在于不会生成降低可视性的双重图像等。

在S524中，CPU 201在不对所选图像集中的两个图像进行天顶校正的情况下在显示器205上进行双镜头VR显示(图4F)。在S524的双镜头VR显示中，在左眼和右眼之间产生视差的不同VR图像被显示在左侧和右侧。如果VR图像是这样显示的，则不仅由于图像具有视差而可以实现立体视觉，而且由于不进行天顶校正，因此可视性不会降低。

在S525中，CPU 201判断用户是否进行了显示范围改变操作。显示范围改变操作是触摸面板206a上的轻拂操作或用以改变显示控制装置200的姿势的操作。如果进行了显示范围改变操作，则处理进入S526，否则进入S527。

在S526中，CPU 201控制图像处理单元204以改变显示器205上所要显示的VR图像的范围。

在S527中，CPU 201判断用户是否进行了用以结束双镜头VR显示的操作。例如，在用户触摸图4E或图4F中的按钮421的情况下，CPU 201判断为进行了用以结束双镜头VR显示的操作。如果用户进行了用以结束双镜头VR显示的操作，则处理进入S513，否则进入S525。

根据以上控制流程，用户仅在用户指示双镜头VR显示模式的情况下才选择是否对要显示的VR图像进行天顶校正。因此，根据本实施例，可以针对各再现模式显示在倾斜状态下所拍摄的VR图像，使得用户可以最容易地观察图像。在平面图像显示模式、缩略图显示模式和单镜头VR显示模式的情况下，显示进行天顶校正后的VR图像，使得用户可以容易地观察和操作图像。在并排显示具有视差的图像的双镜头VR显示模式的情况下，可以防止诸如由天顶校正产生的双重图像。作为结果，可以实现如下的显示控制装置(电子装置)，其控制显示以使得用户可以针对各再现场景最容易地观察在倾斜状态下所拍摄的VR图像。

在本实施例中，仅在双镜头VR显示模式的情况下才不对VR图像进行天顶校正。因此，在双镜头VR模式中，当用户正佩戴VR护目镜230(HMD)时，用户的左眼和右眼可以在画面上观察到左VR图像和右VR图像的相应图像。换句话说，在用户正佩戴VR护目镜230的情况下，对VR图像进行天顶校正可能生成双重图像。因此，在显示控制装置200或VR护目镜230的安装检测单元检测到用户佩戴VR护目镜230的情况下，CPU 201可能不对VR图像进行天顶校正。此外，在其它情况下，CPU 201可以对VR图像进行天顶校正。这里，例如如果从显示器205(显示控制装置200)到用户的眼的距离在预定距离内，则安装检测单元可以检测出VR护目镜230被佩戴。此外，例如如果检测到VR护目镜230与用户的头部的接触，则安装检测单元可以检测出VR护目镜230被佩戴。如果安装检测单元检测出VR护目镜230被佩戴，则CPU 201可以将显示模式切换到双镜头VR显示模式(显示具有视差的左图像和右图像)。如果安装检测单元没有检测出VR护目镜230被佩戴，则CPU 201可以将显示模式切换到除双镜头VR显示模式之外的其它模式。

根据本发明，可以更合适地显示由多个光学系统拍摄的VR图像。

假定由CPU 201进行的上述的各种控制可以由一个硬件组件或者由分担用以控制整个装置的处理的多个硬件组件(例如，多个处理器和电路)进行。

虽然已参考优选实施例描述了本发明，但本发明不限于这些具体实施例，并且包括在不背离本发明的本质的范围内的各种模式。上述的各实施例仅仅是本发明的示例，并且可以根据需要进行组合。

在以上实施例中，以将本发明应用于显示控制装置的情况为例进行了说明，但本发明不限于此，而是适用于控制显示装置的任何电子装置，其中该显示装置可以针对用户的左眼和右眼分别显示VR图像。换句话说，本发明适用于个人计算机、PDA、便携式电话终端、便携式图像观察器、头戴式显示器、包括显示器的打印机、数字相框、音乐播放器、游戏机和电子书阅读器等。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以包含所有这样的修改以及等同结构和功能。