影像显示系统及影像显示方法

技术领域

本公开涉及影像显示系统和影像显示方法，特别是，涉及提供体验VR(虚拟现实)的服务的影像显示系统。

背景技术

以往，作为提供体验VR(虚拟现实)的服务的影像显示系统，提出了各种技术(例如，参照专利文献1和2)。

在专利文献1中，提出了一种通过以实时的影像向远程用户提供希望的观光地的当前实际状况，能够给远程用户带来宛如实际去该观光地那样的感动和临场感的在家旅行系统。

此外，专利文献2提出了一种使用VR的、与观光的参与者的视角控制有关的信息处理装置。

在先技术文献

专利文献

专利文献1：日本特开2012-10418号公报

专利文献2：国际公开2019/150675号

发明内容

发明要解决的问题

但是，在专利文献1和2的技术中，存在需要以参与者的ICT(信息通信技术)能力较强为前提，不是任何人都能简单地参与的问题。

因此，本公开以提供一种任何人都能简单地参与的影像显示系统和影像显示方法为目的。

解决问题的手段

为了实现上述目的，本公开的一个方式，提供了一种影像显示系统，提供体验虚拟现实VR的服务，其中，具备：VR系统，具有显示部和声音处理部，所述显示部对参与所述体验的参与者显示用于所述VR的影像即VR空间，所述声音处理部与所述参与者进行基于声音的输入输出；说明者终端，与说明者之间进行基于声音的输入输出，所述说明者在所述VR空间中向所述参与者进行用于所述体验的说明；影像分发部，将用于生成所述VR空间的360度影像分发到所述VR系统；声音对话部，经由所述VR系统和所述说明者终端来辅助所述参与者与所述说明者的声音对话；以及控制部，控制所述VR系统、所述说明者终端、所述影像分发部和所述声音对话部中的至少一个，所述控制部管理选择性地采取不能进行所述参与者向所述说明者的提问的第一状态、能够进行所述提问的第二状态以及正在进行所述提问的第三状态的动作模式，并且控制所述VR系统，使得在所述显示部上显示确定所述动作模式的信息。

为了实现上述目的，本公开的一个方式的影像显示方法是提供体验虚拟现实VR的服务的影像显示系统的影像显示方法，其中，所述影像显示系统具备：VR系统，具有显示部和声音处理部，所述显示部对参与所述体验的参与者显示用于所述VR的影像即VR空间，所述声音处理部与所述参与者进行基于声音的输入输出；说明者终端，与说明者之间进行基于声音的输入输出，所述说明者在所述VR空间中向所述参与者进行用于所述体验的说明；影像分发部，将用于生成所述VR空间的360度影像分发到所述VR系统；以及声音对话部，经由所述VR系统和所述说明者终端，辅助所述参与者与所述说明者的声音对话，所述影像显示方法包括控制步骤，在所述控制步骤中，管理选择性地采取不能进行所述参与者向所述说明者的提问的第一状态、能够进行所述提问的第二状态以及正在进行所述提问的第三状态的动作模式，并且控制所述VR系统，使得在所述显示部上显示确定所述动作模式的信息。

发明的效果

根据本公开，提供了一种任何人都能够简单地参与的影像显示系统和影像显示方法。

附图说明

图1A是能够与向导进行对话的参考例的VR观光系统的概念图。

图1B是表示图1A中示出的VR观光系统的详细结构的框图。

图2A是表示实施方式的影像显示系统的结构的框图。

图2B是表示图2A所示的影像显示系统的变形例1的控制部的结构的框图。

图2C是表示图2A所示的影像显示系统的变形例2的云的结构的框图。

图2D是表示图2A所示的影像显示系统的变形例3的影像显示系统的结构的框图。

图2E是表示图2D所示的影像显示系统的变形例1的云的结构的框图。

图2F是表示图2D所示的影像显示系统的变形例2的云的结构的框图。

图3是实施例1的VR观光系统的概略结构图。

图4是表示实施例1的VR观光系统的动作例的图。

图5是表示实施例1的VR观光系统的详细结构的框图。

图6是表示实施例1的VR观光系统的动作流程例的图。

图7是表示实施例1的VR观光系统的VR系统的具体结构例的图。

图8是表示实施例1的VR观光系统的向导用终端所具有的VR声音会议部的具体结构例的图。

图9是实施例1的变形例1的VR观光系统的概略结构图。

图10是实施例1的变形例2的VR观光系统的概略结构图。

图11是表示实施例2的VR观光系统的动作例的图。

图12是表示实施例2的VR观光系统的概略结构图。

图13是表示实施例2的VR观光系统的动作流程例的图。

图14是在图1A所示的参考例的VR观光系统中追记了课题(3)的说明的图。

图15是表示实施例3的VR观光系统的动作例的图。

图16是表示实施例3的VR观光系统的详细结构的框图。

图17是表示实施例3的VR观光系统的动作流程例的图。

图18是表示实施例3的变形例1的VR观光系统的详细结构的框图。

图19是在图1A所示的参考例的VR观光系统中追记了课题(4)的说明的图。

图20是表示实施例4的VR观光系统的请求规格的图。

图21是表示实施例4的VR观光系统的概略结构图。

图22是表示实施例4的VR观光系统所实现的使用案例的例子的图。

图23是表示实施例4的VR观光系统中的VR系统中可见的视野的例子的图。

图24是表示实施例4的VR观光系统的详细结构的框图。

图25是表示实施例4的VR观光系统的动作流程例的图。

图26是表示实施例4的变形例1的VR观光系统的概略结构图。

图27是表示实施例4的变形例1的VR观光系统所实现的使用案例的例子的图。

图28是说明实施例4的变形例1的VR观光系统所具备的声音切换部的功能的图。

图29是表示实施例4的变形例1的VR观光系统的详细结构的框图。

图30是表示实施例4的变形例1的VR观光系统的动作流程例的图。

图31是表示实施例4的变形例2的VR观光系统的概略结构图。

图32是表示实施例4的变形例2的VR观光系统所实现的使用案例的例子的图。

图33是用于说明实施例4的变形例2的VR观光系统所具备的机器翻译部的详细功能的图。

图34是表示实施例4的变形例2的VR观光系统的详细结构的框图。

图35是表示实施例4的变形例2的VR观光系统的动作流程例的图。

具体实施方式

(本发明人等得到的见解)

VR观光服务已经变得盛行，所述VR观光服务即使不实际前往该场所也实现观光旅行、展览会参观、视察、工厂参观、美术馆/博物馆/动物园/水族馆参观等的虚拟体验。

在VR观光服务中，从观光体验的观点来看，重要的是多个参观者使用VR系统参与到目的地的VR空间内，并且像实际的观光旅游一样，听由人类(或化身)的旅游向导(领队)对目的地的说明，或者对向导提问。如果仅仅单方面地听向导的说明，则相对于观看Youtube(注册商标)等的观光VR节目没有改变。在该级别的服务中，由于缺乏魅力，所以难以实现收费。对于VR观光服务而言，极其重要的是提供诸如从具有专业性的向导或专家听说明、提问并得到回答之类的交互的旅行体验。

VR观光服务的参与者，由于是从老年人到儿童、外国人等，有丰富多彩的经验、ICT能力、性格、语言等的人参与的，所以提供满足下述条件的服务是很重要的。

因此，要求支持(1)谁都能简单使用的用户界面、(2)礼貌差的参与者的应对、(3)朋友彼此间的私人对话、(4)多种语言应对、多个向导应对等。

为了解决上述四个课题中的各个课题，本公开的VR观光系统在利用了360度影像分发系统和数字声音会议部的基础上，实现VR观光参与者和向导能够通过一个按钮的简单UI(用户界面)来操作三个状态的手段，从而能够提供谁都能简单地参与的VR观光服务。即，以解决上述(1)的课题的VR观光系统为基础，通过在这样的VR观光系统上追加各种附加功能，解决了上述(2)～(4)的课题。由此，在VR观光中，能够实现从老年人到儿童即使没有ICT知识也能够参与的简单UI的服务，因此能够像实际观光一样享受VR观光。

此外，本公开的VR观光系统不一定需要解决所有上述四个课题，作为谁都能够简单地参与的影像显示系统并解决上述课题(1)～(4)中的至少一个即可。

(参考例的VR观光系统)

图1A是能够与向导进行对话的参考例的VR观光系统650的概念图。在参考例的VR观光系统650中，通过将在当地由360度相机拍摄的影像与声音(现场的环境音和向导20的声音等)发送给各VR用户10～13，能够实现对当地具有临场感的模拟观光体验。另外，也将“VR用户”称为“VR观光用户”、“参与者”或者简称为“用户”。

进而，为了提高VR观光体验，重要的是VR用户10～13不是单方面地听向导20的说明，而是能够在佩戴着VR系统600～630的状态下进行与向导20的双向对话。因此，在参考例的VR观光系统650中，如图1A所示，在VR云800中，除了360度影像分发部820之外，还适当地组合VR声音会议部810，从而在VR观光中也实现与其他VR用户10～13对话或者与向导20对话的功能。

图1B是表示图1A所示的VR观光系统650的详细结构的框图。VR系统600等具备VR声音会议部605，其能够在VR观光期间进行声音对话。VR声音会议部605由将从麦克风108输出的声音信号转换为数字的声音数据的A/D转换器108a、压缩该声音数据的音频(Audio)压缩部108b、控制将压缩后的声音数据发送/不发送到VR云800的静音(Mute)部108c构成。

VR云800所具备的VR声音会议部810具备：音频解码部314a～314d，对从VR系统600等发送来的声音数据进行解码；音频解码部316，对从向导20所使用的智能手机710发送来的压缩后的声音数据进行解码；音频混合部313，将来自音频解码部314a～314d的声音数据与来自音频解码部316的声音数据混合而生成合成声音数据；以及音频压缩部317，对混合后的合成声音数据进行压缩并发送到向导20的智能手机710。

VR云800所具备的360度影像分发部820具备：AV分离部321，接收从观测系统700发送来的360度影像，并且将其分离为影像数据和声音数据；音频解码部322，对分离出的声音数据进行解码；音频混合部323，将解码出的声音数据与从VR声音会议部810发送来的合成声音数据进行混合；音频压缩部324，对混合后的声音数据进行压缩；以及AV合成部325，将压缩后的声音数据与被AV分离部321分离出的影像数据进行合成并作为360度影像分发到VR系统600等。

作为向导用声音会议终端的智能手机710具有作为VR声音会议部750发挥功能的硬件和应用(APP)，具体而言，由如下结构构成：A/D转换器213a，其将从头戴式耳机(headset)720的麦克风输出的声音信号转换成数字声音数据；音频压缩部213b，压缩该声音数据；静音部213c，控制将压缩后的声音数据发送/不发送到VR云800；音频解码部214a，接收并解码从VR云800发送来的合成声音数据；以及D/A转换器214b，将解码后的合成声音数据转换成模拟的声音信号，并输出到头戴式耳机720的扬声器。

观测系统700具备：拍摄部202，控制相机203以用于360度拍摄，或者取得来自相机203和遥控器204的信号；以及通信部201，将由拍摄部202取得的信号作为360度影像发送到VR云800。

这样，在参考例的VR观光系统650中，为了在具备360度影像分发部820的影像分发系统中组合一般的网络会议系统，实现VR用户10～13间与向导20的对话，进行以下的功能追加(1)～(3)。

(1)在VR系统600等中追加用于与VR云800的VR声音会议部810连接的VR声音会议部605。

(2)使向导20利用作为向导用声音会议终端的智能手机710，该向导用声音会议终端用于经由智能手机等ICT设备从安装有麦克风/耳机等的头戴式耳机720与VR云800的VR声音会议部810连接。

(3)在360度影像分发部820中，从由观测系统发送来的360度影像数据中仅取出声音数据，与在VR云800的VR声音会议部810中将VR用户10等和向导20的声音混合而成的合成声音数据进行混合，而后向各VR用户10等的VR系统600等发送。

此外，静音部108c的位置只要是在由麦克风108取得的声音被音频混合部313混合之前能够静音的位置，则不限定于图示的位置。

例如，在图1B的VR声音会议部605中，静音部108c也可以位于A/D转换部108a与音频压缩部108B之间，或者麦克风108与A/D转换部108a之间。

此外，也可以是位于VR云800中的VR声音会议部810的音频解码部314a～314d之前(比音频解码部314a～314d靠输入侧)、或者位于音频解码部314a～314d与音频混合部313之间的结构。

(参考例的VR观光系统中的问题点)

在Zoom(注册商标)或Teams(注册商标)等网络会议系统的情况下，由于是在商业中的利用，用户层也能够具有一定的ICT技能，所以能够靠自己进行静音的设定/解除等操作。但是，VR观光用户有可能是从老年人到小孩的较宽年龄段、职业、教育水平等的用户，不能期待所有参与者具有ICT技能。因此，可能会产生如下课题。

特别是，各VR用户在自己没有讲话时，若没有自行使用自己的VR系统的静音功能来进行静音，则会出现混入噪声、或者最坏情况下会出现啸声等不良情况。但是，可以想到对于不熟悉诸如Zoom(注册商标)或Teams(注册商标)之类的网络会议系统的VR用户来说，在VR系统上进行静音操作或记住该操作是困难的。

(应该解决的课题)

如上所述，在参考例的VR观光系统中，存在下述的四个应该解决的课题(1)～(4)。

(1)需要具有各种各样的参与者都能够利用VR观光服务的简洁的用户界面。

VR观光用户与在商业/教育等中使用的网络会议系统的用户不同，各种年龄层、ICT技术的理解水平不同的人来参与。此外，佩戴着VR护目镜进入VR空间，由此视野被遮挡。因此，使用控制器等的操作需要简单且满足如下的单纯的条件的用户界面。需要用户无需记住静音的概念和操作。需要即使是没有记住操作的人、忘记了操作方法的人、未遵守规则的人参与，VR体验也不会恶化。而且，重要的使能够在VR体验前简单地结束对VR系统的操作的说明方面等。

另外，向导20的主体业务是说明，无法如网络会议系统的主办者那样进行系统操作。对于向导20来说需要能够集中于说明业务那样的非常简单的用户界面。

(2)需要排除用粗话或持续的提问等来妨碍向导20的说明的礼貌差的VR用户。在网络会议系统中，不需要为了业务利用而设想礼貌差的参与者。此外，即使在发生了问题的情况下，系统管理员也能够通过强制静音等来阻止(Block)发言。在VR观光服务的情况下，向导20需要在发生问题时能够通过简单的操作来解决问题(阻止对话)的功能。

(3)对于参与者，需要能够支持与一起旅行的朋友之间的私人对话。即，需要支持在群组内的自由的对话，该对话不阻碍向导20的说明，并且其他的群组参与者听不到。

(4)为了应对外国旅行和外国人，需要对VR观光的参与者的多种语言应对和多个向导应对。即，为了同时支持多种语言的用户，还需要多个向导或同声传译者、机器翻译等的支持。

以下，对于上述四个课题中的每一个，使用实施方式以及实施例，说明解决对策。另外，以下说明的实施方式以及实施例均表示本公开的一个具体例。以下的实施方式以及实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一例，并不旨在限定本公开。另外，各图并不一定是严格地进行图示的图。在各图中，对于实质上相同的结构标注相同的附图标记，省略或简化重复的说明。

(实施方式)

图2A是表示实施方式的影像显示系统1的结构的框图。影像显示系统1是提供体验VR(虚拟现实)的服务的系统，具备参与者10～13所使用的VR系统30a～30b、说明者终端40、观测系统50以及云60。VR系统30a～30b、说明者终端40和观测系统50经由通信网络连接到云60。

VR系统30a～30b分别具有显示部31和声音处理部32，所述显示部31用于向参与体验的参与者10～13显示用于VR的影像即VR空间，所述声音处理部32进行与参与者10～13之间的基于声音的输入输出。

说明者终端40是与在VR空间中向参与者10～13进行用于体验的说明的说明者20进行基于声音的输入输出的终端，具有受理来自说明者20的表示是否受理提问的操作的说明者用输入部41。

观测系统50是通过拍摄真实世界来生成360度影像并发送到云60的影像分发部63的系统，具有相机51和取得说明者20的声音的麦克风52。

云60是通信网络上的计算机，具备：影像分发部63，将用于生成VR空间的360度影像分发到VR系统30a～30b；声音对话部61，经由VR系统30a～30b和说明者终端40来辅助参与者10～13与说明者20的声音对话；以及控制部62，控制VR系统30a～30b、说明者终端40、影像分发部63和声音对话部61中的至少一个。

这里，控制部62管理选择性地采取不能进行从参与者10～13向说明者20提问的第一状态、能够进行提问的第二状态以及正在进行提问的第三状态的动作模式，并且控制VR系统30a～30b，以在显示部31上显示确定动作模式的信息。更详细地，控制部62管理分别对应于多个VR系统30a～30b的动作模式，并控制多个VR系统30a～30b，以便在对应的VR系统30a～30b的显示部31上显示确定动作模式的信息。

由此，参与者10～13根据在显示部31上显示的确定动作模式的信息，能够立即知道自己的状态是处于不能进行提问的第一状态、能够进行提问的第二状态以及正在进行提问的第三状态中的哪一个，简化了用于向说明者20提问的操作，解决上述课题(1)(需要具有各种各样的参与者都能够利用VR观光服务的简洁的用户界面)。

此外，影像显示系统1不一定需要观测系统50。云60的影像分发部63可以从通过真实拍摄或CG等预先制作并保持的存储装置(storage)中读取360度影像，并分发给VR系统30a～30b。

此外，控制部62不需要设置在构成云60的一台计算机上，也可以在多台计算机、VR系统30a～30b、说明者终端40等其他装置上设置控制部62的全部或一部分。即，控制部62也可以被分割为多个功能模块，分散设置于多个装置。

这里，控制部62在受理了说明者用输入部41设为第一状态即不受理提问的状态的操作的情况下，控制多个VR系统30a～30b，使得在多个VR系统30a～30b的显示部31上显示表示第一状态的图像，并且将来自多个参与者10～13的声音输入设为第一状态即将声音输入设为静音，另一方面，控制部62在受理了说明者用输入部41设为第二状态即受理提问的状态的操作的情况下，控制多个VR系统30a～30b，使得在多个VR系统30a～30b的显示部31上显示表示第二状态的图像并设为第二状态即能够提问的状态，并且将来自多个参与者10～13的声音输入设为第一状态即将声音输入设为静音。由此，通过使用了说明者用输入部41的简单操作，说明者20能够以多个参与者10～13为对象，控制是否允许提问。

另外，控制部62也可以在受理了多个VR系统30a～30b中的某一个VR系统的参与者用输入部33表示想要提问的请求的操作的情况下，控制VR系统30a等，使得针对与受理了操作的参与者用输入部33对应的VR系统30a等，在动作模式处于第二状态时，通过代替第二状态而在显示部31上显示确定第三状态的信息，并且，解除来自该参与者的声音输入的静音而设为第三状态。由此，参与者10～13通过使用了参与者用输入部33的简单的操作，能够向说明者20提问。

此外，控制部62可以在控制VR系统30a等以解除来自参与者10等的声音输入的静音即设为第三状态的情况下，可以控制VR系统30a等，使得针对除了VR系统30a等之外的其他VR系统30b等，通过在显示部31上显示表示第一状态的图像，并且将来自对应的参与者13等的声音输入设为静音而设为第一状态。由此，在一位参与者对说明者20进行了提问的情况下，能够防止来自其他参与者提问，其他参与者能够听到那一位参与者与说明者20的对话。

这里，说明者用输入部41也可以是受理表示受理提问的操作和表示不受理提问的操作的一个按钮。由此，通过使用一个按钮的简易的操作，说明者20能够切换受理提问的状态和不受理提问的状态。

同样地，参与者用输入部33也可以是受理想要提问的请求及表示正在进行提问的操作、和表示结束了提问的操作的一个按钮。由此，通过使用一个按钮的简易的操作，参与者10～13能够对说明者20开始提问。

另外，声音对话部61可以代替说明者终端40的说明者用输入部41或者在除了说明者用输入部41之外，使用通过观测系统50的麦克风52取得的说明者20的声音，来辅助参与者10～13与说明者20的声音对话。由此，说明者20能够使用观测系统50的麦克风52进行观光引导等的说明和针对来自参与者10～13的提问的回答等的对话。

图2B是表示图2A所示的影像显示系统1的变形例1的控制部62a的结构的框图。在本变形例中，控制部62a具有阻止信息70，该阻止信息70包含针对多个参与者10～13中的每一个参与者表示是否阻止向说明者20提问的许可与否信息，基于阻止信息70，控制VR系统30a等，使得针对许可与否信息表示阻止的参与者10等，通过在与参与者10等对应的VR系统30a等的显示部31上显示表示第一状态的图像，并且使来自参与者10等的声音输入静音而设为第一状态。由此，解决上述课题(2)(需要排除用粗话或持续的提问等来妨碍向导20的说明的礼貌差的用户)。

图2C是表示图2A所示的影像显示系统1的变形例2的云60a的结构的框图。云60a具备声音对话部61、控制部62b、影像分发部63以及群组声音对话部64。群组声音对话部64辅助从多个参与者10～13中选择的两人以上的参与者10等之间的群组声音对话。控制部62b具有群组信息71，该群组信息71包含针对多个参与者10～13中的每一个参与者表示是否属于规定的群组的所属与否信息，基于群组信息71，控制群组声音对话部64，使得仅以属于同一群组的多个参与者10等为对象来辅助群组声音对话。由此，解决上述课题(3)(需要能够支持与一起旅行的朋友之间的私人对话)。

更详细地，在属于同一群组的多个参与者10等中的任一个参与者的对应的VR系统30a等的动作模式都为第一状态或第二状态的情况下，控制部62b控制群组声音对话部64以辅助群组声音对话。

此外，在属于同一群组的多个参与者10等中的某一个参与者的对应VR系统30a等的动作模式从第二状态转变为第三状态的情况下，中断对群组声音对话的辅助，控制部62b控制VR系统30a～30b，使得针对除了该参与者10等之外的其他所有参与者13等，通过在对应VR系统30b等的显示部31上显示表示第一状态的图像，并且静音来自参与者13等的声音输入。由此，在进行群组对话时，在一位参与者开始向说明者20提问的情况下，其他参与者能够听到该提问。

另外，控制部62b也可以在辅助群组声音对话时，控制与属于同一群组的多个参与者10等对应的多个VR系统30a等，使得调节从说明者20向属于同一群组的多个参与者10等的声音以及群组声音对话的声音中的至少一方的音量。由此，群组声音对话的参与者能够以混合存在的形式听到群组声音对话和说明者20的说明双方。

图2D是表示图2A所示的影像显示系统1的变形例3的影像显示系统1a的结构的框图。影像显示系统1a在图2A所示的影像显示系统1中，代替说明者终端40而具备第一说明者终端40a和第二说明者终端40b，代替云60而具备云60b。

第一说明者终端40a是与用第一语言进行说明的第一说明者20a进行基于声音的输入输出的终端。第二说明者终端40b是与用第二语言进行说明的第二说明者20b进行基于声音的输入输出的终端。

云60b具备声音对话部61、控制部62c以及影像分发部63。声音对话部61包括：第一声音对话部61a，经由多个VR系统30a～30b和第一说明者终端40a来辅助参与者10～13与第一说明者20a的声音对话；以及第二声音对话部61b，经由多个VR系统30a～30b和第二说明者终端40b来辅助参与者10～13与第二说明者20b的声音对话。

控制部62c具有语言信息72，该语言信息72针对多个参与者10～13中的每一个参与者与所希望的说明的语言建立对应，基于语言信息72，控制第一声音对话部61a及第二声音对话部61b，使得对与第一语言建立了对应的参与者10等，通过第一声音对话部61a来辅助参与者10等与第一说明者20a的声音对话，对与第二语言建立了对应的参与者13等，通过第二声音对话部61b来辅助参与者13等与第二说明者20b的声音对话。由此，解决上述课题(4)(为了应对外国旅行和外国人，需要对VR观光参与者的多种语言应对和多个向导应对)。

另外，第二说明者20b也可以是以第一语言和第二语言为对象的同声传译者。此时，第一声音对话部61a进一步将来自第一说明者20a的声音输出给第二说明者20b。由此，实现在包含同声传译者的情况下也能够应对的影像显示系统。

图2E是表示图2D所示的影像显示系统1a的变形例1的云60c的结构的框图。云60c具备声音对话部61、控制部62c、影像分发部63、以及声音切换部65。声音切换部65切换将来自同声传译者的声音输出到与第二语言建立了对应的参与者10等、和输出到第一说明者20a及与第一语言建立了对应的参与者13等。由此，在第二说明者20b是同声传译者的情况下，同声传译者能够切换对参与者说话和对说第一语言的第一说明者20a说话，便利性提高。

图2F是表示图2D所示的影像显示系统1a的变形例2的云60d的结构的框图。云60d具备声音对话部61、控制部62d、影像分发部63以及机器翻译部66a～66b。机器翻译部66a～66b在两种不同语言(第一语言和第二语言等)之间进行机器翻译。

控制部62d具有针对多个参与者10～13中的每一个参与者与所希望的说明的语言建立了对应的语言信息72，基于语言信息72，控制机器翻译部66a等，使得针对与第一语言建立了对应的参与者10等，不通过机器翻译部66a～66b等进行参与者10等与说明者20的声音对话，针对与第二语言建立了对应的参与者13等，通过机器翻译部66a等进行参与者13等与说明者20的声音对话。由此，能够通过机器翻译来应对多种语言。

此外，控制部62可以具有表示由多个机器翻译部66a～66b处理的两种语言的机器翻译管理信息73，并且基于语言信息72和机器翻译管理信息73，控制多个机器翻译部66a～66b，使得为每个参与者10～13从多个机器翻译部66a～66b中选择在与参与者10～13建立了对应的语言与向导所使用的第一语言之间进行翻译的机器翻译部，并且通过所选择的机器翻译部66a～66b在参与者10～13与说明者20之间进行声音对话。由此，能够应对与不同的多个种类的机器翻译对应的极为大量的语言。

另外，如后述的实施例的动作流程例所示，本公开的影像显示方法是提供体验VR(虚拟现实)的服务的影像显示系统1的影像显示方法，包括控制步骤，管理选择性地采取不能进行从参与者10～13向说明者20提问的第一状态、能够进行提问的第二状态以及正在进行提问的第三状态的动作模式，并且控制VR系统30a～30b，以在显示部31上显示确定动作模式的信息(图6)。更详细地，在控制步骤中，管理分别对应于多个VR系统30a～30b的动作模式，并控制多个VR系统30a～30b，使得在对应的VR系统30a～30b的显示部31上显示确定动作模式的信息(图6、图2A)。

由此，参与者10～13根据在显示部31上显示的确定动作模式的信息，能够立即知道自己的状态是处于不能进行提问的第一状态、能够进行提问的第二状态以及正在进行提问的第三状态中的哪一个，简化了用于向说明者20提问的操作，解决上述课题(1)(需要具有各种各样的参与者都能够利用VR观光服务的简洁的用户界面)。

另外，在控制步骤中，基于包含表示针对多个参与者10～13中的每一个参与者是否阻止向说明者20提问的许可与否信息的阻止信息70，控制VR系统30a～30b，使得针对许可与否信息表示阻止的参与者10～13，通过在与参与者10～13对应的VR系统30a～30b的显示部31上显示表示第一状态的图像，并且使来自参与者10～13的声音输入静音而设为第一状态(图13、图2B)。由此，解决上述课题(2)(需要排除用粗话或持续的提问等来妨碍向导20的说明的礼貌差的用户)。

另外，在控制步骤中，具有包含针对多个参与者10～13中的每一个参与者表示是否属于规定的群组的所属与否信息的群组信息71，基于群组信息71控制群组声音对话部64，使得以属于同一群组的多个参与者10～13为对象来辅助群组声音对话(图13、图2C)。由此，解决上述课题(3)(需要能够支持与一起旅行的朋友之间的私人对话)。

另外，在控制步骤中，基于针对多个参与者10～13中的每一个参与者与所希望的说明的语言建立了对应的语言信息72，控制第一声音对话部61a及第二声音对话部61b，使得针对与第一语言建立了对应的参与者10～13通过第一声音对话部61a来辅助参与者10～13与第一说明者20a的声音对话，针对与第二语言建立了对应的参与者10～13通过第二声音对话部61b来辅助参与者10～13与第二说明者20b的声音对话(图25、图2D)。由此，解决上述课题(4)(为了应对外国旅行和外国人，需要对VR观光参与者的多种语言应对和多个向导应对)。

另外，在控制步骤中，基于针对多个参与者10～13中的每一个参与者与所希望的说明的语言建立了对应的语言信息72，控制机器翻译部66a～66b，使得针对与第一语言建立了对应的参与者10～13，不通过机器翻译部66a～66b进行参与者10～13与说明者20的声音对话，针对与第二语言建立了对应的参与者10～13，通过机器翻译部66a～66b来进行参与者10～13与说明者20的声音对话(图35、图2F)。由此，解决上述课题(4)(为了应对外国旅行和外国人，需要针对VR观光参与者的多种语言应对和多个向导应对)。

以下，作为实施方式的具体例，说明解决上述课题(1)～(4)的实施例1～4。在任一个实施例中，都作为将实施方式的影像显示系统应用于VR观光系统的例子进行说明。

(实施例1)

首先，作为解决上述课题(1)(需要具有各种各样的参与者都能够利用VR观光服务的简洁用户界面)的具体例，说明实施例1。

图3是实施例1的VR观光系统2的概略结构图。VR观光系统2由如下结构等构成：A)VR系统100、110、120和130，用于VR用户10～13体验VR观光服务；B)360度影像分发部320，设置在VR云300中，分发用于生成VR系统100、110、120和130内的VR空间的360度影像；C)VR声音会议部310，设置在VR云300中，用于实现各VR系统100、110、120和130与向导20的声音对话；D)向导用终端210，用于向导20与VR用户10～13进行声音对话，由智能手机210、头戴式耳机220和向导用遥控器230构成。

更详细地，VR系统100(110、120和130)具备显示器101(111、121和131)、受理操作的输入部102(112、122和132)、与VR云进行通信的通信部104(114、124和134)以及生成在显示器101(111、121和131)上显示的VR空间的VR空间生成部103(113、123和133)。VR空间生成部103(113、123及133)及显示器101(111、121及131)是实施方式中的显示部31的一例，输入部102(110、120及130)是实施方式中的参与者用输入部33的一例。此外，在本概略结构图中，省略了实施方式中的声音处理部32的图示。

VR云300具备具有对话控制部311及声音处理部312的VR声音会议部310、以及360度影像分发部320。VR声音会议部310是实施方式中的声音对话部61的一例，360度影像分发部320是实施方式中的影像分发部63的一例，对话控制部311是实施方式中的控制部62的一例。

观测系统200具备通信部201、拍摄部202、相机203、遥控器204以及麦克风205。相机203是实施方式中的相机51的一例，麦克风205是实施方式中的麦克风52的一例。

向导用终端210等是实施方式中的说明者终端40的一例，由智能手机210、头戴式耳机220、以及实施方式中的说明者用输入部41的一例即向导用遥控器230构成。向导指示生成部211是如下功能的一例：从向导用遥控器230取得向导20的指示并输出到VR声音会议部310的功能，且是实施方式中的控制部62的功能中的、从说明者用输入部41取得向导20的指示的功能。

在一般的声音会议系统中，参与者原则上能够自由地发言，但该VR观光系统2由于用于VR观光用，因此参与者不能自由地发言，通过设为通常听向导20的说明，且只有在向导20许可了的情况下VR用户10～13才能发言(提问)，VR用户10～13、向导20都能够通过简单的用户界面进行VR观光体验。

因此，向导20使用向导用终端210等内的向导指示生成部211，操作VR云300内的对话控制部311，从而实现各VR用户10～13的VR系统100、110、120和130的声音/显示控制(静音功能、指引(guidance)显示等)。

图4是表示实施例1的VR观光系统2的动作例的图。更详细地，图4的(a)表示VR系统100、110、120和130中的显示例，向导20的智能手机210中的基于声音控制应用的显示例240a和240b、向导用遥控器230的操作例、VR用户10等对VR遥控器106的操作例。

图4的(b)示出了表示对话控制部311的动作模式的管理例的动作模式说明表410。即，在“向导的指示”是“不可提问”的情况下，设为在VR系统的画面显示例400的右下方显示“不可提问”400a(“VR的显示状态”是“不可提问”的显示模式)，并且使该VR用户为Mute中(“VR系统的静音功能”是“Mute中”即第一状态)，另一方面，在“向导的指示”是“可提问”的情况下，在VR系统的画面显示例401的右下方显示“可提问”401a(“VR的显示状态”是“可提问”的显示模式即第二状态)时，使该VR用户为Mute中(“VR系统的静音功能”是“Mute中”)，并且在VR系统的画面显示例402的右下方显示“提问中”402a(“VR的显示状态”是“提问中”的显示模式即第三状态)时，使该VR用户为静音解除状态(“VR系统的静音功能”是“Mute解除”)。

如本图所示，若是在VR系统100、110、120和130中的三个指引显示模式，则向导20、VR用户10等均通过单按钮的单纯的UI实现显示模式的转变，从而实现下述四点。

(1)基本上，VR用户10～13的发言始终为静音状态，因此VR用户10～13不需要记住静音的概念/操作。

(2)VR用户10～13通过VR空间内的指引显示能够容易地理解可以提问时和不可以提问时(“可提问”和“不可提问”的指引显示的转变)。

(3)VR用户10～13在想提问(想对向导20说话)时，在显示有“可提问”的指引时，仅通过按下单按钮(提问按钮)就能够应对。因此，很少记忆，很难忘记。另外，在佩戴VR系统时，由于视野被遮挡，因此简单的操作是必需的，这一点是重要的。

(4)向导20在不想被提问(即，不想说明被妨碍)时，无论何时都仅通过“不可提问”指示的操作(即使处于提问中也是)，就能够使VR用户10～13为不可提问。另外，在受理提问时，仅通过“可提问”指示操作，就能够使VR用户10～13为可提问。由于通过拨动按钮等单按钮的简单操作进行两个操作，所以向导20能够集中于说明。

根据上述特征，A)VR用户10～13能够通过一个按钮操作简单地享受与向导20的对话。B)向导20能够通过一个按钮操作来简单地控制VR系统100、110、120和130，并且能够不被VR用户10～13打扰而流畅地进行说明。

图5是表示实施例1的VR观光系统2的详细结构的框图。VR观光系统2是在图1B所示的参考例的VR观光系统650的结构例中，在VR云300的VR声音会议部310中追加对话控制部311及向导指示记录部315，在VR系统100、110、120和130的VR声音会议部105中追加对话控制部107以及指引显示控制部109，在作为向导用终端的智能手机210的VR声音会议部250中追加输入部212以及向导指示生成部211。

即，在向导用终端210等内的VR声音会议部250内具有受理用户的输入的输入部212、以及基于输入将向导20的指示内容传递给VR云300内的VR声音会议部310的向导指示生成部211。另外，具有对话控制部107，其在VR云300内收到从向导用终端210等发送来的向导20的指示，将该指示内容记录到向导指示记录部315，同时生成用于控制VR系统100、110、120和130的VR声音会议部105的控制指示，并传递给VR系统100、110、120和130。

此外，在VR系统100、110、120和130的VR声音会议部105内具有对话控制部107，其按照从VR云300发送来的控制指示的内容和用户输入，负责对静音部108c的静音状态进行设定、以及通过指示指引显示控制部109来改变“可提问”等指引显示状态。

在这样的结构中，通过执行接下来所示的图6中所示的实施例1的VR观光系统2的动作流程例的算法来实现图4所示的功能。

图6是表示实施例1的VR观光系统2的动作流程例(即，影像显示方法的具体例)的图。更详细地，图6的(a)表示VR系统100、110、120和130的动作流程，图6的(b)作为参照用而表示与图4(b)相同的动作模式说明表410，图6的(c)表示VR云300的动作流程。

如图6的(c)所示，VR云300能够经由向导用终端210等的输入部212以及向导指示生成部211，从智能手机210的APP、向导用遥控器230等受理“向导的指示”(作为动作模式的转变，向“可提问”的转变、向“不可提问”的转变)(S10)。

然后，对话控制部311判定受理了的“向导的指示”(S11)，并分开为下述的两个处理。即，在“向导的指示”为“可提问”的情况下(S11中为是)，将指示设定为“可提问”(S13)，在“向导的指示”为“不可提问”的情况下(S11中为否)，将指示设定为“不可提问”(S12)。

然后，对话控制部311将向导20进行了新的指示这一情况与指示内容一起通知给所有VR系统100、110、120和130(S14)，返回到步骤S10。

另一方面，各VR系统100、110、120和130进行VR观光分发服务的主处理，如图6(a)所示，如果有下述的两个中断处理(S30～S40以及S20～S24)，则进行该中断处理，返回到主处理。如果没有中断处理，则持续VR观光服务中的接收处理，直到VR观光分发服务结束为止。

此外，VR系统100、110、120和130的主处理是VR系统100、110、120和130向VR用户10～13提供用于VR观光的VR空间的处理，并且是如下处理：接收从360度影像分发部320发送来的360度影像，将接收到的360度影像分离为影像数据和声音数据，在将分离后的声音数据解码后，进行依赖于VR观测系统200的位置和方向的声音处理并作为声音输出到扬声器，另一方面，在将分离后的影像数据解码后，映射到360度球体影像，进一步，进行依赖于VR观测系统200的位置和方向的影像切出并作为影像输出到显示器。

第一个中断处理是VR系统100、110、120和130的用户输入中断处理。对话控制部107接收来自VR遥控器106等的VR用户输入(S30)，在接收到的VR用户输入是“提问中”请求的情况下(S31中为是)，对话控制部107参照向导指示记录部315的信息(S33)。

其结果，在向导指示的值是“不可提问”即第一状态的情况下(S35中为否)，结束处理，另一方面，在向导指示的值是“可提问”(S35中为是)，并且显示模式是“可提问”即第二状态的情况下(S36中为否)，指引显示控制部109将显示模式改变为“提问中”(S37)，静音部108c设定为静音解除(S38)即设为第三状态，结束处理。

另一方面，在向导指示的值是“可提问”(S35中为是)、并且显示模式是“提问中”即第三状态的情况下(S36中为是)，指引显示控制部109将显示模式改变为“可提问”(S39)，静音部108c设定为静音即设定为第二状态(S40)，结束处理。

此外，在VR用户输入是“提问中”请求以外的情况下(S31中为否)，对话控制部107进行该VR用户输入的处理(S32)，结束处理。

第二个中断处理是来自VR云300的中断处理。对话控制部311将从VR云300收到的向导指示记录在向导指示记录部315中(S20)。

然后，在向导指示是“可提问”的情况下(S21中为是)，对于指引显示控制部109使显示模式为“可提问”即第二状态(S23)，结束处理。另一方面，在向导指示是“不可提问”的情况下(S21中为否)，指引显示控制部109使显示模式为“不可提问”(S22)，静音部108c设定为静音(S24)即设为第一状态，结束处理。

图7是表示实施例1的VR观光系统2的VR系统100、110、120和130的具体结构例的图。在该结构例中，VR系统100、110、120和130由计算机或智能手机(计算机/智能手机160)以及与其连接的HMD(头戴式显示器)或VR眼镜(HMD/VR眼镜140)构成。此外，代替该结构例，VR系统100、110、120和130可以由HMD/VR眼镜140单独实现。在这种情况下，CPU和GPU两者的功能合并为一，周边的功能也被合并。

计算机/智能手机160由如下部分等作为主要结构构成，即，高速的通信元件163，用于与VR系统100、110、120和130连接并与WiFi(注册商标)或以太网(注册商标)等对应；GPU(Graphics Processing Unit，图形处理单元)165，主要进行影像数据或图形的处理；CPU(Central Processing Unit，中央处理单元)170，进行一般数据处理和计算机/智能手机160的整体控制；硬盘或闪存等非易失性存储器167，用于存储用于使CPU170或GPU165动作的程序；RAM166，用于存放CPU170或GPU165动作所用的数据；电源控制元件169，用于向电源开关168或各部供给电源；AV输出端子161，用于向HMD/VR眼镜140输出影像与声音信号；USB(Universal Serial Bus，通用串行总线)162等I/F，用于控制HMD/VR眼镜140或从它们取得数据；存储器总线，用于连接RAM166或非易失性存储器167并供CPU170或GPU165访问所用；系统总线，用于CPU170或GPU165访问AV输出端子161、USB162以及通信元件163；总线转换部164，连接系统总线和存储器总线；未图示的显示装置；用于操作的输入装置；以及其他通用I/F(接口)等。

作为通过程序的执行而发挥的功能，CPU170具有将影像数据和声音数据复用的复用部170a、从收到的360度影像分离影像数据和声音数据的分离部170b、将分离后的声音数据解码的声音解码部170c、以及控制解码后的声音数据的再现的声音再现控制部170d。

作为通过程序的执行而发挥的功能，GPU165具有：运动/位置检测部165a，收到由HMD/VR眼镜140的运动/位置检测部165a生成的运动/位置数据，并检测VR用户的运动/位置；VR控制部165b，基于检测出的VR用户的运动/位置来发出VR空间的生成指示；VR影像解码部165c，将由CPU170分离出的影像数据解码；指引显示生成部165d，指示“不可提问”、“可提问”和“提问中”等的指引的显示生成；图形生成部165e，按照该指示来生成指引的图形；以及VR显示控制部165f，基于来自VR控制部165b的VR空间的生成指示，将由VR影像解码部165c解码出的影像数据和由图形生成部生成的图形进行合成，并作为VR影像输出到HMD/VR眼镜140。

此外，有时关于若干处理是由GPU165进行还是由CPU170进行与本例不同，有时总线结构也与本例不同，但是功能结构、动作没有区别。此外，关于AV输出端子161和USB162，作为高速的双向I/F，例如也能够通过USB_TypeC(注册商标)等I/F来替换。在这种情况下，HMD/VR眼镜140也通过相同的I/F连接，或者通过转换I/F的转换器连接。一般在通过USB162发送影像的情况下，为了通过适当的压缩来压缩数据量，由CPU170或GPU165进行适当的影像压缩，并且经由USB162将VR影像送出到HMD/VR眼镜140。

另一方面，VR系统100、110、120和130中的HMD/VR眼镜140由如下部分等作为主要结构构成，即：声音输入部，由用于输入声音的麦克风157a、麦克风放大器157b以及ADC(A/D转换器)157c构成；声音输出部，由扬声器158c、耳机端子158d、放大器158b以及DAC(D/A转换器)158a构成；VR显示部，由用于使用者观看VR影像的两组透镜153a和153b以及显示元件152a和152b构成；运动/位置传感器141，由运动/位置检测部和方向检测部构成，所述运动/位置检测部由陀螺仪传感器、相机或超声波麦克风等构成；蓝牙(注册商标)等无线通信元件148，用于与未图示的控制器通信；音量按钮142，用于控制来自声音输出部的输出音量；电源开关143，用于打开/关闭HMD/VR眼镜140的电源；电源控制元件145，用于电源控制；连接EEPROM154、RAM155、SD卡(注册商标)与GPU151、CPU156并进行与存储器的数据的交换的存储器总线；AV输入端子146，用于接受来自CPU156、GPU151、无线通信元件148、计算机/智能手机160的视频信号和音频信号；USB147等的I/F，用于接受来自计算机/智能手机160的控制信号，或者发送的影像、声音信号或运动/位置的数据；CPU156，主要进行声音压缩(声音压缩部156a)和开关和电源等的控制、HMD/VR眼镜140的整体控制；GPU151，主要具有影像显示处理部151b和运动/位置检测部151a，该影像显示处理部151b进行对VR显示部的影像的调节，该运动/位置检测部151a根据来自运动/位置传感器141的信息，修正/形成发送给计算机/智能手机160的运动/位置信息；EEPROM154，存储用于使CPU156和GPU151动作的程序、数据；RAM155，用于存储CPU156和GPU156动作时的数据；存储器总线，用于连接CPU156、GPU151、RAM155以及EEPROM154；系统总线，连接CPU156、GPU151、USB147、声音输入部、声音输出部以及无线通信元件148，进行控制、数据的交换；I/O总线，包括前述的按钮或电源控制元件145、运动/位置传感器141和未图示的声音输入部、声音输出部以及VR拍摄相机等而进行控制或低速的数据的交换；以及连接各个总线的若干总线转换部150。

此外，HMD/VR眼镜140能够经由BLE(蓝牙低能量，注册商标)149与VR遥控器106连接，能够进行VR用户10～13想要与向导20进行对话时的请求“提问”的操作。

此外，存在关于若干处理是由GPU151进行还是由CPU156进行与本例不同的情况，也存在总线结构与本例不同的情况，但是功能结构、动作没有区别。

另外，由于来自AV输入端子146的影像数据的数据量大且速度高，所以在系统总线不具有足够的速度的情况下，图示为影像数据直接取入GPU151。

此外，由运动/位置传感器141所具有的相机拍摄到的影像信息，作为供VR用户确认HMD/VR眼镜140的周边的信息而发送到显示元件152a和152b，或者有时通过USB147将该影像信息寄送到计算机/智能手机160，并进行对使用者是否处于危险状况的监视。

此外，电源控制元件145进行从USB147或AV输入端子146接受电源供给、稳定电压、管理电池容量等，并且向所有未图示的构成要素供给电源。根据情况，有时将电池144设置在内部或外部，将电池144与电源控制元件145连接。

未图示的控制器的按钮或光标的状态通过无线通信元件148由CPU156取得，并被用于VR空间中的按钮操作、移动或应用的操作。控制器的位置和朝向由运动/位置传感器141所具有的相机或超声波传感器等检测，在由运动/位置传感器141进行了适当的处理之后，用于由CPU156进行的控制，并且经由USB147向计算机/智能手机160发送，用于由CPU156执行的程序或由GPU151执行的图形的描绘或图像处理。

图8是表示实施例1的VR观光系统2的向导用终端210等所具有的VR声音会议部250的具体的结构例的图。VR声音会议部250具有：与VR云300的通信单元(如5G这样的载波通信、或经由具有使用Wi～Fi(注册商标)与PC或智能手机210等VR云300通信的功能的终端的通信单元)；音频接口215，用于与麦克风216和扬声器217等进行声音输入输出的外部设备连接；A/D转换器213a和D/A转换器214b，将模拟声音转换为数字数据或进行其逆处理；音频压缩部213b和音频解码部214a，用于压缩/解码数字声音数据；静音部213c，用于暂时不发送来自麦克风216的声音信号；以及向导指示生成部211，将输入转换为向导指示并发送到VR云300。

此外，向导用终端210等具有：通信部/头戴式耳机用CODEC211a，使用BLE(注册商标)等省电通信与外部的头戴式耳机220、向导用遥控器230等进行通信；以及输入处理部211b，按照该通信进行输入指示并将该输入指示输出到向导指示生成部211。

向导用终端210等可以使用专用终端，但由于能够容易地安装在智能手机210和智能手机210的APP上，因此也可以作为APP安装在向导20所持有的智能手机210(公司用/私人用)上。但是，代替操作智能手机210，使用通过智能手机210的BLE(注册商标)等低消耗电力通信连接的向导用遥控器230能够简单地操作，而且VR用户10～13也不知道其正在操作，因此更优选。如果使用向导用遥控器230，则在说明中也能够通过仅仅是盲按手持的向导用遥控器230的按钮来操作。

如上所述，通过实施例1的VR观光系统2，实现图4所示的简单的用户界面，解决上述课题(1)。

(实施例1的变形例1)

接着，说明实施例1的变形例1。

图9是实施例1的变形例1的VR观光系统2a的概略结构图。VR观光系统2a是将实施例1的VR观光系统2应用于具有“防止VR晕眩功能”的VR观光系统以及具有“防止迷路功能”的VR观光系统的系统。

这里，具有“防止VR晕眩功能”的VR观光系统是指具备以下功能的VR观光系统。即，具有“防止VR晕眩功能”的VR观光系统具备如下功能：为了避免伴随通过VR观光等拍摄的360度相机的移动而产生的VR晕眩，从VR观测系统除了360度影像之外，还向VR系统发送元数据(拍摄360度影像的相机移动、摇摄的开始时刻或移动方向等)，在VR系统中在相机移动紧前或移动期间内适当地产生向视听者通知移动的情况的视觉效果(画面上的显示等)、非视觉效果(声音、控制器的振动等)，由此促使视听者准备，或为了不晕眩而显示与通常不同的视觉效果影像，由此避免(减轻)VR晕眩。

另外，所谓具有“防止迷路功能”的VR观光系统，是指具备以下功能的VR观光系统。即，具有“防止迷路功能”的VR观光系统具备如下功能：通过对VR用户向VR系统发送包含由观光向导(领队、说明者)等产生的触发信号等的元数据，通过影像/声音/振动等来表示向导的位置的视觉指引、表示向导所指定(说明)的物体在3D空间内的位置的视觉指引，由此防止用户迷路。

本变形例的VR观光系统2a具备VR系统100、110、120和130、VR云300a、观测系统200a、以及向导用终端(智能手机210、向导用遥控器230)。

向导用终端210等将所取得的元数据用附加信息219a和219b分别发送到VR云300a和观测系统200a。观测系统200a具有用于取得360度影像的搭载于交通工具206的相机203、遥控器204、拍摄部202以及通信部201，将从向导用终端210等接收到的元数据用附加信息219b和360度影像发送到VR云300a。VR云300a具有360度影像分发部320a，该360度影像分发部320a将从向导用终端210等接收到的元数据用附加信息219a和从观测系统200a接收到的360度影像分发到VR系统100、110、120和130。在VR系统100、110、120和130中，VR空间生成部103通过根据从VR云300a接收到的元数据使显示变化，发挥“防止VR晕眩功能”和“防止迷路功能”。

总之，在本变形例的VR观光系统2a中，通过各种方法(拍摄360度影像的相机移动、摇摄的开始时刻或移动方向等)，取得成为元数据的基础的附加信息，生成元数据，经由VR云300a发送到各VR系统100、110、120和130。在使用360度影像重现VR空间时，VR系统100、110、120和130基于该元数据生成附加信息，从而防止VR晕眩或提示适当的指引信息。

在此，在假设了具有GPS、IMU(惯性测量装置)、相机等功能的智能手机210作为向导用终端的情况下，能够进行如下两个处理：(1)使用智能手机210的位置信息、加速度信息等取得对元数据生成有效的数据，并发送到VR云300a和观测系统200a，在VR云300a和观测系统200a中生成元数据；以及(2)使用智能手机210的位置信息、加速度信息等取得对元数据生成有效的数据，并将其发送到VR云300a，在VR云300a中与来自观测系统200a的元数据组合并制作元数据。

另外，在能够通过BLE(注册商标)等与智能手机210进行通信的向导用遥控器230上追加移动开始、停止移按钮等，向导20在移动前或移动停止前按下按钮，由此能够提高移动的检测精度等，生成更适当的元数据。

(实施例1的变形例2)

接着，说明实施例1的变形例2。

图10是实施例1的变形例2的VR观光系统2b的概略结构图。VR观光系统2b相当于解决上述课题(1)(需要具有各种各样的参与者都能够利用VR观光服务的简洁用户界面)的第二个具体例。

在图5所示的实施例1的VR观光系统2中，向导用终端210等具有倾听VR用户10～13的声音的功能、和将向导20的声音经由VR云300传递给VR用户10～13的两个功能。在本变形例的VR观光系统2b中，从观测系统200的麦克风205取得向导20的声音。因此，在本变形例的VR观光系统2b中，从实施例1的VR观光系统2中删除了将向导20的声音从向导用终端210等以及VR云300a的VR声音会议部310a传输到VR系统100、110、120和130的部分。

如上所述，在本变形例的VR观光系统2b中，解决上述课题(1)，与实施例1相比，也仅变更了取得向导20的声音的路径。

(实施例2)

接着，作为解决上述课题(2)(需要排除用粗话或持续的提问等来妨碍向导20的说明的礼貌差的VR用户)的具体例，说明实施例2。

用VR用户的粗话或持续的提问等来妨碍向导20的说明的不适当发言用户也有可能参与VR观光。若不排除这样的参与者的发言，则其他善良的VR用户的观光体验将受到阻碍。在发生这样的事态时，需要向导20能够以简单的操作来处置。具体地，需要如下功能：通过向导20的指示将相应用户的发言静音，以即使在其他用户成为“可发言”的状况下也持续“不可发言”的方式使得该用户在之后无法发言，将具有这样的功能的VR观光系统作为实施例2的VR观光系统来说明。实施例2的VR观光系统是在实施例1的VR观光系统2中追加了解决课题(2)的功能的系统。

图11是表示实施例2的VR观光系统的动作例的图。更详细地，图11的(a)表示VR系统100、110、120和130中的显示例、向导20的智能手机210中的声音控制应用的显示例240c和240d、向导用遥控器230的操作例、以及VR用户10等对VR遥控器106的操作例。图11的(b)表示与图4的(b)相同的动作模式说明表410。图4的(c)表示本实施例的VR声音会议部所具有的用户管理表330。用户管理表330是实施方式中的阻止信息70的一例，阻止信息70包含针对多个参与者中的每一个参与者表示是否阻止向说明者的提问的许可与否信息，具体而言，是按每个VR用户(“User-ID”)记录了表示是否是成为上述阻止的对象的用户的“Mode”的信息表(是：“Block”，否：“OK”)。

如图11的(a)所示，VR系统100、110、120和130具有三个显示模式，并且向导用遥控器230及VR遥控器106的UI、以及内部动作处理与实施例1相同。

另外，在VR云中，向导指示的基本功能(“可提问”401a、“不可提问”400a的切换)与实施例1相同，但追加了下述的功能。

即，如图11的(c)所示，在VR云内追加了用户管理表330，该用户管理表330对每个VR用户记录是健全用户还是不适当发言用户。用户管理表330是实施方式的变形例1中的阻止信息70的一例。

此外，如图11的(a)的显示例240c和240d以及向导用遥控器230的操作例所示，追加了如下功能：向导20能够进行用于将不适当发言用户的发言阻止(强制静音)的“阻止”指示、以及使已阻止的用户能够发言的“解除”指示。

此外，追加了如下功能：在给出了“阻止”指示的情况下，将相应用户在用户管理表330中的Mode的值改变为“Block”，并且对相应用户进行强制静音。

此外，追加了如下功能：在向导20给出了“解除”指示的情况下，将所有用户的用户管理表330的Mode的值改变为“OK”。此外，在向导20给出了“可发言”指示的情况下，对于用户管理表330的Mode的值为“Block”的用户，在VR系统中的显示保持为“不可提问”400a而不改变。

图12是实施例2的VR观光系统3的概略结构图。VR观光系统3是在实施例1的VR观光系统2中追加了解决课题(2)的功能的系统，具备VR系统100、110、120和130、VR云300b、向导用终端210等、以及观测系统200。VR云300b的VR声音会议部310除了实施例1的结构之外，还具有用户管理表330。

VR用户10～13的VR系统100、110、120和130的结构与图5所示的实施例1的VR观光系统2的结构例相同，VR用户10～13的操作方法也相同。即，VR用户10～13不会注意到不适当发言用户被阻止。

向导用终端210等的VR声音会议部250内的结构也与实施例1相同。变更点在于，由于由输入部212受理的输入除了实施例1的VR观光系统2中的“可提问”、“不可提问”之外，还追加了“阻止”和“解除”，所以还追加了发送给VR云300b的“向导的指示”。

VR云300b的VR声音会议部310是实施方式的变形例1中的控制部62a的一例，在VR云300b内收到从向导用终端210等发送来的“向导的指示”，在其指示内容为“可提问”或“不可提问”的情况下，将“向导的指示”记录在向导指示记录部315中。VR声音会议部310在来自向导20的指示为“阻止”和“解除”的情况下，根据指示更新用于记录不适当发言用户的用户管理表330。

此外，VR声音会议部310生成用于控制VR系统100、110、120和130的VR声音会议部105的“控制指示”，并将其传递到所有VR系统100、110、120和130，其结果，在VR系统100、110、120和130中，指引显示控制部109始终向阻止对象用户显示“不可提问”400a。

图13是表示实施例2的VR观光系统3的动作流程例(即，影像显示方法的具体例)的图。更详细地，图13的(a)表示VR系统100、110、120和130的动作流程，图13的(b)作为参照用而表示与图11的(c)相同的动作模式说明表410，图13的(c)表示VR云300b的动作流程，并且图13的(d)作为参照用而表示与图11的(c)相同的用户管理表330。

在VR云300b中，如图13的(c)所示，对话控制部311能够经由向导用终端210等的输入部212及向导指示生成部211，从智能手机210的APP、向导用遥控器230等受理“向导的指示”(向“可提问”的转变、向“不可提问”的转变)(S50)。

然后，对话控制部311判定受理了的“向导的指示”，并分开为下述的四个处理(S51～S54)。即，在“向导的指示”为“可提问”的情况下(S51中为是)，将指示设定为“可提问”(S60)，在“向导的指示”为“不可提问”的情况下(S52中为是)，将指示设定为“不可提问”(S61)，在“向导的指示”为“Block”的情况下(S53中为是)，将当前对话中的用户在用户管理表330中的值变更为“Block”(S62)，在“向导的指示”为“解除Block”的情况下(S54中为是)，将用户管理表330的所有用户的值变更为“OK”(S63)。

然后，对话控制部311将向导20进行了新的指示的情况(指示变更通知)与指示内容一起通知给所有VR系统100、110、120和130(其中，将“不可提问”作为指示内容通知给用户管理表330中的值为“Block”的用户)(步骤S70～S75)，返回到步骤S50。

更详细地，在将指示变更通知发送到各VR系统的处理(S70～S75)中，对话控制部311首先将变量N设置为1(S70)，然后取出用户管理表330的第N个值，并增加变量N(S71)。然后，对话控制部311判断从用户管理表330取出的值是否为“Block”(S72)，在是“Block”的情况下(S72中为是)，在将指示设定为“不可提问”的基础上(S73)，将指示变更通知发送到对应的VR系统(S74)。在从用户管理表330取出的值不是“Block”的情况下(S72中为否)，对话控制部311不将指示设定为“不可提问”，而将指示变更通知发送到对应的VR系统(S74)。

对话控制部311对所有VR用户判断是否结束了确认(S75)，在没结束的情况下(S75中为否)，重复步骤S71～S75，直到对所有VR用户结束确认。

另一方面，如图13的(a)所示，各VR系统100、110、120和130的动作与实施例1中的各VR系统100、110、120和130的动作相同。即，在各VR系统100、110、120和130中，进行VR观光分发服务的主处理，但是如图13的(a)所示，在有来自VR云300的基于向导指示的中断的情况下，进行与实施例1同样的中断处理(S20～S25)。此外，尽管图13中未图示，但是在有来自VR遥控器106等的基于VR用户输入的中断的情况下，VR系统100、110、120和130进行与实施例1同样的中断处理(图6中的S30～S40)。

如上所述，通过实施例2的VR观光系统3，如图11所示的动作例所示，使用简单的用户界面排除了不适当发言用户的发言，解决上述课题(2)。

(实施例3)

下面，作为解决上述课题(3)(需要能够支持与一起旅行的朋友之间的私人对话)的具体例，说明实施例3。

在说明解决课题(3)的具体例之前，首先，使用附图对课题(3)进行详细说明。

图14是在图1A所示的参考例的VR观光系统650中追记了课题(3)的说明的图。如图14所示，在参考例的VR观光系统650中，各VR用户10～13由于分别使用不同的VR系统600、610、620和630参与VR观光服务，因此在参与期间仅能够在共同的VR空间内对话。即，在VR空间内的VR用户10～13的发言在所有参与者之间被共享，因此无法进行私人对话。

但是，在不是VR观光系统而是商务用的Web会议系统的情况下，由于在会议中通常不允许私人对话，所以几乎不存在这样的用途。因此，在Teams(注册商标)或Zoom(注册商标)等Web会议系统中，提供了在不同的会议室中进行发言的“Breakout Room”功能，但在相同的会议室中，没有在特定群组内进行私人对话的功能。另外，在由VRChat等3DCG构成的VR空间中的交流、会议系统中，虽然具有VR空间内的距离近的人的声音大、远的人的声音小等功能，但没有安装群组内的私人对话功能。

在通常的真实团体旅行中，不会发生无法与同行者进行私人对话的状况。因此，在VR观光服务中，需要支持同一群组内的对话。在这种情况下，需要不被向导20或群组外的旅行者听到。

因此，需要能够支持与一起旅行的朋友之间的私人对话的功能，将具有这样的功能的VR观光系统作为实施例3的VR观光系统来说明。实施例3的VR观光系统是在实施例2的VR观光系统3中追加了解决课题(3)的功能的系统。

图15是表示实施例3的VR观光系统的动作例的图。更详细地，图15的(a)表示VR系统100、110、120和130中的显示例、向导20的智能手机210和向导用遥控器230、以及VR用户10等的VR遥控器106。

图15的(b)表示本实施例的动作模式说明表411。该动作模式说明表411在实施例1中的动作模式说明表410中追加了“向群组声音会议的静音功能”的项目。如“向群组声音会议的静音功能”的项目所示，在“VR系统的静音功能”是“Mute中”的情况下，“向群组声音会议的静音功能”为“可以群组对话(Mute解除)”，在“VR系统的静音功能”是“Mute解除”情况下，“向群组声音会议的静音功能”为“Mute中”。

图15的(c)表示本实施例的VR声音会议部所具有的用户管理表331。用户管理表331是将每个VR用户的群组ID(“G-ID”)追加到实施例2的用户管理表330中的信息表。用户管理表331是表示实施方式的变形例2中的群组信息71的一例。

在参与网络会议期间，为了不被其他参与者或发表者听到而与一部分参与者不能进行对话，但在参与网络会议期间通过静音防止自己的对话流到网络会议的基础上，通过另外使用Line(注册商标)或WeChat(注册商标)等聊天应用，能够与一部分参与者进行群组通话。但是，通过PC参与网络会议并在智能手机210中启动聊天应用是麻烦的，期望在一个VR观光系统中支持这两者的功能。

在本实施例中，以图4所示的动作例中说明的VR观光系统为基础，组合按照VR用户在申请VR观光时(参与时、参与期间)申请的每个群组在VR云内设定不同的声音会议的功能，从而实现群组内的私人对话。若仅仅组合两个系统，则或者操作变得复杂，或者不适当地使用静音部等时群组对话泄露到VR空间，很可能成为向导20或其他VR用户的麻烦。

因此，在本实施例中，如图15所示的动作例所示，只要VR用户10～13没有明确地进行对向导20的提问，VR用户10～13的声音就不会传到VR空间内。即，在“不可提问”及“可提问”的状况下，群组内的对话不在VR空间中共享(图15的(b)的“向群组声音会议的静音功能”为“可以群组对话(Mute解除)”)。即，为了群组内对话，完全不需要VR用户的操作。另一方面，仅在由于群组内的VR用户10等对向导20提问，向导20通过操作向导用遥控器230而成为了“提问中”的情况下，VR观光系统才使相应用户的群组用声音会议为静音(图15的(b)的“向群组声音会议的静音功能”为“Mute中”)。

如果使用本实施例的VR观光系统，则不同的参与者完全听不到群组内的对话，因此能够实现比现实世界更保护隐私的团体观光。

图16是表示实施例3的VR观光系统4的详细结构的框图。VR观光系统4是在实施例2的VR观光系统3中追加了解决课题(3)的功能的系统，具备VR系统100、110、120和130、VR云300c、向导用终端210等、以及观测系统200。

在VR云300c中，在实施例2的VR云300b中，追加了对每个群组辅助声音会议的群组用声音会议部341a～341c、和管理VR观光以及群组声音会议的VR观光服务管理部340，代替实施例2的用户管理表330而具备追加了群组ID的用户管理表331。群组用声音会议部341a～341c是实施方式的变形例2中的群组声音对话部64的一例，VR观光服务管理部340是实施方式的变形例2中的控制部62b的一例。

此外，在VR系统100、110、120和130的VR声音会议部105a中，在实施例1及实施例2的VR声音会议部105的结构中追加了如下结构：AV分离部183，将从由VR云300c发送来的360度影像中分离360度影像与声音数据；音频解码部184，将分离出的声音数据解码；音频解码部182a，将从VR云300c的群组用声音会议部341a～341c发送来的声音数据解码；音频混合部182b，将由音频解码部182a和音频解码部184解码后的两个声音数据混合；以及D/A转换器182c，将混合后的声音数据转换为模拟的声音信号，并输出到扬声器182d，并且代替实施例1和实施例3的静音部108c而具备进行VR观光用的静音处理的第一静音部181、以及进行群组用声音会议部341a～341c之间的静音处理的第二静音部180。此外，360度影像处理部186相当于实施例1中的VR空间生成部103。

即，本实施例的VR观光系统4是在图5所示的实施例1的VR观光系统2的结构例的VR云300内添加了用于按照每个用户群组实现对话的群组用声音会议部341a～341c、管理整个系统的VR观光服务管理部340、以及用于管理用户属于哪个群组的用户管理表331而得到的。

实现VR云300c内的VR用户10～13与向导20的对话的VR声音会议部310、和实现群组间对话的群组用声音会议部341a～341c完全独立，在VR云300c内两个功能所管理的声音数据不会混合。在用户使用VR系统100、110、120及130参与VR观光时，在VR云300c中初始设定与参与同一VR观光的群组数相应的群组用声音会议部341a～341c。

群组用声音会议部341a～341c具备收集、混合属于同一群组的VR用户10等所利用的声音数据并将该数据返回到各VR系统100、110、120和130的简单的结构。另外，VR云300c的VR声音会议部310、360度影像分发部320、向导用终端210等具有与图5所示的实施例1的VR观光系统2的构成例完全相同的构成和功能。

VR系统100、110、120和130除了图5所示的实施例1的构成要素之外，还添加了将从VR系统100、110、120和130的麦克风108输入的声音数据发送到群组用声音会议部341a～341c的功能、以及对发送的声音数据进行静音控制的第二静音部180。另外，追加了接受从VR云300c发送来的360度影像数据，进行AV分离，将所取出的声音数据和从群组用声音会议部341a～341c发送的群组内的声音对话数据混合的功能(AV分离部183、音频解码部184、音频解码部182a、音频混合部182b、D/A转换器182c)。

在VR系统100、110、120及130中追加了上述功能，但由于VR用户10～13没有对群组用声音会议部341a～341c的操作，因此VR用户10～13的操作与图5所示的实施例1是同样的。但是，在向导20操作了向导用遥控器230以使VR用户能够为“提问中”的情况下，解除第一静音部181的静音功能，同时设定第二静音部180的静音功能，相应用户的声音数据不会流到群组用声音会议部341a～341c。即，在360度影像数据中包含相应用户的声音数据，因此群组内的其他VR用户能够听取与向导20的对话。

图17是表示实施例3的VR观光系统4的动作流程例(即，影像显示方法的具体例)的图。更详细地，图17的(a)表示VR系统100、110、120和130的动作流程，并且图17的(b)表示VR云300c的动作流程。

VR系统100、110、120和130的主处理与实施例1及实施例2相同(未图示)。

关于在VR系统100、110、120和130中的来自VR用户的输入的中断处理，是在图6所示的实施例1的步骤S30～S40中，以步骤S38a和S40a分别代替步骤S38和S40，并且新追加步骤S110和S111到流程。即，在指引显示控制部109将显示模式改变为“提问中”(S37)，第一静音部181设定了静音解除的情况下(S38a)，第二静音部180设定为静音(S110)。另外，在指引显示控制部109将显示模式改变为“可提问”(S39)，第一静音部181设定了静音的情况下(S40a)，第二静音部180解除静音(S111)。

另外，关于VR系统100、110、120和130中的来自VR云300c的中断处理，与实施例1及实施例2相同(未图示)。

关于VR系统100、110、120和130中的初始设定，如图17的(a)所示，首先，由于安装VR系统100、110、120和130的VR观光服务应用启动(S100)，因此VR用户输入用户ID、密码(S101)，向VR云300发送(S102)，等待来自VR云300的回复(S103)。

其结果，在接收到的回复是错误的情况下(S104中为是)，返回到步骤S101，在接收到的回复是正常的情况下(S104中为否)，转移到VR系统100、110、120和130的主处理(S105)。

另一方面，在VR云300c中，关于主处理，与实施例1及实施例2相同(未图示)。

另外，在VR云300c的登录处理中，如图17的(b)所示，VR观光服务管理部340首先从VR系统100、110、120和130取得用户ID、密码(S90)，确认是否为本观光服务的正规用户(S91)。

其结果，在不是正规用户的情况下(S91中为否)，VR观光服务管理部340向相应VR系统100等发送错误(S92)，并返回到步骤S90。在是正规用户的情况下(S91中为是)，VR观光服务管理部340从用户管理表331中取得相应用户的值(S93)。

在取得的相应用户是单独旅行者的情况下(S95中为否)，跳到步骤S99。在是群组旅行者的情况下的最初登录(Login)者的情况下(S96中为否)，VR观光服务管理部340启动(初始化)相应用户参与的群组用声音会议(S97)。

在不是群组旅行者的情况下的最初登录者的情况下(S96中为是)，以及在步骤S97已结束的情况下，VR观光服务管理部340将相应用户的VR系统100、110、120和130与相应用户的群组用声音会议连接(S98)，向相应VR系统100、110、120和130发送观光服务的利用准备已经正常结束(S99)，结束处理。

如上所述，根据本实施例的VR观光系统4，支持在参与者中与一起旅行的朋友之间的私人对话，解决上述课题(3)。

(实施例3的变形例1)

接着，说明实施例3的变形例1。

图18是表示实施例3的变形例1的VR观光系统4a的详细结构的框图。VR观光系统4a相当于解决上述课题(3)(需要能够支持与一起旅行的朋友之间的私人对话)的第二个具体例。

本变形例的VR观光系统4a具备在图16所示的实施例3的VR观光系统4中，将音量调节部187追加到VR系统100、110、120和130的VR声音会议部105的结构(即，VR声音会议部105b)。

音量调节部187是实施方式中的控制部的功能中的实施方式的变形例2中的控制部62b的功能的一例，其控制与属于同一群组的多个参与者对应的多个VR系统，使得在辅助群组声音对话时，调节从说明者到属于同一群组的多个参与者的声音和群组声音对话的声音中的至少一方的音量。

具体地，本变形例的VR观光系统4a具备如下结构：为了应对向导20的声音和群组间对话的声音混合而难以听取的情况，在图16所示的实施例3的VR观光系统4中，追加了对来自群组用声音会议部341a～341c的声音进行音量调节的音量调节部187。

VR用户10～13具有带音量(volume)调节功能的VR遥控器106a，通过进行带音量调节功能的VR遥控器106a的改变音量的操作等，能够进行来自群组用声音会议部341a～341c的声音的音量调节。

此外，VR系统100、110、120和130的结构以及VR系统100、110、120和130以及VR云300c中的处理的动作流程与实施例1相同。

如上所述，即使在本变形例的VR观光系统4a中，也通过音量调节部187支持在参与者中与一起旅行的朋友之间的私人对话，解决上述课题(3)。

(实施例4)

接着，作为解决上述课题(4)(为了应对外国旅行和外国人，需要对VR观光参与者的多种语言应对和多个向导应对)的具体例，说明实施例4。

在说明解决课题(4)的具体例之前，首先，使用附图对课题(4)进行详细说明。

图19是在图1A所示的参考例的VR观光系统650中追记了课题(4)的说明的图。在VR观光系统中，为了以高分辨率提供临场感高的VR观光体验，需要最低限度具有8K影像、最好是11K影像的分辨率的拍摄。然而，在8K影像、11K影像的拍摄中，器材也大，影像的传输速率高，并且容量也大。因此，拍摄和分发都变得昂贵。因此，若不是大量VR用户利用，则VR观光服务不能建立事业。

为了增加一次VR观光旅游的参与者，如果即使使用语言不同的VR用户10～13参与也能够以自己的语言接受向导20的说明，则能够增加对象人数。但是，如图19所示，在参考例的VR观光系统650中，在用户参与VR观光时，由于共用共同的VR空间内，因此用户仅能够使用一种语言与向导20或其他用户对话。即，VR空间内的VR用户的使用语言在所有参与者之间被共享利用，因此成为向导20的使用语言，无法同时支持多种语言。

从VR观光服务的提供者的视角来看，即使在为每种语言准备多个向导20或者利用同声传译者的情况下，也通过提供多种语言的服务来增加利用者，但是在图19所示的参考例的VR观光系统650中，由于无法支持多种语言的向导20，因此需要为每种语言组织不同的旅游。

因此，为了应对外国旅行和外国人，需要对VR观光参与者的多种语言应对和多个向导应对，将具有这样的功能的VR观光系统作为实施例4的VR观光系统来说明。实施例4的VR观光系统是在实施例1的VR观光系统2中追加了解决课题(4)的功能的系统。

图20是表示实施例4的想要由VR观光系统实现的使用案例、换言之VR观光服务的请求规格的图。更详细地，图20的(a)表示向日本的用户提供在海外的观光地的VR观光的案例的例子。日本的VR观光服务商通过派遣本公司的向导20或拍摄人员到埃及420a来提供VR观光服务，如果能够在与在当地用英语进行面向英语圈420c的VR观光服务的商家协作的基础上，将向导20的使用语言改变为日语，则能够更便宜、高效地增加面向日本人(日本420b)的VR观光服务的种类。

图20的(b)表示将日本421a的观光地的VR观光提供给海外的案例的例子。在进行对话的人数多的英语、汉语、西班牙语的情况下，即使单独使用该语言，也能够传达到各个国家的VR观光用户。但是，在越南语(越南421b)或泰语(泰国421c)那样的情况下，即使在能够期待用户数达到一定程度但难以单独举行的情况下，如果支持多种语言，则也可以举行。

图21是实施例4的VR观光系统5的概略结构图。VR观光系统5是在实施例1的VR观光系统2中追加了解决课题(4)的功能的系统，具备VR系统100、110、120和130、VR云300d、第一向导用终端210a等、第二向导用终端210b等、以及观测系统200。

第一向导用终端210a等是与用第一语言进行说明的第一说明者即日语向导20a进行基于声音的输入输出的实施方式的变形例3中的第一说明者终端40a的一例，由与第一语言对应的智能手机210a、头戴式耳机220a以及向导用遥控器230a构成。

第二向导用终端210b等是与用第二语言进行说明的第二说明者即英语向导20b进行基于声音的输入输出的实施方式的变形例3中的第二说明者终端40b的一例，由与第二语言对应的智能手机210b、头戴式耳机220b以及向导用遥控器230b构成。

VR云300d具备第一VR声音会议部310b、第二VR声音会议部310c、用户管理表330a、向导语言管理表332以及360度影像分发部320c。

第一VR声音会议部310b是经由多个VR系统和第一说明者终端辅助参与者与第一说明者的声音对话的实施方式的变形例3中的第一声音对话部的一例。第二VR声音会议部310c是经由多个VR系统和第二说明者终端辅助参与者与第二说明者的声音对话的实施方式的变形例3中的第二声音对话部的一例。

如图21所示，用户管理表330a是按每个VR用户(“User-ID”)记录了VR用户所使用的语言(“Language”)及对应的向导的向导ID(“Guide-ID”)的信息表。向导语言管理表332是按每个向导ID(“Guide-ID”)记录了该向导所使用的语言(“Language”)的信息表。

更详细地，图21所示的实施例4的VR观光系统5的结构例与图3所示的实施例1的VR观光系统2的概略结构基本相同。主要区别在于，A)VR云300d内按每个日语向导20a及英语向导20b具有VR声音会议部(第一VR声音会议部310b和第二VR声音会议部310c)，使用VR声音会议部(第一VR声音会议部310b和第二VR声音会议部310c)发送所有声音数据，而不是发送到360度影像分发部320，以及B)VR云300d具有用户管理表330a，并且具有将各VR用户连接到适当的第一VR声音会议部310b或第二VR声音会议部310c的单元，使得在VR用户开始利用VR观光服务时，接受与自己的语言相匹配的日语向导20a或英语向导20b的服务。

在本实施例中，共用拍摄了日语向导20a及英语向导20b的360度影像，但声音控制是独立的，日语向导20a及英语向导20b分别进行自己的VR用户10等的VR系统100等的操作。从VR用户10～13看起来好像各VR空间是独立的，例如，日语用户完全无法知道英语向导20b和英语用户的存在。

图22是表示实施例4的VR观光系统5所实现的使用案例的例子的图。更详细地，图22的(a)表示不仅将海外(埃及422a)的观光地的英语向导的VR观光提供给英语圈422c的VR用户，还提供给日本422b的VR用户的案例，图22的(b)表示将在日本423a的观光地的越南语向导及泰语向导的VR观光提供给海外(越南423b及泰国423c)的VR用户的案例。

如图22的(a)以及(b)所示，在各案例下，如果两位向导(日语向导20a及英语向导20b、越南语向导20a1及泰语向导20b1)能够用各自的语言来解说，则能够实现在图20的(a)以及(b)中说明的想要实现的使用案例。

图23是表示实施例4的VR观光系统5中的VR系统100、110、120和130的可见的视野的例子的图。在此，示出了在360度影像内有两位向导(越南语向导20a1及泰语向导20b1)的情况(日本424a的VR观光)下，各向导的用户的视野(越南语用户的视野424b(图23的(b))、泰语用户的视野424c(图23的(c))的例子。

在360度影像的情况下，由于没有成为图像的边界的帧，因此拍摄者即使不注意向导(越南语向导20a1及泰语向导20b1)的位置也能够拍摄。另外，VR用户10～13能够在360度内的任何范围内观看。因此，如图23的(a)所示，当像通常的相机拍摄那样切割帧时，两位都被置于偏心位置，有不协调感，但由于各个语言的VR用户只关心自己的语言的向导(越南语向导20a1或泰语向导20b1)，因此如图23的(b)和(c)所示，能够在视野的中心分别放置越南语向导20a1及泰语向导20b1，没有不协调感。因此，通过两位向导以各自的语言进行说明并共用影像，VR用户10～13能够得到与符合自己的语言的向导20的对话和说明，VR观光体验的价值提高。

图24是表示实施例4的VR观光系统5的详细结构的框图。VR系统100、110、120和130的VR声音会议部105a与实施例3相同。第一VR声音会议部310b和第二VR声音会议部310c都具备与实施例1中的VR声音会议部310相同的结构。日语向导20a所使用的第一向导用终端210a等及英语向导20b所使用的第二向导用终端210b等具备的VR声音会议部250都具备与实施例1中的VR声音会议部250相同的结构。

即，实施例4的VR观光系统5具备与图5所示的VR观光系统2或图12所示的VR观光系统3的结构基本相同的结构，但在VR云300d中不同点在于，通过共享360度影像分发部320的两个VR声音会议部(第一VR声音会议部310b及第二VR声音会议部310c)，实现独立的两个VR观光服务。

向导用终端(第一向导用终端210a等及第二向导用终端210b等)的各自的结构、功能、向导的操作均与图5所示的实施例1的向导用终端210等相同。

VR云300d的VR声音会议部(第一VR声音会议部310b及第二VR声音会议部310c)的任一个的结构和功能均与图5所示的实施例1的VR声音会议部310的结构和功能是同样的。

VR系统100、110、120及130的VR声音会议部105a除了追加了将来自VR云300d的VR声音会议(第一VR声音会议部310b及第二VR声音会议部310c)的声音与360度影像的声音合成的单元以外，功能、VR用户10～13的操作也与图5所示的实施例1的VR声音会议部105是同样的。

与实施例1的区别在于，VR云300d内新设有VR观光服务管理部340和用户管理表331，在VR用户10～13开始利用VR观光服务时，通过VR观光服务管理部340将各VR用户连接到适当的VR声音会议部(第一VR声音会议部310b及第二VR声音会议部310c)，以便接受与用户自己的语言相匹配的向导服务。VR观光服务管理部340是实施方式的变形例3中的控制部62c的一例，用户管理表331是实施方式的变形例3中的语言信息72的一例。

图25是表示实施例4的VR观光系统5的动作流程例(即，影像显示方法的具体例)的图。更详细地，图25的(a)表示VR系统100、110、120和130的动作流程，并且图25的(b)表示VR云300d的动作流程。

在各VR系统100、110、120和130中，关于主处理、来自VR用户的输入的中断处理以及来自VR云300d的中断处理，与实施例1及实施例2相同(未图示)。

此外，在VR系统100、110、120和130中，VR用户开始利用VR观光的初始设定处理(图25的(a))与图17的(b)所示的实施例3的动作流程(S100～S105)相同，省略其说明。

另外，在VR云300d中，主处理与实施例1及实施例2相同(未图示)。

在VR云300d中，作为登录处理，如图25的(b)所示，VR观光服务管理部340首先从VR系统100等取得用户ID、密码(S140)，确认是否为本观光服务的正规用户(S141)。

在不是正规用户的情况下(S141中为否)，向相应VR系统100等发送错误(S142)，并返回到步骤S140。在是正规用户的情况下(S141中为是)，VR观光服务管理部340从用户管理表330取得相应用户的值(S143)。

在相应用户的语言选择与第一向导的语言(例如，日语向导20a的语言(日语))相同的情况下(S145中为是)，VR观光服务管理部340将相应用户的VR系统100等与第一VR声音会议部310b连接(S145a)，跳到步骤S149。

另一方面，在相应用户的语言选择与第二向导的语言(例如，英语向导20b的语言(英语))相同的情况下(S146中为是)，VR观光服务管理部340将相应用户的VR系统110等与第二VR声音会议部310c连接(S147)，并将观光服务的利用准备已正常结束的情况发送给VR系统100等(S149)，结束处理。

在相应用户的语言选择不是第一向导的语言(S145中为否)也不是第二向导的语言的情况下(S146中为否)，VR观光服务管理部340执行默认语言选择处理(S148)，返回到步骤S145。

在默认语言选择处理(S148)中，例如，VR观光服务管理部340进行如下处理，A)使相应用户选择第一向导的语言(例如，日语向导20a的语言(日语))或第二向导的语言(例如，英语向导20b的语言(英语))，或者B)在第一向导或第二向导的语言是英语的情况下选择英语，或者C)选择第一向导的语言(例如，日语向导20a的语言(日语))。

如上所述，根据本实施例的VR观光系统5，对参与者实现多种语言应对和多个向导应对，解决了上述课题(4)。

(实施例4的变形例1)

接着，说明实施例4的变形例1。

图26是实施例4的变形例1的VR观光系统5a的概略结构图。VR观光系统5a相当于解决上述课题(4)(为了应对外国旅行和外国人，需要对VR观光参与者的多种语言应对和多个向导应对)的第二个具体例。

VR观光系统5a是包括陪同于向导的日英同声传译者的与VR观光对应的系统，在图21所示的实施例4的VR观光系统5的结构中，代替第二向导用终端210b，具备日英同声传译者20c用的第三向导用终端210c，并且，具备在VR云300e中追加了声音切换部350的结构。第三向导用终端210c由日英同声传译者20c用的智能手机210c和头戴式耳机220c构成。声音切换部350是实施方式中的声音切换部65的一例，其在将来自第二说明者的声音输出到与第二语言建立了对应的参与者、以及输出到第一说明者和与第一语言建立了对应的参与者之间进行切换。

在图21所示的实施例4的VR观光系统5中，日语VR空间和英语VR空间完全独立存在，各自的向导20支持自己负责的VR用户10～13。在本变形例中是如下结构：语言空间是两个不同的，但日语向导20a对所有的VR用户10～13发出指示，另一方面，日英同声传译者20c仅提供同声传译服务，而不向VR用户10～13发出指示。

在意识到VR用户中包括日语用户群组和英语用户群组的情况下，日语向导20a需要在参考例的VR观光系统650的“不可提问”和“可提问”的显示模式中区分两个用户群组，并且需要“不可提问”、“日语用户群组可提问”和“英语用户群组可提问”的三个指示。

无论日语用户还是英语用户都仅意识到日语向导20a，而不会明确地看到日英同声传译者20c的存在。然而，声音控制对于每个语言群组分别是独立的，无论日语用户还是英语用户都知道彼此的存在，但是不需要意识到在讲不同语言。

图27是表示实施例4的变形例1的VR观光系统5a实现的使用案例的例子的图。更详细地，图27的(a)表示不仅向英语圈425c的VR用户，而且还经由日英同声传译者向日本425b的VR用户提供在海外(埃及425a)的观光地的英语向导的VR观光的案例，图27的(b)表示向海外的VR用户(不仅泰国426c的VR用户，还经由泰语-越南语同声传译者向越南426b的VR用户)提供在日本426a的观光地的泰语向导的VR观光的案例，图27的(c)表示不仅向英语圈427c的VR用户，而且还经由日英同声传译者向日本427b的VR用户提供、并且经由英语-越南语同声传译者向越南427d的VR用户提供在海外(埃及427a)的观光地的英语向导的VR观光的案例。

如图27所示的使用案例的例子所示，如果向导和同声传译者能够协作地用各自的语言进行解说，则能够实现使用图20说明的想要实现的使用案例。

图28是说明实施例4的变形例1的VR观光系统5a所具备的声音切换部350的功能的图。更详细地，图28的(a)示出了表示由VR观光服务管理部340管理的各VR用户的状态的转变的状态转变图415，图28的(b)示出了说明图28的(a)所示的各状态的动作模式说明表411，图28的(c)示出了声音切换部350的结构例，图28的(d)示出了在状态“所有成员不可提问”415a/状态“向导用户可提问”415b/状态“翻译用户可提问”415d下的声音切换部350的动作状态，图28的(e)示出了在状态“向导用户提问中”415c下的声音切换部350的动作状态，图28的(e)示出了在状态“翻译用户提问中”415e下的声音切换部350的动作状态。

在图28的(a)所示的状态转变图415中，实线箭头表示日语向导20a指示了“不可提问”的情况下的转变，虚线箭头表示日语向导20a指示了对日语向导20a“可提问”的情况下的转变，点线箭头表示日语向导20a指示了对日英同声传译者20c“可提问”的情况下的转变。

在图28的(b)所示的动作模式说明表411中，“状态”表示图28的(a)所示的状态415a～415e，“向导的指示”表示日语向导20a的指示，“VR的显示状态(Guide)”表示选择日语向导20a的VR用户的VR系统中的显示模式，“VR的显示状态(SI)”表示选择日英同声传译者20c的VR用户的VR系统中的显示模式，“VR的静音功能(G)”表示选择日语向导20a的VR用户的静音状态，“VR的静音功能(SI)”表示选择日英同声传译者20c的VR用户的静音状态，“SI的麦克风的连接目标”表示成为日英同声传译者20c的麦克风的连接目标的VR用户。另外，“GU”意味着日语向导20a，“SI”意味着日英同声传译者20c。

如动作模式说明表411所示，状态“全员不可提问”415a对应于“向导的指示”是“不可提问”的情况，此时，“VR的显示状态(Guide)”成为“不可提问”，“VR的显示状态(SI)”成为“不可提问”，“VR的静音功能(G)”成为“Mute中”，“VR的静音功能(SI)”成为“Mute中”，“SI的麦克风的连接目标”成为面向选择了日英同声传译者20c的VR用户(图28的(d))。

状态“向导用户可提问”415b对应于“向导的指示”是对日语向导20a“可提问”、并且“VR的显示状态(Guide)”是“可提问”的情况，此时，“VR的显示状态(SI)”成为“不可提问”，“VR的静音功能(G)”成为“Mute中”，“VR的静音功能(SI)”成为“Mute中”，“SI的麦克风的连接目标”成为面向选择了日英同声传译者20c的VR用户(图28的(d))。

状态“向导用户提问中”415c对应于“向导的指示”是对日语向导20a“可提问”、并且“VR的显示状态(Guide)”是“提问中”的情况，此时，“VR的显示状态(SI)”成为“不可提问”，“VR的静音功能(G)”成为“Mute解除”，“VR的静音功能(SI)”成为“Mute中”，“SI的麦克风的连接目标”成为面向选择了日英同声传译者20c的VR用户(图28的(e))。

状态“翻译用户可提问”415d对应于“向导的指示”是对日英同声传译者20c“可提问”、并且“VR的显示状态(Guide)”是“不可提问”、并且“VR的显示状态(SI)”是“可提问”的情况，此时，“VR的静音功能(G)”成为“Mute中”，“VR的静音功能(SI)”成为“Mute中”，“SI的麦克风的连接目标”成为面向选择了日英同声传译者20c的VR用户(图28的(d))。

状态“翻译用户提问中”415e对应于“向导的指示”是对日英同声传译者20c“可提问”、并且“VR的显示状态(Guide)”是“不可提问”、并且“VR的显示状态(SI)”是“提问中”的情况，此时，“VR的静音功能(G)”成为“Mute中”，“VR的静音功能(SI)”成为“Mute解除”，“SI的麦克风的连接目标”成为面向选择了日语向导20a的VR用户(图28的(f))。

图29是表示实施例4的变形例1的VR观光系统5a的详细结构的框图。VR观光系统5a具备如下结构：在图24所示的实施例4的VR观光系统5的结构中，代替第二向导用终端210b，具备日英同声传译者20c用的第三向导用终端210c，并且，在VR云300e中追加了声音切换部350。

即，本变形例的VR观光系统5a采取与图24所示的实施例1同等的结构。如图28所说明的，主要区别在于：向导指示的种类从两个增加到三个；日英同声传译者20c无法发出指示；三个向导指示和VR用户10～13的操作的组合中有五个状态；以及根据其状态，通过VR观光服务管理部340来使VR云300e的声音切换部350的动作变化。

图30是表示实施例4的变形例1的VR观光系统5a的动作流程例(即，影像显示方法的具体例)的图。更详细地，图30的(a)表示VR系统100、110、120和130的动作流程，而图30的(b)表示VR云300e的动作流程。

在各VR系统100、110、120和130中，关于主处理、来自VR用户的输入的中断处理以及来自VR云300e的中断处理，与实施例4相同(未图示)。

此外，关于VR系统100、110、120和130中VR用户开始利用VR观光的初始设定处理(图30的(a))，与图17的(b)所示的实施例3的动作流程(S100～S105)相同，省略其说明。

在VR云300e中，作为主处理，如图30的(b)所示，VR观光服务管理部340从智能手机210的APP或向导用遥控器230等受理“向导的指示”(向“不可提问”的转变、向“可提问GU”、“可提问IU”的转变)(S180)。

然后，VR观光服务管理部340判定受理了的“向导的指示”，并分开为下述三个处理。

即，在“向导的指示”是“可提问GU”的情况下(S181中为是)，VR观光服务管理部340将“向导的指示”设定为“可提问GU”(S185)，并向GU的所有VR系统100等通知(S186)，向IU的所有VR系统110等通知“不可提问”(S187)，返回到步骤S180。

另外，在“向导的指示”是“可提问IU”的情况下(S182中为是)，VR观光服务管理部340将“向导的指示”设定为“可提问IU”(S190)，并向IU的所有VR系统110等通知(S191)，向GU的所有VR系统100等通知“不可提问”(S192)，返回到步骤S180。

在“向导的指示”不是“可提问GU”(S181中为否)、也不是“可提问IU”的情况下(S182中为否)，VR观光服务管理部340将“向导的指示”设定为“不可提问”(S183)，并向所有VR系统100等通知(S184)，返回到步骤S180。

另外，在VR云300e中，作为登录处理，如图30的(b)所示，VR观光服务管理部340从VR系统100、110、120和130取得用户ID、密码，确认是否是本观光服务的正规用户(S160)。

在不是正规用户的情况下(S161中为否)，VR观光服务管理部340将错误发送到相应VR系统100等(S162)，返回到步骤S160。在是正规用户的情况下(S161中为是)，VR观光服务管理部340从用户管理表330a取得相应用户的值(S163)。

在所取得的用户的语言选择与第一向导的语言(日语向导20a的语言(日语))相同的情况下(S165中为是)，VR观光服务管理部340将相应用户的VR系统100等与第一VR声音会议部310b连接(S166)，跳到步骤S170。

另一方面，在所取得的用户的语言选择与日英同声传译者20c的语言相同的情况下(S167中为是)，VR观光服务管理部340将相应用户的VR系统100等与第二VR声音会议部310c连接(S168)，跳到步骤S170。

在所取得的用户的语言选择与第一向导的语言(日语向导20a的语言(日语))不同(S165中为否)，并且与日英同声传译者20c的语言不同的情况下(S167中为否)，VR观光服务管理部340执行默认语言选择处理(S169)，返回到步骤S165。

在将相应用户的VR系统100等与第一VR声音会议部310b或第二VR声音会议部310c连接之后(S166、S168)，VR观光服务管理部340向相应VR系统100等发送观光服务的利用准备已经正常结束(S170)，结束处理。

在默认语言选择处理(S169)中，例如，VR观光服务管理部340进行如下处理，A)使相应用户选择第一向导的语言(例如，日语向导20a的语言(日语))或同声传译者的语言(例如，日英同声传译者20c的语言(英语))，或者B)在第一向导或第二向导的语言是英语的情况下选择英语，或者C)选择第一向导的语言(例如，日语向导20a的语言(日语))。

如上所述，即使是本变形例的VR观光系统5a也能够由同声传译者支持与多种语言对应的说明以及对话，解决上述课题(4)。

(实施例4的变形例2)

接着，说明实施例4的变形例2。

图31是实施例4的变形例2的VR观光系统5b的概略结构图。VR观光系统5b相当于解决上述课题(4)(为了应对外国旅行和外国人，需要对VR观光参与者的多种语言应对和多个向导应对)的第三个具体例。

VR观光系统5b是与具有机器翻译功能的VR观光对应的系统，在图3所示的实施例1的VR观光系统2的结构中，在VR云300f的VR声音会议部310d中追加了机器翻译部360、机器翻译管理表333以及用户管理表330b。

机器翻译部360是在第一语言和第二语言之间进行机器翻译的实施方式中的机器翻译部66a～66b的一例。机器翻译管理表333是实施方式中的机器翻译管理信息73的一例，并且是按每个机器翻译部360所具有的多个翻译处理模块的各个ID(翻译处理模块ID“MT-ID”)记录了翻译源的第一语言(“Language-S”)与翻译目标的第二语言(“Language-D”)的对应的信息表。用户管理表330b是实施方式中的语言信息72的一例，是记录了向导所使用的语言(“Guide Language”)、默认语言(“Default Language”)、每个VR用户(“User-ID”)的使用语言(“Language”)、面向向导的翻译处理模块ID(“MT-ID-S”)、以及面向VR用户的翻译处理模块ID(“MT-ID-D”)的信息表。

如图31所示，本变形例的VR观光系统5b具有与图3所示的实施例1的VR观光系统2的概略结构图基本相同的结构，但是在VR云300f的VR声音会议部310d中，具有机器翻译部360、用于选择各VR用户10～13中每一位利用的机器翻译单元的机器翻译管理表333、以及用户管理表330b。

在本变形例中，由于向导是日语向导20a，如用户管理表330b所示，VR用户000001～000003都是日语用户，因此不利用机器翻译。VR用户000004和VR用户000005是英语用户，因此利用日英翻译的翻译处理模块(MT-ID为01和02)。VR用户000006是法语用户，但由于机器翻译部360中没有法语-日语翻译功能，因此选择默认语言的英语，成为与VR用户000004及VR用户000005相同的设定。由于机器翻译部360不对应于泰语，因此VR用户000008也选择与VR用户000006相同的日英翻译。VR用户000007是汉语用户，选择日中翻译的翻译处理模块(MT-ID为05和06)。

通过使用这样的VR观光系统5b，虽然无论是日语用户还是外语用户都可能存在机器翻译的准确度的问题，但是能够以自己的语言或默认语言体验带向导的VR观光。

图32是表示实施例4的变形例2的VR观光系统5b实现的使用案例的例子的图。更详细地说，图32的(a)表示不仅向英语圈428c的VR用户，还经由机器翻译部360向日本428b的VR用户提供在海外(埃及428a)的观光地的英语向导的VR观光的案例，图32的(b)表示向海外的VR用户(不仅泰国429c的VR用户，还经由机器翻译部360向越南429b的VR用户)提供在日本429a的观光地的泰语向导的VR观光的案例，图32的(c)表示不仅向英语圈430d的VR用户，还经由机器翻译部360向日本430b的VR用户提供、还经由机器翻译部360向越南430c的VR用户提供、还经由机器翻译部360向法语圈430e的VR用户提供在海外(埃及430a)的观光地的英语向导的VR观光的案例。

如图32所示，根据本变形例的VR观光系统5b，如果日语向导20a和日英同声传译者20c能够协作地用各自的语言进行解说，则能够实现使用图20说明的想要实现的使用案例。

图33是用于说明实施例4的变形例2的VR观光系统5b所具备的机器翻译部360的详细功能的图。更详细地，图33的(a)是表示VR声音会议部310d的详细结构的框图，图33的(b)表示图33的(a)所示的机器翻译部360所具有的翻译处理模块组370的结构(机器翻译部360a～360d)，图33的(c)表示图33的(a)所示的机器翻译管理表333，图33的(d)表示图33的(a)所示的用户管理表330b。

如图33的(a)所示，VR声音会议部310d具有用户管理表330b、机器翻译管理表333、向导指示记录部、机器翻译部360以及音频混合部313。机器翻译部360是对每个VR用户10～13从第一语言机器翻译为第二语言的机器翻译部360a～360d的集合。

机器翻译部360a～360d分别具有：音频解码部361a，对从对应的VR系统100等发送来的声音数据进行解码；翻译处理模块组S(361b)，将解码出的声音数据翻译成与向导(在本变形例中为日语向导20a)对应的语言；音频压缩部361c，将所取得的声音数据压缩并输出到音频混合部313；音频解码部362a，对从向导用终端210a等发送来的声音数据进行解码；翻译处理模块组D(362b)，将解码后的声音数据翻译成与VR用户对应的语言；以及音频压缩部362c，将翻译后的声音数据压缩并发送到对应的VR系统100等。音频混合部313将从机器翻译部360a～360d输出的翻译语言的声音数据混合并发送到向导用终端210a等。

如图33的(b)所示，翻译处理模块组370是用作图33的(a)所示的翻译处理模块组S(361b)和翻译处理模块组D(362b)的翻译处理模块的集合，并且如图所示，翻译处理模块组370由将各种第一语言翻译成第二语言的模块构成，如从英语翻译成日语(“English toJapanese”)、从日语翻译成法语(“Japanese to French”)等。

在该例中，翻译处理模块组370具有八种翻译功能，通过图33的(c)的机器翻译管理表333来数据化。如图33的(a)所示，各VR用户10～13的VR系统100、110、120和130连接到机器翻译部360a～360d，根据用户管理表330b的信息，选择各VR用户中的每一个VR用户使用的翻译处理模块，其结果经由向导用终端210a等传递给向导，因此向导能够用其自己的语言听到来自各VR用户的提问。

向导的说明经由向导用终端210a等发送到各VR用户各自的机器翻译部360a～360d，在由在用户管理表330b中选择出的翻译处理模块翻译后，发送到各VR用户，从而各VR用户能够用自己的语言听到观光引导，而与向导的语言无关。

在图33的(d)所示的用户管理表330b的例子中，由于向导所使用的语言设定为英语，并且默认语言设定为英语，所以用户000001～000003选择日英翻译的翻译处理模块01及02，用户000004及000005由于是英语用户，所以不需要翻译，用户000006由于是法语用户，所以选择英法翻译的翻译处理模块07及08，用户000007由于是汉语用户，所以选择中英翻译的翻译处理模块03及04，用户000008是泰语用户，但由于没有泰语的翻译处理模块，所以选择默认语言的英语，不设定机器翻译。

图34是表示实施例4的变形例2的VR观光系统5b的详细结构的框图。VR观光系统5b具备如下结构，即，所述结构相当于在图5所示的实施例1的VR观光系统2的结构中，代替VR系统100、110、120和130所具备的VR声音会议部105而具有进行双向的声音处理的实施例4的VR声音会议部105a，代替VR云300的VR声音会议部310而具有具备机器翻译的功能的VR声音会议部310d。

即，本变形例的VR观光系统5b具备VR云300f，所述VR云300f具有具备机器翻译的功能的VR声音会议部310d。VR声音会议部310d具有：对话控制部311；音频解码部361a，对从各VR用户的VR系统100等发送来的声音数据进行解码；翻译处理模块组S(361b)，将解码后的声音数据翻译成与向导(在本变形例中，日语向导20a)对应的语言；音频混合部313，将与各VR用户对应的多个翻译后的声音数据进行混合；音频压缩部361c，将混合后的声音数据压缩并发送到向导用终端210a；音频解码部362a，对从向导用终端210a发送来的声音数据进行解码；翻译处理模块组D(362b)，将解码后的声音数据翻译成与各VR用户对应的语言；音频压缩部362c，将翻译后的声音数据压缩并发送到对应的VR系统100等；机器翻译管理表333；用户管理表330b以及向导指示记录部315。

在本变形例的VR观光系统5b中，基于机器翻译管理表333和用户管理表330b，各用户的VR系统100、110、120和130与翻译处理模块组370(翻译处理模块组S(361b)和翻译处理模块组D(362D))正确连接。然后，对于与向导(在本变形例中，日语向导20a)的使用语言相同语言的VR用户，直接进行与向导的对话。

在本变形例的VR观光系统5b中，在只有讲与自己的语言不同的语言的向导的情况下，在VR云300f中进行了声音翻译，在此基础上在双方之间进行通信，但是除了这一点之外，本变形例的VR观光系统5b与图5所示的实施例1的VR观光系统2的功能相同。

VR云300f的VR观光服务管理部340基于机器翻译管理表333和用户管理表330b，使用VR用户的语言选择与向导的语言、默认语言的设定，从翻译处理模块组370中选择正确的翻译处理模块，设定面向用户管理表330内的各VR用户的向导的翻译处理模块ID(“MT-ID-S”)、面向VR用户的翻译处理模块ID(“MT-ID-D”)的值。

图35是表示实施例4的变形例2的VR观光系统5b的动作流程例(即，影像显示方法的具体例)的图。更详细地，图35的(a)表示VR系统100、110、120和130的动作流程，图35的(b)表示VR云300f的动作流程。

在各VR系统100、110、120和130中，关于主处理、来自VR用户的输入的中断处理以及来自VR云300f的中断处理，与实施例4相同(未图示)。。

此外，在VR系统100、110、120和130中，VR用户开始利用VR观光的初始设定处理(图35的(a))与图17的(b)所示的实施例3的动作流程(S100～S105)相同，省略其说明。

另外，在VR云300f中，主处理与实施例1及实施例2相同(未图示)。

在VR云300f中，作为登录处理，如图35的(b)所示，VR观光服务管理部340首先从VR系统100、110、120和130取得用户ID、密码(S210)，确认是否为本观光服务的正规用户(S210)。

在不是正规用户的情况下(S211中为否)，VR观光服务管理部340向相应VR系统100等发送错误(S212)，返回到步骤S210。

在是正规用户的情况下(S211中为是)，VR观光服务管理部340从用户管理表330b取得相应用户的语言选择的值(S213)。

其结果，在相应用户的语言选择与向导20的语言相同的情况下(S215中为是)，VR观光服务管理部340跳到步骤S220。

在翻译处理模块中存在相应用户的语言选择与向导的语言的对的情况下(S216中为是)，VR观光服务管理部340将所选择的对的值设置为相应用户的用户管理表330b内的翻译处理模块ID(“MT-ID-S”)和(“MT-ID-D”)(S225)，将相应VR系统100等的声音连接到与所选择的翻译处理模块ID对应的翻译处理模块(S226)，跳到步骤S218。

在默认语言选择与向导的语言相同的情况下(S217中为是)，VR观光服务管理部340跳到步骤S220。

在默认语言选择与向导的语言不同的情况下(S217中为否)，并且在翻译处理中有向导的语言和默认语言的对的情况下(S230中为是)，VR观光服务管理部340将相应用户的用户管理表330b内的翻译处理模块ID设为向导的语言和默认语言的对(S231)，将相应VR系统100等的声音连接到所选择的翻译处理模块ID的翻译处理模块(S232)，跳到步骤S218。

在翻译处理中没有向导的语言与默认语言的对的情况下(S230中为否)，VR观光服务管理部340跳到步骤S220。

在步骤S220中，VR观光服务管理部340将相应用户的用户管理表330b内的翻译处理模块ID的两个值设置为“N/A”(S220)，将相应VR系统100等的声音连接到向导用终端210a等(S221)，跳到步骤S218。

在步骤S218中，VR观光服务管理部340向相应VR系统100等发送观光服务的利用准备已正常结束(S218)，结束处理。

如上所述，即使是本变形例的VR观光系统5b，也可以由机器翻译部360支持与多种语言对应的说明以及对话，解决上述课题(4)。

以上，基于实施方式及实施例，对本公开的影像显示系统及影像显示方法进行了说明，但本公开并不限定于这些实施方式及实施例。只要不脱离本公开的主旨，对本实施方式及实施例实施本领域技术人员想到的各种变形而得到的方式、将实施方式及实施例中的一部的构成要素组合而构建的其他方式也包含在本公开的范围内。

例如，作为实施例说明了将本公开的影像显示系统应用于VR观光系统的例子，但本公开的影像显示系统不仅能够应用于VR观光系统，还能够应用于提供展览会参观、视察、工厂参观、美术馆/博物馆/动物园/水族馆参观等的虚拟体验的VR体验系统。

此外，在上述实施方式等中，通过声音对话部在参与者10等与向导20等之间辅助基于声音的对话，但是除此之外或作为替代，这些对话可以作为字幕显示在VR系统的显示部上。为此，例如，VR系统可以设置用于实时识别对话的声音的声音识别部、以及使由声音识别部得到的文本显示在VR系统的显示部上的影像合成部等。

此时，向导20也可以从参与者10等以聊天的形式接受提问。向导20与声音的情况同样，也可以使用向导用遥控器，控制能够/不能聊天输入。

此外，在多种语言应对的实施例4中，来自机器翻译部的输出也可以不是声音而是使文本输出到VR系统。作为具体的结构例，

1)在单一语言中，不是将向导的声音改变为其他语言，而是用相同语言文本化并显示在VR系统中；

2)翻译成与向导的使用语言不同的语言并文本化后显示在VR系统上；

3)在存在多个使用语言不同的向导的场合，不翻译各个向导的声音而文本化并显示在VR系统上；

4)在存在多个使用语言不同的向导的情况下，考虑选择与文本化的语言更接近的语言的向导，翻译所选择的向导的声音，文本化后显示在VR系统上等。为此，例如，除了机器翻译部之外，VR云中还可以设置声音识别部、将由声音识别部得到的文本合成为360度影像的合成部等。

关于可否显示字幕，能够通过在图26的用户管理表330a、图31的用户管理表330b或机器翻译管理表333、图33的用户管理表330b中记载是否使用字幕的信息并管理来进行、或者通过这里的参与者10在使用时选择等来判断。

产业上的可利用性

本公开涉及的影像显示系统及影像显示方法能够作为提供体验VR(虚拟现实)的服务的影像显示系统，例如，作为提供观光旅行、展览会参观、视察、工厂参观、美术馆/博物馆/动物园/水族馆参观等的虚拟体验的VR体验系统来利用。

附图标记说明

1、1a影像显示系统

2、2a、2b、3、4、4a、5、5a、5b VR观光系统

10～13 参与者(VR用户)

20 向导(说明者)

20a 日语向导(第一说明者)

20b 英语向导(第二说明者)

20a1 越南语向导(第一说明者)

20b1 泰语向导(第二说明者)

20c 日英同声传译者

30a～30b VR系统

31 显示部

32 声音处理部

33 参与者用输入部

40 说明者终端

40a 第一说明者终端

40b 第二说明者终端

41 说明者用输入部

50 观测系统

51 相机

52 麦克风

60、60a～60d云

61 声音对话部

61a 第一声音对话部

61b 第二声音对话部

62、62a～62d控制部

63 影像分发部

64 群组声音对话部

65 声音切换部

66a～66b 机器翻译部

70 阻止信息

71 群组信息

72 语言信息

73 机器翻译管理信息

100、110、120、130VR系统

101、111、121、131显示器

102、112、122、132输入部

103、113、123、133VR空间生成部

104、114、124、134通信部

105、105a、105b VR声音会议部

106 VR遥控器

106a 附音量调节功能的VR遥控器

107 对话控制部

108 麦克风

108a A/D转换器

108b 音频压缩部

108c 静音部

109 指引显示控制部

140 VR眼镜

141 运动/位置传感器

142 音量按钮

143 电源开关

144 电池

145 电源控制元件

146 AV输入端子

147 USB

148 无线通信元件

149 BLE(注册商标)

150 总线转换部

151 GPU

151a 运动/位置检测部

151b 影像显示处理部

152a、152b显示元件

153a、153b透镜

154 EEPROM

155 RAM

156 CPU

156a 声音压缩部

157a 麦克风

157b 麦克风放大器

157c ADC(A/D转换器)

158a DAC(D/A转换器)

158b 放大器

158c 扬声器

158d 耳机端子

160 计算机/智能手机

161 AV输出端子

162 USB

163 通信元件

164 总线转换部

165 GPU

165a 运动/位置检测部

165b VR控制部

165c VR影像解码部

165d 指引显示生成部

165e 图形生成部

165f VR显示控制部

166 RAM

167 非易失性存储器

168 电源开关

169 电源控制元件

170 CPU

170a 复用部

170b 分离部

170c 声音解码部

170d 声音再现控制部

180 第二静音部

181 第一静音部

182a 音频解码部

182b 音频混合部

182c D/A转换器

182d 扬声器

183 AV分离部

184 音频解码部

186 360度影像处理部

187 音量调节部

200、200a 观测系统

201 通信部

202 拍摄部

203 相机

204 遥控器

205 麦克风

206 交通工具

210、210a～210c智能手机

211 向导指示生成部

211a 通信部/头戴式耳机用CODEC

211b 输入处理部

212 输入部

213a A/D转换器

213b 音频压缩部

213c 静音部

214a 音频解码部

214b D/A转换器

215 音频接口

216 麦克风

217 扬声器

219a、219b元数据用附加信息

220、220a～220c头戴式耳机

230、230a、230b向导用遥控器

240a～240d基于声音控制应用的显示例

250VR声音会议部

300、300a～300f VR云

310、310a、310d VR声音会议部

310b 第一VR声音会议部

310c 第二VR声音会议部

311 对话控制部

312 声音处理部

313 音频混合部

314a～314d音频解码部

315 向导指示记录部

316 音频解码部

317 音频压缩部

320、320a 360度影像分发部

321 AV分离部

322 音频解码部

323 音频混合部

324 音频压缩部

325 AV合成部

330、330a、330b、331用户管理表

332 向导语言管理表

333 机器翻译管理表

340 VR观光服务管理部

341a～341c群组用声音会议部

350声音切换部

360、360a～360d机器翻译部

361a 音频解码部

361b 翻译处理模块组S

361c 音频压缩部

362a 音频解码部

362b 翻译处理模块组D

362c 音频压缩部

370 翻译处理模块组

400～402 画面显示例

400a “不可提问”

401a “可提问”

402a “提问中”

410、411 动作模式说明表

415 状态转变图

415a～415e状态