显示系统、显示方法以及记录介质

技术领域

本发明涉及显示系统、显示方法以及程序。

背景技术

以往，提出了使显示图像的多个显示部协作的技术(例如，参照专利文献1)。专利文献1所记载的结构将具有触摸显示器的便携终端装置连接到头戴式显示器，在该结构中，将便携终端装置上显示的一部分画面显示在头戴式显示器上来实现协作。

专利文献1：日本特开2019-036914号公报

在专利文献1所记载的结构中，佩戴HMD的用户需要一边看着便携终端装置的显示一边进行输入。这样，即使用户能够任意地观看多个显示部，在输入操作时用户应观看的显示部也受到限制。

发明内容

解决上述课题的一个方式是一种显示系统，该显示系统具有：头部佩戴型显示装置，其具有佩戴于使用者的头部的第1显示部；以及控制装置，其与所述头部佩戴型显示装置连接，所述控制装置具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，在所述控制装置中，能够切换地执行多个用户界面，该多个用户界面包含在所述第2显示部上显示第1输入用画面来检测所述触摸传感器的输入的第1用户界面、以及在所述第2显示部上显示第2输入用画面来检测所述触摸传感器的输入的第2用户界面，在进行所述用户界面的切换时进行报知。

解决上述课题的另一方式是一种显示系统，该显示系统具有：头部佩戴型显示装置，其具有佩戴于使用者的头部的第1显示部；以及控制装置，其与所述头部佩戴型显示装置连接，所述控制装置具有：第2显示部；触摸传感器，其重叠配置于所述第2显示部；应用程序执行部，其执行利用所述触摸传感器的检测数据的应用程序；检测部，其取得所述触摸传感器的检测数据；以及事件通知部，其对所述应用程序执行部通知所述触摸传感器的检测数据和所述触摸传感器的操作事件，根据在所述第2显示部上显示的用户界面，对所述事件通知部通知给所述应用程序执行部的所述操作事件的种类和所述检测数据中的至少任意一个进行变更。

解决上述课题的又一方式是一种基于头部佩戴型显示装置和控制装置的显示方法，该头部佩戴型显示装置具有佩戴于使用者的头部的第1显示部，该控制装置与所述头部佩戴型显示装置连接，具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，在该显示方法中，在所述控制装置中，切换地执行多个用户界面，该多个用户界面包含在所述第2显示部上显示第1输入用画面来检测所述触摸传感器的输入的第1用户界面、以及在所述第2显示部上显示第2输入用画面来检测所述触摸传感器的输入的第2用户界面，在进行所述用户界面的切换时进行报知。

解决上述课题的再一方式是一种计算机可执行的程序，该计算机对控制装置进行控制，该控制装置与具有佩戴于使用者的头部的第1显示部的头部佩戴型显示装置连接，具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，在该程序中，切换地执行多个用户界面，该多个用户界面包含在所述第2显示部上显示第1输入用画面来检测所述触摸传感器的输入的第1用户界面、以及在所述第2显示部上显示第2输入用画面来检测所述触摸传感器的输入的第2用户界面，在进行所述用户界面的切换时进行报知。

附图说明

图1是表示显示系统的概略结构的图。

图2是表示图像显示部的光学系统结构的主要部分俯视图。

图3是显示系统的框图。

图4是控制装置的框图。

图5是表示控制装置的软件平台结构的示意图。

图6是针对触摸传感器的操作的检测方式的说明图。

图7是表示控制装置的方向与操作的检测方向之间的对应例的示意图。

图8是表示显示系统的显示模式例的示意图。

图9是表示显示系统的显示模式例的示意图。

图10是表示显示系统的显示模式例的示意图。

图11是表示显示系统的显示模式例的示意图。

图12是表示显示系统的显示模式例的示意图。

图13是表示控制装置的动作的流程图。

图14是表示控制装置的动作的流程图。

图15是表示控制装置的动作的流程图。

标号说明

10：连接装置；11A：连接器；11D：连接器；20：图像显示部(第1显示部)；21：右保持部；22：右显示部；23：左保持部；24：左显示部；26：右导光板；27：前部框架；28：左导光板；30：耳机；32：右耳机；34：左耳机；36：音频连接器；40：连接线缆；46：USB线缆；61：DP外侧摄像头；63：麦克风；64：距离传感器；65：DP照度传感器；67：LED指示器；100：HMD(显示装置)；205：显示部(第1显示部)；300：控制装置；310：CO控制部；311：处理器；312：存储器；313：非易失性存储器；326：振动器(振动产生部)；327：声音输出部；330：CO显示部；331：LCD(第2显示部)；335：CO输入部；336：触摸传感器；350：触摸面板(第2显示部)；400：平台；401：传感器数据提供部；410：内核(检测部)；411：触摸传感器驱动器；430：HAL(事件通知部)；431、432：输入事件；440：框架；441、442：输入数据(检测数据)；450：应用程序执行部；451：应用程序；452：UI应用程序；515：主页画面(第1输入用画面、第2输入用画面)；518：操作画面(第1输入用画面、第2输入用画面)；524：触控板画面(第1输入用画面、第2输入用画面)；531：输入设备画面(第1输入用画面、第2输入用画面)；532：输入设备画面(第1输入用画面、第2输入用画面)；533：输入设备画面(第1输入用画面、第2输入用画面)；542：键盘画面(第1输入用画面、第2输入用画面)；543：键盘画面(第1输入用画面、第2输入用画面)；U：使用者。

具体实施方式

[1.显示系统的结构]

以下，参照附图对应用了本发明的实施方式进行说明。

图1是表示显示系统1的概略结构的图。

显示系统1具有HMD 100和控制装置300。HMD 100是具有佩戴于使用者U的头部的图像显示部20、令使用者U看到图像或影像的显示装置，是本发明的头部佩戴型显示装置的一例。HMD是Head Mounted Display(头戴式显示器)的缩写。

HMD 100具有与图像显示部20连接的连接装置10。连接装置10作为将HMD 100连接到与HMD 100不同的装置的接口发挥作用。在显示系统1中，控制装置300与连接装置10连接。

在以下的说明和附图中，为了便于说明，对构成HMD 100的若干个功能部的名称附加前缀DP，对构成控制装置300的若干个功能部的名称附加前缀CO。

控制装置300具有触摸面板350，且是可携带尺寸的终端装置，例如能够使用智能手机，触摸面板350作为显示字符或图像的显示画面、以及检测触摸操作或按压操作的操作部而发挥作用。触摸面板350由之后参照图4叙述的LCD 331和触摸传感器336构成。LCD是Liquid Crystal Display(液晶显示器)的缩写。控制装置300也可以是其他种类的装置，例如也可以是台式个人计算机、笔记本型个人计算机、平板型个人计算机等。

连接装置10在箱形的外壳上具有连接器11A和连接器11D。连接器11A经由连接线缆40与图像显示部20连接，连接器11D经由USB线缆46与控制装置300连接。由此，图像显示部20和控制装置300相互可收发数据地连接。例如，控制装置300将图像显示部20显示影像用的影像数据和声音数据输出到图像显示部20。例如，图像显示部20如后述那样将图像显示部20所具有的各种传感器的检测数据发送到控制装置300。控制装置300也可以对图像显示部20提供电力。USB是Universal Serial Bus(通用串行总线)的缩写。

使用USB线缆46将连接装置10和控制装置300连接起来的结构只不过是一例，连接装置10和控制装置300的具体连接方式不受限制。例如，也可以使用其他种类的线缆进行有线连接，还可以经由无线通信进行连接。例如，在USB线缆46与USB-C型标准的连接器11D连接的结构中，能够通过USB线缆46提供20伏特的直流电流，作为USB-C型的替代模式的功能，能够传输HDMI标准的影像数据等。HDMI和MHL是注册商标。

图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26和左导光板28。

右保持部21和左保持部23从前部框架27的两端部向后延伸，将图像显示部20保持于使用者U的头部。右保持部21与前部框架27的位于使用者U右侧的端部ER连结，左保持部23与前部框架27的位于使用者U左侧的端部EL连结。

右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者U的右眼的眼前，使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于使用者U的左眼的眼前，使左眼看到图像。右导光板26和左导光板28是由透光性的树脂等形成的光学部，将右显示部22和左显示部24输出的图像光引导至使用者U的眼睛。右导光板26和左导光板28例如是棱镜。

前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状，在使用者U佩戴图像显示部20的佩戴状态下，该连结位置与使用者U的眉间对应。前部框架27可以具有在图像显示部20的佩戴状态下抵靠于使用者U的鼻子的鼻托部，也可以是对右保持部21和左保持部23连接带子，并通过带子将图像显示部20保持于使用者U的头部的结构。

右显示部22和左显示部24分别是将光学单元和外围电路进行单元化而得的模块。右显示部22通过右导光板26显示图像，左显示部24通过左导光板28显示图像。右显示部22设置在右保持部21上，左显示部24设置在左保持部23上。

由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者U的右眼。同样，由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。来自右导光板26以及左导光板28的图像光和透过右导光板26以及左导光板28的外部光入射到使用者U的眼睛。由此，使用者U重叠地看到图像显示部20显示的图像和透过右导光板26以及左导光板28的外景。

在前部框架27上配置有DP照度传感器65。DP照度传感器65是如下的传感器：接收来自佩戴图像显示部20的使用者U的前方的外部光。通过DP照度传感器65，能够检测透过右导光板26以及左导光板28而入射到使用者U的眼睛的外部光的照度和光量。

DP外侧摄像头61在前部框架27中设置在不遮挡透过右导光板26以及左导光板28的外部光的位置处。DP外侧摄像头61是具有CCD或CMOS等摄像元件和摄像镜头等的数字摄像头，可以是单眼摄像头，也可以是立体摄像头。DP外侧摄像头61的视场角包含佩戴了图像显示部20的使用者U透过右导光板26以及左导光板28而看到的外景范围的至少一部分。DP外侧摄像头61可以是广角摄像头，也可以是能够拍摄佩戴了图像显示部20的使用者U看到的外景整体的摄像头。CCD是Charge Coupled Device(电荷耦合器件)的缩写，CMOS是Complementary Metal Oxide Semiconductor(互补型金属氧化物半导体)的缩写。

在前部框架27上设置有在DP外侧摄像头61的工作中点亮的LED指示器67。

在前部框架27上设置有距离传感器64，该距离传感器64检测到位于预先设定的测量方向上的测量对象物的距离。距离传感器64例如是使用LED或激光二极管等的光反射式距离传感器、红外线式深度传感器、超声波式距离传感器或者激光测距仪。距离传感器64可以是组合了图像检测和声音检测的距离检测单元、或对由摄像头的立体拍摄得到的图像进行处理来检测距离的装置。距离传感器64的测量方向例如是使用者U透过右导光板26以及左导光板28看到的外景的方向。

右显示部22和左显示部24分别通过连接线缆40与连接装置10连接。连接线缆40具有音频连接器36。具有构成立体声耳机的右耳机32和左耳机34、以及麦克风63的耳机30与音频连接器36连接。右耳机32和左耳机34根据连接装置10输出的声音信号输出声音。麦克风63收集声音，并将声音信号输出到连接装置10。

[2.图像显示部的光学系统的结构]

图2是表示图像显示部20的光学系统结构的主要部分俯视图。在图2中为了便于说明，示出使用者U的左眼LE和右眼RE。

右显示部22和左显示部24例如构成为左右对称。

作为使右眼RE看到图像的结构，右显示部22具有发出图像光的OLED单元221、以及将OLED单元221发出的图像光L引导至右导光板26的右光学系统251。OLED是Organic LightEmitting Diode(有机发光二极管)的缩写。

OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223例如是自发光型的显示面板，配置有分别发出R、G、B色光的发光元件。OLED驱动电路225按照DP控制部120的控制来驱动OLED面板223。OLED驱动电路225例如安装在固定于OLED面板223的背面的未图示的基板上，在该基板上安装有图3所示的温度传感器217。

右光学系统251通过准直透镜使从OLED面板223射出的图像光L成为平行状态的光束，并使它们入射到右导光板26。在右导光板26的内部，图像光L被多个反射面反射，并被位于右眼RE眼前的半反射镜261反射而从右导光板26朝向右眼RE射出。

作为使左眼LE看到图像的结构，左显示部24具有发出图像光的OLED单元241、以及将OLED单元241发出的图像光L引导至左导光板28的左光学系统252。

OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243例如是自发光型的显示面板，配置有分别发出R、G、B色光的发光元件。OLED驱动电路245按照DP控制部120的控制来驱动OLED面板243。OLED驱动电路245例如安装在固定于OLED面板243的背面的未图示的基板上，在该基板上安装有图3所示的温度传感器239。

左光学系统252通过准直透镜使从OLED面板243射出的图像光L成为平行状态的光束，并使它们入射到左导光板28。在左导光板28的内部，图像光L被多个反射面反射，并被位于左眼LE眼前的半反射镜281反射而从左导光板28朝向左眼LE射出。

HMD 100作为透过型的显示装置发挥作用。即，由半反射镜261反射的图像光L和透过了右导光板26的外部光OL入射到使用者U的右眼RE。由半反射镜281反射的图像光L和透过了半反射镜281的外部光OL入射到左眼LE。HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者U的眼睛。因此，使用者U能够透过右导光板26以及左导光板28看见外景，并与该外景重叠地看到基于图像光L的图像。半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而取出图像的图像取出部，构成显示部。

[3.HMD的控制系统]

图3是显示系统1的框图，特别详细示出了HMD 100的结构。

在图像显示部20中，右显示部22具有右显示部基板210。在右显示部基板210上安装有：与连接线缆40连接的右I/F部211、接收经由右I/F部211而从连接装置10输入的数据的接收部213、以及EEPROM 215。右I/F部211将接收部213、EEPROM 215、温度传感器217、DP外侧摄像头61、距离传感器64、DP照度传感器65以及LED指示器67连接到连接装置10。接收器213将OLED单元221连接到连接装置10。

左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231、以及接收经由左I/F部231而从连接装置10输入的数据的接收部233。在左显示部基板230上安装有DP六轴传感器235和DP磁传感器237。

左I/F部231将接收部233、DP六轴传感器235、DP磁传感器237以及温度传感器239连接到连接装置10。接收部233将OLED单元241连接到连接装置10。

在本实施方式的说明和附图中，I/F是接口的缩写。EEPROM是ElectricallyErasable Programmable Read-Only Memory(电可擦可编程只读存储器)的缩写。有时将接收部213和接收部233分别记载为Rx 213、Rx 233。

EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与图像显示部20具有的OLED单元221、241的发光特性和显示特性相关的数据、与右显示部22或左显示部24具有的传感器的特性相关的数据等。具体而言，以DP控制部120能够读取的方式存储OLED单元221、241的伽马校正涉及的参数以及对温度传感器217、239的检测值进行补偿的数据等。

DP外侧摄像头61按照经由右I/F部211输入的信号执行拍摄，并将拍摄图像数据输出到右I/F部211。DP照度传感器65接收外部光，输出与受光量或受光强度对应的检测值。LED指示器67按照经由右I/F部211输入的控制信号或驱动电流而点亮。

温度传感器217检测OLED单元221的温度，并输出与检测温度对应的电压值或者电阻值来作为检测值。

距离传感器64经由右I/F部211将表示检测距离的检测结果的信号输出到连接装置10。

接收部213接收经由右I/F部211从连接装置10传输的显示用影像数据，并将其输出到OLED单元221。OLED单元221显示基于连接装置10传输的影像数据的影像。

接收部233接收经由左I/F部231从连接装置10传输的显示用影像数据，并将其输出到OLED单元241。OLED单元221、241显示基于连接装置10传输的影像数据的影像。

DP六轴传感器235是具有三轴加速度传感器和三轴陀螺传感器的运动传感器。DP磁传感器237例如是三轴的地磁传感器。DP六轴传感器235和DP磁传感器237可以是将上述各传感器模块化而得的IMU，也可以是将DP六轴传感器235和DP磁传感器237一体化的模块。IMU是Inertial Measurement Unit(惯性测量单元)的缩写。温度传感器239检测OLED单元241的温度。DP六轴传感器235、DP磁传感器237以及温度传感器239分别将检测值输出到连接装置10。

图像显示部20的各部分利用通过连接线缆40从连接装置10提供的电力进行动作。图像显示部20在右显示部22具有电源部229，在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40提供的电力分配并提供给包含右显示部基板210在内的右显示部22的各部分。电源部249将连接装置10经由连接线缆40提供的电力分配并提供给包含左显示部基板230在内的左显示部24的各部分。电源部229、249也可以具有转换电压的转换电路等。

连接装置10具有I/F部110、DP控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145以及声音处理部147。

I/F部110具有连接器11D以及通过连接器11D执行基于各种通信标准的通信协议的接口电路。I/F部110例如是安装了连接器11D以及接口电路的接口基板。I/F部110可以具有能够连接外部的存储装置或存储介质的存储卡用接口等，也可以由无线通信接口构成I/F部110。

DP控制部120具有CPU、微型计算机等处理器，通过该处理器执行程序来控制连接装置10的各部分。DP控制部120也可以具有构成处理器的工作区的RAM。RAM是RandomAccess Memory(随机存取存储器)的缩写。

DP控制部120与非易失性存储部130、操作部140、连接部145以及声音处理部147连接。非易失性存储部130是非易失性地存储DP控制部120执行的程序和数据的ROM。ROM是Read Only Memory(只读存储器)的缩写。

传感器控制部122使图像显示部20具有的各传感器进行动作。这里，各传感器是指DP外侧摄像头61、距离传感器64、DP照度传感器65、温度传感器217、DP六轴传感器235、DP磁传感器237以及温度传感器239的各个传感器。各传感器至少包含DP外侧摄像头61、DP照度传感器65、DP六轴传感器235以及DP磁传感器237中的任意一个以上。传感器控制部122按照DP控制部120的控制进行各传感器的采样周期的设定以及初始化，并按照各传感器的采样周期，执行向各传感器的通电、控制数据的发送、检测值的取得等。

传感器控制部122在预先设定的定时，将表示各传感器的检测值或检测结果的检测数据输出到I/F部110。这里，与其他传感器的检测值或检测结果同样地，将DP外侧摄像头61的拍摄图像数据称为检测数据。

传感器控制部122也可以具有将模拟信号转换为数字数据的A/D转换器。在这种情况下，传感器控制部122将从图像显示部20的传感器取得的检测值或检测结果的模拟信号转换为检测数据并输出。传感器控制部122也可以从图像显示部20的传感器取得检测值或检测结果的数字数据，进行数据格式的转换、输出定时的调整等，并将检测数据输出到I/F部110。

通过传感器控制部122的动作，与I/F部110连接的控制装置300能够取得HMD100的各传感器的检测值和DP外侧摄像头61的拍摄图像数据。

传感器控制部122可以将基于上述各传感器的检测值进行运算处理的结果作为检测数据输出。例如，传感器控制部122也可以合并处理多个传感器的检测值或检测结果，而作为所谓的传感器融合处理部发挥作用。在这种情况下，传感器控制部122可以通过传感器融合，生成不包含在图像显示部20的各传感器中的虚拟传感器的检测数据。例如，传感器控制部122也可以将表示图像显示部20移动的轨迹的轨迹数据、表示图像显示部20在三维空间中的位置的坐标数据、表示图像显示部20的方向的方向数据作为检测数据输出。这里，坐标数据可以是表示以连接装置10的位置为基准的相对坐标的数据，也可以是表示相对于在图像显示部20所存在的空间中设定的基准位置的位置的数据。方向数据可以是表示以连接装置10的位置和方向为基准的方向的数据，也可以是表示相对于在图像显示部20所存在的空间中设定的基准位置的方向的数据。

传感器控制部122与通过USB线缆46和连接器11D连接的装置之间执行通信协议，输出检测数据。

显示控制部124根据输入到I/F部110的影像数据或显示数据，执行用于使图像显示部20显示图像的各种处理。在本实施方式中，通过由USB-C型连接器构成的连接器11D，以USB-C型的替代模式传输影像数据。显示控制部124例如执行帧的切出、分辨率转换、缩放、中间帧生成、帧频转换等各种处理。显示控制部124将与OLED单元221、241对应的影像数据输出到连接部145。从连接器11A将输入到连接部145的影像数据作为影像信号201传输到右I/F部211以及左I/F部231。显示控制部124按照输入到I/F部110的显示控制数据，调整和变更图像显示部20的显示状态。

传感器控制部122和/或显示控制部124也可以通过处理器执行程序而通过软件和硬件的协作来实现。即，传感器控制部122和显示控制部124由处理器构成，通过执行程序来执行上述动作。在该例中，传感器控制部122和显示控制部124也可以通过由构成DP控制部120的处理器执行程序来实现。换言之，也可以是，通过处理器执行程序来作为DP控制部120、显示控制部124和传感器控制部122发挥作用。在此，处理器可以换称作计算机。传感器控制部122和显示控制部124可以具备用于进行数据处理的工作存储器，也可以利用DP控制部120的存储器来进行处理。

显示控制部124和传感器控制部122也可以由DSP、FPGA等编程硬件构成。也可以将传感器控制部122和显示控制部124集成而构成为SoC-FPGA。DSP是Digital SignalProcessor(数字信号处理器)的缩写，FPGA是Field Programmable Gate Array(现场可编程门阵列)的缩写，SoC是System-on-a-Chip(片上系统)的缩写。

电源控制部126是与连接器11D连接、并基于从连接器11D提供的电力对连接装置10的各部分以及图像显示部20提供电源的电路。

操作部140检测连接装置10所具有的开关等的操作，将表示操作内容的数据输出到DP控制部120。

声音处理部147按照从DP控制部120输入的声音数据，生成声音信号，并输出到连接部145。从连接部145经由音频连接器36将该声音信号输出到右耳机32和左耳机34。声音处理部147生成麦克风63收集到的声音的声音数据，并输出到DP控制部120。从声音处理部147输出的声音数据与图像显示部20所具有的传感器的检测数据同样，由传感器控制部122进行处理。

[4.控制装置的结构]

图4是控制装置300的框图。

控制装置300具有CO控制部310。CO控制部310具有处理器311、存储器312以及非易失性存储器313。处理器311由CPU、微型计算机、DSP等构成，通过执行程序来控制控制装置300的各部分。存储器312形成处理器311的工作区。非易失性存储器313由半导体存储器件等构成，非易失性地存储处理器311执行的程序、由处理器311处理的各种数据。例如，非易失性存储器313存储作为处理器311执行的基本控制程序的操作系统、以及在操作系统上工作的应用程序等。非易失性存储器313存储在执行应用程序时处理的数据和处理结果的数据。以下，将操作系统缩写为OS。

CO控制部310也可以是将处理器311、存储器312以及非易失性存储器313集成而得的SoC。

CO控制部310与GNSS 321、CO摄像头322、CO六轴传感器323、CO磁传感器324、CO照度传感器325、振动器326、声音输出部327、CO显示部330以及CO输入部335连接。

GNSS 321利用卫星定位系统进行定位，将控制装置300的位置输出到CO控制部310。GNSS是Global Navigation Satellite System(全球导航卫星系统)的缩写。

CO摄像头322是设置在控制装置300的主体上的数字摄像头，例如与触摸面板350相邻配置，拍摄与触摸面板350相对的方向。CO摄像头322按照CO控制部310的控制执行拍摄，并将拍摄图像数据输出到CO控制部310。

CO六轴传感器323是具有三轴加速度传感器以及三轴陀螺仪传感器的运动传感器，将表示检测值的检测数据输出到CO控制部310。CO磁传感器324例如是三轴地磁传感器，将表示检测值的检测数据输出到CO控制部310。CO六轴传感器323和CO磁传感器324可以是将上述各传感器模块化而得的IMU，也可以是将CO六轴传感器323和CO磁传感器324一体化的模块。

CO照度传感器325接收外部光，将表示与受光量或受光强度对应的检测值的检测数据输出到CO控制部310。

振动器326按照CO控制部310的控制产生振动，使控制装置300的主体的一部分或全部进行振动。振动器326例如构成为具有偏心锤和电机。振动器326对应于振动产生部的一例。控制装置300也可以构成为代替振动器326而具有利用了压电元件的压电振动部，或者除了振动器326以外，还具有利用了压电元件的压电振动部。该情况下，也可以按照CO控制部310的控制，通过压电振动部产生振动。

声音输出部327具有扬声器，按照CO控制部310的控制从扬声器输出声音。声音输出部327也可以具有将CO控制部310输出的声音信号放大并输出到扬声器的放大器。在CO控制部310是输出数字声音数据的结构的情况下，声音输出部327也可以具有将数字声音数据转换为模拟声音信号的D/A转换器。另外，控制装置300也可以构成为代替声音输出部327而具有压电蜂鸣器，或者除了声音输出部327以外还具有压电蜂鸣器。此时，也可以按照CO控制部310的控制，通过压电蜂鸣器输出声音。

CO显示部330具有LCD 331，按照CO控制部310的控制在LCD 331上显示字符和图像。

CO输入部335检测对触摸传感器336以及开关337的操作，并将表示检测出的操作的操作数据输出到CO控制部310。触摸传感器336重叠配置于LCD 331的表面，与LCD 331一起构成触摸面板350。触摸传感器336检测使用者U的接触操作或按压操作。开关337例如是控制装置300的电源开关、音量调整开关等硬件开关。

CO控制部310与电池341、通信部342和I/F部343连接。

电池341是内置在控制装置300的主体中的二次电池，向控制装置300的各部分提供电力。电池341可以具有用于控制电力输出以及向二次电池的充电的未图示的控制电路。

通信部342与Bluetooth、Wi-Fi等无线通信协议对应，与显示系统1的外部装置执行无线通信。Bluetooth和Wi-Fi是注册商标。通信部342也可以是利用LTE或第五代移动通信系统等移动通信网络来执行移动数据通信的结构。LTE是注册商标。

I/F部343具有连接数据通信线缆的未图示的连接器、以及利用连接器执行基于各种通信标准的通信协议的接口电路。例如，I/F部343具有基于USB标准的连接器以及接口电路，通过USB线缆46收发数据。

在本实施方式中，控制装置300经由I/F部343对HMD 100发送影像数据，并从HMD100接收传感器的检测数据。控制装置300经由I/F部343对HMD 100提供电力。

例示如下结构：本实施方式的I/F部343具有USB接口，控制装置300使用连接到I/F部343的USB线缆46与HMD 100之间收发数据。

控制装置300例如可以通过通信部342与HMD 100进行无线数据通信。

[5.软件平台的结构]

图5是表示控制装置300的软件平台结构的示意图。在控制装置300中，处理器311执行操作系统，通过硬件和软件的协作，构成使应用软件工作的平台400。

由处理器311执行的操作系统由文件组构成，该文件组包含由处理器311执行的程序的执行文件和在该程序中处理的数据文件等。作为控制装置300的操作系统，例如可以举出Android、iOS、iPad OS、Windows、Mac OS、Linux、Unix、Tron等通用操作系统。处理器311执行的操作系统可以是对上述通用操作系统进行了部分改变的操作系统。Android、iOS、iPad、Windows、Linux、Unix和Tron是注册商标。Mac是商标。

平台400构成为包含多个功能模块。图5示出平台400的功能模块的一部分。平台400能够对控制装置300所具有的CO摄像头322、CO六轴传感器323、CO磁传感器324和CO照度传感器325等各种传感器以及HMD 100所具有的传感器等进行控制。在图5中，作为一例，示出取得触摸传感器336的检测数据、检测对触摸面板350的操作的结构。

平台400由内核410、HAL 430、框架440以及应用程序执行部450构成。内核410、HAL430以及框架440通过处理器311所执行的操作系统的功能来实现。操作系统包含1个或多个程序、数据、程序库、运行时间模块等而构成，这些通过处理器311执行或处理，由此处理器311作为内核410、HAL 430以及框架440发挥作用。应用程序执行部450通过处理器311执行操作系统而构成。应用程序执行部450指示如下功能：处理器311使用由平台400提供的执行环境来执行应用程序451。即，构成应用程序执行部450的硬件主体是处理器311，内核410、HAL 430以及框架440也同样如此。

内核410是用于实现平台400的基本功能的功能部。内核410具有对控制装置300的硬件进行控制的驱动器。内核410所具有的驱动器例如对应于硬件的每个种类。

作为一例，Android OS的平台400的内核410由Linux内核构成。框架440对应于Java框架，可以利用Android运行时间模块或本机程序库来实现。Java是注册商标。

在图5所示的例子中，内核410具有触摸传感器驱动器411作为对控制装置300的外部硬件进行控制的驱动器。触摸传感器驱动器411是控制触摸传感器336的驱动器，检测对触摸传感器336的触摸操作或按压操作，取得表示操作位置的数据。内核410对应于检测部的一例。

图6是针对触摸传感器336的操作的检测方式的说明图。触摸传感器336例如具有矩形的检测区域。在触摸传感器336的检测区域中，例如图6所示那样，设定有由X轴和Y轴构成的X-Y正交坐标。触摸传感器驱动器411取得触摸传感器336输出的模拟信号即检测信号SD1，生成包含在触摸传感器336的检测区域中进行了操作的位置的X坐标和Y坐标的检测数据SD2。触摸传感器336也可以是包含生成数字数据的外围电路在内的传感器单元。在该情况下，触摸传感器336不输出检测信号SD1，而输出包含操作位置的X坐标和Y坐标的检测数据SD2。触摸传感器驱动器411取得触摸传感器336输出的检测数据SD2。

传感器数据提供部401输出触摸传感器336的操作位置的方式有绝对坐标以及相对坐标这两种。绝对坐标是将操作位置的X坐标和Y坐标作为操作位置的数据提供给应用程序执行部450的方式。例如，如图6所示，在接触位置从位置P1移动到位置P2的情况下，输出从位置P1到位置P2的各位置的X坐标和Y坐标作为绝对坐标。与此相对，相对坐标是输出由触摸传感器336检测出的多个操作位置的相对位置关系的方式。在图6的例子中，输出位置P2与位置P1的坐标差分、或者从位置P1到位置P2的方向和距离。

触摸传感器驱动器411以预先设定的采样周期，在每个检测定时进行取得触摸传感器336的操作位置的处理。触摸传感器驱动器411取得在检测定时的触摸传感器336的操作位置坐标。因此，检测信号SD1、或者代替检测信号SD1而输出的检测数据是操作位置的绝对坐标即X坐标和Y坐标。

HAL 430和框架440作用为将内核410处理后的数据交接给应用程序执行部450。HAL是Hardware Abstruction Layer(硬件抽象层)的缩写。

HAL 430与内核410之间输入输出与硬件控制相关的数据。HAL 430对内核410请求硬件的控制，并取得内核410所取得的数据。图5例示了HAL 430所具有的输入事件431。输入事件431是每当触摸传感器驱动器411取得触摸传感器336的检测信号SD1时，内核410对HAL430通知的事件。输入事件431包含触摸传感器驱动器411取得的检测数据。HAL 430对应于事件通知部的一例。

在本实施方式中，如图5所示，HAL 430在内核410的上位层进行动作，但只要相对于应用程序执行部450的传感器数据提供部401的功能没有不同，则能够根据操作系统的规格而采用不同的结构。例如，HAL 430也可以作为在硬件与内核410之间工作的中间件来安装。此时，HAL 430控制硬件，将从硬件取得的检测数据传递给内核410。

框架440保持输入事件431的检测数据作为输入数据441。输入数据441是由触摸传感器驱动器411从触摸传感器336取得的检测数据、或者对该检测数据进行了处理的数据。在本实施方式中，输入数据441包含触摸传感器336的操作位置的绝对坐标的坐标数据。

在平台400中，内核410、HAL 430以及框架440作为向应用程序451提供输入数据441和后述的输入数据442的传感器数据提供部401发挥作用。传感器数据提供部401只要能够将输入数据441、442提供给应用程序执行部450即可，图中所示的架构是一例。输入数据441、442对应于检测数据的一例。

应用程序执行部450执行安装在控制装置300中的应用程序。图5示出应用程序451和UI应用程序452作为应用程序的一例。UI是User Interface(用户界面)的缩写。

应用程序执行部450执行的应用程序的数量和种类不受限制。例如，通过应用程序执行部450，控制装置300作为基本功能，可以执行实现日历、时钟、闹钟、计算器、通话、消息发送、电子邮件、相机拍摄、照片管理等功能的应用程序。

应用程序451是基于针对触摸传感器336的操作位置来进行处理的应用程序。例如，应用程序451实现通过图像显示部20显示字符和图像的功能。在这种情况下，CO控制部310通过执行应用程序451，生成用于在图像显示部20上显示的显示数据，并通过I/F部343输出到HMD 100。CO控制部310执行应用程序451，生成用于控制图像显示部20的显示的显示控制数据，并通过I/F部343输出到HMD 100。显示数据可以是影像数据或动态图像数据，例如是HDMI格式的影像数据。显示数据也可以是静态图像数据，还可以是字符或符号的数据。显示控制数据例如是设定图像显示部20的显示亮度和对比度的控制数据。

HMD 100基于控制装置300输出的显示数据，在图像显示部20上显示图像、影像或字符。

HMD 100按照控制装置300输出的显示控制数据，调整和变更图像显示部20的显示状态。

内核410除了使触摸传感器驱动器411进行动作之外，还能够使取得各种传感器的检测数据的驱动器进行动作，这些驱动器分别向HAL 430通知事件。由各驱动器进行的事件的通知不受触摸传感器驱动器411的动作定时制约，例如能够并行执行。同样，通知给HAL430的事件的数量没有限制，框架440所保持的数据的数量和种类也没有限制。

如上所述，将输入数据441、442提供给应用程序执行部450。应用程序执行部450能够向框架440请求输入数据441或输入数据442，并且根据该请求被提供输入数据441或输入数据442。通过应用程序执行部450进行动作的应用程序也可以参照输入数据441、442。

作为一例，假设应用程序451利用与触摸传感器336的操作有关的相对坐标的数据、或在触摸面板350上显示的图形用户界面所特有的操作数据的情况。本实施方式的平台400具有如下功能：向应用程序451提供根据由触摸传感器驱动器411取得的检测数据生成的各个种类的输入数据。

UI应用程序452是构成控制装置300的图形用户界面的应用程序。在触摸面板350上显示输入用的图像，根据触摸面板350上的操作位置与输入用的图像之间的对应，生成与输入用的图像对应的输入数据。

详细地说，UI应用程序452是具有对传感器数据提供部401进行访问的权限的应用程序，例如，针对控制装置300的操作系统作为插件发挥作用。UI应用程序452具有向HAL430通知输入事件432的功能。输入事件432包含由UI应用程序452生成的输入数据，是表示与对触摸传感器336的触摸操作的坐标不同的输入操作的事件。

通过被UI应用程序452通知输入事件432，从HAL 430向框架440传递基于输入事件432的输入数据442。输入数据442是与输入事件432对应的输入操作的数据。由此，从框架440向应用程序451提供输入数据442。

输入数据442可以是基于X轴和Y轴的绝对坐标的数据。例如，输入数据442可以是以与输入数据441不同方向的坐标轴即X轴和Y轴为基准的坐标的数据。

使用者U手持控制装置300时的控制装置300的方向不限于基本的位置。因此，CO控制部310可以使用来自CO六轴传感器323和CO磁传感器324的检测数据来判定控制装置300的方向，并与控制装置300的方向对应地旋转LCD 331的显示。在该情况下，CO控制部310对应于控制装置300的方向，变更触摸传感器336的外观上的X坐标和Y坐标。

图7是表示控制装置300的方向与操作的检测方向之间的对应例的示意图。在图7中，用符号TP表示控制装置300的基本位置的上端，用符号BM表示下端。

UI应用程序452基于来自CO六轴传感器323和CO磁传感器324的检测数据来判定控制装置300的方向，并且每90度地变更LCD 331的显示方向和触摸传感器336的检测坐标的X轴、Y轴。例如，如图7所示，在控制装置300旋转为上端TP成为上、右、下、左的各位置的情况下，Y轴旋转为沿着现实的上下方向即铅直方向的方向。

触摸传感器336中的X轴和Y轴方向相对于硬件固定地设定。因此，进行对应于控制装置300的方向来转换触摸传感器336的检测坐标的X轴、Y轴的处理。例如，由UI应用程序452执行该处理。

UI应用程序452取得CO六轴传感器323和CO磁传感器324的检测数据，并判定控制装置300的方向。UI应用程序452对应于控制装置300的方向对输入数据441进行转换，生成以变更后的X轴和Y轴方向为基准的绝对坐标的输入数据442。这样，UI应用程序452的用途不限于将绝对坐标的数据转换为其他种类的数据的用途。例如，可以用于如下处理：针对传感器数据提供部401提供的绝对坐标的输入数据441，对坐标轴进行转换。

输入数据442的种类和内容根据UI应用程序452执行的用户界面而不同。以下，对在控制装置300中通过UI应用程序452实现的用户界面进行说明。

[6.显示系统的显示模式]

图8、图9、图10、图11和图12是表示显示系统1的显示模式例的示意图。

在图8、图9、图10、图12中，将图像显示部20的显示和控制装置300的显示对应起来示出。由于右显示部22以及左显示部24分别显示图像，所以图像显示部20可以说显示两个图像，但以使用者U识别一个图像的方式动作。因此，在各图中，将图像显示部20表示为1个显示部205，将图像显示部20令使用者U看到的图像表示为1个矩形的图像。按照控制装置300输出到HMD 100的显示数据，显示在显示部205上显示的各种画面和显示对象。因此，显示系统1的显示模式通过控制装置300的控制来实现。图像显示部20和显示部205对应于第1显示部的一例。LCD 331和触摸面板350对应于第2显示部的一例。

图8示出了镜像模式作为显示系统1的显示模式的一例。镜像模式是控制装置300和图像显示部20显示同一图像的显示模式。图8示出了以镜像模式显示主页画面515、516的例子。主页画面515是在控制装置300的动作的基本状态下显示的画面。在主页画面515中配置有作为操作对象的对象515a。各个对象515a是与安装在控制装置300中的各个应用程序451对应的图标。在进行触摸对象515a的位置的操作时，执行与对象515a对应的应用程序451。

显示主页画面515的功能、和响应于对于对象515a的操作而启动应用程序451的功能例如由主页画面用的应用程序451提供。

在镜像模式中，控制装置300生成用于显示与要在触摸面板350上显示的画面相同的画面的显示数据，并将该显示数据输出到HMD 100。在图8所示的镜像模式中，在触摸面板350上显示主页画面515，在显示部205上显示与主页画面515相同的主页画面516。尽管触摸面板350和显示部205具有不同的纵横比，但是在镜像模式中，以与触摸面板350相同的纵横比在显示部205上显示主页画面516。主页画面515和主页画面516的分辨率也可以不完全相同。

在主页画面516中，配置有与主页画面515的对象515a相同的对象516a。

在镜像模式中，传感器数据提供部401提供表示触摸面板350上的操作位置与对象515a的操作位置之间的关系的输入数据442。例如，当操作位置与任意一个对象515a重叠时，通过UI应用程序452生成表示针对该对象515a的操作的输入数据442。在这种情况下，输入数据442是对被操作的对象515a进行确定的数据。输入数据442可以包含表示对于对象515a的操作方式的数据。操作方式是指1次接触、多次连续的接触、长于基准时间的接触、超过基准力的压力的按压操作等。

显示主页画面515的应用程序451可以使用表示触摸面板350上的操作位置的绝对位置的输入数据441来检测对于对象515a的操作。

在显示主页画面515的应用程序451与输入数据442对应的情况下，应用程序451能够容易地参照输入数据442来确定被操作的对象515a。因此，可启动与被操作的对象515a对应的应用程序451等。

在图9中，作为显示系统1的显示模式的一例，示出在显示部205和触摸面板350上进行不同显示的扩展屏幕模式。扩展屏幕模式是如下的显示模式：除了显示部205之外，还利用触摸面板350作为辅助显示区域，由此利用对显示部205进行了扩展的较大显示区域。在扩展屏幕模式中，在显示部205和触摸面板350上进行不同的显示，例如，显示部205是主要的显示区域，触摸面板350是辅助的显示区域。

在图9的例子中，控制装置300执行动态图像再现的应用程序451。通过动态图像再现应用程序451的功能，控制装置300在触摸面板350上显示用于进行动态图像再现操作的操作画面518，并且在显示部205上显示用于显示动态图像的再现画面519。在操作画面518中，一览显示要再现的动态图像，配置有能够进行选择动态图像的操作的动态图像列表518a以及用于指示动态图像的再现、停止、暂停等的操作对象518b。另一方面，在再现画面519中配置再现中的动态图像以及表示再现位置和音量的指示器。在显示操作画面518的期间，根据对触摸面板350的操作，提供基于操作位置以及动态图像列表518a和操作对象518b的显示位置的输入数据442。

在图9的例子中，动态图像再现应用程序451可以使用表示触摸面板350上的操作位置的绝对位置的输入数据441来检测对动态图像列表518a或操作对象518b的操作。

在动态图像再现应用程序451与输入数据442对应的情况下，应用程序451能够容易地参照输入数据442来确定被操作的动态图像列表518a或操作对象518b。因此，能够与操作对应地执行动态图像再现动作。

在图10中，作为显示系统1的显示模式的一例，示出触控板模式。在触控板模式中，触摸面板350作为进行接触操作的输入设备发挥作用。

在触控板模式中，在LCD 331上显示触控板画面524。触控板画面524也可以是不包含要显示的对象而看起来为非显示状态的画面。另外，触控板画面524也可以例如通过LCD331如图10所示那样包含引导区525，向使用者U示出触摸面板350作为触控板来检测操作的检测区域。此外，如图10所示，触控板画面524可以包含表示触摸面板350被用作触控板的字符串。

在触控板模式中，使用者U通过触摸面板350对在显示部205上显示的主页画面521进行操作。在主页画面521中配置有与应用程序451对应的图标等对象521a。在主页画面521中，显示表示触摸面板350上的操作位置的指示器522或光标523，使用者U一边看着指示器522或光标523，一边操作触摸面板350。

在触控板模式中，显示主页画面521的应用程序451可以参照包含操作位置的绝对坐标数据的输入数据441来进行动作。

在触控板模式中，UI应用程序452将输入数据441换算为显示部205上的操作位置，生成输入数据442。即，将触摸面板350上的操作位置转换成纵横比和形状不同的显示部205上的操作位置而获得的数据作为输入数据442来提供。在这种情况下，应用程序451能够基于在显示部205上配置的对象521a和输入数据442，检测对于对象521a的操作。

输入数据442表示以显示部205为基准进行转换后的操作位置，所以能够按照输入数据442显示指示器522、光标523。

触控板模式可以说是通过将图8所示的镜像模式进行变形而获得的显示模式。例如，在控制装置300中，也可以预先设定显示主页画面时的显示模式。在这种情况下，CO控制部310在指示显示主页画面时参照设定，进行以镜像模式显示主页画面515、516的动作以及以触控板模式显示主页画面521的动作中的任意一个。

在图11中，作为显示系统1的显示模式的一例，示出虚拟设备模式。在虚拟设备模式中，使触摸面板350作为所谓的游戏板等输入设备发挥作用。图11示出了虚拟设备模式中的触摸面板350的显示例，图11的(a)是第1虚拟设备模式中的显示例，图11的(b)是第2虚拟设备模式中的显示例，图11的(c)是第3虚拟设备模式中的显示例。

在第1虚拟设备模式中，在触摸面板350上显示输入设备画面531。在输入设备画面531上，作为显示对象，配置有模仿方向键的对象531a、和表示用作触控板的区域的引导图像531b。对象531a是指示上、下、左、右各方向的键成为一体的模仿所谓的十字键形状的图像。使用者U通过进行触摸对象531a的位置的操作，进行与十字键同样的操作。使用者U通过在引导图像531b的框内进行触摸操作，进行与触控板同样的操作。

在执行第1虚拟设备模式时，传感器数据提供部401根据输入数据441，提供表示对于对象531a和引导图像531b的操作的输入数据442。该情况下的输入数据442包含对象531a的上、下、左、右方向的操作数据以及引导图像531b中的操作位置的坐标数据。

输入数据441是整个触摸面板350上的操作位置的绝对坐标的数据。UI应用程序452从输入数据441的坐标数据中取得在输入设备画面531上指定的范围的坐标数据，并将所取得的坐标数据转换为以显示部205或预先设定的整个操作区域为基准的坐标数据。由此，输入数据442成为使用了与输入设备画面531的外观相同的硬件输入设备时那样的输入数据。

在第2虚拟设备模式中，在触摸面板350上显示输入设备画面532。在输入设备画面532上，作为显示对象，配置有模仿方向键的对象532a和包含模仿按钮的多个对象的对象组532b。与对象531a同样，对象532a是模仿十字键形状的图像。使用者U通过进行触摸对象532a的位置的操作，进行与十字键同样的操作。此外，使用者U通过进行触摸对象组532b的各对象的位置的操作，进行与硬件键同样的按压操作。

在执行第2虚拟设备模式时，传感器数据提供部401根据输入数据441，提供表示对于对象532a和对象组532b的操作的输入数据442。该情况下的输入数据442包含对象532a的上、下、左、右方向的操作数据以及表示对于对象组532b的各对象的操作的数据。

UI应用程序452基于对象532a和对象组532b的显示位置，对包含整个触摸面板350上的绝对坐标数据在内的输入数据441进行转换，以生成输入数据442。由此，输入数据442成为使用了与输入设备画面532的外观相同的硬件输入设备时那样的输入数据。

在第1虚拟设备模式和第2虚拟设备模式中，在显示部205上显示利用对象531a和532a的光标操作的、应用程序451的画面。例如，能够利用进行游戏或描绘的应用程序451。另外，也可以在第1虚拟设备模式和第2虚拟设备模式中在显示部205上显示主页画面521，此时，例如能够通过对象531a、532a进行使指示器522移动的操作。

在第3虚拟设备模式中，在触摸面板350上显示输入设备画面533。在输入设备画面533中，作为显示对象，配置有模仿进行与声音或影像再现相关的操作的键的对象533a、533b、533c、533d。在图11的(c)的例子中，对象533a模仿再现键，对象533b模仿停止键，对象533c模仿快退键，对象533d模仿快进键。使用者U通过进行触摸对象533a、533b、533c、533d各自的显示位置的操作，进行与硬件键同样的操作。在第3虚拟设备模式中，在显示部205上例如显示再现画面519。

在执行第3虚拟设备模式时，传感器数据提供部401根据输入数据441，提供表示对于对象533a、533b、533c、533d的操作的输入数据442。该情况下的输入数据442例如包含表示对再现键、停止键、快退键和快进键的操作的数据。

UI应用程序452基于对象533a、533b、533c、533d的显示位置，对包含整个触摸面板350上的绝对坐标数据在内的输入数据441进行转换，以生成输入数据442。由此，输入数据442成为使用了与输入设备画面532的外观相同的硬件输入设备时那样的输入数据。

这样，在第1、第2以及第3虚拟设备模式中，能够使触摸面板350虚拟地作为硬件输入设备的代替发挥作用。因此，能够通过触摸面板350，对在使用硬件输入设备的前提下创建的应用程序451进行操作。

在图12中，作为显示系统1的显示模式的一例，示出软件键盘模式。软件键盘模式是使用触摸面板350进行字符输入时的显示模式。

在显示部205上显示配置有字符输入部541a的字符输入画面541。例如在网页浏览器的应用程序451受理检索字符串或URL的输入的情况下，显示字符输入画面541。

在触摸面板350上显示配置了软件键盘542a的键盘画面542。软件键盘542a是模仿键盘的输入用的图像。在纵向使用控制装置300的情况下，能够在触摸面板350上显示键盘画面543来代替键盘画面542。键盘画面543包含与触摸面板350为纵长的情况对应的软件键盘543a。软件键盘543a可以是键数比软件键盘542a少的图像。

在软件键盘模式中，使用者U通过触摸面板350来进行针对软件键盘542a、543a的操作，由此将字符输入到字符输入部541a。

UI应用程序452将输入数据441换算为软件键盘542a、543a中的操作位置，生成包含被操作的字符和符号的输入数据442。即，将触摸面板350上的操作位置转换成在软件键盘542a、543a中被操作的键而获得的数据作为输入数据442来提供。在这种情况下，应用程序451能够执行与键输入对应的动作。

[7.控制装置的动作]

图13和图14是表示控制装置300的动作的流程图，表示与显示系统1的显示模式选择相关的动作。

CO控制部310以控制装置300的开关337的操作等启动条件成立为触发来执行启动序列(步骤S11)。在启动序列后，CO控制部310判定HMD 100是否有效(步骤S12)。在步骤S12中，判定HMD 100是否连接到控制装置300、且控制HMD 100的显示的功能是否有效。

启动条件不限于开关337的操作，只要是CO控制部310能够检测的操作即可。例如，启动条件可以是移动控制装置300的主体的操作。在该情况下，CO控制部310能够通过CO六轴传感器323和CO磁传感器324检测控制装置300的运动和移位来判定驱动条件。另外，也可以将由CO摄像头322拍摄的使用者U的手臂或腿等身体的运动、或者使用者U手持的设备等指示体的运动作为启动条件。在该情况下，CO控制部310能够根据CO摄像头322的拍摄图像判定启动条件。另外，启动条件可以是针对操作部140的操作，也可以是搭载于图像显示部20的DP外侧摄像头61或各种传感器检测的操作。例如，CO控制部310也可以根据DP外侧摄像头61的拍摄图像，判定由使用者U的身体运动、或者使用者U手持的设备等指示体的运动构成的启动条件。此外，也可以将佩戴了图像显示部20的使用者U的头部运动作为启动条件。另外，还可以将敲击、点击图像显示部20的操作设为启动条件。在该情况下，CO控制部310能够根据图像显示部20搭载的DP六轴传感器235、DP磁传感器237或者未图示的触摸传感器的检测值，判定启动条件的有无。即，在图像显示部20具有触摸传感器、从而能够检测使用者U的触摸操作的结构中，也可以将对触摸传感器的触摸操作作为启动条件。此时，也可以对触摸操作的操作位置的变化或轨迹等设置条件，将预先设定的方式的触摸操作作为启动条件。

在HMD 100的显示控制无效的情况下(步骤S12；否)，CO控制部310在步骤S12待机。在HMD 100的显示控制有效的情况下(步骤S12；是)，CO控制部310判定显示系统1是否为显示了锁定画面的状态(步骤S13)。

锁定画面是当HMD 100和控制装置300从非显示状态恢复时所显示的画面，例如紧接在控制装置300启动之后或者当显示系统1从节电状态恢复时被显示出。在锁定画面的显示中，当进行预先设定的锁定解除操作时，控制装置300使显示从锁定画面转移到主页画面。在不进行锁定解除操作的期间，维持锁定画面的显示。例如，即使进行锁定解除操作以外的操作，也维持锁定画面的显示。

锁定解除操作可以是CO输入部335检测的操作、CO摄像头322或各种传感器检测的操作。例如，也可以将移动控制装置300主体的操作设为锁定解除操作，在该情况下，CO控制部310能够通过CO六轴传感器323和CO磁传感器324检测控制装置300的运动和移位来判定有无锁定解除操作。另外，也可以将由CO摄像头322拍摄的使用者U的手臂或腿等身体的运动、或者使用者U手持的设备等指示体的运动作为锁定解除操作。在该情况下，CO控制部310能够根据CO摄像头322的拍摄图像判定有无锁定解除操作。另外，锁定解除操作可以是针对操作部140的操作，也可以是搭载于图像显示部20的DP外侧摄像头61或各种传感器检测的操作。作为锁定解除操作的具体例，可列举在触摸面板350上以描绘特定轨迹的方式进行触摸的操作。例如，CO控制部310也可以根据DP外侧摄像头61的拍摄图像，判定由使用者U的身体运动、或者使用者U手持的设备等指示体的运动构成的锁定解除操作的有无。此外，也可以将佩戴了图像显示部20的使用者U的头部运动作为锁定解除操作。另外，还可以将敲击、点击图像显示部20的操作设为锁定解除操作。在该情况下，CO控制部310能够根据图像显示部20搭载的DP六轴传感器235、DP磁传感器237或者未图示的触摸传感器的检测值，判定锁定解除操作的有无。

在正显示锁定画面的情况下(步骤S13；是)，CO控制部310将显示系统1的显示模式设为镜像模式(步骤S14)。CO控制部310判定转移到锁定画面的条件是否成立(步骤S15)。转移到锁定画面的条件例如是通过开关337连续进行停止显示系统1的显示的操作、和重新开始显示系统1的显示的操作的情况等。

在转移到锁定画面的条件成立的情况下(步骤S15；是)，CO控制部310在步骤S15待机。在转移到锁定画面的条件不成立的情况下(步骤S15；否)，CO控制部310判定是否进行了锁定解除操作(步骤S16)。锁定解除操作例如是在触摸面板350中以描绘特定轨迹的方式进行触摸的操作、输入特定的字符串的操作。在未进行锁定解除操作、或者对触摸面板350的操作不符合锁定解除操作的情况下，CO控制部310做出否定判定(步骤S16；否)。此时，CO控制部310判定有无结束显示系统1的显示的事件(步骤S17)。结束显示系统1的显示的事件例如是从控制装置300拆下了HMD 100等。在有结束显示的事件的情况下(步骤S17；是)，CO控制部310判定是否结束控制装置300的动作(步骤S18)。在结束动作的情况下(步骤S18；是)，CO控制部310执行结束序列，结束本处理。在不结束动作的情况下(步骤S18；否)，CO控制部310返回步骤S12。

另外，在进行了锁定解除操作的情况下(步骤S16；是)，CO控制部310转移到步骤S18。

在没有结束显示系统1的显示的事件的情况下(步骤S17；否)，CO控制部310返回步骤S15。

另一方面，在显示系统1的显示不为锁定画面的情况下(步骤S13；否)，CO控制部310取得表示在步骤S12之前执行的显示模式、即前一显示模式的信息(步骤S19)。CO控制部310例如将表示当前的显示模式的信息存储在非易失性存储器313中，每当切换显示系统1的显示模式时更新信息。CO控制部310判定前一显示模式是否是镜像模式(步骤S20)。如果前一显示模式是镜像模式(步骤S20；是)，则CO控制部310转移到步骤S14。

如果前一显示模式不是镜像模式(步骤S20；否)，则CO控制部310判定前一显示模式是否是虚拟设备模式(步骤S21)。如果前一显示模式不是虚拟设备模式(步骤S21；否)，则CO控制部310将显示系统1的显示模式设为触控板模式(步骤S22)。CO控制部310判定有无结束显示系统1的显示的事件(步骤S23)，在有结束显示的事件的情况下(步骤S23；是)，转移到步骤S18。在没有结束显示的事件的情况下(步骤S23；否)，CO控制部310在步骤S23中继续触控板模式。

如果前一显示模式是虚拟设备模式(步骤S21；是)，则CO控制部310将显示系统1的显示模式设为虚拟设备模式(步骤S31)。在此，CO控制部310判定是否为使用软件键盘的状态(步骤S32)。在不使用软件键盘的情况下(步骤S32；否)，CO控制部310判定有无结束显示系统1的显示的事件(步骤S33)。在有结束显示的事件的情况下(步骤S33；是)，CO控制部310结束虚拟设备模式(步骤S34)，并转移到步骤S18。在没有结束显示的事件的情况下(步骤S33；否)，CO控制部310返回步骤S31。

在步骤S32中，例如在由应用程序451显示的画面是需要字符输入的画面的情况下，或者在通过触摸面板350的操作指示了字符输入的开始的情况下，CO控制部310做出肯定判定(步骤S32；是)。此时，CO控制部310执行软件键盘模式(步骤S35)。CO控制部310判定软件键盘的输入是否完成(步骤S36)，在输入完成的情况下(步骤S36；是)，返回步骤S31。

在通过软件键盘的输入未完成的情况下(步骤S36；否)，CO控制部310判定有无结束显示系统1的显示的事件(步骤S37)。在有结束显示的事件的情况下(步骤S37；是)，CO控制部310结束软件键盘模式(步骤S38)，并转移到步骤S18。在没有结束显示的事件的情况下(步骤S37；否)，CO控制部310返回步骤S36。

图15是表示控制装置300的动作的流程图，特别表示报知显示模式切换的动作。

CO控制部310在图13以及图14所示的动作的执行中，判定有无显示模式的变更(步骤S51)。在没有显示模式的变更的情况下(步骤S51；否)，在步骤S51待机。在变更了显示模式的情况下(步骤S51；是)，CO控制部310判定显示部205的显示是否随着显示模式的变更而变更(步骤S52)。

例如，在从镜像模式或扩展屏幕模式变更为虚拟设备模式或软件键盘模式时，显示部205的显示发生变更。此外，从虚拟设备模式或软件键盘模式向镜像模式或扩展屏幕模式的变更也同样如此。与此相对，虚拟设备模式中的第1、第2、第3虚拟设备模式之间的变更、或者从虚拟设备模式向软件键盘模式的变更及其相反变更有时不伴有显示部205的显示变更。

当显示部205的显示随着显示模式的变更而变更时(步骤S52；是)，通过显示部205的显示，报知显示模式被变更(步骤S53)。例如，CO控制部310生成用于显示通知显示模式切换的消息的显示数据，并发送到HMD 100。这里，CO控制部310也可以生成用于显示与变更前或变更后的显示模式相关的信息的显示数据，并发送到HMD 100。

当显示部205的显示不随着显示模式的变更而变更时(步骤S52；否)，CO控制部310判定控制装置300是否进入了佩戴图像显示部20的使用者U的视野(步骤S55)。在步骤S55中，CO控制部310判定控制装置300是否位于使用者U通过透过右导光板26以及左导光板28的外部光OL而看到的外景的范围。即，判定使用者U是否处于能够看到触摸面板350的显示的状态。

在步骤S55中，CO控制部310基于例如HMD 100所具有的DP外侧摄像头61的拍摄图像数据进行判定。在该情况下，CO控制部310从拍摄图像数据中检测控制装置300的像，通过确定拍摄图像中的控制装置300的像的位置来进行判定。

在控制装置300处于使用者U的视野的情况下(步骤S55；是)，CO控制部310转移到步骤S53，进行基于显示部205的显示的报知。在控制装置300不处于使用者U的视野的情况下(步骤S55；否)，CO控制部310进行基于振动器326的振动产生和/或基于声音输出部327的声音输出，报知显示模式的切换(步骤S56)。

在步骤S53中，在通过显示部205的显示报知显示模式变更的情况下，CO控制部310也可以一并进行利用振动器326和/或声音输出部327的报知。另外，在步骤S53中，在通过显示部205的显示来报知显示模式变更的情况下，CO控制部310也可以通过触摸面板350来显示报知显示模式变更的字符或图像。

此外，作为报知的方式，CO控制部310可以通过控制装置300具备的压电振动部产生振动，也可以通过压电蜂鸣器产生声音。此外，CO控制部310也可以通过振动器326、声音输出部327、上述压电振动部以及上述压电蜂鸣器，产生声音和振动双方。例如，CO控制部310也可以基于预先存储在非易失性存储器313中的声音数据，产生蜂鸣声、点击声、人的声音那样的声音。另外，CO控制部310除了通过振动或声音进行报知以外，还可以通过画面显示进行报知，例如，可以使图像显示部20的显示状态与振动或声音同步地变化。

此外，当控制装置300通过通信部342连接到耳机或扬声器等外部声音输出装置时，CO控制部310可以通过通信部342执行通信，从而通过外部声音输出装置的声音输出来进行报知。

另外，在控制装置300通过通信部342与具有振动产生部的外部装置连接的情况下，CO控制部310也可以执行基于通信部342的通信，通过使外部装置产生振动来进行报知。

另外，CO控制部310除了振动、声音的输出以外，还可以通过图像显示部20显示的图像的闪烁、图像显示部20的文本显示来进行报知。

并且，控制装置300也可以具有使用LED等的发光部，通过发光部的点亮或闪烁来进行报知。可以除了振动或声音的输出以外还执行该报知，或者也可以代替振动或声音的输出而执行该报知。另外，图像显示部20也可以是在使用者U佩戴了图像显示部20的状态下能看到的位置处具有使用了LED等的发光部的结构，在该情况下，可以除了振动或声音的输出以外还执行基于图像显示部20的发光部的报知，或者代替振动或声音的输出而执行基于图像显示部20的发光部的报知。

[8.实施方式的作用及效果]

如以上所说明那样，应用了本发明的实施方式的显示系统1包含具有图像显示部20的HMD 100和连接到HMD 100的控制装置300。控制装置300具有LCD 331和重叠配置于LCD331的触摸传感器336。在控制装置300中，能够切换地执行包含第1用户界面和第2用户界面的多个用户界面。第1用户界面在LCD 331上显示第1输入用画面，检测触摸传感器336的输入。第2用户界面在LCD 331上显示第2输入用画面，检测触摸传感器336的输入。显示系统1在进行用户界面的切换时进行报知。

由显示系统1执行的显示方法是，在控制装置300中切换地执行包含第1用户界面和第2用户界面的多个用户界面。第1用户界面在LCD 331上显示第1输入用画面，检测触摸传感器336的输入。第2用户界面在LCD 331上显示第2输入用画面，检测触摸传感器336的输入。显示系统1在进行用户界面的切换时进行报知。

在控制装置300中，CO控制部310执行的程序切换地执行包含第1用户界面和第2用户界面的多个用户界面。第1用户界面在LCD 331上显示第1输入用画面，检测触摸传感器336的输入。第2用户界面在LCD 331上显示第2输入用画面，检测触摸传感器336的输入。显示系统1在进行用户界面的切换时进行报知。

第1用户界面相当于例如镜像模式、扩展屏幕模式、触控板模式、虚拟设备模式、软件键盘模式中的任意一个。第2用户界面相当于例如镜像模式、扩展屏幕模式、触控板模式、虚拟设备模式、软件键盘模式中的除第1用户界面以外的任意一个。第1输入用画面例如是主页画面515、操作画面518、触控板画面524、输入设备画面531、532、533、键盘画面542、543中的任意一个，相当于与第1用户界面对应的画面。第2输入用画面例如是主页画面515、操作画面518、触控板画面524、输入设备画面531、532、533、键盘画面542、543中的任意一个，相当于与第2用户界面对应的画面。

根据显示系统1、显示系统1执行的显示方法以及上述程序，在切换触摸面板350上显示的画面和输入方法不同的多个显示模式时，能够对使用者U通知用户界面的变更。因此，使用者U能够可靠地识别用户界面的切换。因此，在使用者U能够观看显示部205以及触摸面板350的显示系统1中，在触摸面板350上显示各种用户界面，使用者U能够以高自由度进行输入操作。并且例如，即使将使用者U的指示以外的事件作为触发来切换用户界面，使用者U也能够舒适地进行操作。因此，根据显示系统1的工作状态，即使以各种方式变更用户界面，也不会损害使用者U的操作性。因此，能够自由地变更多个用户界面，使用者U能够以高自由度操作显示系统1。

显示系统1在进行用户界面的切换时，根据与用户界面切换相伴的图像显示部20的显示变化，对基于控制装置300的报知和基于图像显示部20的报知进行切换。

例如，显示系统1在进行不伴有图像显示部20的显示变化的用户界面切换时，通过控制装置300进行报知，在进行伴有图像显示部20的显示变化的用户界面切换时，通过HMD100进行报知。

根据该结构，在切换触摸面板350上显示的画面和输入方法不同的多个显示模式时，能够以使用者U能够容易识别的方式对使用者U通知用户界面的变更。因此，使用者U能够可靠地识别用户界面的切换。例如，使用者U即使不注视触摸面板350，也能够得知用户界面的变更。因此，能够自由地变更多个用户界面，使用者U能够以高自由度操作显示系统1。

控制装置300具有振动器326和/或声音输出部327。在进行不伴有图像显示部20的显示变化的用户界面切换时，通过振动器326和/或声音输出部327进行报知。由此，能够在显示部205的显示不随着用户界面的变更而变化的情况下，对使用者U通知用户界面的变更。因此，使用者U不需要注视触摸面板350，就能够以高自由度进行输入操作。

控制装置300在进行伴有图像显示部20的显示变化的用户界面切换时，也可以进行基于振动器326和/或声音输出部327的报知、以及图像显示部20中的报知。此时，在显示部205的显示随着用户界面的变更而变化的情况下，能够更可靠地对使用者U通知用户界面的变更。例如，即使在使用者U未注视显示部205和触摸面板350双方的情况下，也能够将用户界面的变更通知给使用者U。

控制装置300在进行伴有图像显示部20的显示变化的用户界面切换时，通过图像显示部20显示与LCD 331的用户界面相关的信息。由此，与用户界面的变更相伴，能够对使用者U通知与变更后的用户界面相关的信息。

HMD 100是具有佩戴于使用者头部的图像显示部20的头部佩戴型显示装置。图像显示部20是使外景透过而以能够与外景重叠地看到图像的方式进行显示的透过型显示部。在进行用户界面切换时透过图像显示部20未看到控制装置300的情况下，通过控制装置300报知用户界面的切换。由此，即使在使用者U看不到触摸面板350的情况下，也能够可靠地将用户界面的变更通知给使用者U。

在进行用户界面切换时透过图像显示部20看到控制装置300的情况下，也可以不通过控制装置300报知用户界面的切换。在这种情况下，由于在不妨碍操作性的情况下抑制对使用者U的报知频率，所以能够期待操作性的提高。

显示系统1包含具有图像显示部20的HMD 100和连接到HMD 100的控制装置300。控制装置300具有LCD 331和重叠配置于LCD 331的触摸传感器336。控制装置300具有应用程序执行部450，该应用程序执行部450执行利用触摸传感器336的检测数据的应用程序451。控制装置300具有用于取得触摸传感器336的检测数据的内核410。控制装置300具有HAL430，该HAL 430向应用程序执行部450通知包含触摸传感器336的检测数据的输入数据441和触摸传感器336的操作事件。根据显示在LCD 331上的用户界面，变更由HAL 430通知给应用程序执行单元450的操作事件的种类和检测数据中的至少任意一个。

根据该结构，通过切换用户界面，能够对应用程序451提供不同的输入数据442。因此，能够在控制装置300中实现适合于使用者U的操作、要执行的应用程序451的种类的用户界面。并且，通过用户界面变更输入数据442，由此不需要与用户界面对应地变更应用程序451的功能和处理。因此，即使在执行与用户界面切换不对应的应用程序451的情况下，也能够变更用户界面。因此，能够不受应用程序451的规格制约，自由地变更多个用户界面，使用者U能够以高自由度操作显示系统1。

本发明不限于在上述各实施方式中说明的结构，在不脱离其主旨的范围内能够以各种方式实施。

例如，例示了显示系统1具有作为头部佩戴型显示装置的HMD 100的结构，但本发明不限于此，可以采用各种显示装置。例如，可以替代图像显示部20，采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者U的左眼对应地显示图像的显示部、和与使用者U的右眼对应地显示图像的显示部即可。此外，本发明的显示装置例如可以构成为搭载于汽车或飞机等车辆的头戴式显示器。此外，例如也可以构成为内置于头盔等身体防护器具的头戴式显示器。在该情况下，能够设对相对于使用者U身体的位置进行定位的部分、和针对该部分进行定位的部分为佩戴部。

HMD 100是作为本发明的应用对象的显示装置的一例，并不限定于图3所示的结构。例如，在上述实施方式中，以图像显示部20和连接装置10分离的结构为例进行了说明，但也可以是连接装置10和图像显示部20构成为一体并佩戴于使用者U头部的结构。此外，图像显示部20的光学系统的结构是任意的，例如，可以使用位于使用者U的眼睛前方并与使用者U视野的一部分或全部重叠的光学部件。或者，也可以采用使激光等进行扫描而形成图像光的扫描方式的光学系统。或者，不限于在光学部件的内部对图像光进行引导，也可以仅具有朝向使用者U的眼睛使图像光折射和/或反射而进行引导的功能。

另外，作为显示装置，也可以采用在液晶显示面板上显示图像的液晶监视器或液晶电视。也可以使用具有等离子体显示面板、有机EL显示面板的显示装置。该情况下，显示面板相当于本发明的显示部。并且，作为显示装置，也可以使用将图像光投射于屏幕等的投影仪。

并且例如，在图3所示的HMD 100中，连接装置10可以利用USB-C型连接器、USB-C型控制器和USB集线器来构成。在该情况下，也可以将DP外侧摄像头61、其他传感器与USB集线器连接。另外，作为控制图像显示部20中的右显示部22和左显示部24的显示的控制器，也可以将向右显示部22和左显示部24输出显示数据的FPGA配置在右显示部22和左显示部24中的任意一个上。在这种情况下，连接装置10可以包含将USB-C型控制器和FPGA连接起来的桥控制器。另外，在图像显示部20中，也可以构成为将DP六轴传感器235、DP磁传感器237、EEPROM 215等安装在与FPGA相同的基板上。其他传感器的配置也可以适当变更。例如，距离传感器64、DP照度传感器65也可以配置在适于测量或检测的位置处，并构成为与FPGA、USB-C型控制器连接。

此外，包含OLED单元221、241的显示装置的具体规格也不受限制，例如，OLED单元221和241可以不具有相同的结构。

图3、图4所示的各功能块中的至少一部分可以通过硬件来实现，也可以是通过硬件与软件的协作实现的结构，不限定于如图中所示地配置独立的硬件资源的结构。另外，对于处理器311所执行的程序，也可以构成为经由通信部342或者I/F部343取得并执行存储在外部装置中的程序。