数据处理装置、显示系统和数据处理方法

技术领域

本发明涉及数据处理装置、显示系统和数据处理方法。

背景技术

以往，公知有如下技术：在具有传感器的终端装置与具有传感器的显示装置连接的情况下，切换终端装置具有的传感器和显示装置具有的传感器而进行利用(例如参照专利文献1)。在专利文献1记载的系统中，在使用显示装置的用户进行了切换指示的情况下，对利用来自终端装置具有的传感器的传感器数据的处理和利用来自显示装置具有的传感器的传感器数据的处理进行切换。

专利文献1：日本特开2019-114049公报

发明内容

在专利文献1所记载的结构中，终端装置和显示装置能够拆装。在这种结构中，期望即使用户不指示切换，也根据有无连接显示装置来进行切换。

用于解决课题的手段

解决上述课题的一个方式是一种数据处理装置，其具有：第1传感器；连接部，其与具有第2传感器以及显示部的显示装置连接；应用程序执行部，其执行利用传感器的检测数据的应用程序；以及传感器数据提供部，其对所述应用程序执行部提供第1标准传感器的检测数据，所述传感器数据提供部具有取得所述第1传感器的检测数据的第1数据取得部和取得所述第2传感器的检测数据的第2数据取得部，在所述连接部与所述显示装置连接的情况下，所述传感器数据提供部提供由所述第2数据取得部取得的所述检测数据作为所述第1标准传感器的检测数据，继续进行由所述第1数据取得部取得所述第1传感器的检测数据的动作，在所述连接部未与所述显示装置连接的情况下，所述传感器数据提供部提供由所述第1数据取得部取得的所述检测数据作为所述第1标准传感器的检测数据。

解决上述课题的另一个方式是一种显示系统，其具备数据处理装置和显示装置，该数据处理装置具有第1传感器，该显示装置具有第2传感器和显示部，其中，所述数据处理装置具有：连接部，其与所述显示装置连接；应用程序执行部，其执行利用传感器的检测数据的应用程序；以及传感器数据提供部，其对所述应用程序执行部提供第1标准传感器的检测数据，所述应用程序执行部执行对所述显示装置输出由所述显示部显示的显示数据或对所述显示部的显示进行控制的显示控制数据的所述应用程序，所述传感器数据提供部具有取得所述第1传感器的检测数据的第1数据取得部和取得所述第2传感器的检测数据的第2数据取得部，在所述连接部与所述显示装置连接的情况下，所述传感器数据提供部提供由所述第2数据取得部取得的所述检测数据作为所述第1标准传感器的检测数据，继续进行由所述第1数据取得部取得所述第1传感器的检测数据的动作，在所述连接部未与所述显示装置连接的情况下，所述传感器数据提供部提供由所述第1数据取得部取得的所述检测数据作为所述第1标准传感器的检测数据，所述显示装置按照从所述数据处理装置输入的所述显示数据或所述显示控制数据在所述显示部中进行显示。

解决上述课题的又一个方式是一种数据处理方法，该数据处理方法利用了数据处理装置和显示装置，该数据处理装置具有第1传感器，该显示装置具有第2传感器和显示部，其中，通过所述数据处理装置进行以下处理：执行利用传感器的检测数据的应用程序，根据取得所述第1传感器的检测数据的第1数据取得部和取得所述第2传感器的检测数据的第2数据取得部所取得的数据，对所述应用程序提供第1标准传感器的检测数据，在所述显示装置与所述数据处理装置连接的情况下，提供由所述第2数据取得部取得的所述检测数据作为所述第1标准传感器的检测数据，继续进行由所述第1数据取得部取得所述第1传感器的检测数据的动作，在所述显示装置未与所述数据处理装置连接的情况下，提供由所述第1数据取得部取得的所述检测数据作为所述第1标准传感器的检测数据。

附图说明

图1是示出显示系统的概略结构的图。

图2是示出图像显示部的光学系统的结构的主要部分俯视图。

图3是显示系统的框图。

图4是控制装置的框图。

图5是示出控制装置的软件平台的结构的示意图。

图6是控制装置的第1状态下的平台的示意图。

图7是控制装置的第2状态下的平台的示意图。

图8是示出控制装置的动作的流程图。

图9是控制装置的第1状态下的平台的示意图。

图10是控制装置的第2状态下的平台的示意图。

标号说明

10：连接装置；11A：连接器；11D：连接器；20：图像显示部(显示部)；61：DP外侧摄像头；64：距离传感器；65：DP照度传感器；100：HMD(显示装置)；101：第2传感器；102：第4传感器；110：接口部；120：DP控制部；235：DP6轴传感器；237：DP磁传感器；300：控制装置(数据处理装置)；301：第1传感器；302：第3传感器；310：CO控制部；311：处理器；312：存储器；313：非易失性存储器；321：GNSS；322：CO摄像头；323：CO6轴传感器；324：CO磁传感器；325：CO照度传感器；330：CO显示部；331：LCD；335：CO输入部；336：触摸传感器；337：开关；341：电池；342：通信部；343：接口部(连接部)；350：第1传感器组；400：平台；401：传感器数据提供部；410：内核；411：传感器驱动器(第2数据取得部)；412：传感器驱动器(第4数据取得部)；413：UVC摄像头驱动器；414：6轴传感器驱动器；415：磁传感器驱动器；416：照度传感器驱动器；418：接口驱动器；421：内置传感器驱动器(第1数据取得部)；422：内置传感器驱动器(第3数据取得部)；423：内置摄像头驱动器；424：内置6轴传感器驱动器；425：内置磁传感器驱动器；426：内置照度传感器驱动器；430：HAL；431、432：标准传感器事件；433、434：扩展传感器事件；440：框架；441：标准传感器数据(第1标准传感器的检测数据)；442：标准传感器数据(第2标准传感器的检测数据)；443：扩展传感器数据(扩展传感器的检测数据)；444：扩展传感器数据(扩展传感器的检测数据)；450：应用程序执行部；451：应用程序；454：系统应用程序；455：AR显示应用程序；U：使用者。

具体实施方式

[1.显示系统的结构]

下面，参照附图对应用了本发明的实施方式进行说明。

图1是示出显示系统1的概略结构的图。

显示系统1具有HMD100和控制装置300。HMD100是具有佩戴于使用者U的头部的图像显示部20、并使使用者看到图像或影像的头部佩戴型的显示装置。HMD是Head MountedDisplay的简写。

HMD100具有与图像显示部20连接的连接装置10。连接装置10作为使HMD100与不同于HMD100的装置连接的接口发挥功能。在显示系统1中，控制装置300与连接装置10连接。

在以下的说明和附图中，为了便于说明，对构成HMD100的若干个功能部的名称标注接头词DP，对构成控制装置300的若干个功能部的名称标注接头词CO。

控制装置300是具有显示字符和图像的LCD331的可携带的尺寸的终端装置，例如能够使用智能手机。LCD是Liquid Crystal Display的简写。控制装置300对应于本发明的数据处理装置的一例，显示系统1也可以具有其他种类的装置作为数据处理装置。例如，数据处理装置也可以是台式个人计算机、笔记本型个人计算机、平板型个人计算机等。

连接装置10在箱形的壳体内具有连接器11A和连接器11D。连接器11A经由连接缆线40与图像显示部20连接，连接器11D经由USB缆线46与控制装置300连接。由此，图像显示部20和控制装置300以相互能够收发数据的方式连接。例如，控制装置300将用于供图像显示部20显示影像的影像数据和声音数据输出到图像显示部20。此外，例如，图像显示部20如后述那样向控制装置300发送图像显示部20具有的各种传感器的检测数据。进而，控制装置300也可以能够对图像显示部20供给电力。USB是Universal Serial Bus的简写。

使用USB缆线46将连接装置10和控制装置300连接起来的结构只不过是一例，连接装置10和控制装置300的具体连接方式没有限制。例如，可以使用其他种类的缆线进行有线连接，也可以经由无线通信进行连接。例如，在USB缆线46与USB-TypeC标准的连接器11D连接的结构中，能够通过USB缆线46供给20伏特的直流电流，作为USB-TypeC的代替模式的功能，能够传输HDMI标准的影像数据等。HDMI和MHL是注册商标。

图像显示部20在具有右保持部21、左保持部23和前部框架27的主体中具有右显示部22、左显示部24、右导光板26和左导光板28。图像显示部20对应于本发明的显示部的一例。

右保持部21和左保持部23从前部框架27的两端部向后方延伸，将图像显示部20保持于使用者U的头部。右保持部21与前部框架27中的位于使用者U的右侧的端部ER连结，左保持部23与位于使用者U的左侧的端部EL连结。

右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者U的右眼的眼前，使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于使用者U的左眼的眼前，使左眼看到图像。右导光板26和左导光板28是由透光性的树脂等形成的光学部，将右显示部22和左显示部24输出的图像光引导至使用者U的眼睛。右导光板26和左导光板28例如是棱镜。

前部框架27具有使右导光板26的一端和左导光板28的一端彼此连结的形状，其连结位置在使用者U佩戴图像显示部20的佩戴状态下对应于使用者U的眉间。前部框架27也可以具有在图像显示部20的佩戴状态下抵接于使用者U的鼻子的鼻托部，也可以构成为使带与右保持部21以及左保持部23连结，利用带将图像显示部20保持于使用者U的头部。

右显示部22和左显示部24分别是对光学单元和周边电路进行单元化的模块。右显示部22通过右导光板26显示图像，左显示部24通过左导光板28显示图像。右显示部22设置于右保持部21，左显示部24设置于左保持部23。

由右导光板26引导的图像光和透过了右导光板26的外光入射到使用者U的右眼。同样，由左导光板28引导的图像光和透过了左导光板28的外光入射到左眼。来自右导光板26和左导光板28的图像光以及透过右导光板26和左导光板28的外光入射到使用者U的眼睛。由此，使用者U重叠地看到图像显示部20显示的图像以及透过右导光板26和左导光板28的外景。

在前部框架27上配置有DP照度传感器65。DP照度传感器65是接收来自佩戴图像显示部20的使用者U的前方的外光的传感器。通过DP照度传感器65，能够检测透过右导光板26和左导光板28而入射到使用者U的眼睛的外光的照度和光量。

DP外侧摄像头61设置于前部框架27中的不遮挡透过右导光板26和左导光板28的外光的位置。DP外侧摄像头61是具有CCD或CMOS等摄像元件和摄像镜头等的数字摄像头，可以是单目摄像头，也可以是立体摄像头。DP外侧摄像头61的视场角包含佩戴了图像显示部20的使用者U透过右导光板26和左导光板28而看到的外景的范围的至少一部分。DP外侧摄像头61可以是广角摄像头，也可以是能够拍摄佩戴了图像显示部20的使用者U看到的外景的整体的摄像头。CCD是Charge Coupled Device的简写，CMOS是Complementary MetalOxide Semiconductor的简写。

在前部框架27上配置有LED指示器67，该LED指示器67在DP外侧摄像头61的动作中点亮。

在前部框架27上设置有距离传感器64，该距离传感器64检测与位于预先设定的测定方向上的测定对象物之间的距离。距离传感器64例如是使用LED或激光二极管等的光反射式距离传感器、红外线式深度传感器、超声波式的距离传感器或激光距离扫描仪。距离传感器64也可以是组合了图像检测和声音检测的距离检测单元、对通过摄像头的立体拍摄而得到的图像进行处理并检测距离的装置。距离传感器64的测定方向例如是使用者U透过右导光板26和左导光板28看到的外景的方向。

右显示部22和左显示部24分别通过连接缆线40与连接装置10连接。连接缆线40具有音频连接器36。在音频连接器36连接有头戴式耳机30，该头戴式耳机30具有构成立体声耳机的右耳机32和左耳机34以及麦克风63。右耳机32和左耳机34根据连接装置10输出的声音信号而输出声音。麦克风63收集声音并将声音信号输出到连接装置10。

[2.图像显示部的光学系统的结构]

图2是示出图像显示部20的光学系统的结构的主要部分俯视图。在图2中，为了进行说明，图示了使用者U的左眼LE和右眼RE。

右显示部22和左显示部24例如左右对称地构成。

作为使右眼RE看到图像的结构，右显示部22具有发出图像光的OLED单元221和将OLED单元221发出的图像光L引导至右导光板26的右光学系统251。OLED是Organic LightEmitting Diode的简写。

OLED单元221具有OLED面板223和驱动OLED面板223的OLED驱动电路225。OLED面板223例如是配置了分别发出R、G、B的色光的发光元件的自发光型显示面板。OLED驱动电路225按照DP控制部120的控制对OLED面板223进行驱动。OLED驱动电路225例如安装于未图示的基板，该基板固定于OLED面板223的背面，在该基板上安装有图3所示的温度传感器217。

右光学系统251通过准直透镜使从OLED面板223射出的图像光L成为平行状态的光束，使其入射到右导光板26。在右导光板26的内部，图像光L在多个反射面反射，在位于右眼RE的眼前的半反射镜261上反射，朝向右眼RE从右导光板26射出。

作为使左眼LE看到图像的结构，左显示部24具有发出图像光的OLED单元241和将OLED单元241发出的图像光L引导至左导光板28的左光学系统252。

OLED单元241具有OLED面板243和驱动OLED面板243的OLED驱动电路245。OLED面板243例如是配置了分别发出R、G、B的色光的发光元件的自发光型显示面板。OLED驱动电路245按照DP控制部120的控制对OLED面板243进行驱动。OLED驱动电路245例如安装于未图示的基板，该基板固定于OLED面板243的背面，在该基板上安装有图3所示的温度传感器239。

左光学系统252通过准直透镜使从OLED面板243射出的图像光L成为平行状态的光束，使其入射到左导光板28。在左导光板28的内部，图像光L在多个反射面反射，在位于左眼LE的眼前的半反射镜261上反射，朝向左眼LE而从左导光板28射出。

HMD100作为透过型的显示装置发挥功能。即，在半反射镜261上反射后的图像光L和透过了右导光板26的外光OL入射到使用者U的右眼RE。在半反射镜281上反射后的图像光L和透过了半反射镜281的外光OL入射到左眼LE。HMD100使在内部处理后的图像的图像光L和外光OL重叠地入射到使用者U的眼睛。因此，使用者U透过右导光板26和左导光板28看到外景，与该外景重叠地看到基于图像光L的图像。半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光并取出图像的图像取出部，构成显示部。

[3.HMD的控制系统]

图3是显示系统1的框图，特别地，详细示出HMD100的结构。

在图像显示部20中，右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接缆线40连接的右接口部211、接收经由右接口部211从连接装置10输入的数据的接收部213和EEPROM215。右接口部211使接收部213、EEPROM215、温度传感器217、DP外侧摄像头61、距离传感器64、DP照度传感器65以及LED指示器67与连接装置10连接。接收部213使OLED单元221与连接装置10连接。

左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接缆线40连接的左接口部231和接收经由左接口部231从连接装置10输入的数据的接收部233。在左显示部基板230上安装有DP6轴传感器235和DP磁传感器237。

左接口部231使接收部233、DP6轴传感器235、DP磁传感器237以及温度传感器239与连接装置10连接。接收部233使OLED单元241与连接装置10连接。

在本实施方式的说明和附图中，I/F是接口的简写。EEPROM是ElectricallyErasable Programmable Read-Only Memory的简写。有时将接收部213和接收部233分别记为Rx213、Rx233。

EEPROM215非易失性地存储各种数据。EEPROM215例如存储与图像显示部20具有的OLED单元221、241的发光特性、显示特性有关的数据、与右显示部22或左显示部24具有的传感器的特性有关的数据等。具体而言，以能够由DP控制部120读取的方式存储OLED单元221、241的伽马校正的参数、对温度传感器217、239的检测值进行补偿的数据等。

DP外侧摄像头61按照经由右接口部211输入的信号执行摄像，将摄像图像数据输出到右接口部211。DP照度传感器65接收外光，输出与受光量或受光强度对应的检测值。LED指示器67按照经由右接口部211输入的控制信号或驱动电流进行点亮。

温度传感器217检测OLED单元221的温度，输出与检测温度对应的电压值或电阻值作为检测值。

距离传感器64将表示检测到距离的检测结果的信号经由右接口部211输出到连接装置10。

接收部213接收经由右接口部211从连接装置10传输的显示用的影像数据，将其输出到OLED单元221。OLED单元221显示基于连接装置10传输的影像数据的影像。

另外，接收部233接收经由左接口部231从连接装置10传输的显示用的影像数据，将其输出到OLED单元241。OLED单元221、241显示基于连接装置10传输的影像数据的影像。

DP6轴传感器235是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器。DP磁传感器237例如是3轴的地磁传感器。DP6轴传感器235和DP磁传感器237可以是上述各传感器模块化而成的IMU，可以是使DP6轴传感器235和DP磁传感器237一体化的模块。IMU是Inertial Measurement Unit的简称。温度传感器239检测OLED单元241的温度。DP6轴传感器235、DP磁传感器237和温度传感器239分别将检测值输出到连接装置10。

图像显示部20的各部利用通过连接缆线40从连接装置10供给的电力进行动作。图像显示部20在右显示部22中具有电源部229，在左显示部24中具有电源部249。电源部229将连接装置10经由连接缆线40供给的电力分配给包含右显示部基板210在内的右显示部22的各部而进行供给。电源部249将连接装置10经由连接缆线40供给的电力分配给包含左显示部基板230在内的左显示部24的各部而进行供给。电源部229、249也可以具有对电压进行转换的转换电路等。

连接装置10具有接口部110、DP控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145和声音处理部147。

接口部110具有连接器11D和通过连接器11D执行基于各种通信标准的通信协议的接口电路。接口部110例如是安装了连接器11D和接口电路的接口基板。接口部110可以具有能够连接外部的存储装置和存储介质的存储卡用接口等，也可以利用无线通信接口构成接口部110。

DP控制部120具有CPU或微型计算机等处理器，该处理器执行程序，由此对连接装置10的各部进行控制。DP控制部120可以具有构成处理器的工作区的RAM。RAM是RandomAccess Memory的简写。

DP控制部120与非易失性存储部130、操作部140、连接部145以及声音处理部147连接。非易失性存储部130是非易失性地存储DP控制部120执行的程序和数据的ROM。ROM是Read Only Memory的简写。

传感器控制部122使图像显示部20具有的各传感器进行动作。这里，各传感器是DP外侧摄像头61、距离传感器64、DP照度传感器65、温度传感器217、DP6轴传感器235、DP磁传感器237和温度传感器239的各个传感器。各传感器至少包含DP外侧摄像头61、DP照度传感器65、DP6轴传感器235和DP磁传感器237中的任意一个以上。传感器控制部122按照DP控制部120的控制进行各传感器的采样周期的设定和初始化，对应于各传感器的采样周期而执行对各传感器的通电、控制数据的发送、检测值的取得等。

传感器控制部122在预先设定的定时将表示各传感器的检测值和检测结果的检测数据输出到接口部110。这里，与其他传感器的检测值、检测结果同样，将DP外侧摄像头61的摄像图像数据称为检测数据。

传感器控制部122可以具有将模拟信号转换为数字数据的A/D转换器。该情况下，传感器控制部122将从图像显示部20的传感器取得的检测值和检测结果的模拟信号转换为检测数据并进行输出。传感器控制部122也可以从图像显示部20的传感器取得检测值和检测结果的数字数据，进行数据格式的转换和输出定时的调整等，将检测数据输出到接口部110。

通过传感器控制部122的动作，与接口部110连接的控制装置300能够取得HMD100的各传感器的检测值、DP外侧摄像头61的摄像图像数据。

传感器控制部122也可以输出根据上述各传感器的检测值进行运算处理后的结果作为检测数据。例如，传感器控制部122也可以统合地对多个传感器的检测值和检测结果进行处理，作为所谓传感器融合处理部发挥功能。该情况下，传感器控制部122也可以通过传感器融合而生成图像显示部20的各传感器中不包含的虚拟传感器的检测数据。例如，传感器控制部122也可以输出表示图像显示部20移动的轨迹的轨迹数据、表示图像显示部20在三维空间中的位置的坐标数据、表示图像显示部20的方向的方向数据作为检测数据。这里，坐标数据可以是表示以连接装置10的位置为基准的相对坐标的数据，也可以是表示相对于图像显示部20所在的空间中设定的基准位置的位置的数据。方向数据可以是表示以连接装置10的位置和方向为基准的方向的数据，也可以是表示相对于图像显示部20所在的空间中设定的基准位置的方向的数据。

传感器控制部122在与通过USB缆线46而与连接器11D连接的装置之间执行通信协议，输出检测数据。

显示控制部124根据输入到接口部110的影像数据或显示数据，执行用于使图像显示部20显示图像的各种处理。在本实施方式中，通过由USB-TypeC连接器构成的连接器11D，以USB-TypeC的代替模式传输影像数据。显示控制部124例如执行帧的切出、分辨率转换、缩放、中间帧生成、帧率转换等各种处理。显示控制部124将与OLED单元221、241对应的影像数据输出到连接部145。输入到连接部145的影像数据作为图像信号201从连接器11A传输到右接口部211和左接口部231。显示控制部124按照输入到接口部110的显示控制数据对图像显示部20的显示状态进行调整和变更。

处理器执行程序，由此，可以通过软件和硬件的协作来实现传感器控制部122和/或显示控制部124。即，传感器控制部122和显示控制部124由处理器构成，通过执行程序来执行上述动作。在该例中，构成DP控制部120的处理器执行程序，由此可以实现传感器控制部122和显示控制部124。换言之，处理器执行程序，由此，可以作为DP控制部120、显示控制部124和传感器控制部122发挥功能。这里，处理器可以说是计算机。传感器控制部122和显示控制部124可以具有用于进行数据处理的工作存储器，也可以利用DP控制部120的存储器进行处理。

显示控制部124和传感器控制部122也可以由DSP或FPGA等程序化的硬件构成。此外，也可以对传感器控制部122和显示控制部124进行统合而构成为SoC-FPGA。DSP是Digital Signal Processor的简写，FPGA是Field Programmable Gate Array的简写，SoC是System-on-a-Chip的简写。

电源控制部126是如下电路：与连接器11D连接，根据从连接器11D供给的电力对连接装置10的各部和图像显示部20供给电源。

操作部140检测连接装置10具有的开关等的操作，将表示操作内容的数据输出到DP控制部120。

声音处理部147按照从DP控制部120输入的声音数据生成声音信号，将其输出到连接部145。该声音信号从连接部145经由音频连接器36输出到右耳机32和左耳机34。声音处理部147生成麦克风63收集的声音的声音数据，将其输出到DP控制部120。与图像显示部20具有的传感器的检测数据同样，声音处理部147输出的声音数据也可以由传感器控制部122进行处理。

[4.控制装置的结构]

图4是控制装置300的框图。

控制装置300具有CO控制部310。CO控制部310具有处理器311、存储器312和非易失性存储器313。处理器311由CPU、微型计算机、DSP等构成，执行程序，由此对控制装置300的各部进行控制。存储器312形成处理器311的工作区。非易失性存储器313由半导体存储器件等构成，非易失性地存储处理器311执行的程序、由处理器311处理的各种数据。例如，非易失性存储器313存储作为处理器311执行的基本控制程序的操作系统和在操作系统上进行动作的应用程序等。此外，非易失性存储器313存储了在执行应用程序时被处理的数据和处理结果的数据。下面，将操作系统简写为OS。

CO控制部310也可以是统合了处理器311、存储器312和非易失性存储器313的SoC。

CO控制部310与GNSS321、CO摄像头322、CO6轴传感器323、CO磁传感器324、CO照度传感器325、CO显示部330以及CO输入部335连接。

GNSS321利用卫星定位系统进行定位，将控制装置300的位置输出到CO控制部310。GNSS是Global Navigation Satellite System的简写。

CO摄像头322是设置于控制装置300的主体上的数字摄像头，例如与LCD331相邻地配置，拍摄与LCD331对置的方向。CO摄像头322按照CO控制部310的控制来执行摄像，将摄像图像数据输出到CO控制部310。

CO6轴传感器323是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器，将表示检测值的检测数据输出到CO控制部310。CO磁传感器324例如是3轴的地磁传感器，将表示检测值的检测数据输出到CO控制部310。CO6轴传感器323和CO磁传感器324可以是上述各传感器模块化而成的IMU，也可以是使CO6轴传感器323和CO磁传感器324一体化的模块。

CO照度传感器325接收外光，将表示与受光量或受光强度对应的检测值的检测数据输出到CO控制部310。

CO显示部330具有LCD331，按照CO控制部310的控制使LCD331显示字符和图像。

CO输入部335检测针对触摸传感器336和开关337的操作，将表示检测到的操作的操作数据输出到CO控制部310。触摸传感器336重叠配置于LCD331的表面，检测使用者U进行的接触操作和按压操作。开关337例如是控制装置300的电源开关、音量调整开关等硬件开关。

CO控制部310与电池341、通信部342以及接口部343连接。

电池341是内置于控制装置300的主体的二次电池，向控制装置300的各部供给电力。电池341也可以具有对电力的输出和二次电池的充电进行控制的未图示的控制电路。

通信部342支持Bluetooth或Wi-Fi等无线通信协议，与显示系统1的外部的装置执行无线通信。Bluetooth和Wi-Fi是注册商标。通信部342也可以构成为利用LTE或第5代移动通信系统等移动通信网络执行移动数据通信。LTE是注册商标。

接口部343具有连接有数据通信缆线的未图示的连接器和通过连接器执行基于各种通信标准的通信协议的接口电路。例如，接口部343具有基于USB标准的连接器和接口电路，通过USB缆线46收发数据。接口部343对应于本发明的连接部的一例。

在本实施方式中，控制装置300经由接口部343向HMD100发送影像数据，从HMD100接收传感器的检测数据。此外，控制装置300经由接口部343向HMD100供给电力。

例示如下的结构：本实施方式的接口部343具有USB接口，控制装置300使用与接口部343连接的USB缆线46与HMD100收发数据。

控制装置300例如也可以通过通信部342与HMD100执行无线数据通信。该情况下，通信部342对应于本发明的连接部的一例。

[5.软件平台的结构]

图5是示出控制装置300的软件平台的结构的示意图。控制装置300构成如下的平台400：处理器311执行操作系统，通过硬件和软件的协作使应用软件进行动作。

处理器311执行的操作系统由包含处理器311执行的程序的执行文件和在该程序中处理的数据文件等在内的文件组构成。作为控制装置300的操作系统，例如可举出Android、iOS、iPad OS、Windows、Mac OS、Linux、Unix、Tron等通用操作系统。处理器311执行的操作系统也可以对上述通用操作系统的一部分进行改变。Android、iOS、iPad、Windows、Linux、Unix和Tron是注册商标。Mac是商标。

平台400构成为包含大量的功能模块。图5示出平台400的功能模块的一部分。具体而言，示出涉及如下功能的平台400的结构：从控制装置300具有的第1传感器组350和图像显示部20具有的第2传感器组150取得检测数据并进行处理。

第1传感器组350包含控制装置300具有的传感器的至少一部分。在本实施方式中，第1传感器组350例如举出包含CO摄像头322、CO6轴传感器323、CO磁传感器324和CO照度传感器325的例子。第2传感器组150包含HMD100具有的传感器的至少一部分。在本实施方式中，举出包含DP外侧摄像头61、DP6轴传感器235、DP磁传感器237和DP照度传感器65的例子。

优选第1传感器组350和第2传感器组150包含同种传感器。同种传感器是检测对象、输出的检测数据的种类、检测数据所表示的信息中的任意一方相通。更狭义地讲，关于同种传感器，将检测数据的种类和检测数据所表示的信息相通的多个传感器称为同种传感器。在图5的例子中，CO摄像头322和DP外侧摄像头61是同种传感器。同样，CO6轴传感器323和DP6轴传感器235是同种传感器，CO磁传感器324和DP磁传感器237是同种传感器，CO照度传感器325和DP照度传感器65是同种传感器。

第2传感器组150中包含的各种传感器通过接口部110、USB缆线46以及接口部343与平台400连接。

平台400由内核410、HAL430、框架440和应用程序执行部450构成。内核410、HAL430和框架440通过处理器311执行的操作系统的功能实现。操作系统构成为包含1个或多个程序、数据、库、运行时间模块等，处理器311执行或处理它们，由此，处理器311作为内核410、HAL430和框架440发挥功能。

处理器311执行操作系统，由此，构成应用程序执行部450。应用程序执行部450是这样的功能：处理器311利用平台400提供的执行环境来执行应用程序451。即，构成应用程序执行部450的硬件主体是处理器311，内核410、HAL430和框架440也同样。

内核410是实现平台400的基本功能的功能部。内核410具有对控制装置300的硬件进行控制的驱动器。内核410具有的驱动器例如支持硬件的每个种类。

作为一例，Android OS的平台400的内核410由Linux内核构成。框架440也可以相当于Java框架，利用Android运行时间模块和本地库来实现。Java是注册商标。

在图5所示的例子中，内核410具有UVC摄像头驱动器413、6轴传感器驱动器414、磁传感器驱动器415和照度传感器驱动器416作为对控制装置300的外部的硬件进行控制的驱动器。

UVC摄像头驱动器413是对控制装置300的外部的摄像头进行控制的驱动器，对DP外侧摄像头61进行控制，取得DP外侧摄像头61输出的摄像图像数据作为检测数据。6轴传感器驱动器414是对控制装置300的外部的6轴传感器进行控制的驱动器，对DP6轴传感器235进行控制，从DP6轴传感器235取得检测数据。6轴传感器驱动器414也可以分成对DP6轴传感器235具有的3轴加速度传感器进行控制的驱动器、以及对3轴陀螺仪传感器进行控制的驱动器。磁传感器驱动器415是对控制装置300的外部的磁传感器进行控制的驱动器，对DP磁传感器237进行控制，从DP磁传感器237取得检测数据。照度传感器驱动器416是对控制装置300的照度传感器进行控制的驱动器，对DP照度传感器65进行控制，从DP照度传感器65取得检测数据。UVC是USB Video Class的简写，是对摄像头进行控制的设备驱动器程序的一例。

内核410具有内置摄像头驱动器423、内置6轴传感器驱动器424、内置磁传感器驱动器425和内置照度传感器驱动器426，作为对控制装置300内置的硬件进行控制的驱动器。

内置摄像头驱动器423对控制装置300内置的CO摄像头322进行控制，取得CO摄像头322输出的摄像图像数据作为检测数据。内置6轴传感器驱动器424对控制装置300内置的CO6轴传感器323进行控制，从CO6轴传感器323取得检测数据。内置6轴传感器驱动器424也可以分成对CO6轴传感器323具有的3轴加速度传感器进行控制的驱动器、以及对3轴陀螺仪传感器进行控制的驱动器。内置磁传感器驱动器425对控制装置300内置的CO磁传感器324进行控制，从CO磁传感器324取得检测数据。内置照度传感器驱动器426对控制装置300内置的CO照度传感器325进行控制，从CO照度传感器325取得检测数据。

UVC摄像头驱动器413、6轴传感器驱动器414、磁传感器驱动器415和照度传感器驱动器416分别在预先设定的定时取得检测数据。内置摄像头驱动器423、内置6轴传感器驱动器424、内置磁传感器驱动器425和内置照度传感器驱动器426也同样。具体而言，根据传感器的种类和规格，预先设定取得检测数据的采样周期，上述各驱动器按照采样周期取得检测数据。

在以下的说明中，平台400将第2传感器组150中包含的传感器作为标准传感器，将第1传感器组350中包含的传感器作为扩展传感器进行处理。控制装置300被设计成与HMD100连接、且执行与HMD100有关的处理的装置。因此，在控制装置300的基本动作中，执行基于第2传感器组150的检测数据的处理，作为代替第1传感器组350的检测数据的数据，还能够利用第1传感器组350的检测数据来执行处理。

标准传感器是显示系统1能够使用的传感器中的、由应用程序执行部450执行的应用程序451优先使用的传感器。该名称中包含的标准这样的词语意味着优先使用的传感器或作为第1个使用的传感器而被选择的传感器，没有其他意思。例如，没有输出标准的值的传感器这样的意思。扩展传感器意味着在标准传感器之后接着被选择的传感器。该名称中包含的扩展这样的词语意味着与标准传感器相比被选择的优先级较低的传感器，没有其他意思。例如，扩展传感器没有限定为在显示系统1中在扩展的状态下设置的传感器的意思，也可以是在标准规格中设置于显示系统1的传感器。

此外，本实施方式中说明的标准传感器事件是伴随着基于上述标准传感器的检测值的输出、标准传感器的检测值和检测数据的处理而产生的事件。标准传感器数据是上述标准传感器的检测值和检测数据、或对它们进行处理后的数据。标准传感器事件和标准传感器数据表示与作为标准传感器使用的传感器有关的事件和数据，因此，在名称中包含标准这样的词语，没有其他意思。例如，标准传感器事件和标准传感器数据不限于与标准的值有关的事件和数据。扩展传感器事件和扩展传感器数据也同样，表示与作为扩展传感器使用的传感器有关的事件和数据，因此，在名称中包含扩展这样的词语，没有其他意思。例如，扩展传感器事件和扩展传感器数据不限于与扩展地设置的传感器有关的事件和数据。

内核410具有对接口部343进行控制的接口驱动器418。接口驱动器418监视接口部343的连接状态，检测USB缆线46相对于接口部343的插拔。

HAL430和框架440以将内核410处理后的数据转交给应用程序执行部450的方式发挥功能。HAL是Hardware Abstruction Layer的简写。

HAL430在与内核410之间输入输出与硬件控制有关的数据。HAL430对内核410请求硬件的控制，取得内核410取得的数据。在图5中示出HAL430所具有的标准传感器事件431和扩展传感器事件433。标准传感器事件431取得标准传感器的检测数据，作为与标准传感器有关的事件通知给框架440。扩展传感器事件433取得扩展传感器的检测数据，作为与扩展传感器有关的事件通知给框架440。

具体而言，标准传感器事件431从UVC摄像头驱动器413、6轴传感器驱动器414、磁传感器驱动器415和照度传感器驱动器416取得标准传感器的检测数据。扩展传感器事件433从内置摄像头驱动器423、内置6轴传感器驱动器424、内置磁传感器驱动器425和内置照度传感器驱动器426取得扩展传感器的检测数据。标准传感器事件431和扩展传感器事件433的数量没有限定。HAL430可以按照传感器的每个种类生成多个标准传感器事件431和多个扩展传感器事件433，也可以构成为它们同时并行地进行动作。

在本实施方式中，如图5所示，HAL430在内核410的上位层进行动作，但是，如果传感器数据提供部401相对于应用程序执行部450的功能没有不同，则能够根据操作系统的规格而采用不同的结构。例如，HAL430可以作为在硬件与内核410之间进行动作的中间件来安装。该情况下，HAL430对硬件进行控制，将从硬件取得的检测数据交给内核410。

框架440保持标准传感器事件431通知的标准传感器的检测数据作为标准传感器数据441，保持扩展传感器事件433通知的扩展传感器的检测数据作为扩展传感器事件433。这些标准传感器数据441和扩展传感器数据443被提供给应用程序执行部450。例如，在执行中的应用程序请求了摄像头的摄像图像数据的情况下，框架440将作为标准传感器数据441保持的DP外侧摄像头61的摄像图像数据输出到应用程序执行部450。例如，在执行中的应用程序请求了与HMD100不同的装置的照度数据的情况下，框架440将作为扩展传感器数据443而保持的CO照度传感器325的检测数据输出到应用程序执行部450。标准传感器数据441对应于第1标准传感器的检测数据的一例。扩展传感器数据443对应于扩展传感器的检测数据的一例。

框架440保持的标准传感器数据441和扩展传感器数据443的数量没有限制。框架440例如也可以构成为按照传感器的每个种类保持标准传感器数据441和扩展传感器数据443。

在平台400中，内核410、HAL430和框架440作为向应用程序451提供标准传感器数据441和扩展传感器数据443的传感器数据提供部401发挥功能。传感器数据提供部401将标准传感器数据441和扩展传感器数据443提供给应用程序执行部450即可，图示的架构是一例。

应用程序执行部450执行安装在控制装置300中的应用程序。在图5中，作为应用程序的一例，示出系统应用程序454和AR显示应用程序455。系统应用程序454是控制装置300作为基本功能而具有的应用程序，实现日历、时钟、警报、计算器、通话、消息传递、电子邮件、摄像头拍摄、照片管理等功能。系统应用程序454也可以包含网络浏览器。网络浏览器显示构成网页的字符、图像、影像等，再现输出构成网页的声音。

AR显示应用程序455实现利用图像显示部20显示与透过图像显示部20看到的外景相关的信息的功能。AR显示应用程序455例如使佩戴图像显示部20的使用者U看到与存在于实际空间中的物体相关联的图像和字符。AR是表示增强现实的Argument Reality的简写。

CO控制部310通过执行AR显示应用程序455，生成用于使图像显示部20显示的显示数据，通过接口部343输出到HMD100。此外，CO控制部310执行AR显示应用程序455，生成对图像显示部20的显示进行控制的显示控制数据，通过接口部343输出到HMD100。显示数据可以是影像数据或动态图像数据，例如是HDMI格式的影像数据。显示数据可以是静态图像数据，也可以是字符或记号的数据。显示控制数据例如是设定图像显示部20的显示亮度和对比度的控制数据。

HMD100根据控制装置300输出的显示数据，在图像显示部20中显示图像、影像或字符。此外，HMD100按照控制装置300输出的显示控制数据，对图像显示部20的显示状态进行调整、变更。

向应用程序执行部450提供框架440的标准传感器数据441和扩展传感器数据443。应用程序执行部450能够对框架440请求标准传感器数据441和扩展传感器数据443，根据该请求而被提供标准传感器数据441和扩展传感器数据443。或者，应用程序执行部450进行动作的应用程序能够参照标准传感器数据441和扩展传感器数据443。

在本实施方式中，AR显示应用程序455利用第2传感器组150的检测数据，以得到与图像显示部20的朝向、使用者U透过图像显示部20看到的外景有关的信息。例如，AR显示应用程序455根据DP外侧摄像头61的摄像图像数据，从使用者U看到的外景中检测物体即对象。AR显示应用程序455根据距离传感器64的检测数据，确定从图像显示部20到对象的距离。此外，AR显示应用程序455根据DP6轴传感器235和DP磁传感器237的检测数据，确定对象和图像显示部20的位置和方向。这里确定的位置和方向可以是对象和图像显示部20的相对位置和方向，也可以是以实际空间为基准的绝对位置和方向。

在控制装置300与HMD100连接的状态下，应用程序执行部450执行的应用程序能够执行基于第2传感器组150的检测数据的动作。另一方面，控制装置300在未与HMD100连接的状态下，无法取得第2传感器组150的检测数据。本实施方式的控制装置300具有如下功能：取得第1传感器组350的检测数据作为第2传感器组150的检测数据的代替而使应用程序进行动作。下面，将控制装置300与HMD100连接时作为控制装置300的第1状态，将未与HMD100连接时作为第2状态，对控制装置300的动作进行说明。

[6.控制装置的状态]

图6是控制装置300的第1状态下的平台的示意图。图7是控制装置300的第2状态下的平台的示意图。

在图6和图7中，将第2传感器组150中包含的任意1个以上的传感器设为第2传感器101，将第1传感器组350中包含的任意1个以上的传感器设为第1传感器301。

传感器驱动器411是UVC摄像头驱动器413、6轴传感器驱动器414、磁传感器驱动器415和照度传感器驱动器416等中的与第2传感器101对应的驱动器。内置传感器驱动器421是内置摄像头驱动器423、内置6轴传感器驱动器424、内置磁传感器驱动器425、和内置照度传感器驱动器426等中的与第1传感器301对应的驱动器。第1传感器301和第2传感器101是同种传感器。此外，图示的应用程序451代表由应用程序执行部450执行的应用。应用程序451是图5所示的系统应用程序454、AR显示应用程序455或其他种类的应用程序，其功能和种类没有限制。

传感器驱动器411对应于第2数据取得部的一例，内置传感器驱动器421对应于第1数据取得部的一例。

在第1状态下，HMD100与接口部343连接。因此，内核410通过传感器驱动器411取得第2传感器101的检测数据。HAL430通知标准传感器事件431，框架440保持标准传感器数据441。由此，传感器数据提供部401能够向应用程序执行部450提供标准传感器数据441和扩展传感器数据443。应用程序451能够利用第2传感器101的检测数据执行处理。

内核410利用内置传感器驱动器421取得第1传感器301的检测数据。根据第1传感器301的检测数据，HAL430通知扩展传感器事件433，框架440保持扩展传感器数据443。由此，应用程序451还能够执行基于第1传感器301的检测数据的处理。

在HMD100未与接口部343连接的情况下，平台400在图7所示的第2状态下进行动作。在第2状态下，内置传感器驱动器421将第1传感器301的检测数据作为第2传感器101的检测数据输出到HAL430。此外，与此并行地，内置传感器驱动器421将第1传感器301的检测数据作为第1传感器301的检测数据输出到HAL430。即，根据内置传感器驱动器421取得的第1传感器301的检测数据，生成HAL430的标准传感器事件431和扩展传感器事件433。框架440根据标准传感器事件431和扩展传感器事件433保持标准传感器数据441和扩展传感器数据443。标准传感器数据441和扩展传感器数据443均是基于第1传感器301的检测数据的数据。

在第2状态下，未连接第2传感器101，但是，传感器数据提供部401能够向应用程序执行部450提供标准传感器数据441和扩展传感器数据443。因此，应用程序451能够执行基于第2传感器101的检测数据的动作和基于第1传感器301的检测数据的动作双方。

例如，在HMD100与接口部343连接的第1状态下从接口部343取下USB缆线46的情况下，传感器驱动器411无法取得检测数据。与其对应地，不再通知标准传感器事件431，不再更新标准传感器数据441。因此，应用程序451成为无法取得标准传感器数据441、或者无法正常执行基于标准传感器数据441的动作的状态。该情况下，应用程序451检测到HMD100被取下，需要从使用标准传感器数据441的动作切换为使用扩展传感器数据443的动作。这种切换需要多阶段的处理，花费时间，因此，应用程序451的动作暂时被中断。此外，在应用程序451未安装从标准传感器数据441切换为扩展传感器数据443的功能的情况下，应用程序451的动作更显著地中断。不限于拔出USB缆线46的情况，在HMD100和控制装置300的通信中断的情况下可能发生相同的状况。

本实施方式的控制装置300利用平台400的功能，在从接口部343取下HMD100的情况下转移到第2状态，根据第1传感器301的检测数据而通知标准传感器事件431。因此，能够在不中断应用程序451的动作的情况下转移到使用第1传感器301的检测数据的动作。因此，只要是适于平台400的应用程序451，则能够与应用程序451的规格无关地使应用程序451稳定地动作。

这样，平台400根据HMD100是否与接口部343连接，在第1状态或第2状态下进行动作。此外，在通过接口驱动器418检测到HMD100未与接口部343连接的情况下，转移到图7所示的第2状态。在第2状态下检测到HMD100与接口部343连接时，转移到第1状态。从第1状态向第2状态的转移以及从第2状态向第1状态的转移可以通过内核410的功能来执行，也可以通过包含内核410的操作系统的功能来执行。

应用程序执行部450也可以判别标准传感器数据441是第1传感器301的检测数据还是第2传感器101的检测数据。关于该判别，例如可以根据传感器数据提供部401是第1状态还是第2状态进行。或者，传感器数据提供部401也可以向应用程序执行部450通知标准传感器数据441是第1传感器301的检测数据还是第2传感器101的检测数据。应用程序执行部450也可以将判别结果通知给应用程序451，利用应用程序451的功能，生成用于在图像显示部20中显示判别结果的显示数据或显示控制数据。该情况下，例如，利用图像显示部20显示提醒HMD100未与控制装置300连接的消息的字符和图像。由此，能够向使用者U报知未与HMD100连接。例如，在违反使用者U的意图而从控制装置300取下HMD100时，能够使使用者U得知该情况。

[7.控制装置的动作]

图8是示出控制装置300的动作的流程图，示出与HMD100相对于控制装置300的连接状态对应的平台400的状态变化。图8所示的动作由CO控制部310执行，例如由内核410执行。在控制装置300的启动时等的平台400开始取得和输出检测数据的时刻，开始进行图8的动作。

CO控制部310利用接口驱动器418的功能判定HMD100是否与接口部343连接(步骤S11)。在判定为连接有HMD100的情况下(步骤S11：是)，内核410的传感器驱动器411和内置传感器驱动器421被初始化，平台400成为第1状态(步骤S12)。然后，开始输出第2传感器101和第1传感器301的检测数据(步骤S13)。

另一方面，在判定为HMD100未与接口部343连接的情况下(步骤S11：否)，内核410的内置传感器驱动器421被初始化，平台400成为第2状态(步骤S14)。然后，开始输出第1传感器301的检测数据(步骤S13)。

CO控制部310监视接口部343和HMD100的连接状态，判定HMD100是否相对于接口部343进行了拆装(步骤S15)。例如，CO控制部310判定是否相对于接口部343插拔了USB缆线46。

在判定为拆装了HMD100的情况下(步骤S15：是)，CO控制部310判定HMD100是否与接口部343连接(步骤S16)。在步骤S16中，CO控制部310例如根据第2传感器101的检测数据的取得连续失败的次数进行判定。具体而言，在第2传感器101的检测数据的取得连续失败达设定的次数的情况下，判定为未连接HMD100。此外，CO控制部310在第2传感器101的检测数据的取得连续多次成功的情况下，判定为连接有HMD100。作为判定基准的成功次数和失败次数是预先设定的。

在判定为连接有HMD100的情况下(步骤S16：是)，意味着新连接了此前未连接的HMD100。该情况下，CO控制部310转移到第1状态(步骤S17)。在平台400中，内核410的传感器驱动器411被初始化，传感器驱动器411和内置传感器驱动器421开始输出检测数据(步骤S18)。

在判定为未连接HMD100的情况下(步骤S16：否)，意味着取下了此前连接的HMD100。该情况下，CO控制部310转移到第2状态(步骤S19)。在平台400中，内核410的内置传感器驱动器421开始输出检测数据(步骤S20)。

在步骤S18和步骤S20中开始输出检测数据后，CO控制部310转移到步骤S21。此外，在步骤S15中判定为未拆装HMD100的情况下(步骤S15：否)，CO控制部310转移到步骤S21。在步骤S21中，CO控制部310判定是否结束检测数据的输出(步骤S21)。在控制装置300停机的情况等的结束检测数据的输出的情况下(步骤S21：是)，CO控制部310结束本处理。此外，在不结束检测数据的输出的情况下(步骤S21：否)，CO控制部310返回步骤S15。

在图8中，为了便于理解，示出通过流程控制来执行全部步骤的例子，但是，发明的实施方式不限于此，也可以通过中断控制来执行一部分动作。例如，CO控制部310在检测到拆装HMD100的情况下，也可以通过中断控制来执行步骤S16。

[8.其他实施方式]

在本实施方式中，参照图6和图7说明了对1个第2传感器101和1个第1传感器301的检测数据进行处理的例子，但是，当然能够使用第2传感器组150和第1传感器组350中的多个传感器。

参照图9和图10对具体例子进行说明。

图9是控制装置300的第1状态下的平台的示意图。图10是控制装置300的第2状态下的平台的示意图。在以下的说明中，对与图6以及图7所示的结构相通的结构标注相同标号并省略说明。

在图9和图10的例子中，将第2传感器组150中包含的传感器中的2个传感器分别设为第2传感器101、第4传感器102。将第1传感器组350中的2个传感器分别设为第1传感器301、第3传感器302。第1传感器301和第2传感器101是同种传感器，第3传感器302和第4传感器102是同种传感器。

例如，在第2传感器101是DP外侧摄像头61、且第4传感器102是DP6轴传感器235的情况下，第1传感器301是CO摄像头322，第3传感器302是CO6轴传感器323。该组合是一例，当然能够采用其他种类的传感器的组合。

在内核410中，对第2传感器101进行控制的传感器驱动器411和对第4传感器102进行控制的传感器驱动器412进行动作。此外，对第1传感器301进行控制的内置传感器驱动器421和对第3传感器302进行控制的内置传感器驱动器422进行动作。

传感器驱动器412对应于第4数据取得部的一例，内置传感器驱动器422对应于第3数据取得部的一例。

在HAL430中，除了标准传感器事件431和扩展传感器事件433以外，还生成标准传感器事件432和扩展传感器事件434。标准传感器事件432是基于传感器驱动器412从第4传感器102取得的检测数据的事件。扩展传感器事件434是基于内置传感器驱动器422从第3传感器302取得的检测数据的事件。

在框架440中，除了标准传感器数据441和扩展传感器数据443以外，还保持标准传感器数据442和扩展传感器数据444。标准传感器数据442对应于第2标准传感器的检测数据的一例。

标准传感器数据442是基于标准传感器事件432通知的检测数据的数据。扩展传感器数据444是基于扩展传感器事件434通知的检测数据的数据。

传感器数据提供部401能够向应用程序执行部450执行的应用程序451提供标准传感器数据441、442、扩展传感器数据443、444这4个数据。即，应用程序451能够利用标准传感器数据441、442作为HMD100具有的传感器的数据。此外，根据需要，能够利用控制装置300具有的传感器的检测数据即扩展传感器数据443、444。

在图9所示的第1状态下，如上所述，HMD100与接口部343连接，因此，传感器驱动器411、412能够分别从第2传感器101和第4传感器102取得检测数据。

在图10所示的第2状态下，与图6所示的状态同样，内核410无法从第2传感器101和第4传感器102取得检测数据。因此，传感器驱动器411、412无法执行将检测数据输出到HAL430的动作。

该情况下，内置传感器驱动器421将从第1传感器301取得的检测数据输出到标准传感器事件431和扩展传感器事件433。同样，内置传感器驱动器422将从第3传感器302取得的检测数据输出到标准传感器事件432和扩展传感器事件434。

通过该动作，HAL430通过标准传感器事件431、432将检测数据通知给框架440，框架440保持的标准传感器数据441、442被更新。因此，传感器数据提供部401在无法从第2传感器101和第4传感器102取得检测数据的状态下，也能够向应用程序执行部450提供标准传感器数据441、442。

图9和图10示出从第2传感器组150和第1传感器组350中分别利用2个传感器的例子，但是，传感器数据提供部401利用的传感器的数量没有限制。被利用的传感器的数量能够根据HMD100和控制装置300的硬件结构、平台400的规格和应用程序451的规格而适当变更。

[9.实施方式的作用和效果]

如以上说明的那样，应用了本发明的实施方式中的控制装置300具有第1传感器301、以及与具有第2传感器101以及图像显示部20的HMD100连接的接口部343。控制装置300具有执行利用传感器的检测数据的应用程序451的应用程序执行部450、以及向应用程序执行部450提供标准传感器数据441的传感器数据提供部401。传感器数据提供部401具有取得第1传感器301的检测数据的内置传感器驱动器421和取得第2传感器101的检测数据的传感器驱动器411。在HMD100与接口部343连接的情况下，提供由传感器驱动器411取得的检测数据作为标准传感器数据441，继续进行内置传感器驱动器421取得第1传感器301的检测数据的动作。在HMD100未与接口部343连接的情况下，提供由内置传感器驱动器421取得的检测数据作为标准传感器数据441。

显示系统1具备具有第1传感器301的控制装置300、以及具有第2传感器101和图像显示部20的HMD100。控制装置300具有第1传感器301、以及与具有第2传感器101以及图像显示部20的HMD100连接的接口部343。控制装置300具有执行利用传感器的检测数据的应用程序451的应用程序执行部450、以及向应用程序执行部450提供标准传感器数据441的传感器数据提供部401。传感器数据提供部401具有取得第1传感器301的检测数据的内置传感器驱动器421和取得第2传感器101的检测数据的传感器驱动器411。在HMD100与接口部343连接的情况下，提供由传感器驱动器411取得的检测数据作为标准传感器数据441，继续进行内置传感器驱动器421取得第1传感器301的检测数据的动作。在HMD100未与接口部343连接的情况下，提供由内置传感器驱动器421取得的检测数据作为标准传感器数据441。HMD100按照从控制装置300输入的显示数据或显示控制数据在图像显示部20中进行显示。

显示系统1执行利用具有第1传感器301的控制装置300以及具有第2传感器101和图像显示部20的HMD100的数据处理方法。在该数据处理方法中，通过控制装置300执行利用传感器的检测数据的应用程序451。此外，根据取得第1传感器301的检测数据的内置传感器驱动器421和取得第2传感器101的检测数据的传感器驱动器411取得的数据，向应用提供标准传感器数据441。在HMD100与控制装置300连接的情况下，提供由传感器驱动器411取得的检测数据作为标准传感器数据441，继续进行内置传感器驱动器421取得第1传感器301的检测数据的动作。在HMD100未与控制装置300连接的情况下，提供由内置传感器驱动器421取得的检测数据作为标准传感器数据441。

由此，在HMD100与控制装置300连接的情况和HMD100未与控制装置300连接的情况下，均能够向在应用程序执行部450中进行动作的应用程序451提供标准传感器数据441。在HMD100未与控制装置300连接的情况下，提供内置传感器驱动器421从第1传感器301取得的检测数据作为标准传感器数据441。因此，能够与HMD100是否和控制装置300连接对应地迅速地切换向应用程序451提供的数据，而不需要使用者的指示。

例如，在从控制装置300取下了HMD100的情况等的传感器驱动器411无法取得检测数据的情况下，也能够提供标准传感器数据441。详细地讲，内置传感器驱动器421继续进行取得第1传感器301的检测数据的处理，因此，能够迅速地开始内置传感器驱动器421将检测数据输出到HAL430的处理。因此，在取下了HMD100的情况下，与进行新启动内核410的驱动器来切换检测数据的处理的情况相比，能够在短时间内输出传感器驱动器411。因此，能够缩短向应用程序451提供标准传感器数据441的中断时间，或者能够避免提供的中断。

在控制装置300中，传感器数据提供部401将由内置传感器驱动器421取得的检测数据作为扩展传感器数据443输出到应用程序执行部450。在HMD100与接口部343连接的情况和HMD100未与接口部343连接的情况下，均执行该动作。由此，能够向应用程序451提供标准传感器数据441和扩展传感器数据443。进而，在成为无法从第2传感器组150取得检测数据的状态的情况下，能够迅速地提供第1传感器组350的检测数据作为标准传感器数据441。因此，能够与HMD100是否和控制装置300连接对应地迅速地切换向应用程序451提供的数据。进而，在取下了HMD100的情况下，能够缩短向应用程序451提供标准传感器数据441的中断时间，或者能够避免提供的中断。

在显示系统1中，第1传感器301和第2传感器101是同种传感器。传感器数据提供部401从作为同种传感器的第1传感器301和第2传感器101取得检测数据。因此，能够提供传感器数据提供部401从第1传感器301取得的检测数据作为标准传感器数据441。因此，能够与HMD100是否和控制装置300连接对应地迅速地切换向应用程序451提供的数据，而不需要使用者的指示。

传感器数据提供部401以由传感器驱动器411预先设定的周期取得第2传感器101的检测数据。在连续取得第2传感器101的检测数据的情况下，传感器数据提供部401检测到HMD100与接口部343连接。由此，能够迅速地检测到HMD100与控制装置300连接的情况。

传感器数据提供部401以由传感器驱动器411预先设定的周期取得第2传感器101的检测数据。传感器数据提供部401在第2传感器101的检测数据的取得连续失败达设定的次数的情况下，检测到HMD100未与接口部343连接。由此，能够迅速地检测到HMD100不再与控制装置300连接的情况。

接口部343能够对HMD100输出由图像显示部20显示的显示数据或对图像显示部20的显示进行控制的显示控制数据。应用程序执行部450根据标准传感器数据441，执行生成显示数据或显示控制数据的处理。由此，在根据传感器数据提供部40提供的检测数据对图像显示部20的显示进行控制的处理中，能够与有无连接HMD100对应地在短时间内进行数据的切换。因此，在取下了HMD100的情况下，能够抑制或避免图像显示部20中的显示的紊乱。

应用程序执行部450也可以判别标准传感器数据441是第1传感器301的检测数据还是第2传感器101的检测数据，生成用于在图像显示部20中显示判别结果的显示数据或显示控制数据。该情况下，能够向使用者通知图像显示部20的显示的控制中使用的传感器是第2传感器101还是第1传感器301。因此，例如，使用者能够得知违反使用者的意图而从控制装置300取下了HMD100等。

此外，如图9和图10所示，控制装置300也可以构成为具有第3传感器302。在该结构中，传感器数据提供部401也可以具有取得第3传感器302的检测数据的内置传感器驱动器422和经由接口部343取得第4传感器102的检测数据的传感器驱动器412。这里，在HMD100与接口部343连接的情况下，提供由传感器驱动器412取得的检测数据作为标准传感器数据442，继续进行第3数据取得部取得第3传感器302的检测数据的动作。在HMD100未与接口部343连接的情况下，提供由第3数据取得部取得的检测数据作为标准传感器数据442。根据该结构，在HMD100与控制装置300连接的情况和HMD100未与控制装置300连接的情况下，均能够向应用程序451提供多个传感器的标准传感器数据441、442。而且，能够与HMD100是否和控制装置300连接对应地迅速地切换向应用程序451提供的数据，而不需要使用者的指示。因此，在传感器驱动器411、412无法取得检测数据的情况下，也能够缩短提供标准传感器数据441、442的中断时间，或者能够避免提供的中断。

本发明不限于上述各实施方式中说明的结构，能够在不脱离其主旨的范围内在各种方式中实施。

例如，例示了显示系统1具有头部佩戴型的显示装置即HMD100的结构，但是，本发明不限于此，能够采用各种显示装置。此外，控制装置300通过内置传感器驱动器421、422取得检测数据的对象传感器不限于内置于控制装置300中的传感器，也可以是与控制装置300连接的外部传感器。例如，可以是佩戴于使用者U的手腕、脚、身体等的可穿戴设备具有的摄像头或传感器。

例如，也可以代替图像显示部20而采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者U的左眼对应地显示图像的显示部和与使用者U的右眼对应地显示图像的显示部即可。此外，本发明的显示装置例如也可以构成为搭载于汽车或飞机等车辆的头戴显示器。此外，例如，也可以构成为内置于头盔等身体防护器具中的头戴显示器。该情况下，能够将对相对于使用者U的身体的位置进行定位的部分和相对于该部分被定位的部分设为佩戴部。

HMD100是作为本发明的应用对象的显示装置的一例，不限于图3所示的结构。例如，在上述实施方式中，举例说明了图像显示部20和连接装置10分离的结构，但是，还能够采用连接装置10和图像显示部20一体地构成、并佩戴于使用者U的头部的结构。此外，图像显示部20的光学系统的结构是任意的，例如可以使用位于使用者U的眼睛的前方而与使用者U的视场的一部分或全部重叠的光学部件。或者，也可以采用使激光等进行扫描而成为图像光的扫描方式的光学系统。或者，不限于在光学部件的内部引导图像光，也可以仅具有使图像光折射和/或反射而朝向使用者U的眼睛进行引导的功能。

此外，作为显示装置，也可以采用在液晶显示面板上显示图像的液晶监视器或液晶电视机。也可以使用具有等离子体显示器面板、有机EL显示面板的显示装置。该情况下，显示面板相当于本发明的显示部。此外，作为显示装置，也可以使用将图像光投射到屏幕等的投影仪。

此外，例如，在图3所示的HMD100中，也可以利用USB-TypeC连接器、USB-TypeC控制器和USB集线器构成连接装置10。该情况下，可以将DP外侧摄像头61或其他传感器与USB集线器连接。此外，作为对图像显示部20中的右显示部22和左显示部24的显示进行控制的控制器，可以在右显示部22或左显示部24中的任意一方配置将显示数据输出到右显示部22和左显示部24的FPGA。该情况下，连接装置10也可以具有连接USB-TypeC控制器和FPGA的桥(bridge)控制器。此外，在图像显示部20中，也可以构成为将DP6轴传感器235、DP磁传感器237、EEPROM215等安装于与FPGA相同的基板。其他传感器的配置也能够适当变更。例如，距离传感器64和DP照度传感器65也可以构成为配置于适于测定或检测的位置，与FPGA或USB-TypeC控制器连接。

此外，包含OLED单元221、241的显示装置的具体规格没有限制，例如，OLED单元221、241可以具有共通的结构。

图3、图4所示的各功能块中的至少一部分可以通过硬件实现，也可以构成为通过硬件和软件的协作来实现，不限于如图所示配置独立的硬件资源的结构。此外，处理器311执行的程序也可以构成为经由通信部342或接口部343取得并执行外部装置中存储的程序。