虚拟对象显示装置以及虚拟对象显示方法

技术领域

本发明涉及虚拟对象显示装置以及虚拟对象显示方法。

背景技术

以往，有在头戴式显示器(HMD)中显示虚拟对象的技术。作为这样的虚拟对象的显示技术中使用的坐标系，已知世界坐标系和局部坐标系。

世界坐标系是指现实世界的坐标系，关于配置于世界坐标系的虚拟对象，在用户离开虚拟对象的场所时将看不到该虚拟对象。另一方面，由于具有与现实世界相同的宽度，所以能够配置大量的虚拟对象。

另一方面，局部坐标系是在HMD中固定的坐标系，与搭载于HMD的显示器的位置关系也固定。而且，在从用户的视点观察时，配置在显示器的显示面所存在的方向上的虚拟对象显示于显示器。如果在显示器的显示面所存在的方向范围内的局部坐标系中配置虚拟对象，则即使用户在佩戴HMD的状态下移动，由于显示器在局部坐标系中也被固定，所以能够始终显示、操作虚拟对象。另一方面，由于仅能够显示在上述方向范围内配置的虚拟对象，所以虚拟对象的配置数有限制。

这样，在仅具有世界坐标系以及局部坐标系这2个虚拟对象配置用的坐标系的以往技术中，存在诸如无法大量配置希望频繁参照的虚拟对象的课题。另外，当强行在显示器的显示面所存在的方向内配置虚拟对象时，还产生诸如外界的视觉辨认性降低的课题。

作为用于解决该课题的技术，在专利文献1中提出“可穿戴的头部佩戴显示系统包括：近眼显示器，用于在表观的实际世界深度及表观的实际世界位置显示能够由头部佩戴显示系统的佩戴者观测的增强现实对象；以及控制器，用于以佩戴者的视场(FOV)的函数的方式而调整增强现实对象在表观的实际世界位置。函数基于增强现实对象的边界区域以及增强现实对象的边界区域与佩戴者的FOV之间的一个或者多个重复参数(摘要摘录)”。

根据专利文献1，通过将配置于世界坐标系的虚拟对象的一部分留在佩戴者的视场中，能够容易地访问配置于世界坐标系的虚拟对象，能够增加可始终参照的虚拟对象的数量。

现有技术文献

专利文献

专利文献1：日本特表2018-505472号公报

发明内容

然而，在专利文献1公开的技术中，当用户在世界坐标系内移动时，配置于世界坐标系的虚拟对象与用户分离，难以在佩戴者的视场内显示该虚拟对象。若为了消除该问题而在佩戴者的视场内配置虚拟对象，则其结果是向佩戴者的视场内配置大量虚拟对象，存在诸如无法解决诸如向外界的视觉辨认性降低的课题、无法解决本质的课题的实情。

本发明是鉴于上述实情而完成的，其目的在于提供一种对世界坐标系以及局部坐标系各自的缺陷补短板、从而提高用户便利性的新的虚拟对象的显示技术。

为了解决上述课题，本发明具备权利要求书记载的结构。若举出其一个例子，则为一种虚拟对象显示装置，其特征在于，具备显示器以及进行该显示器的显示控制的显示控制装置，所述显示控制装置包括：坐标系计算部，检测所述虚拟对象显示装置在现实世界内的移动量及旋转量，使用惯性坐标系定义惯性坐标系虚拟对象的配置位置，该惯性坐标系的坐标原点追踪所述虚拟对象显示装置的移动，通过所述虚拟对象显示装置的旋转，所述显示器的有效视场范围在所述惯性坐标系内旋转；以及显示控制部，在所述显示器的有效视场范围中包括所述惯性坐标系虚拟对象时，在该有效视场范围中显示所述惯性坐标系虚拟对象。

根据本发明，能够提供对世界坐标系以及局部坐标系各自的缺陷补短板、从而提高用户便利性的新的虚拟对象的显示技术。上述以外的目的、结构、效果在以下的实施方式中明确。

附图说明

图1是本实施方式的HMD系统的外观示意图。

图2是HMD的硬件结构图。

图3是示出CPU的功能的功能框图。

图4A是关于局部坐标系的说明图。

图4B是关于局部坐标系的说明图。

图5A是惯性坐标系的说明图。

图5B是惯性坐标系的说明图。

图6是惯性坐标系在世界坐标系内移动的情况的说明图。

图7是说明现实对象以及虚拟对象的样子的图。

图8是说明现实对象以及虚拟对象的样子的图。

图9是说明现实对象以及虚拟对象的样子的图。

图10是示出HMD系统的处理的流程的流程图。

图11是存储有虚拟对象的数据构造的一个例子的图。

(符号说明)

1：HMD系统；100：HMD；111：摄像机；112：内置摄像机；113：测距传感器；115：加速度传感器；116：陀螺仪传感器；117：地磁传感器；118：GPS接收器；119：显示器；119a：有效视场范围；120：网络通信器；123：天线；125：CPU；126：程序；127：信息数据；128：存储器；129：近距离无线通信器；130：影像；131：虚拟对象；140：总线；200：服务器；300：外部网络；400：输入控制器；410：虚拟对象；420：虚拟对象；510：虚拟对象；520：虚拟对象；1200：显示控制装置。

具体实施方式

以下，使用附图，说明本发明的实施方式。在所有附图中，对同一结构、处理附加同一符号，并省略重复说明。图1是本实施方式的HMD系统1(HMD：头戴式显示器)的外观示意图。图2是HMD100的硬件结构图。

如图1所示，HMD系统1包括佩戴在用户的头部的HMD100以及输入控制器400。输入控制器400经由近距离无线通信线路与HMD100通信连接，进行信息的发送接收。此外，也可以以有线方式进行信息的发送接收。

输入控制器400构成为包括近距离无线通信器和由键盘、键按钮构成的操作部件。

服务器200生成虚拟对象并经由外部网络300发送给HMD100。也可以构成为HMD100自身生成虚拟对象并显示。

如图2所示，HMD100除了摄像机111、内置摄像机112、测距传感器113以外，还具备作为用于测量运动的惯性传感器的加速度传感器115、陀螺仪传感器116(加速度传感器115、陀螺仪传感器116与运动测量传感器相当)。进而，HMD100与地磁传感器117、GPS接收器118、显示器119、网络通信器120、CPU125、存储器128、近距离无线通信器129经由用于连接各构成要素的总线140而相互连接。网络通信器120与用于接收无线通信电波的天线123连接。

网络通信器120是通过无线LAN、有线LAN或者基站通信而与外部的服务器200进行通信的通信接口，在无线通信时，经由天线123与外部网络300连接，进行信息的发送接收。网络通信器120能够经由外部网络300接收由服务器200生成的虚拟对象，与服务器200之间进行动作控制信号的发送接收。网络通信器120由与W-CDMA(Wideband Code DivisionMultiple Access，宽带码分多址)、GSM(注册商标)(Global System for Mobilecommunications，全球移动通信系统)等远距离的无线通信标准对应的通信器构成。

近距离无线通信器129是在输入控制器400与HMD100之间进行近距离无线通信的通信接口。近距离无线通信器129使用例如电子标签进行，但不限于此，由与Bluetooth(注册商标)、IrDA(Infrared Data Association，红外数据协会)、Zigbee(注册商标)、HomeRF(Home Radio Frequency(家用射频)，注册商标)、或者无线LAN(IEEE802.11a、IEEE802.11b、IEEE802.11g)对应的通信器构成。

HMD100经由近距离无线通信器129与输入控制器400连接。HMD100经由近距离无线通信线路接收输入控制器400受理的操作信息。CPU125载入储存于存储器128的程序126并执行，根据需要读出信息数据127并用于执行程序126的处理。CPU125将影像130、虚拟对象131显示于显示器119。因此，将CPU125、存储器128、程序126以及信息数据127总称为显示控制装置1200。

显示器119设置于佩戴HMD100的用户的两眼的前方。CPU125将由摄像机111拍摄的现实空间信息的影像130、从服务器200接收到的虚拟对象131显示于显示器119。

加速度传感器115是用于检测HMD100的加速度的传感器，能够根据HMD100的位置变化和重力加速度的朝向来捕捉垂直方向。

陀螺仪传感器116是用于检测HMD100的3轴旋转方向的角速度的传感器，根据该角速度检测HMD100的姿势、即表示局部坐标系相对世界坐标系的朝向的欧拉角(俯仰角、偏航角、滚动角)或者归一化四元数。能够使用搭载于HMD100的加速度传感器115以及陀螺仪传感器116检测佩戴HMD100的用户的头部的活动。

地磁传感器117是用于检测地球的磁力的传感器，检测HMD100所朝向的方向。还能够使用除了前后方向和左右方向以外还检测上下方向的地磁的3轴类型，捕捉针对头部的活动的地磁变化，从而检测头部的活动。由此，能够详细地检测正佩戴着HMD100的用户头部的活动变动。

CPU125构成HMD100的控制器，执行储存于存储器128的OS(Operating System，操作系统)、动作控制用应用等程序126。

存储器128是闪存存储器等，存储CPU125使用的各种程序126。进而，存储器128将从服务器200接收到的虚拟对象存储为信息数据127。

图3是示出CPU125的功能的功能框图。CPU125包括坐标系计算部1251、外界辨识部1254以及显示控制部1255。存储器128的一部分区域形成用于存储虚拟对象的虚拟对象存储部1281、以及用于存储坐标系的位置、朝向的信息及惯性坐标系的正面方向的坐标系信息存储部1282。各构成要素的处理的详情后述。

在此，惯性坐标系的正面方向是指，即使在用户临时改变头部的朝向的情况下，仍保留在平均的用户的正面方向的惯性坐标系的基准方向。如果以在惯性坐标系中设定的配置中心方向为中心而配置希望频繁确认或者操作的虚拟对象，并将该配置中心方向设定为惯性坐标系的正面方向，则即使用户不怎么转头，也能够确认或者操作频繁使用的虚拟对象。

进而，在根据使用目的区分出希望频繁确认或者操作的虚拟对象的群组的情况下，也可以设定与该群组对应的配置中心方向。例如，也可以是如下使用方法：在惯性坐标系的X轴正向附近配置与作业A关联的APP的图标群、在Y轴正向附近配置与作业B关联的APP的图标群。另外，作为作业对象的对象位于紧靠配置中心方向的附近的情况较多，所以上述虚拟对象也可以避开紧靠配置中心方向的附近而配置。

在本发明中，各坐标系的朝向的检测和控制比较重要。关于各坐标系的朝向，以世界坐标系为基准，通过以与该坐标系的朝向对齐的方式使世界坐标系旋转时的旋转操作，来表示各坐标系相对世界坐标系的朝向。具体而言，旋转操作利用欧拉角(滚动角、俯仰角、偏航角)或者归一化四元数表现。

为了向HMD100配置虚拟对象而使用的坐标系有惯性坐标系和以往就有的世界坐标系以及局部坐标系，该惯性坐标系为用于对世界坐标系以及局部坐标系各自的缺陷补短板的新的坐标系。以下，参照图4～图8说明各坐标系的特征点。图4是关于局部坐标系的说明图。图5是惯性坐标系的说明图。图6是惯性坐标系在世界坐标系内移动的情况的说明图。

世界坐标系是将在现实世界中固定的1个点作为坐标原点、具有构成在现实世界中固定的3轴正交坐标系的3个坐标轴方向的坐标系。因此，即使HMD100使现实世界的空间位置变化，在世界坐标系中定义的虚拟对象的配置位置也不变化。在本实施方式中，在HMD100初始化时，将HMD100的姿势和位置作为基准，设定世界坐标系，在初始化后，主要根据加速度传感器115以及陀螺仪传感器116的测量值来检测HMD100相对现实世界的位置移动和姿势变更，计算相对设定的世界坐标系的局部坐标系的位置和朝向。在能够接收GPS电波的情况下，也可以将根据GPS接收器118接收到的GPS定位电波运算出的纬度、经度、高度信息用于辅助计算世界坐标系、局部坐标系的位置。进而，也可以将地磁传感器117测量的地磁的方向用于辅助计算坐标系的朝向。

以下，示出世界坐标系的设定方法的一个例子。在世界坐标系的设定中同样使用作为3轴正交坐标系的局部坐标系，所以首先详细定义局部坐标系。以佩戴HMD100时位于用户的眼球深处的头部中心附近的方式设定局部坐标系的原点。通过将局部坐标系原点设定在用户所感受的自己的视点位置附近，在旋转头部时仅使局部坐标系旋转即可，可以不进行用于消除显示的违和感的特别的处理。而且，关于局部坐标系的坐标轴，确定为：在佩戴HMD100时，用户的正面方向为X轴的正向、左手方向为Y轴的正向、上方为Z轴的正向。此外，局部坐标系的定义不限定于上述定义，只要使原点位于HMD100的中心附近即可。

在HMD100初始化时设定世界坐标系。首先，使HMD100为静止状态而进行初始化。在初始化时，使世界坐标系的原点与局部坐标系的原点对准。如果HMD100是静止状态，则3轴加速度传感器检测的加速度仅为重力加速度，可知局部坐标系中的垂直方向。而且，将垂直正上朝向设为世界坐标系的Z轴的正向。并且，将把局部坐标系的X轴的正向映射到水平面而得到的方向设为世界坐标系的X轴的正向。世界坐标系的Y轴的正向是在将X轴的正向设为正面时的左手方向。

由此，设定了世界坐标系，但由于在该初始化时不保证HMD100被保持为水平，所以局部坐标系的朝向未必与世界坐标系一致。但是，由于根据局部坐标系设定世界坐标系，所以相反地将世界坐标系作为基准时的局部坐标系的朝向是已知的。将该局部坐标系的初始状态下的朝向表现为世界坐标系中的从世界坐标系开始的旋转操作的结果。虽然旋转操作能够用欧拉角表现，但在此用归一化四元数表示为q

归一化四元数是指范数(norm)为1的四元数，能够表示绕某个轴的旋转。表示将单位矢量(n

q＝cos(η/2)+n

在此，i、j、k是四元数的单位。朝向矢量(n

在此，总结记号的用法。用Sc(q)表示归一化四元数q的实数部分，将q

[q]＝q/(qq

在此，(2)式右边的分母是归一化四元数q的范数。接下来，用下式定义用于表现坐标点或者矢量p(p

p＝p

另外，将矢量向与单位矢量n正交的平面的投影算子设为P(n)。矢量p的投影用下式表示。

P(n)p＝p+nSc(np)…(4)

在本说明书中，只要没有特别说明，设为并非分量显示的表示坐标点、矢量的记号是四元数显示。

在通过用q表示的原点中心的旋转操作将坐标点或者方向矢量p

p

由此，如果已知表示坐标系的朝向的归一化四元数，则能够实现虚拟对象的位置坐标的坐标系之间的变换。坐标原点不同的情况下的坐标点的变换式后述。在此，由于在后述说明中使用，所以以将单位矢量n

R(n

另外，用上述归一化四元数表示初始化时的局部坐标系的朝向q

h

在初始状态下，在诸如使局部坐标系的X轴旋转到向世界坐标系的水平面的投影方向并重叠于水平面上，之后，绕局部坐标系的X轴旋转而将局部坐标系的Z轴重叠于世界坐标系的Z轴的过程中，考虑从局部坐标系向世界坐标系的旋转。如果注意到将局部坐标系的X轴重叠到世界坐标系的水平面的旋转等同于将h

q

此处的q

q

q

此外，在此如上所述地定义了世界坐标系，但是只要是能够记述外界的位置的坐标系即可，不限定于该例子。

如上所述，在初始化时设定世界坐标系，但有时希望还使用以前设定的世界坐标系。在该情况下，根据外界的特征点的坐标值以及利用GPS接收器118接收到的GPS定位电波运算出的纬度、经度、高度信息，求出初始化时设定的世界坐标系与以前设定的世界坐标系的位置关系，利用以前设定的世界坐标系基准来变更局部坐标系、惯性坐标系的原点坐标和朝向。

关于惯性坐标系，在初始化的时间点，使原点与局部坐标系相同、朝向与世界坐标系相同。惯性坐标系的原点和朝向通过后述方法控制。

接下来，示出计算由于HMD100的运动，表示局部坐标系的朝向的归一化四元数q

ω

在此，注意该角速度矢量ω

ω

进而，在注意到q

Δq

将Δt设为陀螺仪传感器116的测量间隔，通过(13)式，不断地逐次更新q

在局部坐标系在世界坐标系中的原点位置的更新中，使用通过加速度传感器115测量加速度得到的测量值。在将加速度传感器115检测的加速度矢量设为(a

a

在此，注意该加速度矢量a

a

将世界坐标系中的局部坐标系原点的位置坐标设为O

Δv

决定位置坐标O

ΔO

将Δt设为加速度传感器115的测量间隔，通过(16)式(17)式，不断地逐次更新v

在以上的局部坐标系的更新过程中，世界坐标系针对外界固定即可，即使变更世界坐标系的初始状态的定义也能够应用。

显示虚拟对象的显示器119在局部坐标系中被固定，所以为了进行显示控制，将关于配置在世界坐标系、惯性坐标系的虚拟对象的位置信息变换为局部坐标系的表现。在将世界坐标系中的坐标值、矢量设为p

p

接下来，将惯性坐标系原点在世界坐标系中的位置坐标设为O

p

能够根据上述变换式，计算虚拟对象的显示位置与朝向在坐标系之间的变换。

以下，说明通过HMD100的活动、坐标系的操作等，虚拟对象的样子如何变化。首先，在从HMD100观察时，局部坐标系是将在HMD100固定的1个点作为坐标原点、且具有构成在HMD100固定的3轴正交坐标系的3个坐标轴方向的坐标系。因此，在佩戴HMD100的用户改变头的朝向时，局部坐标系也以相同的角度旋转。

另一方面，在HMD100中显示器119也被固定，在朝向虚拟对象的用户的视线进入到显示器119的显示范围(显示面119b)的情况下，显示虚拟对象。在坐标系内，将能够显示虚拟对象的范围定义为有效视场范围(FOV)119a。在局部坐标系中，FOV119a是从用户视点观察到的将显示器的显示面119b包含在内的方向范围的区域。若利用图4A进行说明，局部坐标系虚拟对象420由于进入到FOV119a内而被显示于显示器119，但局部坐标系虚拟对象410由于未进入到FOV119a内而未被显示于显示器119。

以下是用户转动头部而局部坐标系旋转了的情况下的虚拟对象的样子的例子。

通过图4A、图4B，说明配置于局部坐标系的虚拟对象的样子的例子。在使用户的头的角度从图4A的状态旋转偏航角ψ

惯性坐标系是坐标原点追踪HMD100(或者用户)在现实空间内的移动、坐标的朝向不追踪HMD100在现实空间内的旋转的坐标系。因此，在将惯性坐标系视为基准时，通过HMD100的旋转而FOV119a旋转。通过在这样的坐标系中配置虚拟对象，如果虚拟对象追踪用户的移动并且用户转头，则能够视觉辨认惯性坐标系的所有方向，所以得到如下效果：即使移动，也能够在用户附近以可视觉辨认的状态保持大量的虚拟对象。此外，坐标原点追踪HMD100是指，坐标原点始终保留在距HMD100一定的距离以内。为了简化控制，也可以使坐标原点与局部坐标系相同而设定为HMD100的中心。另外，在用户为了对惯性坐标系的各个方向进行视觉辨认而转头的情况下，在转头的期间，为了使虚拟对象的样子更自然，惯性坐标系的方向也可以相对现实世界即世界坐标系固定。

通过图5A、图5B，说明使用将坐标原点与局部坐标系同样地固定在HMD100的中心、且相对世界坐标系固定坐标的朝向的惯性坐标系的例子。设为在初始状态下，图5A的惯性坐标系虚拟对象510配置于FOV119a的外侧，惯性坐标系虚拟对象520配置于FOV119a的内侧。在使用户的头的角度从初始状态旋转偏航角ψ

另一方面，由于选定为使惯性坐标系的朝向针对世界坐标系相对地固定，所以即使使用户的头的角度从初始状态旋转偏航角ψ

在上述中，相对世界坐标系而固定了惯性坐标系的朝向，但也可以通过变更操作变更惯性坐标系的朝向。另外，由于用户的移动，惯性坐标系的原点也在世界坐标系内移动。如图6所示，设为佩戴HMD100的用户处于世界坐标系中的(X

参照图7～图9，说明配置于世界坐标系、局部坐标系、惯性坐标系的实物对象以及虚拟对象的样子。在图7～图9中，矩形形状标志是现实对象，用世界坐标系定义配置位置。菱形对象是用世界坐标系定义配置位置的世界坐标系虚拟对象。三角形标志表示用局部坐标系定义配置位置的局部坐标系虚拟对象。圆形标志表示用惯性坐标系定义配置位置的惯性坐标系虚拟对象。实线表示能够视觉辨认，虚线表示无法视觉辨认。

图7是示出不使用户在世界坐标系中的位置变化而仅转头部的情况下的样子的变化的图。在图7的初始状态下(上段)，局部坐标系虚拟对象711、惯性坐标系虚拟对象731、世界坐标系虚拟对象741和现实对象721的一部分进入到FOV119a。在该状态下佩戴HMD100的用户转头部时，FOV119a旋转。局部坐标系虚拟对象711由于以与FOV119a相同的旋转量旋转移动，所以还包含于旋转移动后的FOV119a，可视觉辨认。另一方面，配置于FOV119a的外侧的惯性坐标系虚拟对象732以及世界坐标系虚拟对象742由于包含于旋转后的FOV119a而变得能够视觉辨认，但处于FOV119a的内侧的惯性坐标系虚拟对象731、世界坐标系虚拟对象741变得无法视觉辨认。

图8是示出不使用户在世界坐标系中的位置以及头部的朝向变化而进行了惯性坐标系的坐标轴方向的变更操作的情况下的样子的变化的图。作为需要惯性坐标系的坐标轴方向的变更操作的情况，设想面向由正面作业台和一并设置于其侧面的侧面作业台构成的L字型作业台，并坐在椅子上进行作业的情况。设为在正面作业台进行作业时的FOV119a中，可视觉辨认图8的初始状态(上图)。在此，在使惯性坐标系的坐标轴方向旋转时，如图8的下图所示，局部坐标系虚拟对象711、现实对象721、世界坐标系虚拟对象741、743的现实世界中的位置不变，仅惯性坐标系虚拟对象731、732、733在图中从左向右移动。

图9是示出不使惯性坐标系的坐标轴方向以及局部坐标系变化而用户移动的情况下的样子的变化的图。设为可视觉辨认图9的初始状态(上图)。在用户在世界坐标系中移动(例如步行)而接近现实对象721、722、723、724时，现实对象721、722、723、724以及世界坐标系虚拟对象741、742、743随着接近而看起来变大。另一方面，局部坐标系虚拟对象以及惯性坐标系虚拟对象的各个对象的样子无变化。

参照图10以及图11，说明HMD系统1的处理内容。图10是示出HMD系统1的处理的流程的流程图。图11是示出存储有虚拟对象的数据构造的一个例子的图。

在HMD100的主电源被接通时，加速度传感器115、陀螺仪传感器116、地磁传感器117、GPS接收器118各自开始测量(S01)。摄像机111、内置摄像机112、测距传感器113也起动，如果以后的处理中需要则进行摄像。

接下来，如上所述，在HMD100初始化时，坐标系计算部1251通过来自加速度传感器115的信号检测重力方向，根据检测到的重力方向和局部坐标系的X轴方向而设定世界坐标系(S02)。在初始化时，使惯性坐标系原点与局部坐标系原点一致，使惯性坐标系的朝向与世界坐标系一致。坐标系计算部1251在坐标系信息存储部1282中记录将世界坐标系作为基准的局部坐标系以及惯性坐标系的初始化时的位置和朝向、以及初始化时的重力加速度矢量。

在初始化后，更新加速度传感器115检测的加速度矢量和陀螺仪传感器116检测的角速度矢量的值以及各种传感器的测量值(S03)。

根据更新后的加速度矢量和角速度矢量，坐标系计算部1251更新将世界坐标系作为基准的局部坐标系的位置和朝向。在更新时，也可以援用来自其他传感器的信息。更新的位置和朝向的信息被记录到坐标系信息存储部1282(S04)。

根据更新后的局部坐标系的位置和朝向以及惯性坐标系的变更控制方法(后述)，坐标系计算部1251更新将世界坐标系作为基准的惯性坐标系的位置和朝向。在更新时，也可以援用来自其他传感器的信息。更新的位置和朝向的信息被记录到坐标系信息存储部1282(S05)。

显示控制部1255参照虚拟对象存储部1281，读取使用哪个坐标系定义虚拟对象的种类和各虚拟对象的配置位置。然后，计算各虚拟对象在各坐标系中的配置位置和朝向。进而，显示控制部1255将各坐标系中的配置位置和朝向变换到HMD100的局部坐标系(S06)。

显示控制部1255配置虚拟对象。在显示器119的FOV119a内配置虚拟对象的意义等同于显示(S07)。

如果由用户关断(OFF)了主电源(S08/“否”)，则返回到步骤S03，新取得从传感器输出的信号，执行以后的计算。

以下，说明步骤S05的惯性坐标系的变更操作例。

(1)惯性坐标系的变更方法(用户指示)

惯性坐标系的方向q

Δq

在此，Δt是局部坐标系的更新间隔，在继续滑动动作的期间，旋转角速度矢量ω

另外，也可以在输入控制器400中设置触摸面板面，并通过该触摸面板面上的滑动动作进行控制。在该情况下，例如，也可以使惯性坐标系绕在触摸面板面内与滑动方向正交且通过惯性坐标系原点的方向轴旋转。

另外，也可以组合如下控制：决定惯性坐标系的正面方向(例如X轴方向)，使该正面方向与用户侧的基准方向(例如HMD100的正面方向平均朝向的方向、躯干的正面方向)对齐，使用户的基准方向至少不完全追踪用户的头的旋转。

(2)惯性坐标系的变更方法(以用户基准方向为基础进行控制)

首先，决定用户侧的基准方向(用户基准方向)。用户基准方向例如能够设为HMD100的正面方向平均朝向的方向。而且，HMD100的正面方向是指，例如从局部坐标原点朝向显示器的显示面119b的中心的方向。将表示用户的正面方向的单位方向矢量设为局部坐标系中的表现，设为u

u

作为平均化的方法，使用例如指数移动平均，但不限于此。

在此，ξ是平均化系数，取0至1之间的值。使f

q

此处的q

q

q

由于使惯性坐标系的正面方向与HMD100的平均的正面方向对齐，所以即使用户改变头的朝向，惯性坐标系的朝向也不会立即改变。由此，由于FOV119a在惯性坐标系内旋转，所以用户能够对惯性坐标系内的虚拟对象进行视觉辨认并操作，该惯性坐标系的方向范围比局部坐标系中的视觉辨认范围更宽。即，通过该方法，用户能够使用惯性坐标系的空间作为局部坐标系内的可显示区域的扩展区域。

关于惯性坐标系的正面方向追踪HMD100的正面方向的追踪速度，根据使用方案，期望的速度有所不同。例如，在HMD100的平均的从正面方向改变头的朝向的时间比较长的情况下，上述追踪速度越慢越好。另一方面，例如，在用户主要想使头朝向的方向频繁改变的情况下，上述追踪速度越快越好。因此，关于上述追踪速度，也可以通过用户的设定而能够任意变更。在上述平均化的方法中，能够设为越增大(22)式的平均化系数ξ的值，则越提高追踪速度。

另外，由于使惯性坐标系的方向追踪对根据陀螺仪传感器116输出的信号计算的HMD100的旋转方向进行平滑化处理而得到的平滑化旋转方向，所以等价于对惯性坐标系的方向进行了平滑化处理，具有即使用户有细微的活动但惯性坐标系虚拟对象的显示仍保持稳定的效果。

关于惯性坐标系的正面方向，在有多个虚拟对象的配置中心方向的情况下，也可以设为能够通过用户指示从其中选择或者切换。另外，也可以通过滑动动作，将惯性坐标系的任意的方向决定为正面方向。

也可以使用户的基准方向为用户的躯干的正面方向。关于用户的躯干的正面方向，也可以利用内置摄像机112拍摄用户，由外界辨识部1254从摄像图像中检测用户的躯干区域，并根据其辨识结果来决定正面方向。在此，为了确保虚拟对象的视觉辨认性，用户的基准方向取在外界的水平面内。首先，通过内置摄像机112检测局部坐标系中的与用户胸部的表面平行的方向，将以其法线方向朝向用户的正面方向的单位矢量的在局部坐标系中的表现设为s

u

为了使用户的基准方向稳定而进行u

在移动中，也可以将用户的行进方向作为用户基准方向(在该情况下，也可以在低通滤波器等中组合平滑化处理)。该情况下的用户基准方向在世界坐标系中的表现u

u

在此，v

如以上所述，根据基于用户基准方向的控制方法，即使用户临时改变头的方向，惯性坐标系的正面方向也被维持为接近用户的头平均朝向的方向的方向。在使用惯性坐标系作为局部坐标系内的可显示区域的扩展区域的情况下，该控制方法是便利的。

也可以与基于用户指示的(1)的变更控制相组合。在通过用户指示使惯性坐标系旋转的情况下，将在旋转后重叠到用户基准方向的方向作为新的惯性坐标系的正面方向。另外，在急剧改变身体的朝向等的情况下，也可以进行用于使惯性坐标系的正面方向立即与用户基准方向对齐的、基于用户指示的控制。

另外，由于也有在操作中一旦惯性坐标系活动则难以进行操作的情况，所以例如既能够控制该控制模式的on/off以使得用户使用输入控制器400进行输入操作，也可以在进行针对某个虚拟对象的操作时，控制为off。

(3)惯性坐标系的限制

关于惯性坐标系的Z

(4)电源切断时以及接通时的处理

也可以在电源切断时，将惯性坐标系的正面方向存储到坐标系信息存储部1282。在只要无用户的变更操作就将惯性坐标系的方向在世界坐标系中固定的模式的情况下，将电源切断时HMD100的正面方向所朝向的方向设为惯性坐标系的正面方向。

作为电源接通时的惯性坐标系的设定，除了上述初始化过程的设定方法以外，也可以由坐标系计算部1251在电源接通时读出上次的正面方向信息，并在步骤S02中使惯性坐标系的朝向与其对齐。

(5)惯性坐标系的坐标原点的设定方法

在上述控制方法中，使惯性坐标系原点与局部坐标系原点一致，但也可以不追踪头的细微的活动，而设定为对局部坐标系原点位置进行平滑化处理而得到的平滑化位置、仅随时追踪大到某种程度的活动并更新。作为平滑化处理，使用例如下式的指数移动平均。

在此，ξ是平均化系数，取0至1之间的值。但是，为了确保配置于惯性坐标系的虚拟对象的视觉辨认性，惯性坐标系原点被控制为保留在距局部坐标系原点即HMD100的中心为一定的范围内。

(6)页面控制

也可以保持多个惯性坐标系，并将各个惯性坐标系作为页面进行管理，分别配置虚拟对象。图11示出存储有虚拟对象的种类的虚拟对象信息例。在图11中，除了世界坐标系现实对象、世界坐标系虚拟对象、局部坐标系虚拟对象以外，还规定有通过多个惯性坐标系的各个惯性坐标系显示的惯性坐标系虚拟对象，作为该多个惯性坐标系，包括惯性坐标系1、惯性坐标系2、惯性坐标系3。图11的“右撇子用图标群组”、以及“左撇子用图标群组”是将多个图标集中为一个群组而成的。另外，“右撇子用图标群组”仅在用户是右撇子的情况下显示，“左撇子用图标群组”仅在用户是左撇子的情况下显示，所以进行排他性的显示控制。这样，也可以进行惯性坐标系虚拟对象的显示的on/off、方向的控制。也可以进行如下显示：使作为操作对象(激活)的配置于惯性坐标系的虚拟对象比作为非操作对象(非激活)的配置于惯性坐标系的虚拟对象颜色更深等，从而明确哪个虚拟对象为操作对象。进而，也可以能够针对每个惯性坐标系通过滑动改变方向，还可以改变方向控制方法的模式。

另外，也可以显示配置于虚拟对象的旁边的编号等(颜色区分等)的标志，该编号用于识别在惯性坐标系1、惯性坐标系2、惯性坐标系3的各个惯性坐标系中定义的多个页面。也可以改变每个页面和用户之间的距离，换言之，也可以改变惯性坐标系1、惯性坐标系2、惯性坐标系3的各惯性坐标系和用户之间的距离。将作为操作对象的页面显示于跟前侧。此时，也可以根据距离控制大小，以使对象的从用户的视角恒定。

(7)全方位图像的显示

也可以为了显示过去拍摄到的、全方位图像(实际对象、虚拟对象)而使用惯性坐标系的显示空间。如果使惯性坐标系旋转，则能够观察全方位的影像。

另外，不仅是过去的图像，也可以将当前时间点的全方位的图像显示于惯性坐标系的显示空间，从而能够观察各个方向的图像。

(8)局部坐标系的省略

也可以在惯性坐标系的特定方向附近显示在局部坐标系中显示的重要的虚拟对象，而不设置局部坐标系。在该情况下，为了访问该重要的虚拟对象，只要进行使惯性坐标系的所述特定方向与用户基准方向对齐的控制，就能够立即访问重要的虚拟对象。

(9)关联对象的自动排列

在对世界坐标系虚拟对象进行加工等的情况下，也可以将关联操作菜单等显示于该时间点的惯性坐标系内的、作为加工对象的世界坐标系虚拟对象的附近。用户能够转头或者旋转惯性坐标系，从而访问该操作菜单等。

(10)向VR护目镜、智能手机的应用

也可以应用于VR护目镜、智能手机。在VR护目镜的情况下，外界的影像作为视频透视而配置于世界坐标系。在智能手机的情况下，测量用户的位置而作为惯性坐标系的原点。另外，智能手机和固定于惯性坐标系的虚拟对象之间的距离变化，所以也可以与该距离的变化对应地，使该虚拟对象的显示上的大小变化(在使智能手机接近虚拟对象的配置位置时放大)。

根据上述实施方式，能够使用作为对世界坐标系以及局部坐标系各自的缺陷补短板的新的坐标系的惯性坐标系来配置虚拟对象。由此，在局部坐标系中仅能够在坐标系中固定的FOV内以能够进行视觉辨认的状态配置虚拟对象，存在诸如配置数量受制约或者视觉辨认性降低的问题。相对于此，通过使用惯性坐标系定义虚拟对象的配置位置，在局部坐标系中的FOV的外侧配置虚拟对象，在需要时用户通过转头就能够对虚拟对象进行视觉辨认，所以能够消除配置数的制约而不会降低视觉辨认性。

进而，在世界坐标系中配置虚拟对象时，存在诸如随着用户移动而难以观察虚拟对象的缺点，但在使用惯性坐标系定义虚拟对象的配置位置时，能够使虚拟对象追踪用户的移动而移动，能够对世界坐标系的缺陷补短板。

此外，本发明不限于上述实施方式，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的例子，未必具备说明的所有结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，并且，还能够对某个实施例的结构加上其他实施例的结构。另外，能够对各实施例的结构的一部分进行追加其他结构、删除、置换。

另外，关于上述各结构，既可以用硬件构成这些结构的一部分或者全部，也可以构成为通过由处理器执行程序来实现。另外，关于控制线、信息线，示出在说明上认为必要的部分，未必示出产品上所有的控制线、信息线。也可以认为实际上几乎所有结构相互连接。

例如，在上述实施方式中，使用世界坐标系、局部坐标系、惯性坐标系这3个坐标系，将虚拟对象显示于HMD100，但也可以仅使用惯性坐标系来显示虚拟对象。另外，也可以组合世界坐标系以及局部坐标系的至少一个和惯性坐标系，来显示虚拟对象。