图像处理装置、方法及记录介质、眼镜型信息显示装置

技术领域

本发明涉及一种图像处理装置、图像处理方法及记录介质、眼镜型信息显示装置。

背景技术

以往，作为显示立体影像的显示装置，已知有在现实世界中将图像以叠加的状态显示的增强现实(AR：Augmented Reality)设备等眼镜型信息显示装置。

在使用眼镜型信息显示装置的用户的脑内，通过将视觉辨认现实世界的现实像和视觉辨认投影图像的投影像合成，用户视觉辨认投影像重叠于现实像的状态。

在眼镜型信息显示装置中，已知有一种改变现实像及投影像的视觉辨认度的技术。例如，在专利文献1中记载了一种技术，其中，在实际空间中重叠显示虚拟对象的光学透射型头戴式显示器的显示中，根据检测出用户的视线的检测结果来变更虚拟对象的透明度。

专利文献1：JP再公表2019-123770号公报

在眼镜型信息显示装置中，用户实际上视觉辨认的视觉辨认像与对用户所视觉辨认的现实世界进行拍摄而得的摄影图像有时不同。

发明内容

本发明是鉴于以上情况而完成的，其目的在于提供一种能够获得模拟了用户所视觉辨认的像的图像的图像处理装置、图像处理方法及图像处理程序。

为了实现上述目的，本发明的第1方式的图像处理装置具备至少一个处理器，在对于由用户通过眼镜型信息显示装置的透射部视觉辨认的现实像及投影到透射部并由用户视觉辨认的投影像中的至少一个像，使用户的视觉辨认度改变的视觉辨认度变化部改变现实像的视觉辨认度的情况下，处理器从由相机对现实世界进行拍摄而得的摄影图像，基于表示视觉辨认度的变化的信息和眼镜型信息显示装置的机种信息及相机的机种信息中的至少一者来生成模拟了视觉辨认度改变后的现实像的图像。

关于本发明的第2方式的图像处理装置，在第1方式的图像处理装置中，处理器进行下述控制，即，记录模拟了视觉辨认度改变后的现实像的图像。

关于本发明的第3方式的图像处理装置，在第1方式的图像处理装置中，在视觉辨认度变化部改变投影像的视觉辨认度的情况下，处理器进行如下处理：从投影到透射部的投影图像，基于表示视觉辨认度的变化的信息和眼镜型信息显示装置的机种信息来生成模拟了视觉辨认度改变后的投影像的图像；进行记录模拟了视觉辨认度改变后的投影像的图像的控制。

关于本发明的第4方式的图像处理装置，在第3方式的图像处理装置中，眼镜型信息显示装置的机种信息为与透射部的种类相对应的信息。

关于本发明的第5方式的图像处理装置，在第4方式的图像处理装置中，透射部具备导光板，上述导光板传播表示投影图像的光，并沿着用户的眼睛的方向射出，眼镜型信息显示装置的机种信息为与导光板的种类相对应的信息。

为了实现上述目的，本发明的第6方式的眼镜型信息显示装置具备透射部、视觉辨认度变化部及本发明的图像处理装置。

为了实现上述目的，本发明的第7方式的图像处理方法为如下图像处理方法：在对于由用户通过眼镜型信息显示装置的透射部视觉辨认的现实像及投影到透射部并由用户视觉辨认的投影像中的至少一个像，使用户的视觉辨认度改变的视觉辨认度变化部改变现实像的视觉辨认度的情况下，从由相机对现实世界进行拍摄而得的摄影图像，基于表示视觉辨认度的变化的信息和眼镜型信息显示装置的机种信息及相机的机种信息中的至少一者来生成模拟了视觉辨认度改变后的现实像的图像。

为了实现上述目的，本发明的第8方式的计算机可读取的记录介质，记录有图像处理程序，该图像处理程序用于使处理器执行如下处理：在对于由用户通过眼镜型信息显示装置的透射部视觉辨认的现实像及投影到透射部并由用户视觉辨认的投影像中的至少一个像，使用户的视觉辨认度改变的视觉辨认度变化部改变现实像的视觉辨认度的情况下，从由相机对现实世界进行拍摄而得的摄影图像，基于表示视觉辨认度的变化的信息和眼镜型信息显示装置的机种信息及相机的机种信息中的至少一者来生成模拟了视觉辨认度改变后的现实像的图像。

发明效果

根据本发明，能够获得模拟了用户所视觉辨认的图像的图像。

附图说明

图1是表示实施方式的眼镜型信息显示装置的结构的一例的结构图。

图2是表示实施方式的AR玻璃的一例的立体图。

图3是表示实施方式的智能手机的结构的一例的框图。

图4是用于说明用户所视觉辨认的视觉辨认像的图。

图5A是用于说明现实像的视觉辨认度的变化的图。

图5B是用于说明投影像的视觉辨认度的变化的图。

图6是表示实施方式的智能手机的硬件结构的一例的框图。

图7A是用于说明用户所视觉辨认的现实像的图。

图7B是用于说明用户所视觉辨认的投影像的图。

图8是表示由实施方式的智能手机执行的图像处理的一例的流程图。

符号说明

1-眼镜型信息显示装置，10-AR玻璃，12-智能手机，20L-左眼用透射部，20R-右眼用透射部，22L-左眼用透镜，22R-右眼用透镜，24-导光板，25-光度计，26-OLED，27-相机，28-现实像视觉辨认度变化部，29-视线检测传感器，40-处理器，42-存储器，43-I/F部，44-存储部，45-图像处理程序，46-显示器，47-图像记录部，48-输入装置，49-总线，50-投影图像获取部，51-摄影图像获取部，52-关注区域获取部，53-照度获取部，54-视觉辨认度控制部，56-现实像视觉辨认度控制部，57-视觉辨认现实像模拟图像生成部，58-投影图像视觉辨认度控制部，59-视觉辨认投影像模拟图像生成部，60-显示控制部，62-记录控制部，70-现实世界，72-现实像，74-投影图像，75-投影像，76-视觉辨认像，U-用户。

具体实施方式

以下，参考附图，对用于实施本发明的技术的实施例进行详细说明。

参考图1，对本实施方式的眼镜型信息显示装置1的结构进行说明。如图1所示，本实施方式的眼镜型信息显示装置1具备AR(Augmented Reality：增强现实)玻璃10及智能手机12。

AR玻璃10为在将从OLED(Organic Light Emitting Diode：有机电致发光二极管)26投影的投影图像重叠于现实像上的状态下用户能够视觉辨认的装置。在图2中示出本实施方式的AR玻璃10的一例的立体图。如图1及图2所示，AR玻璃10具备一对左眼用透射部20L及右眼用透射部20R、光度计25、OLED26、相机27、现实像视觉辨认度变化部28以及视线检测传感器29。本实施方式的右眼用透射部20R为本发明的透射部的一例。

OLED26将表示信息的图像(投影图像)投影到右眼用透射部20R，以在由用户通过右眼用透射部20R视觉辨认的现实像的视野内重叠地插入信息。

右眼用透射部20R包括右眼用透镜22R及导光板24。与从OLED26投影的投影图像相对应的光射入到导光板24的一端。在导光板24中传播的光在出射部(省略图示)中改变方向，并沿着用户眼睛的方向射出。从导光板24射出的与投影图像相对应的光透射右眼用透镜22R，被引导至用户的右眼，作为投影像用右眼视觉辨认。并且，用户用右眼视觉辨认通过右眼用透镜22R的现实世界作为现实像。

因此，在从OLED26投影投影图像的期间，由用户的右眼视觉辨认的视觉辨认像成为表示通过右眼用透镜22R的现实世界的现实像和与投影到导光板24的投影图像相对应的投影像重叠而成的状态。并且，在未从OLED26投影投影图像的期间，由用户视觉辨认的视觉辨认像成为表示通过右眼用透镜22R及导光板24的现实世界的现实像。

另一方面，左眼用透射部20L包括左眼用透镜22L。用户用左眼视觉辨认通过左眼用透镜22L的现实世界。

在OLED26将投影图像投影到导光板24的情况下，现实像视觉辨认度变化部28改变由用户通过右眼用透镜22R视觉辨认的现实像的视觉辨认度。作为一例，本实施方式的现实像视觉辨认度变化部28通过变更右眼用透射部20R的光学特性来改变右眼用透镜22R整体的视觉辨认度。并且，作为变更右眼用透射部20R的光学特性的例子，本实施方式的现实像视觉辨认度变化部28通过阶段性地调整右眼用透射部20R、更具体而言为右眼用透镜22R的遮光率，阶段性地降低由用户的右眼视觉辨认的现实像的视觉辨认度。作为这种现实像视觉辨认度变化部28，例如，可举出液晶快门、电致变色及可变式ND(Neutral Density：中性密度)滤光片等。本实施方式的现实像视觉辨认度变化部28为本发明的视觉辨认度变化部的一例。

相机27为对用户所观察的现实世界进行拍摄的相机。作为相机27，例如，可举出CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)相机等数字式相机。在本实施方式中，为了拍摄与用户所视觉辨认的现实像等同的摄影图像，相机27能够拍摄彩色图像。并且，本实施方式的相机27为能够将与用户的视角范围等同的区域设为摄影范围的、使用了所谓的鱼眼透镜或广角透镜的相机。如此，在本实施方式中，作为相机27的摄影范围，设为与用户的视角范围等同的区域，但是不限定于本方式，可以是比用户的视角范围宽的区域，也可以是比用户的视角范围窄的区域。另外，为了至少向用户提供现实世界的视觉辨认，相机27的摄影范围优选为与用户的视角范围等同以上。由相机27拍摄的摄影图像的图像数据被输出到智能手机12。另外，在本实施方式中，“摄影图像”是指由相机27拍摄的图像。

视线检测传感器29为检测用户的视线的传感器。作为视线检测传感器29，能够应用公知的传感器，例如，可举出根据虹膜或瞳孔的位置来检测用户的视线方向的传感器等。作为一例，本实施方式的AR玻璃10检测用户的右眼的视线。视线检测传感器29的检测结果被输出到智能手机12。

光度计25为检测作为用户所视觉辨认的现实世界的亮度的照度作为环境光的亮度的传感器。光度计25所检测出的照度被输出到智能手机12。

另一方面，智能手机12具备处理器40及图像记录部47。本实施方式的处理器40对OLED26进行使投影图像从OLED26投影到导光板24的控制。并且，处理器40进行现实像的视觉辨认度的控制及投影像的视觉辨认度的控制。本实施方式的智能手机12为本发明的图像处理装置的一例。

图像记录部47记录由相机27拍摄的摄影图像及投影图像等。

在图3中示出表示与智能手机12中的与现实像的视觉辨认度的控制及投影图像的视觉辨认度的控制相关的功能有关的结构的一例的框图。如图3所示，智能手机12具备处理器40、存储器42、I/F(InterFace：接口)部43、存储部44、显示器46、图像记录部47及输入装置48。处理器40、存储器42、I/F部43、存储部44、显示器46、图像记录部47及输入装置48经由系统总线、控制总线等总线49相互以能够收发各种信息的方式连接。

处理器40将包括存储于存储部44的图像处理程序45的各种程序读出到存储器42，并执行根据所读出的程序的处理。由此，处理器40进行基于OLED26的投影图像的投影的控制及降低基于现实像视觉辨认度变化部28的视觉辨认度的控制。存储器42为用于处理器40执行处理的工作存储器。

在存储部44中存储图像处理程序45及从OLED26投影的投影图像的图像数据(省略图示)、其他各种信息等。作为存储部44的具体例，可举出HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等。

I/F部43通过无线通信或有线通信与OLED26及现实像视觉辨认度变化部28各自之间进行各种信息的通信。显示器46及输入装置48作为用户界面发挥功能。显示器46向用户提供与投影图像的投影有关的各种信息。显示器46并无特别限定，可举出液晶显示器及LED(Light Emitting Diode：发光二极管)显示器等。并且，输入装置48由用户进行操作以输入与投影图像的投影有关的各种命令。输入装置48并无特别限定，例如，可举出键盘、触控笔及鼠标等。另外，在智能手机12中，采用了将显示器46与输入装置48进行了一体化的触摸屏显示器。

并且，对本实施方式的智能手机12的功能进行说明。本实施方式的智能手机12的处理器40对由用户通过右眼用透射部20R的右眼用透镜22R视觉辨认的现实像及投影到右眼用透射部20R的导光板24并由用户视觉辨认的投影图像视觉辨认的投影像中的至少一个像进行改变视觉辨认度的控制。并且，智能手机12具有如下功能：在改变现实像的视觉辨认度的情况下，由摄影图像生成模拟了用户所视觉辨认的现实像的图像，进行使图像记录部47进行记录的控制。并且，智能手机12在改变现实像的视觉辨认度的情况下，由摄影图像生成模拟了用户所视觉辨认的现实像的图像，在改变投影像的视觉辨认度的情况下，由投影图像生成模拟了用户所视觉辨认的投影像的图像，进行使图像记录部47分别进行记录的控制。另外，在本实施方式中，将模拟了用户所视觉辨认的现实像的图像称为视觉辨认现实像模拟图像。本实施方式的视觉辨认现实像模拟图像为模拟了本发明的视觉辨认度改变后的现实像的图像的一例。并且，在本实施方式中，将模拟了用户所视觉辨认的投影像的图像称为视觉辨认投影像模拟图像，本实施方式的视觉辨认投影像模拟图像为模拟了本发明的视觉辨认度改变后的投影像的图像的一例。

在此，对现实像及投影像的视觉辨认度的变化进行说明。

利用图4，对使用眼镜型信息显示装置1的用户视觉辨认现实世界70的状态进行说明。如图4所示，在不从OLED26投影投影图像的状态下，用户视觉辨认现实世界70的情况下，用户视觉辨认现实像72。

在该状态下将投影图像74从OLED26投影到导光板24的情况下，如图4所示，用户视觉辨认与投影图像74相对应的投影像75。因此，用户所视觉辨认的视觉辨认像78成为现实像72和投影像75重叠而成的图像。

现实像72中，如图5A所示，在现实世界70过亮、所谓的刺眼的情况下，导致现实像72过亮且现实像72的视觉辨认度降低。因此，在现实世界70过亮的情况下，能够通过使现实像72变暗来提高现实像72的视觉辨认度。在本实施方式中，在作为通过光度计25检测出现实世界70的亮度的检测结果的照度(以下，简称为现实世界70的照度)为阈值以上的情况下，作为现实世界70的亮度过亮的情况，通过由现实像视觉辨认度变化部28增加右眼用透镜22R的遮光率来提高现实像72的视觉辨认度。

另一方面，在现实世界70过暗的情况下，导致现实像72过暗且现实像72的视觉辨认度降低。因此，在现实世界70过暗的情况下，能够通过使现实像72比投影像75相对亮来提高现实像72的视觉辨认度。在本实施方式中，在现实世界70的照度小于阈值的情况下，作为现实世界70的亮度过暗的情况，通过将投影图像74的亮度值设为比规定值小，使投影像75的亮度降低而使投影像75变暗。由此，通过使现实像72比投影像75相对亮来提高现实像72的视觉辨认度。

另一方面，如图5B所示，投影图像74能够通过设为比现实像72相对亮来提高视觉辨认度。在本实施方式中，通过将投影图像74的亮度值设为比规定值大，增加投影像75的亮度而使投影像75变亮。由此，通过使投影像75比现实像72相对亮来提高投影像75的视觉辨认度。

在本实施方式中，处理器40根据视线检测传感器29的检测结果，基于用户视觉辨认了现实像72及投影图像74中的哪一个，获取现实像72及投影像75中的视觉辨认的像作为关注区域。然后，进行下述控制，即，使现实像72及投影像75中的作为关注区域的像的视觉辨认度比不是关注区域的像的视觉辨认度相对高。

在图6中示出表示与本实施方式的智能手机12的功能相关的结构的一例的功能框图。如图6所示，智能手机12具备投影图像获取部50、摄影图像获取部51、关注区域获取部52、照度获取部53、视觉辨认度控制部54、视觉辨认现实像模拟图像生成部57、视觉辨认投影像模拟图像生成部59、显示控制部60及记录控制部62。作为一例，本实施方式的智能手机12中，处理器40执行存储于存储部44的图像处理程序45，由此处理器40作为投影图像获取部50、摄影图像获取部51、关注区域获取部52、照度获取部53、视觉辨认度控制部54、视觉辨认现实像模拟图像生成部57、视觉辨认投影像模拟图像生成部59、显示控制部60及记录控制部62发挥功能。

投影图像获取部50具有获取0LED26所投影的投影图像的图像数据的功能。作为一例，在本实施方式中，投影图像的图像数据存储于存储部44，因此投影图像获取部50从存储部44获取投影图像的图像数据。另外，与本方式无关地，可以设为经由I/F部43从智能手机12的外部装置获取投影图像的图像数据的方式。投影图像获取部50将投影图像的图像数据输出到视觉辨认度控制部54。另外，以下，关于投影图像的图像数据，简称为投影图像，例如，称为获取投影图像。

摄影图像获取部51具有获取由相机27对现实世界70进行拍摄而得的摄影图像的图像数据的功能。摄影图像获取部51所获取的摄影图像的图像数据被输出到视觉辨认现实像模拟图像生成部57。另外，以下，关于摄影图像的图像数据，简称为摄影图像，例如，称为获取摄影图像等。

关注区域获取部52根据视线检测传感器29的检测结果来获取关注区域。具体而言，在视线检测传感器29的检测结果为视线朝向现实像72的检测结果的情况下，关注区域获取部52获取现实像72作为关注区域。另一方面，在视线检测传感器29的检测结果为视线朝向投影像75的检测结果的情况下，关注区域获取部52获取投影像75作为关注区域。关注区域获取部52将表示关注区域是现实像72及投影像75中的哪一个的信息输出到视觉辨认度控制部54。

照度获取部53具有获取光度计25所检测出的照度的功能。即，如上所述，本实施方式的照度获取部53具有获取表示现实世界70的亮度的照度的功能。照度获取部53将所获取的表示照度的信息输出到视觉辨认度控制部54。

视觉辨认度控制部54包括现实像视觉辨认度控制部56及投影图像视觉辨认度控制部58。视觉辨认度控制部54具有进行下述控制的功能，即，根据现实像72及投影像75中的至少一者与关注区域的关联性来改变视觉辨认度。

在关注区域为现实像72的情况下，视觉辨认度控制部54进行下述控制，即，使现实像72的视觉辨认度比投影像75的视觉辨认度相对高。在提高现实像72的视觉辨认度的情况下，并且在照度获取部53所获取的照度为阈值以上的情况下，现实像视觉辨认度控制部56进行下述控制，即，用于通过现实像视觉辨认度变化部28提高现实像72的视觉辨认度。本实施方式的现实像视觉辨认度控制部56命令现实像视觉辨认度变化部28，以使右眼用透镜22R的遮光率成为视觉辨认度控制部54所确定的遮光率。现实像视觉辨认度变化部28根据从智能手机12输出的命令来设为所命令的遮光率，由此提高由用户视觉辨认的现实像72的视觉辨认度。现实像视觉辨认度控制部56将表示提高了现实像的视觉辨认度的信息输出到视觉辨认现实像模拟图像生成部57。

并且，在提高现实像72的视觉辨认度的情况下，并且在照度获取部53所获取的照度小于阈值的情况下，投影图像视觉辨认度控制部58进行下述控制，即，用于通过减小投影图像74的亮度值而使其变暗来降低投影像75的视觉辨认度。本实施方式的投影图像视觉辨认度控制部58通过降低投影像75的视觉辨认度来相对提高现实像72的视觉辨认度。投影图像视觉辨认度控制部58将减小了亮度值的投影图像74输出到视觉辨认投影像模拟图像生成部59及显示控制部60。

另一方面，在关注区域为投影像75的情况下，视觉辨认度控制部54进行下述控制，即，使投影像75的视觉辨认度比现实像72的视觉辨认度相对高。在提高投影像75的视觉辨认度的情况下，投影图像视觉辨认度控制部58进行下述控制，即，用于通过增加投影图像74的亮度值而使其变亮来提高投影像75的视觉辨认度。投影图像视觉辨认度控制部58将增加了亮度值的投影图像74输出到视觉辨认投影像模拟图像生成部59及显示控制部60。

即，投影图像视觉辨认度控制部58在未改变投影像75的视觉辨认度的情况下，将与投影图像获取部50所获取的投影图像74等同的投影图像74输出到视觉辨认投影像模拟图像生成部59及显示控制部60。另一方面，投影图像视觉辨认度控制部58在改变投影像75的视觉辨认度的情况下，将通过投影图像视觉辨认度控制部58亮度值增加或减小的投影图像74输出到视觉辨认投影像模拟图像生成部59及显示控制部60。

显示控制部60具有对OLED26进行用于投影投影图像的控制的功能。

视觉辨认现实像模拟图像生成部57具有由摄影图像生成模拟了用户所视觉辨认的现实像72的视觉辨认现实像模拟图像的功能。如图7A所示，用户U通过右眼用透镜22R及导光板24视觉辨认现实世界70作为现实像72。因此，用户U所视觉辨认的现实像72成为受到右眼用透镜22R及导光板24的影响的像。例如，现实像72成为与右眼用透镜22R及导光板24相对应的色调的像。另一方面，相机27不经由右眼用透镜22R及导光板24对现实世界70进行拍摄，而获得摄影图像。因此，摄影图像成为受到相机27的影响的像。例如，摄影图像成为与相机27相对应的色调的像。因此，视觉辨认现实像模拟图像生成部57考虑右眼用透镜22R、导光板24及相机27的影响，由通过相机27获得的摄影图像生成模拟了用户U所视觉辨认的现实像72的视觉辨认现实像模拟图像。作为一例，本实施方式的视觉辨认现实像模拟图像生成部57根据按相机的每个机种将摄影图像的色调校正为基准颜色的三维LUT(Look UpTable：查阅表)，使用与相机27的机种相对应的三维LUT，进行RGB各颜色的灰度变换的图像处理，由此将摄影图像的色调校正为基准颜色。而且，视觉辨认现实像模拟图像生成部57根据按AR玻璃的每个机种校正现实像72的色调的三维LUT，使用与AR玻璃10的机种相对应的三维LUT，进行RGB各颜色的灰度变换的图像处理，由此进一步对已校正为基准颜色的摄影图像的色调进行校正，从而生成视觉辨认现实像模拟图像。另外，关于使用了三维LUT的图像的色调的校正，能够应用日本特开2001-312720号中所记载的技术。视觉辨认现实像模拟图像生成部57将所生成的视觉辨认现实像模拟图像输出到记录控制部62。

视觉辨认投影像模拟图像生成部59具有由投影图像74生成模拟了用户所视觉辨认的投影像75的图像的功能。如图7B所示，用户U通过右眼用透镜22R视觉辨认投影到导光板24的投影图像74作为投影像75。因此，用户U所视觉辨认的投影像75成为受到右眼用透镜22R及导光板24的影响的像。例如，现实像72成为与右眼用透镜22R及导光板24相对应的色调的像。

因此，视觉辨认投影像模拟图像生成部59考虑右眼用透镜22R、导光板24及相机27的影响，由从投影图像视觉辨认度控制部58输出的投影图像74，生成模拟了用户U所视觉辨认的投影像75的视觉辨认投影像模拟图像。作为一例，本实施方式的视觉辨认投影像模拟图像生成部59根据按AR玻璃的每个机种校正投影图像74的色调的三维LUT，使用与AR玻璃10的机种相对应的三维LUT，进行RGB各颜色的灰度变换的图像处理，由此校正投影图像74的色调，从而生成视觉辨认投影像模拟图像。视觉辨认投影像模拟图像生成部59将所生成的视觉辨认投影像模拟图像输出到记录控制部62。投影图像视觉辨认度控制部58在改变投影图像74的亮度值的情况下，将改变了亮度值的投影图像74输出到视觉辨认投影像模拟图像生成部59。因此，在改变投影像75的视觉辨认度的情况下，从视觉辨认投影像模拟图像生成部59输出关于视觉辨认度的变化也被模拟的视觉辨认投影像模拟图像。

记录控制部62具有进行下述控制的功能，即，使图像记录部47记录视觉辨认现实像模拟图像生成部57所生成的视觉辨认现实像模拟图像和视觉辨认投影像模拟图像生成部59所生成的视觉辨认投影像模拟图像。另外，记录控制部62可以在将视觉辨认现实像模拟图像和视觉辨认投影像模拟图像合成的状态下使图像记录部47进行记录，也可以在将视觉辨认现实像模拟图像和视觉辨认投影像模拟图像建立对应关联的状态下分别作为独立的图像而使图像记录部47进行记录。

接着，对本实施方式的智能手机12的作用进行说明。在图8中示出表示基于本实施方式的智能手机12的处理器40的图像处理的流程的一例的流程图。作为一例，在本实施方式的智能手机12中，在接收到用户使用输入装置48输入的投影开始的命令的情况下，处理器40通过执行存储于存储部44的图像处理程序45来执行在图8中示出一例的图像处理。另外，在开始图8所示的图像处理的时刻，用户同时用左眼和右眼，通过左眼用透射部20L及右眼用透射部20R，视觉辨认现实世界70即现实像72。

在图8的步骤S100中投影图像获取部50开始获取投影图像74。在本实施方式中，如上所述，从存储部44获取投影图像74的图像数据。

在下一步骤S102中，如上所述，摄影图像获取部51开始从相机27获取对现实世界70进行拍摄而得的摄影图像。

在下一步骤S104中，视觉辨认度控制部54分别获取表示AR玻璃10的机种的机种信息及表示相机27的机种的机种信息。另外，视觉辨认度控制部54分别获取表示AR玻璃10的机种的机种信息及表示相机27的机种的机种信息的方法不受限定。例如，视觉辨认度控制部54可以分别查询AR玻璃10及相机27，并分别从AR玻璃10及相机27获取机种信息。

在下一步骤S106中，显示控制部60将投影图像74的图像数据及投影开始的开始命令输出到OLED26，以使在上述步骤S100中获取的投影图像74投影到导光板24。若从智能手机12输入投影图像74的图像数据及投影开始的开始命令，则OLED26将所输入的投影图像74投影到导光板24。

由此，用户视觉辨认与投影图像74相对应的投影像75。因此，用户视觉辨认重叠有投影像75的现实像72，并将视线对准现实像72及投影像75中的任一个。

在下一步骤S108中，关注区域获取部52根据视线检测传感器29的检测结果来开始获取表示关注区域的关注区域信息。

在下一步骤S110中，视觉辨认度控制部54判定关注区域是否为现实像72。在关注区域为现实像72的情况下，步骤S110的处理成为肯定判定，转移到步骤S112。

在步骤S112中，如上所述，现实像视觉辨认度控制部56判定照度获取部53所获取的照度是否为阈值以上。在所获取的照度为阈值以上的情况下，即，在现实世界70亮的情况下，步骤S112的判定成为肯定判定，转移到步骤S114。

在步骤S114中，如上所述，现实像视觉辨认度控制部56通过使现实像72的亮度变暗来提高现实像72的视觉辨认度。具体而言，向现实像视觉辨认度变化部28输出命令，以根据预先确定的降低量降低现实像72的亮度。若从智能手机12输入命令，则现实像视觉辨认度变化部28以所命令的降低量对右眼用透射部20R进行遮光。由此，用户容易看到现实像72，因此现实像72的视觉辨认度得到提高。

另一方面，在上述步骤S112中照度小于阈值的情况下，即，在现实世界70暗的情况下，步骤S112的判定成为否定判定，转移到步骤S116。在步骤S116中，如上所述，投影图像视觉辨认度控制部58通过使投影图像74的亮度变暗来提高现实像72的视觉辨认度。具体而言，通过减小规定量的投影图像74的亮度值，使投影图像74变暗而使投影像75变暗，使现实像72相对亮。由此，用户容易看到现实像72，因此现实像72的视觉辨认度得到提高。

另一方面，在关注区域不是现实像72的情况下，换句话说，在关注区域是投影像75的情况下，步骤S110的处理成为否定判定，转移到步骤S118。在步骤S118中，如上所述，投影图像视觉辨认度控制部58提高投影像75的视觉辨认度。具体而言，通过增加规定量的投影图像74的亮度值，使投影图像74变亮而使投影像75比现实像72相对亮。由此，用户容易看到投影像75，因此投影像75的视觉辨认度得到提高。

若步骤S114、S116或S118的处理结束，则转移到步骤S120。

在步骤S120中，如上所述，视觉辨认现实像模拟图像生成部57获取与AR玻璃机种信息及相机机种信息分别相对应的三维LUT。

在下一步骤S122中，如上所述，视觉辨认现实像模拟图像生成部57由相机27所拍摄的摄影图像生成视觉辨认现实像模拟图像。如上所述，视觉辨认现实像模拟图像生成部57通过对摄影图像进行使用了与AR玻璃10的机种信息相对应的三维LUT的图像处理及使用了与相机27的机种信息相对应的三维LUT的图像处理来生成视觉辨认现实像模拟图像。另外，在提高了现实像72的视觉辨认度的情况下，也对该摄影图像进行与提高视觉辨认度相对应的图像处理，生成视觉辨认现实像模拟图像。作为与提高视觉辨认度相对应的图像处理，例如，如上所述，使现实像72变暗，因此可举出根据现实像视觉辨认度变化部28的遮光率来降低摄影图像的亮度值的图像处理。本实施方式的AR玻璃10的机种信息为本发明的眼镜型信息显示装置的机种信息的一例。

在下一步骤S124中，如上所述，视觉辨认投影像模拟图像生成部59由从投影图像视觉辨认度控制部58输出的投影图像74生成视觉辨认投影像模拟图像。如上所述，视觉辨认投影像模拟图像生成部59通过对从投影图像视觉辨认度控制部58输出的投影图像74进行使用了与AR玻璃10的机种信息相对应的三维LUT的图像处理来生成视觉辨认投影像模拟图像。

在下一步骤S126中，记录控制部62进行下述控制，即，将在上述步骤S122中生成的视觉辨认现实像模拟图像和在上述步骤S124中生成的视觉辨认投影像模拟图像建立对应关联而使图像记录部47进行记录。

在下一步骤S128中，关注区域获取部52判定关注区域是否被变更。在关注区域被变更的情况下，步骤S128的判定成为肯定判定，转移到步骤S130。在步骤S130中，视觉辨认度控制部54重置当前正在进行的现实像72或投影像75的视觉辨认度的变化。即，对于现实像72及投影像75设为视觉辨认度未发生改变的状态。在步骤S130之后，返回到步骤S110，重复进行步骤S110～S128的处理。另一方面，在关注区域未被变更的情况下，步骤S128的判定成为否定判定，转移到步骤S132。

在步骤S132中，显示控制部60判定是否结束投影图像74的投影。作为一例，在本实施方式中，在接收到用户使用输入装置48输入的投影结束的命令的情况下，结束投影图像74的投影。因此，在未接收到投影图像74的投影结束的命令的情况下，步骤S132的判定成为否定判定，返回到步骤S128。另一方面，在接收到投影图像74的投影结束的命令的情况下，步骤S132的判定成为肯定判定，转移到步骤S134。

在步骤S134中，视觉辨认度控制部54判定现实像视觉辨认度变化部28是否正在改变现实像72的视觉辨认度。现实像72的视觉辨认度不是改变中的情况下，步骤S134的判定成为否定判定，转移到步骤S138。另一方面，在现实像72的视觉辨认度正在改变的情况下，步骤S134的判定成为肯定判定，转移到步骤S136。

在步骤S136中，视觉辨认度控制部54的现实像视觉辨认度控制部56向现实像视觉辨认度变化部28输出结束命令，以结束现实像72的视觉辨认度的变化。若从智能手机12输入结束命令，则现实像视觉辨认度变化部28结束右眼用透射部20R的遮光。由此，返回到现实像72的视觉辨认度发生改变之前的状态。

在下一步骤S138中，显示控制部60向OLED26输出结束命令，以结束投影图像74的投影。若从智能手机12输入结束命令，则OLED26结束投影图像的投影。若步骤S138的处理结束，则图8所示的图像处理结束。

如此，根据智能手机12，在现实像72及投影像75的视觉辨认度发生改变的情况下，使图像记录部47记录与该视觉辨认度的变化相对应的视觉辨认现实像模拟图像及视觉辨认投影像模拟图像。因此，通过观察记录于图像记录部47的视觉辨认现实像模拟图像及视觉辨认投影像模拟图像，观察者能够观察与眼镜型信息显示装置1的用户所视觉辨认的现实像72及投影像75等同的图像。

另外，在上述方式中，对根据用户的关注区域来改变现实像72及投影像75的视觉辨认度的方式进行了说明，但是改变现实像72及投影像75的视觉辨认度的方法不限定于本方式。例如，在确定了欲向用户强调现实像72及投影像75中的哪一个的情况下，可以以使欲强调的像的视觉辨认度比不强调的像的视觉辨认度高的方式改变。

并且，关注区域的检测方法也不限定于上述方式。例如，也可以是智能手机12接收用户所指定的关注区域的方式。并且，例如，也可以是根据智能手机12的互联网的阅览履历等推断用户的关注物，智能手机12根据所推断出的关注物来推断关注区域的方式。

并且，在上述方式中，作为本发明的眼镜型信息显示装置的一例，对应用了AR玻璃10的方式进行了说明，但是眼镜型信息显示装置不限定于AR玻璃10，如头戴式显示器那样能够应用于各种方式。

并且，“眼镜型信息显示装置”中的“眼镜”这一单词是指，在功能上实现获取图像的第1传感器(人眼)和包括第1传感器的视野并且在与第1传感器大致相同的视线方向上获取摄影图像的第2传感器(AR玻璃10的相机27)。另外，眼镜型信息显示装置的形状不限定于一般的眼镜的形状、用途、安装部位。并且，眼镜型信息显示装置可以是单眼型，也可以是复眼型，在上述方式中，对用一只眼睛视觉辨认投影像的方式进行了说明，但是也可以是用双眼视觉辨认投影像的方式。也可以是如眼罩那样左右连接的形状。并且，不限定于如所谓的头戴式显示器那样安装于人头部(例如，若在模仿人的功能的同时外形为狗的机器人，人眼的功能由位于机器人的膝盖的相机实现，则本发明的图像处理装置安装于膝盖)。这种图像处理装置也包括在本发明的技术中。

并且，在上述方式中，对AR玻璃10具备1个相机27，1个相机27对用户的视野整体进行拍摄的方式进行了说明，但是AR玻璃10所具备的相机不限定于本方式。例如，也可以设为具备对与用户的右眼的视野相对应的现实世界70进行拍摄的相机和对与用户的左眼的视野相对应的现实世界70进行拍摄的相机这2个相机的方式。

并且，在上述方式中，对投影图像74为静止图像的情况进行了说明，但是投影图像74可以是动态图像。

并且，眼镜型信息显示装置1外的装置可以具备上述方式的智能手机12的功能的一部分或全部。例如，智能手机12可以具有将投影图像74投影到导光板24的功能，另一装置可以具有本发明的图像处理装置的功能。

并且，在上述方式中，作为表示AR玻璃10的机种的机种信息，例示了与右眼用透镜22R及导光板24的种类相对应的信息，但是表示AR玻璃10的机种的机种信息不限定于这些。例如，可以是与右眼用透镜22R及导光板24中的任一者相对应的信息，并且，还可以使用与左眼用透镜22L相对应的信息。并且，在除了导光板24以外，具有发生光学特性的变化的部件的情况下，可以使用与这些部件的种类相对应的信息。

并且，在上述方式中，例如，作为投影图像获取部50、摄影图像获取部51、关注区域获取部52、照度获取部53、视觉辨认度控制部54、视觉辨认现实像模拟图像生成部57、视觉辨认投影像模拟图像生成部59、显示控制部60及记录控制部62等执行各种处理的处理部(processing unit)的硬件结构，能够使用以下所示的各种处理器(processor)。如前所述，上述各种处理器中，除了执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU以外，还包括在制造FPGA(Field Programmable Gate Array：现场可编程门阵列)等之后能够变更回路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：特定应用积体回路)等具有为了执行特定的处理而专门设计的回路结构的处理器即专用电路等。

1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合、CPU与FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。

作为由1个处理器构成多个处理部的例子，首先，有如客户端及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。其次，有如以片上系统(System On Chip：SoC)等为代表那样，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。

而且，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等回路元件而得的电路(circuitry)。

并且，在上述各方式中，对图像处理程序45被预先存储(安装)于存储部44的方式进行了说明，但是并不限定于此。图像处理程序45可以以记录在CD-ROM(Compact DiscRead Only Memory：只读光盘存储器)、DVD-ROM(Digital Versatile Disc Read OnlyMemory：数字化通用只读光盘存储器)及USB(Universal Serial Bus：通用串行总线)存储器等记录介质中的方式提供。并且，图像处理程序45也可以设为经由网络从外部装置下载的方式。

关于以上的上述实施方式，进一步公开以下附记。

(附记1)

一种图像处理装置，其具备至少一个处理器，

在对于由所述用户通过眼镜型信息显示装置的透射部视觉辨认的现实像及投影到所述透射部并由所述用户视觉辨认的投影像中的至少一个像，改变基于所述用户的视觉辨认度的视觉辨认度变化部改变所述现实像的视觉辨认度的情况下，

所述处理器从由所述相机对现实世界进行拍摄而得的摄影图像，根据表示视觉辨认度的变化的信息和所述眼镜型信息显示装置的机种信息及所述相机的机种信息中的至少一者来生成模拟了视觉辨认度改变后的现实像的图像。

(附记2)

根据附记1所述的图像处理装置，其中，

所述处理器进行下述控制，即，记录模拟了所述视觉辨认度改变后的现实像的图像。

(附记3)

根据附记1或附记2所述的图像处理装置，其中，

在所述视觉辨认度变化部改变所述投影像的视觉辨认度的情况下，

所述处理器进行如下处理：

从投影到所述透射部的投影图像，根据表示视觉辨认度的变化的信息和所述眼镜型信息显示装置的机种信息来生成模拟了视觉辨认度改变后的所述投影像的图像；

进行记录模拟了所述视觉辨认度改变后的所述投影像的图像的控制。

(附记4)

根据附记1至附记3中任一项所述的图像处理装置，其中，

所述眼镜型信息显示装置的机种信息为与所述透射部的种类相对应的信息。

(附记5)

根据附记1至附记4中任一项所述的图像处理装置，其中，

所述透射部具备导光板，所述导光板传播表示所述投影图像的光，并沿着所述用户眼睛的方向射出，

所述眼镜型信息显示装置的机种信息为与所述导光板的种类相对应的信息。

(附记6)

一种眼镜型信息显示装置，其具备透射部、视觉辨认度变化部及附记1至附记5中任一项所述的图像处理装置。

(附记7)

一种图像处理方法，其中，

在对于由所述用户通过眼镜型信息显示装置的透射部视觉辨认的现实像及投影到所述透射部并由所述用户视觉辨认的投影像中的至少一个像，改变基于所述用户的视觉辨认度的视觉辨认度变化部改变所述现实像的视觉辨认度的情况下，

从由所述相机对现实世界进行拍摄而得的摄影图像，根据表示视觉辨认度的变化的信息和所述眼镜型信息显示装置的机种信息及所述相机的机种信息中的至少一者来生成模拟了视觉辨认度改变后的现实像的图像。

(附记8)

一种图像处理程序，其用于使处理器执行如下处理：

在对于由所述用户通过眼镜型信息显示装置的透射部视觉辨认的现实像及投影到所述透射部并由所述用户视觉辨认的投影像中的至少一个像，改变基于所述用户的视觉辨认度的视觉辨认度变化部改变所述现实像的视觉辨认度的情况下，

从由所述相机对现实世界进行拍摄而得的摄影图像，根据表示视觉辨认度的变化的信息和所述眼镜型信息显示装置的机种信息及所述相机的机种信息中的至少一者来生成模拟了视觉辨认度改变后的现实像的图像。