投影系统及投影控制方法

技术领域

在本说明书(在下文中，“本公开”)中公开的技术涉及用于在一个或多个投影表面上投影图像的投影系统和投影控制方法。

背景技术

还被称为“投影仪”的投影装置可以在屏幕上投影大图像并同时将图像呈现给多个人，并且因此已经被用于诸如长时间呈现的应用。近年来，通过将投影影像粘贴在三维物体上的投影映射技术的出现，投影装置的使用进一步扩大。例如，已经提出一种图像投影装置，该图像投影装置基于通过由成像单元对投影单元的投影范围成像而获得的成像信号识别在投影范围内的多个投影表面，并且将种子图像或UI图像分配给每个投影表面以投影图像(参见专利文献1)。此图像投影装置可考虑每一投影表面的所识别状态来校正视频的尺寸、亮度和色度。

引用列表

专利文献

专利文献1：日本专利申请公开号2011-244044

专利文献2：日本专利申请公开号2020-112674

专利文献3：日本专利申请公开号2019-139308

发明内容

本发明要解决的问题

本公开的目的是提供一种使用能够在多个投影表面上同时进行投影的投影装置的投影系统和投影控制方法。

问题的解决方案

鉴于上述问题而做出本公开，并且其第一方面是一种投影系统，包括：

用户识别单元，识别存在于空间中的用户；

投影环境识别单元，识别在所述空间中能够在其上投影视频的投影表面；以及

控制单元，控制投影装置以针对由所述用户识别单元识别的所述用户在由所述投影环境识别单元识别的所述投影表面上投影视频。投影装置可同时在多个表面上投影视频。然后，控制单元控制投影装置以便将视频同时投影在由投影环境识别单元所识别的两个或更多个投影表面上。

然而，在此提及的术语“系统”指示多个设备(或实现特定功能的功能模块)的逻辑组件，并且这些设备或功能模块中的每是否在单个壳体中无关紧要。即，包括多个部件或功能模块的一个装置以及多个装置的组件对应于“系统”。

用户识别单元或投影环境识别单元中的至少一个基于由安装在空间中的传感器检测的传感器信息执行识别。

该投影装置包括相位调制式空间光调制器，可以同时将视频投影到垂直方向和水平方向以及深度方向不同的多个面上。因此，投影环境识别单元识别在垂直方向和水平方向以及深度方向上不同的多个投影表面。

用户识别单元定义用户的特性和状态。此外，根据第一方面的投影系统还包括：内容选择单元，基于所定义的用户信息选择要显示给用户的内容；以及投影表面确定单元，确定投影了所选择的内容的投影表面。

投影环境识别单元检测所识别的投影表面的信息，诸如投影表面的属性、形状、面积和特性(反射率、亮度、色度)。

此外，根据第一方面的投影系统还包括投影参数校正单元，其校正由投影表面确定单元确定的投影表面的投影参数。投影参数校正单元基于投影装置的设计值来限制在深度方向上不同的投影表面之间的距离、投影表面的数目或者投影尺寸中的至少一个，确定由投影表面确定单元确定的多个投影表面的优先级，并且投影参数校正单元执行校正投影表面上的投影视频的亮度、色度和尺寸。

此外，本公开的第二方面是一种投影控制方法，包括：

用户识别步骤，识别在空间中存在的用户；

投影环境识别步骤，识别在所述空间中能够投影视频的投影表面；以及

控制步骤，控制投影装置，以针对由所述用户识别步骤识别的所述用户在由所述投影环境识别步骤识别的所述投影表面上投影视频。

本发明的效果

根据本公开，可以提供一种投影系统和投影控制方法，通过使用能够在多个投影表面上同时投影的投影装置将内容投影到在空间中识别的投影表面上的在空间中识别的用户。

应注意，本说明书中描述的效果仅是示例，并且本公开带来的效果不限于此。此外，除了上述效果之外，本公开可进一步提供额外的效果。

通过基于稍后描述的实施方式的更详细的描述和附图，本公开的其他目的、特征和优点将变得显而易见。

附图说明

图1是示出投影系统100的配置的示图。

图2是示出投影系统200的配置的示图。

图3是示出通过输入单元201输入的传感器信息的示例的示图。

图4是示出通过输入单元201输入的传感器信息的另一示例的示图。

图5是示出从图3中所示的传感器信息检测的投影表面的视图。

图6是示出从图4中示出的传感器信息检测的投影表面的视图。

图7是用于说明投影装置110的操作的示图。

图8是示出投影系统800的配置的示图。

图9是示出用户识别单元802-1的识别结果(车辆内部的识别结果)的示例的视图。

图10是示出用户识别单元802-1的识别结果(车辆外部的识别结果)的另一示例的示图。

图11是示出用户特性数据库的示例的示图。

图12是示出投影系统1200的配置的示图。

图13是示出投影表面检测单元1203-1的识别结果(车辆内部的检测结果)的示例的示图。

图14是示出投影表面检测单元1203-1的识别结果(车辆外部的检测结果)的示例的示图。

图15是示出存储内容和投影表面的用户特性数据库的示例的示图。

图16是示出投影系统1600的配置的示图。

图17是示出投影表面数据库的示例的示图。

图18是示出在白天定义的投影表面数据库的示图。

图19是示出在夜间定义的投影表面数据库的示图。

图20是示出两个投影表面之间的距离小于设计值的示例的示图。

图21为示出在壁表面附近停车或停车的状态的视图(顶视图)。

图22是示出在壁表面附近停车或停车的状态的视图(侧视图)。

图23是示出根据优先化规则校正至每个投影表面的投影光量的示例的示图。

图24是示出配备有投影系统的车辆在城镇行驶时将校正投影光量投影到车窗的窗表面和道路表面上的状态的示图。

图25是示出根据与投影装置1610的距离执行投影参数校正的方法的图。

图26是示出根据与投影装置1610的距离执行投影参数校正的特定示例的图。

图27是示出当用于车辆外部的广告从安装在车辆上的投影系统1600投影到人行道上时执行投影参数校正的具体示例的示图。

图28是示出当用于车辆外部的广告从安装在车辆上的投影系统1600投影到人行道上时执行投影参数校正的具体示例的示图。

图29是示出投影系统2900的配置的示图。

图30是示出应用信息数据库的配置示例的示图。

图31是示出投影装置和传感器被安装在车辆内部的状态的视图。

图32是示出在应用“车辆内部的多表面投影”中构建的用户特性数据库的示例(示例1)的示图。

图33A是示出盘投影映射的示例(示例2)的示图。

图33B是示出盘投影映射的示例(示例2)的示图。

图33C是示出盘投影映射的示例(示例2)的示图。

图34是示出临时用户特性数据库的示例(示例2)的示图。

图35是示出最终用户特性数据库的示例(示例2)的示图。

图36是示出在车道上检测的投影表面(示例3)和滚动球的表面的视图。

图37是示出用户特性数据库的配置示例(示例3)的示图。

图38是示出分配给车道上的内容的投影表面(示例3)和滚动球的表面的视图。

图39是示出分配给车道上的内容的投影表面(示例3)和滚动球的表面的视图。

图40是示出CAVE系统4000的图。

图41是示出在应用“CAVE系统中的凝视区域欣赏(应对许多人)”中构建的用户特性数据库的示例(示例4)的示图。

图42是示出空中显示器的显示示例的示图。

图43是示出空中显示器的触摸指示符的显示示例的示图。

图44是示出空中显示器的触摸指示符的显示示例的示图。

图45为用于说明相位调制方案的投影装置的操作原理的示图。

图46是用于说明相位调制方案的投影装置的操作原理的示图。

具体实施方式

在下文中，将参考附图按照下列顺序描述本公开。

A.概述

B.投影原理

C.系统配置

C-1.系统配置示例(1)

C-2.系统配置示例(2)

C-3.能够在深度方向上不同的多个投影表面上同时投影的投影装置

C-4.系统配置示例(3)

C-5.系统配置示例(4)

C-6.系统配置示例(5)

C-7.投影参数的校正

C-7-1.投影表面的限制

C-7-2.投影表面上的优先级确定

C-7-3.投影表面的校正

C-7-3-1.几何校正

C-7-3-2.亮度校正

C-7-3-3.色度校正

C-7-3-4.具体示例

C-8.输入信息的模态

C-9.从用户拥有的装置检测元信息

D.应用

D-1.示例1

D-2.示例2

D-3.示例3

D-4.示例4

D-5.示例5

D-6.示例6

A.概述

已经提出了在多个投影表面上执行同时投影并且根据投影表面的状态来校正视频的尺寸、亮度、色度等的投影装置(见专利文献1)。另一方面，本公开还提出了一种投影系统，该投影系统包括识别空间中存在的用户的用户识别功能和识别空间的投影环境的投影环境识别功能，并且将在空间中识别的投影表面上的内容投影到在空间中识别的用户。

在投影系统安装在车辆上的情况下，空间包括车辆的内部和外部。然后，根据本公开，例如，可以将针对车辆附近的乘客和行人中的每一者在车辆内部和外部识别的投影表面上投影内容。此外，该空间可以是室内空间，其中构建了沉浸式虚拟现实(VR)系统，诸如洞穴式自动虚拟环境(CAVE)或Warp。然后，根据本公开，可以在沉浸式空间中识别的一个或多个投影表面上将内容投影到沉浸式空间中的每个用户。

根据应用本公开的投影系统，不仅可以通过用户识别功能识别空间中存在的用户，而且可以进一步识别每个用户的特性和状态，并且可以考虑用户的特性和状态来选择适当的内容。

此外，根据应用本公开的投影系统，空间中的投影表面可以被投影环境识别功能识别，并且投影表面可以被分配给每个用户。此时，可以根据为每个用户选择的内容分配投影表面。此外，可以考虑投影环境、投影表面的特性、投影内容时的图像质量等校正投影参数。

根据本公开的投影系统使用能够在多个投影表面上同时投影的投影装置。多个投影表面是指不仅在垂直方向和水平方向(换言之，投影方向)上不同而且在深度方向上不同的多个投影表面。顺便提及，专利文献1中描述的图像投影装置可同时投影在垂直方向和水平方向上不同的两个投影表面上，但不能同时投影在深度方向上不同的多个投影表面上。

根据本公开，通过使用能够在垂直方向和水平方向上以及在深度方向上不同的多个投影表面上同时投影的投影装置，考虑到用户的状态和投影环境两者，可以实现内容的自适应投影控制，并且可以提高可用性。特别地，由于仅用一个投影装置能够在包括深度方向的多个投影表面上执行同时投影，因此实现空间节省，这例如作为车载系统是有利的。此外，通过将投影装置的投影光仅集中在必要部分上，能够提高能量效率和成本效率。

B.投影原理

如上所述，根据本公开的投影系统使用能够在除了垂直方向和水平方向之外的深度方向上不同的多个投影表面上同时投影的投影装置。在本实施方式中，使用光调制元件实现视频在深度方向上不同的多个投影表面上的同时投影。

通常，空间光调制器(SLM)仅具有可以独立地调制振幅调制或相位调制的元件。在前一振幅调制方案中，对象光和参考光的干涉条纹强度分布通过例如计算机生成的全息图(CGH)显示在振幅调制型SLM上，并且利用参考光照射振幅调制型SLM以生成对象的再现光。尽管省略详细描述，但是在这种振幅调制方案中，可以照原样再现对象光，但是存在产生大量不必要光的问题。

另一方面，相位调制还包括全息术，但是通过光的波前控制，能够在任何位置处创建任何光强度。在相位调制方案中，当在相位调制型SLM上显示被摄体光的相位分布并且利用参考光照射相位调制型SLM时，控制通过光的波前以生成被摄体的再现光。相位调制方案比振幅调制方案更有利，因为除了能够正确地再现对象光的相位之外，能够在不产生不必要的分量的情况下以高光利用效率再现对象光。作为相位调制型SLM，使用相位调制型硅上液晶(LCOS)或相位调制型微机电系统(MEMS)。例如，专利文献2涉及使用SLM的投影仪。在下文中，将描述使用相位调制方案在深度方向上在不同投影表面上投影的方法。

xy平面上的对象光O(x，y)可由振幅分量A

[数学式1]

O(x，y)＝A

如从以上公式(1)可见，对象光O(x，y)的相位分布P(x，y)如下列公式(2)所示。在相位调制方案中，在深度方向上布置在零位置处的相位调制型SLM(相位调制型LCOS等)上显示相位分布P(x，y)，并且乘以参考光R(x，y)，从而可生成物体的再现光O'(x，y)，如下面公式(3)所示。以下公式(3)的右侧仅包括通过对参考光R(x，y)进行相位调制而获得的再现光。因此，根据相位调制方案，可以理解，可以在不生成不必要的分量的情况下有效地再现对象光。

[数学式2]

P(x，y)＝exp(iφ

[数学式3]

O′(x，y)＝R(x，y)exp(iφ

随后，将参考图45和图46描述再现分别布置在深度方向上的不同位置r1和r2处的两条物体光O

[数学式4]

O

[数学式5]

O

如图45所示，对象光O

[数学式6]

然后，在对象光O

[数学式7]

O

[数学式8]

O

再现光O

如上所述，相位调制型投影装置被用作本公开的最佳实施方式，因为相位调制方案能够以高光利用效率再现物体光，而不产生不必要的分量。光的分布可在xyz方向的每一个上的任意位置处再现，并且除了垂直方向和水平方向之外，在深度方向上不同的多个投影表面上的同时投影可由一个投影装置执行。然而，即使在振幅调制方案中，能够根据全息原理在具有不同深度的多个表面上实现显示，并且如果产生不必要的分量并且降低光利用效率的事实不是问题，则可以使用振幅调制方案的投影装置。

因为仅通过一个投影装置能够在包括深度方向的多个投影表面上执行同时投影，所以实现空间节省。当然，如果对空间效率、能量消耗和成本没有限制，则投影系统可以采用其中集成了多个投影装置的多投影仪。在以下描述中，除非另有规定，否则假设投影系统仅使用相位调制方案的一个投影装置。

注意，用于生成在相位调制型SLM上显示的相位分布的相位分布生成算法的示例包括GS方法和计算自由形式相位的方法，但不限于此。

C.系统配置

在章节C中，将描述应用本公开的投影系统的配置。

C-1.系统配置示例(1)

图1示意性地示出应用本公开的投影系统100的配置。示出的投影系统100包括用户识别单元101、投影环境识别单元102以及输出控制单元103。

用户识别单元101识别在投影系统100能够投影的范围内的空间中存在的用户。用户识别单元101基本上基于由安装在相同空间中的传感器获取的传感器信息来识别用户。在投影系统100安装在车辆上的情况下，用户识别单元101识别车辆内部的用户(乘客等)和车辆外部的用户(车辆周围的行人等)。用户识别单元101进一步识别用户的特性和状态，这将在后面详细描述。

投影环境识别单元102将能够由投影装置110实际投影的部分识别为投影系统100能够投影的范围内的空间中的投影表面。投影环境识别单元102基本上基于由安装在相同空间中的传感器获取的传感器信息来识别投影表面。投影环境识别单元102进一步识别投影表面的特性和状态，这将在后面详细描述。

输出控制单元103基于用户识别单元101和投影环境识别单元102的相应识别结果控制投影装置110的输出，以将视频投影在投影表面上并且向用户显示信息。投影装置110是如在上述章节B中描述的相位调制型投影装置，并且是能够同时投影在垂直方向和水平方向以及深度方向上不同的多个投影表面上的投影装置。

输出控制单元103基本上通过将投影环境识别单元102所识别的一个或多个投影表面中的适当的一个或多个投影表面分配给用户识别单元101所识别的一个或多个用户，来控制投影装置110的投影表面上的视频的投影操作。图1示出投影装置110同时投影两个投影表面(第一投影表面(x1，y1，z1)和第二投影表面(x2，y2，z2))上的视频的示例。此外，输出控制单元103可以考虑由用户识别单元101识别的用户的特性和状态来选择适当的内容，并且分配适合于所选择的内容的投影的投影表面，但是这一点的细节将在后面描述。

C-2.系统配置示例(2)

图2示意性示出应用本公开的投影系统200的配置。示出的投影系统200包括输入单元201、用户识别单元202、投影环境识别单元203和输出控制单元204。然而，与图1中示出的投影系统100中包括的组件相同的组件由相同的名称表示。

输入单元201输入通过安装在投影系统200能够投影的范围内的空间中的传感器获取的传感器信息。可替代地，输入单元201可以是安装在空间中的传感器本身。传感器包括图像传感器、距离传感器等。传感器可进一步包括诸如热相机、超声波传感器、触摸传感器或全球定位系统(GPS)传感器的位置传感器，以及能够感测关于空间的环境的信息的各种其他传感器。在可投影的范围内的空间在车辆内部的情况下，输入单元201例如从安装在车辆内部的车载传感器输入传感器信息。在用户识别单元202也识别车辆外部的用户的情况下，输入单元201也输入车辆外部的传感器信息。

用户识别单元202基于从输入单元201提供的传感器信息来识别用户，并且进一步识别用户的特性和状态。在投影系统200安装在车辆上的情况下，用户识别单元202识别车辆内部的用户(乘客等)和车辆外部的用户(车辆周围的行人等)。

投影环境识别单元203包括投影表面检测单元203-1。基于从输入单元201提供的传感器信息，投影表面检测单元203-1将投影装置210可实际投影的一部分检测为投影表面，该部分位于投影系统100可投影的范围内的空间中。

输出控制单元204基于用户识别单元202和投影表面检测单元203-1的相应识别结果控制投影装置210的输出，以将视频投影在投影表面上并且将信息显示给用户。投影装置210是如在上述章节B中描述的相位调制型投影装置，并且是能够在垂直方向和水平方向以及深度方向上不同的多个投影表面上同时投影的投影装置。

输出控制单元204基本上通过将投影表面检测单元203-1识别出的一个或多个投影表面当中适当的一个或多个投影表面分配给用户识别单元204识别出的一个或多个用户，来控制投影装置210的投影表面上的视频的投影操作。此外，输出控制单元204考虑由用户识别单元202识别的用户的特性和状态来选择适当的内容，并且分配适合于所选择的内容的投影的投影表面。

将更具体地描述投影表面检测单元203-1。从投影装置210的可投影范围，投影表面检测单元203-1检测满足由一个或多个阈值定义的条件的区域作为投影表面，诸如，等于或大于预定阈值的面积、等于或小于预定阈值的曲率或者等于或大于预定阈值的梯度(投影光与投影表面形成的角度)。可以针对每个用户定义用于检测投影表面的阈值，可以针对每条内容定义用于检测投影表面的阈值，或者可以针对用户和内容的组合定义用于检测投影表面的阈值。此外，可以针对应用投影系统200的每个应用定义用于检测投影表面的阈值。

图3和图4示出通过安装在可由投影系统200投影的范围内的空间中的传感器获取的传感器信息。此处，假设投影系统200安装在车辆上并且使用，并且获取车辆内部以及车辆周围的传感器信息作为传感器信息。传感器包括图像传感器、距离传感器等，并且输入单元201输入如图3所示的车辆内部的图像数据和如图4所示的车辆周边的图像数据。此外，输入单元201可同时输入通过热敏相机、超声波传感器、触摸传感器和能够感测关于同一环境中的空间的环境的信息的各种其他传感器获取的传感器信息。

投影表面检测单元203-1基于图3中所示的车辆内部的图像数据检测适合于由用户识别单元202识别的车辆内部的用户的多个投影表面。在图5所示的示例中，投影表面检测单元203-1检测面积等于或大于预定阈值、曲率等于或小于预定阈值以及梯度等于或大于预定阈值(投影光与投影表面形成的角度)的多个投影表面作为适合于坐在最后座椅上的用户(未示出)的投影表面，例如，前方座椅的头枕、天花板以及柱子。在图5中，以浅灰色显示每个检测的投影表面。此外，投影表面检测单元203-1不检测具有等于或大于预定阈值的面积和等于或小于预定阈值的曲率但是具有小于阈值的梯度的部分作为投影表面。

此外，投影表面检测单元203-1基于图4中示出的车辆周边的图像数据检测适合用户在由用户识别单元202识别的车辆周围的投影表面。在图6中所示的示例中，在车辆周围的十字路口等待交通灯的女性被识别为车辆外部的用户的情况下，投影表面检测单元203-1检测具有等于或大于预定阈值的面积、等于或小于预定阈值的曲率以及等于或大于预定阈值的梯度(由投影光和投影表面形成的角度)(诸如女性前方的路面)的投影表面。在图6中，在女性前方的道路表面上检测的投影表面以浅灰色显示。C-3.能够在深度方向上不同的多个投影表面上同时投影的投影装置

如以上章节B中所描述的，在本公开中，使用相位调制型投影装置实现在除了垂直方向和水平方向之外的深度方向上不同的多个投影表面上的同时投影。

图7示出图1中的投影装置110的操作示例。这同样适用于图2中的投影装置210的操作。

投影装置110包括相位调制型SLM(相位调制型LCOS等)701。将被投影到在深度方向上不同的两个投影表面(x1，y1，z1)和(x2，y2，z2)中的每个上的视频的合成波前信息中包括的相位信息显示在相位调制类型SLM701上，并且当通过对光源(图7中未示出)的照射光进行校准而获得的再现光(大致平行光)从相位调制类型SLM 701的后方入射时，期望的视频同时被投影到相应的前投影表面(x1，y1，z1)和(x2，y2，z2)上。

注意，用于生成在相位调制型SLM 701上显示的相位分布的相位分布生成算法的示例包括GS方法和计算自由形式相位的方法(如上所述)，但不限于此。

此外，亮度调制面板(未示出)可布置在相位调制型SLM701的后级。通过使用亮度调制面板，可以扩展投影视频的亮度动态范围并且可以提高分辨率。在这种情况下，执行确定亮度调制面板的透射率或反射率的处理。然而，应注意，在亮度动态范围扩展的情况下，整体亮度减小，因此，除此之外，可提高投影视频的分辨率。

通过使用相位调制型投影装置110，可以同时投影在深度方向上不同的多个投影表面上。在投影系统100安装在车辆上的情况下，如图5中所示，可以实现诸如车辆内部的头枕、支柱、以及天花板的多个投影表面上的多投影。

此外，根据投影装置110，通过改变显示在相位调制型SLM701上的相位分布可执行聚焦于移动物体。例如，在与盘的投影映射交互中，即使当板被提升时也可执行聚焦。作为聚焦的另一示例，可以在诸如包括时尚秀、保龄球和其他体育比赛的各种投影映射事件的应用(稍后描述)中执行移动制作。

投影装置110还可用作结构光的光源。结构光是三维测量的一种方法，并且可以用以点形状等图案化的结构光照射对象，并且从图案的失真获取深度信息。通过使用相位调制型投影装置110，可在不根据深度改变密度的情况下执行投影。

此外，投影装置110可应用于诸如CAVE或Warp的VR系统，以通过一个设备在广域中显示视频。

此外，投影装置110可以用作空中显示视频的空中显示器中的触摸传感器的指示器(稍后描述)。通过使用投影装置110，在距离长的情况下可以呈现暗且小的点，并且在距离短的情况下可以呈现大且亮的点。

C-4.系统配置示例(3)

图8示意性地示出本公开适用的投影系统800的配置。示出的投影系统800包括输入单元801、用户信息检测单元802、投影环境识别单元803和输出控制单元804。然而，与图1中示出的投影系统100或者图2中示出的投影系统200中包括的组件相同的组件由相同的名称表示。投影系统800在检测用户信息的方法中具有主要特征。

输入单元801输入通过安装在可由投影系统800投影的范围内的空间中的传感器获取的传感器信息。可替代地，输入单元801可以是安装在空间中的传感器本身。传感器包括图像传感器、距离传感器等。传感器可以进一步包括热相机、超声波传感器、触摸传感器和能够感测关于空间的环境的信息的各种其他传感器。输入单元801输入例如来自安装在车辆内部的车载传感器的传感器信息。在用户识别单元802还识别车辆外部的用户的情况下，输入单元801还输入车辆外部的传感器信息。

用户信息检测单元802包括用户识别单元802-1和用户定义单元802-2。

用户识别单元802-1基于从输入单元801提供的传感器信息来识别用户。用户识别单元802-1通过具体使用RGB相机和距离传感器的图像信息作为传感器信息来检测用户的数量、用户的位置以及用户的脸部和视线的方向。用户识别单元802-1可通过使用姿势估计模型(例如，由卡内基梅隆大学开发的Openpose)来实现这种姿势识别。在投影系统800安装在车辆上的情况下，用户识别单元802-1识别车辆内部的用户(乘客等)和车辆外部的用户(车辆周围的行人等)。

用户定义单元802-2定义由用户识别单元802-1识别的用户的特性和状态。当用户识别单元802-1识别多个用户时，为每个用户定义特性和状态。用户定义单元802-2例如与描述用户的立体设置信息的数据库进行比较，并且定义从图像中识别的用户的特性数据。此外，用户定义单元802-2基于用户识别单元802-1的识别结果来定义用户的状态，诸如睡醒或睡眠。用户定义单元802-2可以使用例如眨眼的次数、视线的移动等作为参数来估计用户的状态。此外，用户定义单元802-2可以使用所学习的机器学习模型来估计用户的属性。用户定义单元802-2将针对用户识别单元802-1识别出的每个用户定义的特性和状态存储在用户特性数据库中。

投影环境识别单元803包括投影表面检测单元803-1。基于从输入单元801供应的传感器信息，投影表面检测单元803-1将投影装置810实际能够在投影系统800能够投影的范围内的空间中投影的部分检测为投影表面。如上面章节C-2中所述，从投影装置810的可投影范围，投影表面检测单元803-1检测满足由一个或多个阈值定义的条件的区域作为投影表面，诸如等于或大于预定阈值的面积、等于或小于预定阈值的曲率或者等于或大于预定阈值的梯度(投影光和投影表面形成的角度)。

输出控制单元804基于用户识别单元802-1和投影表面检测单元803-1的相应识别结果控制投影装置810的输出，以便在投影表面上投影视频并且向用户显示信息。投影装置810是如在上述章节B中描述的相位调制型投影装置，并且是能够在垂直方向和水平方向以及深度方向上不同的多个投影表面上同时投影的投影装置。

随后，通过以投影系统800安装在车辆上的情况为例，主要具体描述用户信息检测单元802中的用户识别单元802-1和用户定义单元802-2的操作。

用户识别单元802-1例如基于车辆内部的图像数据识别如图9所示的车辆内部的三个用户(用户1、用户2、用户3)。此外，例如，如图10中所示，用户识别单元802-1基于车辆周边的图像数据识别在车辆周围行走的用户(用户4)。然后，每个用户(用户1，用户2，用户3，用户4)的条目被提供在用户特性数据库中。

随后，用户定义单元802-2通过将立体设置信息与每个识别出的用户相关联来定义每个用户的特性数据。例如，作为特性数据，为用户1定义“男性、三十岁、公司雇员”，为用户2定义“女性、三十岁、家庭主妇”，为用户3定义“婴儿”，以及为用户4定义“女性、二十岁、本科生”。

此外，用户定义单元802-2定义用户的状态，诸如每个识别出的用户的睡醒或睡眠。用户定义单元802-2可以使用例如眨眼的次数、视线的移动等作为参数来估计用户的状态。例如，作为特性数据，为用户1定义“驾驶”，为用户2定义“睡醒”，为用户3定义“睡醒”，并且为用户4定义“睡醒并且在交通灯处等待”。

此外，用户定义单元802-2基于用户的特性和状态来定义是否能够向用户显示信息(是)(否)。这里所指的信息的显示意味着通过投影装置810将视频投影到分配给用户的投影表面上。例如，是否显示每个用户的信息被定义为用户1是“否”，用户2是“是”，用户3是“否”，并且用户4是“是”。例如，当处于睡醒状态的用户被定义为信息显示“是”时，正在驾驶或睡眠的用户、睡醒但操作智能电话或收听音乐的用户、婴儿等被定义为信息显示“否”。

然后，由用户定义单元802-2为每个用户定义的特性、状态和信息显示被存储在用户特性数据库中的每个用户的条目中。图11示出存储由用户定义单元802-1定义的每个用户的信息的用户特性数据库。

注意，假设根据用户定义单元802-2使用的定义规则或机器学习模型，由用户识别单元802-1针对识别结果定义何种类型的用户特性或状态不同。图11是用户特性数据库的示例，并且还假设根据定义规则或使用的机器学习模型来定义不同的特性和状态。

输出控制单元804基于如图11所示的用户特性数据库来控制向每个用户的信息显示。具体地，输出控制单元804控制投影装置810的输出，使得通过将由投影表面检测单元803-1检测的投影表面中的任一个分配给被定义为用户特性数据库上的信息显示“是”的用户2和用户4来将内容的视频投影在每个投影表面上。另一方面，输出控制单元804不将投影表面分配给被定义为用户特性数据库上的信息显示“否”的用户1和用户3，并且因此不将视频投影到这些用户。

C-5.系统配置示例(4)

图12示意性示出应用本公开的投影系统1200的配置。示出的投影系统1200包括输入单元1201、用户信息检测单元1202、投影环境识别单元1203和输出控制单元1204。然而，与在图8中示出的投影系统800中包括的组件相同的组件由相同的名称表示。投影系统1200具有主要特征：选择要显示给用户的内容并且基于用户信息确定投影表面。

输入单元1201输入通过安装在投影系统1200可投影的范围内的空间中的传感器获取的传感器信息。可替代地，输入单元1201可以是安装在空间中的传感器本身。输入单元1201例如从安装在车辆内部的车载传感器输入传感器信息。在用户识别单元1202还识别车辆外部的用户的情况下，输入单元1201还输入车辆外部的传感器信息。

用户信息检测单元1202包括用户识别单元1202-1和用户定义单元1202-2。用户识别单元1202-1例如使用诸如Openpose的姿势估计模型从由输入单元1201提供的传感器信息检测用户的数量、用户的位置以及用户的脸部和视线的方向。然后，用户定义单元1202-2定义由用户识别单元1202-1识别的用户的特性和状态，并将针对每个用户定义的特性和状态存储在用户特性数据库中的相应用户的条目中。

投影环境识别单元1203包括投影表面检测单元1203-1。基于从输入单元1201提供的传感器信息，投影表面检测单元1203-1将投影装置1210实际能够投影的部分检测为投影表面，该部分位于投影系统1200能够投影的范围内的空间中。如以上章节C-2中已经描述的，从投影装置1210的可投影范围中，投影表面检测单元1203-1检测满足由一个或多个阈值定义的条件的区域作为投影表面，诸如，等于或大于预定阈值的面积、等于或小于预定阈值的曲率或者等于或大于预定阈值的梯度(投影光与投影表面形成的角度)。

输出控制单元1204包括内容选择单元1204-1和投影表面确定单元1204-2。内容选择单元1204-1基于由用户识别单元1202识别的用户信息选择要显示给用户的内容。此外，投影表面确定单元1204-2从由投影表面检测单元1203-1检测的投影表面中确定投影内容的视频的投影表面。

此外，输出控制单元1204对由投影表面确定单元1204-2分配给每条内容的投影表面执行投影尺寸确定处理，以及用于确定要投影的视频的亮度和色度的投影亮度确定处理。作为投影尺寸确定处理，基于投影表面与投影装置1210之间的距离计算相对于投影表面的可投影尺寸，将可投影尺寸与内容的推荐尺寸相比较，并且根据需要执行内容缩小处理，使得内容在可投影尺寸内。作为投影亮度确定处理，从投影表面的特性(色度、亮度、反射率)计算投影装置1210的输出和校正量。关于色度，基于投影表面的色度信息计算颜色空间的色度校正值。在内容中的某个像素的色度超过投影装置1210的可显示色度的情况下，确定色度以与投影装置1210的可显示色度匹配。至于亮度，从投影内容的投影表面的总数和要投影的内容计算投影装置1210的可能输出，考虑投影表面的反射率进一步计算可行亮度，并且将可行亮度与内容的原始信号的亮度进行比较。在内容的原始信号的亮度小于原始信号的亮度的情况下，将输出亮度降低至可行亮度，或者计算此时的投影装置1210的设定值(电流值、占空比值等)。在通过色度优先进行确定的情况下，按照色度→亮度的顺序进行确定。然而，在通过亮度的优先级进行确定的情况下，确定并不限于该顺序，并且确定方法不限于上述。诸如所确定的投影尺寸、亮度和色度之类的显示信息被存储在用户特性数据库中的相应内容的条目中。

然后，输出控制单元1204控制投影装置1210的输出以将视频投影在投影表面上并且向用户显示信息。投影装置1210是如在上述章节B中描述的相位调制型投影装置，并且是能够在垂直方向和水平方向以及深度方向上不同的多个投影表面上同时投影的投影装置。输出控制单元1204基于针对内容被投影在其上的每个投影表面确定的投影尺寸、投影亮度和投影色度来执行显示图像生成处理。显示图像生成处理包括显示目标生成处理、显示相位分布生成处理和驱动参数设置处理。在显示目标生成处理中，生成要针对单色或每个彩色通道显示的亮度分布目标。在显示相位分布生成处理中，为每个计算的亮度分布目标生成相位分布。在执行亮度校正的情况下，对应于亮度校正量的光学校正信息被添加到所生成的相位分布。相位分布生成算法的示例包括GS方法和自由形式方法，但不限于此。在驱动参数设置处理中，投影装置1210的光源的驱动参数(在CW情况下的电流值，在脉冲情况下的占空比)被设置为显示所确定的亮度和色度。此外，在布置相位调制型SLM的后级的亮度调制面板的情况下，确定亮度调制面板的透射率或反射率。输出控制单元1204将确定的信息输出到投影装置1210以投影视频。

在下文中，将详细描述内容选择单元1204-1和投影表面确定单元1204-2中的每一个。

内容选择单元1204-1基于由用户定义单元1202-1定义的用户信息(即，用户特性数据库)选择要显示给用户的内容。具体地，内容选择单元1204-1将用户定义单元1202-2所定义的用户的特性和状态与内容数据库(每条内容的属性信息等)进行比较，并且将要显示给用户的内容进行匹配。协作过滤(CF)、其他推荐技术或机器学习模型可被应用于匹配，但不限于特定方法。然后，内容选择单元1204-1将为用户选择的内容的信息(对内容的访问信息，诸如内容名称或统一资源定位符(URL))存储在用户特性数据库中的对应用户的条目中。

内容选择单元1204-1可以为一个用户选择多条内容。在存在要向一个用户显示的多条内容的情况下，例如，可以基于以下规则(1)至(3)中的任一个按照优先级顺序将内容存储在用户特性数据库中的对应用户的条目中。此外，可以基于学习的机器学习模型而不是以下规则库来确定多个内容的优先级顺序。

(1)基于预定用户偏好的优先级顺序

(2)基于用户的当前位置信息的优先级(周围设施的优先级、事件信息、周围天气预报等)。

(3)基于当前时间的优先级(例如，新闻被优先化在上午7：00、在白天12：00、以及在晚上18：00)。

此外，内容选择单元1204-1可以选择要向一个用户显示的多条内容。在这种情况下，用于存储用于相应用户的两个或更多内容的条目可以被添加到用户特性数据库。

应注意，内容选择单元1204-1仅针对其信息显示被定义为“是”的用户选择内容，而不针对其信息显示被定义为“否”的用户选择内容就足够了。可以从用户特性数据库中删除信息显示被定义为“否”的用户的条目。

投影表面确定单元1204-2从由投影表面检测单元1203-1检测的投影表面中确定用于投影由内容选择单元1204-1选择的内容的投影表面。投影表面确定单元1204-2对由内容选择单元1204-1为用户选择的每条内容执行投影表面的确定处理。首先，投影表面确定单元1204-2确定由投影表面检测单元1203-1检测的投影表面是否存在于从其选择内容的用户的视场中。这里，在由投影表面检测单元1203-1检测的投影表面存在于目标用户的视场中的情况下，投影表面确定单元1204-2将投影表面与用户(可替换地，为用户选择的内容)相关联地存储在用户特性数据库中的对应用户的条目中。另一方面，在投影表面不存在于目标用户的视场中的情况下，投影表面确定单元1204-2不将投影表面与用户相关联。

投影表面确定单元1204-2可以基于以下优先级顺序(1)至(6)中的任何一个将投影表面分配给内容。

(1)投影表面的面积(绝对值)的下降顺序

(2)视角相对于用户的下降顺序

(3)用户与投影表面之间的距离的上升顺序

(4)更接近推荐的屏幕尺寸或推荐的内容视角的顺序

(5)投影表面的背景和内容之间的对比度的下降顺序

(6)投影表面的背景亮度的上升顺序

随后，将通过采用安装在车辆上的情况作为示例具体描述其中投影系统1200基于用户信息选择要显示给用户的内容并确定投影表面的操作。

用户识别单元1202-1例如基于车辆内部的图像数据识别如图9所示的车辆内部的三个用户(用户1、用户2、用户3)。此外，例如，如图10中所示，用户识别单元1202-1基于车辆周边的图像数据识别在车辆周围行走的用户(用户4)。随后，用户定义单元1202-2通过将立体设置信息与每个识别出的用户(用户1、用户2、用户3、用户4)相关联来定义每个用户的特性数据。然后，构建如图11所示的用户特性数据库。

基于从输入单元1201提供的传感器信息，投影环境识别单元1203的投影表面检测单元1203-1将投影装置1210实际能够在车辆的内部和外部的每中投影的部分检测为投影表面。这里，假定投影表面检测单元1203-1如图13所示检测车辆内部的总共九个投影表面#001至#009，并且如图14所示检测车辆外部的用户4附近的路面上的一个投影表面#101。

内容选择单元1204-1为在图11中示出的用户特性数据库中其信息显示被定义为“是”的用户2和用户4的两个用户中的每个用户选择要显示的内容。这里，内容选择单元1204-1为用户2选择“冲绳度假胜地广告”、“新闻”和“地图”的三条内容，为用户4选择“购物中心广告”的一条内容，并将所选择的多条内容存储在用户特性数据库中的相应用户的条目中。

随后，投影表面确定单元1204-2从由投影表面检测单元1203-1检测的投影表面中确定由内容选择单元1204-1选择的每条内容“冲绳度假胜地广告”、“新闻”、“地图”和“购物中心广告”投影在其上的投影表面。如上所述，投影表面确定单元1204-2确定在所选择的用户的视场中存在内容的投影表面，并且根据优先级顺序从在用户的视场中的投影表面中确定在其上显示由用户选择的内容的投影表面(如上所述)。这里，在用户2的视场中检测到的投影表面#009被确定为在其上显示内容“冲绳度假胜地广告”和“新闻”的投影表面，在用户2的视场中检测到的另投影表面#003被确定为在其上显示内容“地图”的投影表面，并且在用户4的视场中检测到的投影表面#101被确定为在其上显示内容“商场广告”的投影表面。

然后，投影表面确定单元1204-2将分配给每条内容的投影表面存储在用户特性数据库中的相应用户的条目中。图15示出存储由内容选择单元1204-1为用户选择的内容以及由投影表面确定单元1204-2分配给每条内容的关于投影表面的信息的用户特性数据库。

C-6.系统配置示例(5)

图16示意性示出应用本公开的投影系统1600的配置。示出的投影系统1600包括输入单元1601、用户信息检测单元1602、投影环境识别单元1603以及输出控制单元1604、投影参数校正单元1605。然而，与在图12中示出的投影系统1200中所包括的组件相同的组件由相同的名称表示。投影系统1600具有以下主要特征：基于传感器信息定义投影表面的特性，并且确定具有适合于内容投影的特性的投影表面。

输入单元1601输入通过安装在可由投影系统1600投影的范围内的空间中的传感器获取的传感器信息。可替换地，输入单元1601可以是安装在空间中的传感器本身。输入单元1601例如从安装在车辆内部的车载传感器输入传感器信息。在用户识别单元1602还识别车辆外部的用户的情况下，输入单元1601还在车辆外部输入传感器信息。

用户信息检测单元1602包括用户识别单元1602-1和用户定义单元1602-2。例如，用户识别单元1602-1使用诸如Openpose的姿势估计模型从输入单元1601提供的传感器信息中检测用户的数量、用户的位置、以及面部的方向和用户的视线。然后，用户定义单元1602-2定义由用户识别单元1602-1识别的用户的特性和状态，并将针对每个用户定义的特性和状态存储在用户特性数据库中的相应用户的条目中。

投影环境识别单元1603包括投影表面检测单元1603-1和投影表面定义单元1603-2。基于从输入单元1601提供的传感器信息，投影表面检测单元1603-1将投影装置1610实际能够投影的、投影系统1600能够投影的范围内的空间中的部分检测为投影表面(与上述相同)。在投影系统1600中，投影表面数据库用于管理由投影表面检测单元1603-1检测的每个投影表面的特性。由投影表面检测单元1603-1检测的每个投影表面的条目被设置在投影表面数据库中。

投影表面定义单元1603-2识别由投影表面检测单元1603-1检测的投影表面的特性，并且将该信息存储在投影表面数据库的对应条目中。具体地，投影表面定义单元1603-2向投影表面分配诸如属性、形状、面积、反射率、色度和亮度的特性信息，并且将特性信息存储在投影表面数据库中。关于投影表面的属性，投影表面定义单元1603-2可以与预定数据库相比较执行聚类，或者可以使用学习的机器学习模型来执行聚类。投影表面定义单元1603-2基于由输入单元1601获取的传感器信息计算投影表面的形状、面积、反射率、色度和亮度。图17示出存储为如图13和图14中所示的车辆内部和外部检测的每个投影表面定义的特性信息的投影表面数据库的实施方式。然而，通过色度图上的坐标位置来表示色度。

当在后续阶段中由投影表面确定单元1604-2确定适合于内容的投影表面时，并且此外，当由投影参数校正单元1605校正投影参数时，可以使用由投影表面定义单元1603-2定义的投影表面的特性数据。

输出控制单元1604包括内容选择单元1604-1和投影表面确定单元1604-2。内容选择单元1604-1基于由用户识别单元1602识别的用户信息选择要显示给用户的内容。此外，投影表面确定单元1604-2从由投影表面检测单元1603-1检测的投影表面中确定要分配给用户的投影表面或具有投影为用户选择的内容的视频的特性的投影表面。关于由内容选择单元1604-1选择的内容和由投影表面确定单元1604-2确定的内容的投影表面的信息存储在用户特性数据库(如上所述)中。

投影参数校正单元1605具有校正诸如关于由内容选择单元1604-1选择的内容和由投影表面确定单元1604-2确定的投影表面的投影参数以保持投影质量的功能。例如，当投影表面的面积小于内容的推荐屏幕尺寸时，投影参数校正单元1605执行减小原始内容的屏幕尺寸的处理。此外，当由于作为背景的投影表面的特性，投影视频的亮度和色度与原始内容的亮度和色度极大地不同时，投影参数校正单元1605执行信号处理，使得投影视频的亮度和色度变得更接近原始亮度和色度。诸如由投影参数校正单元1605校正的投影尺寸、亮度和色度的显示信息存储在用户特性数据库中的相应内容的条目中。将在随后的章节C-7中描述投影参数校正单元1605的详细功能。可以实时执行投影参数校正单元1605的校正处理。

投影装置1610是如在上述章节B中描述的相位调制型投影装置，并且是能够在垂直方向和水平方向以及深度方向上不同的多个投影表面上同时投影的投影装置。基于由投影参数校正单元1605校正的投影尺寸、投影亮度和投影色度执行用于生成将由投影装置1610投影的图像的显示图像生成处理。该显示图像生成处理可以由输出控制单元1604执行或者可以由投影参数校正单元1605执行。由于显示图像生成处理如在上述章节C-5中所描述的，因此这里将省略其详细描述。投影装置1610基于通过显示图像生成处理所确定的信息来投影视频。

随后，将通过采用安装在车辆上的情况作为示例来具体地描述投影系统1600配备有投影表面定义功能的效果。然而，在投影环境识别单元1603中，假定基于由输入单元1601随时获取的传感器信息实时地(可替换地，在短的控制周期中)更新投影表面数据库。图18示出投影表面数据库，其中存储了在白天在车辆内部检测的投影表面和在白天定义的每个投影表面的特性数据。此外，图19示出投影表面数据库，其中存储了在夜间在车辆内部检测的投影表面和在夜间定义的每个投影表面的特性数据。

这里，将考虑当内容选择单元1603-1选择具有0.45m

(1)等于或大于内容推荐屏幕尺寸，并且最接近内容推荐屏幕尺寸

(2)内容与投影表面之间的对比度是2：1或更大。

首先，将描述基于在白天定义的投影表面数据库来确定内容的投影表面的情况。在白天，基于图18的投影表面数据库，从上述条件(1)中，按照最接近内容推荐屏幕尺寸的顺序选择两个投影表面#003和#001。随后，将计算投影表面#001和#003上的投影时的内容亮度。如以下公式(9)所示，在投影表面#001上投影时的内容亮度为1768尼特。然后，参考图18，投影表面#001在白天的亮度是52尼特。因此，内容和投影表面#001之间的对比度为1768：52＝34：1，可见，白天的投影表面#001也满足上述条件(2)。

[数学式9]

另一方面，如以下公式(10)所示，在投影表面#003上投影时的内容亮度为2475尼特。然后，参考图18，投影表面#003在白天的亮度为10000尼特。因此，内容和投影表面#003之间的对比度为0.24：1，可见，白天的投影表面#003不满足上述条件(2)。因此，在白天，投影表面确定单元1604-2将满足条件(1)和(2)两者的投影表面#001确定为适合于内容的投影的投影表面。

[数学式10]

随后，将描述基于夜间定义的投影表面数据库确定内容的投影表面的情况。在夜间，基于图19中的投影表面数据库，从上述条件(1)以最接近于内容推荐屏幕尺寸的顺序选择两个投影表面#003和#001。随后，将计算投影表面#001和#003上的投影时的内容亮度。如上式(9)所示，在投影表面#001上投影时的内容亮度为1768尼特，但是参照图19，在夜间投影表面#001的亮度为10尼特。因此，内容和投影表面#001之间的对比度是177：1，并且可以看出即使在夜间投影表面#001也满足上述条件(2)。

此外，如上公式(10)所示，在投影表面#003上投影时的内容亮度为2475尼特，但是参照图19，在夜间投影表面的亮度为20尼特。因此，内容和投影表面#003之间的对比度为123：1，并且即使在夜间投影表面#003也满足上述条件(2)。因此，在晚上，投影表面确定单元1604-2将最靠近内容推荐面积的投影表面#003确定为适合于内容的投影的投影表面。

如上所述，在投影系统1600中，针对相同内容确定的投影表面基于实时感测的投影环境(诸如白天和夜间)而变化。即，在投影系统1600中，因为可以通过组合投影表面定义单元1603-2和投影表面确定单元1604-2动态地确定更适合于为用户选择的内容的投影表面，所以可以以更高可用性灵活地执行投影。

C-7.投影表面的校正

图16中示出的投影系统1600具有校正诸如关于由内容选择单元1604-1选择的内容和由投影表面确定单元1604-2确定的投影表面的投影参数以保持投影质量的功能。此外，当由于作为背景的投影表面的特性，投影视频的亮度和色度与原始内容的亮度和色度极大地不同时，投影参数校正单元1605执行信号处理，使得投影视频的亮度和色度变得更接近原始亮度和色度。

在章节C-7中，将描述由投影参数校正单元1605对由内容选择单元1604-1选择的内容、由投影表面确定单元1604-2确定的投影表面等执行的投影参数的校正函数。

C-7-1.投影表面的限制

首先，在章节C-7-1中，将描述投影参数校正单元1605对由投影表面确定单元1604确定的投影表面施加限制的函数。

投影装置1610可通过相位调制方案同时投影在深度方向上不同的多个投影表面。然而，如图20中所示，在两个不同的投影表面2001与2002之间的距离小于设计值的情况下，投影装置1610可能不能切换视频，这是因为在远侧上的投影表面过于靠近。具体地，图21和图22示出当车辆在诸如栅栏的壁表面附近的停车位中停放或停止时，投影表面确定单元1604-2将车窗的窗表面和车窗附近的壁表面确定为投影表面的情况(图21示出从上方观察停放在壁表面附近的车辆的状态，图22示出从侧面观察车辆的状态)。

而且，在图20到图22中所示的示例中，示出其间的距离较小的两个投影表面，但是也假设三个或更多个投影表面的距离小于设计值。在这种情况下，投影参数校正单元1605可拾取多个投影表面(车窗和与车窗直接相邻的壁表面等)中的每个中的两个，并且将这两个彼此比较以确定要优先的投影表面。例如，投影参数校正单元1605对更靠近用户的投影表面给予优先级。在如图21至图22所示投影系统1600安装在车辆上的情况下，投影参数校正单元1605可以优先考虑车辆内部的投影表面。这是因为，如果还投影车辆外部的壁表面，则投影在壁表面上的影像和近侧的影像(即，车辆内部的投影表面上)混合，由此难以看到影像。在图20所示的示例中，投影参数校正单元1605可将分布至近侧的投影表面2001(车窗的窗表面)和远侧的投影表面2002(车辆外部的壁表面)的亮度比率校正为100％：0％。

此外，投影参数校正单元1605可以对投影表面施加以下限制(1)至(3)。

(1)在投影表面的数量接近投影装置1610的设计值的情况下，投影参数校正单元1605根据预定优先规则将投影表面的数量缩小至预定数量以下。例如，投影参数校正单元1605可以优先选择更靠近用户的投影表面。在投影系统1600安装在车辆上的情况下，投影参数校正单元1605可以优先选择车辆内部的投影表面。

(2)在分配给投影表面的投影光量超过投影装置1610的设计值的情况下，投影参数校正单元1605可根据预定优先规则执行校正以减小投影表面的投影表面积。例如，可以均匀地减小每个投影表面的投影尺寸，或者可以从更靠近用户的投影表面按顺序减小投影尺寸。

(3)当投影表面的面积小于内容的推荐屏幕尺寸时，投影参数校正单元1605执行减小原始内容的屏幕尺寸的处理。

C-7-2.投影表面上的优先级确定

在章节C-7-2中，将描述其中投影参数校正单元1605确定由投影表面确定单元1604-2确定的多个投影表面的优先级的函数。

在分配给每个投影表面的投影光量超过投影装置1610的设计值的情况下，投影参数校正单元1605根据预定的优先规则调整每个投影表面的亮度分布。优先化规则的示例包括以下规则(1)和(2)。然而，以下规则仅仅是示例，并且可以确定其他规则。

(1)基于位置信息，在由用户设置的具有高优先级的位置中优先考虑广告。

(2)优先考虑靠近用户的位置处的亮度。

图23示出在内容选择单元1604-1针对车辆内部选择新闻“ABC”的每条内容和针对车辆外部选择广告“DEF”的情况下的投影参数校正单元1605的操作示例，并且投影表面确定单元1604-2进一步针对车辆内部将窗户表面确定为新闻“ABC”的投影表面，并且针对车辆外部将路面确定为广告“DEF”的投影表面。例如，在车辆正在可通过在需要亮度的白天显示在车辆外部而预期有大量广告收入的市区行驶的情况下，通过相对于车辆内部的新闻“ABC”给予车辆外部的广告“DEF”的投影的优先级来校正对每个投影表面(或每个内容片段)的投影光量的分配。在图23所示的示例中，投影参数校正单元1605为车辆内部将投影光量的20％分配给新闻“ABC”，并且为车辆外部将投影光量的80％分配给广告“DEF”。此外，图24示出当配备有投影系统1600的车辆在城镇行驶时，针对车辆内部的新闻“ABC”被投影在车辆窗户的窗户表面上，并且针对车辆外部的广告“DEF”以各自校正的投影光量被投影在路面上的状态。

C-7-3.投影表面的校正

在章节C-7-3中，将描述如下功能：投影参数校正单元1605基于由投影表面确定单元1604-2和投影表面定义单元1603-2获得的信息来校正投影参数，使得投影在投影表面上的实际视频是合适的。校正函数的示例包括几何校正、亮度校正和色度校正。下面将描述各校正函数。

C-7-3-1.几何校正

投影参数校正单元1605基于由投影表面确定单元1604-1确定的投影表面与投影装置1610之间的相对位置关系以及投影装置1610的视角信息，计算当由内容选择单元1604-1选择的内容实际被投影在投影表面上时的视频的尺寸和形状。在投影系统1600安装在车辆上的情况下，可以基于由GPS传感器等测量的车辆的当前位置信息、预测的车辆的路线信息等，计算投影表面与投影装置1610之间的相对位置。然后，投影参数校正单元1605校正投影参数，以使内容的推荐尺寸和形状与所计算的投影视频的尺寸和形状之间的差异最小化。投影参数校正单元1605还执行伴随投影表面的倾斜的所谓的梯形校正。

C-7-3-2.亮度校正

在内容的原始信号的亮度值与投影表面上投影的亮度值之间存在差异的情况下，投影参数校正单元1605校正视频信号使得投影的亮度值变得更接近原始信号的亮度值。当然，投影参数校正单元1605可以使用除信号处理之外的手段执行校正，使得投影亮度值变得更接近原始信号的亮度值。

投影参数校正单元1605可以基于投影表面数据库中的信息(投影表面的属性、形状、反射率、亮度、色度等)和投影装置1610的设计值来预先计算投影表面上投影的亮度值。可替换地，投影参数校正单元1605可以从输入单元1601接收通过感测实际投影的投影表面的亮度值而获得的传感器信息以用于亮度校正。

此外，投影参数校正单元1605根据投影内容的投影表面的总数和要投影的内容来计算投影装置1610的可能输出，并且进一步考虑投影表面的反射率来计算可行亮度。然后，将可行亮度与内容的原始信号的亮度进行比较，并且在可行亮度小于原始信号的亮度的情况下，将输出亮度降低至可行亮度，或者计算此时的投影装置1610的设定值(电流值、占空比值等)。

C-7-3-3.色度校正

在内容的原始信号的色度与投影表面上投影的色度之间存在差异的情况下，投影参数校正单元1605对视频信号的颜色空间执行色度校正，使得投影色度变得更接近原始信号的色度。当然，投影参数校正单元1605可使用除信号处理之外的装置执行色度校正，使得投影色度变得更接近原始信号的色度。应注意，在内容中的某个像素的色度超过投影装置1610的可显示色度的情况下，投影参数校正单元1605校正该像素的色度以匹配投影装置1610的可显示色度。

投影参数校正单元1605可以基于投影表面数据库中的信息(投影表面的属性、形状、反射率、亮度、色度等)和投影装置1610的设计值来预先计算投影表面上的色度。可替换地，投影参数校正单元1605可以从输入单元1601接收通过感测实际投影的投影表面的色度而获得的传感器信息以用于色度校正。

在优先给予投影装置1610的光源控制的情况下执行白平衡校正。因此，投影参数校正单元1605可以计算光源控制参数并且将该信息传递至投影装置1610。

此外，投影参数校正单元1605可以通过色度优先级方法或者亮度优先级方法来校正投影参数。在色度优先的情况下，以色度校正→亮度校正的顺序执行校正处理，但是在亮度优先的情况下，处理的顺序不限于此。

C-7-3-4.具体示例

在章节C-7-3-4中，将描述由投影参数校正单元1605执行的投影参数校正的具体示例。

图25示出投影参数校正单元1605根据与投影装置1610的距离执行校正的方法。在视频被投影在短距离、中间距离和长距离的三个位置处的情况下，投影参数校正单元1605执行亮度校正，使得距离越长，亮度越亮，并且亮度在短距离处是暗的。此外，在投影表面明亮的情况下，投影表面上的投影视频的亮度可以降低。此外，作为几何校正，投影参数校正单元1605对视频执行放大和缩小处理，使得投影在每个投影表面上的视频的尺寸是恒定的。

图25示出用于呈现行进方向(或导航)的箭头投影在短距离、中间距离和长距离三个位置处的投影表面上的示例。投影参数校正单元1605首先在短距离、中间距离和长距离处向各个投影表面分配20％、40％和100％的投影光量。这里，在投影表面明亮的情况下，背景(投影表面)与投影内容之间的对比度小，因此，执行用于通过增加亮度来调整对比度的校正。在图25中所示的示例中，由于在中间距离处的投影表面是明亮的，所以进行校正以将所分配的40％的投影光量增大到60％。通过这种亮度校正，可根据投影表面的距离和亮度有效地分布投影光量，从而可实现投影装置1610的高亮度。此外，作为几何校正，投影参数校正单元1605还执行以下梯形校正：对以短距离投影在投影表面上的视频执行放大处理，并对以远距离投影在投影表面上的视频执行缩小处理。结果，以短距离、中间距离和长距离投影在每个投影表面上的视频的尺寸变得恒定。

图26示出在投影系统1600安装在车辆(图26中未示出)上的情况下执行投影参数校正的具体示例。该图是当车辆接近从主道路分支到左侧道路的Y形道路时，在路面上的多个部分上投影表示行进方向的箭头2601至2604的示例。投影参数校正单元1605首先根据到各个投影表面的距离分配投影光量，以使得投影表面在远侧明亮而在近侧黑暗。因此，按照箭头2601、箭头2602、箭头2603和箭头2604的顺序分配投影光量。此外，由于侧沟槽上的投影表面比沥青上的投影表面更亮，所以执行用于通过增加分配给投影在侧沟槽上的箭头2602的投影光量来调节对比度的校正。通过这种亮度校正，可根据投影表面的距离和亮度有效地分布投影光量，从而可实现投影装置1610的高亮度。此外，作为几何校正，投影参数校正单元1605根据投影表面的倾斜度和形状执行几何校正，诸如梯形校正。此外，投影参数校正单元1605对以短距离投影在投影表面上的视频执行放大处理，并且对以远距离投影在投影表面上的视频执行缩小处理，使得投影在每个投影表面上的视频的尺寸是恒定的(按照箭头2601、箭头2602、箭头2603和箭头2604的顺序进行缩小和放大处理)。利用这些投影参数校正，可以将从用户(例如，坐在驾驶员座椅中的驾驶员)看起来相同的箭头2601至2604投影在路面上具有不同距离、属性等的多个投影表面上。

图27和图28示出安装在车辆上的投影系统1600如何在人行道上朝向车辆附近的行人投影车辆外部的广告。然而，图27示出在特定时间T从车辆向人行道投射用于车辆外部的广告的状态，并且图28示出在提前了ΔT的时间T+ΔT从车辆向人行道投射用于车辆外部的广告的状态。在图27中所示的示例中，在时间T处，将由内容选择单元1604-1为行人选择的内容(车辆外部的广告)投影在由投影表面确定单元1604-2为行人确定的人行道上的投影表面上。在时间段ΔT期间，车辆沿行进方向移动，并且进一步将要在交叉路口左转。因此，从投影装置1610到人行道上的投影表面的距离增加，并且投影表面相对于光轴的倾斜度也改变。因此，投影参数校正单元1605根据到投影表面的距离的改变校正(变亮)分配给人行道上的投影表面的投影光量，并且还根据投影表面相对于光轴的倾斜执行几何校正。可以基于由GPS传感器等测量的车辆的当前位置信息、预测的车辆的路线信息等，计算投影表面与投影装置1610之间的相对位置。因此，如图28所示，由于人行道上的投影表面相对于行人的坐标和投影视频的尺寸变得恒定，所以在时间T与时间T+ΔT之间，行人能够在车辆外部继续看到相同的广告。

在连续呈现内容的情况下，分配给用户(行人)的投影表面(人行道)是固定的，并且投影参数校正单元1605更新每个帧的投影参数(几何校正、亮度校正、色度校正)，使得即使在安装有投影系统1600的车辆正在移动时也可以执行确保可用性的信息呈现。

C-8.输入信息的模态

迄今为止，假设输入单元1601主要从图像传感器、距离传感器等输入图像信息，并且进行用户识别单元1602-1对用户的识别和用户定义单元1602-2对用户信息的定义进行描述。

输入单元1601可进一步使用麦克风等获取声音数据。在这种情况下，通过从声音数据中获取谈话、用户发出的日常生活声音、其他环境声音等，可以更准确地掌握用户的属性和用户的状态。

C-9.从用户拥有的装置检测元信息

用户携带诸如智能电话、平板计算机和智能手表的多功能信息终端已经变得普遍。这种类型的设备通常存储各种用户的元信息，诸如日程信息、电子票信息以及注册账户的服务和设施的信息。

因此，输入单元1601可从用户所拥有的装置获取用户的元信息。在这种情况下，用户定义单元1602-2可以更准确地定义用户信息，并且内容选择单元1604-1可以选择适合用户的属性和用户的状态的内容。

D.应用

图29示意性示出本公开适用的投影系统2900的配置。所示的投影系统2900包括输入单元2901、用户信息检测单元2902、投影环境识别单元2903和输出控制单元2904、投影参数校正单元2905和应用信息累积单元2906。然而，与图16中示出的投影系统1600中包括的组件相同的组件由相同的名称表示。投影系统2900具有的主要特征在于管理包括投影表面的分配和与每个应用(或系统的使用)的内容选择相关的参数的应用信息，使得投影系统可以被部署到宽范围的应用(可以用于各种场景)。

输入单元2901输入由安装在投影系统2900可投影的范围内的空间中的传感器获取的传感器信息。可替代地，输入单元2901可以是安装在空间中的传感器本身。输入单元2901输入例如来自安装在车辆内部的车载传感器的传感器信息。在用户识别单元2902还识别车辆外部的用户的情况下，输入单元2901还输入车辆外部的传感器信息。

用户信息检测单元2902包括用户识别单元2902-1和用户定义单元2902-2。用户识别单元2902-1例如使用诸如Openpose的姿势估计模型从输入单元2901提供的传感器信息中检测用户的数量、用户的位置以及用户的脸部和视线的方向。然后，用户定义单元2902-2定义由用户识别单元2902-1识别的用户的特性和状态，并将为每个用户定义的特性和状态存储在用户特性数据库中的相应用户的条目中。

投影环境识别单元2903包括投影表面检测单元2903-1和投影表面定义单元2903。基于从输入单元2901提供的传感器信息，投影表面检测单元2903-1将投影装置2910实际能够在投影系统2900(与上述相同)能够投影的范围内的空间中投影的部分检测为投影表面。在投影系统2900中，投影表面数据库用于管理由投影表面检测单元2903-1检测的每个投影表面的特性。在投影表面数据库中提供由投影表面检测单元2903-1检测的每个投影表面的条目。投影表面定义单元2903-2识别由投影表面检测单元2903-1检测的投影表面的诸如属性、形状、面积、反射率、色度和亮度的特性并且将该信息存储在投影表面数据库的对应条目中。

输出控制单元2904包括内容选择单元2904-1和投影表面确定单元2904-2。内容选择单元2904-1基于用户识别单元2902识别的用户信息选择要显示给用户的内容。此外，投影表面确定单元2904-2从由投影表面检测单元2903-1检测的投影表面当中确定内容的视频在其上被投影的投影表面。关于由内容选择单元2904-1选择的内容和由投影表面确定单元2904-2确定的内容的投影表面的信息存储在用户特性数据库(如上所述)中。然而，内容选择单元2904-1基于由应用信息累积单元2906管理的相应应用信息，根据与内容选择相关的供应来选择内容。此外，投影表面确定单元2904-2基于相应的应用信息，根据与投影表面的分配相关的规定，确定投影表面。

为了保持投影质量，投影参数校正单元2905执行投影参数的校正，诸如当从投影装置2910投影视频时的投影表面的限制和优先级确定、投影视频的几何校正以及亮度和色度校正(详细地，参照以上章节C-7)。

投影装置2910是如在以上章节B中描述的相位调制型投影装置，并且是能够同时投影在垂直方向和水平方向以及深度方向上不同的多个投影表面上的投影装置。基于由投影参数校正单元2905校正的投影尺寸、投影亮度和投影色度执行用于生成将由投影装置2910投影的图像的显示图像生成处理。该显示图像生成处理可以由输出控制单元2904执行或者可以由投影参数校正单元2905执行。由于显示图像生成处理如在上述章节C-5中所描述的，因此这里将省略其详细描述。投影装置2910基于通过显示图像生成处理所确定的信息来投影视频。

应用信息累积单元2906通过将包括投影表面的分配和与每个应用(或系统的使用)的内容选择相关的参数的应用信息累积为数据库来管理应用信息数据库。然后，内容选择单元2904-1基于相应的应用信息根据与内容选择相关的供应来选择内容。此外，投影表面确定单元2904-2基于相应的应用信息，根据与投影表面的分配相关的规定，确定投影表面。

图30示出由应用信息累积单元2906管理的应用信息数据库的配置示例。在附图中示出的应用信息数据库存储与以下七个应用相关的应用信息：“车辆内部和外部的广告投影”、“车辆内部的多表面投影(头枕、天花板、柱子等)”、“盘投影映射”、“投影映射事件(时尚展示、保龄球)”、“CAVE系统中的凝视区域欣赏(应对许多人)”、“CAVE系统中的凝视区域欣赏(应对单个表面上的节能)”、“空中显示的触摸指示器”、以及“结构光源系统”。

在示出的应用信息数据库中，多平面显示标记是指示是否将多个投影表面分配给一个用户的标记。其中标志为真(TRUE)的应用指示多个投影表面被分配给用户，并且其中标志为假(FALSE)的应用指示仅投影表面被分配给用户。

此外，所推荐的平面数量是每个用户分配的投影表面的数量。在多平面显示标志为真的应用的情况下，可预先定义每个用户使用的投影表面的数量。另一方面，在多平面显示标志为假的应用的情况下，推荐的平面数量不可避免地为。

此外，在多个投影表面上呈现信息的情况下(然而，在多平面显示标志为真的情况下)，多内容标志是指示投影在所有投影表面上的信息是否为一系列内容的标志。多内容标志为假的应用指示呈现与所有投影表面相关的信息(即，内容是单个内容)。此外，多内容标记为真的应用指示针对每个投影表面呈现不相关的信息(即，内容是多内容)。

应注意，在图30所示的应用信息数据库中，向每个应用分配多平面显示标记、推荐平面数量和多内容标记是示例，并且不必限于图30所示的实施方式。

D-1.示例1

在章节D-1中，将描述投影系统2900应用于应用“车辆内部的多表面投影”的示例。

在该示例中，如图31所示，投影装置2910和传感器3101安装在配备有三排座椅的车辆内部的后部中。传感器3101包括诸如RGB照相机和距离传感器的图像传感器，并且由传感器3101获取的传感器信息从输入单元2901输入至投影系统2900。此外，投影装置2910可通过相位调制方案同时在垂直方向和水平方向以及深度方向上不同的多个投影表面上投影。然后，如图30所示，在应用“车辆内部的多表面投影”中，多平面显示标志指定为真，平面推荐数量指定为四，并且多内容标志指定为真。

如图5所示，投影表面检测单元2903-1检测头枕、天花板、柱子等上的多个投影表面。然后，投影表面定义单元2903-2识别要存储在投影表面数据库中的每个检测的投影表面的特性。

内容选择单元2904-1为每个目标用户的推荐平面数量选择要显示的内容。在用户特性数据库中，信息展示为“是”的用户是展示目标。由于在应用中将多内容标志指定为真，因此内容选择单元2904-1为每个目标用户的推荐平面数量(四个)选择不相关内容。

投影表面确定单元2904-2执行将投影表面分配给用户特性数据库中的每个目标用户的处理。由于在应用中多平面显示标志是真，投影表面确定单元2904-2扫描每个目标用户的所有投影表面并为每个用户确定在用户特性数据库中指定的推荐平面数量的投影表面。然而，实际分配给每个用户的投影表面的数量被确定为不超过投影装置2910的投影表面的最大数量。在特定用户可以使用比推荐平面数量更多的投影表面的情况下，投影表面确定单元2904-2基于预定优先化规则(如上所述)确定对应于推荐平面数量的投影表面。

要注意的是，在相同的投影表面是多个目标用户的候选的情况下，在用户之间比较显示信息，并且如果显示信息相同，那么为多个目标用户确定相同的投影表面。此外，在用户之间的显示信息不同的情况下，投影表面照原样分配给一个用户，并且对于其他用户变成另一个投影表面。在没有剩余其他投影表面的情况下，放弃向用户分配投影表面。

图32示出在应用“车辆内部的多表面投影”中构建的用户特性数据库的示例。然而，多平面显示标志是真，平面的推荐数量是四，并且投影装置2910的投影表面的最大数量是10。

D-2.示例2

在章节D-2中，将描述投影系统2900应用于应用“盘投影映射”的示例。在“盘投影映射”中，例如，如图33所示，进行将吸引食欲的角色等的视频投影到供应盘的板上的交互。通过将投影系统2900应用于该应用，即使用户抬起平板，投影在平板上的视频也可以总是被聚焦。

在该示例中，投影装置2910和传感器(诸如RGB相机、距离传感器等的图像传感器)安装在诸如厨房(未示出)的房间的天花板上，并且由传感器获取的传感器信息从输入单元2901输入至投影系统2900。然后，如图30所示，在应用“碟形投影映射”中，多平面显示标志指定为真，平面推荐数量指定为3，多内容标志指定为假。

如图33A所示，投影表面检测单元2903-1检测三个投影表面3301至3303，用于在投影环境中投影与盘(蛋糕)有关的内容，在投影环境中，在其上供应盘(所示实施方式中的蛋糕)的板放置在桌子上。然后，投影表面定义单元2903-2识别要存储在投影表面数据库中的每个投影表面3301至3303的特性。在如图中所示的将板放置在台上的投影环境中，在台和板两者上检测投影表面。

内容选择单元2904-1为目标用户选择要存储在用户特性数据库中的推荐平面数量(三个)的内容。因为在应用中多内容标志被指定为假，所以内容选择单元2904-1为每个目标用户选择与菜肴(蛋糕)相关的一系列三块内容。

图34示出当内容选择单元2904-1通过假设用户信息检测单元2902仅检测到一个目标用户(用户ID是#Uaaaa)的情况为目标用户选择一系列内容“兔子咖啡馆”时用户特性数据库的配置示例。“兔子咖啡馆”包括a-1至a-3和b-1至b-3的总共六块相关含量。然而，图34中示出的用户特性数据库是临时数据库，其中，为目标用户选择内容候选，并且投影表面和内容之间的关联尚未确定。此外，因为“兔子咖啡馆”包括超过推荐的飞机数量(即，三个)的六块相关内容，所以需要将所选择的内容缩小至推荐的飞机数量。

投影表面确定单元2904-2执行在用户特性数据库中向目标用户分配投影表面的处理。因为在应用中多内容标志为假，所以投影表面确定单元2904-2为目标用户扫描由内容选择单元2904-1选择的一系列内容的数量，并且向目标用户分配针对与内容相关联的推荐值(推荐屏幕尺寸等)匹配的推荐平面数量的投影表面。然后，投影表面确定单元2904-2将分配给一系列内容中的每一个的投影表面存储在用户特性数据库的相应条目中。

要注意的是，在相同的投影表面是多个目标用户的候选的情况下，在用户之间比较显示信息，并且如果显示信息相同，那么为多个目标用户确定相同的投影表面。此外，在用户之间的显示信息不同的情况下，投影表面照原样分配给一个用户，并且对于其他用户变成另一个投影表面。在没有剩余其他投影表面的情况下，放弃向用户分配投影表面。

在图34所示的内容选择之后的临时用户特性数据库中，为目标用户(用户ID：Uaaaa)选择超过推荐平面数(即，三个)的六块相关内容。在这种情况下，投影表面确定单元2904-2基于(上述)预定优先排序规则将六个相关内容缩窄成作为推荐平面数量的三个相关内容(a-1，a-3，a-2)，并且向每个内容分配匹配与每个内容相关联的推荐值的投影表面(#0001，#0005，#0010)。图35示出基于图34中所示的用户特性数据库构建的最终用户特性数据库。图33B示出碟形投影映射示例，其中，三条相关内容被投影在由台和板两者检测的投影表面3301至3303上。如图33A所示，在将板放置在桌子上的投影环境中，将两块内容“兔子咖啡馆a-1”和“兔子咖啡馆a-2”投影在桌子上检测到的投影表面3301和3302上，并且将“兔子咖啡馆a-3”投影在板上检测到的投影表面3303上。此外，图33C示出当将板从桌子上提起时的盘投影映射示例。在本公开中，当板被提起时，投影在桌子上的两片内容“兔子咖啡馆a-1”和“兔子咖啡馆a-2”保留。另一方面，投影在板上的内容“兔咖啡店a-3”被投影在提升的板上作为具有与板被放置在桌子上的状态相同的尺寸、相同的亮度、和聚焦的视频。顺便说一下，当使用普通投影装置来执行类似的投影映射时，当升高平板时，仅减少平板上的内容，并且获得具有高亮度和偏移焦点的视频，这是问题。

D-3.示例3

在章节D-3中，将描述投影系统2900应用于应用“投影映射事件”以执行移动作品的示例。在正常的投影映射中，用作屏幕的被投射物被固定并且不动态地移动。另一方面，通过应用投影系统2900，即使当投影对象动态地移动时，也可在深度方向上以高自由度继续投影映射，由此提高可用性。

在投影系统2900应用于应用“投影映射事件”以执行移动产品的情况下，如图30所示，多平面显示标志指定为真，推荐平面数指定为7，以及多内容标志指定为假。

在保龄球场内，例如，在天花板或其他位置安装图像传感器(例如，RGB相机或距离传感器)，并且从输入单元2901输入传感器信息。用户识别单元2902-1从输入单元2901提供的传感器信息中识别保龄球站点中的用户，并且用户定义单元2902-2定义所识别的用户的特性和状态以存储在用户特性数据库中。用户定义单元2902-2将目标用户的信息显示定义为是，以作为信息呈现的目标。

投影表面检测单元2903-1基于从输入单元2901提供的传感器信息，检测可以在保龄球地点投影的部分作为投影表面。在本申请中，不仅不像车道的地板那样移动的物体，而且像滚动球那样动态移动的物体的表面被检测为投影表面。结果，可以跟随滚动球发射视频，并且可以执行移动制作。投影表面定义单元2903-2识别要存储在投影表面数据库中的诸如车道或滚动球的投影表面的特性。图36示出在车道上检测到的多个投影表面和滚动球的表面。在图中，每个投影表面显示为灰色。

内容选择单元2904-1为目标用户选择推荐平面数量(七)的内容。由于在应用中多内容标志被指定为假，因此内容选择单元2904-1为目标用户选择一系列内容。然后，内容选择单元2904-1将一系列内容条和内容的推荐投影表面信息(推荐尺寸、推荐亮度等)存储在用户特性数据库中。

投影表面确定单元2904-2执行在用户特性数据库中向目标用户分配投影表面的处理。由于在应用中多内容标志被指定为假，所以投影表面确定单元2904-2为目标用户扫描由内容选择单元2904-1选择的一系列内容的数量，并且向目标用户分配针对与内容相关联的推荐值(推荐屏幕尺寸等)匹配的推荐平面数量的投影表面。然后，投影表面确定单元2904-2将分配给一系列内容中的每一个的投影表面存储在用户特性数据库的相应条目中。

图37示出最终的用户特性数据库，其中，为目标用户选择的一系列内容以及分配给每条内容的投影表面上的信息存储在应用中。

如图36中所示，在本申请中，通过使用车道的地面、滚动球的表面、前面的壁表面(掩蔽)等作为投影表面，可以向目标用户(例如，投掷球的保龄球)显示信息。通过将根据本公开的投影系统2900用于应用，即使在球滚动时也可以以相同的亮度继续显示，并且因此提高了可用性。

然而，当在投球之前在车道上投影视频时，保龄球员难以读取车道状况，并且当在滚动球的前面投影视频时，难以观察球的行程。因此，如图38和图39所示，投影表面确定单元2904-2可以将球已经经过的车道上的投影表面分配给内容。如图38所示，在俯仰之后立即仅将车道前方的一个投影表面3801分配给内容。以这种方式，由于在投掷球之前并且在球通过之前不将视频投射在车道上，所以不损害可视性，并且可用性进一步提高。此后，当球在车道上滚动并到达针板附近时，四个投影表面3901至3904被分配给车道上的内容。因此，随着球的移动，能够在车道上投射的区域扩大，能够有效地利用更多的投射面。

注意，虽然已经在章节D-3中描述了将应用“投影地图绘制事件”应用于保龄球的具体示例，但是该应用可以类似地应用于除了体育之外的其他体育比赛和事件以执行移动制作。例如，在时装展示中，可以通过使用跑道的地面或者在跑道上行走的模型的服装或身体作为投影表面来执行移动生产。

D-4.示例4

在D-4部分中，将描述投影系统2900应用于应用“CAVE系统中的凝视区域欣赏(应对许多人)”的示例。

图40示出CAVE系统4000的示例。图示的CAVE系统4000包括在四个侧面上由壁表面围绕的空间(诸如房间)，并且每个壁表面可以用作投影表面。用户可以进入该空间并且欣赏投影在墙壁表面上的视频。通过将投影系统2900应用于CAVE系统4000，可以在每个用户正在注视的区域中呈现针对每个用户选择的内容。此外，因为投影系统2900可以通过使用投影装置2910同时在垂直方向和水平方向以及深度方向上不同的多个投影表面上投影，所以与使用与投影表面的数目相对应的投影仪的数目的情况相比，空间效率和成本效率高并且可以实现节能。

在投影系统2900应用于应用“CAVE系统(应对许多人)中的凝视区域欣赏”的情况下，如图30所示，多平面显示标志指定为真，推荐平面数量指定为五个，并且多内容标志指定为真。

诸如RGB相机或距离传感器的图像传感器4020被安装在构建CAVE系统4000的空间的上方或天花板上，并且捕捉存在于该空间中的用户和投影环境。用户识别单元2902-1从输入单元2901提供的传感器信息中识别空间中的用户，并且用户定义单元2902-2定义要存储在用户特性数据库中的所识别的用户的特性和状态。因为已经进入空间的用户基本上具有观看视频的意图，所以用户定义单元2902-2将空间中所有用户的信息显示定义为是(即，目标用户)。此外，投影表面检测单元2903-1基于从输入单元2901提供的传感器信息检测空间周围的四个壁表面作为投影表面。注意，一个壁表面可以被检测为一个投影表面，或者一个壁表面可以被分成多个区域并且针对每个区域被检测为投影表面。

内容选择单元2904-1为每个目标用户选择推荐平面数量(五)的内容。由于在应用中将多内容标志指定为真，因此内容选择单元2904-1选择与目标用户不相关的内容。然后，内容选择单元2904-1将为每个目标用户选择的内容以及该内容的推荐投影表面信息(推荐尺寸、推荐亮度等)存储在用户特性数据库中。

投影表面确定单元2904-2执行在用户特性数据库中向目标用户分配投影表面的处理。由于在应用中将多内容标志指定为真，因此投影表面确定单元2904-2扫描每个目标用户的所有投影表面并为每个用户确定在用户特性数据库中指定的推荐平面数量的投影表面。然而，实际分配给每个用户的投影表面的数量被确定为不超过投影装置2910的投影表面的最大数量。在特定用户可以使用比推荐平面数量更多的投影表面的情况下，投影表面确定单元2904-2基于预定优先化规则(如上所述)确定对应于推荐平面数量的投影表面。

要注意的是，在相同的投影表面是多个目标用户的候选的情况下，在用户之间比较显示信息，并且如果显示信息相同，那么为多个目标用户确定相同的投影表面。此外，在用户之间的显示信息不同的情况下，投影表面照原样分配给一个用户，并且对于其他用户变成另一个投影表面。在没有剩余其他投影表面的情况下，放弃向用户分配投影表面。

图41示出在应用“CAVE系统中的凝视区域欣赏(应对许多人)”中构建的用户特性数据库的示例。然而，多平面显示标志是真，平面的推荐数量是五，并且投影装置2910的投影表面的最大数量是10。

通过基于如图41所示的用户特性数据库在CAVE系统4000中执行内容输出控制，投影系统2900可以将基于用户4001和4002的属性确定的每条内容同时投影到投影表面4011和4012上，投影表面4011和4012在用户4001和4002附近的壁表面上确定，如图40所示。为了简化附图，在图40中示出的CAVE系统400中，在空间中仅容纳两个用户，但是即使容纳三个或更多个用户的大量用户，也可以类似地向每个用户分配投影表面并呈现单独的内容。

D-5.示例5

许多人欣赏视频的CAVE系统的示例在以上章节D-4中描述，但是投影系统2900应用于应用“CAVE系统中的凝视区域欣赏(应对单个表面上的节能)”的示例将在章节D-5中描述。这里，还假设具有图40中所示的配置的CAVE系统4000。

如图30所示，在投影系统4000被应用于应用“CAVE系统中的凝视区域欣赏(应对单个表面上的节能)”的情况下，多平面显示标志被指定为假，平面的推荐数量被指定为1，并且多内容标志被指定为假。

由于用户信息检测单元2902和投影环境识别单元2903的操作与上面章节D-4中的操作类似，因此这里将省略其详细描述。

由于多内容标志被指定为假，因此内容选择单元2904-1为目标用户逐个选择内容。此外，由于多平面显示标志被指定为假，投影表面确定单元2904-2逐个确定与分配给目标用户的内容的推荐屏幕信息相匹配的投影表面。然后，将由内容选择单元2904-1选择并且由投影表面确定单元2904-2确定的信息存储在用户特性数据库中。

结果，由于将单个投影表面分配给在空间中容纳的每个用户以执行视频欣赏，因此与将多个投影表面分配给每个用户的上述示例4相比，CAVE系统4000的节能可以通过抑制投影装置2910的输出来实现。

D-6.示例6

在章节D-6中，将描述投影系统2900应用于应用“空中显示器的触摸指示器”的示例。

在此，空间显示器是能够立体地显示空的真实空间(空气)中的图像的显示装置，并且例如，一个或多个固定投影仪用于通过结合透镜、半反射镜等在空气中形成图像，从而在空气中显示图像(例如，参见专利文献3)。

空中显示器的应用可以包括在空的空中显示用户界面(UI)屏幕，例如，供用户操作设备。利用空中显示器，UI屏幕可以安装在任何地方，而不需要安装真实的显示设备。图42示出包括用于文件操作(诸如打开、关闭、保存和打印)的菜单按钮的UI屏幕4200显示在空中显示器上的示例。然而，即使用户试图触摸由空中显示器显示的UI屏幕上的菜单按钮，由于没有实际可被触摸和操作的实体，用户也不能获得触摸菜单按钮的指尖的触感，因此操作困难。

因此，使用投影系统2900显示指示空中显示UI屏幕与待触摸的指尖之间的距离的指示符，并且通过由指示符给出的视觉信息来补偿指尖的触感。具体地，当用户的指尖相对于UI屏幕的距离长时，显示暗且小的指示符，并且当用户的指尖接近UI屏幕时，显示亮且大的指示符。

在投影系统2900应用于应用程序“空中显示器的触摸指示符”的情况下，如图30所示，多平面显示标志指定为真，平面推荐数量指定为四，并且多内容标志指定为假。

由于用户信息检测单元2902和投影环境识别单元2903的操作与上面章节D-4中的操作类似，因此这里将省略其详细描述。因为多内容标志被指定为假，所以内容选择单元2904-1基于用户定义单元2902-1定义的用户信息选择要分配给目标用户的一系列内容。此外，投影表面确定单元2904-2逐个确定与分配给目标用户的内容的推荐屏幕信息相匹配的投影表面。然后，将由内容选择单元2904-1选择并且由投影表面确定单元2904-2确定的信息存储在用户特性数据库中。

图43和图44示出将投影系统2900应用于应用程序“空中显示器的触摸指示器”的示例。图43示出当用户的指尖相对于图42中所示的UI屏幕4200的距离较长时显示暗小指示符4301的状态。此外，图44示出当用户的指尖的距离接近UI屏幕4200时显示亮且大的指示符4401的状态。用户可以基于从图43和图44所示的指示符4301和4401获得的视觉信息掌握到UI屏幕4200的距离感，即使用户不能获得UI屏幕4200的触感。

工业实用性

已经参考具体示例详细地描述了本公开。然而，显而易见的是，在不背离本公开的主旨的情况下，本领域技术人员可对实施方式进行修改和替换。

在本说明书中，主要描述了根据本公开的投影系统应用于车辆等的实施方式，但是本公开的要旨不限于此。

此外，根据本公开的投影系统基本上使用相位调制型投影装置在垂直方向和水平方向以及深度方向上不同的多个投影表面上同时投影。然而，只要不存在诸如空间效率和能量效率的限制，诸如振幅调制型投影装置的另一类型的投影装置(即使在振幅调制方案中，也能够通过全息原理实现在具有不同深度的多个表面上的显示)或者多投影仪也能够被使用。

简而言之，已经以示例性方式描述了本公开，并且不应当以限制的方式解释本说明书中公开的内容。为了确定本公开的要点，应当考虑权利要求。

应注意，本公开还可具有以下配置。

(1)一种投影系统，包括：

用户识别单元，识别存在于空间中的用户；

投影环境识别单元，识别在所述空间中能够在其上投影视频的投影表面；以及

控制单元，控制投影装置以针对由所述用户识别单元识别的所述用户在由所述投影环境识别单元识别的所述投影表面上投影视频。

(1-1)根据(1)所述的投影系统，其中，

所述空间是车辆或另一移动装置，

所述用户识别单元识别在所述移动设备内部和外部的用户，并且

所述投影环境识别单元识别在所述移动设备内部和外部的投影表面。

(1-2)根据(1)所述的投影系统，其中

所述空间由壁包围，并且

所述投影环境识别单元从围绕所述空间的壁表面识别投影表面。

(2)根据权利要求1所述的投影系统，其中

所述投影装置能够在多个表面上同时投影视频，以及

控制单元控制投影装置在投影环境识别单元识别出的两个以上投影表面上同时投影视频。

(3)根据(1)或(2)所述的投影系统，其中

所述用户识别单元以及所述投影环境识别单元中的至少一者基于由安装在所述空间中的传感器检测的传感器信息执行识别。

(3-1)根据(3)所述的投影系统，其中，

所述传感器包括图像传感器、深度传感器、热敏相机、超声波传感器或触摸传感器中的至少一者。

(4)根据(1)至(3)中任一项所述的投影系统，其中

投影环境识别单元从投影装置的可投影范围中检测满足由一个或多个阈值定义的条件(诸如，等于或大于预定阈值的面积、等于或小于预定阈值的曲率或者等于或大于预定阈值的梯度)的区域作为投影表面。

(4-1)根据(4)所述的投影系统，其中，

为每个用户、待投影的每条内容、或应用投影系统的每个应用定义阈值。

(5)根据(1)至(4)中任一项所述的投影系统，其中

所述投影装置能够同时在垂直方向和水平方向以及深度方向上不同的多个表面上投影视频，以及

投影环境识别单元识别在垂直方向和水平方向以及深度方向上不同的多个投影表面。

(6)根据(5)所述的投影系统，其中

所述投影装置是包括相位调制型空间光调制器的投影装置。

(7)根据(1)至(6)中任一项所述的投影系统，其中

所述用户识别单元定义用户的特性和状态。

(7-1)根据(7)所述的投影系统，其中，

所述用户识别单元检测所述用户的数量、所述用户的位置、所述用户的面部的方向或所述用户的视线中的至少一者，并且基于所述检测结果定义所述用户的特性和状态。

(7-2)根据(7-1)所述的投影系统，其中，

所述用户识别单元使用姿势估计模型Openpose，从通过利用RGB相机或深度传感器捕捉空间而获得的图像信息中识别用户的姿势。

(7-3)根据(7)所述的投影系统，其中，

用户识别单元将用户的属性(性别、年龄、职业等)和用户的状态(睡醒或睡眠)定义为用户特性数据。

(7-4)根据(7-3)所述的投影系统，其中，

用户识别单元通过关联立体设置信息定义用户的属性。

(7-5)根据(7-3)所述的投影系统，其中，

所述用户识别单元基于眨眼的次数或视线的移动定义用户的状态。

(7-6)根据(7)所述的投影系统，其中，

所述用户识别单元基于由用户所拥有的装置所拥有的元信息来定义所述用户的特性或状态。

(8)根据(7)所述的投影系统，进一步包括：

内容选择单元，基于所定义的用户信息选择要显示给用户的内容。

(8-1)根据(8)所述的投影系统，其中，

所述内容选择单元基于预定优先级选择内容。

(8-2)根据(8-1)所述的投影系统，其中，

所述优先级基于用户的偏好、所述用户的位置信息或当前时间中的至少一者。

(8-3)根据(8)所述的投影系统，其中

所选择的内容与所述用户相关联。

(8-4)根据(8)所述的投影系统，其中

所选择的内容和包括所选择的内容的推荐尺寸和推荐亮度的显示信息与用户相关联。

(9)根据(8)所述的投影系统，进一步包括：

投影表面确定单元，确定投影了所选择的内容的投影表面。

(9-1)根据(9)所述的投影系统，其中，

所述投影表面确定单元确定在用户的视场中是否存在由所述投影环境识别单元识别的投影表面，并且基于所述确定结果分配所述用户的投影表面。

(9-2)根据(9)所述的投影系统，其中

所述投影表面确定单元基于预定优先级确定投影表面。

(9-3)根据(9-2)所述的投影系统，其中，

所述优先级包括投影表面的面积、相对于用户的视角的尺寸、所述用户与所述投影表面之间的距离、所述投影表面与所述用户选择的内容的推荐屏幕尺寸或推荐视角之间的匹配度、所述投影表面的背景与所述内容之间的对比度的尺寸、或所述投影表面的背景亮度的小中的至少一者。

(9-4)根据(9)所述的投影系统，其中，

所确定的投影表面与所述用户或所述内容相关联。

(10)根据(1)至(9)中任一项所述的投影系统，其中

所述投影环境识别单元进一步检测所识别的投影表面的信息。

(11)根据(10)所述的投影系统，其中

投影环境识别单元定义投影表面的属性、形状、面积和特性(反射率、亮度、色度)。

(11-1)根据(11)所述的投影系统，其中

所述投影环境识别单元基于由安装在所述空间中的传感器检测的传感器信息计算投影表面的形状、面积和特性。

(11-2)根据(11)所述的投影系统，其中

所述投影环境识别单元基于每个投影表面的数据执行所述投影表面的聚类。

(12)根据(9)所述的投影系统，进一步包括：

投影参数校正单元，校正由所述投影表面确定单元确定的所述投影表面的投影参数。

(13)根据(12)所述的投影系统，其中

所述投影参数校正单元基于所述投影装置的设计值来限制在深度方向上不同的投影表面之间的距离、投影表面的数量或投影尺寸中的至少一者。

(14)根据(12)或(13)所述的投影系统，其中

投影参数校正单元确定由投影表面确定单元确定的多个投影表面的优先级。

(15)根据(12)至(14)中任一项所述的投影系统，其中

所述投影参数校正单元校正投影表面上的投影视频的亮度、色度或尺寸中的至少一者。

(16)根据(3)所述的投影系统，其中

所述传感器包括麦克风，并且

所述用户识别单元基于从所述麦克风输入的声音数据、谈话或日常生活声音识别用户的状态。

(17)根据(8)或(9)所述的投影系统，其中

所述内容选择单元基于从包括在用户所拥有的装置中的元信息识别的用户信息选择要显示给用户的内容。

(18)根据(1)至(17)中任一项所述的投影系统，进一步包括：

应用信息累积单元，累积定义每个应用的显示方法的应用信息，其中，

基于应用信息执行内容的选择或投影表面的确定中的至少一者。

(19)根据(18)所述的投影系统，其中

所述应用信息包括指示是否能够使用多个投影表面显示内容、推荐投影表面数量、以及在使用多个投影表面的情况下是否能够显示与每个投影表面无关的内容的信息。

(19-1)根据(19)所述的投影系统，其中，

在允许使用多个投影表面的应用的情况下，基于投影表面的推荐数量将投影表面分配给目标用户，以便从为目标用户确定的投影表面中不超过投影装置的投影表面的最大显示数量。

(19-2)根据(19)所述的投影系统，其中

在相同的投影表面被冗余地分配给多个用户的情况下，如果存在用户共有的显示信息，则保持投影表面的重叠分配。

(20)一种投影控制方法，包括：

用户识别步骤，识别在空间中存在的用户；

投影环境识别步骤，识别在所述空间中能够投影视频的投影表面；以及

控制步骤，控制投影装置，以针对由所述用户识别步骤识别的所述用户在由所述投影环境识别步骤识别的所述投影表面上投影视频。

参考符号列表

100 投影系统

101 用户识别单元

102 投影环境识别单元

103 输出控制单元

110 投影装置

200 投影系统

201 输入单元

202 用户识别单元

203 投影环境识别单元

203-1 投影表面检测单元

204 输出控制单元

210 投影装置

701 相位调制型SLM

800 投影系统

801 输入单元

802 用户信息检测单元

802-1 用户识别单元

802-2 用户定义单元

803 投影环境识别单元

803-1 投影表面检测单元

804 输出控制单元

810 投影装置

1200 投影系统

1201 输入单元

1202 用户信息检测单元

1202-1 用户识别单元

1202-2 用户定义单元

1203 投影环境识别单元

1203-1 投影表面检测单元

1204 输出控制单元

1204-1 内容选择单元

1204-2 投影表面确定单元

1210 投影装置

1600 投影系统

1601 输入单元

1602 用户信息检测单元

1602-1 用户识别单元

1602-2 用户定义单元

1603 投影环境识别单元

1603-1 投影表面检测单元

1603-2 投影表面定义单元

1604 输出控制单元

1604-1 内容选择单元

1604-2 投影表面确定单元

1605 投影参数校正单元

1610 投影装置

2900 投影系统

2901 输入单元

2902 用户信息检测单元

2902-1 用户识别单元

2902-2 用户定义单元

2903 投影环境识别单元

2903-1 投影表面检测单元

2903-2 投影表面定义单元

2904 输出控制单元

2904-1 内容选择单元

2904-2 投影表面确定单元

2905 投影参数校正单元

2906 应用信息累积单元

2910 投影装置

3101 传感器

4000 CAVE系统。