控制器、位置判定装置、位置判定系统、显示系统、程序以及记录介质

相关申请的相互参照

本申请主张在2018年11月5日申请的日本国专利申请2018-208358号的优先权，并将该在先申请的公开内容整体援引于此以供参照。

技术领域

本公开涉及控制器、位置判定装置、位置判定系统、显示系统、程序以及记录介质。

背景技术

以往，已知基于立体照相机所具有的两个相机分别拍摄到的摄像图像，计算到物体、人物等被摄体为止的距离。例如，在专利文献1中记载了为了在这样的立体照相机中准确地计算距离，校正两个相机的位置以及姿势的相对偏移。

在先技术文献

专利文献

专利文献1：国际公开2016/208200号

发明内容

本公开的控制器构成为，基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。

本公开的位置判定装置具备通信模块和控制器。所述通信模块构成为，接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像。所述控制器构成为，基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。

本公开的位置判定系统具备摄像装置和位置判定装置。所述位置判定装置包括通信模块和控制器。所述通信模块构成为，接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像。所述控制器构成为，基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。

本公开的显示系统具备摄像装置、位置判定装置以及平视显示器。所述位置判定装置具备通信模块和控制器。所述通信模块构成为，接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像。所述控制器构成为，基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。所述平视显示器构成为，基于由所述控制器判定出的所述物点的位置，显示利用者的眼在与所述物点的位置相关的位置进行视觉辨认的虚像。

本公开的程序是用于使控制器基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置的程序。

本公开的记录介质是记录有程序的计算机可读取的记录介质。所述程序是用于使控制器基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置的程序。

附图说明

图1是表示第1实施方式的位置判定系统的概要结构的图。

图2是表示由图1所示的摄像装置生成的摄像图像的例子的图。

图3是表示从图1所示的摄像图像提取出的眼的像的例子的图，图3的(a)是表示右眼的像的例子的图，图3的(b)是表示左眼的像的例子的图。

图4是示意性地表示图3的(b)所示的左眼的角膜的像构成一部分的椭圆倾斜的例子的图。

图5是表示眼处于基准状态的情况的角膜与像面的关系的示意图。

图6是表示眼不处于基准状态的情况的角膜与像面的关系的示意图。

图7是表示左中心位置、左法线方向、右中心位置以及右法线方向与物点的位置的关系的图。

图8是用于说明使用极平面(epi-polar plane)计算出的右眼的角膜内的物点的像的图。

图9是表示左眼以及右眼各自的位置、与摄像面的位置、与物点的位置的关系的图。

图10是表示使用第1例来判定物点的位置的处理的流程图。

图11是表示使用第2例来判定物点的位置的处理的流程图。

图12是表示第2实施方式的显示系统的概要结构的图。

具体实施方式

在为了测定距离而使用两个摄像装置的情况下，与仅使用一个摄像装置的情况相比，会产生昂贵的费用。为了消除该问题，期望使用一个摄像装置计算到实际空间中的被摄体为止的距离。

本公开提供能够使用一个摄像装置准确地判定实际空间中的被摄体的位置的控制器、位置判定装置、位置判定系统、显示系统、程序以及记录介质。

以下，参照附图，对本公开的实施方式进行说明。另外，以下的说明中使用的图是示意性的图，附图上的尺寸比率等不一定与实际相一致。

本公开的第1实施方式所涉及的位置判定系统100，如图1所示，具备摄像装置1和位置判定装置2。

摄像装置1配置为在摄像范围中包括利用者的双眼。在以下的说明中，将摄像装置1的光轴方向表示为z轴方向。在利用者朝向摄像装置1的方向时，将沿着连结左眼(第1眼)和右眼(第2眼)的方向的眼间方向表示为x轴方向。将与光轴方向以及眼间方向正交的方向表示为y轴方向。

摄像装置1包括摄像光学系统11、摄像元件12以及第1通信模块13。

摄像光学系统11构成为包括一个以上的透镜。摄像光学系统11配置为摄像光学系统11的光轴与摄像元件12的摄像面121垂直。摄像光学系统11构成为使从被摄体入射的光在摄像元件12的摄像面121上成像为被摄体像。

摄像元件12例如可以包括CCD(Charge Coupled Device，电荷耦合器件)摄像元件或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)摄像元件。摄像元件12构成为通过对由摄像光学系统11在摄像面121上成像的像进行变换而生成摄像图像。

第1通信模块13能够与位置判定装置2进行通信。具体而言，第1通信模块13构成为，将由摄像元件12生成的摄像图像向位置判定装置2发送。在第1通信模块13与位置判定装置2的通信中使用的通信方式可以是近距离或者长距离的无线通信标准，也可以是有线通信标准。近距离的无线通信标准例如可以包括Wi-Fi(注册商标)、Bluetooth(注册商标)、红外线、NFC(NearField Communication，近场通信)等。长距离的无线通信标准例如可以包括LTE(Long Term Evolution)、第4代移动通信系统或者第5代移动通信系统等。

位置判定装置2包括第2通信模块(通信模块)21和控制器22。

第2通信模块21能够与摄像装置1的第1通信模块13进行通信。在与第2通信模块21的第1通信模块13的通信中使用的通信方式可以与在第1通信模块13中使用的通信方式相同。第2通信模块21构成为从第1通信模块13接收摄像图像。

控制器22与位置判定装置2的各结构要素连接，能够控制各结构要素。由控制器22控制的结构要素包括第2通信模块21。控制器22例如构成为处理器。控制器22可以包括1个以上的处理器。处理器可以包括读入特定的程序来执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包括面向特定用途的IC(ASIC：Application Specific Integrated Circuit)。处理器可以包括可编程逻辑器件(PLD：Programmable Logic Device)。PLD可以包括FPGA(Field-Programmable Gate Array)。控制器22可以是一个或者多个处理器协作的SoC(System-on-a-Chip)、以及SiP(SystemInaPackage)中的任意一个。

控制器22构成为控制摄像装置1，生成如图2所示那样的、对利用者的双眼进行摄像而得到的摄像图像。控制器22构成为取得由摄像装置1生成并由第2通信模块21接收到的摄像图像。控制器22构成为基于摄像图像进行各种处理。

如图1所示，在利用者的眼视觉辨认物点OP的情况下，物点OP投影于左眼的角膜，进而，投影于左眼的角膜的物点的像OP

在利用者的眼处于观察摄像装置1的方向的基准状态的情况下，摄像图像上的角膜的像CI为大致圆形。另一方面，在利用者的眼朝向与摄像装置1不同的方向的情况下，如图3所示，摄像图像上的角膜的像CI形成椭圆形的一部分。位于图3的(a)所示的右眼的角膜的像CI

如示意性地表示图3所示的左眼的角膜形成一部分的椭圆形的图4所示，椭圆形的长径r

控制器22构成为，在摄像图像中判定左眼的角膜的像CI

控制器22同样构成为在摄像图像中判定右眼的角膜的像CI

以下，将详细地说明控制器22判定左眼以及右眼的角膜的像CI

<角膜的像的特征量的判定>

控制器22提取摄像图像中的左眼的角膜的像CI

控制器22判定如图4所示那样的左眼的角膜的像CI

控制器22同样地判定右眼的角膜的像CI

<角膜的中心位置的计算>

如图5所示，控制器22基于摄像装置1的焦点距离f、左眼的角膜的像CI

[数1]

当计算出距离d

控制器22同样地计算右角膜中心位置C

<角膜的方向的计算>

控制器22基于左眼的像的长径r

控制器22使用式(2)计算从左眼的角膜的方向a

[数2]

控制器22将以角度τ

控制器22同样基于右眼的像的长径r

<物点的位置的计算>

控制器22基于左角膜中心位置C

(第1例)

如图7所示，控制器22在实际空间中计算表示从左角膜中心位置C

(第2例)

控制器22基于图3所示那样的、摄像图像中的左眼的角膜的像CI

具体而言，控制器22提取摄像图像中的左眼的角膜的像CI

控制器22基于摄像图像，计算实际空间中的摄像面121上的左眼的角膜的像CI

控制器22在计算出左成像位置P

控制器22分别通过式(3)以及式(4)来计算x以及y。

x＝(z/f)×(u-Ox) 式(3)

y＝(z/f)×(v-Oy) 式(4)

控制器22计算实际空间中的投影到右眼的角膜内的物点的像OP

控制器22基于左投影位置S

控制器22计算作为表示左投影位置S

如上所述，物点OP投影于左眼的角膜，进而，投影于左眼的角膜的物点的像OP

控制器22同样基于右投影位置S

左成像位置P

P

右成像位置P

P

投影到左眼的角膜内的物点OP的像OP

(P

(P

控制器22通过将如上述那样计算出的vs

当计算出距离s

参照图10对控制器22使用第1例执行的处理进行详细地说明。

<利用第1例的处理>

控制器22使摄像装置1生成摄像图像(步骤S11)。

控制器22取得由摄像装置1生成并由第2通信模块21接收到的摄像图像(步骤S12)。

控制器22从摄像图像提取左眼的角膜的像CI

控制器22判定在步骤S13中提取的椭圆形的长径r

控制器22基于摄像装置1的焦点距离f、左眼的角膜的像CI

控制器22基于实际空间中的摄像装置1的位置、焦点距离f以及距离d

控制器22基于椭圆形的长径r

控制器22从摄像图像提取右眼的角膜的像CIR形成一部分的椭圆形(步骤S18)。

控制器22判定在步骤S17中提取出的椭圆形的长径r

控制器22基于焦点距离f、左眼的角膜的像CI

控制器22基于实际空间中的摄像装置1的位置、焦点距离f以及距离d

控制器22基于椭圆形的长径r

控制器22计算表示从左角膜中心位置C

控制器22根据右角膜中心位置C

控制器22计算第1直线linel以及第2直线line2的交点，以作为物点OP的位置(步骤S25)。

<利用第2例的处理>

参照图11对控制器22使用第2例执行的处理进行详细地说明。

控制器22执行的步骤S31至步骤S36与利用第1例的处理中的步骤S11至步骤S16相同。控制器22执行的步骤S37至步骤S40与利用第1例的处理中的步骤S18至步骤S21相同。

控制器22提取摄像图像中的左眼的角膜的像CI

控制器22基于左成像位置P

控制器22提取右眼的角膜的像CI

控制器22基于右成像位置P

控制器22基于左投影位置S

控制器22基于右投影位置S

控制器22将从左投影位置S

作为第1实施方式所涉及的控制器22，能够采用计算机等信息处理装置。这样的信息处理装置能够通过将记述了实现第1实施方式所涉及的控制器22的各功能的处理内容的程序记录于非暂时性的计算机可读取的记录介质，通过处理器读出并执行该程序来实现。非暂时性的计算机可读取的记录介质包括但不限于磁存储介质、光学存储介质、光磁存储介质、半导体存储介质。磁存储介质包括磁盘、硬盘、磁带。光学存储介质包括CD(CompactDisc)、DVD、蓝光盘(Blu-ray(注册商标)Disc)等光盘。半导体存储介质包括ROM(Read OnlyMemory，只读存储器)、EEPROM(Electrically Erasable Programmable Read-OnlyMemory，电可擦可编程只读存储器)、闪速存储器。

如以上说明的那样，在第1实施方式中，控制器22基于摄像图像中的左眼的角膜的像CI

在第1实施方式中，控制器22基于左眼的角膜的像CI

本公开的第2实施方式所涉及的显示系统200如图12所示能够搭载于移动体20。

本公开中的“移动体”包括车辆、船舶、航空器。本公开中的“车辆”包括汽车以及工业车辆，铁道车辆以及生活车辆，然而并不限于此，也可以包括铁道车辆以及生活车辆、行驶滑行路的固定翼机。汽车包括乘用车、卡车、公共汽车、摩托车、以及无轨电车等，然而并不限于此，也可以包括在道路上行驶的其他车辆。工业车辆包括面向农业以及建设的工业车辆。工业车辆包括叉车、以及高尔夫球车，然而并不限于此。面向农业的工业车辆中包括拖拉机、耕种机、插秧机、割捆机、联合收割机以及割草机，然而并不限于此。面向建设的工业车辆中包括推土机、铲土机(scraper)、挖土机、起重机车、翻斗车以及压路机，然而并不限于此。车辆包括通过人力而行驶的车辆。另外，车辆的分类不限于上述。例如，汽车中可以包括能够在道路行驶的工业车辆，可以在多个分类中包括相同的车辆。本公开中的船舶中包括水上喷射器(marine jets)、轮船以及油轮等。本公开中的航空器中包括固定翼机和旋转翼机。

显示系统200具备摄像装置1、位置判定装置2以及HUD3。摄像装置1与第1实施方式的摄像装置1相同。位置判定装置2在与HUD3进行通信这一方面与第1实施方式的位置判定装置2不同，但在其他方面相同。位置判定装置2将实际空间中的物点OP的位置发送到HUD3。物点OP的位置是指，利用者在各时间点目视的位置，例如道路标识、前方车辆、行人、道路上的障碍物等所包括的特征点的位置。物点OP位于左眼以及右眼的角膜方向附近。

HUD3将图像作为虚像投影到利用者的眼。HUD3能够调整到利用者视觉辨认的虚像的表观上的距离。HUD3能够显示虚像，以使得利用者的眼在与通过位置判定装置2判定出的物点OP的位置相关的位置视觉辨认虚像。与物点OP的位置相关的位置包括从利用者观察与到物点OP的距离近的距离的位置。HUD3能够包括一个以上的反射器31、光学构件32以及显示装置33。

反射器31使从显示装置33射出的图像光朝向光学构件32的给定区域反射。给定区域是在该给定区域反射的图像光朝向利用者的眼的区域。给定区域能够由利用者的眼相对于光学构件32的方向以及图像光向光学构件32的入射方向决定。

反射器31可以是一个以上的反射镜。在反射器31是反射镜的情况下，例如，反射镜可以是凹面镜。在图1中，反射器31作为一个反射镜而显示。但是，反射器31不限于此，也可以组合两个以上的反射镜而构成。

光学构件32使从显示装置33射出、并由一个以上的反射器31反射的图像光朝向利用者的左眼(第1眼)以及右眼(第2眼)反射。例如，移动体20的挡风玻璃也可以被兼用为光学构件32。因此，HUD3使沿着光路L、并从显示装置33射出的图像光行进到利用者的左眼以及右眼。利用者能够将通过沿着光路L到达的图像光使显示装置33显示的图像视觉辨认为虚像。

显示装置33构成为包括液晶面板等显示元件。显示装置33能够使用构成为对左右的眼赋予视差的显示装置。

显示装置33显示图像，以使得在利用者的眼与由位置判定装置2判定出的所述物点OP的位置相关的位置，视觉辨认由显示装置33显示的图像的虚像。与物点OP相关的位置是为了从利用者视觉辨认物点OP的状态视觉辨认虚像而以难以感觉到变更眼的焦点距离的负荷的程度接近物点OP的位置。与物点OP相关的位置例如可以是在利用者的视野内与物点OP重叠的位置。与物点OP相关的位置可以是从物点OP起给定范围内的位置。

HUD3为了调整包括到虚像的距离的虚像的显示位置，可以构成为能够根据由位置判定装置2判定出的物点OP的位置来调整反射器31以及显示装置33的显示元件的相对位置。显示装置33是构成为对左右眼赋予视差的显示装置的情况下，显示装置33可以构成为根据由位置判定装置2判定的物点OP的位置来调整视差量。

显示装置33所显示的图像能够显示与物点OP相关的信息或者不相关的信息。在显示装置33所显示的图像是表示与物点OP相关的信息的图像的情况下，例如，图像可以是用于向利用者警告存在物点OP的图像。例如，图像可以是用于表示从移动体20到物点OP的距离的图像。在图像是用于表示从移动体20到物点OP的距离的图像的结构中，例如，位置判定装置2能够基于利用者的眼的位置与移动体20的前端部的位置的关系，计算从移动体20到物点OP的距离。而且，显示装置33也可以接收由位置判定装置2计算出的从移动体20到物点OP的距离，并显示表示该距离的图像。

作为第2实施方式所涉及的控制器22，能够采用计算机等信息处理装置。这样的信息处理装置能够通过将记述了实现第2实施方式所涉及的控制器22的各功能的处理内容的程序记录于计算机可读取的记录介质，通过处理器读出并执行该程序来实现。

根据第2实施方式，与第1实施方式同样地，能够减少设置多个摄像装置所需的费用。能够减少为了准确地保持多个摄像装置的设置位置的关系而进行校正的工夫。

根据第2实施方式，显示系统200显示虚像，以使得利用者在与物点OP相关的位置视觉辨认虚像。因此，显示系统200从利用者视觉辨认物点OP的状态成为视觉辨认虚像的状态，因此能够使该利用者难以感觉到变更眼的焦点距离的负荷。因此，能够减轻利用者的眼的疲劳。

上述的实施方式作为代表性的例子进行了说明，但对于本领域技术人员来说，在本发明的主旨以及范围内能够进行多种变更以及置换是显而易见的。因此，本发明不应理解为通过上述的实施方式来限制，能够在不脱离权利要求书的情况下进行各种变形以及变更。例如，能够将实施方式以及实施例所记载的多个构成块组合为一个，或者分割一个构成块。

在上述实施方式的第2例中，控制器22提取左眼的角膜的像CI

在上述实施方式的第2例中，控制器22也可以不计算极平面。在这样的结构中，控制器22可以从左眼以及右眼各个角膜的像整体分别提取物点的像OP

在上述实施方式中，控制器22在进行了步骤S13至S17之后进行步骤S18至S22，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S18至步骤S22之后，进行步骤S13至S17。控制器22也可以并行地进行步骤S13至S17和步骤S18至S22。

在上述实施方式中，控制器22在进行了步骤S23之后进行步骤S24，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S24之后进行步骤S23。控制器22也可以并行地进行步骤S23和步骤S24。

在上述实施方式中，控制器22在进行了步骤S33至S36之后进行步骤S37至S40，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S37至S40之后进行步骤S33至S36。控制器22也可以并行地进行步骤S33至S36和步骤SS37至S40。

在上述实施方式中，控制器22在进行了步骤S41以及S42之后进行步骤S43以及S44，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S43以及S44之后进行步骤S41以及S42。控制器22也可以并行地进行步骤S41以及S42和步骤S43以及S44。

在上述实施方式中，控制器22在进行了步骤S45之后进行步骤S46，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S46之后进行步骤S45。控制器22也可以并行地进行步骤S45和步骤S46。

-符号说明-

1 摄像装置

2 位置判定装置

3 HUD

11 摄像光学系统

12 摄像元件

13 第1通信模块

20 移动体

21 第2通信模块

22 控制器

31 反射器

32 光学构件

33 显示装置

100 位置判定系统

121 摄像面

200 显示系统

D 视差

OP 物点

OP

OP

OP

OP

P

P

s

s

S

S

vs

vs