成像装置、成像方法以及车辆用灯具、车辆

技术领域

本公开涉及成像装置。

背景技术

为了进行自动驾驶或前照灯的配光的自动控制，利用感测存在于车辆的周围的物体的位置及种类的物体识别系统。物体识别系统包括传感器、解析传感器的输出的运算处理装置。传感器是从照相机、LiDAR(Light Detection and Ranging：光检测与测距、LaserImaging Detection and Ranging：激光成像检测与测距)、毫米波雷达、超声波声呐等之中，考虑用途、要求精度和成本而选择的。

作为成像装置(传感器)之一，已知利用鬼成像(ghost imaging)的原理的设备(下面，称为量子雷达照相机)。鬼成像一边随机切换参照光的强度分布(图案)一边向物体照射，针对每个图案测定反射光的光检测强度。光检测强度是某个平面中的能量或强度的积分值，而不是强度分布。而且，通过取得对应的图案与光检测强度的相关性，重现(reconstruct)物体的复原图像。

现有技术文献

专利文献

专利文献1：日本特许第6412673号公报

非专利文献

非专利文献1：F.Ferri,D.Magatti,L.A.Lugiato,and A.Gatti,"Differentialghost imaging",Phys.Rev.Lett.104,253603(2010)

发明内容

发明要解决的技术问题

在鬼成像中，通过将参照光的强度分布几千～几万次(＝总照射次数)地切换，进行相关计算，得到最终的复原图像。在车载用途中，由于感测对象(被摄体)相对于照相机而相对移动，因此在几千～几万次的照射期间，被摄体会移动，会发生被摄体模糊。

为了防止被摄体模糊，需要减少总照射次数，但若这样则画质会变差。

本公开是鉴于相关状况而得到的，其一方案的例示性的目的之一在于，提供一种能够感测移动体的成像装置。

用于解决技术问题的方法

本公开的一方案的成像装置包括：照明装置，一边切换强度分布被图案化了的参照光一边进行照射；光检测器，测定来自物体的反射光；重现处理部，每当照射参照光规定次数时，通过基于光检测器的输出的检测强度与参照光的强度分布的相关计算，重现物体的中间图像；以及合成处理部，依次合成中间图像，更新复原图像。合成处理部对于合成过去的中间图像所得到的当前的复原图像，通过相位限定相关法(Phase Only Correlation)计算用于与当前的中间图像匹配的偏移量，根据偏移量偏移当前的复原图像并与当前的中间图像合成，作为新的复原图像。

发明效果

根据本公开，可以防止被摄体模糊，并且得到高画质。

附图说明

图1是示出实施方式的成像装置的图。

图2是示出集中复原处理的1帧的感测的时序图。

图3是说明运算处理装置中的分割偏移复原处理的流程图。

图4是示意性示出相位限定相关法的图。

图5的(a)是示出中间图像H(x，y)的图，图5的(b)是示出复原图像G(x，y)的图。

图6是物体识别系统的框图。

图7是具备物体识别系统的汽车的框图。

图8是示出具备物体检测系统的车辆用灯具的框图。

具体实施方式

(实施方式的概要)

说明本公开的几个例示性的实施方式的概要。该概要作为后续的详细说明的前言，以实施方式的基本性理解为目的，简要说明1个或多个实施方式的几个概念，并不在于限定发明或公开的范围。此外，该概要并不是应考虑的所有的实施方式的统括性的概要，并不在于限定实施方式的不可或缺的构成要素。为了方便起见，“一实施方式”有时用作指示本说明书公开的一个实施方式(实施例或变形例)或多个实施方式(实施例或变形例)。

一实施方式的成像装置包括：照明装置，一边切换强度分布被图案化了的参照光一边进行照射；光检测器，测定来自物体的反射光；重现处理部，每当照射参照光规定次数时，通过基于光检测器的输出的检测强度与参照光的强度分布的相关计算，重现物体的中间图像；以及合成处理部，依次合成中间图像，更新复原图像。合成处理部对合成过去的中间图像所得到的当前的复原图像，通过相位限定相关法计算用于与当前的中间图像匹配的偏移量，根据偏移量偏移当前的复原图像并与当前的中间图像进行合成，制成新的复原图像。

根据该结构，通过重复以较少的照射次数复原中间图像的处理，并使前面所得到的复原图像偏移而与新的中间图像进行合成，从而生成新的复原图像。由此，可以抑制被摄体模糊的影响，并且得到高画质。此外，通过利用相位限定相关法，可以高速地检测出移动体的偏移量，能够进行正确的合成处理。

在一实施方式中，合成处理部可以根据在相位限定相关法中所得到的相关值与规定值的比较结果，跳过合成处理。在相关值较小的情况下，存在不能进行正确的匹配，偏移量也不正确的可能性。在这样的情况下，通过不进行合成处理，相反地，仅在相关值高、偏移量的可靠性高的情况进行合成处理，从而可以得到高画质。

(实施方式)

下面，针对实施方式参照附图进行说明。对于各附图所示的相同或同等的构成要素、部件、处理，标注相同的附图标记，适当省略重复的说明。另外，实施方式并不用于限定发明而是例示，并非实施方式记述的所有特征或其组合都是发明的本质部分。

本说明书中的“强度分布为随机”，并不表示完全的随机，只要是在鬼成像中能够重现图像的程度地随机即可。因此本说明书中的“随机”，其中可以包含一定程度的规则性。此外“随机”并不要求完全不能够预测，也可以是能够预测、能够重现。

图1是示出实施方式的成像装置100的图。成像装置100是采用鬼成像的原理的相关函数图像传感器，具备照明装置110、光检测器120及运算处理装置130。也可以将成像装置100称为量子雷达照相机。

照明装置110是伪热光源，生成以具有实质上可以视为随机的空间强度分布I(x，y)的方式图案化的参照光S1，并照射到物体OBJ(视野)。参照光S1一边使其强度分布随机变化一边按顺序照射。

照明装置110包括光源112、图案化装置114及图案发生器132。光源112生成具有均匀的强度分布的光S0。光源112可以使用激光或发光二极管等。参照光S1的波长或频谱并不特别限定，可以是具有多个或者连续频谱的白色光，也可以包含规定的波长的单色光。参照光S1的波长也可以是红外光或紫外光。

图案化装置114具有呈矩阵状配置的多个像素，被构成为根据多个像素的导通、截止的组合，能够空间性地调制光的强度分布I。在本说明书中，将导通状态的像素称为导通像素，将截止状态的像素称为截止像素。此外，在以下的说明中为了容易理解，各像素仅采用导通与截止的二值(1，0)，但并不限定于此，也可以采用中间性的灰阶。

作为图案化装置114，可以使用反射型的DMD(Digital Micromirror Device：数字微镜装置)或透射型的液晶设备。向图案化装置114，供给图案发生器132产生的图案信号PTN(图像数据)。

图案发生器132产生指定参照光S1的强度分布I

光检测器120测定来自物体OBJ的反射光，输出检测信号D

在感测可视为静止物的物体的鬼成像中，规定为复原物体所需的总照射次数M，M(I

假定在某照射期间照射某强度分布I

作为光检测器120，在使用如照相机那样可设定曝光时间的设备的情况下，可以将光检测器120的输出D

从检测信号D

而且，根据式(1)的相关函数，重构复原图像G(x，y)。参照光的I

[式1]

图2是示出集中复原处理的1帧的感测的时序图。由式(1)可知，相关计算中，针对M次参照光的照射所得到的M个检测强度b

在集中复原处理中，在M次照射结束后，计算平均值＜b＞，开始相关计算。M典型地为几千～几万，非常大。图案化装置114的动作频率存在限制，因此较大的总照射次数M需要一定程度长的时间，若拍摄移动体，则会发生被摄体模糊。因此，本实施方式的成像装置100不进行集中复原处理，而是进行下文说明的分割偏移复原处理。

返回图1。运算处理装置130包括图案发生器132、重现处理部134、合成处理部138。运算处理装置130可以通过CPU(Central Processing Unit：中央处理器)或MPU(MicroProcessing Unit：微型处理器)、微机等的处理器(硬件)、处理器(硬件)执行的软件程序的组合来安装。运算处理装置130也可以是多个处理器的组合。或者，运算处理装置130也可以仅由硬件构成。

重现处理部134根据分割偏移复原处理，复原物体的中间图像H(x，y)。在分割偏移复原处理中，每当照射参照光S1规定次数(n＜＜M)时，通过进行基于光检测器120的输出的检测强度b

[式2]

合成处理部138依次合成中间图像H(x，y)，更新复原图像G(x，y)。

图3是说明运算处理装置130中的分割偏移复原处理的流程图。将当前的循环记为i。将当前的中间图像记为H

合成处理部138对当前的复原图像G

而且，根据偏移量(Δx，Δy)偏移当前的复原图像G

G

A、B是加权系数。

合成K个中间图像H

G

Δx

图4是示意性示出相位限定相关法的图。给出两张图像F、G时，分别进行傅立叶变换，得到图像F的振幅信息A

以上为成像装置100的构成。接着，参照仿真结果说明其动作。

在仿真中，对象为英文字母T，在每一个循环中，使水平方向移动5像素，垂直方向移动5像素。1循环(1张中间图像H

图5的(a)是示出中间图像H

如图5的(a)所示，各个中间图像H

此外，相位限定相关法中，除偏移量之外，可以得到两个图像的相关值。合成处理部138也可以根据在相位限定相关法中所得到的相关值与预定值的比较结果，跳过合成处理。在相关值较小的情况下，存在不能正确地匹配，偏移量也不正确的可能性。在这样的情况下，不进行合成处理，相反地，仅在相关值高、偏移量的可靠性高的情况下进行合成处理，从而可以得到高画质。

本领域技术人员应当理解，实施方式为例示，对于这些各构成要素或各处理工艺的组合，能有多种变形例，并且这样得到的变形例也处于本发明的范围内。下面，针对这样的变形例进行说明。

在实施方式中，通过光源112和图案化装置114的组合构成照明装置110，但并不限定于此。例如，照明装置110也可以由呈矩阵状配置的多个半导体光源(LED(发光二极管)或LD(激光二极管))的阵列构成，构成为能够控制各个半导体光源的导通、截止(或亮度)。

(用途)

接着，说明成像装置100的用途。图6是物体识别系统10的框图。该物体识别系统10被搭载于汽车或摩托车等的车辆，判定存在于车辆的周围的物体OBJ的种类(类别)。

物体识别系统10具备成像装置100、运算处理装置40。成像装置100如上所述，通过向物体OBJ照射参照光S1，并测定反射光S2，来生成物体OBJ的复原图像G。

运算处理装置40处理成像装置100的输出图像G，判定物体OBJ的位置及种类(类别)。

运算处理装置40的分类器42将图像G作为输入而接收，判定其中所包含的物体OBJ的位置及种类。分类器42根据通过机械学习所生成的模型而实现。分类器42的算法并不特别地限定，可以采用YOLO(You Only Look Once：你只需看一次)、SSD(Single ShotMultiBox Detector：单发多边框检测器)、R-CNN(Region-based Convolutional NeuralNetwork：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution-SSD：去卷积-SSD)、Mask R-CNN等，或者可以采用将来开发的算法。

以上为物体识别系统10的结构。使用成像装置100作为物体识别系统10的传感器，从而可以得到以下的优点。

通过使用成像装置100即量子雷达照相机，噪声耐性非常高。例如，在降雨时、降雪时、或者在雾中行驶时，通过肉眼难以识别物体OBJ，但通过使用成像装置100，能够不受雨、雪、雾的影响地得到物体OBJ的复原图像G。

图7是具备物体识别系统10的汽车的框图。汽车300具备前照灯302L、302R。成像装置100内置于前照灯302L、302R的至少一者中。前照灯302位于车身的最前端，在检测周围的物体的方面，作为成像装置100的设置位置是最有利的。

图8是示出具备物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200具备光源202、点灯电路204、光学系统206。并且，车辆用灯具200中设置有物体检测系统210。物体检测系统210对应于上述的物体识别系统10，包括成像装置100及运算处理装置40。

运算处理装置40检测到的与物体OBJ相关的信息可以利用在车辆用灯具200的配光控制中。具体而言，灯具侧ECU208根据运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点灯电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。

此外，运算处理装置40检测到的与物体OBJ相关的信息可以发送给车辆侧ECU304。车辆侧ECU可以根据该信息，进行自动驾驶。

根据实施方式，使用具体的语句说明了本发明，但实施方式仅示出本发明的原理、应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，允许多种变形例或配置的变更。

根据实施方式，使用具体的语句说明了本发明，但实施方式仅示出本发明的原理、应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，允许多种变形例或配置的变更。

工业上的可利用性

本发明可以利用在成像装置中。

附图标记说明

OBJ…物体、10…物体识别系统、40…运算处理装置、42…分类器、100…成像装置、110…照明装置、112…光源、114…图案化装置、120…光检测器、130…运算处理装置、132…图案发生器、134…重现处理部、138…合成处理部、200…车辆用灯具、202…光源、204…点灯电路、206…光学系统、300…汽车、302…前照灯、310…灯具系统、304…车辆侧ECU。