纵深取得装置、纵深取得方法以及程序

技术领域

本公开涉及取得到被摄体的距离作为纵深的纵深取得装置等。

背景技术

过去，提出测定到被摄体的距离的测距装置(例如参考专利文献1)。该测距装置具备光源和摄像部。光源对被摄体照射光。摄像部对被该被摄体反射的反射光摄像。然后，测距装置通过将以该摄像得到的图像的各像素值变换成到被摄体的距离，来测定到该被摄体的距离。即，测距装置取得由摄像部得到的图像的纵深。

现有技术文献

专利文献

专利文献1：JP特开2011-64498号公报

发明内容

发明要解决的课题

但在上述专利文献1的测距装置中，有不能正确取得纵深的课题。

为此，本公开提供能正确取得到被摄体的距离即纵深的纵深取得装置。

用于解决课题的手段

本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，基于所述红外光图像和所述可见光图像来检测所述被摄体当中对红外光反射率低的物体在所述红外光图像内映出的区域即低反射区域，基于所述可见光图像来补正所述纵深图像的所述低反射区域，输出补正后的所述纵深图像。

另外，这些总括或具体的方案可以用系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现，也可以用系统、方法、集成电路、计算机程序以及记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。

发明的效果

本公开的纵深取得装置能正确取得到被摄体的距离即纵深。本公开的一个方案中的进一步的优点以及效果会从说明书以及附图得以明确。相关的优点以及/或者效果通过几个实施方式、和记载于说明书以及附图的特征来分别提供，但为了得到1个或其以上的相同特征未必需要提供全部特征。

附图说明

图1是表示实施方式中的纵深取得装置的硬件结构的框图。

图2是表示实施方式中的固体摄像元件所具有的像素阵列的示意图。

图3是表示实施方式中的光源的发光元件的发光定时与固体摄像元件的第1像素的曝光定时的关系的定时图。

图4是表示实施方式中的纵深取得装置的功能结构的一例的框图。

图5是表示BW图像、IR图像以及纵深图像的一例的图。

图6是表示BW图像、IR图像以及纵深图像的其他示例的图。

图7是表示实施方式中的纵深取得装置的仿真结果的图。

图8是表示实施方式中的纵深取得装置的整体的处理动作的流程图。

图9是表示实施方式中的低反射区域检测部的处理动作的一例的流程图。

图10是表示实施方式中的低反射区域检测部的处理动作的其他示例的流程图。

图11是表示实施方式中的纵深补正部所进行的纵深图像的补正的一例的图。

图12是表示实施方式中的纵深补正部所进行的补正的处理动作的流程图。

图13是表示实施方式中的纵深补正部所进行的纵深图像的补正的其他示例的图。

图14是表示实施方式的变形例中的纵深取得装置的功能结构的一例的框图。

具体实施方式

(成为本公开的基础的见解)

本发明的发明者关于“背景技术”栏中记载的专利文献1的测距装置，发现产生以下的问题。

专利文献1的测距装置如上述那样从光源对被摄体照射光，对被照射光的被摄体摄像，由此取得图像，并测定该图像的纵深。在该纵深的测定中使用ToF(Time Of Flight，飞行时间)。在这样的测距装置中，为了提升测距精度而进行相互不同的摄像条件的摄像。即，测距装置按照给定的摄像条件进行摄像，对应于其摄像结果来设定与该给定的摄像条件不同的摄像条件。然后，测距装置按照该设定的摄像条件再次进行摄像。

但在上述专利文献1的测距装置中，即使变更摄像条件，也难以正确测定到对照射光的反射率低的被摄体的距离即纵深。

为了解决这样的问题，本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，基于所述红外光图像和所述可见光图像来检测所述被摄体当中对红外光反射率低的物体在所述红外光图像内映出的区域即低反射区域，基于所述可见光图像来补正所述纵深图像的所述低反射区域，输出补正后的所述纵深图像。另外，所谓纵深图像的低反射区域，是位于与红外光图像内的低反射区域相同位置、具有与该低反射区域相同形状以及大小的纵深图像内的区域。以下将这样的纵深图像的低反射区域也称作补正对象区域。

例如，若在被摄体中包含对红外光反射率低的物体(以下也称作低反射物体)，则基于在该低反射物体反射的红外光的强度算出的到该低反射物体的距离即纵深就会算出得比实际的纵深长。即，在纵深图像当中的与该低反射物体对应的区域，未示出正确的纵深。

但在上述一个方案所涉及的纵深取得装置中，在红外光图像内检测映出该低反射物体的区域即低反射区域，与该低反射区域对应的纵深图像内的区域被设为补正对象区域。即，由于在被摄体中包含低反射物体，因此将在纵深图像内中示出不合适的纵深的区域确定为补正对象区域。然后，通过对该补正对象区域的纵深进行补正，能正确取得到该低反射物体的距离即纵深。

在此，作为在实质相同的视点以及时刻摄像到的实质相同的场景的图像的一例，是用相同摄像元件的不同像素摄像的图像。这样的图像与用拜尔(Bayer)排列的滤色镜摄像到的彩色图像的红、绿以及蓝的各通道图像同样，各图像的视角、视点以及摄像时刻大致相等。即，在实质相同的视点以及时刻摄像到的实质相同的场景的图像在被摄像到的各图像中被摄体的图像上的位置不会相差2个像素以上。例如在场景中存在具有可见光和红外分量的点光源、可见光图像中仅高亮度地摄像1个像素的情况下，在红外光图像中，也会在与可见光图像中摄像的像素位置对应的像素的比2个像素更靠近地摄像点光源。另外，所谓实质相同的时刻的摄像，表示摄像时刻的差以1帧以下相等。

另外也可以，在所述低反射区域的检测中，将所述可见光图像中映出物体的区域检测为物体区域，判定与所述物体区域对应的所述红外光图像内的区域即判定对象区域的亮度是否是第1阈值以下，将具有判定为是所述第1阈值以下的亮度的所述判定对象区域检测为所述低反射区域。例如通过图案匹配或图像识别等处理来检测物体区域。另外，所谓与物体区域对应的红外光图像内的区域，是位于与可见光图像内的物体区域相同位置且具有与该物体区域相同形状以及大小的红外光图像内中的区域。

由此，从可见光图像检测映出物体的区域，作为物体区域。如此检测的物体区域中映出的物体不是远处的背景而位于附近，来自光源的红外光照射到该物体的可能性高。并且，若与该物体区域对应的红外光图像内的区域中的亮度低，则该物体是低反射物体的可能性高。因此，在上述一个方案所涉及的纵深取得装置中，由于将与该物体区域对应的红外光图像内的具有第1阈值以下的亮度的区域检测为低反射区域，因此能合适地检测该低反射区域。

另外也可以，在所述低反射区域的检测中，进一步地，判定从所述存储器取得的所述红外光的强度当中所述判定对象区域中的红外光的强度中所含的噪声强度是否是第2阈值以下，将判定为是所述第2阈值以下的噪声强度的所述判定对象区域检测为所述低反射区域。

例如在被摄体中，有不仅被来自光源的红外光照射、还被太阳光等外光中所含的红外光照射的情况。为此，该外光中所含的红外光的强度作为噪声强度来处置，可以基于除了该噪声强度以外的红外光的强度来形成红外光图像。但如明亮的白天那样，若噪声强度大，则为了去除该噪声强度，红外光图像的亮度变低。因此，若噪声强度大，就会有即使如上述那样与可见光图像的物体区域对应的红外光图像内的区域的亮度低，该区域也不是低反射区域的可能性。因此，在上述一个方案所涉及的纵深取得装置中，由于将判定为是第2阈值以下的小的噪声强度的区域检测为低反射区域，因此能更适当地检测该低反射区域。

另外也可以，从所述存储器取得的所述红外光的强度在从所述光源照射并在所述被摄体反射的红外光被所述摄像元件接收时，包含通过在相互不同的至少3次定时的所述摄像元件的曝光而测量的至少3个强度，在所述纵深图像的生成中，通过对所述摄像元件中所含的多个像素分别基于对该像素测量的所述至少3个强度算出纵深，来生成所述纵深图像。

由此，能使用ToF来高精度地生成纵深图像。

另外也可以，所述噪声强度是所述至少3个强度当中最小的强度。

由此，能适当地取得噪声强度。

另外，在所述纵深图像的所述低反射区域的补正中，基于与所述低反射区域对应的所述可见光图像内的区域的图像来确定在所述区域映出的物体的类别，通过基于所确定的所述物体的类别和在所述区域映出的所述物体的尺寸估计所述区域的纵深，来补正所述纵深图像的所述低反射区域的纵深。例如通过图案匹配或图像识别等处理来确定物体的类别。另外，所谓与低反射区域对应的可见光图像内的区域，是位于与红外光图像内的低反射区域相同的位置且具有与该低反射区域相同形状以及大小的可见光图像内中的区域。

由此，只要物体的类别以及尺寸与纵深的对应关系为已知，就能基于根据与该低反射区域对应的可见光图像内的区域的图像而确定的物体的类别和尺寸来估计合适的纵深。其结果，能将纵深图像的低反射区域即补正对象区域的纵深补正成正确的纵深。

另外也可以，不使用可见光图像，将补正对象区域的纵深补正成位于该补正对象区域的下方的区域的纵深。

例如在上述的低反射物体是车辆的情况下，该车辆的跟前是路面，该路面的纵深与该车辆的纵深近似。因此，在上述一个方案所涉及的纵深取得装置中，由于将补正对象区域的纵深补正成位于该补正对象区域的下方的区域的纵深，因此能将该补正对象区域的纵深补正成正确的纵深。

另外也可以，本公开的其他方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。

由此，若使学习模型预先学习，以使得针对纵深图像、红外光图像以及可见光图像的输入而输出正解的补正后的纵深图像，则不检测低反射区域，就能简单地取得合适的纵深图像。

另外，这些总括或具体的方案可以用系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现，也可以用系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。

以下参考附图来具体说明实施方式。

另外，以下说明的实施方式均表示总括或具体的示例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不是限定本公开的主旨。另外，关于以下的实施方式中的构成要素当中未记载于表示最上位概念的独立权利要求的构成要素，说明为任意的构成要素。

另外，各图是示意图，未必严密地被图示。另外，在各图中，对相同构成构件标注相同附图标记。

(实施方式)

[硬件结构]

图1是表示实施方式所涉及的纵深取得装置1的硬件结构的框图。本实施方式中的纵深取得装置1具有能通过对实质相同的场景且在实质相同的视点以及时刻的摄像取得基于红外光(或近红外线光)的图像和基于可见光的图像的硬件结构。另外，所谓实质相同，是指与能起到本公开中的效果的程度相同。

如图1所示那样，纵深取得装置1包含光源10、固体摄像元件20、处理电路30、扩散板50、镜头60和带通滤波器70而构成。

光源10照射照射光。更具体地，光源10在由处理电路30中生成的发光信号表示的定时发出对被摄体照射的照射光。

光源10例如包含电容器、驱动电路以及发光元件而构成，通过用蓄积于电容器的电能驱动发光元件而发光。发光元件作为一例而通过激光二极管、发光二极管等实现。另外，光源10可以是包含1种类的发光元件的结构，也可以是包含与目的相应的多种类的发光元件的结构。

以下，发光元件例如是发出近红外线光的激光二极管、或发出近红外线光的发光二极管等。但光源10所照射的照射光并不需要限定于近红外线光。光源10所照射的照射光例如也可以是近红外线光以外的频带的红外光(也称作红外线光)。以下在本实施方式中，将光源10所照射的照射光说明为红外光，但该红外光可以是近红外线光，也可以是近红外线光以外的频带的红外光。

固体摄像元件20对被摄体摄像并输出表示曝光量的摄像信号。更具体地，固体摄像元件20在由处理电路30中生成的曝光信号表示的定时进行曝光，输出表示曝光量的摄像信号。

固体摄像元件20具有将使用照射光由被摄体反射了的反射光来进行摄像的第1像素、和对被摄体摄像的第2像素配置为阵列状而成的像素阵列。固体摄像元件20例如可以根据需要具有防护玻璃、AD转换器等逻辑功能。

以下，与照射光同样，反射光为红外光来进行说明，但反射光只要是照射光由被摄体反射了的光，就不需要限定于红外光。

图2是表示固体摄像元件20所具有的像素阵列2的示意图。

如图2所示那样，像素阵列2配置成阵列状而构成，使得使用照射光由被摄体反射了的反射光来进行摄像的第1像素21(IR像素)和对被摄体摄像的第2像素22(BW像素)以列为单位交替地排列。

另外，在图2中，在像素阵列2中配置成第2像素22和第1像素21排列成在行方向上相邻，并在行方向上排列为条带状，但并不限定于此，也可以每隔多行(作为一例是每隔2行)而配置。即，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行可以每隔M行(M是自然数)交替配置。进而，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行也可隔开不同的行(交替重复第1行为N行、第2行为L行(N和L是不同的自然数))配置。

第1像素21例如用对作为反射光的红外光有灵敏度的红外光像素实现。第2像素22例如用对可见光有灵敏度的可见光像素实现。

红外光像素例如包含仅使红外光透射的光学滤波器(也称作IR滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件生成的电荷的蓄积部等而构成。因此，由从像素阵列2中所含的多个红外光像素(即第1像素21)输出的摄像信号表现表示红外光的亮度的图像。以下将该红外光的图像也称作IR图像或红外光图像。

另外，可见光像素例如包含仅使可见光透射的光学滤波器(也称作BW滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件变换的电荷的蓄积部等而构成。因此，可见光像素即第2像素22输出表示亮度以及色差的摄像信号。即，通过从像素阵列2中所含的多个第2像素22输出的摄像信号来表现表示可见光的亮度以及色差的彩色图像。另外，可见光像素的光学滤波器可以使可见光和红外光双方透射，也可以仅使可见光当中红(R)、绿(G)或蓝(B)等特定的波段的光透射。

另外，可见光像素可以仅检测可见光的亮度。在该情况下，可见光像素即第2像素22输出表示亮度的摄像信号。因此，由从像素阵列2中所含的多个第2像素22输出的摄像信号表现表示可见光的亮度的黑白的图像、换言之单色的图像。以下将该单色的图像也称作BW图像。另外，将上述的彩色图像以及BW图像也总称作可见光图像。

再次回到图1，继续纵深取得装置1的说明。

处理电路30使用由固体摄像元件20输出的摄像信号来运算被摄体所涉及的被摄体信息。

处理电路30例如包含微型计算机等运算处理装置。微型计算机包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序，来生成发光信号以及曝光信号。另外，处理电路30可以使用FPGA或ISP等，可以包含1个硬件，也可以包含多个硬件。

处理电路30例如通过使用来自固体摄像元件20的第1像素21的摄像信号进行的ToF测距方式来算出到被摄体的距离。

以下参考附图来说明处理电路30所进行的基于ToF测距方式的到被摄体的距离的算出。

图3是处理电路30使用ToF测距方式进行到被摄体的距离的算出时的光源10的发光元件的发光定时与固体摄像元件20的第1像素21的曝光定时的关系的定时图。

在图3中，Tp是光源10的发光元件发出照射光的发光期间，Td是从光源10的发光元件发出照射光起、到该照射光由被摄体反射的反射光返回固体摄像元件20为止的延迟时间。并且，第1曝光期间成为与光源10发出照射光的发光期间相同的定时，第2曝光期间成为从第1曝光期间的结束时间点到经过发光期间Tp为止的定时。

在图3中，q1表示第1曝光期间内中的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量，q2表示第2曝光期间内中的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量。

通过在图3所示的定时进行光源10的发光元件所进行的照射光的发光和固体摄像元件20的第1像素21所进行的曝光，将光速设为c，则到被摄体的距离d能用以下的(式1)示出。

d＝c×Tp/2×q2/(q1+q2)…(式1)

为此，处理电路30通过利用(式1)，能使用来自固体摄像元件20的第1像素21的摄像信号来算出到被摄体的距离。

另外，固体摄像元件20的多个第1像素21可以在第1曝光期间以及第2曝光期间的结束后仅在第3曝光期间Tp曝光。多个第1像素21能根据在该第3曝光期间Tp得到的曝光量来检测反射光以外的噪声。即，处理电路30通过在上述(式1)中分别从第1曝光期间的曝光量q1以及第2曝光期间的曝光量q2删除噪声，能更正确地算出到被摄体的距离d。

再次回到图1，继续纵深取得装置1的说明。

处理电路30例如可以使用来自固体摄像元件20的第2像素22的摄像信号来进行被摄体的探测、以及到被摄体的距离的算出。

即，处理电路30可以基于由固体摄像元件20的多个第2像素22摄像的可见光图像来进行被摄体的探测以及到被摄体的距离的算出。在此，被摄体的探测例如可以用被摄体的奇点的边缘检测以图案识别进行形状的判别，从而实现，也可以利用事前进行了学习的学习模型通过深度学习(Deep Learning)等处理实现。另外，到被摄体的距离的算出可以使用世界坐标变换进行。当然，也可以不仅利用可见光图像，还利用由第1像素21摄像的红外光的亮度、距离信息，通过多模态的学习处理来实现被摄体的探测。

处理电路30生成表示进行发光的定时的发光信号和表示进行曝光的定时的曝光信号。然后，处理电路30将生成的发光信号向光源10输出，将生成的曝光信号向固体摄像元件20输出。

处理电路30例如可以通过生成并输出发光信号，使得以给定的周期使光源10发光，生成并输出曝光信号，使得以给定的周期使固体摄像元件20曝光，从而使纵深取得装置1实现基于给定的帧频的连续摄像。另外，处理电路30例如包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序来生成发光信号以及曝光信号。

扩散板50调整照射光的强度分布和角度。另外，在强度分布的调整中，扩散板50使来自光源10的照射光的强度分布一样。另外，在图1所示的示例中，纵深取得装置1具备扩散板50，但也可以不具备该扩散板50。

镜头60是使从纵深取得装置1的外部进入的光在固体摄像元件20的像素阵列2的表面聚光的光学透镜。

带通滤波器70是使作为反射光的红外光、和可见光透射的光学滤波器。另外，在图1所示的示例中，纵深取得装置1具备带通滤波器70，但也可以不具备该带通滤波器70。

上述结构的纵深取得装置1被搭载于运输设备而利用。例如纵深取得装置1搭载于在路面行驶的车辆而利用。另外，搭载纵深取得装置1的运输设备不一定需要限定于车辆。纵深取得装置1例如也可以搭载于摩托车、船、飞机等这样的车辆以外的运输设备来利用。

[纵深取得装置的功能结构]

本实施方式中的纵深取得装置1用图1所示的硬件结构，通过对实质相同的场景且实质相同的视点以及时刻的摄像来取得IR图像和BW图像。在此，IR图像基于在固体摄像元件20中所含的多个第1像素21分别接收的红外光的强度而形成。因此，纵深取得装置1通过IR图像的摄像来取得多个第1像素21各自中的红外光的强度。纵深取得装置1基于这些第1像素21的红外光的强度来取得将在该IR图像映出的到被摄体的距离作为纵深表示的纵深图像。然后，纵深取得装置1基于IR图像和BW图像来检测IR图像内中的低反射区域，补正与该低反射区域对应的纵深图像内的区域的纵深。另外，在本公开中，所谓与第1图像内的第1区域对应的第2图像内的第2区域，是位于与第1图像内的第1区域相同的位置、具有与该第1区域相同形状以及大小的第2图像内的区域。该第1图像以及第2图像分别是任意的图像，第1区域以及第2区域也分别是任意的区域。

图4是表示纵深取得装置1的功能结构的一例的框图。

纵深取得装置1具备光源101、IR摄像机102、BW摄像机103、处理器110a和存储器200。另外，本实施方式中的纵深取得装置1具备光源101、IR摄像机102以及BW摄像机103，但也可以不具备这些构成要素而仅具备处理器110a以及存储器200。

光源101可以包含图1所示的光源10以及扩散板50，通过进行发光来对被摄体照射红外光。

IR摄像机102可以称作红外光摄像机，可以包含图1所示的固体摄像元件20的多个第1像素21、镜头60以及带通滤波器70。这样的IR摄像机102通过与光源101对被摄体照射红外光的定时相应地进行包含该被摄体的场景的基于红外光的摄像，来取得IR图像。另外，IR摄像机102通过IR图像的摄像来测量红外光的强度。即，IR摄像机102具有固体摄像元件20，通过进行该固体摄像元件20中所含的多个第1像素21分别接收从光源101照射并由被摄体反射的红外光的摄像，来对该红外光的强度进行测量。

BW摄像机103可以称作可见光摄像机，可以包含图1所示的固体摄像元件20的多个第2像素22、镜头60以及带通滤波器70。这样的BW摄像机103通过进行与IR图像实质相同的场景的基于可见光的摄像且在与该IR图像实质相同的视点以及相同时刻的摄像，来取得可见光图像(具体是BW图像)。即，BW摄像机103通过进行与基于在固体摄像元件20中所含的多个第1像素21分别接收到的红外光的强度而形成的IR图像实质相同的场景的基于可见光的摄像且与该IR图像实质相同的视点以及时刻的摄像，来生成BW图像。

存储器200是用于存储通过IR摄像机102所进行的摄像得到的IR图像和通过BW摄像机103所进行的摄像得到的BW图像的记录介质。另外，IR图像如上述那样，基于在固体摄像元件20中所含的多个第1像素21分别接收到的红外光的强度而形成。因此，该IR图像按每个像素示出红外光的强度。即，存储器200能说是存储红外光的强度。另外，这样的存储器200具体地可以是ROM(Read Only Memory，只读存储器)、RAM(Random access memory，随机存取存储器)或SSD(solid state drive，固态硬盘)等，可以是非易失性或易失性。另外，存储器200可以是硬盘。

处理器110a从存储器200取得IR图像以及BW图像，从IR图像算出纵深图像，基于IR图像以及BW图像来检测IR图像内中的低反射区域。然后，处理器110a补正与该低反射区域对应的纵深图像内的区域的纵深。另外，低反射区域是对红外光反射率低的物体在IR图像内映出的区域。该低反射区域是使用后述的第1阈值、或第1阈值以及第2阈值检测的区域，该物体的反射率通过上述的阈值定义。

这样的处理器110a具备发光控制部113、IR取得部114、BW取得部115、纵深算出部111a、低反射区域检测部112和纵深补正部111b。

发光控制部113控制光源101。即，发光控制部113通过将上述的发光信号输出到光源101来使该光源101发光。由此，从光源101对被摄体照射红外光，由该被摄体反射的光即反射光入射到IR摄像机102。

IR取得部114从IR摄像机102经由存储器20取得IR图像。在此，IR图像的各像素将在该像素的位置接收到的红外光的强度作为像素值(具体是亮度)来表示。因此，IR取得部114通过取得IR图像来取得红外光的强度。即，IR取得部114取得从光源101照射并由被摄体反射的红外光的强度，该红外光的强度通过固体摄像元件20中所含的多个第1像素21分别接收该红外光的摄像而被测量，并被保存于存储器200。

BW取得部115从BW摄像机103经由存储器200取得BW图像。即，BW取得部115取得BW图像，其中该BW图像通过与基于在固体摄像元件20中所含的多个第1像素21分别接收到的红外光的强度而形成的IR图像实质相同的场景的基于可见光的摄像且与该IR图像实质相同的视点以及时刻的摄像而生成，并被保持在存储器200。

纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素2接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。

低反射区域检测部112基于IR图像和BW图像来检测被摄体当中对红外光反射率低的物体在IR图像内映出的区域即低反射区域。

纵深补正部111b补正与该低反射区域对应的纵深图像内的区域即补正对象区域的纵深。

即使在被摄体中包含对红外光反射率低的物体(即低反射物体)，这样的本实施方式中的纵深取得装置1也能正确取得到该被摄体的距离即纵深。

例如若在被摄体中包含低反射物体，则基于在该低反射物体反射的红外光的强度算出的到该低反射物体的距离、即纵深会算出得比实际的纵深长。即，在纵深图像当中的与该低反射物体对应的区域，未示出正确的纵深。

但在本实施方式中的纵深取得装置1中，在IR图像内，检测映出该低反射物体的区域即低反射区域，与该低反射区域对应的纵深图像内的区域被设为补正对象区域。即，由于在被摄体中包含低反射物体，因此将在纵深图像内示出不合适的纵深的区域确定为补正对象区域。并且，通过将该补正对象区域的纵深补正，能正确取得到该低反射物体的距离即纵深。

[各图像的一例]

图5表示BW图像、IR图像以及纵深图像的一例。

在通过BW摄像机103的摄像生成、由BW取得部115取得的BW图像中，例如如图5的(a)所示那样映出在停车场停车的多个车辆。

另外，在通过IR摄像机102的摄像生成、由IR取得部114取得的IR图像中，也如图5的(b)所示那样映出与图5的(a)所示的BW图像实质相同的场景。另外，该图5的(b)所示的IR图像是通过与图5的(a)所示的BW图像的摄像实质相同的视点以及相同时刻的摄像而得到的图像。因此，在图5的(a)所示的BW图像和图5的(b)所示的IR图像中，在相互对应的区域映出相同物体。另外，所谓相互对应的区域，是各个图像内的位置、大小以及形状相同的区域。

纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素21接收到的红外光的强度算出纵深，来生成例如图5的(c)所示的纵深图像。纵深图像中的各像素的亮度是纵深越长则越高，反之，纵深越短则越低。该图5的(c)所示的纵深图像与图5的(b)所示的IR图像对应。即，图5的(b)所示的IR图像如上述那样，基于在固体摄像元件20中所含的多个第1像素21分别接收到的红外光的强度而形成，图5的(c)所示的纵深图像也基于在该多个第1像素21分别接收到的红外光的强度而生成。因此，在图5的(b)所示的IR图像和图5的(c)所示的纵深图像中，也在相互对应的区域映出相同物体。

在此，如图5的(b)所示那样，在IR图像中存在低反射区域(即图5的(b)中的虚线圆内的区域)。该低反射区域是映出对红外光反射率低的物体的区域。即，在图5的(a)所示的BW图像中，在与该低反射区域对应的区域映出位于附近的车辆。但在图5的(b)所示的IR图像的低反射区域中，亮度低。其结果，如图5的(c)所示那样，在与该低反射区域对应的纵深图像内的区域(即图5的(c)中的虚线圆内的区域)中，即使到物体的距离即纵深实际短，该纵深也被表现得长(即亮度高)。

为此，本实施方式中的纵深取得装置1的低反射区域检测部112基于图5的(a)所示的BW图像和图5的(b)所示的IR图像来检测该低反射区域。然后，纵深补正部111b将与低反射区域对应的纵深图像内的区域确定为补正对象区域，对该补正对象区域的纵深进行补正。具体地，纵深补正部111b基于BW图像来补正纵深图像的低反射区域，输出该补正后的纵深图像。另外，纵深图像的低反射区域是与上述的IR图像的低反射区域对应的纵深图像内的区域，也称作补正对象区域。例如，纵深补正部111b通过将补正后的纵深图像输出到显示器来使该纵深图像显示于该显示器。或者，纵深补正部111b也可以通过对搭载于车辆的ECU(Electronic Control Unit，电子控制单元)等控制组件输出补正后的纵深图像，来使该控制组件执行基于该补正后的纵深图像的车辆的驾驶控制。

图6表示BW图像、IR图像以及纵深图像的其他示例。

在通过BW摄像机103的摄像生成、由BW取得部115取得的BW图像中，例如如图6的(a)所示那样，映出在停车场停车的多个车辆。

另外，在通过IR摄像机102的摄像生成、由IR取得部114取得的IR图像中，也如图6的(b)所示那样，映出与图6的(a)所示的BW图像实质相同的场景。另外，该图6的(b)所示的IR图像是通过与图6的(a)所示的BW图像的摄像实质相同的视点以及相同时刻的摄像而得到的图像。因此，在图6的(a)所示的BW图像和图6的(b)所示的IR图像中，在相互对应的区域映出相同被摄体。

纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素21接收到的红外光的强度算出纵深，来生成例如图6的(c)所示的纵深图像。该图6的(c)所示的纵深图像与图6的(b)所示的IR图像对应。

在此，如图6的(b)所示那样，在IR图像中存在低反射区域(即图6的(b)中的虚线圆内的区域)。该低反射区域是映出对红外光反射率低的物体的区域。即，在图6的(a)所示的BW图像中，在与该低反射区域对应区域映出位于附近的车辆。但在图6的(b)所示的IR图像的低反射区域中，亮度低。其结果，如图6的(c)所示那样，在与该低反射区域对应的纵深图像内的区域(即图5的(c)中的虚线圆内的区域)中，即使到物体的距离即纵深实际短，该纵深也表现得长(即亮度高)。

为此，本实施方式中的纵深取得装置1的低反射区域检测部112基于图6的(a)所示的BW图像和图6的(b)所示的IR图像来检测该低反射区域。然后，纵深补正部111b将与低反射区域对应的纵深图像内的区域确定为补正对象区域，对该补正对象区域的纵深进行补正。

图7示出纵深取得装置1的仿真结果。

纵深取得装置1通过BW摄像机103的摄像而取得图7的(a)所示的BW图像，进而通过IR摄像机102的摄像而取得图7的(b)所示的IR图像。该BW图像以及IR图像是通过在相同视点以及相同时刻对相同场景摄像而得到的图像。在图7的(b)所示的示例中，在IR图像内的左侧存在大的低反射区域(即图7的(b)中的虚线圆内的区域)。

纵深算出部111a基于形成该IR图像的红外光的强度来生成图7的(c)所示的纵深图像。在图7的(a)所示的BW图像中的与低反射区域对应的区域，即使映出附近的物体，在图7的(c)所示的纵深图像中，低反射区域的纵深仍然被不适当地表现得长。即，在BW图像中，就算物体映出得近，在纵深图像中，该物体仍然表现得位于远处。

纵深补正部111b将与低反射区域对应的图7的(c)所示的纵深图像内的区域作为补正对象区域来处置，通过补正该补正对象区域的纵深来生成图7的(d)所示的补正后的纵深图像。例如，纵深补正部111b使用与低反射区域对应的图7的(a)所示的BW图像内的区域的图像来补正补正对象区域的纵深。另外，纵深补正部111b也可以进行对纵深图像的整体的亮度加进偏置等调整。

其结果，在本实施方式中的纵深取得装置1中，能使补正后的纵深图像接近于图7的(e)所示的正解的纵深图像。

[处理流程]

图8是表示本实施方式中的纵深取得装置1的整体的处理动作的流程图。

(步骤S110)

首先，BW摄像机103通过进行基于可见光的摄像来生成BW图像。然后，BW取得部115经由存储器200取得该BW图像。

(步骤S120)

接下来，IR摄像机102通过基于红外光的摄像来测量该红外光的强度。然后，IR取得部114经由存储器200来取得该红外光的强度。在此，取得的红外光的强度是在固体摄像元件20的多个第1像素21分别接收到的红外光的强度。因此，IR取得部114通过取得这些红外光的强度，来取得基于这些红外光的强度而形成的IR图像。

具体地，从存储器200取得的红外光的强度在从光源101照射并在被摄体反射的红外光被固体摄像元件20接收时，包含通过在相互不同的至少3次的定时的固体摄像元件20的曝光而测量的至少3个强度。例如红外光的强度包含如图3所示那样通过第1曝光期间、第2曝光期间以及第3曝光期间测量的3个强度。例如，1帧的IR图像中所含的各像素值作为通过在该至少3次定时的曝光而测量的红外光的强度的累积值来表示。

(步骤S130)

接下来，低反射区域检测部112基于步骤S110中取得的BW图像和步骤S120中取得的IR图像来检测IR图像内的低反射区域。

(步骤S140)

接下来，纵深算出部111a基于步骤S120中取得的红外光的强度来算出纵深。即，纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素21接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。具体地，纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素21测量的上述的至少3个强度算出纵深，来生成纵深图像。例如纵深算出部111a按照ToF测距方式，使用上述的(式1)来算出纵深。

(步骤S150)

接下来，纵深补正部111b补正与低反射区域对应的纵深图像内的区域、即补正对象区域的纵深。

图9是表示低反射区域检测部112的处理动作的一例的流程图。另外，图9详细示出图8的步骤S130的处理。

(步骤S131)

首先，低反射区域检测部112在BW图像中将映出物体的区域检测为物体区域。若在BW图像中映出多个物体，则低反射区域检测部112对多个物体分别将映出该物体的区域检测为物体区域。例如，低反射区域检测部112通过图案匹配或图像识别等处理来检测物体区域。另外，低反射区域检测部112可以将预先确定的大小以上的区域检测为物体区域。

(步骤S132)

接下来，低反射区域检测部112判定与该物体区域对应的IR图像内的区域即判定对象区域的亮度是否是第1阈值以下。该判定对象区域的亮度例如可以是该判定对象区域中所含的各像素的亮度的平均值。

(步骤S133)

低反射区域检测部112若判定为该判定对象区域的亮度为第1阈值以下(步骤S132“是”)，就将该判定对象区域决定为低反射区域。

(步骤S134)

另一方面，低反射区域检测部112若判定为该判定对象区域的亮度比第1阈值大(步骤S132“否”)，就将该判定对象区域决定为非低反射区域。

如此地，本实施方式中的低反射区域检测部112将在BW图像中将映出物体的区域检测为物体区域。然后，低反射区域检测部112判定与该物体区域对应的IR图像内的区域即判定对象区域的亮度是否是第1阈值以下，将具有判定为是第1阈值以下的亮度的判定对象区域检测为低反射区域。

由此，在本实施方式中，从BW图像将映出物体的区域检测为物体区域。在如此地检测的物体区域中映出的物体不是远处的背景而位于附近，来自光源101的红外光照射到该物体的可能性高。并且，若与该物体区域对应的IR图像内的区域中的亮度低，则该物体是低反射物体的可能性高。因此，在本实施方式中，由于将与该物体区域对应的红外光图像内的区域且具有第1阈值以下的亮度的区域检测为低反射区域，因此能适当地检测该低反射区域。

图10是表示低反射区域检测部112的处理动作的其他示例的流程图。另外，图10详细示出图8的步骤S130的处理。

图10所示的流程图包含图9所示的流程图的各步骤，进一步包含步骤S135。

(步骤S135)

低反射区域检测部112若判定为判定对象区域的亮度是第1阈值以下(步骤S132“是”)，就进一步判定该判定对象区域中的红外光的背景噪声的强度是否是第2阈值以下。以下将背景噪声的强度也称作噪声强度。

具体地，由IR取得部114取得的红外光的强度如上述那样，包含通过在相互不同的至少3次定时的固体摄像元件20的曝光而测量的至少3个强度。即，红外光的强度包含如图3所示那样通过第1曝光期间、第2曝光期间以及第3曝光期间测量的3个强度。例如噪声强度是这些至少3个强度当中最小的强度。低反射区域检测部112例如在图3所示的示例的情况下，将通过第3曝光期间中的曝光而测量的红外光的强度作为噪声强度来处置。即，低反射区域检测部112判定通过该第3曝光期间中的曝光而测量的红外光的强度是否是第2阈值以下。

低反射区域检测部112若判定为该噪声强度是第2阈值以下(步骤S135“是”)，就将该噪声强度的判定对象区域决定为低反射区域(步骤S133)。另一方面，低反射区域检测部112若判定为该噪声强度比第2阈值大(步骤S135“否”)，就将该噪声强度的判定对象区域决定为非低反射区域(步骤S134)。

如此地，本实施方式中的低反射区域检测部112进一步判定由IR取得部114取得的红外光的强度当中判定对象区域中的红外光的强度中所含的噪声强度是否是第2阈值以下。然后，低反射区域检测部112将判定为是第2阈值以下的噪声强度的判定对象区域检测为低反射区域。

例如，有对被摄体不仅照射来自光源101的红外光、还照射太阳光等外光中所含的红外光的情况。为此，将该外光中所含的红外光的强度作为噪声强度来处理，基于除去该噪声强度的红外光的强度来形成红外光图像。但如明亮的白天那样，若噪声强度大，则为了去除该噪声强度，红外光图像的亮度变低。因此，若噪声强度大，则如上述那样，有即使与BW图像的物体区域对应的红外光图像内的区域的亮度低、该区域也不是低反射区域的可能性。因此，在本实施方式中，由于将判定为是第2阈值以下的小的噪声强度的区域检测为低反射区域，因此能更适当地检测该低反射区域。

图11表示纵深补正部111b所进行的纵深图像的补正的一例。

纵深补正部111b通过补正图11的(c)所示的纵深图像内的补正对象区域的纵深来生成图11的(e)所示的补正后的纵深图像。

具体地，图11的(c)所示的纵深图像基于形成图11的(b)所示的IR图像的红外光的强度而算出。低反射区域检测部112从该IR图像检测低反射区域。纵深补正部111b基于与该低反射区域对应的BW图像内的区域的图像来确定在该区域中映出的物体的类别。例如，纵深补正部111b通过图案匹配或图像识别等处理来确定在该区域中映出的物体的类别。另外，在该物体的类别的确定中可以使用神经网络等学习模型。在图11所示的示例中，纵深补正部111b确定普通车的正面，作为该物体的类别。进而，纵深补正部111b确定在该区域中映出的物体的尺寸。该物体的尺寸可以是物体的像的水平方向的宽度或垂直方向的宽度(即高度)、或物体的像的面积，也可以是包围该物体的像的矩形框的对角线的长度。

然后，纵深补正部111b如图11的(d)所示那样，按物体的每个类别来参考表示该类别的尺寸与距离的对应关系的数据库。例如该数据库表示物体的类别是普通车的正面的情况下的该物体的尺寸与距离的对应关系。具体地，数据库对于尺寸“s1”而建立对应地示出距离“d1”，对于尺寸“s2”而建立对应地示出距离“d2”。纵深补正部111b参考这样的数据库，将与所确定的物体的类别和尺寸建立对应的距离估计为到该物体的距离、即纵深。例如，若所确定的尺寸为“s2”，则纵深补正部111b就将与该尺寸“s2”建立对应的距离“d2”估计为补正对象区域的纵深。然后，纵深补正部111b通过将图11的(c)所示的纵深图像中的补正对象区域的纵深置换成该估计的纵深，来补正该补正对象区域的纵深。由此，将图11的(c)所示的纵深图像变换成图11的(e)所示的补正后的纵深图像。

另外，图11的(d)所示的数据库可以保持在纵深取得装置1中，也可以保持在纵深取得装置1的外部的服务器等中。在数据库保持在服务器中的情况下，纵深补正部111b例如经由通信网络访问该服务器，参考该数据库。

另外，图11的(d)所示的数据库表示物体的类别以及尺寸与距离的对应关系，但在物体的类别中也可以包含影像、即从BW摄像机103来看的物体的朝向(例如正面、侧面或背面等)。另外，在BW摄像机103的镜头是鱼眼镜头等宽视野角的光学系统的镜头的情况下，在数据库中，可以不仅物体的类别以及尺寸，还将BW图像中映出该物体的区域的位置也与上述的距离建立对应。在该情况下，纵深补正部111b从BW图像进一步确定映出该物体的区域的位置，在数据库中，将与所确定的物体的类别、尺寸以及位置建立对应的距离估计为补正对象区域的纵深。另外，物体的类别不仅可以是车辆，还可以是车辆中所含的牌照等。

图12是表示纵深补正部111b的补正的处理动作的流程图。另外，图12详细表示图8的步骤S150的处理。

(步骤S151)

纵深补正部111b基于与低反射区域对应的BW图像内的区域的图像来确定在该区域中映出的物体的类别。

(步骤S152)

接下来，纵深补正部111b确定在该区域中映出的物体的尺寸。

(步骤S153)

接下来，纵深补正部111b取得与步骤S151中确定的类别和步骤S152中确定的尺寸建立对应的距离。

(步骤S154)

然后，纵深补正部111b将纵深图像中的补正对象区域的纵深置换成步骤S154中取得的距离。由此补正对象区域的纵深被补正。

如此地，本实施方式中的纵深补正部111b基于与低反射区域对应的BW图像内的区域的图像来确定在该区域中映出的物体的类别。然后，纵深补正部111b通过基于该确定的物体的类别和在该区域中映出的物体的尺寸估计该区域的纵深，来对补正对象区域的纵深进行补正。

由此，若使用上述那样的数据库，能基于根据与低反射区域对应的BW图像内的区域的图像确定的物体的类别和尺寸来估计适当的纵深。其结果，能将补正对象区域的纵深补正成正确的纵深。另外，在上述的示例中使用了数据库，但只要是能示出物体的类别以及尺寸与纵深的对应关系的手段，就可以使用任何手段。例如也可以取代该数据库而使用函数，还可以使用神经网络等学习模型。

图13表示纵深补正部111b的纵深图像的补正的其他示例。

纵深补正部111b在补正纵深图像中的补正对象区域的纵深时，可以使用位于该补正对象区域的下方的区域的纵深。例如纵深补正部111b补正图13的(a)所示的纵深图像的补正对象区域的纵深。这时，纵深补正部111b使用位于该补正对象区域的下方的跟前区域的纵深。即，纵深补正部111b将补正对象区域的纵深置换成跟前区域的纵深。换言之，纵深补正部111b将补正对象区域的纵深补正成位于该补正对象区域的下方的区域的纵深。

在如图13所示的示例那样低反射物体是车辆的情况下，该车辆的跟前是路面，该路面的纵深与该车辆的纵深近似。因此，在本实施方式中，由于将补正对象区域的纵深补正成位于该补正对象区域的下方的区域的纵深，因此能将该补正对象区域的纵深补正成正确的纵深。

(变形例)

在上述实施方式中，为了补正纵深而检测了低反射区域，但也可以不检测该低反射区域，使用学习模型来补正纵深。

图14是表示本变形例中的纵深取得装置1的功能结构的一例的框图。另外，对与图14所示的构成要素当中与图4所示的构成要素相同的构成要素标注与图4所示的构成要素相同的附图标记，省略详细的说明。

本变形例中的纵深取得装置1取代图4所示的处理器110a而具备处理器110b，进而具备学习模型104。

学习模型104例如是神经网络，由深度学习构成。例如在输入到该学习模型104的输入数据中使用BW图像、IR图像以及纵深图像。在该学习模型104中，已经进行了学习，使得针对这些输入数据的组合而输出正解的补正后的纵深图像。

处理器110b不具备图4所示的低反射区域检测部112，取代图4所示的纵深补正部111b而具备纵深补正部111c。

纵深补正部111c对上述的学习模型104输入上述的输入数据。其结果，纵深补正部111c从学习模型104取得补正后的纵深图像，作为针对该输入数据的输出数据。进而，纵深补正部111c输出该补正后的纵深图像。例如，纵深补正部111c通过将补正后的纵深图像输出到显示器，来使该纵深图像显示在该显示器。或者，纵深补正部111c可以通过对搭载于车辆的ECU等控制组件输出补正后的纵深图像，来使该控制组件执行基于该补正后的纵深图像的车辆的驾驶控制。

即，图14所示的纵深取得装置1具备存储器200和处理器110b。处理器110b取得从光源101照射并由被摄体反射的红外光的强度，该红外光的强度通过固体摄像元件20中所含的多个第1像素21分别接收该红外光的摄像而被测量，并被保存在存储器200。另外，处理器110b通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素21接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。进而，处理器110b取得BW图像，其中该BW图像通过与基于在固体摄像元件20中所含的多个第1像素21分别接收到的红外光的强度而形成的IR图像实质相同的场景的基于可见光的摄像且与IR图像实质相同的视点以及时刻的摄像而生成，并被保持在存储器200。然后，处理器110b通过将纵深图像、IR图像以及BW图像输入到学习模型104，来补正纵深图像的纵深，将补正后的纵深图像输出。

由此，若使学习模型104预先学习，使得针对纵深图像、IR图像以及BW图像的输入而输出正解的补正后的纵深图像，则不检测低反射区域，就能适当地补正纵深图像的纵深。

以上，在本实施方式以及其变形例中的纵深取得装置1中，即使在被摄体中包含低反射物体，也能正确取得到该被摄体的距离即纵深。

另外，在上述各实施方式中，各构成要素可以用专用的硬件构成，或通过执行适合各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部将记录于硬盘或半导体存储器等记录介质的软件程序读出并执行来实现。在此，实现上述实施方式以及变形例的纵深取得装置等的软件使计算机执行图8～图10以及图12的任一个流程图中所含的各步骤。

以上对一个或多个方案所涉及的纵深取得装置基于实施方式及其变形例进行了说明，但本公开并不限定于该实施方式及其变形例。只要不脱离本公开的主旨，对本实施方式以及变形例实施本领域技术人员想到的各种变形而得到的方案、将实施方式以及变形例中的构成要素组合而构建的形态可以也包含在本公开的范围内。

例如纵深算出部111a基于在相互不同的3个曝光定时测量的3个红外光的强度来算出纵深。但该曝光定时以及红外光的强度的数量并不限定于3个，也可以是4个以上。

另外，在上述实施方式的变形例中，纵深取得装置1具备学习模型104，但也可以不具备该学习模型10。在该情况下，纵深取得装置1例如经由通信网络对学习模型104输入上述的输入数据，经由该通信网络取得来自该学习模型104的输出数据即补正后的纵深图像。

另外，在本公开中，组件、器件的全部或一部分、或图1、图4、以及图14所示的框图的功能块的全部或一部分可以由半导体装置、包含半导体集成电路(IC)或LSI(largescale integration，大规模集成电路)的一个或一个以上的电子电路执行。LSI或IC可以集成在一个芯片上，也可以组合多个芯片而构成。例如可以将存储元件以外的功能块集成在一个芯片。在此称作LSI、IC，但根据集成的程度而叫法改变，有可能称作系统LSI、VLSI(very large scale integration，很大规模集成电路)或ULSI(ultra large scaleintegration，超大规模集成电路)。出于相同目的还能使用在LSI的制造后编程的现场可编程门阵列(FPGA，Field Programmable Gate Array)、或能进行LSI内部的接合关系的重构或LSI内部的电路区划的设置的可重构逻辑器件(reconfigurable logic device)。

进而，组件、装置或装置的一部分的、全部或一部分功能或操作能通过软件处理执行。在该情况下，软件记录于一个或一个以上的ROM、光学盘、硬盘驱动器等非暂时的记录介质，在软件被处理装置(processor)执行的情况下，软件使处理装置(processor)和周边的器件执行软件内的特定的功能。系统或装置可以具备记录软件的一个或一个以上的非暂时的记录介质、处理装置(processor)以及需要的硬件器件例如接口。

产业上的可利用性

本公开能运用到取得到被摄体的距离即纵深的纵深取得装置，例如能作为车载设备等而利用。

附图标记的说明

1 纵深取得装置

10、101 光源

20 固体摄像元件

21 第1像素(IR)

22 第2像素(BW)

30 处理电路

50 扩散板

60 镜头

70 带通滤波器

102 IR摄像机

103 BW摄像机

104 学习模型

110a、110b 处理器

111a 纵深算出部

111b、111c 纵深补正部

112 低反射区域检测部

113 发光控制部

114 IR取得部

115 BW取得部

200 存储器。