物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法

技术领域

本发明涉及物体识别系统。

背景技术

为了进行自动驾驶或前照灯的配光的自动控制，利用对存在于车辆的周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本，从照相机、LiDAR(Light Detection andRanging：光检测和测距、Laser Imaging Detection and Ranging：激光成像检测和测距)、毫米波雷达、超声波声纳等中选择传感器。

通过一般的单眼照相机，无法得到深度的信息。因此，在位于不同距离的多个物体重叠的情况下，难以将它们分离。

作为能够得到深度信息的照相机，已知有TOF照相机。TOF(Time Of Flight：飞行时间)照相机通过发光设备投射红外光，测定反射光返回图像传感器为止的飞行时间，得到将飞行时间转换为距离信息的图像。

[在先技术文献]

[专利文献]

专利文献1：日本特开2009-257983号公报

专利文献2：国际公开WO2017/110413A1

发明内容

[发明要解决的课题]

(项目1)运算处理装置包括分类器。分类器预先通过使用学习数据(也称为训练数据)的机器学习而被最优化。分类器的识别率受学习数据的选择方法的影响较大。

本发明的第1方面在以上状况下完成，其一种方案的例示性的目的之一在于物体识别系统的识别率的改善或者学习成本的降低。

(项目2、3)本申请人提出一种替代TOF照相机的传感器(以下，在本说明书中称为选通照相机(gating camera))(专利文献1、2)。选通照相机将拍摄范围划分为多个范围，针对每个范围改变曝光定时及曝光时间进行多次拍摄。由此，针对对象的每个范围得到图像，各图像仅包含对应的范围中包含的物体。

本发明的第2方面在以上状况下完成，其一种方案的例示性的目的之一在于提供一种使用选通照相机的物体识别系统。另外，本发明的第3方面在于使用选通照相机的物体识别系统的识别率的改善或者学习成本的降低。

(项目4、5)在使用选通照相机的物体识别系统中，由于需要对与多个范围对应的多个图像进行处理，因此图像处理的负荷加大。因此，在使用低速的运算处理装置的情况下，帧率降低，如果要提高帧率，则需要高速的、换言之昂贵的运算处理装置。

本发明的第4方面及第5方面在以上状况下完成，其一种方案的例示性的目的之一在于使用选通照相机的物体识别系统的运算处理量的削减及/或识别率的改善。

[用于解决技术课题的技术方案]

1.本发明的第1方面的一种方案涉及物体识别系统。物体识别系统包括：照相机；以及运算处理装置，其包括以能够基于照相机的输出图像来识别物体的方式进行机器学习的分类器。分类器将由选通照相机得到的多个图像作为学习数据进行机器学习，该选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。

2.本发明的第2方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；以及运算处理装置，其能够基于由选通照相机得到的与多个范围对应的多个图像来识别物体的种类。运算处理装置包括算法不同的多个分类器，选择与范围相应的分类器来进行物体识别。

3.本发明的第3方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；缩放器，其将由选通照相机得到的与多个范围对应的多个图像按照针对每个范围规定的系数进行缩放；以及分类器，其能够基于缩放后的多个图像分别识别物体的种类。

4.本发明的第4方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，在物体可能存在的位置限定于多个图像各自固有的兴趣区域内的限制条件下，能够识别多个图像各自包含的物体的种类。

本发明的第4方面的其他方案涉及运算处理装置。运算处理装置与选通照相机一起使用，构成物体识别系统。选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像。运算处理装置构成为，在物体可能存在的位置被限定于多个图像各自固有的兴趣区域内的限制条件下，能够识别多个图像各自包含的物体的种类。

5.本发明的第5方面的一种方案涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，能够基于允许范围来识别各图像中拍摄到的物体像的种类。

本发明的第5方面的其他方案涉及运算处理装置。该运算处理装置与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，该运算处理装置包括：分类器，其针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，针对各图像，对其所拍摄到的物体像的种类和尺寸进行检测，生成与多个图像对应的多个检测数据；以及后处理部，其接收多个检测数据，判定各检测数据中包含的物体像的尺寸是否包含于允许范围。

本发明的第5方面的另一方案也是运算处理装置。该运算处理装置与将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像的选通照相机一起使用，构成物体识别系统，该运算处理装置包括：前处理部，其将多个图像分别划分为其拍摄到的每个物体像的子图像；以及分类器，其针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，在由前处理部划分的子图像的尺寸包含于允许范围的情况下，判定该子图像中包含的物体像的种类。

[发明效果]

根据本发明的一个方面，能够改善识别率或者降低学习成本。

附图说明

图1是实施方式1的物体识别系统的框图。

图2是说明选通照相机的动作的图。

图3的(a)、图3的(b)是说明使用选通照相机的学习数据的取得的图。

图4的(a)是表示由单眼照相机拍摄的图像IMGx的图。

图5是包括物体识别系统的汽车的框图。

图6是表示包括物体检测系统的车辆用灯具的框图。

图7是变形例1的物体识别系统的框图。

图8是实施方式2的物体识别系统的框图。

图9是说明选通照相机的动作的图。

图10的(a)是说明图8的物体识别系统的动作的时序图，图10的(b)是说明比较技术的物体识别系统的动作的时序图。

图11是包括物体识别系统的汽车的框图。

图12是表示包括物体检测系统的车辆用灯具的框图。

图13是实施方式3的物体识别系统的框图。

图14是说明选通照相机的动作的图。

图15的(a)、图15的(b)是说明由选通照相机得到的图像的图。

图16的(a)、图16的(b)是说明由选通照相机得到的图像的图。

图17的(a)～图17的(c)是说明由缩放器进行的缩放处理的一个示例的图。

图18是包括物体识别系统的汽车的框图。

图19是表示包括物体检测系统的车辆用灯具的框图。

图20的(a)、图20的(b)是说明由选通照相机得到的图像的图。

图21是实施方式4-1的物体识别系统的框图。

图22是说明选通照相机的动作的图。

图23的(a)、图23的(b)是说明由选通照相机得到的图像的图。

图24的(a)、图24的(b)是说明ROI的图。

图25的(a)、图25的(b)是说明图21的物体识别系统的动作的图。

图26是实施方式4-2的物体识别系统的框图。

图27的(a)、图27的(b)是说明图26的物体识别系统的动作的图。

图28的(a)、图28的(b)是说明ROI的变形例的图。

图29的(a)、图29的(b)是说明ROI的变形例的图。

图30的(a)、图30的(b)是说明变形例3的物体识别系统的动作的图。

图31是包括物体识别系统的汽车的框图。

图32是表示包括物体检测系统的车辆用灯具的框图。

图33是实施方式5-1的物体识别系统的框图。

图34是说明选通照相机的动作的图。

图35的(a)、图35的(b)是说明由选通照相机得到的图像的图。

图36的(a)、图36的(b)是说明针对每个范围拍摄到的图像的图。

图37是说明尺寸的允许范围的图。

图38的(a)、图38的(b)是说明图33的物体识别系统的动作的图。

图39是实施方式5-2的物体识别系统的框图。

图40的(a)、图40的(b)是说明图39的物体识别系统的动作的图。

图41是包括物体识别系统的汽车的框图。

图42是表示包括物体检测系统的车辆用灯具的框图。

具体实施方式

I本发明的第1方面

I-1.概要

与本发明的第1方面相关联的一个实施方式涉及物体识别系统。物体识别系统包括：照相机；以及运算处理装置，其包括以能够基于照相机的输出图像来识别物体的方式进行机器学习的分类器。分类器将由选通照相机得到的多个图像作为学习数据进行机器学习，该选通照相机将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄。

通过使用选通照相机，能够得到将在进深方向上重叠的多个物体分离的多个图像，将它们分别作为学习数据使用，由此能够提高针对各个物体的识别率。另外，由于得到所谓增量(かさ増し)的效果，能够降低学习成本。

照相机也可以是单眼照相机。照相机也可以是选通照相机。

I-2.详细说明

以下，基于优选的实施方式并参照附图对本发明的第1方面进行说明。在本说明书中，对各附图所示的相同或同等的构成要素、构件、处理标注相同的附图标记，适当省略重复的说明。另外，实施方式不限定发明而是例示，并非实施方式所述的所有特征及其组合都是发明的本质性内容。

图1是实施方式1的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。

物体识别系统10主要包括照相机30及运算处理装置40。照相机30是单眼照相机，对车辆的周围进行拍摄。运算处理装置40包括分类器42。分类器42基于通过机器学习而得到的学习完成模型来实现，以使得能够基于照相机30的输出图像IMG来识别物体OBJ。分类器42的算法没有特别限定，可以采用YOLO(You Only Look Once：仅查看一次)、SSD(SingleShot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD：去卷积–SSD)、Mask R-CNN等，或者可以采用将来开发的算法。

在图1中，除了物体识别系统10之外，还示出进行机器学习时的设置。在分类器42的机器学习中使用选通照相机50。选通照相机50是将进深方向划分为复数N个(N≧2)范围RNG

这样得到的多个图像IMG

选通照相机50包括投光器52、图像传感器54及控制器56。由选通照相机50进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG

投光器52与从控制器56提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。

图像传感器54构成为能够进行与从控制器56提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器54对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。

控制器56针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器52进行的投光与图像传感器54的曝光的时间差。照相机30生成与多个范围RNG

图2是说明选通照相机50的动作的图。在图2中示出对第i个范围RNG

在某一时刻从投光器52发出的光到达距离d

同样，在某一时刻从投光器52发出的光到达距离d

在仅要对范围RNG

在对第i个范围RNG

以上是物体识别系统10的构成。接着，对物体识别系统10的机器学习进行说明。

图3的(a)、图3的(b)是说明使用选通照相机的学习数据的取得的图。在本示例中N＝2。在取得学习数据时，如图3的(a)考虑多个物体OBJ

在图3的(b)中，示出在图3的(a)的状况下得到的多个图像IMG

本实施方式的优点将通过与比较技术的对比而得到明确。在比较技术中，作为学习数据，与物体识别系统10的照相机30同样，使用由单眼照相机拍摄的图像IMGx。图4的(a)是表示由单眼照相机拍摄的图像IMGx的图。如图4的(a)所示，在图像IMGx中，2个物体OBJ

在图4的(b)中，示出包含行人(OBJ

在图4的(c)中，示出包含车辆(OBJ

因此，根据本实施方式的学习方法，通过使用选通照相机将近前侧的物体OBJ

机器学习需要庞大的学习数据，如果改变状况或条件来拍摄物体的图像，则学习成本升高。因此，通常通过“增量”，进行将1张基本图像增加为多张图像的研究。作为一般的增量的手法，可例示基本图像的左右反转、旋转、放大缩小、亮度值的变更、对比度的变更等。在将图4的(a)的图像作为基本图像的情况下，通过使用选通照相机，也能够掌握将其增加到2张图像。即，通过使用选通照相机，也能得到增量的效果。

图5是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测的基础上，作为照相机30的设置部位也最有利。

图6是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括照相机30及运算处理装置40。

与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。

另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。

接着，对与实施方式1相关联的变形例进行说明。

(变形例1)

图7是变形例1的物体识别系统10A的框图。物体识别系统10A替代图1的照相机30而包括选通照相机20。选通照相机20的构成与图1的选通照相机50相同。选通照相机20是将进深方向划分为复数M个(M≧2)范围RNG

分类器42从选通照相机20接收与复数M个(M≧2)范围RNG

II本发明的第2方面

II-1.概要

与本发明的第2方面相关联的一个实施方式涉及车载用的物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；以及运算处理装置，其能够基于由选通照相机得到的与多个范围对应的多个图像来识别物体的种类。运算处理装置包括算法不同的多个分类器，选择与范围相应的分类器来进行物体识别。

根据本方案，通过对近的物体和远的物体应用不同的算法，能够提高识别率。

运算处理装置在距离较近的范围的图像处理中也可以使用YOLO(You Only LookOnce：仅查看一次)算法的分类器。YOLO不适于较小的物体的识别，但具有高速的优点。由于图像中包含的物体中、至物体距离短的会比较大，因此通过使用YOLO，能够高精度且高速地检测/识别距离较近的范围中包含的物体。

运算处理装置在距离较远的范围的图像处理中，也可以使用SSD(Single ShotMultiBox Detector)算法的分类器。SSD虽然处理速度较差，但具有能够高精度地检测到较小的物体的优点。由于图像中包含的物体中到物体距离长的会比较小，因此通过使用SSD，能够高精度地检测/识别距离较远的范围中包含的物体。

在距离相对较近的范围的图像处理中，运算处理装置也可以使用相对高速的算法的分类器。

另外，在距离相对较远的范围的图像处理中，运算处理装置也可以使用相对高精度的算法的分类器。

II-2.详细说明

图8是实施方式2的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。

物体识别系统10主要包括选通照相机20及运算处理装置40。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG

投光器22与从控制器26提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。

图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。

控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG

图9是说明选通照相机20的动作的图。在图9中示出对第i个范围RNG

在某一时刻从投光器22发出的光到达距离d

同样，在某一时刻从投光器22发出的光到达距离d

在仅要对范围RNG

在对第i个范围RNG

返回图8。运算处理装置40构成为能够基于由选通照相机20得到的与多个范围RNG

运算处理装置40包括算法不同的复数M个(M≧2)分类器42_1～42_M。选择器44将各图像IMG供给到根据范围RNG选择的分类器42。分类器42对被提供的图像IMG进行处理，进行其中包含的物体的检测/类别分类(识别)。

分类器42的个数M可以与范围RNG的个数N为相同数量，也可以比该数量少。

多个算法中的一个也可以是高速但精度较低的(换言之，较小的物体的检测精度较低的)算法。另外，多个算法中的另一个也可以是低速但精度较高的(换言之，较小的物体的检测精度较高的)算法。

运算处理装置40可以在距离相对较近的范围的图像处理中使用相对高速且精度较低的算法的分类器。另外，运算处理装置40可以在距离相对较远的范围的图像处理中使用相对低速且精度较高的算法的分类器。

例如，多个算法中的一个优选为YOLO(You Only Look Once：仅查看一次)算法。另外，多个算法中的另一个优选为SSD(Single Shot MultiBox Detector)算法。

以上是物体识别系统10的构成。接着，对其动作进行说明。

图10的(a)是说明图8的物体识别系统10的动作的时序图。在此，设为M＝2、N＝2，对第1个范围RNG

由选通照相机20取得范围RNG

以上是物体识别系统10的动作。根据该物体识别系统10，通过使用彼此互补关系的2个、或者3个以上的算法的分类器，针对每个拍摄范围分配分类器，能够在短时间内高精度地检测出较近的物体和较远的物体。

更详细地，YOLO不适于较小的物体的识别，但具有高速的优点。图像中包含的物体，到物体的距离越短而拍摄得越大。因此，通过在距离较近的范围RNG

另外，SSD的处理速度比YOLO差，但具有能够高精度地检测到较小的物体的优点。图像中包含的物体，到物体的距离越长而越小，因此通过使用SSD，能够高精度地检测/识别距离较远的范围中包含的物体。

图8的物体识别系统10的优点将通过与比较技术的对比而得到明确。在比较技术中，无论范围如何都通过高精度的算法(SSD)的分类器进行处理。图10的(b)中是说明比较技术的物体识别系统的动作的时序图。如果对所有图像IMG

因此，根据实施方式2的物体识别系统10，通过将多个算法组合，即使不使用那么昂贵(高速)的硬件，也能够兼顾高检测精度和高帧率。

图11是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位最有利。

图12是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。

与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。

另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。

接着，对与实施方式2相关联的变形例进行说明。

(变形例1)

在M＝2、N≧3的情况下，可以对第1个～第k个范围RNG

(变形例2)

在实施方式2中，作为多个算法，说明了YOLO和SSD，但不限于此。作为物体识别的算法，已知R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD)、Mask R-CNN等，可以采用其中的任意一个，或者，当然也可以采用将来开发的算法。

III本发明的第3方面

III-1.概要

与本发明的第3方面相关联的一种实施方式涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄；缩放器(scaler)，其将由选通照相机得到的与多个范围对应的多个图像按照针对每个范围规定的系数进行缩放(scaling)；以及分类器，其能够基于缩放后的多个图像分别识别物体的种类。

根据本方案，在输入到分类器的多个图像中，能够使相同物体的尺寸一致。由此能够提高分类器的识别力或者降低学习成本。

系数也可以是在越近的范围就越小，在越远的范围就越大。

也可以将多个范围中的一个设为基准范围。也可以将基准范围的系数设为1，比所述基准范围近的范围的系数确定为小于1，比所述基准范围远的范围的系数确定为大于1。由此，能够简化缩放器的处理。另外，在进行学习时，重点使用在基准范围内配置物体而拍摄到的图像即可，能够减少在基准范围之外配置物体的拍摄的次数。

III-2.详细说明

以下，基于优选的实施方式并参照附图对本发明的第3方面进行说明。

图13是实施方式3的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。

物体识别系统10主要包括选通照相机20及运算处理装置40。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG

投光器22与从控制器26提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。

图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。

控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG

图14是说明选通照相机20的动作的图。在图14中示出对第i个范围RNG

在某一时刻从投光器22发出的光到达距离d

同样，在某一时刻从投光器22发出的光到达距离d

在仅要对范围RNG

在对第i个范围RNG

图15的(a)、图15的(b)是说明由选通照相机20得到的图像的图。在图15的(a)的示例中，在范围RNG

在拍摄图像IMG

返回图13。运算处理装置40构成为能够基于由选通照相机20得到的与多个范围RNG

运算处理装置40能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件构成。

本发明者对于分类器42的训练进行了研究，结果认识到以下问题。

分类器42的训练使用庞大数量的学习数据(训练数据)。学习数据使用由选通照相机或者通常的照相机拍摄到的图像数据。

图16的(a)、图16的(b)是说明由选通照相机20得到的图像的图。如图16的(a)所示，考虑相同物体(在此为行人)OBJ存在于不同范围的状况。选通照相机20具有由其自身的传感器尺寸及光学系统确定的水平视角(视场角)θ及垂直视角。由于选通照相机20无论范围如何都以相同视角进行拍摄，因此如果对位于不同距离的相同物体进行拍摄，则根据到物体的距离而拍摄倍率不同。因此，如图16的(b)所示，越远的物体拍摄得越小，越近的物体拍摄得越大。此外，该特征不限于选通照相机，在由通常的照相机进行拍摄的情况下也是同样的。

对于运算处理装置40，要求针对IMG

但是，这些方法可能造成学习成本的增加。另外，设想即使采用这些方法，仍然不能得到充分的识别率的情况。

因此，在本实施方式3中，如图13所示，运算处理装置40包括设于分类器42的前级的缩放器46。缩放器46将由选通照相机20得到的与多个范围RNG

图17的(a)～图17的(c)是对由缩放器46进行的缩放处理的一个示例进行说明的图。在本示例中，N＝3。系数K

也可以从多个范围中选择基准范围。并且，将基准范围的系数确定为1或者其附近。在范围RNG

对于距选通照相机20的距离比基准距离近的范围，K<1。在系数K

对于距选通照相机20的距离比基准距离远的范围，K>1。在系数K

返回图13。向分类器42输入由缩放器46进行的缩放处理后的图像数据IMGs

以上是物体识别系统10的构成。在该物体识别系统10中，输入到分类器42的图像以相同的物体接近相同大小(像素数)的方式进行缩放。因此，分类器42能够不依赖至物体的距离地对物体进行检测并识别其类别。这带来分类器42的识别率(正确率)的改善。

通过采用该物体识别系统10，还具有能够降低分类器42的学习成本的优点。即，在学习时，在缩放的系数接近1的范围内重点配置物体，将此时得到图像作为学习数据利用于分类器42的参数的优化即可，对于缩放的系数较大地偏离1的范围，可以减少拍摄的次数。

图18是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位最有利。

图19是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。

与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。

另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。

接着，对与实施方式3相关联的变形例进行说明。

(变形例1)

在实施方式中，以多个范围中的中央附近的范围为基准，将基准范围的系数设为1，使其之外的范围的系数小于1或者大于1，但不限于此。例如，也可以以近前的范围为基准，使深侧的范围的系数大于1。相反，例如也可以以最深侧的范围为基准，使比其靠近前侧的范围的系数小于1。

(变形例2)

前面将基准范围设为了1个，但也可以将基准范围设为多个。参照图20对变形例2进行说明。图20的(a)、图20的(b)是说明由选通照相机20得到的图像的图。在此，范围的数量N为4个。多个范围分为多个集合。各集合至少包括1个范围，基准范围针对每个集合设置。例如，将RNG

同样，着眼于第2集合时，则将其中包括的范围RNG

在变形例2中，针对每个范围的集合，重点地使用在物体位于基准范围的状况下得到的图像来进行机械学习即可。

IV本发明的第4方面

IV-1.概要

与本发明的第4方面相关联的一种实施方式涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，在针对每个图像限定有物体可能存在的区域的限制条件下，能够识别多个图像各自包含的物体的种类。

识别对象的物体按照其种类而分别限制存在的位置。例如，行人或汽车这样的交通参与者存在于地上，而不存在于空中。即，在图像内交通参与者可能存在的位置被限制在地上附近的区域内。在选通照相机中，在以相同视角拍摄多个图像的情况下，针对距照相机的距离、即针对每个图像，地上附近的区域改变。

因此，在一个实施方式中，针对每个图像确定固有的兴趣区域，能够通过限制分类器的图像处理的范围来削减运算量。

物体识别系统也可以包括：前处理部，其针对多个图像，分别对兴趣区域内的图像进行剪切；以及分类器，其对前处理部的输出进行处理。在这种情况下，由于提供到分类器的图像的尺寸减小，因此能够削减运算处理量。

物体识别系统也可以包括：前处理部，其针对多个图像，分别对兴趣区域外的图像进行遮蔽；以及分类器，其对前处理部的输出进行处理。前处理部也可以用单一颜色涂抹兴趣区域外的部分。

另外，在其他实施方式中，在分类器的后级或者内部，也可以在物体的种类的判断中反映物体的位置信息。

运算处理装置也可以包括：分类器，其针对多个图像，分别对其所包含的物体的种类和位置进行检测，生成与多个图像对应的多个检测数据；以及后处理部，其接收多个检测数据，判定各检测数据中包含的物体的位置是否包含于原来的图像中固有的兴趣区域。

兴趣区域也可以是越近的范围的图像越大，越远的范围的图像越小。

兴趣区域的高度也可以是越远的范围的图像越小。由此，能够削减用于检测地上附近的物体的运算处理量。

兴趣区域的宽度也可以是越远的范围的图像越窄。

IV-2.详细说明

以下，基于优选的实施方式并参照附图对本发明的第4方面进行说明。

(实施方式4-1)

图21是实施方式4-1的物体识别系统10的框图。该物体识别系统10搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别)进行判定。

物体识别系统10主要包括选通照相机20及运算处理装置40。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG

投光器22与从控制器26提供的投光定时信号S1同步，向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。

图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。

控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG

图22是说明选通照相机20的动作的图。在图22中示出对第i个范围RNG

在某一时刻从投光器22发出的光到达距离d

同样，在某一时刻从投光器22发出的光到达距离d

在仅要对范围RNG

在对第i个范围RNG

图23的(a)、图23的(b)是说明由选通照相机20得到的图像的图。在图23的(a)的示例中，在范围RNG

在拍摄图像IMG

返回图21。运算处理装置40构成为能够基于由选通照相机20得到的与多个范围RNG

运算处理装置40能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件构成。

针对每个图像、即针对每个范围确定固有的兴趣区域(ROI：Region OfInterest)。ROI是物体可能存在的区域。将与第i个(i＝1、2、…N)图像对应的ROI标记为ROI

例如，分类器42的输出(称为检测数据)OUT

图24的(a)、图24的(b)是说明ROI的图。图24的(a)是从横向观察的图，图24的(b)中示出由选通照相机20拍摄的图像。如图24的(a)所示，基于选通照相机20的拍摄范围以视角换算，为以水平轴为中心上下±θ。在将地面2的高度设为0时，在第i个范围RNG

另一方面，行人或汽车所存在的范围限定于规定的范围(0～H

将选通照相机20的图像传感器24的地上高度设为hc。另外，将从图像传感器24到第i个范围RNG

返回图21。在本实施方式中，在分类器42的前级设有前处理部46。前处理部46从各图像IMG

以上是物体识别系统10的构成。接着，对其动作进行说明。图25的(a)、图25的(b)是说明图21的物体识别系统10的动作的图。图25的(a)表示第i个范围的图像IMG

在图25的(a)的图像IMG

如图25的(b)所示，在由前处理部46剪切的图像IMGt

另外，通过将图形Y、Z从处理的对象除外，能够防止图形Y、Z被误识别为汽车或行人。即，能够改善物体识别系统10的识别率。

(实施方式4-2)

在实施方式4-1中，通过分类器42的前处理将运算处理的对象限制于ROI内，但不限于此。在实施方式4-2中，通过分类器42的后处理或者内部处理，施加物体OBJ可能存在的位置被限定于多个图像各自固有的兴趣区域内这样的限制条件。

图26是实施方式4-2的物体识别系统10A的框图。运算处理装置40A包括设于分类器42的后级的后处理部48。分类器42针对选通照相机20生成的多个图像IMG

图27的(a)、图27的(b)是说明图26的物体识别系统10A的动作的图。图27的(a)是将与第i个范围相关的检测数据OUT

如上所述，汽车存在于ROI的可能性较低。因此，可以说位于ROI外的边界框Y中包含的物体为汽车的概率较低。因此，后处理部48将ROI外的物体削除，输出削除后的检测数据OUT

根据实施方式4-2，不能减少分类器42的运算处理量，但能够改善物体的识别率。

接着，对与实施方式4-1、4-2相关联的变形例进行说明。

(变形例1)

图28的(a)、图28的(b)是说明ROI的变形例的图。如图28的(a)所示，在各图像中有时包含比地面靠下的位置。在这种情况下，如图28的(b)所示，除了各图像的上侧的范围(H

(变形例2)

在至此为止的说明中，将不可能存在物体的范围除外了，但不限于此，也可以确定即使存在物体也不需要检测的区域。图29的(a)、图29的(b)是说明ROI的变形例的图。图29的(a)是从上方观察的图，在图29的(b)中示出由选通照相机20拍摄的图像。

在车载用途中，可以将应该对物体进行检测的范围在左右方向上也进行限制。例如，在横向上距本车辆离开数十m的行人，可以说不需要立即进行检测。因此，也可以以本车辆为中心在横向上确定检测范围，针对各图像IMG

当然，也可以将上下方向的剪切与左右方向的剪切组合。

(变形例3)

在实施方式4-1中，前处理部46的处理不限定于上述处理。前处理部46也可以从各图像IMG

在图30的(a)的图像IMG

如图30的(b)所示，通过前处理部46对ROI外进行遮蔽，从遮蔽后的图像IMGm

(变形例4)

在实施方式中，通过相同的分类器42处理范围不同的图像，但不限于此，也可以针对每个范围使用不同的分类器。

(用途)

图31是具备物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位最有利。

图32是表示具备物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。

与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。

另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。

V本发明的第5方面

V-1.概要

与本发明的第5方面相关联的一种实施方式涉及物体识别系统。物体识别系统包括：选通照相机，其将进深方向划分为多个范围，针对每个范围改变投光与曝光的时间差进行拍摄，生成与多个范围对应的多个图像；以及运算处理装置，其构成为，针对每个范围规定所对应的图像中拍摄到的物体像的尺寸的允许范围，能够基于允许范围来识别各图像中拍摄到的物体像的种类。

图像中拍摄到的物体像的尺寸根据到物体的距离而变化。在使用选通照相机作为拍摄设备的情况下，到一张图像中包含的物体的距离能够根据所对应的范围的进深方向的信息得到。即，在拍摄到位于某一范围的物体时，图像中拍摄到的物体像的尺寸被限制在某一范围。因此，通过将该范围确定为允许范围，能够提高物体的识别率或者削减运算处理量。

运算处理装置也可以包括：分类器，其针对多个图像，分别对其拍摄到的物体像的种类和尺寸进行检测，生成与多个图像对应的多个检测数据；以及后处理部，其接收多个检测数据，判定各检测数据中包含的物体像的尺寸是否包含于允许范围。

运算处理装置也可以包括：前处理部，其将多个图像分别划分为其拍摄到的每个物体像的子图像；以及分类器，其在由前处理部划分的子图像的尺寸包含于允许范围的情况下，判定该子图像中包含的物体像的种类。

允许范围也可以在垂直方向上被规定。允许范围也可以在横向上被规定。

允许范围也可以针对每个物体像的种类而单独规定。由此，能够进一步提高物体的识别率。

允许范围也可以是在越近的范围越大，在越远的范围越小。允许范围的高度也可以是越远的范围越小。允许范围的宽度也可以是越远的范围越窄。

V-2.详细说明。

以下，基于优选的实施方式并参照附图对本发明的第5方面进行说明。

(实施方式5-1)

图33是实施方式5-1的物体识别系统10C的框图。该物体识别系统10C搭载于汽车或摩托车等车辆，对存在于车辆的周围的物体OBJ的种类(类别，或者也称为部类)进行判定。

物体识别系统10C主要包括选通照相机20及运算处理装置40C。选通照相机20包括投光器22、图像传感器24、控制器26。由选通照相机20进行的拍摄，将进深方向划分为复数N个(N≧2)范围RNG

投光器22与从控制器26提供的投光定时信号S1同步地向车辆前方照射探测光L1。探测光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。

图像传感器24构成为能够进行与从控制器26提供的拍摄定时信号S2同步的曝光控制，能够生成图像IMG。图像传感器24对与探测光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。

控制器26针对每个范围RNG改变投光定时信号S1和拍摄定时信号S2，从而改变由投光器22进行的投光与图像传感器24的曝光的时间差。选通照相机20生成与多个范围RNG

图34是说明选通照相机20的动作的图。在图34中示出对第i个范围RNG

在某一时刻从投光器22发出的光到达距离d

同样，在某一时刻从投光器22发出的光到达距离d

在仅要对范围RNG

在对第i个范围RNG

图35的(a)、图35的(b)是说明由选通照相机20得到的图像的图。在图35的(a)的示例中，在范围RNG

在拍摄图像IMG

返回图33。运算处理装置40C构成为能够基于由选通照相机20得到的与多个范围RNG

运算处理装置40C能够通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置40C也可以是多个处理器的组合。或者，运算处理装置40C也可以仅由硬件构成。

针对多个范围分别规定所对应的图像中拍摄到的物体像的大小的范围(允许范围)。分类器42在检测对象的物体像的尺寸包含于允许范围的前提(限制)下，识别多个图像IMG中分别包含的物体像的种类。

例如，分类器42的输出(称为检测数据)OUT

图36的(a)、图36的(b)是说明针对每个范围拍摄的图像的图。图36的(a)是从横向观察的图，图36的(b)中示出由选通照相机20拍摄的图像。如图36的(a)所示，基于选通照相机20的拍摄范围以视角换算，为以水平轴为中心上下±θ。如图36的(b)所示，各图像中拍摄到的物体像的大小是越远的范围就越小。

图37是说明允许范围的图。在此，允许范围在垂直方向上被规定。着眼于第i个范围RNG

将物体OBJ的高度的最小值设为h

y

该y

考虑物体OBJ存在于位置(B)，并且其高度最大为h

y

该y

即，允许范围(垂直方向的像素数)为y

返回图33。运算处理装置40C也可以在检测出的物体像的尺寸偏离允许范围时，将该物体像从处理对象除外。或者，也可以将检测出的物体像的尺寸与允许范围的关系反映于种类(类别/部类)的所属概率。

在本实施方式中，在分类器42的后级设有后处理部48。分类器42针对多个图像IMG

后处理部48接收分类器42生成的检测数据OUT

例如，后处理部48也可以在某一物体像的尺寸偏离允许范围的情况下，从检测数据OUT

以上是物体识别系统10C的构成。接着，对其动作进行说明。图38的(a)、图38的(b)是说明图33的物体识别系统10C的动作的图。图38的(a)将与第i个范围RNG

如图38的(a)所示，修正前的检测数据OUT

对于边界框α中包含的物体，其高度h满足y

对于边界框β中包含的物体，其高度h为h

以上是物体识别系统10C的动作。根据物体识别系统10C，能够改善物体的识别率。

(实施方式5-2)

图39是实施方式5-2的物体识别系统10D的框图。运算处理装置40D包括分类器42和设于其前级的前处理部46。

前处理部46将多个图像IMG

与实施方式5-1同样，针对多个范围RNG

分类器42构成为能够针对子图像SUB分别判别其中包含的物体像的种类。分类器42在由前处理部46划分的子图像SUB的尺寸包含于允许范围的情况下，判定该子图像SUB中包含的物体像的种类。

图40的(a)、图40的(b)是说明图39的物体识别系统10D的动作的图。图40的(a)表示与第i个范围RNG

关于子图像SUB

以上是物体识别系统10D的动作。根据物体识别系统10D，通过基于尺寸对成为由分类器42进行的识别运算的对象的子图像进行筛选，能够削减运算处理装置40D的运算处理量。

另外，通过从处理的对象除去子图像SUB

以上，基于实施方式对本发明进行了说明。本领域技术人员应当理解，该实施方式是例示，其各构成要素或各处理流程的组合可以有各种变形例，并且这样的变形例也包含于本发明的范围。以下，对这样的变形例进行说明。

(变形例1)

允许范围也可以考虑水平方向。

基于选通照相机20的拍摄范围以视角换算，为在水平方向上

在运算处理装置中，也可以仅针对垂直方向、仅针对水平方向、或者针对这二者，判定检测出的物体像的尺寸是否包含于允许范围。

(变形例2)

在实施方式中，通过相同的分类器42处理范围不同的图像，但不限于此，也可以针对每个范围使用不同的分类器。

(变形例3)

允许范围也可以针对每个物体的种类而单独设定。例如，在行人和汽车作为检测对象的情况下，可以对行人的宽度、汽车的宽度设定不同的允许范围。

(变形例4)

在实施方式5-1、5-2中，对允许范围规定了上限和下限，但也可以仅规定其中的一者。

(用途)

图41是包括物体识别系统10的汽车的框图。汽车300包括前照灯302L、302R。物体识别系统10内置于前照灯302L、302R的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测方面，作为选通照相机20的设置部位也最有利。

图42是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系统10对应，包括选通照相机20及运算处理装置40。

与运算处理装置40检测出的物体OBJ相关的信息，也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ECU208生成的配光图案的方式动作。

另外，与运算处理装置40检测出的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。

基于实施方式，使用具体的语句对本发明进行了说明，但实施方式只是表示本发明的原理、应用的一个方面，在实施方式中，在不脱离权利要求书所规定的本发明的思想的范围内，能够确认到较多的变形例及配置的变更。

[工业可利用性]

本发明涉及物体识别系统。

[附图标记说明]

S1投光定时信号，S2摄影定时信号，10物体识别系统，20选通照相机(ゲーティングカメラ)，30照相机，40运算处理装置，42分类器，50选通照相机，52投光器，54图像传感器，56控制器，60计算机，200车辆用灯具，202光源，204点亮电路，206光学系统，300自动车，302前照灯，304车辆侧ECU，310灯具系统。