标志识别装置

技术领域

本发明涉及一种识别道路标志的标志识别装置。

背景技术

由于面向安全驾驶或自动驾驶的社会性认知度的提高，对车载摄像机装置中的物体识别或距离测定的需求变得高度化。

车载摄像机装置是一种由于同时测量图像的视觉信息和到对象物的距离信息，能够详细掌握汽车周边的各种各样的对象物(人、车、立体物、白线、路面、标志等)，也有助于提高辅助驾驶时的安全性的设备。

标志是作为车载摄像机装置中的物体识别的对象之一。通常，标志识别功能用于与地图信息合作进行自动驾驶的车的加速或减速。在先进驾驶辅助系统的评价指标EuroNCAP(2016年～2020年更新)中，也设置了关于速度辅助系统(SAS：Speed AssistanceSystems)的评价项目，增加了其重要性。

并且，在专利文献1中有记载关于识别标志的装置。

现有技术文献

专利文献

专利文献1：日本专利特开2017-26430号公报

发明内容

发明要解决的问题

车载摄像机装置的道路标志的识别功能的问题在于，在市区或高速公路等的各种各样的行驶条件下，提高对作为对象的道路标志输出道路标志的识别结果、对不是道路标志的物体则不输出道路标志的识别结果的准确性。

但是，在专利文献1中记载的装置中，由于通过图像处理根据外观来识别标志，有将设置在市区或高速公路的酷似道路标志的广告牌，或粘贴在卡车等的大型车辆背后的速度遵守贴纸等外表酷似作为对象的道路标志的物体也错误识别为道路标志的可能性。

本发明是为了解决所述问题点而做出的，其目的在于得到抑制将酷似道路标志的速度遵守贴纸等的物体错误地作为道路标志进行标志识别这一情况的标志识别装置。

解决问题的技术手段

为了达成上述目的，本发明的标志识别装置具备：至少一个摄像部；标志推定部，其根据由摄像部得到的图像来推定标志候选；立体物识别部，其识别包含在所述摄像部的摄像范围内的规定的立体物；以及标志判定部，其根据由所述标志推定部关于所述标志候选的推定的信息和由所述立体物识别部关于所述立体物的识别的信息来判定所述标志候选是否是道路标志。

发明的效果

根据本发明的标志识别装置，能够抑制对于在市区或高速公路等各种各样的行驶条件中出现的酷似对象标志的物体输出错误的标志识别结果。

附图说明

图1是表示本发明的实施方式的标志识别装置的概略构成的框图。

图2是表示摄像机装置的处理流程图。

图3是表示图2的标志判定的处理内容的流程图。

图4A是设置在公共汽车背后的道路标志候选的一个例子的图。

图4B是标志候选的放大图像。

图4C是标志候选的放大图像。

图5是设置在道路上的道路标志候选的图。

图6是设置在公共汽车背后的道路标志候选的其他的例子的图。

图7是设置在公共汽车背后的道路标志候选的俯视图

具体实施方式

－系统构成－

图1是表示本发明的实施方式的标志识别装置的概略构成的框图。如图1所示，本实施方式的标志识别装置1是装载在车辆上、基于车辆前方的拍摄对象区域的图像处理来识别车外环境的装置。标志识别装置1具有通过图像处理进行例如道路的白线、行人、车辆、其他的立体物、交通信号灯、道路标志以及照明灯等的识别来判定道路标志的真伪的功能。此外，还具有对装载了该标志识别装置1的自身车辆的制动以及转向等进行调整的功能，但是关于该功能可以省略。

标志识别装置1是装载在车辆上的道路标志的识别系统，其具备：摄像机装置100、CAN(Controller Area Network)110以及输出装置114等。

摄像机装置100具备：左摄像机101、右摄像机102、图像输入接口103、图像处理部104、运算处理部105、存储部106、CAN接口107、控制处理部108以及总线109。

图像输入接口103、图像处理部104、运算处理部105、存储部106、CAN接口107以及控制处理部108能够由单一或多个计算机单元构成。在本实施方式中，例举了用单一的计算机单元来构成的情况，图像处理部104、控制处理部108、存储部106、运算处理部105、图像输入接口103以及CAN接口107经由摄像机装置100的内部总线109相互连接。

此外，摄像机装置100经由所述的CAN110连接到其他的计算机单元或输出装置114。以下将依次针对各部进行说明。

左摄像机101和右摄像机102为了获取图像信息而配置在左右。左摄像机101和右摄像机102在左右空出设定间隔来车载，以使规定区域容纳在各自视野中。

此外，图像输入接口103控制左摄像机101和右摄像机102的摄像，收进拍摄到的图像。通过图像输入接口103收进的图像数据通过总线109发送到例如图像处理部104以及运算处理部105。

图像处理部104将从左摄像机101的摄像元件中得到的第一图像和从右摄像机102的摄像元件中得到的第二图像进行比较，对各自的图像进行由摄像元件引起的设备固有的偏差的修正以及噪声插值等的图像修正，将这些存储在存储部106中。进一步，计算在第一图像以及第二图像之间相互对应的部分，计算视差信息(从不同的两点观察同一点时看见的方向的不同，即两个方向之间的角度的信息)，将这些存储在存储部106中。

运算处理部105具有标志推定部111、立体物识别部112以及标志判定部113。

标志推定部111根据由左摄像机101以及右摄像机102拍摄到的、储存在存储部106的图像来推定标志候选。在此，作为标志候选的推定的基础的图像可以是由左摄像机101拍摄到的图像、由右摄像机102拍摄到的图像中的任何一个，此外也可以使用由双方摄像机拍摄到的图像。关于推定方法，例如将通过图像处理识别出的形状与例如存储在存储部106中的道路标志的数据库对照，将与任一的道路标志的匹配度在一定程度以上的东西推定为道路标志的候选。

立体物识别部112根据由图像处理部104运算出的视差信息来识别包含在左摄像机101以及右摄像机102的摄像范围内的立体物。具体来说，根据由左摄像机101以及右摄像机102得到的图像通过立体图像处理来识别立体物。立体物识别部112使用储存在存储部106的图像以及视差信息(针对图像上的各点的距离信息)，进行察觉车辆周边环境所必需的规定的立体物的识别。识别对象的立体物是指人、车、其他障碍物、例如交通信号灯、道路标志、车的尾灯以及车头灯等。这些作为对象的立体物的数据库(例如用于辨别的标准数据)存储在例如存储部106中，对于输入的拍摄图像，立体物识别部112根据各个被摄体的裁切图像和其视差信息等基于数据库来识别立体物。

标志判定部113根据标志推定部111关于标志的推定的信息和立体物识别部112关于立体物的识别的信息来判定由标志推定部111推定出的标志候选是否是道路标志。运算处理部105的道路标志的识别结果或中间计算结果(例如标志推定部111或立体物识别部112的运算结果等)将适当地存储在存储部106中。关于该判定算法将在后面描述。

存储部106是例如存储器，存储由图像处理部104、运算处理部105得到的信息等。

CAN接口107是针对CAN 110的输入输出部，摄像机装置100的运算信息经由该CAN接口107输出到CAN110，经由CAN110输出到自身的车辆控制系统。具体来说，在标志判定部113将标志候选判定为道路标志的情况下，CAN接口107是经由CAN110将标志识别结果输出到输出装置114。

控制处理部108对于以上的摄像机装置100的动作，起到监视各个处理部是否发生异常动作、或数据传输时是否发生错误等来防止异常动作的职责。

如上所述，由摄像机装置100运算出的道路标志的判定结果等经由CAN110发送到输出装置114或其他的车载计算机单元(例如实行车辆控制的单元)。输出装置114是装载在驾驶室的、例如显示器或指示灯、蜂鸣器以及扬声器等的进行显示输出或声音输出的装置，基于从摄像机装置100输入的信息将道路标志在视觉上或听觉上通知乘员。通知方法可以是仅告知道路标志的有无，也可以将道路标志的种类也一并告知。此外，也能够构成为选择视觉输出形态和听觉输出形态中的至少一方。当用其他的计算机单元来实行车辆的制动或转向的控制的情况下，向其他的计算机单元的控制的基础信息添加由摄像机装置100运算出的道路标志的信息等。

－处理流程－

接下来将基于图2来说明摄像机装置100的处理流程。图2是摄像机装置100的处理流程图。图2所示的车载摄像机装置200示意性地表示了图1的摄像机装置100。首先进行左摄像机101的摄像201和进行右摄像机102的摄像202。然后，对于由左摄像机101拍摄到的图像数据203以及由右摄像机102拍摄到的图像数据204的每一个，进行用于吸收由摄像元件所具有的固有的特征的修正等的图像处理或对于前方的拍摄到的物体计算测定距离(视差信息)等的立体图像处理205。关于该立体图像处理205将通过图像处理部104来实行。

接下来，进行立体物检测206，其是立体图像或灰度图像的规定的裁切等的图像处理。立体物检测206的结果等存储在图1的存储部106中。之后，基于由立体图像处理205得到的测定距离结果207和立体物检测206的处理结果，实施作为图像处理(用于物体识别的计算处理)的物体识别208的处理。这些立体物检测206以及物体识别208的处理在图1的立体物识别部112进行。如上所述，这里识别的立体物是指人、车以及其他的障碍物，例如交通信号灯、道路标志、车的尾灯以及车头灯等。之后，进行将通过立体物检测206以及物体识别208的处理得到的物体识别结果216(包含识别出的立体物的信息以及未被识别为立体物的其他的视差信息)保存在存储部106中的保存处理215。在本实施方式中，立体物识别部112的物体识别结果216保存在存储部106的同时，经由CAN110输出到其他的计算机单元或标志判定部113。

在摄像机装置100中，与所述的物体识别的处理并行地，将单眼图像作为输入来实施标志识别处理209。标志识别处理209由以下4个处理构成：标志检测210，其从输入图像中提取圆形物体；标志辨别211，其确定圆形物体的类别；标志追踪212，其进行在图像间的对应；以及标志判定213，其在多个帧中做出综合判断。

即，在本实施方式中，将作为判定对象的道路标志的外形设想为圆形，在标志检测210的处理中，将例如通过图像处理推定为与正圆的符合度在一定程度以上的形状检测为标志候选。在接下来的标志辨别211的处理中，由标志检测210的处理检测出的标志候选与例如存储在存储部106的标志的数据库(识别词典)进行对照，辨别标志候选的类别(标志候选是哪个道路标志的候选)。在标志追踪212的处理中，在摄像机的视野中随着车辆的行驶等而可能位移的标志候选，通过在连续的帧(摄像机图像)之间的图像处理的对应来追踪。目前到的标志检测210、标志辨别211、标志追踪212为止的各个处理由例如标志推定部111来实行。

在标志判定213的处理中，根据例如多个帧的图像来判定标志候选是否是真正的道路标志。该标志判定213的处理由标志判定113部来实行，其特征在于，基于由立体物识别部112的物体识别208的处理得到的物体识别结果216来实行。在本实施方式中，根据由立体物识别部112识别出的立体物其他的视差信息和由标志推定部111推定出的标志候选的包含关系以及位置关系来判定是否是真的道路标志。该标志判定的处理的细节将在后面描述。

最后，进行将由所述的标志识别处理209得到的标志识别结果保存在存储部106的保存处理214。标志识别处理209的标志识别结果被保存在存储部106的同时，经由CAN110输出到其他的计算机单元或输出装置114。在本实施方式中，对于酷似对象标志的物体(即被推定为不是真的道路标志的物体)，并不是将标志识别结果输出到输出装置114，而是仅对于被推定为真的道路标志的物体将标志识别结果输出到输出装置114并通知乘员。

图3是表示图2的标志判定的处理内容的流程图。以下将基于图3说明关于本发明的标志判定213的处理流程。

(步骤501)

将图2中的标志追踪212的结果作为输入，得到在多个图像中的标志候选的辨别结果。之后，处理过渡到接下来的步骤502。

(步骤502)

考虑在获取到的各个图像中的辨别结果，输出最终判定结果。作为判定方法，可以获取各个图像的辨别结果的多数决定，也可以考虑与辨别结果同时得到的可靠度来获取判定结果。另外，自身车辆的行驶速度越慢就能够获取越多的图像的辨别结果，此外，由于图像模糊也较少，因此成为有利的状况。之后，处理过渡到接下来的步骤503。

(步骤503)

作为第一确认，检查标志候选和由立体物识别部112识别出的立体物的重叠情况。确认标志候选和立体物的包含关系，当标志候选全部包含在立体物中的情况下，判断为是设置在道路上的道路标志的可能性较低，不会将其作为标志结果输出。之后，处理结束。

另一方面，当标志候选没有包含在立体物的情况下，判定为是设置在道路上的道路标志，处理过渡到步骤504。

(步骤504)

本步骤是用于检测在步骤503中可能被识别为道路标志但实际上不是道路标志的标志候选(即，步骤503的判定遗漏)的一部分的处理，判定标志候选是否在遮蔽物外侧(例如图像内的左右的外侧)。遮蔽物是指在立体物识别部112中无法与关于立体物的数据库进行对照而未被识别为规定的立体物的视差信息。被处理为遮蔽物的视差信息的一个典型例子是，一种在现实中是规定的立体物、视差信息虽然被输入了但是在拍摄图像上没有映出整体而不能被识别为规定的立体物的被摄体的一部分，是在拍摄图像上映出了全部的部分(图6的公共汽车801的侧表面802等)。假设遮蔽物在自身车辆(摄像机)和现实的道路标志之间的情况下，没有映出道路标志的整体、标志候选不是真的道路标志的可能性很高。为了辨别像这样的现象，判定标志候选是否相对于遮蔽物而言位于图像内左右方向的外侧(标志候选的左右方向的内侧的是否存在遮蔽物)。当标志候选位于遮蔽物的外侧时，如图6以及图7在后描述的例子，判断为该标志候选是设置在道路上的道路标志的可能性很低，不会将其作为标志结果输出。即，当遮蔽物位于标志候选与自身车辆之间的情况下，判定标志候选不是道路标志。之后，处理结束。

另一方面，当标志候选不位于遮蔽物外侧的情况下(在标志候选的左右方向的内侧不存在遮蔽物的情况下)，判定为是设置在道路上的道路标志，处理过渡到步骤505。

(步骤505)

标志判定213输出标志候选是道路标志的标志判定结果。之后，处理结束。

－实施例1－

图4A是表示设置在公共汽车背后的道路标志候选的一个例子的图。如图4A所示，公共汽车601在后表面具备标志候选603以及标志候选604。另外，公共汽车601的后表面通过摄像机装置100被识别为立体物602。

在欧洲的卡车以及公共汽车等的大型车辆的后表面会贴上表示该车辆在普通道路上以标志候选603所示的80kph行驶，在高速公路上以标志候选604所示的100kp h行驶这一情况的速度遵守贴纸。

如图4B以及图4C的标志候选603以及标志候选604的放大图像所示，由于这些物体酷似速度限制标志，在过去的摄像机装置的处理中被作为标志识别结果输出。

另一方面，由于标志候选603以及标志候选604包含在立体物602中，因此本发明的标志识别装置1在图3的步骤503中，判断为是设置在道路上的道路标志的可能性很低，抑制将其作为标志识别结果输出。在图4A的例子中，像这样，辨别出标志候选603以及标志候选604不是道路标志从而避免向乘员的误报。

－实施例2－

图5是表示设置在道路上的道路标志候选的图。如图5所示，标志候选701没有包含在立体物702中。此外，标志候选701也没有包含在立体物703中。在该例子的情况下，由于标志候选701既没有包含在立体物702也没有包含在立体物703中，所以从图3的步骤503过渡到步骤504。在步骤504中，判定标志候选701是否比遮蔽物在画面内靠外侧，但是由于没有检测出遮蔽物，不满足判定，顺序过渡到步骤505，标志候选701作为设置在道路上的真的道路标志被输出到输出装置114。

－实施例3－

图6是表示设置在公共汽车背后的道路标志候选的其他的例子的图。在图6的例子中，贴在公共汽车801后表面804的速度遵守贴纸被识别为标志候选803。当像公共汽车801这样的大型车辆行驶在旁边车道的情况下，或当大型车辆在停车在路边的情况下，公共汽车801的后表面804的位置脱离了摄像机装置100的摄像范围，从而没有映出后表面804的全部，公共汽车801没有被识别为公共汽车。在图6的例子中，标志候选803包含在公共汽车801的后表面804中，但是由于后表面804没有被识别为规定的立体物，所以在图3的步骤503的判定中，作为速度遵守贴纸的标志候选803能够被判定为道路标志。

但是，关于公共汽车801的侧表面802是映出整体，其没有被识别为规定的立体物而被分类为遮蔽物。在图6的例子中，因为标志候选803位于作为遮蔽物的侧表面802的外侧，所以满足了图3的步骤504的判定，能够避免标志候选803被错误地作为道路标志输出到输出装置114。

图7是设置在公共汽车背后的道路标志候选的俯视图(将图6的例子俯视并显示的模型图)。如图7所示，如果观察公共汽车801的侧表面802和标志候选803的位置关系，在假设标志候选803是设置在道路上的道路标志805的情况下，道路标志805被具有该侧表面802的公共汽车801遮蔽，应该是不会映在拍摄图像上的。由此，如图3的步骤504所示，通过确认标志候选803和侧表面802的位置关系，能够防止将错误的标志识别结果输出。

－变形例－

另外，在本实施方式表示了摄像机装置100具备左摄像机101以及右摄像机102的例子，但本发明不限定于此，可以设为省略左摄像机101或右摄像机102的任意一方，以单眼处理来实行立体物识别的构成。在图3的例子中，还说明了摄像机具有步骤503、504的顺序的流程，但是例如在步骤503的顺序中，在对于道路标志的真伪判定没有得到充分的精度的情况下，也可以省略步骤504的顺序。

符号说明

1…标志识别装置，100…摄像机装置，101…左摄像机，102…右摄像机，103…图像输入接口，104…图像处理部，105…运算处理部，106…存储部，107…CAN接口，108…控制处理部，109…总线，110…CAN，111…标志推定部，112…立体物识别部，113…标志判定部，114…输出装置，200…摄像机装置，201…摄像，202…摄像，203…图像数据，204…图像数据，205…立体图像处理，206…立体物检测，207…测定距离结果，208…物体识别，209…标志识别处理，210…标志检测，211…标志辨别，212…标志追踪，213…标志判定，214…保存处理，215…保存处理，601…公共汽车，602…立体物，603…标志候选，604…标志候选，701…标志候选，702…立体物，703…立体物，801…公共汽车，802…立体物，803…标志候选，804…后表面，805…道路标志