选通摄像头操作方法、用于执行这种方法的控制装置、具有这种控制装置的选通摄像头装置和具有这种选通摄像头装置的机动车

技术领域

本发明涉及一种选通/门控(Gated)摄像头操作方法、一种用于执行这种方法的控制装置、一种具有这种控制装置的选通摄像头装置和一种具有这种选通摄像头装置的机动车。

背景技术

选通摄像头操作方法是已知的，在此，因目标投影而识别到目标。该方法基于以下假设：目标和目标环境的特别是漫反射的、尤其是非自发光表面的反射率且特别是反照率足够大而使得足够多的光子被反射向选通摄像头，以便能采集高对比度图像。特别是反照率越大，可用选通摄像头采集的图像对比度越高。还尤其知道了，如果反照率大且因此有足够多的光子尤其被目标和目标环境漫反射以曝光光学传感器，则能更可靠检测目标投影。该方法的缺点是，目标环境且尤其是路面的反照率可能会很小，尤其取决于路面状况和/或路面覆层。特别是，路面上的水洼和/或很暗的路面造成反照率变得很低并且不能检测到阴影，因而无法进行目标检测。

发明内容

因此，本发明的任务是提供一种选通摄像头操作方法、一种用于执行这种方法的控制装置、一种具有这种控制装置的选通摄像头装置和一种具有这种选通摄像头装置的机动车，其中，至少部分消除、优选避免所述缺点。

该任务通过提供本技术教导、特别是独立权利要求和在从属权利要求和说明书中公开的实施例的教导来完成。

该任务尤其通过一种选通摄像头操作方法来完成，该选通摄像头具有第一照明装置、与第一照明装置间隔的第二照明装置和光学传感器，其中，第一照明装置、第二照明装置和光学传感器的控制在时间上彼此协调，并且其中，可见距离范围被分配给所述协调控制。在借助第一照明装置的照明时利用光学传感器借助协调控制来采集第一图像。在借助第二照明装置的照明时利用光学传感器借助协调控制来采集第二图像。在没有借助其中一个所述照明装置进行照明的情况下利用光学传感器采集第三图像。随后作为第一图像与第二图像的差异形成第一差异图像。此外，作为第一图像与第三图像的差异形成第二差异图像。或者作为第二图像与第三图像的差异形成第二差异图像。

第三图像尤其对应于环境光图像、特别是日光图像。优选从第一图像或第二图像中通过减去第三图像来排除环境光影响、特别是日光影响。因此可有利地识别可见距离区域中的下述区域，这些区域反照率小、尤其是近乎为零，使得第一照明装置和/或第二照明装置的光子几乎完全被吸收和/或按下述方式被反射，即，极少量发射光子到达选通摄像头以曝光光学传感器。

在本技术教导的上下文中，“表面反射”描述照中表面的光子如何被表面反射。在此方面可以将镜面反射(尤其是也称为定向反射)与漫反射加以区分。如果考虑多个光子，其中，这些光子具有几乎相同的传播方向，则这些光子在表面反射时被分别反射向一个反射方向。这些反射方向在镜面反射时几乎相同，其中，各自反射方向取决于传播方向。与之相反，这些反射方向在漫反射情况下变化很大，其中，主反射方向尤其独立于传播方向地最好设计成垂直于表面(朗伯定律)。

通过至少一个照明装置、特别是第一照明装置和/或第二照明装置与光学传感器的时间协调控制来产生图像的方法是尤其被称为选通成像法的方法，特别是光学传感器是仅在特定的有限时间范围内切换至敏感的摄像头，这被称为“选通控制”，即，摄像头是选通摄像头。至少一个照明装置、特别是第一照明装置和/或第二照明装置也在时间上仅在特定的选定间隔期内被相应控制以照明物侧场景、特别是可见距离区域。

尤其是，由第一照明装置和第二照明装置发射预定数量的光脉冲，每个光脉冲的持续时间最好在5ns到20ns之间。光学传感器曝光的开始和结束是与发出的光脉冲的数量和持续时间以及照明的开始相关联的。由此导致了一定的可见距离区域可以通过一方面是第一照明装置和/或第二照明装置且另一方面是光学传感器的时间控制来按照相应规定的局部位置、即尤其是在可见距离区域的近边界和远边界距光学传感器的一定距离处通过该光学传感器来测定。从选通摄像头结构中知道光学传感器和至少一个照明装置、特别是第一照明装置和第二照明装置的局部位置。此外，在所述至少一个照明装置、特别是第一照明装置和第二照明装置与光学传感器之间的局部距离优选是已知的，且与至少一个照明装置、尤其是第一照明装置和第二照明装置或光学传感器距可见距离区域的距离相比，所述局部距离小。因此在本技术教导的上下文中，光学传感器与可见距离区域之间的距离等于选通摄像头与可见距离区域之间的距离。

可见距离区域在此是三维空间内的(物侧)区域，其通过将至少一个照明装置、尤其是第一照明装置和/或第二照明装置的光脉冲的数量和持续时间以及照明开始与光学传感器曝光的开始和结束相关联而借助该光学传感器被成像在光学传感器图像平面上的二维图像中。

与之相比，观察区域尤其是三维空间中的物侧区域，其在充分照明且光学传感器充分曝光的情况下借助光学传感器可总体上尤其最大程度地成像在二维图像中。观察区域尤其对应于光学传感器的理论上可被照明的整个可曝光的图像区域。故可见距离区域是真实空间中观察区域的子集。在这里提出的方法中也仅光学传感器的图像平面的子集被曝光，其中，图像平面的这一局部区域尤其存在于初始图像行与结束图像行之间。

就在此和以下提到的“物侧”而言是指真实空间中的区域。就在此和以下提到“像侧”而言是指光学传感器图像平面上的区域。在此，观察区域和可见距离区域存在于物侧。它们对应于通过成像定律和至少一个照明装置、特别是第一照明装置和/或第二照明装置和光学传感器的时间控制而对应在图像平面上的像侧区域。

根据在借助至少一个照明装置、特别是第一照明装置和/或第二照明装置的照明开始后的光学传感器曝光的开始和结束，光脉冲光子照中光学传感器。可见距离区域离至少一个照明装置、特别是第一照明装置和/或第二照明装置和光学传感器越远，在该距离区域内反射的光子照中光学传感器之前的持续时间越长。在此，可见距离区域距至少一个照明装置、特别是第一照明装置和/或第二照明装置且距光学传感器越远，在照明结束与曝光开始之间的时间差越大。

因此，根据该方法的一个设计而尤其可以通过相应适当选择一方面是第一照明装置和/或第二照明装置和另一方面是光学传感器的时间控制来限定可见距离区域的位置和空间宽度、尤其是可见距离区域的近边界和远边界之间距离。

在该方法的一个优选设计中设定可见距离范围，其中，由此相应地设定一方面是第一照明装置和/或第二照明装置和另一方面是光学传感器的时间协调。

在该方法的另一优选设计中设定一方面是第一照明装置和/或第二照明装置和另一方面是光学传感器的时间协调，其中，由此相应设定可见距离区域。

在一个优选设计中，第一照明装置和/或第二照明装置具有至少一个表面发射器、特别是所谓的VCSE激光器。替代地或附加地，光学传感器优选是摄像头。

在该方法的一个设计中，在第一图像之后且在第二图像之后采集第三图像。

在该方法的一个设计中，在第一图像之后采集第三图像。在第三图像之后采集第二图像。

在该方法的一个设计中，在第一图像和第二图像之前采集第三图像。

有利地可以连续执行该方法。在连续执行情况下在该方法的一个实施方式中，每单位时间以同样频率采集第一图像、第二图像和第三图像。

在该方法的一个优选设计中，第一图像、第二图像和第三图像分别以小于0.1秒、优选小于0.01秒的间隔期被采集。

在一个优选设计中，图像、特别是第一、第二和第三图像以至少20Hz至最大90Hz的采集率被采集。有利地，在至少20Hz至最大90Hz的采集率下不必考虑自身速度和/或所识别的目标的速度来确定进一步协调控制。

本发明的一个改进方案规定，在形成第一差异图像和第二差异图像之前将图像配准方法应用到第一图像、第二图像和第三图像。有利地，借助图像配准来补偿具有选通摄像头的车辆的自身移动。

在该方法的一个优选设计中，图像配准方法被应用到第一图像和第二图像，其中，为了形成第一差异图像，使第二图像适配于第一图像或使第一图像适配于第二图像。此外，图像配准方法被应用到第二图像和第三图像，其中，为了形成第二差异图像，使第三图像适配于第二图像或使第二图像适配于第三图像。

在该方法的另一设计中，图像配准方法被应用到第一图像和第二图像，其中，为了形成第一差异图像，使第二图像适配于第一图像或使第一图像适配于第二图像。此外，图像配准方法被应用于第一图像和第三图像，其中，为了形成第二差异图像，使第三图像适配于第一图像或使第一图像适配于第三图像。

本发明的一个改进方案规定，在第一差异图像和/或第二差异图像中搜寻目标。

如果目标布置在可见距离区域内且如果在从第一图像和第二图像中选择的至少一个图像中可看到目标的像侧投影，则有利地在第一差异图像中仅显示目标的像侧投影而不显示目标本身，因为第一图像和第二图像仅在投影方面不同。故可依据第一差异图像中的像侧投影来检测目标。

如果目标布置在可见距离区域内且如果在第一图像和第二图像中都看不到目标的像侧投影，则无法以简单方式在第一差异图像中检测到目标。尤其是，如果目标环境将光子几乎大部分镜像反射而使其偏离光学传感器，尤其是没有漫反射，则无法检测到目标的像侧投影。在几乎主要镜面反射的目标环境下，第一图像和/或第二图像中的目标环境与在第三图像中至少近似相同地被示出。因此可以在第二差异图像中有利地检测到该目标、尤其是明亮目标。

本发明的一个改进方案规定，在第二差异图像中搜寻盲点，其中，依据所找到的盲点来限定图像的可靠性区域。特别是，第二差异图像的所有并非盲点的像点形成图像的可靠性区域。

在本技术教导的上下文中，若图像像点的流明小于预定阈值流明，则该像点被定义为盲点。在一个优选设计中，像点灰度值被用作像点流明。

在本技术教导的上下文中，流明是像点亮度的量度。

优选地，预定阈值流明小于0.2，优选小于0.1，优选小于0.05，特别优选小于0.01。

盲点有利地表征可见距离区域的在第一图像和第三图像中或者在第二图像和第三图像中显示几乎相同、优选相同的像侧区域。此外，可靠性区域有利地表征可见距离区域的在第一图像和第三图像中或者在第二图像和第三图像中显示不同的像侧区域。

本发明的一个改进方案规定，依据可靠性区域来验证在第一差异图像中所识别的目标。有利地，可以实现鲁棒且可靠的目标识别。

优选可以假设，在盲点中不能保证尤其是依据在第一差异图像中的待识别目标的至少一个像侧投影的无误的目标识别。替代地或附加地优选可以假设，可以在可靠性区域内实现特别是依据在第一差异图像中的待识别目标的至少一个像侧投影的可靠的目标识别。

优选地，在可靠性区域内所识别的目标被验证。替代地或附加地，最好不验证在盲点中所识别的目标，并且该方法最好被重新开始，其中，采集另一个第一图像、另一个第二图像和另一个第三图像。

本发明的一个改进方案规定，基于第一差异图像和/或第二差异图像来确定、即尤其规定具有选通摄像头的机动车的未来运动轨迹。最好还基于所识别的且特别是经过验证的目标来确定未来运动轨迹。因此可以有利地如此确定未来运动轨迹，即，所识别的且尤其所验证的目标不会被轧过。

在本技术教导的上下文中，机动车的未来运动轨迹借助机动车致动器装置、尤其是借助转向运动、加速过程和/或制动过程来实现。

本发明的一个改进方案规定，在第二差异图像中对在第二差异图像中所找到的目标确定足点(Fuβpunkt)。目标距光学传感器和/或选自第一照明装置和第二照明装置的至少一个照明装置的目标距离最好可依据像侧足点来确定。

如果目标环境由于镜面反射而反照率低，则尤其在第二差异图像中的像侧目标具有目标成像和目标镜像成像，其中，优选假设，水平对称性存在于第二差异图像中。故像侧足点优选被估计、尤其确定为像侧目标的竖向最大像侧延伸尺寸和竖向最小像侧延伸尺寸之间的水平像侧线。

该任务也通过提供一种控制装置来完成，其设立用于执行根据本发明的方法或根据一个或多个上述实施方式的方法。控制装置最好设计成计算装置、尤其最好是计算机或者控制设备、尤其是机动车控制设备。关于控制装置尤其有已经关于所述方法所解释的优点。

控制装置优选设立用于与选通摄像头、尤其是第一照明装置、第二照明装置和光学传感器有效连接并且设立用于对其各自的控制。

该任务也通过提供一种选通摄像头装置来完成，其具有包括第一照明装置、第二照明装置和光学传感器的选通摄像头和根据本发明的控制装置或根据一个或多个上述实施方式的控制装置，其中，第一照明装置和第二照明装置彼此间隔开。关于选通摄像头装置尤其有已经关于所述方法和控制装置所解释的优点。

在一个优选设计中，第一照明装置和第二照明装置在水平方向上相互错开布置。替代地或附加地，第一照明装置和第二照明装置优选在竖向上相互错开布置。

尤其是，第一照明装置和第二照明装置之间距离大于10cm、优选大于20cm、优选大于50cm、优选大于100cm、尤其优选大于150cm。特别是，如果第一照明装置和第二照明装置在水平方向上相互错开布置，则该距离在水平方向上来测量。或者，如果第一照明装置和第二照明装置在竖向上相互错开布置，则该距离在竖向上来测量。或者，如果第一照明装置和第二照明装置在水平方向和竖向上都相互错开布置，则该距离尤其在斜向上来测量。

该控制装置优选与选通摄像头、尤其是与第一照明装置、第二照明装置和光学传感器有效连接且设立用于对其各自的控制。

该任务也通过提供一种具有本发明的选通摄像头装置或根据一个或多个前述实施方式的选通摄像头装置的机动车来完成。关于机动车尤其有已经关于所述方法、控制装置和选通摄像头装置所解释的优点。

在一个优选设计中，机动车被设计成自主驾驶的机动车。替代地或附加地，机动车最好设计成卡车。但也可行的是机动车被设计成轿车、乘用车辆或其它机动车。

在一个特别优选的设计中，机动车尤其被设计成自主驾驶的卡车。另外，光学传感器最好布置在风挡玻璃上方。替代地或附加地，第一照明装置和第二照明装置最好布置在保险杠区域内并在水平方向上具有大于10cm、优选大于20cm、优选大于50cm、优选大于100cm、尤其优选大于150cm的相互距离。

附图说明

以下将结合图来详细解释本发明，其中：

图1示出机动车的实施例的示意图，

图2示出选通摄像头操作方法的实施例的流程图，

图3示出第一图像、第二图像、第三图像、第一差异图像和第二差异图像的第一示例的示意图，

图4示出第一图像、第二图像、第三图像、第一差异图像和第二差异图像的第二示例的示意图，

图5示出第二差异图像的第二示例的示意图。

具体实施方式

图1示出具有选通摄像头装置3的实施例的机动车1、尤其是自主驾驶的卡车的实施例的示意图。选通摄像头装置3具有包括第一照明装置7.1、第二照明装置7.2和光学传感器9(尤其是摄像头)的第一选通摄像头5和控制装置11。控制装置11以未明确示出的方式有效连接至选通摄像头5，尤其是连接至第一照明装置7.1、第二照明装置7.2和光学传感器9，并且设立用于对其各自的控制。

第一照明装置7.1和第二照明装置7.2彼此间隔开。特别优选地，第一照明装置7.1和第二照明装置7.2在水平方向上相互错开布置。替代地或附加地，第一照明装置7.1和第二照明装置7.2最好在竖向上相互错开布置。

第一照明装置7.1和第二照明装置7.2优选均具有至少一个表面发射器、特别是所谓的VCSE激光器。

图1尤其示出第一照明装置7.1的第一照明光锥13.1、第二照明装置7.2的第二照明光锥13.2和光学传感器9的观察区域15。此外，可见距离区域17用阴影线被示出，其作为第一照明装置7.1的第一照明光锥13.1、第二照明装置7.2的第二照明光锥13.2以及光学传感器9的观察区域15三者的子集存在。目标19位于可见距离区域17内。

控制装置11特别设立用于执行用于操作具有第一照明装置7.1、第二照明装置7.2和光学传感器9的选通摄像头5的方法的在图2中详细描述的实施例。

图2示出选通摄像头5操作方法的实施例的流程图。

在所有图中，相同的且功能相同的零部件带有相同的附图标记，故就此参照先前描述。

在第一步骤a)中，第一照明装置7.1、第二照明装置7.2和光学传感器9的控制在时间上彼此协调，其中，该协调控制分配有可见距离区域17。

在第二步骤b)中，在借助第一照明装置7.1的照明下利用光学传感器9借助协调控制来采集第一图像21.1。

在第三步骤c)中，在借助第二照明装置7.2的照明下利用光学传感器9借助协调控制来采集第二图像21.2。

在第四步骤d)中，利用光学传感器9在没有借助其中一个照明装置7进行照明的情况下采集第三图像21.3。

优选按照第一时序，在时间上，首先采集第一图像21.1，然后是第二图像21.2，然后是第三图像21.3。或者优选地按照第二时序，在时间上，首先采集第一图像21.1，然后是第三图像21.3，然后是第二图像21.2。或者优选地按照第三时序，在时间上，首先采集第二图像21.2，然后是第一图像21.1，然后是第三图像21.3。或者优选地按照第四时序，在时间上，首先采集第二图像21.2，然后是第三图像21.3，然后是第一图像21.1。或者优选地按照第五时序，在时间上，首先采集第三图像21.3，然后是第一图像21.1，然后是第二图像21.2。或者优选地按照第六时序，在时间上，首先采集第三图像21.3，然后是第二图像21.2，然后是第一图像21.1。

在该方法的一个替代设计中，优选在第二步骤b)中在借助第二照明装置7.2的照明下利用光学传感器9借助协调控制采集第二图像21.2。此外，优选在第三步骤c)中，在借助第一照明装置7.1的照明下利用光学传感器9借助协调控制采集第一图像21.1。

在第五步骤e)中，作为第一图像21.1与第二图像21.2的差异形成第一差异图像23.1。

在第六步骤f)中，作为第二图像21.2与第三图像21.3的差异形成第二差异图像23.2。或者优选地作为第一图像21.1与第三图像21.3的差异形成第二差异图像23.2。

在可选的第七步骤g)中，优选在第一差异图像23.1中搜寻目标19、特别是像侧目标19′。优选地，在第一差异图像23.1中通过像侧投影25来检测目标19。

在可选的第八步骤h)中，优选在第二差异图像23.2中搜寻目标19，特别是像侧目标19′。替代地或附加地，优选在第二差异图像23.2中搜寻盲点27，其中，依据所找到的盲点27来限定图像21、23的可靠性区域29。

在可选的第九步骤i)中，使用可靠性区域29来验证在第一差异图像23.1中找到的目标19。替代地或附加地，最好确定至少其中一个所找到的目标19的像侧足点31。

在可选的第十步骤j)中，依据(或许经过验证的)第一差异图像23.1和/或(或许经过验证的)第二差异图像23.2来确定未来运动轨迹。

图3示出第一图像21.1、第二图像21.2、第三图像21.3、第一差异图像23.1和第二差异图像23.2的第一示例的示意图。

图3a)示出第一图像21.1的第一示例的示意图。能清楚看到像侧可见的距离区域17′和位在其中的形成像侧投影25的像侧目标19′。此外，尤其能看到在该像侧可见的距离区域17′内的第一区域33.1和第二区域33.2，它们在第一图像21.1中看起来比其余像侧可见距离区域17′更暗。特别是，在第一区域33.1的物侧区中的路面上和在第二区域33.2的物侧区中的路面上可能有水，因此光子尤其被反射而从光学传感器9偏离。

图3b)示出第二图像21.2的第一示例的示意图。与图3a)中的第一图像不同，在图3b)中无法看到像侧投影25。其原因是照明装置7尤其水平间隔布置，由此目标视照明不同而形成不同的投影25。

图3c)示出第三图像21.3的第一示例的示意图，其中，像侧目标19′清晰可见。第三图像21.3尤其是日光图像或环境光图像。

图3d)示出作为第一图像21.1与第二图像21.2的差异的第一差异图像23.1的第一示例的示意图。在第一差异图像23.1中唯一可见的元素是目标19的像侧投影25。最好依据第一差异图像23.1中的像侧投影25检测目标19。

图3e)示出作为第二图像21.2与第三图像21.3的差异的第二差异图像23.2的第一示例的示意图。在第二差异图像23.2中可以看到可见距离区域17和像侧目标19′。特别是，在可见距离区域17之外的区域、第一区域33.1和第二区域33.2被示出为盲点27。此外，第二差异图像33.2的并非盲点27的所有其它区域尤其是可靠性区域29。

图4示出第一图像21.1、第二图像21.2、第三图像21.3、第一差异图像23.1和第二差异图像23.2的第二示例的示意图。

图4a)中的第一图像21.1和图4b)中的第二图像21.2几乎相同，尤其是彼此相同的。此外，无法看到可见距离区域17。当待观察的场景由于例如在潮湿道路情况下反照率很小而几乎完全镜面反射光子而使其从光学传感器9偏离和/或环境吸收光子且因此甚至几乎不反射光子时就是这种情况。

只有目标19尤其漫反射且因此可清楚看到。图像的其余区域对应于在没有借助至少其中一个照明装置7进行照明的情况下的图像。

图4c)与图3c)相似地示出第三图像21.3，它尤其是日光图像或环境光图像。在第三图像21.3中也能看到像侧目标19′，其中，像侧目标19′看上去不如第一图像21.1和第二图像21.2亮。

图4d)与图3d)相似地示出第一差异图像23.1。因为第一图像21.1和第二图像21.2近乎相同，故第一差异图像23.1的色调均匀，并且无法探测到任何结构、尤其是目标19。

图4e)与图3e)相似地示出第二差异图像23.2。在此，尤其只能看到像侧目标19′。因此可优选借助第二差异图像23.2来检测目标19。

图5示出第二差异图像23.2的第二示例的示意图。

在此假设，目标19环境呈镜面反射光子且因此在第二差异图像23.2中除了像侧目标19′外还能看到目标19的镜像35。像侧目标19′和镜像35依据水平对称性被辨别，从而可以确定目标19的足点。