选通摄像头操作方法、用于执行这种方法的控制装置、具有这种控制装置的回望装置和具有这种回望装置的机动车

技术领域

本发明涉及一种选通/门控(Gated)摄像头操作方法、一种用于执行这种方法的控制装置、一种具有这种控制装置的回望装置和一种具有这种回望装置的机动车。

背景技术

尤其在自主驾驶的机动车中，周围环境的感知与测量对于安全而无危险的机动车运动是必不可少的。此时，尤其在自主驾驶卡车情况下的一项巨大挑战是变道和/或并入车道。

发明内容

本发明的任务是提供一种选通摄像头操作方法、一种用于执行这种方法的控制装置、一种具有这种控制装置的回望装置和一种具有这种回望装置的机动车，其中，至少部分消除、优选避免所述缺点。

如此完成该任务，即，提供本技术教导、尤其是独立权利要求的以及从属权利要求和说明书所公开的实施方式的教导。

尤其如此完成该任务，即，提供一种用于在机动车中逆着机动车行驶方向操作选通摄像头的方法，该选通摄像头具有照明装置和光学传感器，其中，所述照明装置和光学传感器的控制在时间上相互协调。第一可见距离区域被分配给第一协调控制，其中，借助第一协调控制逆着机动车行驶方向地(即向后)采集第一可见距离区域的第一图像。借助第一图像来搜寻目标，其中，当找到目标时，估算作为在所找到的目标与该光学传感器之间的距离的第一目标距离。接着基于第一目标距离评估该机动车的规划运动轨迹。

有利地可以借助该方法来识别并借助测距装置来测量在行驶方向上位于机动车之后的目标、尤其是其它交通参与者。因此可以有利地评估机动车规划运动轨迹、特别是变道和/或并入车道，以便安全而无危险地执行运动。

优选地，为了距离计算而采用根据德国公开文献DE 10 2020 002 994A1的方法。优选地，第一目标距离借助根据德国公开文献DE 10 2020 002994A1的方法来估算。特别是，在根据德国公开文献DE 10 2020 002 994A1的方法中利用可见距离区域的近边界和远边界、尤其是第一可见距离区域的第一近边界和第一远边界来执行距离确定。

通过照明装置与光学传感器的相互时间协调控制来产生图像的方法是尤其被称为选通成像法的方法，特别是光学传感器是仅在特定的有限时间范围内切换至敏感的摄像头，这被称为“选通控制”。照明装置也在时间上仅按特定所选的间隔期被相应控制以照明物侧场景、特别是可见距离区域。

尤其由照明装置发射预定数量的光脉冲，每个光脉冲的持续时间最好在5ns到20ns之间。光学传感器曝光的开始和结束是与发出的光脉冲的数量和持续时间及照明的开始相关联的。因此，一定的可见距离区域可通过照明装置以及光学传感器两者的时间控制而按照相应规定的空间位置、即尤其是在可见距离区域的近边界和远边界距所述光学传感器的一定距离处通过该光学传感器来测定。从选通摄像头结构中知道光学传感器和照明装置的空间位置。此外，在所述照明装置与光学传感器之间的空间距离优选是已知的，并且与照明装置或光学传感器距可见距离区域的距离相比，这一空间距离小。因此在本技术教导的上下文中，光学传感器与可见距离区域之间的距离等于选通摄像头与可见距离区域之间的距离。

可见距离区域在此是三维空间内的物侧区域，其通过将照明装置的光脉冲的数量和持续时间以及照明的开始与光学传感器曝光的开始和结束相结合而借助该光学传感器被成像在光学传感器图像平面上的二维图像中。

与之相比，观察区域尤其是三维空间中的物侧区域，其在光学传感器被充分照明和曝光的情况下借助光学传感器可总体上(尤其以最大程度)成像在二维图像中。观察区域尤其对应于光学传感器的理论上可被照明的整个曝光图像区域。故可见距离区域是真实空间中观察区域的子集。相应地，在此提出的方法中也仅光学传感器的图像平面的子集被曝光，其中，图像平面的这一局部区域尤其存在于初始图像行和结束图像行之间。

就在此和以下提到的“物侧”而言是指真实空间中的区域。就在此和以下提到“像侧”而言是指光学传感器图像平面上的区域。在此，观察区域和可见距离区域存在于物侧。它们对应于通过成像定律和照明装置和光学传感器的时间控制而对应在图像平面上的像侧区域。

根据在借助照明装置的照明开始之后光学传感器曝光的开始和结束，光脉冲光子照中光学传感器。可见距离区域离照明装置和光学传感器越远，在该距离区域内反射的光子照中光学传感器之前的持续时间越长。在此，可见距离区域距该照明装置和光学传感器越远，在照明结束与曝光开始之间的时间差越大。

因此，根据该方法的一个设计而尤其可能的是，通过相应适当选择照明装置和光学传感器两者的时间控制来限定可见距离区域的位置和空间宽度、尤其是可见距离区域的近边界与远边界之间距离。

在该方法的一个优选设计中设定可见距离区域，其中，由此相应设定照明装置以及光学传感器两者的时间协调。

在该方法的另一优选设计中，照明装置以及光学传感器两者的时间协调被设定，其中，由此相应设定可见距离区域。

图像行在此尤其是指在光学传感器图像平面中的图像的位于图像平面内的同一水平线上的所有像点的集合。

在一个优选设计中，照明装置具有至少一个表面发射器、特别是所谓的VCSE激光器。替代地或附加地，光学传感器优选是摄像头。

优选地，除了第一目标距离之外，折角传感器的传感器信号被一并纳入规划运动轨迹的评估中。尤其可借助折角传感器来确定挂车和/或半挂车是否挡住逆着机动车行驶方向的视线且因此无法评估规划运动轨迹。

折角传感器最好测量在机动车与连接到机动车的挂车之间的角度。

在本技术教导的上下文中，机动车的规划运动轨迹借助机动车的致动器装置、特别是借助转向运动、加速过程和/或制动过程来实现。

在根据德国公开文献DE 10 2020 002 994 A1的方法中，在图像中确定用于可见距离区域的近边界的初始图像行。此外，在图像中确定用于可见距离区域的远边界的结束图像行。在图像中确定基点图像行，其中，该基点图像行是下述的图像行，一方面在该图像行中能够检测到目标，另一方面该图像行在光学传感器的图像平面中距初始图像行最近。最后，通过在考虑可见距离区域的空间位置情况下评估基点图像行相对于初始图像行和结束图像行的图像位置来确定目标距离。

特别是，基点图像行的确定优选如下进行：在图像中，目标识别尤其是借助模式识别、优选通过采用分类算法和/或借助深度学习来进行。如果检测到目标，则在图像中基于所述识别或分类来确定显示有该目标的所有图像行。然后，距初始图像行最近的图像行被确定为基点图像行。

目标距离优选作为目标与光学传感器之间距离被确定，其中，距离区域宽度作为可见距离区域终点与可见距离区域起点之差来确定。基点距离作为在光学传感器上的在基点图像行与初始图像行之间的图像行距离来确定。另外，距离区域图像宽度作为结束图像行与初始图像行之间的图像行距离来确定。于是，目标距离最终作为可见距离区域起点(即：可见距离区域起点与光学传感器之间空间距离)与“距离区域宽度乘以基点距离与距离区域图像宽度之比所得的乘积”之和来确定。尤其是，目标距离按照以下公式来确定：

其中，x

本发明的一个改进方案规定，借助雷达传感器来查明所找到的目标的速度。替代地或附加地规定，借助激光雷达传感器来查明所找到的目标的速度。有利地，可借助所找到的目标的速度来更好且更可靠地评估规划运动轨迹。

本发明的一个改进方案规定，所找到的目标借助第一图像被分配给对应的车道。因此能有利地确定所找到的目标是否位于机动车基于规划运动路径应该驶上的车道上。因此能有利地区分与规划运动路径相关的和不相关的目标。

本发明的一个改进方案规定，若在第一图像中未找到目标，则将第二可见距离区域分配给第二协调控制，其中，借助第二协调控制逆着机动车行驶方向地采集第二可见距离区域的第二图像。借助第二图像来搜寻目标，其中，当找到目标时，估算作为在所找到的目标与该光学传感器之间的距离的第一目标距离。基于第一目标距离评估该机动车的规划运动轨迹。

优选地，第一可见距离区域的第一宽度与第二可见距离区域的第二宽度是彼此相同的。替代或附加地，第一可见距离区域与第二可见距离区域最好至多部分重叠。替代地或附加地，第一可见距离区域的远边界最好对应于第二可见距离区域的近边界，或者第一可见距离区域的近边界最好对应于第二可见距离区域的远边界。

在本技术教导的上下文中，可见距离区域的宽度是可见距离区域的近边界与远边界之间距离。

可见距离区域的宽度最好是至少50m至最多300m。

有利地，因此能以扫描方式借助若干可见距离区域观察物侧区域。在以扫描方式观察的情况下，这些可见距离区域的宽度最好为至少80m。

本发明的一个改进方案规定，如果找到目标且估算了第一目标距离，则如此确定第三协调控制，即，所找到的目标、尤其是第一目标距离位于分配给第三协调控制的第三可见距离区域内，其中，第三可见距离区域的第三宽度小于第一可见距离区域的第一宽度。借助第三协调控制逆着机动车行驶方向地采集第三可见距离区域的第三图像。借助第三图像来搜寻目标，其中，当找到目标时，估算作为在所找到的目标与该光学传感器之间距离的第二目标距离。基于第一目标距离且还基于第二目标距离评估该机动车的规划运动轨迹。

有利地，可见距离区域的宽度越小，光学传感器与所找到的目标之间距离的确定越精确。故有利的是第二目标距离的估算比第一目标距离的估算更准确。

选自第一可见距离区域的第一宽度、第二可见距离区域的第二宽度和若干可见距离区域之一的宽度的至少一个宽度最好为至少150m到最多300m。替代地或附加地，第三可见距离区域的第三宽度为至少50m到最多150m。

优选地，第二目标距离借助根据德国公开文献DE 10 2020 002 994 A1的方法来估算。

机动车自身速度最好被一并纳入第三协调控制的确定中，使得所找到的目标出现在第三可见距离区域中。替代地或附加地，所找到的目标的速度优选一并纳入到第三协调控制的确定中，使得所找到的目标出现在第三可见距离区域中。替代地或附加地，在第三协调控制的确定中优选一并将作为自身速度和所找到的目标的速度之差的速度差纳入考量，使得所找到的目标出现在第三可见距离区域中。

在一个优选设计中，借助至少一个可见距离区域、特别是第一可见距离区域或若干可见距离区以扫描方式观察物侧区域，直到找到目标。随后，通过第三协调控制来确定第二目标距离以有利地达成所找到的目标距光学传感器的距离的更精确估算。

本发明的一个改进方案规定，在从第一图像(优选还有第二图像、第三图像)和启动图像中选择的至少一个图像中借助前照灯探测法来搜寻目标。优选在时间上在第一图像之前借助光学传感器逆着机动车行驶方向地采集启动图像。因此能够有利地控制是否评估规划运动轨迹。尤其是，只有当逆着机动车行驶方向地借助前照灯探测法探测到至少一个前照灯时，才需要评估规划运动轨迹。此外，前照灯探测法能以简单可靠的方式找到和/或检测目标，特别是在低亮度情况下。

优选地，前照灯探测法是如下的方法，该方法设立用于在优选是光学传感器的图像中找到前照灯成像，其中，由此可推断出目标、特别是机动车和/或摩托车的存在。

在一个优选设计中，图像(尤其是第一图像和第二图像，第一图像和第三图像，或者若干图像)以至少20Hz到最多90Hz的采集率被采集。有利地，在至少20Hz到最多90Hz的采集率情况下不需要考虑自身速度和/或所找到的目标的速度来确定进一步的协调控制。

本发明的一个改进方案规定，就是否能开始变道和/或是否可以并入车道评估运动轨迹。

也如此完成该任务，即，提供一种控制装置，其设立用于执行根据本发明的方法或根据其中一个或多个前述实施方式的方法。控制装置最好设计成计算装置、尤其最好是计算机或者控制设备、尤其是机动车控制设备。关于控制装置尤其有已经关于所述方法所解释的优点。

控制装置最好设立用于与选通摄像头、尤其是照明装置和光学传感器有效连接并且设立用于其各自控制。

此外，控制装置最好设立用于与折角传感器有效连接，还最好设立用于其控制。替代地或附加地，控制装置最好设立用于与雷达传感器有效连接且设立用于其控制。替代地或附加地，控制装置最好设立用于与激光雷达传感器有效连接且设立用于其控制。

也如此完成该任务，即，提供一种回望装置，其具有选通摄像头和本发明的控制装置或根据其中一个或多个前述实施方式的控制装置，该选通摄像头具有照明装置和光学传感器。关于回望装置尤其有已经关于所述方法和控制装置所解释的优点。

在一个优选设计中，回望装置还具有折角传感器，其设立用于产生传感器信号，该传感器信号允许推断挂车和/或半挂车是否挡住逆着行驶方向的视线。替代地或附加地，回望装置最好具有雷达传感器，其设立用于估算所找到的目标的速度。替代地或附加地，回望装置最好具有激光雷达传感器，其设立用于估算所找到的目标的速度。

控制装置最好有效连接至选通摄像头、特别是照明装置和光学传感器且设立用于其各自控制。

此外，控制装置最好与折角传感器有效连接且还最好设立用于其控制。替代地或附加地，控制装置最好与雷达传感器有效连接且设立用于其控制。替代地或附加地，控制装置最好与激光雷达传感器有效连接且设立用于其控制。

也如此完成该任务，即，提供一种机动车，其具有根据本发明的回望装置或根据其中一个或多个前述实施方式的回望装置。关于机动车尤其有已经关于所述方法、控制装置和回望装置所解释的优点。

在一个优选设计中，机动车被设计成自主驾驶的机动车。替代地或附加地，机动车最好设计成卡车。但也可行的是机动车被设计成轿车、乘用车辆或其它机动车。

附图说明

以下将结合图来详细解释本发明，其中：

图1是示出第一可见距离区域的机动车实施例的示意图，

图2是示出第一和第二可见距离区域的机动车实施例的示意图，

图3是示出第一和第三可见距离区域的机动车实施例的示意图，

图4示出选通摄像头操作方法的实施例的流程示意图。

具体实施方式

图1示出具有回望装置3的机动车1的实施例的示意图，回望装置设立用于逆着行驶方向5采集图像33。回望装置3具有选通摄像头7和控制装置9。此外，选通摄像头7包括照明装置11(最好是激光器且尤其是VSCE激光器)和光学传感器13(优选是摄像头)。控制装置9在此仅被示意性示出并且以未明确示出的方式有效连接至选通摄像头7、尤其是照明装置11和光学传感器13并且设立用于其各自控制。图1尤其示出照明装置11的照明光锥15和光学传感器13的观察区域17。

此外，第一可见距离区域19.1以阴影线被示出，其作为照明装置11的照明光锥15与光学传感器13的观察区域17的子集而存在。第一可见距离区域19.1具有第一近边界21.1和第一远边界23.1。第一可见距离区域19.1的第一近边界21.1具有距光学传感器13的第一距离25.1。此外，第一可见距离区域19.1具有作为第一近边界21.1与第一远边界23.1之间距离的第一宽度27.1。

在第一可见距离区域19.1内出现目标29、特别是摩托车。借助第一可见距离区域19.1的第一图像33.1来估算第一目标距离31.1。第一目标距离31.1最好借助第一可见距离区域19.1的第一近边界21.1和第一远边界23.1来估算，尤其使用根据德国公开文献DE 102020 002 994 A1的方法。

图2示出具有第一可见距离区域19.1和第二可见距离区域19.2的机动车1的实施例的示意图。

在所有图中，相同的且功能相同的零部件带有相同的附图标记，故参照先前描述。

在图2a)中，在第一可见距离区域19.1内未出现任何目标。特别是，目标29且尤其是摩托车出现在第一可见距离区域19.1外，尤其在第一远边界23.1后方。因此借助第一图像33.1未能找到任何目标。

图1和图2中的第一可见距离区域19.1的位置和第一宽度27.1优选是彼此不同的。或者，图1和图2中的第一可见距离区域19.1的位置和第一宽度27.1最好是彼此相同的。

图2b)示出第二可见距离区域19.2。第一可见距离区域19.1的第一远边界23.1尤其是第二可见距离区域19.2的第二近边界21.2。因此，尤其借助第一可见距离区域19.1和第二可见距离区域19.2以扫描方式观察照明装置11的照明光锥15与光学传感器13的观察区域17的交叉区域。

第二可见距离区域19.2的第二近边界21.2最好具有距光学传感器13的第二距离25.2。此外，第二可见距离区域19.2具有作为第二近边界21.2与第二远边界23.2之间距离的第二宽度27.2。第一宽度27.1与第二宽度27.2最好彼此相同。

在第二可见距离区域19.2内出现目标29、特别是摩托车。借助第二可见距离区域19.2的第二图像33.2来估算第一目标距离31.1。

图3示出具有第一可见距离区域19.1和第三可见距离区域19.3的机动车1的实施例的示意图。

图3a)示出第一可见距离区域19.1。在第一可见距离区域19.1内尤其出现目标29、特别是摩托车。借助第一可见距离区域19.1的第一图像33.1来估算第一目标距离31.1。

图1和图3中的第一可见距离区域19.1的位置和第一宽度27.1优选是彼此不同的。或者，图1和图3中的第一可见距离区域19.1的位置和第一宽度27.1最好是彼此相同的。或者，图2和图3中的第一可见距离区域19.1的位置和第一宽度27.1最好是彼此不同的。或者，图2和图3中的第一可见距离区域19.1的位置和第一宽度27.1最好是彼此相同的。

图3b)示出第三可见距离区域19.3。第三可见距离区域19.3的第三近边界21.3优选具有距光学传感器13的第三距离25.3。此外，第三可见距离区域19.3具有作为第三近边界21.3与第三远边界23.3之间距离的第三宽度27.3。此外，第三宽度27.3最好小于第一宽度27.1。特别是，第三可见距离区域19.3按下述方式被选择，即，所找到的目标29位于第三可见距离区域19.3内。

借助第三可见距离区域19.3的第三图像33.3来估算第二目标距离31.2。

在图1、图2和图3中，控制装置7尤其设立用于执行选通摄像头7操作方法并评估机动车1的规划运动轨迹。

图4示出选通摄像头7操作方法的实施例的流程示意图。

在第一步骤a)中，可见距离区域19被分配给协调控制，尤其是将第一可见距离区域19.1分配给第一协调控制。此外，借助协调控制，逆着机动车1行驶方向5地采集可见距离区域19的图像33，特别是借助第一协调控制来采集第一可见距离区域19.1的第一图像33.1。

在第二步骤b)中，借助图像33、尤其是通过第一图像33.1来搜寻目标29。

如果找到目标29，则在第三步骤c)中将目标距离31、特别是第一目标距离31.1估算为所找到的目标29与光学传感器13之间的距离。

在第四步骤d)中，基于目标距离31、特别是第一目标距离31.1来评估机动车1的规划运动轨迹。运动轨迹最好就是否能开始变道而被评估。替代地或附加地，运动轨迹优选就是否可以并入车道而被评估。

如果在第二步骤b)中未找到目标29，则在该方法的优选实施例中重新以第一步骤a)开始。优选在第一步骤a)的重新执行中将第二可见距离区域19.2分配给第二协调控制。此外，优选借助第二协调控制，逆着机动车1行驶方向5地采集第二可见距离区域19.2的第二图像33.2。随后，优选在第二步骤b)的重新执行中借助第二图像33.2搜寻目标29。如果在第二步骤b)的第二次执行中识别到目标29，则优选按照第二图像33.2估算目标距离31、特别是第一目标距离31.1。如果在第二步骤b)的重新执行中又没有找到目标29，则该方法最好能重新以第一步骤a)开始。

在另一优选设计中，第一步骤a)在第三步骤c)之后重新进行。优选在重新进行第一步骤a)时如此确定第三协调控制，即，第一目标距离31.1位于分配给第三协调控制的第三可见距离区域19.3内。优选地，第三可见距离区域19.3的第三宽度27.3小于第一可见距离区域19.1的第一宽度27.1。此外，优选借助第三协调控制而逆着机动车1行驶方向5地采集第三可见距离区域19.3的第三图像33.3。随后，优选在第二步骤b)的重新执行中借助第三图像33.3搜寻目标29、特别是所述目标29且尤其是摩托车。如果找到目标29，则第二目标距离31.2在重新执行第三步骤c)时被估算为所找到的目标29、特别是摩托车与光学传感器13之间距离。随后在第四步骤d)中基于第一目标距离31.1且还基于第二目标距离31.2来评估机动车1的规划运动轨迹。

在可选的第五步骤e)中，优选在第三步骤c)之前借助雷达传感器和/或激光雷达传感器查明所找到的目标29的速度。

优选在第二步骤b)中借助图像33(它特别是选自第一图像33.1、优选还有第二图像33.2且优选还有第三图像33.3)将所找到的目标29分配给对应的车道。或者，优选在第三步骤c)中借助图像33(它特别是选自第一图像33.1、优选还有第二图像33.2且优选还有第三图像33.3)将所找到的目标29分配给对应的车道。

在可选的第六步骤f)中，优选借助光学传感器13在尤其没有借助照明装置11照明的情况下与机动车1行驶方向5相反地最好在第一图像33.1之前采集启动图像35。此外，优选在启动图像35中借助前照灯探测法来搜寻目标29。

优选在第二步骤b)中在第一图像33.1中借助前照灯探测法来搜寻目标29。替代地或附加地，优选在第二步骤b)中在第二图像33.2中借助前照灯探测法来搜寻目标29。替代地或附加地，优选在第二步骤b)中在第三图像33.3中借助前照灯探测法来搜寻目标29。