掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本发明涉及用于校准后视相机的方法,以及车辆、尤其是商用车辆,车辆具有用于执行方法的后视相机。

背景技术

具有驾驶辅助系统的车辆、尤其是商用车辆,根据不同的应用可以具有不同的传感器,例如相机或相机系统,用它们可以拍摄规定的探测区域内的车辆周围环境。然后,可以将相机系统中产生的表征所拍摄的周围环境的图像数据考虑用于评估当前的驾驶状况。为了确保可以可靠地实现这一点,必须对相机系统或该相机系统的探测区域进行相应取向,以便可以拍摄到所期望的环境。

迄今的在驾驶辅助系统的领域内应用的相机系统要么在出厂时就被牢固地安装在各自的车辆中,从而几乎可以排除相机的有欠缺的取向,要么相机系统、特别是改装解决方案只被用于显示图像,而不用于自动化的驾驶动作,从而有欠缺的取向就不是很严重的。

尤其是在倒车行驶辅助的范围内使用的例如在牵引车辆/机动车(Motorwagen)、挂车或半挂车上的后视相机必须精确校准,以便确保整个驾驶辅助系统的功能性。后视相机在此是对准车辆后方的后向区域的相机,其中,这例如对于倒车行驶辅助是必要的。只有当后视相机被按规定校准并且在其取向方面也并不随时间变化时,才可能实现对后向区域内的对象探测的尽可能最大的准确性。如果校准有欠缺,例如由于相机被无意扭转,而可能会出现错误探测,这结合自动驾驶可能会导致不希望的对安全机制的错误触发。

传感器的自动校准例如对于雷达系统来说是常见做法。对于相机系统来说,该步骤要复杂一些,这是因为不能直接测量距离(如到地平面的距离),并且因此必须动用更复杂的算法来例如识别参考对象(如地平面或自己的车辆)。特别是在改装系统中和在从车辆探伸出来的部件中,存在着相机无意发生位移或扭转的风险,这是因为相机与车辆没有固有连接。

EP 2 237 224 B1中描述了一种用于借助标记物来校准相机的方法。标记物在此被安置在车辆之外,并且系统是被手动调整的。在EP 2416 558A1和EP 3 125 196 B1中也描述了标记物,以便调整车辆上的相机,其中,标记物位于车辆之外。这种校准是很耗费的,并且只能依赖于地点来执行,其中,还必须执行特定的驾驶动作用来校准。

在M、N级的车辆中,由于法律情况的变化,使得需要具有后视相机的驾驶辅助系统。这在将来也可能扩展到O级。因此,对于此类车辆来说必须确保对各自的后视相机的安全和可靠校准。此类车辆还可能包括用于改善空气动力学的可展开的附件,其中,此类空气动力学附件或空气导流构件例如在US 2016/304137A1,US 7 008 005 A1,EP 3 013 671A1和US 2016/318559A1中描述。

发明内容

本发明的任务是说明一种用于校准后视相机的方法,利用该方法可以在任意的驾驶状况下确保对后视相机的简单且可靠的校准。本发明的另外的任务是说明一种车辆。

该任务通过根据独立权利要求的方法和车辆来解决。从属权利要求说明优选的改进方案。

因此,根据本发明,设置有一种用于校准车辆上的后视相机、即对准车辆后方的后向空间的相机的方法。在此,后视相机相对于车辆位于特定的相机姿态中,其中,相机姿态由例如在相对车辆固定的坐标系中或任意的世界坐标系中相机在优选三个旋转自由度中的定向和相机在优选三个平移自由度中的定位来说明。

车辆具有能够被调节、尤其是能够展开或移出的至少一个构件(能调节的构件),例如空气导流构件,尤其是上部和/或侧向的空气导流罩。该至少一个构件可以被调节到至少一个校准位置中,并且在该至少一个构件上布置有至少一个标记物,使得在该至少一个构件被调节到至少一个校准位置后,标记物位于后视相机的探测区域内。在此,例如将面式的、即圆的或有棱角的或十字形的结构理解为标记物,并且标记物可以是单色的或多色的,并且标记物也可以被相机清楚地识别为各自构件上的限定的结构。

在此,能够被调节的部件被理解为与车辆连接的、能够相对于车辆进行调节,例如展开、枢转、移动等的构件。特别地,空气导流构件被理解为车辆上的可以实现特定的空气导流功能的构件,其中,当空气导流构件移出或展开时,气流绕流过车辆、尤其尾部,由此能够实现更平稳且更有效的行驶,并且在例如>60km/h的高速行驶的情况下可以实现燃油节约。

在激活校准模式或可选地检查校准模式是否被激活并且必要时获知至少一个构件、例如空气导流构件是否处于校准位置中之后,在根据本发明的方法中至少执行以下步骤:

-读取后视相机的图像信号,其中,后视相机的检测区域对准车辆后方的后向空间,使得在至少一个构件处于校准位置期间,所读取的图像信号表征车辆后方的后向空间的成像;

-读取至少一个标记物定位,其中,在各自的构件处于校准位置期间,给每个所读取的标记物定位配属各自的构件上的标记物;

-根据图像信号或依赖于图像信号,或根据车辆后方后向区域的成像,获知至少一个图像定位,其中,在各自的构件处于校准位置期间,给每个所获知的图像定位配属各自的构件上的标记物;

-依赖于某一标记物的所读取的标记物定位和同一标记物的所获知的图像定位来校准后视相机。

通过该方法有利地实现了,可以将直接与车辆连接的能调节的构件有针对性地带引到校准位置中,以便可以以该方式与地点无关地全自动化地且以较少耗费地执行对相机的校准。另外的优点由如下得出,即,可以将存在于车辆上的至少在某些驾驶状况下、例如在较高的车速下总归都处于后视相机的检测区域内的空气导流构件用作用于校准后视相机的能调节的构件。有利地,在需要使用后视相机的低车速下,空气导流构件通常总是被收回,即不碍事,而在通常不需要使用后视相机的高车速下,空气导流构件被展开。在这种空气导流构件总归要展开或收回以便满足各自的空气导流功能的驾驶状况下,被施加在它们上的标记物可以以简单的方式被用于自动化校准。因此,空气导流构件可以有利地履行双重功能。

对后视相机的校准在此被理解为寻找规则、例如几何规则,或寻找现有系统的几何特征,用它们可以将从图像信号获知的标记物的图像定位尽可能准确地转移到真实状况或场景中。由此,使得由相机检测到的环境中的对象可以以明确的方式相对于车辆进行定方位,例如用于辅助功能中。

由于在各自的校准位置时各自的构件上的标记物的标记物定位可以容易地被知晓或确认,所以校准可以根据经由从所拍摄的成像中检测到的标记物定位进行的几何观察以简单的方式来自动化地执行。由此不需要特殊的驾驶动作来校准后视相机,并且也不需要人工干预校准。由此可以与地点无关地、全自动化地且以较少耗费地执行校准方法。

在此优选设置的是,根据针对某一标记物所读取的标记物定位和同一标记物的所获知的图像定位来获知作为“几何规则”的变换矩阵和/或后视相机(例如相对于车辆)的相机姿态,使得经由变换矩阵和/或依赖于相机姿态将标记物的图像定位变换到所读取的标记物定位或通过几何上的考虑进行转换。因此,可以通过相应的数学方法或几何观察,以简单的方式进行校准。

为此,优选可以设置的是,标记物的所获知的图像定位以图像坐标说明,并且依赖于所获知的变换矩阵和/或所获知的相机姿态将标记物的图像坐标变换成在笛卡尔坐标系、优选相对车辆固定的笛卡尔坐标系或与车辆无关的世界坐标系中的经变换的图像坐标,其中,优选同样在笛卡尔坐标系中说明同一标记物的标记物定位。以该方式可以应用简单的变换,其中,该变换也可以用于后续使用的辅助功能。

此外优选设置的是,获知后视相机的所获知的相机姿态与预给定的相机目标姿态之间的偏差,并且在超过该偏差的规定的边界值时,对后视相机进行调校,使得该偏差减少,其中,优选补偿该偏差。

经由某一标记物的所读取的标记物定位和同一标记物的所获知的图像定位,不仅可以(必要时经由变换矩阵)获知或估计当前相机姿态,而且也可以确认出过高的偏差。为了确保即使在这种情况下也可靠地使用经过校准的相机来实现相应的辅助功能,可以随后对相机姿态进行相应的修正或调校,其中,这方面优选在校准后视相机之前进行,以便可以随后动用经过调校和校准的相机的图像信号。

为此优选设置的是,在超过边界值时调节后视相机,以便使所获知的相机姿态接近于相机目标姿态,其中,为此依赖于后视相机的所获知的相机姿态与预给定的相机目标姿态之间的所获知的偏差地产生并输出调校信号,其中,利用调校信号驱控与后视相机协同作用的相机致动器,使得后视相机的相机姿态得到调节。因此能够实现完全自动化的调校。然而,原则上,该调校也可以手动或半自动化地进行。

此外,为了实现完全或部分自动化,尤其设置的是,至少一个构件、例如空气导流构件可以与至少一个标记物一起被例如经由构件致动器自动化地调节。

在此优选还设置的是,设置有至少两个构件,例如空气导流构件,例如在左边和右边或在侧向和上方,其中,共同地或单独地(也就是彼此无关地)将至少两个构件带引到校准位置中以用于校准后视相机。由此可以避免在校准模式被激活时有个别构件进入后视相机的检测区域内,即使其恰好被用于任意某个辅助功能。如果同时需要进行校准,则可以经由在与各自应用相关的区域内恰好不遮挡后视相机的视线的一个或多个构件来进行这一点。

此外优选设置的是,可以在第一最终位置与第二最终位置之间无级地或逐步地调节至少一个构件、例如空气导流构件,其中,至少一个构件在校准位置中处于第一最终位置与第二最终位置之间的中间位置中,或者处于第一最终位置中,或者处于第二最终位置中。

以该方式可以提高灵活性,这是因为各自的构件必要时可以与另外的构件无关地被带引到中间位置中。在空气导流构件的情况下,该空气导流构件在中间位置中仍可以履行其空气导流功能,但同时仍然也有助于校准功能,并且不损害各自的驾驶辅助功能。

此外优选设置的是,可以将至少一个构件、例如空气导流构件带引到不同的校准位置中,其中,在该情况下,给该至少一个构件上的每个标记物配属多个标记物定位,其中,给各自的标记物的每个标记物定位配属不同的校准位置之一,从而可以依赖于某一标记物的针对分别调整出的校准位置的被读取的标记物定位和同一标记物的被获知的图像定位对后视相机进行校准。

由此可以进一步提高灵活性,这是因为针对构件的不同校准位置也是可能的,其中,也可以通过调整出不同的校准位置对校准进行可信度检查,例如在不利的照明条件或被污染的情况下。对此补充地,针对其他描述的构造方案还可以设置的是,在根据不同构件上的不同的标记物进行校准之前,对确认的偏差进行可信度检查。

此外优选可以设置的是,一旦校准模式被激活,在读取后视相机的图像信号之前,例如通过构件致动器将至少一个构件自动地带引到校准位置中,或者进行等待,直到以其他方式将至少一个构件带引到校准位置中,其中,在空气导流构件的情况下,例如依赖于车辆的车速地将构件自动化地调节到校准位置中,例如在车速大于60km/h时,以便实现空气导流功能。以该方式,在一个变体中,可以激活校准模式后进行等待,直到以其他方式激活例如车辆中的空气导流功能,并且然后将空气导流构件自动带引到校准位置中,其中,该校准位置就相应于例如展开或移出的最终位置。另一方面,也可以设置对各自的构件的主动调节,其中,在空气导流构件的情况下,例如当强制需要进行校准时,必要时也可以覆盖掉基于空气导流功能的调整。

根据本发明,还设置一种车辆,尤其是商用车辆,其具有校准组件和后视相机,其中,后视相机位于相对于车辆的相机姿态中,其中,校准组件具有:

-处理单元,处理单元被构造成执行根据本发明的用于校准后视相机的方法,和

-能调节的至少一个构件,例如空气导流构件,其中,至少一个构件可以被调节到校准位置中,并且在至少一个构件上布置有至少一个标记物,使得在至少一个构件被调节到校准位置中时标记物位于后视相机的检测区域内,其中,后视相机的检测区域对准车辆后方的后向空间。因此,该方法可以例如应用在M、N或O级的车辆中,在该车辆中通常布置有后视相机,或者将来很可能布置后视相机,并因此也必须进行校准。

在此优选设置的是,车辆是单节式的,尤其是由机动车构成,或者是多节式的,尤其是由牵引车和半挂车构成,或者类似地由机动车与至少一个(牵引杆式)挂车构成。

此外优选设置的是,后视相机被布置在半挂车的半挂车尾部和/或在牵引车的牵引车尾部或在机动车的机动车尾部。以该方式可以从不同的定位实现对后向空间的监控,这些定位对于借助构件(例如空气导流构件)进行校准来说也是能接近的。

此外优选设置的是,车辆具有驾驶辅助系统,例如倒车行驶辅助,其中,驾驶辅助系统被构造成读取并处理经校准的后视相机的图像信号,即借助于例如分别获知的变换矩阵和/或所获知的相机姿态校准的后视相机的图像信号。

附图说明

下文根据实施例对本发明进行更详细的解释。其中:

图1示出具有后视相机和根据本发明的校准组件的车辆;

图2a、2b示出处于根据本发明的校准组件的不同位置中的相机的图像;以及

图3示出根据本发明的方法的流程图表。

具体实施方式

下文描述的系统原则上可以用于单节式车辆1,例如机动车1e,或用于两节式或多节式车辆1,例如具有至少一个挂车的机动车1e或具有至少一个半挂车1b的半挂牵引车。示例性地,下文将根据图1中示意性示出的两节式半挂牵引车(牵引车1a、半挂车1b)来描述本发明,其中,在半挂车1b的半挂车尾部1c的区域中存在后视相机2。在机动车1e的情况下,后视相机2a相应地例如被布置在机动车尾部1f处。

后视相机2具有检测区域E,该检测区域至少对准车辆1后方的或半挂车1b后方的后向空间R。补充或替选地,在根据图1的半挂牵引车中,也可以在牵引车1a的牵引车尾部1d的区域中设置后视相机2。该后视相机2于是同样具有使其检测区域E至少对准车辆1后方的后向区域R的特性。在各自的尾部1c、1d处也可以存在一个以上的后视相机2。在单节式车辆1中,后向区域R相应地位于机动车1e后方的尾部侧,布置在其上的后视相机2被相应取向。

给后视相机2配属相机姿态P2,其中,该相机姿态P2由相机2在固定的坐标系中的定向(由三个旋转自由度给出)和定位(由三个平移自由度给出)得到。例如,相机姿态P2在此可以在任意的相对车辆固定的坐标系K1中以笛卡尔坐标xK、yK、zK说明。然而,原则上,也可以选择任意其他与车辆相关或与车辆无关的坐标系作为坐标系。

后视相机2以任意方式与驾驶辅助系统3连接或者是其一部分,其中,驾驶辅助系统3例如被构造成依赖于由各自的后视相机2输出的图像信号S1实施自动化的驾驶动作,尤其是倒退的驾驶动作。然而,驾驶辅助系统3也可以被构造成根据图像信号S1来产生叠加(Overlay)信号S2,该叠加信号例如包含行驶路径(Fahrschlauch),以便通过对图像信号S1补充或扩展地在监视器5上显示叠加信号S2对驾驶员进行辅助。图像信号S1在此传输车辆后方的后向空间R的成像A,或者可以从图像信号S1中提取后向空间R以进行进一步处理。图2a、2b中示例性地示出了来自半挂车尾部1c上的后视相机2的成像A。然而,原则上,即使后视相机2布置在机动车1e的机动车尾部1f的情况下也得到类似的成像A。

依赖于各自的后视相机2的图像信号S1地,具有例如倒车行驶辅助3a的驾驶辅助系统3可以在倒车行驶过程中以已知的方式支持驾驶员或自动化地执行倒车行驶。为此,例如,监视器5可以被布置在牵引车1a的乘客舱4中,以便向驾驶员直观地呈现从图像信号S1中提取的成像A,必要时还补充了叠加信号S2,例如行驶路径或类似信号。

为了可以可靠地执行每个辅助功能,有必要将由后视相机2检测到的在成像A或图像信号S1中经由相应的图像坐标xA、xB描述的对象转移到相对车辆固定的坐标系K1(或任意的世界坐标系)中。转移或变换例如经由变换矩阵T进行,该变换矩阵将各自的检测到的对象的所获知的图像坐标xA、xB变换到相对车辆固定的坐标系K1(或世界坐标系)中。为此,从图像坐标xA、xB经由变换矩阵T变换的图像坐标Xt、Yt、Zt例如在相对车辆固定的坐标系K1中获知。

因此借助变换矩阵T可以明确确定所检测到的对象相对于车辆1的位置,并且可以做出相应的反应或辅助。变换矩阵T在此与相机姿态P2有关,即与相机2在车辆1上或在空间中的位置有关。变换矩阵T例如是3×4矩阵,它由3×1的平移矢量和3×3的旋转矩阵组成,并因此它与相机姿态2(三个平移自由度和三个旋转自由度)相当。

由于变换矩阵T或相机姿态P2并不总是明确已知,因此有必要例如在安装后视相机2之后对后视相机2进行校准。通过校准,可以获知与当前状况相关的变换矩阵T,或者与之相当(见上文)的相机姿态P2。由于后视相机2在车辆1的运行中也可能被调节,使得此类校准以定期间隔进行是可取的,以便可以对可能改变的相机姿态P2做出反应。因此,连续或以规定的时间间隔获知当前相关的变换矩阵T(或产生的相机姿态P2),随后可以对其进行动用以用于各自的辅助功能。

为了在装配后也仍然可以连续地校准各自的后视相机2,并且可选地在随后的调校中使检测区域E最佳地对准后向空间R,车辆1具有校准组件10,根据本发明,该校准组件由能就其在车辆1上的定位进行调节的至少一个构件14以及至少一个在构件表面上施加的例如形式为面式的圆的和双色(黑色、白色)测量标记物的标记物17组成。然而,该面式的标记物17也可以多边形、十字形或任意其他形状和颜色的方式存在。

在下文中,本发明根据能调节的空气导流构件15,例如侧向的空气导流罩15a和/或上部的空气导流罩15b,作为能调节的构件14来描述。然而,原则上也可以考虑其他能调节的、例如能展开的或能移出的构件14,它们以任意方式与车辆1连接,并且它们只针对相机2的校准或其他功能而存在。下文描述的与校准相关的功能按意义也适用于此类构件14。

校准组件10的至少一个空气导流构件15如后续将描述的那样位于各自的后视相机与后向空间R之间,从而使得至少一个空气导流构件15的一部分、尤其是标记物17可以被后视相机2至少视情况而定地、即至少在各自的空气导流构件15的预先确定的位置X中被检测到。

为此,空气导流构件15能在第一最终位置X1与第二最终位置X2之间无级地或逐步被调节,其中,调节可以通过枢转或折叠(收回/展开)或通过位移或移动(缩回/移出)空气导流构件15来实现。图中示例性地示出了经由能调节的摆动臂16枢转空气导流构件15。通过空气导流构件15的不同位置X可以实现特定的空气导流功能,其中,当空气导流构件15移出或展开时(在此:第二最终位置X2),气流绕流过车辆1、尤其是绕流过各自的尾部1c、1d,由此能够实现更平稳和更有效的行驶并且在例如>60km/h的车辆高速行驶时可以实现燃油节约。相反,在空气导流构件15缩回或收回时(在此:第一最终位置X1),不能够实现该空气导流功能,其中,优选是在低车速v1下是这种情况。根据空气导流构件15的构造,在两个最终位置X1,X2之间原则上还可以存在中间位置XZ,各自的空气导流构件15可以被固定在这些中间位置中。

标记物17以如下方式被施加在各自的能调节的空气导流构件15上,即,使得在空气导流构件15的至少一个位置X中(即在至少一个规定的校准位置XK中),标记物17位于相机2的检测区域E中。在此设置的是,在校准模式M下(即当设置对后视相机2的校准时),调整出或能够调整出相关的空气导流构件15的至少一个规定的校准位置XK。

在此,尤其要注意的是,只有当针对各自的辅助功能,例如倒车行驶辅助3a,恰恰不应对后向空间R进行尽可能大面积的拍摄时,具有标记物17的能运动的车辆构件15才在校准模式M中或在至少一个规定的校准位置XK中覆遮挡后向空间R的相关区域。因此,在校准模式M中,各自的辅助功能应尽量不受空气导流构件15的位置X损害。

在图2a、2b的变体中,半挂车尾部1c处的空气导流构件15就是这种情况,其中空气导流构件15位于第二最终位置X2中(完全移出,展开)并且例如设置有倒车行驶辅助3a,从而在校准模式M中可以调整出第二最终位置X2作为校准位置XK。在该第二最终位置X2中,通过后视相机2能清楚地识别到施加在表面上的标记物17,其中,图2a、2b中的畸变的图示是由于后视相机2被实施成所谓的鱼眼相机所造成的结果。此外,空气导流构件15通常只在车辆高速行驶v1时被带引到该第二最终位置X2中。然而,在倒车行驶辅助3a中,后视相机2只在低车速v1时使用,在该低车速中,空气导流构件15被调节到第一最终位置X1中,并因此不再覆盖与倒车行驶辅助3a相关的后向空间R的区域。

补充地还可以设置的是,根据应用或辅助功能,校准组件10的空气导流构件15并非全部用于对后视相机2的校准。如果后向区域R例如仅在左侧区域被辅助功能监控,则当校准模式M被激活时,仅右侧的空气导流构件15(右侧向的和/或上部的空气导流罩15a、15b)可以被带引到各自的校准位置XK中,以便不遮挡相机2的检测区域E的左侧区域。补充地,依赖于驾驶状况地,如果具有空气导流构件15的校准组件10能够实现调整出这些中间位置XZ,就可以为个别或所有空气导流构件15有针对性地选择两个最终位置X1、X2之间的中间位置XZ作为校准位置XK。然而,在该情况下,当可以明确地鉴别出各自的空气导流构件15在各自的中间位置XZ中的定位,以便可以从中推断出各自的空气导流构件15上的标记物17的准确的标记物定位PM17时,则对后续的校准是有帮助的。

此外,如图2a中所示,也可以设置的是,只有侧向的空气导流罩15a(一个或两个)被带引到其各自的校准位置XK中,而上部的空气导流罩15b保持在其第一最终位置X1(收回),以便可以在校准期间至少部分地检测后向空间R。例如,在如下辅助功能中可能是这样的情况,在该辅助功能中,当以较高的车速v1行驶时需要后视相机2(进行环境监控),并且同时应进行对后视相机2的校准。在该情况下,在较高的车速v1>60km/h时,上部的空气导流罩15b并不自动被带引到第二最终位置X2中,而只有侧向的空气导流罩15a(一个或两个)被自动带引到第二最终位置X2中。因此,在校准模式M被激活时,空气导流构件15也可以视情况而定彼此无关地被带引到它们的校准位置XK(第二最终位置X2或中间位置XZ)中。

原则上,当标记物17以其在校准模式M被激活的情况下都可以被后视相机2安全且可靠地检测到的方式定位在空气导流构件15上时,则也可以在校准模式M中调整出各自的空气导流构件15的第一最终位置X1(收回、缩回)作为校准位置XK。然而,在大多数情况下,空气导流构件15在第一最终位置X1中被折叠或缩回到以至于使得标记物17不能完全或清楚地和/或由于亮度低而难以感知到。

如果后视相机2位于牵引车尾部1c处,则位于相机2与后向空间R之间的空气导流构件15可以作为校准组件10的组成部分例如位于半挂车1b的车体1d上。此类车体侧的空气导流罩15c在相应的实施方案中也可以被调节到第一最终位置X1(缩回、收回)和第二最终位置X2(移出、展开)中。因此,对后视相机2的校准也可以用这些空气导流罩来进行,其中,于是根据后视相机2的定位,在校准模式M中选择各自车体侧的空气导流构件15c的校准位置XK,使得确保标记物17的良好可见性。例如,在第一最终位置X1中就是这种情况,在该第一最终位置中,车体侧的空气导流构件15c与半挂车1b的车体1g大致平行或呈锐角,并因此可以可靠地被后视相机2感知以进行校准。

为了对后视相机2进行校准,校准组件10还具有处理单元19。处理单元19被构造成拍摄和评估后视相机2的图像信号S1,其中,可以尤其从图像信号S1获知空气导流构件15上的检测到的标记物17的图像定位PB17。此外,处理单元19被构造成至少针对校准位置XK读取空气导流构件15上的标记物17的标记物定位PM17。

标记物17的标记物定位PM17在此说明了各自的标记物17在空气导流构件15的被考虑的位置X中、优选是在校准位置XK中在车辆1上或在相对车辆固定的坐标系K1中定位在何处,其中,针对每个标记物17的标记物定位PM17可以以能读取的方式存储在车辆的任意的存储单元中。为此,标记物17的标记物定位PM17优选通过相对固定的坐标系K1中的标记物坐标x17、y17、z17来说明,经由该相对车辆固定的坐标系还确认了相机姿态P2。

检测到的标记物17的图像定位PB17通过成像A中的图像坐标xA、xB说明,即各自的标记物17在当前相机姿态P2中被后视相机2拍摄到并呈现在成像A中的定位。图像定位PB17在此可以从图像信号S1获知。

此外可以设置的是,处理单元19可以检测和/或也可以主动调整或影响校准组件10的空气导流构件15的位置X。在后视相机2被相应实施的情况下,处理单元19还被构造成促使相机姿态P2变化,例如,让后视相机2扭转,以便在确认调节时对该后视相机重新调校。

处理单元19在此可以作为独立的单元只作为校准组件10的组成部分来设置,或作为驾驶辅助系统3的或后视相机2的或车辆中任意的其他系统的组成部分来设置。处理单元19在此可以以硬件(扩展)的形式存在,或者也可以以软件或被安装在相应的系统上的计算机程序产品的形式存在。

根据图3,利用这种描述的结构,例如可以在处理单元19中执行以下用于校准后视相机2的方法:

在初始步骤ST0中,由处理单元19首先检查校准模式M是否已被激活,或校准模式M是否将被激活。这可以在规定的时间间隔内进行,或者也可以基于校准后视相机2或查验对该后视相机的校准的主动指令来进行。此外,在校准组件10的空气导流构件15恰好处于校准位置XK中时也可以自动激活校准模式M。

在第一步骤ST1中,在校准模式M被激活时,获知车辆1上的至少一个空气导流构件15是否处于校准位置XK中。如果不是这种情况,则在中间步骤ST1.1中,要么等待,直到通过车辆1中的任意系统将至少一个空气导流构件15调节到校准位置XK中,要么产生并输出调节信号S4,依赖于该调节信号地经由任意构件致动器21将至少一个空气导流构件15带引到校准位置XK中。在第一变体中,例如可以等待直到车速v1时,在该车速中,空气导流构件15通常自动被带引到第二最终位置X2中作为校准位置XK。在第二变体中,可以尤其如图2a和2b描述的那样对一个或多个空气导流构件15进行有针对性的调节。

在第二步骤ST2中,用后视相机2检测后向空间R,并由处理单元19读取所拍摄到的图像信号S1。这尤其是在其中至少一个空气导流构件15位于各自的校准位置XK中时进行。

在第三步骤ST3中,由处理单元19读取一个或多个标记物定位PM17,其中,给每个标记物定位PM17配属在各自的空气导流构件15上的标记物17。同时,给标记物17的每个标记物定位PM17配属各个的空气导流构件15的校准位置XK。由此可以推断出,在特定的调整出的校准位置XK下各自的标记物17在空间内或在相对车辆固定的坐标系K1中(或在固定的世界坐标系中)位于哪个标记物定位PM17处。

在第四步骤ST4中,由处理单元19根据图像信号S1或后向空间R的成像A获知一个或多个图像定位PB17,其中,给图像定位PB17配属在各自的空气导流构件15上的标记物17。

因此,在步骤ST3和ST4(也可以以其他顺序执行)之后,可以给每个检测到的标记物17既配属图像定位PB17也配属标记物定位PM17。如果相机姿态P2自上次校准以来没有改变,则迄今配属于相机姿态P2的变换矩阵T必将检测到的标记物17的图像定位PB17几乎准确地变换成笛卡尔坐标系K1中的标记物定位PM17。在该情况下,标记物17的标记物坐标x17、y17、z17必与同一标记物17的变换后的图像坐标xT、yT、zT大致相一致。

然而,为了避免在相机2的(非)有意调节时,图像坐标xA、xB向相对车辆固定的坐标系K1的这种变换出现错误,在第五步骤ST5中设置了重新校准。

为此,处理单元19被构造成:针对当前状况(即针对当前存在的相机姿态P2)从某一检测到的标记物17的所获知的图像定位PB17和同一标记物17的所读取的标记物定位PM17中获知当前的变换矩阵T(或直接获知与之相关联的相机姿态P2),并以此来校准后视相机2。然后,该变换矩阵T针对当前状况说明:根据哪个几何规则,将被成像的标记物17的图像定位PB17转移到相对车辆固定的坐标系K1中。如果相机姿态P2自上次校准以来没有变化,则该变换矩阵T与迄今存储的变换矩阵T相一致。于是校准就保持不变。

如果各自的空气导流构件15可以被带引到两个最终位置X1,X2之间的不同的校准位置XK中,那么在步骤ST3中读取标记物定位PM17和步骤ST4中读取图像定位PB17时都必须考虑到这一点。在此,尤其是当获知图像定位PB17时,必须获知各空气导流构件15是否实际上已经处于各自的校准位置XK(见步骤ST1),其中,这可以通过各自的部件致动器21的反馈来进行或通过图像处理措施来进行,在图像处理措施中例如根据图像信号S1确认各自的空气导流构件15是否仍在运动。

为了还能定量地获知后视相机2的调节或相机姿态P2的变化,可以在第六步骤ST6中设置的是,从在第五步骤ST5中获知的变换矩阵T中估计相对车辆固定的坐标系K1中的当前相机姿态P2,并将该相机姿态与事先规定的相机目标姿态P2Soll进行比较。如果当前相机姿态P2和相机目标姿态P2Soll之间的偏差D超过事先规定的边界值GW,则可以设置对后视相机2进行调校。

然而,原则上,在步骤ST6中也可以以其他方式来确认与相机目标姿态P2Soll的过大的偏差,例如也可以通过检查后向空间R或预定数量的标记物17是否在相机2的焦点内来确认。

通过随后的调校,后视相机2可以被调节到接近相机目标姿态P2Soll的相机姿态P2中,以便完全或很大程度上补偿所确认的偏差D,并再次将后视相机2调校成正确地朝向后向空间R。为此,在第一子步骤ST6.1中可以设置的是,主动调节车辆1上的后视相机2的相机姿态P2,例如经由相机致动器23来调节,该相机致动器被构造成枢转或调节后视相机2。为此,处理单元19例如可以产生调校信号S5,并以此来驱控相机致动器23,以便补偿所确认的偏差D。这可以依赖于精确获知的偏差D通过一次性的有针对性的驱控来进行或通过调节回路来进行。

随后在第二子步骤ST6.2中,根据上述原则为新调校的相机2获知变换矩阵T和/或相机姿态P2,以便相应地校准相机2,从而使得各自的驾驶辅助系统3能够将检测到的对象的图像坐标xA、xB针对该新调校的相机姿态P2变换到相对车辆固定的坐标系K1中。

然后在第七步骤ST7中,可以将在第五步骤ST5中和/或在第二子步骤ST6.2中获知的变换矩阵T进行存储和/或经由校准信号S3输出,例如输出给驾驶辅助系统3。利用该变换矩阵T,各自的图像处理系统、例如驾驶辅助系统3、尤其是倒车行驶辅助系统3a可以进一步处理由相机2输出的图像信号S1,并因此精确定位检测到的对象并依赖于此地进行相应辅助。

为了改善校准的准确性,获知变换矩阵T的标记物17的数量应被相应选择得高,主要是因为一些标记物17也可能被污物遮挡。通过在多个空气导流构件15上的标记物17还可以对校准进行可信度检查。因此,即使当其中一个空气导流构件15例如被卡住或所施加的标记物17被遮挡或弄脏时,也仍可以发生可靠的校准。这同样适用于随后的调校。

利用所述方法,因此可以以简单且可靠的方式对后视相机2进行自动化校准(必要时随后对相机2进行主动调节(调校)),这与车辆1的地点无关,并且根据应用和实施方案,也与车辆1的驾驶状况无关。对于这种校准和必要时的调校来说同样不需要驾驶员,这是因为这可以完全自动化地发生。

附图标记列表(说明书的一部分)

1  车辆

1a  牵引车

1b  半挂车

1c  半挂车尾部

1d  牵引车尾部

1e  机动车

1f  机动车尾部

1g  半挂车1b的车体

2  后视相机

3  驾驶员辅助系统

3a  倒车行驶辅助

4  乘客舱

5  监视器

10  校准组件

14  构件

15  空气导流构件

15a  侧向的空气导流罩

15b  上部的空气导流罩

15c  车体侧的空气导流罩

16  摆动臂

17  标记物

19  处理单元

21  构件致动器

23  相机致动器

A  成像

D  偏差

E  检测区域

GW  边界值

K1  笛卡尔坐标系

M  校准模式

P2  相机姿态

P2Soll  相机目标姿态

PB17  标记物17的图像定位

PM17  标记物17的标记物定位

R  后向空间

S1  图像信号

S2  叠加信号

S3  校准信号

S4  调节信号

S5  调校信号

T  变换矩阵

v1  车速

xA、xB  图像坐标

xT、yT、zT  变换后的图像坐标

x17、y17、z17  标记物坐标

xK、yK、zK  笛卡尔坐标系K1的坐标

X  构件14/空气导流构件15的位置

X1  第一最终位置(收回、缩回)

X2  第二最终位置(展开、移出)

XK  校准位置

XZ  中间位置

ST0、ST1、St1.1、ST2、ST3、ST4、ST5、ST6、ST6.1、ST6.2、ST7  方法的步骤

相关技术
  • 用于光场三维粒子图像重构的光场相机校准方法
  • 用于自主车辆操作的校准验证方法
  • 用于自主车辆操作的校准方法
  • 用于确定车辆无线相机等待时间的系统和方法
  • 基于TOF的车辆后视切换装置、方法及可读存储介质
  • 用于在检测车灯闪光之后操作机动车辆后视摄像头系统的方法、后视摄像头系统和机动车辆
  • 用于在检测车灯闪光之后操作机动车辆后视摄像头系统的方法、后视摄像头系统和机动车辆
技术分类

06120116132544