用于在手动与自动驾驶之间变换的方法和车辆

技术领域

本发明涉及一种用于在车辆的自动驾驶与手动驾驶之间变换的方法，在该方法中，借助至少一个内部空间摄像头针对移交意图和/或接管意图观察车辆的驾驶员。如果探测到移交意图，则使方向盘运动远离驾驶员，并且将驾驶转换为自动驾驶。如果探测到接管意图，则使方向盘朝着驾驶员的手部方向运动，并且将驾驶转换为手动驾驶。

背景技术

自动驾驶允许车辆驾驶员将驾驶时间用于其他目的，如工作、放松或睡觉。在此通常值得期望的是，使方向盘从使用位置(离驾驶员尽可能远地)运动到另外的位置中。为此，已经开发出了多种解决方案。然而，可能需要或期望在自动驾驶期间又变换回到手动驾驶、即由驾驶员控制车辆。一方面，这可以单纯基于驾驶员的期望，但也可以在危急情况下由驾驶员引发。然后，一方面方向盘必须又达到驾驶员可抓握的附近，另一方面，必须完成从自动驾驶到手动驾驶的变换。

为了在上述驾驶模式之间进行变换，通常需要由驾驶员进行特定的操作，即驾驶员必须通过操纵操作元件或同类物来触发驾驶模式的变换。如果操作元件设置在车辆仪表板的区域中，而驾驶员在自动驾驶期间将其座椅位置向后移动，这就不舒服，特别是对于变换到手动驾驶中。另一方面，如果由于驾驶情况危急而应将驾驶移交给驾驶员，而驾驶员必须首先操纵操作元件才使方向盘朝着驾驶员方向运动并且变换驾驶模式，那么操作元件的操纵可能耗费宝贵的时间。因此有利的是，不仅方向盘的运动而且驾驶模式的变换都能独立于操作元件来变换。

发明内容

因此，本发明的任务是提出一种解决方案，即如何能够在不由车辆的驾驶员操纵操作元件的情况下在自动驾驶与手动驾驶之间变换，其中，使方向盘运动到与驾驶模式相适配的位置中。这优选不仅对于从自动驾驶变换到手动驾驶，而且反过来对于从手动驾驶变换到自动驾驶都应得到实现。

本发明的任务是通过根据权利要求1的方法和根据权利要求10的车辆来解决。本发明的其他优选设计方案由从属权利要求中提到的其他特征得到。

在根据本发明的用于在车辆中在手动驾驶与自动驾驶之间变换的方法中，所述车辆中的至少一个内部空间摄像头至少检测所述车辆的驾驶员的手部。借助图像分析依据手部运动来探测所述车辆的驾驶员的接管意图和/或移交意图。在探测到接管意图时，使所述方向盘朝着所述驾驶员的手部的方向运动，并且将驾驶转换为手动驾驶和/或在探测到移交意图时，使所述方向盘运动远离驾驶员，并且将驾驶转换为自动驾驶。

因此，所述方法应实现在手动驾驶与自动驾驶之间变换，其中，方向盘的位置可与驾驶模式相匹配地进行调整。如已经阐述的，手动驾驶是这样的驾驶，在该驾驶中车辆的驾驶员控制车辆。自动驾驶是这样的驾驶，在该驾驶中驾驶员不介入车辆控制。下文也将这两种驾驶方式称为驾驶模式。

为了在不必操纵操作元件的情况下在驾驶模式之间进行变换，车辆中的至少一个内部空间摄像头至少观察驾驶员的手部。因此，所述至少一个内部空间摄像头如此定向，使得驾驶员的手部位于摄像头的视场内。有利地可以是，不仅手部，而且驾驶员的其他区域，如其手臂、其脸部或其整个上身都被所述至少一个内部空间摄像头检测到，如在其它位置处还阐述的那样。

所述至少一个内部空间摄像头可以是专门设置用于执行本方法的摄像头，或者也可以是如下摄像头，该摄像头在车辆中已经设置用于其他任务，但可以一同用于根据本发明的方法。所述方法也可以利用一个以上的摄像头来实施，所述摄像头尤其是在车辆中设置在不同位置处，以便获得对驾驶员手部或可选地驾驶员的其他(身体)区域的运动的更好概览。

对至少驾驶员手部的检测优选可以连续进行，但也能按预限定的时间间隔进行。借助适当的图像分析按照如下方式对由所述至少一个内部空间摄像头检测到的拍摄物进行评估，即，驾驶员的手部运动是否允许识别出用于变换为手动驾驶的接管意图和/或针对自动驾驶的移交意图。因此，借助图像分析检查或探测，驾驶员是否例如从在自动驾驶中的静止位置将手部朝着方向盘方向运动，如有可能实施抓握运动并且因此发出如下信号，即，驾驶员想要接管控制并且想要变换到手动驾驶。如果驾驶员在手动驾驶期间例如将其手部放到膝间或将物体、例如饮用瓶拿到手部中，则这可以表示将驾驶移交到自动模式中的意图。在此，术语“手部运动”包括用单手或双手进行的运动。手部运动在此尤其是由单手或双手的位置、单手或双手与方向盘或其惯常位置的间距、单手或双手的运动方向和/或单手或双手的运动速度来确定。手部运动可以是有意的或者可以是不自觉的。

对于图像分析本身，可以采用自身已知的方法。例如，所述自身已知的方法包括模式识别方法(Mustererkennung)以及人工神经网络。

如果驾驶员的手部运动能推断出应变换到手动驾驶，即推断出接管意图，则根据本发明，在假设方向盘在自动驾驶期间布置在远离驾驶员的位置中的情况下，使方向盘朝着驾驶员手部的方向运动，即朝向驾驶员并且因此进一步朝着车辆内部的方向运动。例如，方向盘的运动可以借助如下电动马达来进行：所述电动马达实现电动转向柱调节。

此外，驾驶模式也被变换，即，车辆从自动驾驶模式变换到手动驾驶模式中，在该手动驾驶模式中，驾驶员具有对于车辆的控制。驾驶模式的转换优选在驾驶员能够抓握方向盘或至少在方向盘向着驾驶员运动期间几乎已经能够抓握到方向盘时才发生。由此确保，尽管驾驶员还不能抓握到方向盘，车辆也不会不受控制地继续行驶。同时，由于可以由驾驶员在与方向盘接触时立即接管驾驶，因此节省了宝贵的时间。

如果通过图像分析探测到驾驶员的移交意图，即驾驶员有意愿变换到自动驾驶，则方向盘运动远离驾驶员或其手部，从而驾驶员在自动驾驶期间具有更多的用于其活动的空间并且因此享受到更大的舒适度。此外，一旦方向盘运动远离驾驶员，驾驶模式就转换为自动驾驶，从而车辆在任何时候都不会不受控制地继续行驶。

方向盘在有移交意图的情况下运动到其中的位置也可称为静止位置，而主动操作方向盘时的位置可称为驾驶位置。方向盘的静止位置优选可以通过以下方式来实现，即，将方向盘沉入或收进车辆的仪表板中。

所述方法可设计成，仅在有移交意图时或仅在有接管意图时起作用，或者对于两者起作用。在后一种情况下，车辆相应根据探测到的意图产生反应。

根据本发明的方法的第一优选设计方案设置成，向驾驶员表明发出如下信号：是否进行了对移交意图和/或接管意图的探测。因此，应向驾驶员传达是否发生了触发驾驶模式变换的手部运动。当正是在驾驶员想要变换到手动驾驶的危急情况下向驾驶员表明已成功识别到变换意图时，则这种表明可以是有利的，以便向驾驶员传达安全感觉。在反过来的情况下，这也是有意义的，因为驾驶员可以确信，如果驾驶员松开方向盘，汽车不会不受控制地继续行驶。

如果驾驶员的手部运动不能被单义地检测或评估，从而不能对驾驶员的意图进行可靠的探测，由此方向盘的位置和驾驶模式也不能转换或不被转换，那么这种设计是特别有用的。在这种情况下，可以设置信号来向驾驶员传达驾驶员的变换意图不能被可靠地分配，从而例如可以进行手部运动的重复或借助操作元件进行意图的变换的手动确认。这也拦截了驾驶员例如不自觉地进行的运动，即在驾驶模式方面没有变换意图的情况下进行的运动。

表明是否探测到移交意图和/或接管意图的信号发出可以声学和/或视觉地进行。声学信号可以是一个音调或一串音调，如其例如在使用计算机时用来表明动作成功或不成功的那样，或者可以包括一个警告音调或一串警告音调，如果没有成功识别到变换并且不能执行变换的话。视觉信号可以是控制灯的点亮、仪表板的显示区域中的背光符号、车辆的显示装置、如显示器或同类物上的语言和/或有图形的确认。

如已经阐述的，所述至少一个内部空间摄像头可以是车辆的专门设置的或和已经存在的内部空间摄像头。在此优选使用如下至少一个内部空间摄像头，所述至少一个内部空间摄像头布置在前挡风玻璃上方、布置在镜中或处、内部空间照明装置中或处或车辆的车顶中。

前挡风玻璃上方的区域在此在与行驶方向横向的方向上不受限制。也就是说，至少一个摄像头可以沿着前挡风玻璃的整个宽度任意定位，只要所述至少一个摄像头至少能探测到驾驶员的手部。所述至少一个内部空间摄像头可以布置在后视镜处或后视镜内，在该处存在对驾驶员手部运动以及如有可能其他变换指示部的良好概览，并且同时可以一同使用后视镜区域内的媒体联接。

然而，所述至少一个内部空间摄像头也可以布置在阅读灯、氛围照明装置或同类物中或处并且朝着驾驶员的手部方向定向。所述至少一个内部空间摄像头在车辆的天花板处或中、因此即在车辆的车顶处或中的布置也适用于检测驾驶员的手部运动。

如果所述方法以一个以上摄像头来实施，那么所述摄像头在不同位置处的布置被证明为有利的，特别是当所述摄像头的视场和/或取向如此选择，使得可以从不同的角度检测驾驶员的手部运动时。这提高了在对驾驶员的变换意图的探测方面的准确性。

对于所述至少一个内部空间摄像头可以使用每种任意摄像头，尤其是对此可以使用立体摄像头、热成像摄像头或飞行时间摄像头。由于立体摄像头可以借助两个半图像来实现三维图像的生成，因此可以更明确且因此更可靠地评估驾驶员的手部运动。飞行时间摄像头(TOF摄像头)是如下摄像头，所述摄像头借助飞行时间方法(Laufzeitverfahren)实现所拍摄的区域的三维描绘并且因此也允许对驾驶员的手部运动的更明确的评估。热成像摄像头被证明为有利的，因为热成像摄像头拍摄热辐射，并且因此至少对驾驶员手部的检测不会受反射和眩光事件阻碍。

所述方法的根据本发明的另一个设计方案在于，借助所述至少一个内部空间摄像头检测针对接管意图和/或移交意图的另外的指示部，尤其是这可以是驾驶员的手势、驾驶员的观察方向和/或驾驶员的上身的运动。除了能推断出接管意图或移交意图的驾驶员手部运动以外，还应探测其他迹象。为此，借助至少一个摄像头来检测驾驶员的其他身体区域并且借助图像分析来进行评估。然而，这种检测也可以借助其他内部空间摄像头进行。

例如，针对接管意图和/或移交意图的另外的指示部可以是作为手部运动的一种特别设计的手势。手势可以理解为有意实施的、可重复的手部运动，这些手部运动相应被配属给移交意图或接管意图。这种手势可限于一只手的使用或者需要使用双手。这些手势可以作为预定义的手势在车辆侧预设，和/或作为用户定义的手势由驾驶员事先进行规定。如果这样的手势被至少一个内部空间摄像头检测到并且借助图像分析来识别，则接管意图或移交意图被明确地传送到车辆处，从而方向盘可以立即运动到相应的位置中，并且驾驶模式也可以变换。

另一个指示部可以是驾驶员的观察方向。观察方向可以依据驾驶员头部的位置和定向来确定，或者可以直接通过由至少一个内部空间摄像头的拍摄物进行图像分析来导出。例如，如果由手部运动探测到接管意图，但驾驶员并没有沿行驶方向注视，而是例如注视着副驾驶员，那么移交到手动驾驶中可能会与危险相关联，因为驾驶员并没有注视交通情况。因此，有意义的是，在这种情况下尽管识别到移交意图但不进行驾驶模式的变换并且不进行方向盘的调节和/或借助警告来指出在探测到的手部运动与探测到的观察方向之间的冲突。

驾驶员的观察方向的检测和分析在此也可以允许得到以下结论，即，手部运动是否可能仅不自觉地实施，并且因此不存在实际的移交意图或接管意图。观察方向作为另外的指示部在此因此也可理解为对驾驶员手部运动的验证。

备选地或附加地，驾驶员的上身的运动可以用作针对接管意图或移交意图的其他指示部。由此，上身直立与表示接管意图的手部运动在时间上的相关联可以用作接管意愿的确认。类似地，在能表明移交意图的手部运动之后，向后倚靠直至躺卧位置中也可以确认这一移交意图。因此，也如观察方向的分析那样，驾驶员上身运动的分析允许估计是否检测到不自觉的手部运动或者是否存在用于变换驾驶模式的实际意图，因为例如在驾驶员位于躺卧位置中期间，手动驾驶的接管要么不能在没有危险的情况下实现要么没有故意示出。

根据本发明的方法的一个重要应用情况是车辆的接管以及到手动驾驶中的变换，尤其是在危急情况下。因此适宜的是，在探测到接管意图时，使所述方向盘最初快速运动，并且在接近驾驶位置时，使所述方向盘缓慢地朝着驾驶员的手部方向运动。这样做的目的是，尽可能快地将在驾驶员的手部与方向盘之间的距离减小到最小，并且只有在方向盘运动的最后阶段在调节方向盘时才使用降低的速度，以便使得驾驶员能够舒适地与方向盘接触。

“快速”在此一方面可以是指：方向盘的运动以尽可能高的速度(但至少为高的速度)实施，所述速度例如在转向柱调节时实现，但是另一方面特别是指相对于驾驶员手部与方向盘接触前不久的明显较慢的运动的相对的给出数据。

快速运动优选可以在方向盘运动时要经过的行程段的一半上进行、进一步优选在60％上以及更进一步优选在70％上进行。

为了便于驾驶的接管或朝向驾驶员运动的方向盘的抓握，有意义的是，在探测到接管意图时，使方向盘向特定于驾驶员预定的位置运动。因此，方向盘不应简单地仅从其静止位置出来并且朝着车辆内部的方向运动，而是应运动到如下位置中，在该位置中驾驶员可以良好地够到方向盘并且驾驶员尤其是熟悉该位置。在最简单的情况下，该位置相应于先前手动驾驶的方向盘的位置。但是，如果在此期间发生了驾驶员变换，所习惯的或所期望的方向盘位置可能有所不同。因此，驾驶员及其偏好的方向盘位置应相互关联，从而在探测到接管意图时，可依据驾驶员身份单独设定方向盘的驾驶位置。例如，驾驶员身份可以依据所使用的车辆钥匙或借助图像识别来确定。

在所述方法的备选的设计方案中，在探测到接管意图时，应该依据驾驶员的手部的位置和/或驾驶员的手部的运动方向来确定驾驶员的手部与所述方向盘的可能的接触位置，并且使所述方向盘运动到所述可能的接触位置。

驾驶员的手部在表示接管意图时的位置和/或运动方向通过利用至少一个内部空间摄像头进行的检测和随后的图像分析来知道。因此，可以、例如通过合适的计算单元计算或至少估计，驾驶员的手部朝哪里运动以及在哪个时间点驾驶员的手部在哪个位置。驾驶员的手部的预期或可能的位置和/或运动方向可与方向盘的可能的运动方向和/或可能的运动速度进行比较，从而能够确定驾驶员的手部触碰方向盘所在的可能的接触位置。

因此，在这里不设定方向盘的有意的驾驶位置或特定于驾驶员的驾驶位置，而是设定如下驾驶位置，该驾驶位置允许驾驶员手部与方向盘的尽可能快的接触。然而，这可以基于方向盘的已知的驾驶位置，尤其是特定于驾驶员的驾驶位置，并且与之相适配。

可以是有利的是，方向盘的运动在由驾驶员触碰到时停止。如今，通常可以检测到方向盘是否被驾驶员触碰到。对此已知不同的技术和方法。独立于所选择的方向盘触碰的检测，在确定了这种触碰时就应停止方向盘朝着驾驶员手部方向的运动。这既适用于方向盘到静止位置中的运动，也适用于方向盘到驾驶位置中的运动，因为在这两种情况下存在如下情形，在所述情形下，方向盘运动的停止是适当的。

例如，如果因为要变换到自动驾驶中而使方向盘运动到静止位置中，且然后发生了危急的交通情形，则可以通过触碰来中止方向盘的运动，并且驾驶员可以抓握方向盘来掌握这种情形。在将方向盘移出到驾驶位置中时可能发生的是，与估计的相比，驾驶员更快地使其手部运动和/或驾驶员在此刻偏好另一个驾驶位置。在两种情况下，方向盘的朝着驾驶员方向的进一步运动不是值得期望的或适得其反的。因此，在这种情况下该进一步运动也可以通过触碰方向盘来终止。由此并不排除随后对驾驶位置之后进行适配的可能性。

除了根据本发明的方法之外还要求保护一种车辆，该车辆是能自动驾驶的就并且该车辆构造和设置用于实施根据本发明的方法。为此，这种车辆应具有：至少一个内部空间摄像头，所述至少一个内部空间摄像头至少检测驾驶员的手部；用于处理和分析由所述至少一个内部空间摄像头检测到的拍摄物的装置；以及控制装置，该控制装置依据图像分析结果触发方向盘调节和驾驶模式变换。

利用根据本发明的方法和构造用于实施该方法的车辆可实现：通过手部运动变换车辆的驾驶模式并且在此触发方向盘到与驾驶模式相适配的位置中的运动。在此，从自动驾驶到手动驾驶的变换以及反过来从手动驾驶到自动驾驶的变换可以在不必首先操纵操作元件的情况下简单实现。这提高了在驾驶时的舒适度，并且尤其是在变换到手动驾驶时缩短了直至驾驶员获得对车辆的控制之前的移交时间。

除非在个别情况下另有说明，否则本申请中提到的本发明的不同实施方式可以有利地相互组合。

附图说明

下面依据附图在实施例中阐述本发明。附图中：

图1示出在自动驾驶时在车辆中的驾驶员；

图2示出在表示有接管意图时驾驶员的手部；以及

图3示出用于检测驾驶员的内部空间摄像头的可能位置。

具体实施方式

图1示出在车辆50中的驾驶员30，该驾驶员在手臂交叉的情况下向后靠。方向盘20处于远离驾驶员的位置中，该位置被称为静止位置22。如果在自动驾驶期间不要使用方向盘20，方向盘20则运动到这个位置。在方向盘20和车辆的前挡风玻璃上方(位置12)布置有立体摄像头10，该立体摄像头设置成用于至少检测驾驶员30的手部32。

依据对驾驶员的手部32的拍摄物能够分析驾驶员的手部运动并且由此识别出，该驾驶员是否想要接管车辆50，即是否想要变换到手动驾驶中。为了显示这个，驾驶员可以如图2中所示朝着方向盘20方向抓握。为了阐明，驾驶员的两只手部32在抓握的不同阶段32.R和32.L中示出。一旦依据至少一个内部空间摄像头10的拍摄物和随后的图像分析探测到该抓握运动，方向盘20就从根据图2的静止位置22朝向驾驶员30运动到驾驶位置24中。

方向盘20的运动在方向盘20必须经过的行程段的前70％上以提高的速度进行，以便尽可能快地减少在方向盘20与驾驶员30的手部32之间的距离。在要经过的行程段的剩余30％上，方向盘20较慢地运动到最终的驾驶位置24中，从而驾驶员30可以惬意且舒适地握住方向盘20。此外，一旦手部32几乎可以抓握方向盘20，则驾驶变换为手动驾驶。

如果驾驶员30的手部32在方向盘的目标驾驶位置24之前已经到达方向盘20，则方向盘20的运动会停止，以便不以方向盘20的运动抵抗驾驶员30的运动工作。

选择性地，方向盘20的驾驶位置24可以是特定于驾驶员预定的位置，在当前行动的驾驶员30知道下在发出接管意图的信号时由方向盘20移向该位置，或者该位置可以单独确定。为此，依据驾驶员30的手部32的位置、手部的运动方向和运动速度来估计手部何时且处在何地并且何时以及何地手部会握住方向盘20。然后由方向盘20作为驾驶位置24移向该可能的接触位置。

如果驾驶员30现在将其手部32放到其膝间或将手部交叉，如图2中所示，则这也由至少一个内部空间摄像头10检测到并且在图像分析之后被识别为移交意图。因此，方向盘20则运动到静止位置22中，并且驾驶模式变换成自动驾驶。

为了向驾驶员30表明其接管意图或其移交意图已被识别到，在车辆50仪表板区域中的显示器上借助符号显示探测的成功或失败。可选地，声学信号可以补充地以信号表明成功或失败。

由图3可看到针对所述至少一个内部空间摄像头10或可选地其他摄像头的备选的布置位置。除了前挡风玻璃上方的位置12之外，(多个)内部空间摄像头还可以布置在车辆50的后视镜14中或处和/或布置在车辆50的内部空间照明装置16处或中，并且朝着驾驶员30定向。

为了确保不自觉的手部运动不会无意中触发驾驶模式的变换，除了驾驶员30的手部32之外，驾驶员的上身36和驾驶员的头部34的位置和定向也借助内部空间摄像头10或可选地存在的其他摄像头(未示出)来检测。如果检测到的手部运动能够推断出接管意图，依据图像分析能够识别出驾驶员30是否正沿行驶方向看向前方。如果是这种情况，驾驶模式变换成手动驾驶以及方向盘20到驾驶位置22中的运动不相违背。反之，如果驾驶员30不看向前方或闭着其眼睛，则不进行变换并且发出警告声。

驾驶员30的上身36的位置也以同样的方式进行评估。如果上身向后倚靠或甚至躺下，则不可能期望接管驾驶。

附图标记列表

10内部空间摄像头

12前挡风玻璃上方的位置

14后视镜

16内部空间照明装置

20方向盘

22方向盘的静止位置

24方向盘的驾驶位置

30驾驶员

32驾驶员的手部

34驾驶员的头部

36驾驶员的上身

50车辆