用于机动车辆的纵向和/或横向控制的驾驶辅助

技术领域

本发明总体上涉及机动车辆，更具体地涉及用于机动车辆的纵向和/或横向控制的驾驶辅助方法和系统。

背景技术

如今，为改善交通安全状况，提供了许多驾驶辅助系统。

在可能的功能中，尤其可以提及速度控制或ACC(自适应巡航控制AdaptiveCruise Control的首字母缩写)，基于交通状况和/或信号(交通信号灯、停车标志、让行标志等)自动停止和重新启动车辆的发动机，如被称为车道保持辅助系统所提出的自动保持车辆的行驶轨迹在其行驶车道内的辅助，警告驾驶员离开车道或无意越线(车道偏离警告)，辅助更改车道或LCC(车道变更控制Lane Change Control)等。

因此，驾驶辅助系统具有以下一般性作用：警告驾驶员需要注意的情况和/或定义车辆为了到达给定目的地而应遵循的轨迹，从而使得可以控制用于控制车辆的转向和/或制动以及加速的单元，因此可以有效地自动跟踪该轨迹。在这种情况下，应该根据其数学定义来理解轨迹，也就是说，是随着时间的推移车辆必须占据的一组连续位置。因此，驾驶辅助系统不仅必须定义要走的路，而且还要定义要遵守的速度(或加速度)曲线。为此，他们使用来自例如相机、雷达、激光雷达等安装在车辆上的一个或多个检测手段的大量有关车辆的即时周围环境的信息(行人、自行车或其他机动车辆等障碍物的存在、路标的检测、道路配置等)，以及与车辆本身相关的信息，例如其速度、加速度，以及例如由GPS导航系统提供的其位置。

在下文中，更特别感兴趣的是仅基于处理由安装在机动车辆上的相机捕获的图像进行机动车辆的纵向和/或横向控制的驾驶辅助系统。图1示意性地示出了机动车辆1的平面图，机动车辆1配备有在此设置在车辆前方的数字相机2，并且配备有在输入端接收由相机2捕获的图像的驾驶辅助系统3。

这些系统中的某些系统实现了不同种类的(像素处理、通过自动学习进行的对象识别、光流)查看算法(viewing algorithms)，从而检测车辆的即时周围环境中的障碍物或更一般地检测车辆的即时周围环境中的对象，以估算车辆与检测到的障碍物之间的距离，并相应地控制车辆的方向盘或转向柱、制动单元和/或加速器等单元。这些系统使得仅可以识别预先定义的有限数量的对象(例如行人、骑自行车的人、其他汽车、路标、动物等)。

其他系统使用人工智能，并试图模仿复杂道路情景下的人类行为。题为“用于自动驾驶汽车的端到端学习”的文献(M.Bojarski等人，2016年4月25日，https：//arxiv.org/abs/1604.07316)特别公开了卷积神经网络或CNN，该网络一旦经过“离线”学习过程的训练，便能够从相机提供的视频图像中生成转向指令(steering instruction)。

在图2中示意性地示出了这种类型的一种已知系统3的“在线”操作。系统3包括神经网络31，例如深度神经网络或DNN，以及可选地包括模块30用于重新度化(redimensioning)图像以根据由相机2提供的图像Im生成用于神经网络的输入图像Im'，图像Im'的尺寸与网络兼容。构成图像处理设备31的神经网络已经过预先训练并且被配置以在输出端生成输出控制指令S

在图3中示意性地示出的人工智能驾驶辅助系统的另一已知实现中，可能被重新度化以形成图像Im'的、相机2捕获的图像Im由模块310中的多个神经网络并行处理，已经为每个网络训练了特定的任务。在图3中示出了三个神经网络，每个神经网络根据同一输入图像Im'生成用于车辆的纵向和/或横向控制的指令P

在两种情况下，已经基于与涉及各种人类的各种车辆的实际驾驶状况相对应的大量图像记录来训练神经网络，并且因此已经学会了识别场景并生成接近人类行为的控制指令。

诸如上述神经网络之类的人工智能系统的优势在于，这些系统将能够同时理解道路场景中的大量参数(例如亮度降低、多种类的多个障碍物的存在，在机动车辆前的其尾灯打开的汽车的存在，道路上弯曲和/或褪色的标记线等)，并且其响应方式与人类驾驶员相同。但是，与对象检测系统不同，人工智能系统不必对物体进行分类或检测，因此不必估算有关车辆和潜在危险之间距离的信息。

现在，在使用条件下，可能存在控制指令的响应不够充分的从而可能导致危险情况。例如，在某些情况下，图2和图3中描述的系统3可能不足以预测车辆1前方的另一车辆的存在，从而可能导致例如制动延迟。

第一种可能的解决方案是将指令S

另一解决方案是修改在设备31的一个或多个神经网络中执行的算法。在这种情况下，该解决方案也是昂贵的。另外，并非总是可能对设备31的内容(content)采取行动。

此外，尽管上述解决方案使得可以在了解情况时管理网络中可能的错误，但是它们均无法预测算法的计算时间或修改车辆的行为从而采用特定的驾驶方式，例如安全驾驶或更激进的驾驶。

发明内容

本发明旨在通过提供一种简单且廉价的解决方案来减轻上述系统的局限性，该解决方案使得可以改进由设备31实现的算法的响应性而不必修改其内部处理过程。

为此，本发明的第一目的是一种用于机动车辆的纵向和/或横向控制的驾驶辅助方法，所述方法包括使用已经由学习算法预先训练的处理算法处理由安装在所述机动车辆上的数字相机捕获的图像以生成用于所述机动车辆的纵向和/或横向控制指令的步骤，所述方法的特征在于其还包括：

-使用所述处理算法来附加处理至少一个附加图像以生成用于所述机动车辆的至少一个附加纵向和/或横向控制指令的、与处理所述图像的所述步骤并行的至少一个附加处理步骤，所述至少一个附加图像是由对所述捕获的图像进行的至少一次几何和/或辐射变换生成的；以及

-基于所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令，生成合成的纵向和/或横向控制指令。

根据本发明的方法的一种可能的实施方式，所述至少一个几何和/或辐射变换包括缩放、放大所述捕获的图像的感兴趣区域。

根据其他可能的实现方式，所述至少一个几何和/或辐射变换包括对所述捕获的图像或所述捕获的图像的感兴趣区域进行旋转、和/或修改亮度、和/或裁剪。

在一种可能的实施方式中，所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令包括与所述机动车辆方向盘的设定转向角相关的信息。

作为变型或组合，所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令包括与设定速度和/或设定加速度相关的信息。

可以通过计算所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令的平均值生成所述合成的纵向和/或横向控制指令。作为变型，相对于所述纵向和/或横向控制指令，所述合成的纵向和/或横向控制指令可以对应于设定速度的最小值，而相对于所述至少一个附加纵向和/或横向控制指令，所述合成的纵向和/或横向控制指令可以对应于附加设定速度。

本发明的第二个目的是一种用于机动车辆的纵向和/或横向控制的驾驶辅助系统，所述系统包括用于安装在所述机动车辆上的图像处理设备，所述图像处理设备已经使用学习算法进行了预先训练并且被配置为根据在输入端提供的由车载数字相机捕获的图像在输出端生成用于所述机动车辆的纵向和/或横向控制指令，所述系统的特征在于其还包括：

-至少一个附加图像处理设备，其与所述图像处理设备完全相同；

-数字图像处理模块，其被配置为在所述附加图像处理设备的输入端提供至少一个附加图像，用于并行处理由所述相机捕获的图像和所述至少一个附加图像，以使所述附加图像处理设备生成用于所述机动车辆的至少一个附加纵向和/或横向控制指令，所述至少一个附加图像是由对所述捕获的图像进行的至少一次几何和/或辐射变换生成的；以及

-数字融合模块，其被配置为基于所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令生成合成的纵向和/或横向控制指令。

附图说明

通过阅读以下参照附图给出的描述，将会更好地理解本发明，其中：

-已经在上面描述的图1以简化的形式示出了由驾驶辅助系统共享的体系结构，该体系结构被安装在车辆中，实现对来自车载相机的图像的处理；

-已经在上面描述的图2是使用神经网络的用于机动车辆的纵向和/或横向控制的已知系统的简化概图；

-已经在上面描述的图3是图2中系统的已知变型；

-图4以简化的概图的形式示出了根据本发明的驾驶辅助系统的一种可能的实施例；

-图5和图6示出了由图4的系统应用于两种示例性道路情况的原理。

在说明书的其余部分中，除非另有规定，否则所有附图共有的元件具有相同的附图标记。

具体实施方式

将参照图4在机动车辆的纵向控制的背景下描述根据本发明的驾驶辅助系统。然而，本发明不限于该示例，并且可以特别地被用于允许机动车辆的横向控制，或者允许机动车辆的纵向和横向控制。在图4中，如在现有技术中描述的那样，纵向控制辅助系统3包括图像处理设备31a，图像处理设备31a安装在机动车辆上，在输入端接收由同样安装在机动车辆上的数字相机2捕获的图像Im

图像处理设备31a包括例如深度神经网络。

在本发明提出不影响其内部操作的情况下提高其执行的算法的响应性的意义上，图像处理设备31a在此被认为是黑匣子。

为此，本发明规定，与由设备31a执行的处理并行地、使用与由设备31a执行的算法相同的算法对由图像Im

为此，根据本发明的一个可能的实施例，系统3包括数字图像处理模块32，其被配置为在与设备31a相同的附加图像处理设备31b的输入端提供至少一个附加图像Im

如通过图4中的非限制性示例所示，数字模块32被配置为执行缩放、放大由相机2捕获的图像Im

因此，根据本发明的系统3将能够执行至少两个并行处理操作，特别是：

-由设备31a执行的对捕获图像Im

-由附加设备31b对附加图像Im

指令S

在系统3应允许在机动车辆的横向控制的情况下提供的驾驶辅助的其他实施例中，两个指令S

在图5所示的道路情况的示例中，放大的缩放不会产生任何实际影响，因为图像Im

另一方面，对于图6中所示的道路情况的示例，由于设备31b将判断另一辆车相距更近有必要尽早制动的事实，附加指令S

根据本发明的系统3还包括数字融合模块33，其将处理设备31a和处理设备31b的输出端连接并且在输入端接收指令S

数字融合模块33被配置为基于其在输入端接收的指令生成合成的纵向控制指令S

例如，如果指令S

-对于所谓的“安全”驾驶方式，生成与设定速度和附加设定速度中的最小值相对应的结果指令S

-对于所谓的“常规”驾驶方式，生成与设定速度和附加设定速度的平均值相对应的结果指令S

在不脱离本发明的范围的情况下，可以设想除了放大的缩放以外的几何变换。作为非限制性示例的方式，有可能特别地存在规定对数字模块32进行配置，使得它旋转时，剪切或变形图像Im

就改进由设备31a和设备31b执行的算法的响应度而言，例如修改亮度或对比度的辐射变换也可能是有益的。

当然，这些变换的全部或一部分可以组合以便生成变换图像Im

作为变型，可以存在规定使系统3包括多个并行执行的附加处理操作，每个处理操作包括将所述捕获的图像Im

这些并行处理操作的好处在于，能够从对同一图像执行的变换中生成多个可能的不同的指令，从而改善设备31a使用的算法的整体性能。

基于所述多个指令而应用的融合规则可以取决于是否优先考虑安全性而变化。举例来说，数字融合模块可以被配置为：

-对于所谓的“安全”驾驶方式，生成与各种处理操作所生成的各种设定速度中的最小值相对应的结果指令S

-对于所谓的“常规”驾驶方式，生成与由各种处理操作生成的各种设定速度的平均值相对应的结果指令S

-对于所谓的“激进”驾驶方式，生成与由各种处理操作生成的两个最高设定值速度的平均值相对应的结果指令S