用于确定行驶通道的方法和系统

本发明涉及一种用于确定行驶通道的方法、一种用于确定行驶通道的系统的控制设备、一种用于确定行驶通道的系统、一种用于执行该方法的计算机程序以及一种包含这种计算机程序的计算机可读数据载体。

许多现代机动车辆具有驾驶员辅助系统，该驾驶员辅助系统以至少部分自动化的方式控制机动车辆的一个子系统或几个子系统。其中的一个示例是主动车道保持系统，该系统识别无意间偏离车道并通过主动干预车辆转向和/或车辆加速来对这种偏离加以反作用。因此，这些驾驶员辅助系统以至少部分自动化的方式控制机动车辆的纵向和/或横向移动。

这种驾驶员辅助系统通常基于生成机动车辆周围环境图像的至少一个相机。通过图像处理算法自动地处理图像，并且驾驶员辅助系统基于处理后的图像以至少部分自动化的方式、特别是以完全自动化的方式控制机动车辆。举例来说，基于处理后的图像，为车道保持辅助装置认定与要保持的车道相对应的行驶通道。

特别是在农村地区，经常出现的情况是，并非所有的道路标记都存在，例如在较窄的道路上可能会缺少中央标志。然而，在城市地区也存在可能缺少道路标记的路段，例如在建筑工地区域或步行区。在其他城市区域，特别是在繁忙的十字路口区域，道路标记可能非常复杂并且/或者重叠，并且/或者标记可能被其他机动车辆暂时遮盖。在所有这些情况下，当前的图像处理算法都不能针对机动车辆的行驶通道提供可靠的结果。

因此，本发明的目的是提供一种用于确定机动车辆的行驶通道的方法和系统，该方法和系统保证了在许多不同情况下可靠且鲁棒地识别行驶通道。

根据本发明，该目的通过一种用于确定机动车辆的行驶通道的方法来实现。所述机动车辆具有控制设备和至少一个相机，其中，所述相机被设计成生成所述机动车辆前方的前部区域的图像并将所述图像转发给所述控制设备。所述控制设备包括包含人工神经网络的机器学习模块。所述方法包括以下步骤：

-从所述至少一个相机获得所述机动车辆前方的前部区域的图像；

-通过所述人工神经网络提取所述图像的表征图像特征；以及

-通过同一人工神经网络基于所提取的表征图像特征来确定界定所述机动车辆的行驶通道和/或与所述行驶通道相邻的至少一个行驶通道的图像点。

根据本发明，该方法的所有步骤由同一机器学习模块执行。更准确地说，图像的表征图像特征和行驶通道均由同一神经网络确定。已经发现，由此实现了对行驶通道和/或相邻行驶通道的特别可靠且鲁棒的确定。

在此和下文中，“行驶通道”应理解为道路、小路等上机动车辆能够安全移动的区域。例如是有标记的车道，或者是无标记道路或小路的与车道相对应的区域。因此，总是存在机动车辆当前所在的行驶通道，在下文中将其称为“当前行驶通道”。此外，例如在每个行进方向具有多个车道的道路上，存在这样的路段，在这些路段中，至少一个进一步的可能的机动车辆行驶通道与机动车辆的当前行驶通道相邻。

根据本发明的方法被用于确定界定机动车辆的当前行驶通道和/或与机动车辆的当前行驶通道相邻的至少一个行驶通道的那些图像点。在这种情况下，图像点构成了对应的行驶通道的侧向边界。从机动车辆驾驶员的角度来看，图像点各自形成对应的行驶通道的左手边界或右手边界的一部分。换句话说，因此为机动车辆认定了至少一个可能的行驶通道，优选地认定了多个可能的行驶通道，因为两个相互相对的侧向边界限定了对应的行驶通道。

同一人工神经网络优选另外确定现有行驶通道的数量，特别是与机动车辆的当前行驶通道相邻的行驶通道的数量。

人工神经网络优选是除了输入层和输出层之外还具有多个中间层的神经网络。因此，使用“深度学习”方法来训练人工神经网络。

本发明的一个方面提供了所述提取表征图像特征对应于将所述图像的图像区域在各自情况下分类成一个或多个类别。举例来说，将各个图像区域分组为以下类别中的一个或多个：道路、无道路、可通行小路、不可通行地形、道路标记、道路边界、交通标志、机动车辆、骑车人、行人、其他道路使用者等。在该步骤中，至少标识并分类出与确定至少一个行驶通道相关的那些图像区域。举例来说，道路标记是行驶通道存在的重要标志，但是不一定将其用作行驶通道存在的唯一特征，因为它们在一些路段中(例如，在建筑工地区域中)不正确或根本不存在。

图像区域尤其通过由人工神经网络执行的图像识别方法来分类。因此，对人工神经网络进行训练以将各个图像区域分组为上述一个或多个类别。

根据本发明的进一步方面，所述图像点包括高度坐标和宽度坐标，其中，所述坐标之一、特别是所述高度坐标的值被设置为针对确定所述图像点的至少一个搜索值，并且仅确定所述坐标中的另一个坐标、特别是所述宽度坐标的值。换句话说，因此沿着某些搜索线认定图像点，也就是说，对应的坐标对应于搜索值的所有点，这些搜索线在与认定至少一个行驶通道相关的图像区域中延伸。在这种情况下，搜索线可以是预定义的或者由人工神经网络本身认定。因此，已经定义了图像点的坐标之一，并且人工神经网络只需要在各自情况下认定图像点的两个坐标中的另一个，从而节省了计算时间。

举例来说，针对至少一个行驶通道的两个侧向边界在各自情况下认定四个图像点。因此，沿着四条搜索线认定图像点。已经发现，针对对应的行驶通道的每个侧向边界认定四个图像点在对行驶通道的鲁棒识别与最短可能计算时间之间提供了良好的折衷。

优选地，针对每个搜索值确定至少两个图像点，其中，所述图像点与所述行驶通道中的至少一个行驶通道的左手边界和同一行驶通道的右手边界相对应。在多于一个现有行驶通道的情况下，每个搜索值相应地认定更多的图像点。举例来说，在两个现有行驶通道的情况下，每个搜索值认定三个图像点，因为两个行驶通道共享将两个行驶通道彼此分开的那些图像点。通常，在n个现有行驶通道的情况下，每个搜索值认定(n+1)个图像点，其中n是大于零的自然数。

换句话说，所确定的图像点的集合可以包含由指配给行驶通道的左手边界的图像点和指配给同一行驶通道的右手边界的图像点组成的对，其中，一对图像点具有相同的坐标。如以上已经解释，该相同的坐标尤其是高度坐标。

所述人工神经网络尤其具有至少一个第一子网络和至少一个第二子网络，其中，特别构造为卷积网络的所述第一子网络提取所述表征图像特征，并且/或者其中，特别构造为基于回归的网络的所述第二子网络确定所述图像点。因此，人工神经网络包括两个互连的子网络，其中，第一子网络专门用于提取表征图像特征，并且其中，第二子网络专门用于基于由第一子网络提取的表征图像特征特别是通过回归分析来确定图像点。已经发现，两个子网络的组合使得能够特别可靠且鲁棒地确定图像点。

优选地，所确定的图像点用作认定侧向界定所确定的行驶通道的至少一条结果曲线的基础，特别是其中，所述结果曲线是三次样条或贝塞尔(Bézier)样条。换句话说，由此认定对应的行驶通道的侧向边界线。在这种情况下，所认定的图像点用作该至少一条结果曲线的插值的支撑点。

结果曲线同样可以通过人工神经网络来认定。然而，作为替代方案，结果曲线也可以在机器学习模块外部形成，例如由在控制设备上运行的对应计算机程序创建，因为结果曲线也可以基于确定的图像点的已知坐标进行插值，而无需机器学习，特别是无需深度学习。在这种情况下，机器学习模块，或者更确切地说是人工神经网络，利用图像点为该至少一条结果曲线的插值提供支撑点，而实际的结果曲线则不由人工神经网络认定。

本发明的进一步方面提供了利用目标训练数据训练所述人工神经网络，其中，所述目标训练数据包括通过所述相机生成的图像以及关于所述图像中存在的实际表征图像特征和/或界定至少一个行驶通道的实际图像点的信息，所述训练包括以下训练步骤：

-将所述目标训练数据前馈到所述人工神经网络；

-通过所述人工神经网络认定：表征图像特征和/或界定所述至少一个行驶通道的图像点；

-确定所认定的表征图像特征与所述实际表征图像特征之间的误差并且/或者确定所认定的图像点与所述实际图像点之间的误差；以及

-通过将所述误差反馈给所述人工神经网络来改变所述神经网络的加权因子。

将误差反馈给人工神经网络优选地改变神经网络的加权因子，使得误差最小化。当然，“无误差”也可以被确定为误差。

换句话说，人工神经网络因此被训练成以最小可能的误差来提取或认定表征特征和/或图像点。

根据本发明的一个可能的改进方案，所认定的图像点与所述实际图像点之间和/或所述至少一条结果曲线上的点与对应的实际结果曲线上的点之间的平方欧几里德距离(Euclidean)用于认定所述误差，特别是其中，所述相应的平方欧几里德距离被求和和/或平均。在这种情况下，实际结果曲线与通过对实际图像点进行插值而创建的曲线相对应。

优选地，在各自情况下认定所认定的图像点与实际图像点之间或至少一条结果曲线上的点与对应的实际结果曲线上的点(如上所述，这些点位于搜索线上)之间的平方欧几里德距离。

更优选地，所述目标训练数据另外包含现有行驶通道的实际数量，从而另外训练所述人工神经网络以认定行驶通道的数量。特别是，在这种情况下认定与机动车辆的当前行驶通道相邻的行驶通道的数量。

根据本发明的进一步的改进方案，提供的是首先在第一训练步骤中利用包含通过所述相机生成的图像以及关于所述图像中存在的实际表征图像特征的信息的目标训练数据来对所述人工神经网络、特别是所述第一子网络进行训练，并且然后在第二训练步骤中利用包含通过所述相机生成的图像以及界定所述行驶通道中的至少一个行驶通道的对应实际图像点的目标训练数据来对所述人工神经网络、特别是所述第二子网络进行训练。

因此，在第一训练步骤中，首先仅训练人工神经网络以提取表征图像特征。然后，在第二训练步骤中，训练人工神经网络以基于所提取的表征图像特征特别是通过回归分析来确定图像点。然而，这两个训练步骤不是彼此独立的，因为第二训练步骤也影响人工神经网络的图像识别能力，更准确地说，影响表征图像特征的提取。已经发现，以这种方式训练的人工神经网络为图像点提供特别鲁棒且可靠的结果。

在第一或附加的训练步骤中，也可以对确定的表征图像特征，例如对图像特征“道路-无道路”进行限制，以便保证特别可靠的识别。

根据本发明的进一步方面，所确定的图像点、所述一条或多条结果曲线和/或基于所确定的图像点的关于所确定的行驶通道的进一步信息被传输到所述机动车辆的至少一个驾驶员辅助系统。驾驶员辅助系统然后基于所传输的数据和/或信息以至少部分自动化的方式控制机动车辆。驾驶员辅助系统例如是制动辅助、车道保持辅助系统和/或车道变换辅助系统。

根据本发明，该目的还通过一种用于确定机动车辆的行驶通道的系统的控制设备来实现，所述控制设备具有包括人工神经网络的机器学习模块，其中，所述控制设备被设计成执行如上所述的方法。为此，控制设备能够连接到机动车辆的相机以便传输信号，并且能够从相机接收图像。关于其优点，请参考以上解释。

根据本发明，该目的还通过一种用于确定机动车辆的行驶通道的系统来实现，所述机动车辆具有如上所述的控制设备和至少一个相机，所述至少一个相机被设计成生成所述机动车辆前方的前部区域的图像并将所述图像转发给所述控制设备。因此，用于确定机动车辆的行驶通道的上述方法由控制设备自动执行，更准确地说，由控制设备的机器学习模块执行。关于该方法的优点，请参考以上解释。

根据本发明，该目的还通过一种计算机程序来实现，所述计算机程序具有程序代码装置，用于当在计算机或对应的处理单元上、尤其是在如上所述的控制设备的处理单元上执行所述计算机程序时，执行如上所述的方法的步骤。以上在方法的上下文中描述的机器学习模块和/或以上在方法的上下文中描述的人工神经网络形成计算机程序的至少一部分，特别是整个计算机程序。

“程序代码装置”在此和下文中应理解为以编译和/或未编译形式呈程序代码和/或程序代码模块形式的计算机可执行指令，并且可以以任何编程语言和/或机器语言存在。

根据本发明，该目的另外通过一种计算机可读数据载体来实现，所述计算机可读数据载体上存储有如上所述的计算机程序。数据载体可以是上述控制设备的组成部分，或者可以与控制设备分开设计。数据载体具有在其中存储计算机程序的存储器。存储器是基于例如磁和/或光数据存储的任何合适类型的存储器。

从以下描述和参考的附图中，本发明的进一步优点和特性将变得显而易见。在附图中：

-图1示意性地示出了具有根据本发明的用于确定车辆通道的系统的机动车辆；

-图2示出了根据本发明的用于确定车辆通道的方法的步骤的示意性流程图；

-图3示意性地示出了根据图2的方法处理的图像；

-图4示意性地示出了用于图2的方法的人工神经网络的结构；

-图5示意性地示出了来自图4的人工神经网络的训练步骤的流程图；以及

-图6示出了图5的训练步骤期间的误差确定的图示。

图1示意性地示出了位于具有第一车道14、第二车道16和第三车道18的多车道道路12上的机动车辆10。在这种情况下，机动车辆10的行进方向在图1中由箭头19指示。

在这种情况下，第一车道14在右侧由道路标记RR界定并且在左侧由道路标记R界定。因此，第二车道16在右侧由道路标记R界定并且在左侧由道路标记L界定。第三车道18在右侧由道路标记L界定并且在左侧由道路标记LL界定。

第二车道16是机动车辆10的当前车道，当从行进方向看时，第一车道14在第二车道16的右侧延伸并且第三车道18在第二车道16的左侧延伸。

机动车辆10具有用于确定机动车辆10的行驶通道的系统20，该机动车辆具有相机22和控制设备24，该控制设备连接到相机22以便传输信号。包含人工神经网络的机器学习模块28在控制设备24上实施，该控制设备的操作将在后面更详细地解释。

人工神经网络构成存储在控制设备24的数据载体29上的计算机程序。

机动车辆10还具有进一步的控制设备26，该控制设备连接到控制设备24以便传输信号并且被设计成以至少部分自动化的方式、特别是以完全自动化的方式控制机动车辆10。换句话说，驾驶员辅助系统在进一步的控制设备26上实施并且能够以至少部分自动化的方式、特别是以完全自动的方式控制机动车辆10的横向移动和/或纵向移动。

作为其替代，这两个控制设备24、26也可以是单个控制设备的子控制设备。

驾驶员辅助系统在本例中例如是车道保持辅助装置或车道变换辅助装置，其需要关于机动车辆10的周围环境的信息，以便以至少部分自动化的方式控制机动车辆10。

关于机动车辆10周围环境的该信息由系统20提供。总的来说，系统20被设计成通过相机22产生机动车辆10前方的前部区域30的图像、通过控制设备24处理这些图像、并且从而确定机动车辆10的当前行驶通道和/或与机动车辆10的当前行驶通道相邻的至少一个行驶通道。

此处和下文中，“行驶通道”应理解为道路12、小路等上机动车辆10能够安全移动的区域。例如是车道14、16、18之一，或者是无标记道路或小路的与车道相对应的区域。因此，“当前行驶通道”应理解为机动车辆10当前所在的并且机动车辆10能够继续安全移动的行驶通道。

因此，应在上面使用的术语“行驶通道”与“车道”之间进行区分。行驶通道是道路12或小路的被控制设备24识别为可安全通行区域的区域，而车道14、16、18表示由道路标记RR、R、L、LL界定的道路12的区域。当然，行驶通道中的至少一个和车道14、16、18中的至少一个可以重合，但是不一定是这种情况。

下面参考图2解释系统20的精确操作以及用于确定机动车辆10的行驶通道的方法的各个步骤。

机动车辆10前方的前部区域30的图像通过相机22被记录并且被转发到控制设备24(步骤S1)。

然后，通过机器学习模块28，更准确地说，通过人工神经网络，提取各个图像的表征图像特征(步骤S2)。在提取表征图像特征的这个过程中，将各个图像的各个图像区域分组为以下类别中的一个或多个：道路、无道路、可通行小路、不可通行地形、道路标记、道路边界、交通标志、机动车辆、骑车人、行人、其他道路使用者等。

因此，在步骤S2中，至少标识并分类出与确定至少一个行驶通道相关的那些图像区域。

当然，图1中所示的道路标记RR、R、L、LL是行驶通道存在的指示。然而，由于道路标记RR、R、L、LL在一些路段中(例如，在建筑工地区域中)可能不正确或者根本不存在，因此不一定将它们用作确定至少一个行驶通道的唯一特征。

然后，通过同一人工神经网络确定侧向界定至少一个行驶通道的图像点32(步骤S3)。下面参考图3更详细地解释该步骤，该图示出了与图1所示的情况高度相似的情况的相机图像。机动车辆10位于中央第二车道16。第三车道18和第一车道14分别在第二车道16的左侧和右侧延伸。

图像点32是沿着四条搜索线34确定的，这四条搜索线以恒定的高度坐标h

由于至少一个行驶通道具有左手边界和右手边界，因此沿着每条搜索线34确定相应的一对两个图像点32。在这种情况下，这对图像点32中的一个图像点构成行驶通道的左手边界并且这对图像点32中的另一个图像点在与相应的搜索线34相同的水平上构成行驶通道的右手边界。

因此，在步骤S3中，认定界定机动车辆10的当前车道的至少八个图像点32。

应当注意，图3仅示出了界定机动车辆10的当前行驶通道(对应于第二车道16)的那些图像点32。当然可以以与上述情况相同的方式来确定界定进一步的行驶通道的进一步的图像点。在这种情况下，相邻的行驶通道共享将相邻的行驶通道彼此分开的那些图像点32。在图3所示的三个车道14、16、18的情况下，这三个车道对应于三个行驶通道，因此将认定16个图像点。

然后，基于所确定的图像点32来认定侧向界定机动车辆10的当前行驶通道的至少两条结果曲线36(步骤S4)。

结果曲线36中的一条因此在左侧界定了机动车辆10的当前行驶通道、并且是通过对在左侧界定当前行驶通道的那四个图像点32进行插值来认定的。

以同样的方式，这两条结果曲线36中的另一条在右侧界定了机动车辆10的当前行驶通道、并且是通过对在右侧界定当前行驶通道的那四个图像点32进行插值来认定的。

更准确地说，这两条结果曲线36是基于图像坐标，即图像点32的相应高度坐标h和相应宽度坐标b确定的。因此，所确定的图像点32构成了结果曲线36的支撑点。

结果曲线36在各自情况下是三次样条、贝塞尔样条或适合于对图像点32进行插值的另一种类型的曲线。

结果曲线36同样可以通过人工神经网络来认定。然而，作为替代方案，结果曲线36也可以在机器学习模块28外部例如通过在控制设备24上运行的对应模块来认定。

然后，所确定的图像点32、结果曲线36和/或基于所确定的图像点32的关于当前车辆通道或与其相邻的车辆通道的进一步信息被传输到进一步的控制设备26(步骤S5)。

取决于传输信号中包含的确切信息，机动车辆10可以由进一步的控制设备26以不同的方式控制。

例如，如果仅包含关于当前行驶通道的信息，则该信息对于车道保持辅助装置来说是足够的，但是对于车道变换辅助装置来说是不够的。车道变换辅助装置还必须能够获得关于与当前行驶通道相邻的至少一个行驶通道的信息。

因此，至少上述步骤S2和S3、特别是此外还有步骤S4由同一人工神经网络执行。原则上，人工神经网络存在能够被训练以执行上述方法的多种合适的架构。

图4示出了人工神经网络的一个示例性架构。人工神经网络具有第一子网络38和第二子网络40，其中，至少第一子网络38是卷积神经网络(CNN)、特别是深度卷积神经网络的形式。

第一子网络38和第二子网络40各自具有多个层42。在这种情况下，相应子网络38、40内的层42完全连接到其相应的相邻层42，并且因此这些层被称为“全连接”(FC)层。相应层42的各个神经元因此各自连接到相邻层42的所有神经元。

在两个子网络38、40之间的边界处，两个子网络38、40的彼此相邻的两个外层42优选也彼此完全连接。换句话说，第一子网络38的输出层因此完全连接到第二子网络40的输入层。

因此，人工神经网络包括两个互连的子网络38、40。如下文将更详细解释的，训练第一子网络38以提取表征图像特征，也就是说执行步骤S2，而训练第二子网络40以基于由第一子网络38提取的表征图像特征特别是通过回归分析来确定图像点32。因此，第一子网络38执行步骤S2，而第二子网络40执行步骤S3并且可能执行步骤S4。

步骤S1和S5也可以由这两个子网络38、40或人工神经网络的其他部分来执行。

为了在确定至少一个行驶通道时保证最佳结果，当然应该在系统20中使用神经网络之前对其进行训练。为此，提供了在使用之前进行参考图5描述的以下训练步骤。

首先，训练第一子网络38以提取通过相机22生成的图像中的表征图像特征(步骤T1)，也就是说执行上述步骤S2。

为此，向人工神经网络、特别是仅向第一子网络38提供目标训练数据，该目标训练数据包含通过相机22生成的图像以及关于图像中存在的实际表征图像特征的信息。

然后，人工神经网络、特别是第一子网络38从目标训练数据中提取表征图像特征，更准确地说从其中包含的图像中提取表征图像特征。

然后确定所认定的表征图像特征与实际表征图像特征之间的误差，或者更确切地说是差异，并将误差反馈给人工神经网络。在这种情况下，人工神经网络的加权因子被调整，使得误差或差异最小化。

以相同的方式，在训练步骤T1中，还可以训练人工神经网络来认定现有行驶通道的数量。

训练步骤T1和T2也可以包含多个子步骤或阶段。

然后在第二训练步骤中训练在训练步骤T1中预先训练的人工神经网络，以基于提取的表征图像特征来确定图像点32。

为此，向人工神经网络提供目标训练数据，该目标训练数据包含通过相机22生成的图像以及关于图像中存在的实际图像点32的信息。第一子网络38从目标训练数据中提取表征图像特征，更准确地说，从其中包含的图像中提取表征图像特征，并将其传送到第二子网络40。第二子网络40基于提取的表征图像特征从目标训练数据中确定图像点32。

然后，如参考图6所示，确定所认定的图像点32与实际图像点32之间的误差。在这种情况下，图像点32中的每个单独的图像点处的误差的度量是所认定的图像点32与分别关联的实际图像点32’之间的欧几里德距离。

如果x

总误差被计算为所有图像点32的误差的总和或加权平均值，也就是说误差结果为

在这种情况下，N表示相关边界线的数量。因此，在单个行驶通道的情况下，N等于2。

作为误差函数L

因此，在这种情况下，首先基于图像点32和实际图像点32’确定结果曲线36或实际结果曲线36’。然后计算结果曲线36和36’上彼此对应的点之间的欧几里德距离，还可以考虑与图像点32不同的点，即具有与图像点32不同的高度坐标的点。

在上述两种情况下，误差随后被反馈到人工神经网络。在这种情况下，不仅第二子网络40的加权因子而且第一子网络38的加权因子都被调整，使得误差或差异最小化。

应该指出的是，在上述训练步骤之后，两个子网络38、40之间的边界可能不再能够以完美无瑕(fault-free)的方式确立，因为第一子网络38的加权因子也在第二训练步骤T2中被调整，这意味着两个子网络38、40之间的边界变得模糊。

然后配置以这种方式训练的人工神经网络来执行步骤S1至S5。