用于确定车辆至对象的距离的方法和设备

技术领域

本发明涉及一种用于确定车辆至对象的距离的方法，本发明还涉及一种用于确定车辆至对象的距离的设备。

背景技术

对于基于视觉感知的自动驾驶功能而言，准确探测与前方物体的距离至关重要。立体摄像机通过将多个摄像机的图像彼此叠加来产生车辆周围环境的空间图像，这使得能够非常准确地确定前方对象的3D轮廓及车辆至该对象的距离。但是硬件成本和计算量级是立体视觉面临的难点，此外，必须经常对立体摄像机的多个摄像机进行校准和协调，这一过程是费时的且容易引入其他错误。单目摄像机通常以较成本和较小尺寸实施，但是由于无法使用立体效果，当与前方物体的间距很远或视野条件不佳时，只能实现粗略的距离探测。

目前，现有技术中提出一种基于车道标记线的测距方法，其中，通过识别车辆与前方对象之间的车道标记线数量来实现间接距离推算。但是由于车道标记线的不连续性以及车辆本身对标记线的遮挡，这种计数过程十分不准确。

还已知一种测量车距的方法，在该方法中，利用前方车辆经过两个连续标志物的时间以及两个标志物之间的标准距离来估算车距。这种方法依赖于特殊标志物的规律性排列，并且需要等待前车完整经过两个连续标志物之后才能实现测距，因此应用场景存在局限性。

在这种背景下，期待提供一种基于单目摄像机的改进的测距方案，旨在提高测量结果的准确性。

发明内容

本发明的目的在于提供一种用于确定车辆至对象的距离的方法和一种用于确定车辆至对象的距离的设备，以至少解决现有技术中的部分问题。

根据本发明的第一方面，提出一种用于确定车辆至对象的距离的方法，所述方法包括以下步骤：

S1：获取借助车载摄像机拍摄的车辆前方环境的二维的图像，所述图像包括位于车辆前方的对象以及交通标记物；

S2：在所述图像中确定交通标记物的图像几何特征；

S3：在所述图像中确定对象相对于交通标记物的图像位置关系；以及

S4：在交通标记物的图像几何特征与预先确定的实际几何特征之间建立关联性，基于所述关联性以及所述图像位置关系确定车辆至对象的距离。

本发明尤其包括以下技术构思：利用未知对象与已知参照物的位置关系，将车辆与任意对象的距离探测问题转换为已知参照物上的图像点与实际点之间的映射问题。在此期间无须采用两幅或两幅以上图像，也不需要约束车辆自身运动，提供了一种仅借助单个摄像机就能实现的高效测距方案。

可选地，所述方法还包括以下步骤：对车载摄像机进行初始化，其中，在交通标记物至车辆的距离为参考距离的情况下，借助车载摄像机确定交通标记物的参考图像几何特征，将交通标记物的实际几何特征、参考图像几何特征和参考距离绑定地存储作为车载摄像机的初始标定参数。

由此，实现以下技术优点：可以借助初始化过程提前录入多个预确定的交通标记物的参考信息，从而便于在正常行驶期间的随时调取和使用。

可选地，所述步骤S3包括：在所述图像中，借助内插法在对象的水平延伸线上构造交通标记物的假想投影。

可选地，所述步骤S4包括：基于交通标记物的假想投影的图像几何特征与交通标记物的实际几何特征的比较确定缩放因子；以及，根据该缩放因子计算车辆至对象的距离。

由此，实现以下技术优点：通过构造交通标记物的假想投影，无论前方对象是否恰好满足与已知参照物的特定相对位置关系(例如恰好对齐或共面)，无论是否存在特殊的标记物序列，都能够创造出可计算条件，从而实现随时测距。由此提高了整个方案的灵活性和时间效率。

可选地，根据缩放因子计算车辆至对象的距离包括：

沿着对象的水平延伸线确定对象的中心至交通标记物的假想投影的第一图像距离，借助缩放因子将第一图像距离换算为第一实际距离；

借助缩放因子将车载摄像机的初始标定参数中的参考距离换算为第二实际距离；以及

根据第一实际距离和第二实际距离计算车辆至对象的距离。

由此，实现以下技术优点：借助这种缩放关系可以确定假想投影所在物平面的任意几何特征，从而能够通过简单的数学换算和近似关系得出车辆至前方对象的距离。

可选地，在图像中存在至少两个相同类型的交通标记物的情况下，在至少两个交通标记物的对应轮廓点的连接线与所述对象的水平延伸线的交点处，按照所述连接线限制出的比例关系构造所述假想投影。

可选地，在图像中存在一个交通标记物的情况下，沿着车辆行驶方向确定消失点，基于消失点以及交通标记物的轮廓点构造中心透视线，在中心透视线与所述对象的水平延伸线的交点处，按照由中心透视线限制出的图像比例关系构造所述假想投影。

由此，实现以下技术优点：假想投影的构建并不受限于交通标记物的类型和数量，因此可以在不同应用场景中在综合考虑不同原理的计算开销的情况下，选取最高效的测距方案。

可选地，所述方法还包括以下步骤：

借助经训练的分类器和/或人工神经网络对交通标记物进行识别；以及

根据识别的结果从车辆本地的和/或车辆外部的数据库调用交通标记物的实际几何特征。

由此，实现以下技术优点：由此尤其可以将多个预确定尺寸的交通标记物存储在数据库中，并在需要时调用。因此即使在车载摄像机未针对特定类型的交通标记物进行初始标定的情况下，也可以随时结合摄像机的通用内参和外参建立换算关系。

可选地，所述方法还包括以下步骤：

在图像中确定所述交通标记物的和/或至少一个其他类型的交通标记物的附加图像特征并且获取所述附加图像特征对应的附加实际特征；以及

借助所述附加图像特征和附加实际特征的比较对在步骤S4中确定的车辆至对象的距离进行可信度检验。

由此，实现以下技术优点：通过了解另外的参照物信息，可以以冗余的方式实现测距，通过交叉验证过程使最终测量结果更准确且合理。

根据本发明的第二方面，提出一种用于确定车辆至对象的距离的设备，该设备用于执行根据本发明的第一方面所述的方法，所述设备包括：

获取模块，其配置成能够获取借助车载摄像机拍摄的车辆前方环境的二维的图像，所述图像包括位于车辆前方的对象以及交通标记物；

识别模块，其配置成能够在所述图像中确定交通标记物的图像几何特征，其还配置成能够在所述图像中确定对象相对于交通标记物的图像位置关系；以及

计算模块，其配置成能够在交通标记物的图像几何特征与预先确定的实际几何特征之间建立关联性，并基于所述关联性以及所述图像位置关系确定车辆至对象的距离。

附图说明

下面，通过参看附图更详细地描述本发明，可以更好地理解本发明的原理、特点和优点。附图包括：

图1示出了根据本发明的一个示例性实施例的用于确定车辆至对象的距离的设备的框图；

图2示出了根据本发明的一个示例性实施例的用于确定车辆至对象的距离的方法的流程图；

图3示出了根据本发明的一个示例性实施例的用于确定车辆至对象的距离的方法的两个步骤的流程图；

图4a和图4b示出了在示例性应用场景中借助根据本发明的方法进行距离探测的示意图；以及

图5示出了在另一示例性应用场景中借助根据本发明的方法进行距离探测的示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。

图1示出了根据本发明的一个示例性实施例的用于确定车辆至对象的距离的设备的框图。

如图1所示，设备10例如布置在具有驾驶辅助/自动驾驶功能的车辆1中。车辆1还具有车载摄像机20。车载摄像机20例如是单目摄像机或者是立体摄像机中的单个摄像头，其用于以二维图像数据的形式记录车辆1前方的道路环境。

为了借助车载摄像机20实现精确的距离探测，设备10包括获取模块11、识别模块12和计算模块13。获取模块11例如构造成通信接口并与车载摄像机20在通信技术上无线地或有线地连接，以便能够从车载摄像机20接收图像数据。此外还可能的是，获取模块11直接构造成或者包括车载摄像机20，并因此能够直接拍摄车辆1前方路面的图像。

识别模块12与获取模块11在通信技术上连接，以便从那里接收前方路面的图像。在识别模块12中，对图像中的交通标记物以及车辆1前方的对象进行识别。为此，例如预先将潜在对象或交通标记物的适当模板存储在识别模块12的存储器中，并由识别模块12借助经训练的人工神经网络或机器学习模型执行图像评估和语义分割。在识别出相应对象之后，识别模块12还用于确定交通标记物的图像几何特征，并确定车辆1前方的对象相对于交通标记物的图像位置关系。

计算模块13用于在交通标记物的图像几何特征与预先确定的实际几何特征之间建立关联性，并基于该关联性以及图像位置关系确定车辆至对象的距离。为此，计算模块13例如可以访问布置在车辆1本地或云端的数据库，以便从那里获得交通标记物的预确定信息，这种预确定信息例如包括不同交通标记物的实际几何特征。在此，交通标记物的预确定信息通常是标准化的并由道路测绘和监管部门统一管理。还可能的是，这种预确定信息根据不同国家、地区而有所不同。根据分配给图像中的各个交通标记物的实际几何特征，计算模块13可以确定车辆到这些交通标记物的实际距离，并基于车辆前方对象与这些预确定参照物的相对位置关系而间接推算出车辆至前方对象的距离。

图2示出了根据本发明的一个示例性实施例的用于确定车辆至对象的距离的方法的流程图。该方法示例性地包括步骤S0-S5，并且例如可以在使用根据图1所示的设备10的情况下实施。

在步骤S0中，对车载摄像机进行初始化。在此，例如可以借助具有已知尺寸的交通标记物对车载摄像机进行标定。在标定阶段，可以在交通标记物至车辆的距离为参考距离的情况下，借助车载摄像机确定交通标记物在所拍摄的图像中的参考图像几何特征。然后将该交通标记物的预先确定的实际几何特征、参考图像几何特征和参考距离绑定地存储作为车载摄像机的初始标定参数。

也就是说，通过这种初始标定能够知道：在交通标记物的参考距离与参几何特征之间的比例关系。于是，在车辆正常行驶期间，可以借助交通标记物的实测数据与预存储的参考图像几何特征以及参考距离之间的比对得出车辆至交通标记物的当前距离。

在步骤S1中，获取车辆前方环境的二维图像，该图像包括位于车辆前方的对象以及该对象周围的交通标记物。在此，例如可以借助相应的通信接口从布置在车辆上的单目摄像机接收这种二维图像。

在步骤S2中，在所获取的图像中确定交通标记物的图像几何特征。在本发明的意义上，交通标记物例如包括道路指示牌、轮廓柱、隔音板、护栏、灯柱等基础设施装置及交通锥桶等指示装置。图像几何特征例如包括特定对象在所拍摄图像中的长度、宽度、高度、大小、形状。这种图像几何特征例如可以以像素为单位。与之对应地，实际几何特征表示特定对象在世界坐标系中的真实几何特征，这些值通常是标准化的并因此能够预先已知。交通标记物的实际几何特征例如可以被存储在(布置在车辆本地或云端的)存储器中并能够在对象识别过程中被读取或被调用。

在步骤S3中，在图像中确定车辆前方对象相对于交通标记物的图像位置关系。在本发明的意义上，车辆前方对象可以是车辆前方道路环境中的任意物体，这例如包括向前行驶的车辆、停泊的车辆、过马路的人、路面上遗落的物体等。在此，图像位置关系表示：车辆前方对象在所拍摄的图像中相对于交通标记物的位置关系。由于在二维图像中所有深度信息未知，因此为了在图像中确定两个对象之间的相对位置关系，例如需要借助适当的数学运算和坐标投影来建立两个对象之间的深度关系，这将结合下文中的图3的实施例进一步阐述。

在步骤S4中，在交通标记物的图像几何特征与预先确定的实际几何特征之间建立关联性，并基于这种关联性以及所述图像位置关系确定车辆至对象的距离。在此，例如可以计算交通标记物在确定方向上的图像几何特征与实际几何特征之间的比例关系，基于这种比例关系可以得到：在交通标记物所在的物平面中的所有对象相对于车载摄像机的实际距离。根据待测距对象在该物平面中的确定位置，可以估算出车辆至前方对象的距离。

接下来，在可选的步骤S5中，借助对另一类型的交通标记物的识别结果对已经确定的车辆至前方对象的距离进行可信度检验。在此，例如在图像中识别到至少一个其他类型的交通标记物(如果存在的话)，并确定这种其他类型的交通标记物的附加图像几何特征和附加实际几何特征，根据两者之间的关联性可以再次计算车辆至前方对象之间的距离。此外还可能的是，识别同一交通标记物的另外的图像几何特征，并分别根据与相应的实际几何特征的比较多次地计算出车辆至前方对象的距离。然后，通过将这些距离探测结果相互比对或者取平均，可以在一定程度上减小测量结果中的误差，从而提高准确性。

图3示出了根据本发明的一个示例性实施例的用于确定车辆至对象的距离的方法的两个步骤的流程图。在该示例性实施例中，图2中的方法步骤S3包括步骤S31-S32，方法步骤S4包括步骤S41-S44。

在步骤S31中，在图像中沿着车辆前方对象的横向构造水平延伸线。在本发明的意义上，纵向理解为沿车辆行驶方向延伸的方向，横向理解为与车辆行驶方向垂直的水平方向。

在步骤S32中，借助内插法在对象的水平延伸线上构造交通标记物的假想投影。在此，取决于当前场景中存在的交通标记物的数量和类型，可以借助不同的辅助方法来构造假想投影。

在步骤S41中，基于交通标记物的假想投影的图像几何特征与实际几何特征的比较确定缩放因子。在此，由于预先沿着前方对象的横向构造出交通标记物的假想投影，因此，计算出的缩放因子实质上能够表示交通标记物的假想投影所在物平面(即车辆前方对象所在物平面)上的所有对象的图像几何特征与实际几何特征之间满足的缩放关系。

在步骤S42中，在图像中确定车辆前方对象的中心在横向上至交通标记物的假想投影的第一图像距离，并借助缩放因子将该第一图像距离换算为第一实际距离。

在步骤S43中，借助缩放因子将车载摄像机的初始标定参数中的参考距离换算为第二实际距离。

在步骤S44中，根据第一实际距离和第二实际距离(例如通过三角法和近似关系)计算车辆至对象的距离。

图4a和图4b示出了在示例性应用场景中借助根据本发明的方法进行距离探测的示意图。

在图4a所示场景中，在本车辆行驶过程中，在前方不远处出现沿相同方向行驶的车辆200，为了确保自动驾驶功能和/或驾驶辅助功能的准确性，需要准确地了解本车辆至前方车辆200的距离。

在此，例如已经借助布置在本车辆上的前视摄像机(例如单目摄像机)拍摄了车辆前方路面的二维图像。在该图像中，除了前方车辆200之外，同时还能识别出多个以一定间隔布置在路边的轮廓柱101、102、104、105，这些轮廓柱101、102、104、105彼此相同地构造并具有标准化高度H。由于视觉成像原因，这些轮廓柱101、102、104、105在所拍摄的图像中分别具有不同的图像几何特征。例如，前方车辆200右侧的两个相邻轮廓柱101、102在图像中分别具以像素为单位的第一高度h

为了确定至前方车辆200的距离，还需要获知前方车辆200与这些以参照物形式存在的轮廓柱的相对位置关系。由于在拍摄该图像的时刻，前方车辆200并未到达与任何一个轮廓柱在横向水平方向齐平的位置。因此，无法直接依据轮廓柱的相关几何信息得出车辆至前方车辆200的距离。在这种情况下，需要通过在前方车辆200的水平延伸线301上构造轮廓柱的假想投影103来建立前方车辆200与已知轮廓柱101、102的位置关联。例如，从车辆200与路面的接触点出发，沿横向绘制一条水平辅助线301。同时，在该图像上绘制出两个相邻轮廓柱101、102的一组对应轮廓点(例如与地面接触点)之间的连线302。水平辅助线301与该连线302相交的位置即是轮廓柱的假想投影103的位置。例如通过构造轮廓柱101、102的另外一组对应轮廓点(例如轮廓柱101、102的上端点)之间的连线303，可以在该位置处按照两组连线302、303限制出的比例关系构造轮廓柱的假想投影103。该假想投影103在图像中的高度为h

由于轮廓柱101、102的标准高度H已知，因此可以针对轮廓柱的假想投影103所在物平面确定实际几何特征与图像几何特征之间的缩放因子：α

此外，根据车载摄像机的初始标定可以获知：在车辆至轮廓柱的距离为参考距离L

于是，根据当前确定的缩放因子，在结合车载摄像机的初始标定参数的情况下可以求取出车辆至轮廓柱的假想投影103的实际距离L

其中，L

此外，在该图像中还可以确定前方车辆200与假想投影103之间的横向间距b，该横向间距b例如表示前方车辆200与路面接触点之间连线的中点至投影位置的图像横向距离。接下来，可以借助缩放因子将该图像横向距离换算为实际横向距离：

B＝b·α

其中，B是车辆200与地面接触点之间连线的中点至假想投影103的实际横向距离，b是车辆200与路面接触点之间连线的中点至假想投影103的图像横向距离，α

下面可以借助图4b所示的几何关系计算出车辆至前方车辆200的距离。由图4b可以看出，目前已知的是：车辆至轮廓柱的假想投影103的实际距离L

L

图5示出了在另一示例性应用场景中借助根据本发明的方法进行距离探测的示意图。

该示例性场景与图4a的区别在于：在道路两边不再布置有由多个相同轮廓柱构成的序列，而是仅存在具有图像高度h1的唯一的轮廓柱101。可以看出，前方车辆200在拍摄图像时刻已经驶过该轮廓柱101，因此在该场景中同样无法直接得出前方车辆200与参照物的位置关系。

在这种情况下，可以借助消失点法来构造轮廓柱101的假想投影103。在该图像中，例如首先沿着车辆行驶方向确定消失点P，该消失点P位于路面边界310的延伸线307与车道标记线320的延伸线306的相交位置处。接下来，可以基于消失点P和轮廓柱101上的轮廓点(例如底部和顶部轮廓点)构造中心透视线304、305。同样地，从车辆200与路面接触点沿横向绘制一条水平辅助线301。在基于底部轮廓点确定的中心透视线304与水平辅助线301的交点处，按照由中心透视线304、305限制出的图像比例关系绘制出具有图像高度h3的假想投影103。

接下来，可以借助在图4a-4b中描述的方式计算缩放因子并根据几何关系计算出车辆至前方车辆200的距离。

根据本发明的其它实施方式，也可以通过获取位于车辆后方的摄像头所拍摄的车辆后方环境的图像，利用类似的方法确定车辆至后方对象的距离。

尽管这里详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下，各种替换、变更和改造可被构想出来。