用于确定机动车辆中的拖车挂钩铰接角度的方法和设备

技术领域

本公开总体上涉及一种用于在机动车辆的拖车应用中使用的使用后视相机确定拖车挂钩铰接角度的系统。更具体地，本公开的各方面涉及用于在车辆和拖车的向前直线操作期间使用后视相机对拖车挂钩配置进行建模并在拖车操作过程中使用后视相机确定可牵引车辆的中心线与所附接拖车的中心线之间的角度的系统、方法和装置。

背景技术

对于许多驾驶员来说，用牵引车辆拉动拖车一直是而且仍然是一项复杂的工作。球形挂钩通常用作拖车连接，并在牵引车辆和拖车之间提供接头。瞄准拖车涉及使牵引车辆的后部沿与拖车所需方向相反的方向转动。对于配备有自动和高级驾驶员辅助系统(ADAS)的车辆，确定挂钩铰接角度(HAA)是执行ADAS功能(例如带拖车的自主车辆操作、千斤顶刀检测和全自动拖车停车)的关键成分。然而，不同的拖车具有不同的挂钩配置，从而使ADAS的拖车中心线检测和HAA复杂化。期望通过ADAS提供改进的拖车中心线检测，同时克服上述问题。

在该背景技术部分中公开的以上信息仅用于增强对本发明背景技术的理解，因此其可能包含不构成该国本领域普通技术人员已知的现有技术的信息。

发明内容

本文公开了用于供应车辆系统的车辆制动方法和系统以及相关的控制逻辑、用于制造这种系统的方法和用于操作这种系统的方法以及配备有车载控制系统的机动车辆。通过示例而非限制的方式，提出了自动确定用于机动车辆中的拖车的拖车挂钩铰接角度的各种实施例，并且本文公开了一种用于执行自动确定用于机动车辆中的拖车的拖车挂钩铰接角度的方法。

根据本发明的一方面，一种设备具有：相机，用于捕获第一图像和第二图像；转向传感器，其配置为检测转向角度；速度传感器，其配置为检测车辆速度；处理器，其配置为用于：响应于转向角度和指示车辆沿直线向前方向行驶的车辆速度而从第一图像生成拖车挂钩模型，从第二图像生成当前挂钩模型，响应于拖车挂钩模型和当前挂钩模型之间的角度差异确定挂钩铰接角度；以及车辆控制器，其响应于挂钩铰接角度来控制车辆。

根据本发明的一方面，拖车接口用于生成拖车连接指示符，并且其中响应于拖车连接指示符指示附接的拖车而生成拖车挂钩模型和当前挂钩模型。

根据本发明的一方面，相机包括后视相机。

根据本发明的一方面，响应于边缘检测算法和第一图像来生成拖车挂钩模型。

根据本发明的一方面，其中拖车挂钩模型包括拖车中心线。

根据本发明的一方面，其中响应于坎尼(Canny)边缘检测算法和第一图像而生成拖车挂钩模型。

根据本发明的一方面，存储器用于存储拖车挂钩模型。

根据本发明的一方面，其中车辆控制器配置为响应于挂钩铰接角度而执行反向拖车操作。

根据本发明的一方面，一种方法包括：响应于沿直线向前方向行驶的车辆，捕获拖车挂钩组件的第一图像；响应于对第一图像执行的图像处理技术，生成拖车挂钩模型；响应于车辆沿向后方向行驶，捕获拖车挂钩组件的第二图像；响应于对第二图像执行的图像处理技术，生成当前挂钩模型；响应于拖车挂钩模型和当前挂钩模型之间的角度差异，确定挂钩铰接角度；响应于挂钩铰接角度来控制车辆。

根据本发明的一方面，其中响应于拖车连接的指示进一步捕获第一图像。

根据本发明的一方面，其中第一图像和第二图像由激光雷达系统生成。

根据本发明的一方面，其中控制车辆包括在牵引操作期间执行自动驾驶辅助算法。

根据本发明的一方面，其中第一图像和第二图像由后视相机捕获。

根据本发明的一方面，其中图像处理技术是边缘检测操作。

根据本发明的一方面，其中该方法由车辆控制器响应于牵引操作的指示来执行。

根据本发明的一方面，其中响应于由拖车接口生成的拖车检测指示符来捕获第一图像。

根据本发明的一方面，一种高级驾驶员辅助系统包括：惯性测量单元，用于检测车辆加速度；相机，用于捕获拖车挂钩组件的第一图像和拖车挂钩组件的第二图像；处理器，其配置为响应于第一图像和指示向前车辆运动的车辆加速度而生成拖车挂钩模型，响应于第二图像和指示向后车辆运动的车辆加速度而生成当前挂钩模型并且响应于当前挂钩模型和拖车挂钩模型的比较来确定挂钩铰接角度；以及车辆控制器，其配置为响应于挂钩铰接角度而执行倒车操作。

根据本发明的一方面，包括拖车接口，其配置成响应于拖车的连接而检测拖车指示符，并且其中响应于拖车指示符而生成拖车挂钩模型和当前挂钩模型。

根据本发明的一方面，其中响应于变速器挡位选择来确定向前车辆运动和向后车辆运动。

根据本发明的一方面，其中拖车挂钩模型还包括透视变换到拖车挂钩组件的俯视图。

附图说明

在下文中将结合以下附图描述示例性实施例，其中相同的标号表示相同的元件，并且其中：

图1a示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的方法和设备的应用。

图1b示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的方法和设备的应用。

图2a示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统的示例性实施例的示例性图像。

图2b示出了根据本公开的示例性实施例的在应用单应性变换之后用于确定机动车辆中的拖车挂钩铰接角度的示例。

图2c示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统的示例性实施例的第一示例性处理图像。

图2d示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统的示例性实施例的第二示例性处理图像。

图3示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的示例性系统的框图。

图4示出了表示根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的方法的流程图。

图5示出了表示根据本公开的另一示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统的框图；以及

图6示出了表示根据本公开的另一示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的方法的流程图。

本文阐述的示例说明了本发明的优选实施例，并且这些示例不应以任何方式解释为限制本发明的范围。

具体实施方式

以下详细描述本质上仅是示例性的，并不旨在限制应用和用途。此外，无意受在前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论约束。如本文所用，术语模块是指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。

示例性算法可操作成使用除了车辆系统位置(比如经由控制器局域网(CAN)消息接收到的车辆速度和方向盘角度)之外的来自典型车辆后视相机的图像来建模和检测拖车HAA。该系统可操作成采用学习例程，其中在车辆以直线操作期间使算法能够学习拖车的精确模型。在车辆的直线操作期间执行的学习例程可以在具有驾驶员输入的车辆操作开始时完成，或者在没有驾驶员输入的车辆操作期间自动完成。示例性系统还可操作成执行透视变换以提供拖车的俯视图来简化对挂钩铰接角度的确定，从而允许从一个驾驶快照生成子程度(sub-degree)模板。

所提出的系统的优点包括透视变换，以使用牵引车辆上的现有硬件，以所有角度实现拖车挂钩铰接角度，从而执行学习和检测操作。使用该示例性算法，示例性系统可操作为生成可以获悉每个客户的拖车的精确模型，而不管拖车的增加如何。另外，示例性系统可操作成将捕获的拖车挂钩的后视图图像变换为鸟瞰图，以简化该方法的几何形状并呈现给车辆操作者等。

现在转到图1a，示出了根据本公开的示例性实施例的用于生成机动车辆中的拖车挂钩铰接角度的方法和设备的应用。示例性应用示出了沿向前方向行驶的牵引车辆110和拖车120。在沿直线方向向前行驶期间，可以假定牵引车辆中心线和拖车车辆中心线对准。示例性系统可操作成响应于通过CAN总线从车辆传感器或车辆控制器接收的转向控制器角度和车辆速度指示来确定牵引车辆沿向前方向直线行驶。响应于确定牵引车辆沿向前方向直线行驶，系统然后可操作成捕获当前拖车挂钩配置的图像。系统然后可操作成使用边缘检测和其他图像检测技术来生成拖车挂钩配置的一个或多个模型。在一示例性实施例中，系统可操作成在直线驱动模式下对时间序列上的图像进行平均以生成模型。模型可以包括诸如直线边缘、确定的中心线等物理特征的指示。在另一示例性实施例中，示例性系统可以进一步操作成对模型执行透视变换，以生成模型的俯视透视图，以便简化挂钩铰接角度的确定的几何形状。

现在转到图1b，示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的方法和设备的应用。示例性应用示出了沿向前方向或向后方向之一行驶的牵引车辆130和拖车140。然后，示例性系统可操作成捕获拖车挂钩配置的实时图像。然后，示例性系统可操作成响应于先前捕获的模型与实时图像之间的差异来将先前捕获的模型与实时图像进行比较以确定HAA。例如，示例性系统可以比较实时图像中的一个或多个检测到的边缘，并确定模型中检测到的边缘与实时图像检测到的边缘之间的角度。然后可以使用两个检测到的边缘之间的角度来确定HAA。

现在转向图2a，示出了根据用于确定机动车辆中的拖车挂钩铰接角度的系统的示例性实施例的示例性图像。示例性图像可以由安装在牵引车辆中的后视相机捕获。挂钩组件在示例性图像中的透视是从挂钩组件的前面并且稍微在其上方。挂钩组件的透视角度可取决于安装在牵引车辆上的相机的高度和拖车挂钩组件的高度。例如，典型汽车的后置相机可能低于典型皮卡车的后置相机。期望提供用于挂钩铰接角度估计的挂钩组件的俯视图。

现在转向图2b，示出了根据本公开的示例性实施例的在机动车辆中应用单应性变换之后用于确定机动车辆中的拖车挂钩铰接角度的示例性图像。在该示例性实施例中，图像已由牵引车辆中的后视相机捕获，并且已应用透视变换或单应性变换来提供俯视透视。图像描绘了沿直线向前行驶时的拖车挂钩配置。在这些条件下，拖车的中心线应与牵引车辆的中心线对准。

现在转向图2c，示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统的示例性实施例的第一示例性处理图像。在该示例性实施例中，响应于由沿直线向前行驶的牵引车辆的后视相机捕获的图像而生成第一示例性处理图像。示例性处理图像表示对由沿直线向前行驶的牵引车辆的后视相机捕获的图像执行边缘检测图像处理技术。在一示例性实施例中，建模路由可以在直线驱动模式下对序列上的图像执行平均，以便生成不同角度的模板序列。

现在转向图2d，示出了根据本公开的示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统的示例性实施例的第二示例性处理图像。在该示例性实施例中，当牵引车辆在执行拖车操作时，响应于由牵引车辆的后视相机捕获的图像而生成第二示例性处理图像。示例性处理图像指示在拖车操作期间对由牵引车辆的后视相机捕获的图像执行边缘检测图像处理技术。

在用于确定HAA的示例性方法中，可以将图2c的图像与图2d的图像进行比较，并且可以响应于每个图像中检测到的边缘的角度差异来估计HAA的变化。然后可以将该HAA耦合到负责执行倒车操作的车辆控制器或ADAS。在示例性实施例中，可以通过与旋转的模板进行比较来通过在图像之间执行的边缘匹配来估计HAA，并且其中HAA通过相似性匹配来确定。

在另外的示例性实施例中，可以开始初始学习例程以学习每个顾客的拖车的图像特征模型，而不管拖车的增加。然后，可以通过应用视图透视变换和图像旋转来生成不同挂钩铰接角度的拖车模板。因此，可以为每个后视相机视频帧执行模板匹配步骤以确定挂钩铰接角度。然后可以通过将当前图像边缘地图与学习的模板进行比较来计算软边缘匹配分数。

现在转向图3，示出了根据本公开的示例性实施例的用于确定机动车辆300中的拖车挂钩铰接角度的示例性系统的框图。系统300包括处理器320、车辆控制器345、拖车接口模块350、视频控制器315和相机310。

相机310可以是安装到车辆后部的后视相机，使得拖车挂钩组件在由相机捕获的图像内可见。可替代地或另外，相机310可以是安装在车辆周围的分开位置处然后在全景或俯视图中对准在一起的多个相机之一。相机310可以将一个图像或一系列图像发送到处理器320或视频控制器315，以处理图像并将该信号耦合到处理器320。

处理器320首先可操作成从拖车接口模块350、车辆控制器345、相机310和/或视频处理器315接收数据。在该示例性实施例中，处理器320可操作成通过车辆控制器345监视车辆的转向位置和纵向速度。系统还可操作成监视拖车接口模块350以确定拖车是否被牵引。如果拖车被牵引并且车辆速度指示向前运动，则处理器320可操作成确定车辆是否沿直线向前方向移动，从而导致车辆中心线和拖车中心线对准。处理器320可以响应于经由车辆控制器345接收到的转向控制器数据来确定车辆沿直线向前方向行驶。如果车辆沿直线向前方向移动，则后视相机310可操作成捕获拖车挂钩组件的一个或多个图像。然后，处理器320可操作成接收一个或多个图像，并对图像执行图像检测技术，比如边缘检测等，以生成拖车挂钩组件的模型。这些图像检测技术可以在一系列图像上执行，并且累积结果用于生成拖车挂钩组件的模型。此外，处理器320可操作成相对于拖车挂钩组件估计拖车中心线作为模型的一部分。

然后，处理器320可操作成监视来自车辆控制器345和拖车接口350的数据，以检测将发生在拖车模式下的拖车操作。处理器320可以首先从拖车接口350接收检测到拖车的指示，然后从车辆控制器345接收车辆已被切换至操作模式的指示，比如将变速器切换至驱动或倒挡位置。然后，处理器320可操作成从相机310接收图像，以对图像执行图像检测技术，比如边缘检测等，以生成处理图像。然后，处理器320可操作成将处理图像与拖车挂钩组件的模型进行比较以确定HAA。HAA可以是模型挂钩组件中心线和处理图像中检测到的挂钩中心线之间的角度差异。然后，处理器320可操作成将HAA耦合到车辆控制器345或ADAS控制器。处理器320可操作成连续重复该处理器以生成一系列HAA值，以供车辆控制器345用于执行ADAS拖车功能。

拖车接口模块350可操作成生成附接的拖车的指示。这可以响应于拖车电连接器上的阻抗测量、拖车挂钩上的挠曲测量或者响应于车辆被置于牵引模式来完成。

现在转到图4，示出了表示根据本公开的示例性实施例的用于确定机动车辆400中的拖车挂钩铰接角度的示例性方法的流程图。在该示例性实施例中，该方法首先可操作成接收405牵引操作的指示。该指示的示例可以包括：牵引车辆经由用户界面被置于牵引模式；来自拖车接口模块的指示拖车的连接的指示符或者指示拖车电系统已连接的拖车电连接器上电压或电容的变化。用户界面可以包括车厢内的按钮，或者可以通过信息娱乐系统上的视觉用户界面上的选项来选择。拖车接口模块可以响应于连接的电连接器或通过拖车挂钩的挠曲或者响应于拖车挂钩上的纵向力来确定拖车的存在。

该方法接下来可操作成确定410车辆是否沿直线向前方向行驶。可以响应于转向控制器确定转向角度以及车辆控制器指示车辆速度和变速器挡位选择来确定行驶方向。可替代地，可以响应于惯性测量单元输出来估计车辆的方向和角速度。例如，如果车辆经历了向前加速并且没有最近的横向加速，则可以假定车辆沿向前直线行驶。如果确定车辆没有沿直线向前方向行驶，则重复该确定，直到检测到直线向前方向条件。

如果车辆沿直线向前方向行驶，则该方法接下来可操作成接收415拖车挂钩组件的图像。在示例性实施例中，图像可以是来自后置视频相机的视频馈送或视频流中的一个图像。响应于接收到图像，该方法接下来可操作成生成420拖车挂钩组件的模型。在示例性实施例中，该方法可操作成从相机接收图像并执行图像识别或图像处理技术以确定拖车挂钩组件的物理模型。图像处理可以包括透视变换或边缘检测。在一示例性实施例中，该方法可以采用坎尼边缘检测来提供对照度变化不变的快速边缘检测。此外，该方法可操作成估计拖车中心线作为模型的一部分。用于模型的模板学习操作可以包括对多个图像求平均、对图像进行阈值化和/或旋转。然后，该方法可操作成将模型或拖车模板存储在存储器等中。

在生成挂钩组件模型之后，该方法可操作成确定425是否在发生牵引操作。可以响应于拖车与拖车接口的连接来确定牵引操作。牵引操作可以响应于由车辆控制器测量的速度来确定或者可以响应于挂钩机构上的力来确定。

在该示例性实施例中，一旦确定牵引操作，则该方法可操作成接收430来自后置相机的图像。该图像可以是单个图像或视频流的帧。图像可以是通过组合或缝合来自多个后置相机的一个或多个图像而生成的合成后视图像。在一示例性实施例中，合成后视图像可以是从上方描绘牵引车辆的鸟瞰图像，其中合成后视图像是由来自牵引车辆周围的多个相机的图像生成的。在另一示例性实施例中，可以对来自后置相机的图像执行透视变换，以生成俯视透视图。

该方法接下来可操作成对接收到的图像执行435图像处理技术以生成处理图像。在一示例性实施例中，图像处理技术可以是边缘检测技术或其他图像处理技术，类似于用于生成挂钩组件模型的那些技术。然后将处理图像与挂钩组件模型进行比较440，以确定在每个图像/模型中检测到的挂钩组件元件的角位移。该方法然后可操作成响应于角位移来估计HAA。

现在转到图5，示出了表示根据本公开的另一示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的系统500的框图。示例性系统包括相机510、转向传感器520、速度传感器530、处理器540、车辆控制器550、拖车接口560和存储器570。

相机510可以是配置成捕获一个或多个图像的广角或鱼眼镜头相机，或者可以操作成响应于视频流而捕获视频流并将多个时间序列图像耦合到处理器540，其中每个图像可能是视频流的一帧。可替代地，相机510可以是可操作成发射光脉冲并接收来自激光雷达视场内的物体的反射光脉冲的激光雷达系统。在一示例性实施例中，相机510是后视相机，其定位在牵引车辆的后部上，比如在后挡板等内。在该配置中，相机510的视场将可操作成捕获附接到车辆的拖车的拖车挂钩组件。在另一示例性实施例中，可以对来自后置相机的图像执行透视变换，以生成俯视透视图。

转向传感器530可以配置为检测转向角度。例如，转向角度可以是转向控制器与车辆中心线不同的角度，比如当转向控制器位置与车辆中心线匹配时为0度，当转向控制器位置在车辆中心线左侧5度时为-5度。转向传感器530可以是转向位置传感器、转向角度传感器等。在一示例性实施例中，转向位置传感器估计车辆转向柱的位置。

速度传感器530可操作成检测车辆速度或提供用于估计车辆速度的车辆性能特征。例如，速度传感器530可以是车轮速度传感器、变速器速度检测器、全球定位系统、惯性测量单元等。速度传感器530可操作成将代表车辆速度的数据信号耦合到处理器540，以用于ADAS操作或驾驶员信息。

处理器540配置为响应于转向角度和指示车辆沿直线向前方向行驶的车辆速度而从第一图像生成拖车挂钩模型。可以响应于边缘检测算法比如坎尼边缘检测算法来生成拖车挂钩模型。在一示例性实施例中，拖车挂钩模型可以包括响应于第一图像而确定的拖车中心线和牵引车辆中心线。

然后，处理器540进一步可操作成响应于指示车辆沿向后方向行驶的车辆速度而从第二图像生成当前挂钩模型。然后，处理器540进一步可操作成响应于拖车挂钩模型与当前挂钩模型之间的角度差异来确定挂钩铰接角度。

车辆控制器550可操作成响应于挂钩铰接角度来控制车辆。车辆控制器550可以配置为执行ADAS算法等。在一示例性实施例中，车辆控制器550可操作成执行牵引操作，其中牵引车辆沿向后方向推动附接的拖车，比如将拖车定位在营地中。车辆控制器550可使用HAA来估计拖车中心线并响应于拖车中心线来控制车辆转向和车辆油门。

系统500可进一步包括用于生成拖车连接指示符的拖车接口560，并且其中响应于指示附接的拖车的拖车连接指示符而生成拖车挂钩模型和当前挂钩模型。系统可进一步包括用于存储该挂车挂钩模型或多个挂车挂钩模型的存储器570。处理器540可以响应于确定HAA的请求而检索拖车挂钩模型。

现在转到图6，示出了表示根据本公开的另一示例性实施例的用于确定机动车辆中的拖车挂钩铰接角度的方法600的流程图。示例性方法600首先可操作成响应于沿直线向前方向行驶的车辆来捕获610拖车挂钩组件的第一图像。在一示例性实施例中，可以响应于来自拖车接口等的拖车连接的指示来捕获第一图像。第一图像可以由后视相机捕获，或者可以由激光雷达系统生成。在另一示例性实施例中，可以对第一图像执行透视变换以生成俯视透视图。

该方法接下来可操作成响应于在第一图像上执行的图像处理技术来生成620拖车挂钩模型。图像处理技术可以是边缘检测操作，比如坎尼边缘检测算法或者替代图像处理或图像检测算法。在一示例性实施例中，图像处理技术可操作成检测当前接合的拖车的拖车挂钩组件的元件。

该方法接下来可操作成响应于车辆在牵引操作中操作而捕获630拖车挂钩组件的第二图像。在示例性实施例中，可以在第二图像上执行透视变换，以生成挂钩组件的俯视透视图。该方法接下来可操作成响应于对第二图像执行的图像处理技术来生成640当前挂钩模型。

该方法接下来可操作成响应于拖车挂钩模型与当前挂钩模型之间的角度差异来确定650挂钩铰接角度。可以响应于拖车挂钩模型中的检测到的拖车挂钩部件的角度与当前挂钩模型中的检测到的拖车挂钩部件的角度之间的差异来确定挂钩铰接角度。例如，可以响应于根据拖车挂钩模型确定的拖车挂钩组件中心线和根据当前挂钩模型确定的拖车挂钩组件中心线来估计挂钩铰接角度。在另一示例性实施例中，响应于用于边缘检测的软边缘匹配技术来确定挂钩铰接角度。

然后，该方法可操作成响应于挂钩铰接角度来控制660车辆。该方法可以由车辆控制器响应于牵引操作的指示来执行。在示例性实施例中，车辆的控制可以包括在牵引操作期间执行自动驾驶辅助算法。

尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。