摄像头监测系统中的拖车端部跟踪

相关申请的交叉引用

本申请要求于2021年10月19日提交的美国临时专利申请第63/257165号的优先权。

技术领域

本发明涉及用于在商用卡车中使用的摄像头监测系统(CMS)，并且具体地涉及用于在摄像头监测系统图像内定位拖车端部的系统。

背景技术

后视镜置换系统和用于补充后视镜视角的摄像头系统用于商用车辆以增强车辆操作者查看周围环境的能力。摄像头监测系统(CMS)利用一个或多个摄像头为车辆操作者提供增强的视场。在一些例子中，后视镜置换系统覆盖了比传统后视镜更大的视场，或者包括不能完全通过传统后视镜获得的视角。

在一些例子中，CMS显示器包括识别道路特征、检测到的对象或辅助车辆操作者执行车辆操作的其他类似的叠加的视觉增强。在一些情况下，视觉增强补偿摄像头的减小的功能性(例如，缺乏深度感知)，在其他情况下，视觉增强提供优于传统后视镜的改进的功能性(例如，对象识别、距离线等)。将一些视觉增强置于图像中需要知道拖车的一个或多个部分的位置。

发明内容

一种用于使用控制器跟踪图像中的拖车端部的示例性方法包括：从至少一个摄像头接收图像；识别图像中的拖车端部，并且使用控制器在一定时间段内通过图像跟踪拖车端部的运动；使用控制器通过图像基于拖车端部的运动来生成运动模型；以及响应于时间段的消逝和拖车端部使用控制器不可见，通过在延迟时间段内保持每个运动模型的拖车端部的运动并且建立由运动模型在延迟时间段结束时指示的估计的拖车端部位置，来对拖车端部离开图像做出响应。

在上述用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，生成运动模型取决于以下中的至少一个：车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率(truck yaw rate)、变速器档位以及内在和外在的摄像头传感器信息。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，延迟时间段取决于以下中的至少一个：车辆速度、测量的拖车角度、拖车长度、转向角和转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，延迟时间段是预定时间段。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，运动模型是通过图像的拖车端部的运动趋势的模型。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，运动模型是通过3D坐标系的拖车端部的运动趋势的模型，并且至少部分地基于拖车端部在图像中的位置来确定3D坐标系中的拖车端部位置。

上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子还包括将拖车端部位置提供给控制器的人机界面(HMI)模块，并且使用HMI模块基于所估计的拖车端部位置显示视觉增强。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，视觉增强包括从拖车端部位置延伸的水平线，并且其中当拖车端部不可见时，保持视觉增强。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，还包括：将所估计的拖车端部位置转换为三维坐标位置，并且将该三维坐标位置提供给自动驾驶员辅助系统和半自动驾驶员辅助系统中的至少一个。

在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中，生成运动模型包括通过图像确定拖车端部位置的恒定速度(CV)、恒定加速度(CA)和协调转弯恒定加速度(CTCA)中的每一个。

在一个示例性实施方式中，用于车辆的摄像头监测系统(CMS)包括：设置在车辆的第一侧处的至少一个第一摄像头，该至少一个第一摄像头限定第一视场，该第一视场被配置为当拖车连接至车辆时包括拖车；以及设置在车辆的第二侧处的至少一个第二摄像头，该至少一个第一摄像头限定第二视场，该第二视场被配置为当拖车连接至车辆时包括拖车；通信地耦合至所述至少一个第一摄像头和所述至少一个第二摄像头中的每一个的CMS控制器，该CMS控制器被配置为使用来自所述至少一个第一摄像头和所述至少一个第二摄像头的图像生成至少一个图像；多个显示器，每个显示器面向车辆操作者位置并且被配置为显示所述至少一个图像中的至少一个图像；以及控制器内的拖车端部跟踪模块，该跟踪模块被配置为使控制器识别来自所述至少一个第一摄像头和所述至少一个第二摄像头的图像中的拖车端部，基于所识别的拖车端部在图像中的运动生成运动模型，并且通过图像基于所识别的拖车端部的运动来生成运动模型，并且通过使用所确定的运动模型来估计连续的拖车端部位置而对拖车端部离开第一视场和第二视场中之一做出响应。

在上述用于车辆的摄像头监测系统(CMS)的另一个例子中，使用所确定的运动模型来估计连续的拖车端部位置包括：响应于拖车端部在延迟时间段内不进入第一视场和第二视场中之一，建立静止的估计的拖车端部位置。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，延迟时间段是存储在控制器内的预定时间段。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，运动模型包含至少一个测量的车辆参数，并且其中延迟时间段取决于该至少一个测量的车辆参数。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，至少一个测量的车辆参数包括以下中的至少一个：车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，控制器包括人机界面(HMI)模块，该人机界面(HMI)模块被配置为将拖车端部视觉增强特征叠加在至少一个后视镜置换图像上。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，拖车端部视觉增强特征是水平线，当拖车端部处于第一视场和第二视场中之一中时，该水平线从拖车端部延伸，并且当拖车端部不在第一视场和第二视场中之一中时，该水平线从所估计的拖车端部位置延伸。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，第一视场和第二视场是IV级视场。

在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中，控制器还被配置为将所估计的拖车位置输出到车辆的自动或半自动驾驶员辅助系统。

根据以下说明书和附图可以更好地理解本发明的这些和其他特征，附图的以下内容是简要说明。

附图说明

通过参考以下结合附图考虑时的详细描述，可以进一步理解本发明。

图1A是具有用于至少提供II级和IV级视角的摄像头监测系统(CMS)的商用卡车的示意性前视图。

图1B是具有提供II级、IV级、V级和VI级视角的摄像头监测系统的商用卡车的示意性俯视立面图。

图2是包括显示器和内部摄像头的车辆座舱的示意性俯视立体图。

图3A示意性示出了拖车角度大约为0度的商用车辆。

图3B示意性示出了拖车角度大约为45度的商用车辆。

图4示出了用于在拖车端部不可见时估计拖车端部位置的方法。

图5A示意性示出了具有使得拖车端部可见的拖车角度的拖车的II级视角。

图5B示意性示出了具有使得拖车端部不可见的拖车角度的拖车的II级视角。

前述段落、权利要求或以下描述和附图的实施方式、例子和替代方式，包括它们的各个方面或各自的单独特征中的任何一个，可以独立地或以任何组合来采用。结合一个实施方式描述的特征适用于所有实施方式，除非这些特征不兼容。

具体实施方式

在图1A和图1B中示出了商用车辆10的示意图。图2是包括显示器和内部摄像头的车辆10座舱的示意性俯视立体图。车辆10包括用于牵引拖车14的车辆驾驶室或牵引车12。应当理解，车辆驾驶室12和/或拖车14可以是任何构造。虽然在本公开中设想了商用卡车，但本发明也可以应用于其他类型的车辆。车辆10结合有摄像头监测系统(CMS)15(图2)，其具有安装到车辆驾驶室12外部的驾驶员侧和乘客侧摄像头臂16a、16b。如果需要，摄像头臂16a、16b也可以包括与它们集成在一起的传统的后视镜，但是CMS 15可用于完全替代后视镜。在另外的例子中，每一侧可以包括多个摄像头臂，每个臂容纳一个或多个摄像头和/或后视镜。

每一个摄像头臂16a、16b包括固定到例如驾驶室12上的基座。枢转臂由基座支撑并且可以相对于其铰接。在摄像头臂内相应地设置至少一个朝后的摄像头20a、20b。外部摄像头20a、20b分别提供外部视场FOV

在车辆驾驶室12内的驾驶员侧和乘客侧中的每一侧，在A柱19a、19b上或附近设置有第一视频显示器18a和第二视频显示器18b，以在车辆10的相应侧上显示II级视角和IV级视角，这些视角提供了由外部摄像头20a、20b捕获的沿着车辆10的朝后的侧视角。

如果还需要V级视角和/或VI级视角的视频，则可以在车辆10的前部处或附近设置摄像头壳体16c和摄像头20c以提供这些视角(图1B)。在驾驶室12内靠近挡风玻璃的顶部中心设置的第三显示器18c可用于向驾驶员显示朝向车辆10前方的V级视角和VI级视角。显示器18a、18b、18c面向驾驶室22内的驾驶员区域24，其中操作者坐在驾驶员座椅26上。流式传输到任何特定显示器的位置、大小和视场可以因本公开中描述的构造而异，但仍包含所公开的发明。

如果需要VIII级视角的视频，可以在车辆10的侧面和后部设置摄像头壳体，以提供包括车辆10的一些或所有VIII级区域的视场。在这样的例子中，第三显示器18c可以包括显示VIII级视角的一个或多个框架。替代地，可以在第一显示器18a、第二显示器18b和第三显示器18c附近添加附加显示器，这些附加显示器提供专用于提供VIII级视角的显示器。

显示器18a、18b、18c面向座舱22内的驾驶员区域24，其中操作者坐在驾驶员座椅26上。每一个显示器18a、18b和18c提供对应的后视镜置换显示器。在一些例子中，驾驶员侧显示器18a可以包括II级视角的第一图像和IV级视角的第二图像，II级视角和IV级视角各自替换传统上由驾驶员侧后视镜提供的视角。类似地，乘客侧显示器18b可以提供车辆10的乘客侧的II级视角和IV级视角。在一些例子中，还利用第三显示器18c向车辆操作者提供任何补充视角。

在一些例子中，可以通过在视频传送的顶部提供人机界面(HMI)叠加来增强II级视角和IV级视角。HMI叠加向车辆操作者提供单独根据图像传送可能不是显而易见的附加信息。HMI叠加中可以使用的是叠加在图像上的拖车端部线。拖车端部线是沿着显示器中的拖车端部线的y坐标位置从拖车端部引出的水平线，以帮助车辆操作者识别从拖车端部到显示器上所示的对象的相对距离。

为了设置拖车端部线，现有的CMS系统依靠车辆操作者定位和识别拖车端部。这是通过操作者将标记放置在每个摄像头的视场内并手动调整刻度盘以在视场内移动水平线直到水平线与标记对准来实现的。对拖车端部位置的了解还可用于辅助自动驾驶员系统和/或部分自动驾驶员系统。举例来说，可以利用对后部端部位置的了解来改善驾驶员的态势感知(situational awareness)。在替代例子中，出于威胁评估目的，对后部端部位置的了解可以与基于图像的对象检测信息结合使用。然而，出于这些目的，手动设置的拖车端部线可能是不可靠的或者可能不够精确。

继续参照图1A、图1B和图2，图3A和图3B示出了包括自个部分的拖车110的车辆100。在图3A中，车辆100处于向前移动位置(图3A)，其中拖车110相对于驾驶室120具有大约零度的角度，这意味着其与驾驶室120的取向对准。该角度142可替代地表示为相对于驾驶室120为180度。在图3B中，车辆100转弯并且拖车110相对于驾驶室120偏斜(图3B)，产生拖车110的后部在IV级视角中可见的拖车角度142。出于说明的目的，相对于大多数预期角度夸大了图3B的特定偏斜。当车辆100正在执行倒车操纵时，也发生与图3B中所示的类似的偏斜。

在一些例子中，CMS包括HMI系统，该HMI系统从拖车的端部水平地延伸拖车端部线，如图像中所识别的。拖车端部线帮助车辆操作者识别视场中的对象相对于拖车110的端部130的位置。在另外的例子中，拖车110的端部130可以外推到三维空间位置，并且外推点可以与半自动或自动车辆功能或可能需要拖车端部130位置的任何其他车辆系统一起使用。

在车辆100的操作期间，在拖车110在给定图像中可见时(这是图3B的例子中的情况)，摄像头监测系统(CMS)或其他车辆控制器利用图像分析技术识别拖车的端部130。然而，当拖车端部在图像内不可见时，如在图3A的例子中，单独的图像分析不能识别拖车端部130的位置。为了促进利用拖车端部位置的系统的继续操作，车辆100的CMS包括在CMS控制器内的拖车端部130估计模块，其在拖车端部130不可见时估计拖车端部130的位置。

为了估计拖车端部130位置，当拖车端部130使用图像分析可见时，CMS跟踪拖车端部130。在一个例子中，跟踪用于通过图像形成考虑拖车端部130的运动的运动模型。在替代例子中，拖车端部130的位置在由CMS定义的坐标系中从2D图像位置转换为3D坐标位置，并且通过3D坐标系跟踪拖车端部130。在替代例子中，采用3D坐标的估计位置被转换回2D位置以用于相对于拖车端部130在图像中设置人机界面(HMI)元件。当车辆100弄直或在另一个方向上转弯时，拖车角度142减小并且拖车端部130相对于牵引车120成弧线132移动。该弧线132使拖车端部130在CMS摄像头的视场外。在CMS可以访问附加传感器信息的一些例子中，运动模型还可以考虑诸如车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息的数据。拖车端部130的运动模型是运动趋势的模型，使得可以继续该趋势。

当拖车角度142下降到低于某个阈值角度(例如，15度)时，拖车端部130在II级或IV级视角中不再可见，并且CMS不能检测到拖车端部130的位置。因此，拖车端部线不能叠加在图像上。为了保持拖车端部线叠加，或者为了保持依赖于准确的最新拖车端部位置的任何其他系统，CMS使用拖车端部130处于II级和IV级视场中时形成的运动模型来估计拖车端部130不可见时的拖车端部130的位置。

继续参照图3A和图3B，图4示出了用于保持拖车端部130位置指示器(端部线)的方法300。最初，CMS在“确定端部位置”步骤310中使用任何已知的传统图像分析技术来识别II级视角和IV级视角中之一内的拖车端部130。一旦拖车端部130被识别，在“跟踪拖车的运动”步骤320中通过图像跟踪拖车端部130的运动。所跟踪的运动是拖车端部130在图像中的位置。在一些例子中，该运动被转换为通过三维空间的运动，并且跟踪三维运动以及通过图像跟踪拖车端部130的运动。

CMS在“基于移动制作运动模型”步骤330中基于通过图像的拖车端部130的移动以及基于CMS已知或可知的任何附加因素来形成拖车的运动模型。在一种情况下，运动模型是恒定速度(CV)、恒定加速度(CA)和协调转弯恒定加速度(coordinate turn constantacceleration，CTCA)。这三个因素结合以通过图像描述拐角的移动趋势。在替代例子中，可使用单一运动模型或替代运动模型来提供类似的功能性。举例来说，如果通过图像拖车端部以给定的速率或给定的加速度向下移动，则该运动的趋势(例如，以每秒3个像素的速率向下)被记录为运动模型。CMS假定拖车端部130的运动在拖车端部130离开视野之后继续在运动模型中定义的趋势。在更复杂的构造中，由运动模型定义的趋势可以包括依赖性，其中通过图像的运动取决于一个或多个附加因素，诸如车辆100的转向角、车辆速度、横摆率、变速器档位、拖车长度、拖车角速率及类似因素。

由于车辆拖车端部130通常在拖车110变直(即，接近零度的拖车角度)时离开视野，因此CMS假定在设定时间之后，拖车将到达平衡点并且拖车端部130将具有最小的移动，直到车辆100再次转弯。

当拖车端部130离开CMS的可见框架时，CMS在“等待时间段”中等待预定时间段。在等待时段期间，CMS基于运动模型执行卡尔曼滤波预测，以在拐角不可见的时段期间继续估计拐角的移动。该时间段足够长，使得CMS可以确信拖车端部130已经达到平衡并且不会立即回到视野。在一个例子中，时间段可以被设置为大约2秒。在一些例子中，时间段可以取决于车辆100的速度、横摆率、档位、拖车长度、转向角和/或任何类似特征，在其他例子中，时间段可以是存储在CMS内的静态预定时间段。在自适应时间段例子中，较大的横摆率和较快的速度指示拖车也正在操纵，因此等待时间将较少，因为应当理解拖车端部将更快地达到平衡。

在时间段已经消逝之后，如果拖车端部130没有重新出现在CMS视角内，则CMS在“锁定拖车端部位置”步骤350中锁定所估计的拖车端部位置。一旦被锁定，拖车端部130就由CMS基于所建立的运动模型保持在平衡时稳定的估计位置，并且显示器包括HMI叠加，诸如基于假定的拖车端部位置的端部线。在替代例子中，假定的拖车端部130位置也可以被转换为相对于驾驶室的三维位置并且被提供给驾驶员辅助系统或利用拖车端部130位置的任何其他车辆系统。

在一个例子中，在锁定拖车端部位置130之后，保持该位置，直到拖车端部位置130重新进入一个所述视场。在替代例子中，诸如在运动模型取决于车辆100的速度、转向角或任何类似参数的例子中，可以在“保持运动模型和更新”步骤360中在初始时间段之后保持该运动模型，并且每当时间段过去时可以更新所估计的拖车端部位置，直到拖车端部130重新进入框架。

继续参照图1A至图4，图5A和图5B示意性示出了拖车端部130可见(图5A)和拖车端部不可见(图5B)的拖车110的II级视角。在每个图中，示例性拖车端部线134人机界面被定位成从拖车110的端部130或假定端部水平地延伸。

尽管已经公开了示例实施方式，但是本领域普通技术人员将认识到某些修改将落入权利要求的范围内。因此，应研究所附的权利要求来确定其真实范围和内容。