车辆的混合现实的条件可用性

背景技术

本公开的各方面涉及混合现实，并且更具体地说，涉及向车辆的驾驶员提供“透视(see-through)”功能。在领头车辆在跟随车辆前面的情况下，领头车辆通常会遮挡住跟随车辆的驾驶员的视野。这可能会导致不安全的状况。混合现实已被提出作为解决此类问题的有效解决方案，其方法是为跟随车辆的驾驶员提供视野，该视野模拟了能够看穿领头车辆并使被领头车辆遮挡的对象变得可见的能力。然而，在以安全和有效的方式提供这种透视功能方面出现了许多挑战。

发明内容

描述了用于提供涉及领头车辆和跟随车辆的混合现实场景的特定实施例。在一个实施例中，该系统可以向跟随车辆的驾驶员呈现混合现实图像的序列，其中，在混合现实图像的序列中的至少一个图像是通过合并(a)由领头车辆上的摄像机捕获的图像和(b)由跟随车辆上的摄像机捕获的图像以生成合并图像而产生的。合并可以包括弱化由跟随车辆上的摄像机捕获的图像的遮挡部分，该遮挡部分对应于领头车辆的遮挡，并且增强由领头车辆上的摄像机捕获的图像的未遮挡部分。响应于一个或多个检测到的状况，该系统可以中断或减少呈现给跟随车辆的驾驶员的混合现实图像的序列的混合现实内容。具体地说，一个或多个检测到的状况可以包括检测领头车辆和跟随车辆之间的对象，其中，在合并图像中，由于弱化由跟随车辆上的摄像机捕获的图像的遮挡部分并且增强由领头车辆上的摄像机捕获的图像的未遮挡部分，该对象的视图潜在地(potentially)被遮挡。

在一个实施例中，弱化由跟随车辆上的摄像机捕获的图像的遮挡部分，并且增强由领头车辆捕获的图像的未遮挡部分可以包括混合由跟随车辆上的摄像机捕获的图像和由领头车辆上的摄像机捕获的图像。

在另一实施例中，弱化由跟随车辆上的摄像机捕获的图像的遮挡部分，并且增强由领头车辆捕获的图像的未遮挡部分可以包括用由领头车辆捕获的图像的未遮挡部分替换由跟随车辆上的摄像机捕获的图像的遮挡部分。

混合现实图像的序列的混合现实内容的减少可以包括增强由跟随车辆上的摄像机捕获的图像的遮挡部分，并且弱化由领头车辆上的摄像机捕获的图像的未遮挡部分。

此外，一个或多个检测到的状况还可以包括检测与领头车辆相关联的制动状况。一个或多个检测到的状况还可以包括检测由跟随车辆执行的至少一个相关动作。至少一个相关动作可以选自超车动作、右转、街区中间行人过街事件或意外的领头车辆停车。一个或多个检测到的状况还可以包括检测与领头车辆上的摄像机和跟随车辆上的摄像机相关联的不正确的摄像机对准。一个或多个检测到的状况还可以包括确定候选领头车辆没有位于跟随车辆的前面。最后，一个或多个检测到的状况还可以包括确定附近没有发现配备用于支持透视功能的摄像机的车辆。

根据各种实施例，中断或减少混合现实图像的序列的混合现实内容包括在合并图像中呈现领头车辆和跟随车辆之间的对象的表示。可以通过(1)在合并图像中定义包括在领头车辆和跟随车辆之间的对象的区域，以及(2)在定义的区域中，呈现领头车辆和跟随车辆之间的对象的表示，而不是由领头车辆捕获的图像的未遮挡部分，来呈现领头车辆和跟随车辆之间的对象的表示。在一个实施例中，在合并图像中包括领头车辆和跟随车辆之间的对象的区域被定义为沿着领头车辆和跟随车辆之间的对象的轮廓。在另一实施例中，在合并图像中包括领头车辆和跟随车辆之间的对象的区域被定义为边界框。例如，边界框可以具有矩形形状。

附图说明

本公开的各方面通过示例来示出。在附图中，相似的附图标记指示相似的元件。

图1示出了呈现给跟随车辆的驾驶员的混合现实图像，其模拟了透视领头车辆的能力；

图2呈现了根据本发明的实施例的用于实现涉及领头车辆和跟随车辆的透视混合现实的硬件组件的概览图；

图3是示出根据本发明的实施例的用于生成涉及领头车辆和跟随车辆的透视混合现实的整个过程中的步骤的流程图；

图4A示出了一种场景，其中在混合现实视野中使用的不良的摄像机对准以用于透视领头车辆，可能歪曲物理世界；

图4B是在捕获并呈现在图4A中所示的混合现实场景之后的真实世界道路场景时刻的图像；

图5示出了一种场景，其中在物理上位于领头车辆和跟随车辆之间的对象可以在混合现实视野中被遮挡以透视领头车辆，这是对物理世界的另一种歪曲；

图6是示出了根据实施例的用于自动启用和禁用用于显示给跟随车辆的驾驶员的透视混合现实功能的过程的流程图；

图7A、图7B和图7C示出了根据某些实施例的用于支持透视功能的良好和不良的摄像机对准的各种场景；

图8A、图8B、图8C和图8D示出了根据本公开的实施例的位于领头车辆和跟随车辆之间的对象的呈现，以使这种对象在透视领头车辆的混合现实视野中可见；以及

图9是根据实施例可以实现的电子控制单元(ECU)示例的内部组件的框图。

具体实施方式

现在将参照附图描述几个说明性实施例，附图构成本文的一部分。虽然下面描述了可以实现本公开的一个或多个方面的特定实施例，但是在不脱离本公开的范围或所附权利要求的精神的情况下，可以使用其他实施例并且可以进行各种修改。

图1示出了呈现给跟随车辆的驾驶员的混合现实图像，该图像模拟了透视领头车辆的能力。在此，领头车辆102停在人行横道上。图1示出了从跟随车辆(未示出)的驾驶员的角度看的视野，该车辆位于领头车辆102的正后方并且朝向相同的方向。行人104正在过人行横道。然而，在某些情况下，跟随车辆的驾驶员不能看到行人104，因为他们被领头车辆102遮挡，即从视野中遮挡。这呈现了可能的不安全驾驶条件。例如，如果跟随车辆的驾驶员没有意识到行人104正在横过人行横道并且变得不耐烦，那么跟随车辆的驾驶员可能试图绕过领头车辆，这可能导致可能撞到行人104的情况。虽然图1示出了行人被遮挡在视野之外的情况，但是其他车辆、动物或其他移动或静止对象也可以由于领头车辆而被遮挡在视野之外。领头车辆挡住跟随车辆视野造成的不安全情况不一定仅限于人行横道，也可能发生在其他位置，如停车场、十字路口、道路等。

为了解决这种情况和类似的情况，可以将混合现实图像106呈现给跟随车辆的驾驶员，以“透视”领头车辆。混合现实图像106可以呈现在安装在跟随车辆的仪表板中的显示器上、集成到跟随车辆的挡风玻璃中、实现为跟随车辆的“平视”显示器等。例如，显示器可以是液晶显示器(LCD)、头戴式显示器(HUD)或其他增强现实(AR)显示器。混合现实图像106可以被呈现为单个图像，例如静止帧，或者被呈现为构成呈现给跟随车辆的驾驶员的视频流的混合现实图像的序列的一部分。在各种实施例中，混合现实图像的生成和呈现与最小时间延迟相关联，使得视频流可以被认为是实况视频流，并且可以由后面车辆的驾驶员在驾驶时用作有效的视觉辅助。

混合现实图像106可以通过将从领头车辆上的摄像机捕获的图像与从跟随车辆上的摄像机捕获的图像合并来生成，以形成合并图像。在各种实施例中，混合现实图像106可以包括透视区域108。在透视区域108之外，混合现实图像106可以简单地与由跟随车辆上的摄像机捕获的图像相同。在透视区域108之内，混合现实图像106可以通过增强(emphasizing)由跟随车辆上的摄像机捕获的图像的遮挡部分并且弱化(de-emphasizing)由领头车辆捕获的图像的未遮挡部分来形成。由跟随车辆上的摄像机捕获的图像的遮挡部分可以是对应于领头车辆遮挡的图像的一部分。例如，遮挡部分可以被定义为在图像中由领头车辆占据的区域(或这种区域的一部分)。

弱化和增强可以用不同的方式来执行。在图1所示的实施例中，通过混合由跟随车辆上的摄像机捕获的图像和由领头车辆上的摄像机捕获的图像来实现弱化和增强。这种图像混合可以使用各种数字堆肥技术(digital composting techniques)来执行。仅作为示例，可以实现使用阿尔法混合的数字堆肥。可以使用不同的权重来组合图像的不同部分。此外，也可以使用梯度进行组合。例如，在图1中，图像的中心区域可以与第一混合因子(例如，称为“alpha_1”的常数)相关联，并且图像的外边界处的区域可以与第二混合因子(例如，被称为“alpha_2”的常数)相关联。仅作为示例，在图像的中心区域和外边界的区域之间，混合因子可以从alpha_1到alpha_2线性增加。在另一实施例中，通过简单地将由跟随车辆上的摄像机捕获的图像的遮挡部分替换由领头车辆上的摄像机捕获的图像的未遮挡部分来实现弱化和增强，以形成合并图像的透视区域108。

图2呈现了根据本发明的实施例的用于实现涉及领头车辆和跟随车辆的透视混合现实的各种硬件组件的概览图。在此，示出了领头车辆202和跟随车辆222。领头车辆202可以配备各种设备，包括一个或多个摄像机204、视频电子控制单元(ECU)206和远程信息处理和全球定位系统(GPS)ECU 208，所有这些设备都联接到车辆数据总线210。跟随车辆222可以配备各种设备，包括一个或多个摄像机224、光检测和测距(LIDAR)和/或无线电检测和测距(RADAR)检测器226、显示器228、视频ECU 230以及远程信息处理和GPS ECU 232，所有这些设备都联接到车辆数据总线234。诸如视频ECU 206或远程信息处理和GPS ECU 208的ECU可以包括执行代码的一个或多个处理器，该代码执行用于执行在此描述的特定任务的编程指令。ECU还可以结合硬件组件，诸如视频、通信、定位(例如，GPS)组件，以支持各种功能。涉及示例ECU的更多细节在图8中提供，在本公开的稍后部分中讨论。

领头车辆202和跟随车辆222上的这些组件可以一起工作，以传送数据并构建混合现实场景，例如，呈现给跟随车辆202的驾驶员的“透视”视频流。领头车辆202上的摄像机204可以向后面车辆222的驾驶员提供一个“透视”视野，从而车辆前面原本会被遮挡在视野之外的对象可以变得可见。在领头车辆202上，来自摄像机204的原始图像可以通过车辆数据总线210被转发到视频ECU 206。在此，视频ECU 206可以选择适当的摄像机视野或将多个摄像机204的视野拼接在一起，以形成由领头车辆202提供的图像。如图所示，视频ECU 206被实现为车辆数据总线210上的独立设备。然而，在替代实施例中，视频ECU 206可以是一个或多个摄像机204的一部分，或者可以集成到远程信息处理和GPS ECU 208中。对于图2中所示的组件，其他替代实现也是可能的。

领头车辆202和跟随车辆222之间的连接性可以由领头车辆202上的远程信息处理和GPS ECU 208以及跟随车辆222上的远程信息处理和GPS ECU232提供。例如，由领头车辆202提供的图像可以通过在远程信息处理和GPU ECU 208和232之间建立的车对车(V2V)通信链路来转发。可以建立不同类型的V2V链路，例如WLAN V2V(DSRC)、蜂窝V2V、LI-Fi等。此外，领头车辆202和跟随车辆222之间的连接性不一定限于V2V通信。可替换地或另外地，可以使用车辆到网络(V2N)通信，例如，通过中间节点转发数据，来建立两辆车之间的连接性。

在跟随车辆222处，类似的组件(例如，一个或多个摄像机224、视频ECU 230、远程信息处理和GPS ECU 232等)以及包括LIDAR和/或RADAR检测器226和显示器228的附加的组件被部署。跟随车辆222上的LIDAR和/或RADAR检测器226有助于精确确定领头车辆202相对于跟随车辆222的位置。相对位置确定在许多方面可能是有用的。例如，领头车辆202的精确相对位置可用于确认领头车辆是与其建立V2V通信的正确伙伴。领头车辆202的精确相对位置还可用于在适当的情况下启用和禁用“透视”功能，以及控制如何叠加来自两辆车辆的图像以形成透视视频流。在跟随车辆222上的视频ECU 230可以执行来自领头车辆202的图像和来自跟随车辆222的图像的合并，以生成透视视频流。最后，在显示器228上将透视视频流呈现给跟随车辆的驾驶员。

图3是示出根据本发明的实施例的用于生成涉及领头车辆和跟随车辆的透视混合现实的整个过程中的步骤的流程图。在此，过程300包括步骤302到310。在步骤302，领头车辆执行摄像机可用性广播。这可能是广播，以宣布领头车辆拥有可用于支持“透视”能力的摄像机。广播消息的内容可以包括：时间、GPS位置、速度、行进方向、车辆物理尺寸(例如，长度、宽度、高度)、摄像机信息(例如，X、Y、X安装位置、方向和视野信息)等。广播将使用诸如WLAN(DSRC)、蜂窝、LI-Fi或其他V2V通信信道的一个或多个链路被发送到在广播通信范围内的其他车辆。可替换地或另外地，领头车辆可以使用诸如4G或5G蜂窝网络连接的无线链路向例如云服务器的注册表来注册其摄像机可用性，包括诸如上面列出的数据。注册表将汇总车辆位置和摄像机可用性信息，以允许其他车辆搜索数据，诸如不在V2V直接通信范围内的车辆。步骤302可以由领头车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU来执行。

在步骤304，跟随车辆可以检测领头车辆摄像机的可用性。例如，跟随车辆可以针对所有附近支持“透视”功能的车辆摄像机系统轮询(poll)可用数据源，例如注册表。这可以是基于跟随车辆的当前GPS坐标从云中接收的列表，或可以是其广播已被跟随车辆接收的附近车辆的汇编列表。如前所述，这种广播可以通过诸如DSRC、蜂窝、LI-Fi或其他V2V通信信道的链路来接收。接下来，跟随车辆可能会将自己的GPS位置和航向与附近车辆的GPS位置和航向进行比较，这些车辆已经指示了摄像机的可用性。通过计算诸如指南针方向、相对方位和距离等测量的差异，可以将附近有可用摄像机的车辆的列表过滤到更受限制的候选车辆的列表中，这些摄像机可能地会在跟随车辆前面。接下来，从跟随车辆上的LIDAR和/或RADAR探测器的读数可以用来选择和确认假设为领头车辆的车辆确实就在该领头车辆的正前方。例如，如果有可用摄像机的候选车辆距离100米，并且以每小时20英里的速度行驶，但跟随车辆的LIDAR和/或RADAR探测器指示，在跟随车辆前面的车辆实际上距离50米，并且以每小时30英里的速度行驶，则该候选车辆可能会被拒绝作为潜在的领头车辆。在另一实施例中，可以将候选车辆的车牌号与跟随车辆前面的车辆的车牌进行比较，以验证选择。步骤304可以由跟随车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU，来执行。

在步骤306，跟随车辆可以请求发送领头车辆的视频流，并且领头车辆可以发送所请求的视频流。当跟随车辆确定它确实在跟随有可用摄像机的领头车辆时，跟随车辆可以发送对领头车辆的视频流的请求。在一个实施例中，跟随车辆将基于V2V的视频请求直接发送到领头车辆。这可能是跟随车辆的远程信息处理和GPS ECU向领头车辆的远程信息处理和GPS ECU发送的请求。在另一实施例中，跟随车辆将基于云的视频请求发送到注册表，例如，服务器。关于如何请求视频流的数据，诸如IP地址，可以与领头车辆的GPS记录一起存储在云中。接下来，跟随车辆可以向领头车辆提供视频请求的上下文信息，诸如跟随距离、朝向、期望的摄像机视野、优选的通信协议、基于信号强度协商的视频质量等。作为响应，领头车辆可以将所请求的视频流发送到跟随车辆。领头车辆可以基于由跟随车辆提供的上下文信息来这样做，以定制发送到跟随车辆的视频流。领头车辆还可以基于诸如可用通信带宽和信号强度之类的因素来调整用于发送的视频质量和压缩比。此外，基于诸如跟随车辆的跟随距离之类的信息，领头车辆可以扩展(例如，使用多个摄像机)或裁剪视频流视野，以更好地匹配跟随车辆的需要。例如，如果跟随车辆很近，领头车辆可能需要更宽的视野以消除盲点。因此，领头车辆可以决定组合来自多个前置和侧置摄像机的视图，以创建用于跟随车辆的定制视频流。作为另一示例，如果跟随车辆相对较远，使得感兴趣的区域仅是在向前方向上的窄视野，则领头车辆可以通过以更高分辨率或比特率提供更窄视野的视频流来响应，以适应跟随车辆的需要。以这种方式，领头车辆可以通过为跟随车辆提供适当的视频流来响应该请求。跟随车辆可以接收领头车辆的视频流。步骤306的某些部分，诸如请求领头车辆视频流和接收视频流，可以由跟随车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU，来执行。步骤306的其他部分，诸如响应请求、生成领头车辆视频流、以及发送领头车辆视频流，可以由领头车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU，来执行。

在步骤308，将领头车辆和跟随车辆视频流合并，以形成“透视”视频流。在领头车辆的视频流中的每个图像可以重叠在来自跟随车辆的视频流的相应图像上，以生成合并图像的序列，该序列形成混合了领头车辆和跟随车辆所看到的现实的“透视”视频流。如前所述，用于混合图像的技术，诸如数字合成，也可以在某些实施例中使用。将来自领头车辆的第一图像和来自跟随车辆的第二图像合并或拼接在一起可以涉及适当地移位、调整尺寸和/或扭曲第一和第二图像，从而可以正确地对齐特征。该过程可以考虑车辆和摄像机位置和方位信息，诸如已知的领头车辆和跟随车辆的摄像机信息、两个车辆的已知GPS信息、以及关于领头车辆的位置的跟随车辆的LIDAR和/或RADAR信息。步骤308可以由跟随车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU，来执行。

在步骤310中，“透视”视频流被显示给跟随车辆的驾驶员。由此产生的混合现实视频流提供了与跟随车辆的驾驶员的视角一致的视野。合并视频流可以在诸如LCD、HUD或其他增强现实(AR)显示器的用户界面上显示给跟随车辆的驾驶员。混合现实视图的描述可以以不同的方式实现。在一个示例中，领头车辆可以从呈现给跟随车辆的驾驶员的混合现实场景中完全“消失”。在另一示例中，领头车辆可以在呈现给跟随车辆的驾驶员的混合现实场景中显示为部分透明的对象。在另一示例中，领头车辆可以仅在呈现给跟随车辆的驾驶员的混合现实场景中显示为轮廓。在另一示例中，使用动态视频视点转换，混合现实场景可以“放大”或看起来像是“飞过”领头车辆，以给观看者(跟随车辆的驾驶员)这样的印象，即视角已经从跟随车辆的视角转移到了领头车辆的视角。步骤310可以由跟随车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU，来执行。

图4A示出了这样的场景，其中在混合现实视图中使用的不良的摄像机对准可以歪曲物理世界。图4A呈现了从跟随车辆的角度看的混合现实场景。在该场景中，领头车辆402正在十字路口左转。几个行人正站在十字路口拐角的第一位置404，在领头车辆402的前面。由于领头车辆402的转弯动作，领头车辆上的摄像机和跟随车辆上的摄像机偏离太远。因此，从领头车辆的摄像机拍摄的图像不能与从跟随车辆的摄像机拍摄的相应图像正确合并或拼接在一起。来自领头车辆和跟随车辆上的摄像机的图像的强制合并可以导致描述混合现实场景内位置406处的相同行人的副本(即，“双重图像”)的合并图像。这是对现实的歪曲，因为合并后的图像显示的行人(即，四个行人)多于真实世界中实际存在的行人(即，两个行人)。

作为另一示例，相同的未对准问题导致图4A的合并图像在真实世界道路场景中遮挡和错放相关车辆，从而对跟随的驾驶员造成潜在的安全危险。在此，银色汽车的鬼影图像出现在合并图像中的位置408处。银色汽车实际上存在于现实世界中，只是不在408号位置。相反，银色汽车实际上位于领头车辆的前面，但被在图4A中的领头车辆挡住了视线。事实上，银色汽车正对着领头车辆，并试图左转。然而，由于领头车辆上的摄像机和跟随车辆上的摄像机之间的未对准，“透视”混合现实场景的合并图像在位置408处生成了银色汽车的鬼影图像。首先，鬼影图像将银色汽车呈现在错误的位置，即位置408，因为摄像机未对准的严重程度使得在合并之前不可能正确地移动来自两个摄像机的图像。在没有正确对齐的情况下强制合并会导致银色汽车的鬼影图像出现在场景中的错误位置。其次，鬼影图像看起来很模糊，因为合并算法弱化了由包含银色汽车的领头车辆捕获的图像部分，因为它在“透视”区域之外，在这种情况下，该区域是由领头车辆占据的图像部分。因此，在位置408处出现银色汽车的模糊的、放错位置的鬼影图像。这是对现实的歪曲，不应呈现给跟随车辆的驾驶员。

图4B是在捕捉并呈现在图4A中所示的混合现实场景之后真实世界道路场景时刻的图像。如图4B所示，这辆银色汽车实际上正对着领头车辆，并试图左转。图4B显示银色汽车在真实世界中的位置410处。这清楚地证明了在图4A中所示的混合现实场景歪曲了银色汽车的存在和位置-在图4A所描绘的场景中，实际上在位置408处没有汽车存在。因此，将图4A中所示的混合现实场景呈现给跟随车辆的驾驶员产生了应该避免的危险的歪曲。

图5示出了在物理世界的另一歪曲中，在物理上位于领头车辆和跟随车辆之间的对象可以在混合现实视图中被遮挡以透视领头车辆的场景。图5呈现了从跟随车辆的角度看的混合现实场景。在该场景中，领头车辆502由可见轮廓(绿色)表示。然而，因为启用了透视功能，所以领头车辆已经从场景中“消失”，以显示诸如在领头车辆前面的电车504之类的对象。电车504的图像由领头车辆502上的摄像机捕获，并与跟随车辆捕获的图像合并。在此，行人506在物理上位于领头车辆502和跟随车辆之间。然而，如图5所示，呈现给跟随车辆的驾驶员的合并图像也有效地使行人506在使领头车辆502“消失”的处理中“消失”。这可以作为合并处理的结果而发生，其中，(1)由跟随车辆的摄像机捕获的图像的一部分被弱化，(2)由领头车辆502的摄像机捕获的图像的相应部分被增强，以及(3)这两部分图像被重叠。依赖于在图5中所示的合并图像，跟随车辆的驾驶员可能错误地得出在领头车辆502和跟随车辆之间没有任何东西的结论。在认为没有理由停车的情况下，跟随车辆的驾驶员可能上前行驶并撞向行人506。因此，合并图像造成了对现实的另一危险的歪曲。

图6是示出了根据实施例的用于自动启用和禁用用于显示给跟随车辆的驾驶员的“透视”混合现实功能的过程600的流程图。如前所述，在某些情况下，透视功能可以有益于提高跟随车辆的驾驶员的安全性。然而，也有一些情况下，“透视”功能可能会歪曲现实，并且实际上会变得危险。因此，基于对某些状况的检测，诸如在处理600中呈现的技术可以在对跟随车辆的驾驶员有利时自动启用透视功能，或者在对其无益时禁用该功能。

在步骤602，执行检查以确定附近的摄像机是否可用于支持提供“透视”功能。如前所述，这可以由跟随车辆以各种方式来完成，包括(1)直接从领头车辆接收广播消息，该广播消息宣布其具有可用于支持透视功能的摄像机，和/或(2)从具有摄像机以支持这种功能的附近车辆的注册表(例如，从云服务器)接收记录列表。摄像机可用性消息或记录可以包括用于确认候选领头车辆是跟随车辆的合适领头车辆的有用数据，以及用于确定是否应该启用或禁用透视功能的数据。这种数据可以包括，例如：

·时间，

·GPS定位(纬度、经度)

·速度、加速度、制动标志

·航向/行进方向

·车辆尺寸信息(长度、宽度、高度)

·摄像机安装信息(X、Y、Z、安装位置)

·摄像机方向和视野信息

如果附近没有发现配备有摄像机以支持透视功能的车辆，则处理600进行到步骤614以自动禁用该功能。否则，处理600进行到随后的检查步骤。

在步骤604，执行检查以确定候选领头车辆的位置和方位是否指示它确实是紧接在跟随车辆之前的车辆。仅作为示例，检查可以涉及评估从跟随车辆到候选领头车辆的相对方位(例如，从GPS读数)是否匹配跟随车辆的行进方向(例如，也来自GPS读数)，以在可接受的容差范围内，以达到候选领头车辆在跟随车辆前面的置信度。作为另一示例，检查可以涉及确定跟随车辆上的前向传感器(例如，LIDAR、RADAR和/或摄像机)是否检测到候选领头车辆。作为另一示例，检查可以涉及将从GPS位置计算的候选领头车辆和跟随车辆之间的距离与根据跟随车辆上的前向传感器(例如，LIDAR、RADAR和/或摄像机)计算的跟随车辆之间的距离进行比较。比较可以评估这种距离之间的差异是否在可接受的容差内。作为另一示例，检查可以涉及将候选领头车辆报告的速度与使用跟随车辆上的前向传感器检测到的候选领头车辆的速度进行比较，该比较可以评估这些速度之间的差异是否在可接受的容差内。作为又一示例，该检查可以涉及评估候选领头车辆和跟随车辆是否在基于随时间的GPS轨迹确定的道路的同一车道上行进。作为步骤604的结果，如果候选领头车辆的位置和方位指示它不是紧接在跟随车辆之前的车辆，则处理600前进到步骤614以自动禁用透视功能。否则，处理600进行到随后的检查步骤。

在步骤606，执行检查以确定领头车辆上的摄像机和跟随车辆上的摄像机是否对准。在此，正确的对准不一定要求摄像机指向完全相同的方向，或者两辆车完全对准。相反，对准可能指的是摄像机在其位置、角度和视野方面处于相对方位的可容忍范围内。参考图7A、图7B和图7C更详细地解释在此上下文中摄像机的正确对准，图7A、图7B和图7C将在稍后讨论。例如，在步骤606，考虑到车辆的位置和其摄像机的各自视野的重叠，跟随车辆可以使用诸如以下信息：(1)车辆航向和相对方位(例如，来自GPS读数)、(2)领头车辆距离(例如，由诸如LIDAR和/或RADAR之类的前向传感器测量的)、以及(3)摄像机信息(例如，由从领头车辆广播的V2V或来自诸如基于云的服务器的注册表提供的)，考虑车辆的位置及其摄像机各自视野的重叠，以确定领头车辆和跟随车辆摄像机是否对准，以支持透视功能。此外，跟随车辆还可以获取领头车辆的转向角，以便更快地预测领头车辆和跟随车辆各自的摄像机是否即将失准。这可能允许系统更快地启用或禁用透视功能。作为步骤606的结果，如果摄像机对准不正确或即将变得不正确，则处理600前进到步骤614以自动禁用透视功能。否则，处理600进行到随后的检查步骤。

在步骤608，检测各种相关的车辆动作。在这些特定的车辆动作(maneuvers)中，透视功能可能很有用。因此，如果检测到下面提供的非详尽列表中标识的任何相关动作，则系统可以允许该处理继续进行以启用透视功能：

·超车-跟随车辆在较慢的领头车辆后面，例如，在双车道道路上，并且超车的情况是适当的。

·右转-跟随车辆在打算右转的领头车辆后面(例如，如右转信号灯所指示，该信号可以传达给跟随车辆)。在此，领头车辆可能会因为交通或行人过街而停车。透视功能可以让跟随车辆看到领头车辆前面的交通或行人。这可以帮助跟随车辆的驾驶员理解领头车辆停下来的原因，从而缓解驾驶员部分的不耐烦，并且潜在地防止不安全的驾驶员反应(例如，试图超越领头车辆)。

·街区中间行人过街–领头车辆因行人或其他障碍物在街区中间停车(即不是在交叉路口)。透视功能可以帮助跟随车辆的驾驶员看到行人或障碍物，并了解领头车辆停下来的原因，从而缓解驾驶员的不耐烦，并潜在地防止不安全的驾驶员反应。

·在任何意外的领头车辆停止之后-任何意外的领头车辆停止可能是透视功能可能有用的情况。例如，在跟随车辆安全停车后，可以提供透视视图，以帮助跟随车辆的驾驶员看到前面的车辆，并了解停车的原因。

·自动车辆编队–跟随车辆是自动车辆编队的一部分。编队中的车辆可能在非常近的距离内紧随其后。透视功能可以让跟随车辆的驾驶员将前面的车辆透视到编队的前方。

跟随车辆可以使用诸如ECU之类的设备和诸如摄像机、LIDAR和/或RADAR之类的传感器检测到各种相关的车辆动作。还可以采用计算机视觉/机器学习技术。在另一实施例中，车辆可以从驾驶员接收关于他/她执行动作(例如，超车等)的意图的输入。作为步骤608的结果，如果没有检测到任何相关车辆动作，则处理600前进到步骤614以自动禁用透视功能。否则，处理600进行到随后的检查步骤。

在步骤610，执行检查以确定对象是否可能已经出现在领头车辆和跟随车辆之间。如先前参考图5(以及参考图8A-图8D讨论)所示和讨论的，这种对象可能地被透视功能遮挡，并因此造成危险状况。在这种情况下，透视功能可能会通过“消失”位于领头车辆和跟随车辆之间的对象(例如行人)歪曲来现实。因此，跟随车辆可以例如通过使用诸如摄像机、LIDAR和/或RADAR检测器的传感器来监控领头车辆和跟随车辆之间的空间。如果检测到对象或者新对象已经移动到车辆之间的空间中，则该过程前进到步骤614，以自动禁用透视功能以提高安全性。否则，处理600进行到随后的检查步骤。

在步骤612，执行检查以确定领头车辆是否正在制动。如先前参考图5所讨论的，为了提供领头车辆前面的场景的视野，透视功能还可以“消失”领头车辆。然而，如果领头车正在制动，这样做可能不安全。在这种情况下，需要提醒跟随车辆的驾驶员领头车辆正在刹车(braking)。“消失”领头车辆可能是不安全的。依赖于透视混合现实图像(例如，图5)，可以剥夺跟随车辆的驾驶员指示领头车辆正在制动的视觉提示，诸如激活领头车辆的刹车灯或迅速靠近领头车辆的图像。因此，如果领头车辆正在制动，禁用透视功能可能会更安全。根据各种实施例，可以有不同的方式来确定领头车辆是否正在快速制动，这些方式可以单独使用或组合使用：

·领头车辆V2V速度数据-如前所述，领头车辆可以广播其状态信息，诸如当前速度、加速度和制动标志。例如，这可以通过V2V通信链路来完成。跟随车辆可以接收这样的状态信息，并使用它来确定领头车辆制动是否已经超过阈值，例如减速阈值。

·跟随车辆前向传感器数据-使用前向传感器，跟随车辆可以监控领头车辆的速度、距离和加速度。这种信息可以用来确定领头汽车制动是否超过了阈值。

·基于视频的刹车灯或隐约可见的距离测量-跟随车辆上的摄像机可用于捕获图像，这些图像可通过计算机视觉/机器学习技术进行处理，以观察领头车辆制动的迹象，诸如刹车灯激活或对象快速接近或隐约可见。这种基于视觉的技术也可以用来确定领头车辆制动是否超过阈值。

作为步骤612的结果，如果确定领头车辆正在制动，则处理前进到步骤614以自动禁用透视功能。否则，处理600进行到步骤616以自动启用透视功能。

虽然在图6中未明确示出，但处理600可以在循环中操作以重复检查所列出的状况，以自动启用或禁用透视功能。例如，在现有步骤614之后，处理600可以返回到步骤602以重复用于检查状况的各种步骤。类似地，在现有步骤616之后，处理600可以返回到步骤602以重复用于检查状况的各种步骤。可以以这种方式在循环中重复执行处理600。根据至少一个实施例，上述处理600中的步骤可以由跟随车辆上的设备执行。例如，步骤602到步骤616可以由跟随车辆上的ECU，例如，视频ECU和/或远程信息处理和GPS ECU，来执行。

在此使用的术语“启用”和“禁用”是广义的。例如，禁用透视功能可能涉及中断由领头车辆和跟随车辆捕获的图像的合并，以仅呈现由跟随车辆捕获的图像。或者，禁用透明功能可能涉及减少所呈现图像的混合现实内容。呈现的图像仍然可以被合并，只是不那么增强由领头车辆捕获的图像的贡献。例如，来自领头车辆的摄像机的图像的一部分可以被弱化，而来自跟随车辆的摄像机的图像的一部分可以被增强，并且这两个图像部分可以被混合以创建合并的图像。这种合并图像的呈现可能构成“禁用”透视功能，因为领头车辆前面的视野已被淡化。类似地，启用透视功能可能涉及呈现合并图像，其中由跟随车辆看到的视野的一部分完全替换为由领头车辆看到的视野的一部分。可替换地，启用透视功能可能涉及放大所呈现图像的混合现实内容，以增强由领头车辆捕获的图像的贡献。例如，可以增强来自领头车辆的摄像机的图像的一部分，并且可以弱化来自跟随车辆的摄像机的图像的一部分，并且可以混合这两个图像部分以创建合并图像。这种合并图像的呈现可以构成“启用”透视功能，因为已经增强了领头车辆前面的视野。

根据某些实施例，图7A、图7B和图7C示出了用于支持透视功能的良好和不良的摄像机对准的各种情况。如前所述，领头车辆上的摄像机和跟随车辆上的摄像机的正确对准可能是启用或禁用透视功能时使用的条件。正确的对准不一定要求摄像机指向完全相同的方向。相反，对准可能指的是摄像机在其位置、角度和视野方面处于相对方位的可容忍范围内。根据至少一个实施例，当从跟随车辆的角度来看，由领头车辆的存在定义的遮挡的角场与领头车辆的摄像机的视野完全重叠时，可以实现适当的摄像机对准。这种况状允许在合并图像中形成完整的合并区域。下面以示例的方式提供进一步的解释。

图7A示出了根据一个实施例的良好摄像机对准的示例。从跟随车辆的角度来看，遮挡的角场702被定义为被领头车辆遮挡的角度范围。还示出了领头车辆上的摄像机的角视场(angular field of view)704和跟随车辆上的摄像机的角视场706。在此，遮挡的角场702与领头车辆的摄像机的角视场704完全重叠。因此，可以构建具有完全合并区域的混合现实图像。换言之，由跟随车辆的摄像机捕获的图像的遮挡部分可以被由领头车辆的摄像机捕获的图像的未遮挡部分完全重叠(并且可能地被替换)。因此，根据本实施例，实现了正确的摄像机对准以支持透视功能。

图7B示出了根据一个实施例的良好摄像机对准的另一示例。在此，与图7A不同，领头车辆不在跟随车辆的正前方。相反，领头车辆相对于跟随车辆略有偏移。然而，尽管存在该偏移位置，遮挡的角场702与领头车辆的摄像机的角视场704完全重叠。可以构建具有完全合并区域的混合现实图像。因此，根据本实施例，实现了正确的摄像机对准以支持透视功能。

图7B示出了根据一个实施例的不良摄像机对准的示例。在此，领头车辆执行了重要的转弯动作，使得遮挡的角场702不再与领头车辆的摄像机的角视场704完全重叠。如果要构建混合现实图像，它将有不完整的合并区。换言之，由跟随车辆的摄像机捕获的图像的遮挡部分可能不会与由领头车辆的摄像机捕获的图像的未遮挡部分完全重叠(并且因此不能完全替换)。因此，根据本实施例，摄像机对准不能支持透视功能。

根据本公开的实施例，图8A、图8B、图8C和图8D示出了位于领头车辆和跟随车辆之间对象的呈现，以使这种对象在透视领头车辆的混合现实视图中可见。图8A示出了在呈现任何混合现实视图之前的真实世界道路场景的图像。该图像可能是由跟随车辆上的摄像机捕获的。在图8A中，示出了领头车辆802。此外，还示出了位于领头车辆802和跟随车辆之间的对象804。例如，对象804可以是行人，诸如在领头车辆802和跟随车辆之间行走的成年人和儿童。在图8A中，对象804被示为例如纯色形状的表示。可替换地，对象804也可以被示为对象804的实际图像。也就是说，对象802的图像可以显示由跟随车辆上的摄像机捕获的对象804的视觉细节。

图8B示出了混合现实图像，其可能模糊位于领头车辆802和跟随车辆之间的对象804的视图，其中混合现实图像基于图8A中的真实世界的图像。在此，混合现实图像旨在提供“透视”功能，以允许跟随车辆的驾驶员透视领头车辆802。如前所述，这可以通过将由跟随车辆捕获的图像与由领头车辆802捕获的图像合并来实现。更具体地说，将由跟随车辆上的摄像机捕获的图像的遮挡部分与由领头车辆802上的摄像机捕获的图像的未遮挡部分合并。在一个实施例中，这是使用第一边界框806来实现的。在边界框806内，示出了由领头车辆捕获的图像的一部分，揭示了在领头车辆802前面的场景，该场景否则将被领头车辆802从跟随车辆的视野中遮挡。在边界框806之外，示出了由跟随车辆捕获的图像的一部分。

尽管在图8B中所示的结果混合现实图像确实提供了透视功能，但对象804可能会“消失”，这可能会造成不安全的状况。如图8B所示，混合现实图像已经部分地“消失”了对象804。然而，根据边界框806的尺寸和对象804在图像中出现时的尺寸，混合现实图像有可能完全“消失”对象804。这种“消失”效果可能是不安全的，因为跟随车辆的驾驶员可能依赖于正在呈现的混合现实图像，并且错误地假设对象804不存在，即，在跟随车辆和领头车辆802之间没有任何东西。因此，跟随车辆的驾驶员可能不能保持安全距离，甚至可能允许跟随车辆撞到对象804(例如，位于领头车辆802和跟随车辆之间的行人)。

图8C示出了提供“透视”功能的混合现实图像，以及位于跟随车辆和领头车辆802之间的对象804的表示。如前所述，合并图像包括第一边界框806，其中呈现由领头车辆802捕获的图像的未遮挡部分，从而提供透视领头车辆802的能力。此外，还检测对象804并呈现它们的表示。对象804的检测可以以各种方式实现。如前所述，跟随车辆可以配备各种传感器，诸如LIDAR和RADAR传感器(例如，在图2中的LIDAR和RADAR传感器226)，以及摄像机(例如，图2中的摄像机224)。这种传感器和摄像机可以用于检测位于跟随车辆和领头车辆802之间的对象804的存在。跟随车辆上的计算资源(例如，在图2中的视频ECU 230、在图9中的处理单元910，稍后讨论，等等)可用于处理传感器和图像信息以检测对象804。在各种实施例中，使用传感器数据、图像数据和/或传感器和图像数据的组合来执行对象检测。

然后在混合现实图像中呈现对象804的表示。这可以通过在合并图像中定义包含在跟随车辆和领头车辆802之间的对象804的区域来实现。在所定义的区域中，呈现对象804的表示，而不是由领头车辆802捕获的图像的遮挡部分。在图8C所示的实施例中，定义的区域遵循对象804的轮廓。此外，在该实施例中，遵循对象804的轮廓的纯色形状被用作对象804的表示。然而，如前所述，对象804的实际图像也可以用作表示。

在一个实现中，用于触发对象804的表示的呈现的逻辑可以如下所示。在检测到跟随车辆和领头车辆802之间的对象804时，将包含对象804的定义的区域与第一边界框806进行比较。如果在定义的区域和第一边界框806之间存在重叠，则关闭该重叠区域的透视功能。该处理还可以设想为简单地改变透视窗口的形状，以避免定义的包含对象804的区域。换言之，其中呈现领头车辆802的视野的透视窗口的形状可以被定义为第一边界框806的不包括包含对象804的定义的区域的部分。因此，混合现实图像提供(1)透视功能，例如，第一边界框806，其呈现领头车辆802前面的场景的视野，以及(2)位于跟随车辆和领头车辆802之间的对象804的表示。

图8D还示出了混合现实图像，该混合现实图像提供“透视”功能以及位于跟随车辆和领头车辆802之间的对象804的表示，但是具有更简单的实现。同样，定义包含在跟随车辆和领头车辆802之间的对象804的区域。然而，在这种情况下，定义的区域不遵循对象804的轮廓。相反，定义的区域被实现为更容易实现的一个或多个次级边界框808。在图8D所示的具体实施例中，每个次级边界框808具有矩形形状。在次级边界框808内呈现对象804的表示。因此，透视窗口可以被塑造为：第一边界窗口806减去次级边界窗口808。根据至少一个实施例，在该透视窗口内，合并图像呈现由领头车辆802捕获的图像的一部分。在该透视窗口之外，合并图像呈现由跟随车辆捕获的图像的一部分。

图9是根据实施例可以实现的电子控制单元(ECU)示例的内部组件的框图。例如，ECU 900可以表示先前讨论的远程信息处理和GPS ECU或视频ECU的实现。应该注意的是，图9仅意在提供各种组件的概括性图示，可以适当地利用这些组件中的任何一个或所有组件。可以注意到，在一些情况下，图9所示的组件可以定位到单个物理设备和/或分布在可以布置在不同物理位置处的各种联网设备中。

ECU 900被示为包括可以经由总线905电耦合的硬件元件(或者可以适当地以其他方式通信)。硬件元件可以包括处理单元910，其可以包括但不限于一个或多个通用处理器、一个或多个专用处理器(诸如数字信号处理(DSP)芯片、图形加速处理器、专用集成电路(ASIC)等)和/或其他处理结构或装置。如图8所示，根据期望的功能，一些实施例可以具有单独的DSP 920。设备900还可以包括一个或多个输入设备控制器970，其可以控制但不限于车载触摸屏、触摸板、麦克风、按钮、转盘、开关等；以及一个或多个输出设备控制器915，其可以控制但不限于显示器、发光二极管(LED)、扬声器等。

ECU900还可以包括无线通信接口930，其可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组(诸如蓝牙设备、IEEE802.11设备、IEEE802.16.4设备、WiFi设备、WiMax设备、包括4G、5G等的蜂窝通信设施)等。无线通信接口930可以允许与网络、无线接入点、其他计算机系统和/或在此描述的任何其他电子设备交换数据。通信可以通过发送和/或接收无线信号934的一个或多个无线通信天线932来执行。

根据期望的功能，无线通信接口930可以包括单独的收发器，以与基站收发器(例如，蜂窝网络的基站)和/或接入点进行通信。这些不同的数据网络可以包括各种网络类型。另外地，无线广域网(WWAN)可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、WiMax(IEEE 802.16)等。CDMA网络可以实现一种或多种无线接入技术(RAT)，诸如cdma2000、宽带-CDMA(W-CDMA)等。Cdma2000包括IS-95、IS-2000和/或IS-856标准。TDMA网络可以实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或一些其他RAT。OFDMA网络可以采用LTE、LTE Advanced等，包括4G和5G技术。

ECU 900还可以包括传感器控制器940。这种控制器可以控制但不限于一个或多个加速度计、陀螺仪、摄像机、磁力计、高度计、麦克风、接近传感器、光传感器等。

ECU 900的实施例还可以包括卫星定位系统(SPS)接收器980，该接收器980能够使用SPS天线982从一个或多个SPS卫星接收信号984。SPS接收器980可以使用常规技术从诸如全球导航卫星系统(GNSS)(例如，全球定位系统(GPS))、伽利略、格洛纳斯、指南针、日本上空的准天顶卫星系统(QZSS)、印度上空的印度区域导航卫星系统(IRNSS)、中国上空的北斗等SPS系统的卫星中提取设备的位置。此外，SPS接收器1780可用于各种增强系统(例如，基于卫星的增强系统(SBAS))，其可与一个或多个全球和/或区域导航卫星系统相关联或以其他方式启用以与一个或多个全球和/或区域导航卫星系统一起使用。作为示例而非限制，SBAS可以包括提供完整性信息、差分校正等的增强系统，诸如广域增强系统(WAAS)、欧洲地球同步导航覆盖服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助的地球增强导航或GPS和地理增强导航系统(GAGAN)等。因此，如本文所使用的，SPS可以包括一个或多个全球和/或区域导航卫星系统和/或增强系统的任意组合，并且SPS信号可以包括SPS、类似SPS和/或与这种一个或多个SPS相关联的其他信号。

ECU 900还可以包括存储器960和/或与存储器960通信。存储器960可以包括但不限于本地和/或网络可访问存储器、磁盘驱动器、驱动器阵列、光存储设备、诸如随机存取存储器(RAM)之类的固态存储设备和/或可以是可编程、可闪存更新等的只读存储器(ROM)。这种存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。

设备900的存储器960还可以包括软件元件(未示出)，包括操作系统、设备驱动程序、可执行库和/或嵌入在计算机可读介质中的其他代码，诸如一个或多个应用程序，其可以包括由各种实施例提供的计算机程序，和/或可以被设计成实现由其他实施例提供的方法和/或配置系统，如在此所描述。然后，在一方面，根据所描述的方法，这种代码和/或指令可用于配置和/或适配通用计算机(或其他设备)以执行一个或多个操作。

对于本领域技术人员来说显而易见的是，可以根据具体要求进行实质性改变。例如，也可以使用定制的硬件，和/或可以在硬件、软件(包括诸如小应用程序等的便携式软件)或两者中实现特定元件。此外，可以使用到诸如网络输入/输出设备的其他计算设备的连接。

参照附图，可以包括存储器的组件可以包括非暂时性机器可读介质。在此使用的术语“机器可读介质”和“计算机可读介质”指的是参与提供使机器以特定方式操作的数据的任何存储介质。在以上提供的实施例中，各种机器可读介质可以涉及向处理单元和/或其他设备提供指令/代码以供执行。另外地或可替换地，机器可读介质可以用于存储和/或携带这样的指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形存储介质。这种介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。计算机可读介质的常见形式包括例如磁性和/或光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁带、下文所述的载波、或计算机可以从其读取指令和/或代码的任何其他介质。

在此讨论的方法、系统和设备是示例。各种实施例可以适当地省略、替换或添加各种过程或组件。例如，关于某些实施例描述的特征可以在各种其他实施例中组合。实施例的不同方面和元件可以以类似的方式组合。在此提供的附图的各种组件可以在硬件和/或软件中实现。此外，技术在发展，因此，许多元件都是示例，不会将公开的范围限制在那些特定的示例中。

在描述了几个实施例之后，在不脱离本公开的精神的情况下，可以使用各种修改、替换结构和等价物。例如，上述元件可以仅仅是较大系统的组件，其中其他规则可以优先于或以其他方式修改本发明的应用。此外，可以在考虑上述元件之前、期间或之后采取多个步骤。因此，上述描述不限制本公开的范围。