增强的车辆操作

技术领域

本公开涉及车辆中的改进的对象检测技术。

背景技术

车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可提供关于将行驶的路线以及车辆环境中要避开的对象的数据。车辆的操作可依赖于在车辆正在道路上进行操作时获取关于车辆环境中的对象的准确且及时的数据。车辆可使用计算装置，所述计算装置被配置为从由车辆传感器收集的图像数据识别对象。

发明内容

当前公开的解决方案提供了改进的对象检测技术，例如以支持根据对象检测操作的车辆的改进的操作。车辆计算机可接收来自各种传感器的数据，所述数据可被解译以识别或检测各种对象。当传感器数据不完整或不准确时，可能发生对象的错误识别，包括当对象(可能通过提供或修改对象的人的设计或意图)看起来并非如此时。作为一个示例，车辆计算机可检测到看起来是标记但实际上不是的对象。“标记”是管理车辆操作的道路上或道路附近(例如，道路旁边或道路上方)的物理对象。例如，当解译传感器数据时，例如在建筑物、墙壁、屏幕等上的投影可能看起来类似于标记，但不管理车辆操作。“投影”是通过投射光实现的对象在表面上的表示。投影可提供在车辆传感器看来类似于另一对象(诸如标记)的对象，例如，投影的对象可以是包括“停车(STOP)”一词的红色八边形，因此看起来类似于通常在道路上的停车标志。

通过减少可能导致车辆操作不准确的虚假或不准确的对象识别，更准确地识别标记(诸如道路标志)会改善车辆的操作。在一个示例中，在检测到未包括在地图中的标记后，车辆计算机可致动车辆的外部照明以照亮标记。照亮标记可为传感器提供改善的数据，以确定标记为实际标记(即，物理上真实标记)而不是投影。也就是说，可实现标记的照亮，以便通过检测不同于由投影反射的光的从实际标记的特征(例如，投影下方的表面和/或对象)反射的光来更准确地将实际标记的特征与投影区分开。因此，用于处理由车辆传感器收集的图像的现有技术可减少投影的误报识别。

一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以在操作车辆时，经由来自第一图像传感器的第一图像数据检测标记。所述指令还包括用于在未能经由地图验证所述标记后致动车辆外部照明以照亮所述标记的指令。所述指令还包括用于然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者的指令。所述指令还包括用于在确定所述标记为所述实际标记后基于所述实际标记来操作所述车辆的指令。

所述指令还可包括用于在检测到所述标记后防止所述车辆中的推进部件的致动直到确定所述标记为所述实际标记还是所述投影的指令。

所述指令还可包括用于在确定所述标记是所述投影后忽略所述投影的指令。

所述指令还可包括用于另外基于确定是否经由非图像传感器数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

所述指令还可包括用于另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者的指令。

所述指令还可包括用于另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者的指令。

所述指令还可包括用于另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

所述指令还可包括用于在确定所述标记为所述实际标记后基于存储的车辆操作数据来验证与所述实际标记相关联的操作参数的指令。

所述指令还可包括用于另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

所述指令还可包括用于在从所述第一图像数据生成图像后另外基于确定在所述图像中是否检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

所述指令还可包括用于通过使用具有与所述第一图像传感器相同的所述标记的视角并且具有与所述第一图像传感器不同的放大倍数的虚拟传感器来生成所述图像的指令。

所述指令还可包括用于将指定所述标记为所述实际标记或所述投影中的一者的消息提供给远程计算机的指令。

所述指令还可包括用于在经由所述地图验证所述标记后基于所述经过验证的标记来操作所述车辆的指令。

所述系统可包括远程计算机，所述远程计算机包括第二处理器和第二存储器，所述第二存储器存储指令，所述指令可由所述第二处理器执行以基于包括来自多个车辆的识别所述标记的消息的聚合数据来生成所述地图。

一种方法包括在操作车辆时经由来自第一图像传感器的第一图像数据来检测标记。所述方法还包括在未能验证所述标记后致动车辆外部照明以照亮所述标记。所述方法还包括然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者。所述方法还包括在确定所述标记为所述实际标记后基于所述实际标记来操作所述车辆。

所述方法还可包括另外基于确定是否经由非图像传感器数据检测到所述标记来确定标记为所述实际标记或所述投影中的一者。

所述方法还可包括另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者。

所述方法还可包括另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者。

所述方法还可包括另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。

所述方法还可包括另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。

本文还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。本文还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储可由计算机处理器执行以执行上述方法步骤中的任一者的指令。

附图说明

图1是用于车辆的示例性控制系统的框图。

图2是在示例性道路的示例性车道中操作的车辆的框图。

图3A至图3B是包括标记的示例性第一图像。

图3C是包括投影的示例性第一图像。

图4是用于操作车辆的示例性过程的流程图。

具体实施方式

参考图1至图3C，示例性控制系统100包括车辆105。车辆105中的车辆计算机110从传感器115接收数据。车辆计算机110被编程为在操作车辆105时，经由来自第一图像传感器115的第一图像数据检测标记300。车辆计算机110还被编程为在未能经由地图验证标记300后，致动车辆105的外部照明以照亮标记300。车辆计算机110还被编程为然后基于确定是否经由来自第一图像传感器115的第二图像数据检测到标记300来确定标记300为实际(即物理)标记300或投影305中的一者。车辆计算机110还被编程为在确定标记300为实际标记300后，基于实际标记300来操作车辆105。

现在转到图1，车辆105包括车辆计算机110、传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。通信模块130允许车辆计算机110例如经由消息传递或广播协议(诸如专用短程通信(DSRC)、蜂窝和/或可以支持车辆对车辆、车辆对基础设施、车辆对云通信等的其他协议)和/或经由分组网络135与远程服务器计算机140和/或其他车辆进行通信。

车辆计算机110包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由车辆计算机110执行以用于执行包括如本文所公开的各种操作。车辆计算机110还可以包括协同操作以执行车辆105操作(包括本文所述的操作)的两个或更多个计算装置。此外，车辆计算机110可以是具有如上所述的处理器和存储器的通用计算机，和/或可以包括用于特定功能或功能集的电子控制单元(ECU)或电子控制器等，和/或可以包括专用电子电路，所述专用电子电路包括针对特定操作而制造的ASIC，例如，用于处理传感器数据和/或传送传感器数据的ASIC。在另一个示例中，车辆计算机110可以包括FPGA(现场可编程门阵列)，所述FPGA是被制造为可由用户配置的集成电路。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)的硬件描述语言来描述诸如FPGA和ASIC的数字和混合信号系统。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件可基于例如存储在电连接到FPGA电路的存储器中的VHDL编程而配置。在一些示例中，处理器、ASIC和/或FPGA电路的组合可以包括在车辆计算机110中。

车辆计算机110可以以自主模式、半自主模式或非自主(或手动)模式操作和/或监测车辆105，即，可以控制和/或监测车辆105的操作，包括控制和/或监测部件125。出于本公开的目的，自主模式被限定为其中车辆105的推进、制动和转向中的每一者都由车辆计算机110控制的模式；在半自主模式中，车辆计算机110控制车辆105的推进、制动和转向中的一者或两者；在非自主模式中，人类操作员控制车辆105的推进、制动和转向中的每一者。

车辆计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆105的加速)、转向、变速器、气候控制、内部灯和/或外部灯、喇叭、车门等中的一者或多者，以及确定车辆计算机110(而非人类操作员)是否以及何时控制此类操作。

车辆计算机110可包括一个以上处理器或例如经由如下面进一步描述的车辆通信网络(诸如，通信总线)通信地耦合到所述一个以上处理器，所述一个以上处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ECU)等中，例如变速器控制器、制动控制器、转向控制器等。车辆计算机110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可包括车辆105中的总线，诸如控制器局域网(CAN)等，和/或其他有线和/或无线机制。

经由车辆105网络，车辆计算机110可以向车辆105中的各种装置(例如，传感器115、致动器120、ECU等)传输消息和/或从各种装置接收消息(例如，CAN消息)。替代地或另外，在车辆计算机110实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中表示为车辆计算机110的装置之间的通信。此外，如下所述，各种控制器和/或传感器115可以经由车辆通信网络向车辆计算机110提供数据。

车辆105传感器115可以包括诸如已知的用于向车辆计算机110提供数据的多种装置。例如，传感器115可包括设置在车辆105的顶部上、在车辆105的前挡风玻璃后面、在车辆105周围等的光探测和测距(激光雷达)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可提供数据来提供对象、第二车辆等相对于车辆105的位置的位置。替代地或另外，传感器115还可以例如包括相机传感器115(例如，前视、侧视等)，所述相机传感器提供来自车辆105周围的区域的图像。在本公开的背景下，对象是具有质量并可以通过可以由传感器115检测到的物理现象(例如，光或其他电磁波或声音等)来表示的物理(即，物质)物品。因此，车辆105以及包括如下面所讨论的其他物品都落在本文的“对象”的定义内。

车辆计算机110被编程为基本上连续地、周期性地和/或在远程服务器计算机140指示时等从一个或多个传感器115接收数据。数据可以例如包括车辆105的位置。位置数据指定地面上的一个或多个点并可以为已知形式，例如经由已知的使用全球定位系统(GPS)的导航系统获得的地理坐标，诸如纬度和经度坐标。另外或替代地，数据可包括对象(例如，车辆、标志、树等)相对于车辆105的位置。作为一个示例，数据可以是车辆105周围的环境的图像数据。在这样的示例中，图像数据可以包括道路上或沿道路的一个或多个对象和/或标记，例如车道标记。本文的图像数据意指可以由相机传感器115获取的数字图像数据，例如，包括具有强度值和颜色值的像素。传感器115可以安装到车辆105中或上的任何合适的位置，例如，在车辆105保险杠上、在车辆105的车顶上等，以收集车辆105周围的环境的图像。

车辆105致动器120经由电路、芯片或可根据如已知的适当控制信号来致动各种车辆子系统的其他电子和/或机械部件来实现。致动器120可用于控制部件125，包括车辆105的制动、加速和转向。

在本公开的背景下，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可包括方向盘、转向齿条等中的一者或多者)、悬架部件(例如，其可包括阻尼器(例如减振器或滑柱)、套管、弹簧、控制臂、球头节、连杆等中的一者或多者)、制动部件、停车辅助部件、自适应巡航控制部件、自适应转向部件、一个或多个被动约束系统(例如，安全气囊)、可移动座椅等。

另外，车辆计算机110可以被配置用于经由车辆对车辆通信模块130或接口与车辆105外部的装置通信，例如，通过车辆对车辆(V2V)或车辆对基础设施(V2X)无线通信(蜂窝和/或短程无线电通信等)与另一车辆和/或远程服务器计算机140(通常经由直接射频通信)通信。通信模块130可以包括车辆的计算机可以通过其进行通信的一种或多种机制，诸如收发器，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或当利用多种通信机制时的多种拓扑)。经由通信模块130提供的示例性通信包括提供数据通信服务的蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)、蜂窝V2X(CV2X)和/或包括互联网的广域网(WAN)。为了方便起见，标签“V2X”在本文中用于通信，所述通信可以是车辆对车辆(V2V)和/或车辆对基础设施(V2I)，并且可以由通信模块130根据任何合适的短程通信机制(例如，DSRC、蜂窝等)而提供。

网络135表示车辆计算机110可借助其来与远程计算装置(例如，远程服务器计算机140、另一个车辆计算机等)进行通信的一种或多种机制。因此，网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望的组合以及任何期望的网络拓扑(或利用多种通信机制时的多种拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用

远程服务器计算机140可以是被编程为提供诸如本文公开的操作的常规计算装置，即，包括一个或多个处理器和一个或多个存储器。此外，可以经由网络135(例如，互联网、蜂窝网络和/或某一其他广域网)来访问远程服务器计算机140。

图2是示出在示例性道路200的示例性车道205中操作的车辆105的图示。除非另有说明，本文中的道路是指指定用于车辆行驶的任何地面。典型地，道路包括准备好的行驶表面，例如分级的泥土、沥青、砾石等。此外，道路通常包括标记，例如油漆、嵌入式标记等，以引导车辆例如在一个或多个车道中行驶。道路可包括用于车辆行驶的多于一个车道；每个车道可被指定为在指定方向上行驶。车道是道路的用于车辆行驶的指定区域。道路的车道是沿着道路的长度所限定的通常具有仅容纳一辆车辆的宽度的区域，即，使得多辆车辆可以在车道中一辆接一辆行驶，而非彼此并排(即，横向相邻地)行驶。

当在道路200中操作时，车辆计算机110可被编程为识别道路200上的当前车道205(即车辆105正在操作的车道)以及一个或多个目标车道210(即车辆105未操作的车道)。例如，车辆计算机110可从远程服务器计算机140接收指定当前车道205和目标车道210的地图数据和/或位置数据，例如GPS数据。作为另一示例，车辆计算机110可基于传感器115数据来识别当前车道205和目标车道210。例如，车辆计算机110可被编程为从传感器115接收传感器115数据(例如，图像数据、雷达数据、激光雷达数据等)，并实现各种数据处理技术以识别当前车道205和目标车道210。例如，车道可由标记(例如，道路200上的涂漆线)指示，并且可由车辆计算机110执行诸如已知的图像识别技术以从图像数据中识别当前车道205。例如，车辆计算机110可识别车辆105的相对侧上的实线车道标记。车辆计算机110然后可基于在车辆105的每一侧与相应的实线车道标记之间的虚线车道标记组的数量来识别车辆105操作的当前车道205。实线车道标记是沿道路200的长度连续延伸(即不间断)并限定车道的至少一个边界的标记。虚线车道标记组包括沿道路200的长度彼此间隔开并限定车道的至少一个边界的多个标记。另外，车辆计算机110可基于车辆105的每一侧上的虚线车道标记组的数量(例如，目标车道210的数量等于虚线车道标记组的数量)来确定当前车道205的每一侧上的目标车道210。

当在当前车道205中操作时，车辆计算机110可接收当前车道205中的车辆105周围的环境的传感器115数据。传感器115数据可包括车辆105周围的一个或多个对象。例如，车辆计算机110可被编程为基于传感器115数据对对象类型进行分类和/或识别。例如，可在例如车辆计算机110中基于激光雷达传感器115数据、相机传感器115数据等使用合适的对象分类或识别技术(例如，如上文所提及)来对对象的类型以及对象的物理特征进行分类和/或识别。对象类型的非限制性示例包括标记300，诸如另一车辆、道路标志(参见图3A至图3C)、行人等、建筑物、杆、树叶等。

可以使用诸如已知的各种技术来解译传感器115数据和/或基于传感器115数据来对对象进行分类。例如，可以将相机和/或激光雷达图像数据提供给分类器，所述分类器包括用于利用一种或多种常规图像分类技术的编程。例如，分类器可使用机器学习技术，其中将已知表示各种对象的数据提供给机器学习程序以用于训练分类器。一旦被训练，分类器就可接受车辆105传感器115数据(例如，图像)作为输入，随后针对图像中的一个或多个相应的感兴趣区域中的每一者提供对一种或多种类型的对象的识别和/或分类或相应的感兴趣区域中不存在对象的指示作为输出。此外，应用于接近车辆105的区域的坐标系(例如，极坐标或笛卡尔坐标)可以被使用来指定从传感器115数据识别的对象的位置和/或区域(例如，根据车辆坐标系，被转换为全球纬度和经度地理坐标等)。此外，车辆计算机110可以采用各种技术来融合(即，结合到公共坐标系或参考系中)来自不同传感器115和/或多种类型的传感器115的数据，例如激光雷达、雷达和/或光学相机数据。

在将对象类型识别为标记300后，车辆计算机110被编程为识别标记300。车辆计算机110可基于所识别的标记300来操作车辆105，如下面所讨论的。为了识别标记300，车辆计算机110可致动第一图像传感器115以收集包括标记300的第一图像数据。车辆计算机110可例如通过对第一图像数据使用图像处理技术(诸如文本识别、神经网络等)以识别标记300上的形状、颜色和/或文本中的至少一者来识别标记300。然后，车辆计算机110可确定与标记300相关联的操作参数。本文的操作参数是当车辆105在道路200上操作时车辆105或该车辆105周围的环境的物理特性测量结果的预期值。可为在道路200上操作的车辆105确定各种操作参数。操作参数的非限制性列表包括车辆105的速度、车辆之间的跟随距离、道路200上的停止位置、车辆105的加速速率等。

为了确定操作参数，车辆计算机110可例如将标识与存储在例如车辆计算机110的存储器中的标记300数据的预定库进行比较，所述预定库包括与每个标记300和由每个标记300管理的车道205、210相关联的操作参数。作为另一示例，可用已知表示各种标记300的数据对分类器进行进一步训练。因此，除了将对象识别为标记300之外，分类器还可输出标记300的标识，包括与标记300和由每个标记300管理的车道205、210相关联的操作参数。一旦被训练，分类器就可接受第一图像数据作为输入，然后针对第一图像数据中的一个或多个相应感兴趣区域中的每一个提供对标记300的识别或相应感兴趣区域中不存在标记300作为输出。

在识别标记300后，车辆计算机110被编程为确定对标记300的验证。也就是说，车辆计算机110可确定所识别的标记300是经过验证还是未经验证。当车辆计算机110将标记300与由道路200的所存储地图指定的标记(即，由地图针对标记300指定的位置坐标)相关联时，标记300被验证。当车辆计算机110无法将标记300与由地图指定的标记(即，由地图针对标记300指定的位置坐标)相关联时，标记300未经验证。车辆计算机110可例如从远程服务器计算机140接收道路200的地图。所述地图例如基于聚合数据(如下面所讨论的)指定沿着道路200的标记300。

为了确定对标记300的验证，车辆计算机110可基于传感器115数据(例如，激光雷达数据、雷达数据、图像数据等)来确定标记300的位置，例如地理坐标。例如，车辆计算机110可基于第一图像数据来确定标记300的位置。在这样的示例中，车辆计算机110可例如对第一图像数据采用自由空间计算技术，所述第一图像数据识别与标记300相关联的像素坐标范围以及车辆105与标记300之间的自由空间(即，未检测到对象的空间)。通过识别第一图像中与自由空间和标记300相关联的像素坐标集合并以像素坐标确定从第一图像传感器115的透镜到标记300的距离(以像素坐标为单位)(例如，跨自由空间)，车辆计算机110然后可确定第一图像传感器115的透镜距标记300的距离(例如，跨自由空间)。也就是说，根据已知技术，例如，车辆计算机110可确定从第一图像传感器115的透镜到所识别的坐标的距离(以像素坐标为单位)，并且还可根据第一图像确定从第一图像传感器115透镜到标记300上的点的线与从透镜平行于车辆105纵向轴线延伸的轴线之间的角度。然后，车辆计算机110可例如从传感器115、导航系统、远程服务器计算机140等接收车辆105的位置。车辆105的位置与距离和角度结合(例如，使用几何变换)以确定标记300的位置。车辆计算机110可例如经由网络135将检测到的标记300的位置传输到远程服务器计算机140。

在确定标记300的位置后，车辆计算机110可例如从车辆计算机110的存储器访问地图。然后，车辆计算机110可将标记300的位置与地图进行比较，例如以确定地图是否指定标记300在所述位置处或附近(即，在基于地图的误差余量确定的位置的预定半径内)。如果地图在位置处(或附近)指定标记300，则车辆计算机110确定标记300经过验证。如果地图未在位置处(或附近)指定标记300(例如，地图在位置处(或附近)指定另一标记300或者在位置处(或附近)无标记300)，则车辆计算机110确定标记300未经验证。车辆计算机110可例如经由网络135将对检测到的标记300的验证(即，检测到的标记300是经过验证还是未经验证)发送到远程服务器计算机140。

在确定标记300经过验证后，车辆计算机110可被编程为基于经过验证的标记300来操作车辆105。例如，当经过验证的标记300管理当前车道205中的车辆操作时，车辆计算机110可根据与经过验证的标记300相关联的操作参数来致动一个或多个车辆部件125。也就是说，车辆计算机110可控制车辆105以满足与经过验证的标记300相关联的操作参数(即，满足由其指定的标准)。替代地，当经过验证的标记300不管理当前车道205中的车辆操作时，车辆计算机110可忽略经过验证的标记300。也就是说，车辆计算机110可根据与经过验证的标记300相关联的操作参数来确定不致动一个或多个车辆部件125。

车辆计算机110的存储器可包括基于特定操作参数对车辆部件125的一个或多个指令，并且车辆计算机110可根据存储在存储器中的指令来致动车辆部件125。例如，如果操作参数是“停车”命令，则车辆计算机110可在到达标记300之前致动制动部件125以使车辆105停车。在另一示例中，如果操作参数是速度，则车辆计算机110可致动推进部件125以将车辆105速度保持在所述速度。

在确定标记300未经验证后，车辆计算机可启用怠速模式，即，将怠速模式从禁用状态转变为启用状态。怠速模式防止车辆105的推进部件125的致动。也就是说，在怠速模式下，防止车辆计算机110增加车辆105的速度。例如，当启用怠速模式时，车辆计算机110可不向推进部件125发送指令。此外，当启用怠速模式时，车辆计算机110可发送指令以对制动部件125进行预充电。另外或替代地，怠速模式可防止车辆计算机110执行车道变更操作，即操作车辆105以离开当前车道205。例如，在怠速模式下，车辆计算机110可不向转向部件125发送指令，或可能被阻止向转向部件发送指令，以引导车辆105穿过车道标记。

另外，车辆计算机110被编程为基于一种或多种对象检测和/或识别技术(如下面所讨论的)来确定未经验证的标记300是实际标记300(参见图3A和图3B)还是投影305(参见图3C)。例如，车辆计算机110可基于以下等式1来确定未经验证的标记300是实际标记300还是投影305：

C＝T

其中C为置信度分数，T

如本文所用，“置信度分数”是指示未经验证的标记300为实际标记300的可能性的数值，例如整数。在确定置信度分数C后，车辆计算机110可将置信度分数C与阈值进行比较。所述阈值可例如基于允许确定车辆计算机可准确地确定未经验证的标记是实际标记时的最小置信度分数的测试来以经验确定。所述阈值可存储在例如车辆计算机110的存储器中。车辆计算机110可在例如存储器中存储与多条道路200相对应的多个阈值。也就是说，每条道路200可与唯一阈值相关联。如果置信度分数C大于或等于阈值，则车辆计算机110确定标记300为实际标记300。如果置信度分数C小于阈值，则车辆计算机110确定标记300为投影305。车辆计算机110可例如经由网络135将指定未经验证的标记300是实际标记300还是投影305的消息发送到远程服务器计算机140。

车辆计算机110可基于一种或多种对象检测和/或识别技术来确定置信度分数C。也就是说，车辆计算机110可基于T

为了确定T

为了确定T

为了确定T

为了确定T

车辆计算机110可例如经由V2V通信接收第二车辆215操作数据。作为另一示例，车辆计算机110可基于传感器115数据确定第二车辆215操作数据。作为一个示例，车辆计算机110可基于检测到图像数据中激活的制动灯来确定第二车辆215正在制动。作为另一示例，车辆计算机110可通过确定第二车辆215与车辆105之间的距离随时间的变化来确定第二车辆215相对于车辆105的速度。车辆计算机110可通过使用激光雷达传感器115来确定从车辆105到第二车辆215的距离，所述激光雷达传感器115类似于雷达传感器115，使用激光传输(而不是无线电传输)来获得来自对象(例如，第二车辆215)的反射光脉冲，并且可测量反射光脉冲以确定对象距离。然后，车辆计算机110可用公式ΔD/ΔT确定第二车辆215相对于车辆105的速度，其中ΔD为在不同时间取得的从车辆105到第二车辆215的一对距离之间的差值，并且ΔT为确定这对距离时之间的时间量。例如，可通过从时间上较晚确定的距离减去时间上较早确定的距离来确定所述一对距离之间的差值ΔD。在这样的示例中，正值指示第二车辆215比车辆105行驶得慢，并且负值指示第二车辆215比车辆105行驶得快。然后，车辆计算机110可通过将第二车辆215相对于车辆105的速度与车辆105的速度(例如，基于传感器115数据确定，诸如车轮转速传感器115数据)组合(即求和)来确定第二车辆215的速度。

为了确定T

为了确定T

为了确定T

可通过对车辆计算机110进行编程来提供虚拟相机，以从第一图像数据生成图像。车辆计算机110可生成从虚拟图像传感器行进通过虚拟透镜的虚拟光线，从而遵循物理定律，就好像图像传感器115和透镜是物理对象一样。车辆计算机110将对应于第一图像数据的部分的外观的数据插入虚拟图像传感器中，由第一图像数据的特征点发射并行进通过物理透镜的光线将在物理图像传感器115上产生所述外观。通过将虚拟相机定位在相对于第一图像数据的选定的位置和取向处，可生成与相对于车辆105的选定视点相对应的生成图像。

虚拟相机视点包括虚拟相机的光轴的位置和取向数据和关于虚拟相机透镜的放大倍数的数据。基于虚拟相机相对于车辆105的位置和取向来确定虚拟相机视点。虚拟相机的位置和取向被选择为第一图像传感器115的位置和取向。也就是说，虚拟相机视点对应于第一图像传感器115的视点。换句话说，虚拟相机具有与第一图像传感器115相同的未经验证的标记300的视角。由于生成的图像是基于在选定位置和取向处的虚拟相机从第一图像数据生成的，因此关于在生成的图像中示出的特征点的位置和取向的数据是已知的。

另外，车辆计算机110将虚拟图像传感器的放大倍数选择为不同于第一图像传感器115的放大倍数。也就是说，生成的图像相对于第一图像数据被放大或缩小。生成具有与第一图像数据不同的放大倍数的生成图像可允许车辆计算机110确定未经验证的标记300是实际标记300还是投影305。例如，投影305在生成的图像中可能失真(例如，模糊)，使得车辆计算机110无法在生成的图像中检测到投影305。换句话说，投影305在第一图像数据中可能是聚焦的，而在生成的图像中可能是离焦的。相反，实际标记300可在第一图像数据和生成的图像两者中都聚焦，这允许车辆计算机110检测第一图像数据和生成的图像中的实际标记300。

在例如基于等式1确定未经验证的标记300为投影305(参见图3C)后，车辆计算机110忽略投影305。也就是说，当标记300为投影305时，车辆计算机110可确定不操作车辆105以满足标记300。另外，车辆计算机110可禁用怠速模式，即，将怠速模式从启用状态转变为禁用状态。换句话说，车辆计算机110可启用车辆105的推进部件125的致动。另外，车辆计算机110可致动一个或多个车辆部件125以从恰好在确定标记300未被验证之前恢复车辆操作。

在例如基于等式1确定未经验证的标记300为实际标记300(参见图3A和图3B)后，车辆计算机110可禁用怠速模式。另外，车辆计算机110可被编程为验证与实际标记300相关联的操作参数。作为一个示例，车辆计算机110可识别看起来指定一个操作参数但实际上不指定的实际标记300(参见图3B)。例如，碎屑和/或非法标记可能会遮挡标记300的至少一部分，使得车辆计算机110将标记300识别为指定不同的操作参数。

车辆计算机110可基于存储的车辆105操作数据和/或在当前车道205中操作的第二车辆215的操作数据来验证与实际标记300相关联的操作参数。也就是说，车辆计算机110可通过分析存储的车辆105操作数据和/或在当前车道205上操作的第二车辆215的操作数据来验证操作参数以确定其他车辆105如何在实际标记300的位置操作。例如，如果存储的(和/或第二车辆215)操作数据指示车辆根据与实际标记300相关联的操作参数操作，则车辆计算机110可验证与实际标记300相关联的操作参数。如果存储的(和/或第二车辆215)车辆操作数据指示车辆未根据与实际标记300相关联的操作参数操作，则车辆计算机110可更新与实际标记300相关联的操作参数以对应于存储的(和/或第二车辆215)车辆操作数据。

在验证与实际标记300相关联的操作参数后，车辆计算机110可基于实际标记300来操作车辆105，例如以与上文关于基于经验证的标记300操作车辆105所论述的方式基本上相同的方式。

远程服务器计算机140可被编程为基于聚合数据来更新例如存储在远程服务器计算机140的存储器中的道路200的地图。聚合数据意指来自多个车辆计算机110的数据，所述数据提供例如通过求平均和/或使用某一其他统计度量来以算术和/或数学方式组合的消息。也就是说，远程服务器计算机140可被编程为从多个车辆计算机110接收指示标记300的消息，包括验证和检测到标记300的位置。基于指示标记300和相应位置的聚合数据(例如，指示标记300和相应位置的消息的平均数量、消息的百分比等)，并利用来自不同车辆105的消息彼此独立地提供的事实，远程服务器计算机140可基于车辆105数据更新地图以指定标记300，包括验证和检测到标记300的位置。然后，远程服务器计算机140可例如经由网络135将地图传输到包括车辆105的多个车辆。

图4是用于操作车辆105的示例性过程400的图示。过程400在框405中开始。过程400可由车辆105中所包括的车辆计算机110来执行，所述车辆计算机执行存储在其存储器中的程序指令。

在框405中，车辆计算机110例如经由车辆网络从一个或多个传感器115、例如经由网络135从远程服务器计算机140和/或例如经由V2V通信从另一车辆中的计算机接收数据。例如，车辆计算机110可例如从传感器115、导航系统等接收车辆105的位置数据(例如，地理坐标)。另外，车辆计算机110可例如从一个或多个图像传感器115接收图像数据。所述图像数据可包括关于车辆105周围的环境的数据，例如，道路200上的车道标记、道路200旁边的标记300、在道路200上操作的其他车辆等。过程400在框410中继续。

在框410中，车辆计算机110基于来自第一图像传感器115的第一图像数据来检测标记300，如上面所讨论的。过程400在框415中继续。

在框415中，车辆计算机110确定对检测到的标记300的验证。车辆计算机110可基于第一图像数据来确定检测到的标记300的位置，如上面所讨论的。然后，车辆计算机110可将检测到的标记300的位置与地图进行比较，以确定标记300是经过验证还是未经验证，如上面所讨论的。如果标记300经过验证，则过程400在框440中继续。否则，过程400在框420中继续。

在框420中，车辆计算机110启用怠速模式，如上面所讨论的。过程400在框425中继续。

在框425中，车辆计算机110确定未经验证的标记300是否为投影305。车辆计算机110可基于等式1来确定置信度分数C，如上面所讨论的。然后，车辆计算机110可将置信度分数C与阈值进行比较以确定未经验证的标记300是实际标记300还是投影305，如上面所讨论的。如果车辆计算机110确定未经验证的标记300为投影305，则过程400在框430中继续。否则，过程400在框435中继续。

在框430中，车辆计算机110忽略投影305。也就是说，车辆计算机110基于投影305确定不操作车辆105。此外，如上面所讨论的，车辆计算机110禁用怠速模式。在框430之后，过程400结束。

在框435中，车辆计算机110禁用怠速模式，如上面所讨论的。所述过程在框440中继续。

在框440中，车辆计算机110基于标记300来操作车辆105。也就是说，车辆计算机110可根据与标记300相关联的操作参数来致动一个或多个车辆部件125，如上面所讨论的。车辆计算机110可基于传感器115数据、存储的车辆105操作数据和/或在道路200的当前车道205中操作的第二车辆215的操作数据来确定与标记300相关联的操作参数，如上面所讨论的。在框440之后，过程400结束。

如本文所使用，副词“基本上”意指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。

一般来讲，所描述的计算系统和/或装置可以采用多种计算机操作系统中的任一种，包括但决不限于以下版本和/或种类：Ford

计算机和计算装置通常包括计算机可执行指令，其中所述指令可能能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于Java

存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久性存储器。易失性介质可包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成联接到ECU的处理器的系统总线的电线。常见形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。

数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可从计算机操作系统访问，并且可包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。

在一些示例中，系统元件可以被实现为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所述的功能的此类指令。

关于本文描述的介质、过程、系统、方法、启发等，应当理解，虽然此类过程等的步骤已经被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。

因此，应理解，以上描述意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将并入到此类未来实施例中。总之，应当理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。

除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个/种”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。

根据本发明，提供了一种系统，所述系统具有计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：在操作车辆时，经由来自第一图像传感器的第一图像数据来检测标记；在未能经由地图验证所述标记后，致动车辆外部照明以照亮所述标记；然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者；在确定所述标记为所述实际标记后，基于所述实际标记来操作所述车辆。

根据实施例，所述指令还包括用于在检测到所述标记后防止以下至少一项的指令：a)所述车辆中的推进部件的致动；或b)车道变更操作，直到确定所述标记为所述实际标记还是所述投影。

根据实施例，所述指令还包括用于在确定所述标记为所述投影后忽略所述投影的指令。

根据实施例，所述指令还包括用于另外基于确定是否经由非图像传感器数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

根据实施例，所述指令还包括用于另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者的指令。

根据实施例，所述指令还包括用于另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者的指令。

根据实施例，所述指令还包括用于另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

根据实施例，所述指令还包括用于在确定所述标记为所述实际标记后基于存储的车辆操作数据来验证与所述实际标记相关联的操作参数的指令。

根据实施例，所述指令还包括用于另外基于确定是否在预定时间的至少阈值部分内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

根据实施例，所述指令还包括用于在从所述第一图像数据生成图像后另外基于确定在所述图像中是否检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。

根据实施例，所述指令还包括用于通过使用具有与所述第一图像传感器相同的所述标记的视角并且具有与所述第一图像传感器不同的放大倍数的虚拟传感器来生成所述图像的指令。

根据实施例，所述指令还包括用于将指定所述标记为所述实际标记或所述投影中的一者的消息提供给远程计算机的指令。

根据实施例，所述指令还包括用于在经由所述地图验证所述标记后基于所述经过验证的标记来操作所述车辆的指令。

根据实施例，本发明的特征还在于远程计算机，所述远程计算机包括第二处理器和第二存储器，所述第二存储器存储指令，所述指令可由所述第二处理器执行以基于包括来自多个车辆的识别所述标记的消息的聚合数据来生成所述地图。

根据本发明，一种方法包括：在操作车辆时，经由来自第一图像传感器的第一图像数据来检测标记；在未能验证所述标记后，致动车辆外部照明以照亮所述标记；然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者；在确定所述标记为所述实际标记后，基于所述实际标记来操作所述车辆。

在本发明的一个方面，所述方法包括另外基于确定是否经由非图像传感器数据检测到所述标记来确定标记为所述实际标记或所述投影中的一者。

在本发明的一个方面，所述方法包括另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者。

在本发明的一个方面，所述方法包括另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者。

在本发明的一个方面，所述方法包括另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。

在本发明的一个方面，所述方法包括另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。