使用ARHUD通过颜色识别对象

技术领域

本公开涉及用于向车辆乘员显示信息的增强现实平视显示。

背景技术

增强现实(AR)涉及用显示在三维空间中并且准许与用户进行实时交互的虚拟元素增强现实世界。平视显示(HUD)将诸如车辆速度和导航指令的信息直接显示在乘员前方视野内的车辆挡风玻璃上。因此，平视显示在无需将视线从道路上移开的情况下为乘员提供信息。增强现实的一种可能实现方式是用于车辆的增强现实平视显示(AR-HUD)。通过在挡风玻璃上覆盖图像，AR-HUD增强了乘员对车外环境的视野，从而创造了更强的环境认知。增强的环境认知对于患有残疾(诸如色觉受损)的乘员来说尤其重要。

因此，尽管当前的增强现实平视显示实现了它们的预期目的，但是在本领域中需要改善的方法来向车辆乘员提供信息。

发明内容

根据若干方面，提供了一种用于向车辆乘员显示信息的系统。该系统包括用于将声波转换成电信号的传声器、用于捕获车辆周围环境图像的相机、用于向乘员显示信息的显示器以及与传声器、相机和显示器电连通的控制器。控制器被编程为使用传声器接收来自乘员的语音命令，其中，语音命令包括被请求对象的至少一个特征。控制器还被编程为基于语音命令确定被请求对象的至少一个特征。控制器还被编程为使用相机捕获环境的图像，其中，环境包括相关对象。该控制器还被编程为至少部分地基于该图像和被请求对象的至少一个特征来识别相关对象在环境中的位置。控制器还被编程为使用显示器至少部分地基于所述相关对象在所述环境中的位置来显示图形。

在本公开的另一个方面，为了使用传声器接收来自乘员的语音命令，控制器还被编程为接收对应于由传声器检测到声波的多个电信号，并且使用多个电信号和语音识别算法来识别乘员说出的短语。

在本公开的另一个方面，为了确定被请求对象的至少一个特征，控制器还被编程为通过分析乘员说出的短语来确定被请求对象的类型和被请求对象的颜色。

在本公开的另一个方面，为了识别相关对象在环境中的位置，控制器还被编程为分析环境的图像以定位相关对象，其中，相关对象的类型基本上类似于被请求对象的类型，并且相关对象的颜色基本上类似于被请求对象的颜色。

在本公开的另一个方面，为了分析环境的图像以定位相关对象，控制器还被编程为使用对象检测算法来确定图像中多个检测到的对象中的每一个的类型和位置。为了分析环境的图像以定位相关对象，控制器还被编程为使用图像分割算法来确定图像中多个检测到的对象中的每一个的颜色。为了分析环境的图像以定位相关对象，控制器还被编程为至少部分地基于图像中的多个检测到的对象中的每一个的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位图像中的相关对象。

在本公开的另一个方面，为了至少部分地基于图像中多个检测到的对象的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位相关对象，控制器还被编程为识别图像中的多个匹配对象，其中，该多个匹配对象是该多个检测到的对象的子集，并且其中该多个匹配对象中的每一个的类型基本上类似于被请求对象的类型，并且该多个匹配对象中的每一个的颜色基本上类似于被请求对象的颜色。为了至少部分地基于图像中多个检测到的对象的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位相关对象，控制器还被编程为确定车辆和多个匹配对象中的每一个之间的距离。为了至少部分地基于图像中多个检测到的对象的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位相关对象，控制器还被编程为基于车辆和多个匹配对象中的每一个之间的距离，将相关对象识别为多个匹配对象中离车辆最近的对象。为了至少部分地基于图像中多个检测到的对象的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位相关对象，控制器还被编程为基于图像中多个检测到的对象中的每一个的位置来定位相关对象。

在本公开的另一个方面，为了识别相关对象在环境中的位置，控制器还被编程为使用车辆通信系统建立与远程系统的连接。为了识别相关对象在环境中的位置，控制器还被编程为使用车辆通信系统将被请求对象的至少一个特征传输到远程系统。为了识别相关对象在环境中的位置，控制器还被编程为使用车辆通信系统从远程系统接收相关对象在环境中的位置，其中，相关对象的类型基本上类似于被请求对象的类型，并且相关对象的颜色基本上类似于被请求对象的颜色。

在本公开的另一个方面，显示器是与控制器电子通信的增强现实平视显示AR-HUD系统，其中，AR-HUD系统包括乘员位置跟踪设备和AR-HUD投影仪，并且其中为了显示图形控制器还被编程为使用乘员位置跟踪设备确定车辆乘员的位置。为了显示图形，控制器还被编程为基于乘员的位置和环境的图像来计算图形的尺寸、形状和位置。为了显示图形，控制器还被编程为使用AR-HUD系统基于图形的尺寸、形状和位置来显示车辆的挡风玻璃上的相关对象的位置的图形指示。

在本公开的另一个方面，显示器还包括与控制器电子通信的透明挡风玻璃显示(TWD)系统，其中，TWD系统包括嵌入在车辆的挡风玻璃中的透明磷光体和TWD投影仪，并且其中为了显示图形控制器还被编程为基于环境的图像计算图形的尺寸、形状和位置。为了显示图形，控制器还被编程为基于图形的尺寸、形状和位置，使用TWD系统显示相关对象在车辆的挡风玻璃上的位置的图形指示。

在本公开的另一个方面，其中，该图形包括覆盖在相关对象上的多边形和接近多边形显示的文本，其中，多边形识别相关对象的位置，并且文本识别相关对象的颜色。

根据若干方面，提供了一种用于显示关于用户周围环境的信息的方法。该方法包括从用户接收被请求对象的类型和颜色，使用相机捕获用户周围环境的图像，以及基于该图像、被请求对象的类型和被请求对象的颜色来识别用户周围环境中的相关对象。该方法还包括显示相关对象在用户周围环境中的位置的图形指示。

在本公开的另一个方面，从用户接收被请求对象的类型和颜色，还可以包括提示用户输入被请求对象的类型和颜色，并且接收包括被请求对象的类型和颜色的用户输入。

在本公开的另一个方面，接收包括被请求对象的类型和颜色的用户输入，还可以包括使用人机接口(HMI)接收用户输入。

在本公开的另一个方面，接收包括被请求对象的类型和颜色的用户输入，还可以包括使用传声器接收用户输入，其中，用户输入是用户的语音，并且其中传声器被配置为将对应于用户语音的声波转换成电信号。接收包括被请求对象的类型和颜色的用户输入，还可以包括处理对应于用户语音的电信号，以使用语音识别算法识别用户说出的短语，并且基于用户说出的短语确定被请求对象的类型和颜色。

在本公开的另一个方面，识别用户周围环境中的相关对象，还可以包括使用对象检测算法来分析环境的图像以识别环境中的多个检测到的对象。识别用户周围环境中的相关对象还可以包括识别至少一个匹配对象，其中，该至少一个匹配对象是多个检测到的对象的子集，并且其中该至少一个匹配对象中的每一个的类型基本上类似于被请求对象的类型，并且该至少一个匹配对象中的每一个的颜色基本上类似于被请求对象的颜色。识别用户周围环境中的相关对象还可以包括将相关对象识别为至少一个匹配对象中最靠近用户的对象。

在本公开的另一个方面，显示相关对象在用户周围环境中的位置的图形指示还可以包括捕获环境的图像，该环境的图像包括相关对象。显示相关对象在用户周围环境中的位置的图形指示，还可以包括将图形覆盖在环境的图像中的相关对象上，并且向用户显示包括覆盖在相关对象上的图形的环境的图像。

在本公开的另一个方面，显示相关对象在用户周围环境中的位置的图形指示，还可以包括使用增强现实平视显示AR-HUD来显示图形，其中，图形显示覆盖在相关对象上。

根据若干方面，提供了一种用于向车辆用户显示信息的系统。该系统包括用于将声波转换成电信号的车辆传声器、用于捕获车辆周围环境的图像的车辆相机以及用于向用户显示信息的车辆显示器。该系统还包括车辆通信系统、移动设备，其中，该移动设备包括移动设备相机、移动设备显示器以及与移动设备相机和移动设备显示器电连通的移动设备控制器。该系统还包括与车辆传声器、车辆相机、车辆显示器和车辆通信系统电连通的车辆控制器。车辆控制器被编程为使用车辆传声器接收来自用户的语音命令，其中，语音命令包括被请求对象的类型和颜色。车辆控制器还被编程为基于语音命令确定被请求对象的类型和颜色，并且使用车辆通信系统将被请求对象的类型和颜色传输到移动设备。车辆控制器还被编程为使用车辆相机捕获车辆周围环境的第一图像，其中，车辆周围环境包括相关对象。车辆控制器还被编程为至少部分地基于第一图像和被请求对象的类型和颜色来识别相关对象在车辆周围环境中的位置。车辆控制器还被编程为使用车辆显示器至少部分地基于相关对象在车辆周围环境中的位置来显示图形。

在本公开的另一个方面，移动设备控制器被编程为接收由车辆通信系统传输的被请求对象的类型和颜色，使用移动设备相机捕获移动设备周围环境的第二图像，其中，移动设备周围环境包括相关对象，并且至少部分地基于第二图像和被请求对象的类型和颜色识别相关对象在移动设备周围环境中的位置。移动设备控制器还被编程为使用移动设备显示器，至少部分地基于相关对象在移动设备周围环境中的位置来显示图形。

在本公开的另一个方面，为了识别相关对象在车辆周围环境中的位置，车辆控制器还被编程为使用对象检测算法来确定第一图像中多个检测到对象中的每一个的类型和位置。为了识别相关对象在车辆周围环境中的位置，车辆控制器还被编程为使用图像分割算法来确定第一图像中的多个检测到对象中的每一个的颜色。为了识别相关对象在车辆周围环境中的位置，车辆控制器还被编程为至少部分地基于第一图像中的多个检测到对象中的每一个的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位第一图像中的相关对象。为了识别相关对象在移动设备周围环境中的位置，移动设备控制器还被编程为使用对象检测算法来确定第二图像中的多个检测到的对象中的每一个的类型和位置。为了识别相关对象在移动设备周围环境中的位置，移动设备控制器还被编程为使用图像分割算法来确定第二图像中的多个检测到的对象中的每一个的颜色。为了识别相关对象在移动设备周围环境中的位置，移动设备控制器还被编程为至少部分地基于第二图像中的多个检测到的对象中的每一个的类型、位置和颜色，并且至少部分地基于被请求对象的类型和被请求对象的颜色来定位第二图像中的相关对象。

从本文提供的描述中，其他应用领域将变得显而易见。应理解，描述和具体示例仅用于说明的目的，并且无意限制本公开的范围。

附图说明

本文描述的附图仅用于说明目的，并且无意以任何方式限制本公开的范围。

图1是根据示例性实施例的用于向车辆乘员显示信息的系统的示意图；

图2是根据示例性实施例的由示例性乘员使用的AR-HUD系统的示意图；

图3是根据示例性实施例的双焦平面增强现实显示器的示意性正视图，突出显示了双焦平面增强现实显示器的第二图像平面；

图4是根据示例性实施例增强的双焦平面的第二图像平面的示意图；

图5A是根据示例性实施例的用于显示关于用户周围环境的信息的方法流程图；

图5B是根据示例性实施例的用于显示关于使用移动设备的用户周围环境的信息的方法流程图；

图6A是根据示例性实施例示出的覆盖在第一个示例性被请求对象上的第一个示例性图形；

图6B是根据示例性实施例示出的覆盖在第二示例性被请求对象上的第二示例性图形；以及

图6C是根据示例性实施例示出的覆盖在第三示例性被请求对象上的第三示例性图形。

具体实施方式

以下描述本质上仅是示例性的并且无意限制本公开、应用或使用。

参考图1，示出了用于向车辆乘员显示信息的系统，并且总体上由附图标记10表示。系统10示出为具有示例性车辆12。尽管图示了客车，但是应理解，在不脱离本公开的范围的情况下车辆12可以是任何类型的车辆。系统10一般包括控制器14、车辆传感器16、增强现实平视显示AR-HUD系统18、透明挡风玻璃显示器TWD系统20和人机接口HMI22。

控制器14用于实现显示关于用户周围环境的信息的方法100，如下面将描述的。控制器14包括至少一个处理器26和非暂态计算机可读存储设备或介质28。处理器26可以是定制的或在市场上可买到的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器14相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的组合，或一般是用于执行指令的设备。计算机可读存储设备或介质28可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是可以用于在处理器26断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储设备或介质28可以使用多个存储设备(诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、快闪存储器或其他能够存储数据的电、磁、光或组合存储设备)来实现，该多个存储设备中的一些代表可执行指令，由控制器14用来控制车辆12的各种系统。控制器14也可以由多个彼此电连通的控制器组成。

控制器14与车辆传感器16、AR-HUD系统18、TWD系统20和HMI22电连通。可以使用例如CAN总线、Wi-Fi网络、蜂窝数据网络等来建立电连通。应理解，用于与控制器14通信的各种另外的有线和无线技术和通信协议都在本公开的范围内。

车辆传感器16用于获取关于车辆环境30的信息。在本公开中，车辆环境30是指围绕车辆12的车辆12外部的环境。例如，车辆环境30至少包括在车辆12的乘员视野内的那部分环境。在示例性实施例中，车辆传感器16包括相机32、车辆通信系统34和传声器36。应理解，在不脱离本公开的范围的情况下，车辆传感器16可以包括用于确定车辆12的特征的另外的传感器，例如车辆速度、道路曲率和/或车辆转向。如上面所讨论的，车辆传感器16与控制器14电连通。

相机32用于捕获车辆12周围的车辆环境30的图像和/或视频。在示例性实施例中，相机32是照片和/或视频相机，该相机32被定位成观察车辆12前方的车辆环境30。在一个示例中，相机32固定在车辆12的内部(例如，在车辆12的车顶内衬中)，具有透过挡风玻璃24的视野。在另一个示例中，相机32固定在车辆12的外部，例如，在车辆12的车顶上，具有车辆12前方的车辆环境30的视图。应理解，相机具有各种传感器类型，包括，例如电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器和/或高动态范围(HDR)传感器，都在本公开的范围内。此外，相机具有包括例如广角镜头和/或窄角镜头的各种镜头类型，也在本公开的范围内。

控制器14使用车辆通信系统34与车辆12外部的其他系统通信。例如，车辆通信系统34包括与车辆(“V2V”通信)、基础设施(“V2I”通信)、远程呼叫中心的远程系统(例如，通用汽车公司的ON-STAR)和/或个人设备通信的性能。在某些实施例中，车辆通信系统34是无线通信系统，该无线通信系统被配置为使用IEEE802.11标准或经由使用蜂窝数据通信，通过无线局域网(WLAN)进行通信。然而，基于第三代合作伙伴计划(3GPP)标准的另外的或替代通信方法，诸如专用短程通信(DSRC)信道和/或移动电信协议，也被认为在本公开的范围内。DSRC信道是指专门为汽车使用设计的单向或双向短程到中程无线通信信道，以及对应的一组协议和标准。3GPP是指为移动电信开发协议和标准的若干标准组织之间的伙伴关系。3GPP标准被结构化为“版本”。因此，基于3GPP版本14、15、16和/或未来3GPP版本的通信方法被认为在本公开的范围内。因此，车辆通信系统34可以包括一个或多个天线和/或通信收发器，用于接收和/或传输信号，诸如配合感测消息(CSM)。车辆通信系统34被配置为在车辆12和另一个车辆之间无线传递信息。此外，车辆通信系统34被配置为在车辆12和基础设施或其他车辆之间无线传递信息。

传声器36用于通过将声波转换成电信号来接收语音命令。在示例性实施例中，传声器36包括单向动态传声器(即，使用电磁感应将声波转换成电信号的传声器)，该单向动态传声器被配置为接收来自车辆12的特定乘员的语音命令。在另一个示例实施例中，传声器36包括设置在车辆12的整个车厢中，被配置为接收语音命令的多个微机电系统(MEMS)传声器(例如，具有直接蚀刻到硅晶片中的压敏隔膜的传声器)。应理解，被配置为将声波转换成电信号(例如，数字和/或模拟电信号)的另外的类型的传声器也包括在本公开的范围内。

参考图2，示出了由示例性乘员38使用的AR-HUD系统18的系统图。在本公开的范围内，在非限制性示例中，乘员包括车辆12中的驾驶员、乘客和/或任何其他人。AR-HUD系统18用于在车辆12的挡风玻璃24上显示AR-HUD图形40(即，向乘员38提供视觉信息的通知符号)。AR-HUD系统18包括AR-HUD投影仪42和乘员位置跟踪设备44。如上面所讨论的，AR-HUD系统18与控制器14电连通。

AR-HUD投影仪42用于将AR-HUD图形40投影到车辆12的挡风玻璃24上。应理解，设计用于投影图像的各种设备，包括例如光学准直器、激光投影仪、数字光投影仪(DLP)等，都在本公开的范围内。

乘员位置跟踪设备44用于确定乘员38在车辆12中的位置。例如，乘员位置跟踪设备44可以跟踪乘员38的头部38a或眼睛38b的位置。来自乘员位置跟踪设备44的乘员38在车辆12中的位置用于在车辆12的挡风玻璃24上定位AR-HUD图形40。在示例性实施例中，乘员位置跟踪设备44是设置在车辆12中的一个或多个相机。

为了操作AR-HUD系统18，控制器14包括多个软件模块，包括系统管理器46。在系统10的操作期间，系统管理器46接收至少第一输入48、第二输入50和第三输入52。第一输入48指示车辆12在空间中的位置(即，车辆12的地理位置)，第二输入50指示车辆乘员38在车辆12中的位置(例如，车辆12中乘员38的眼睛和/或头部的位置)，并且第三输入52是与相关对象的位置相关的数据，这将在下面更详细地讨论。第一输入48可以包括诸如GNSS数据(例如，GPS数据)、车辆速度、道路曲率和车辆转向的数据，并且此数据是从车辆传感器16收集的。从乘员位置跟踪设备44接收第二输入50。第三输入52是关于相关对象在车辆12周围的车辆环境30中的位置的数据。系统管理器46被配置为基于第一输入48(即，车辆环境30中的车辆位置)、第二输入50(例如，车辆12中乘员38的眼睛38b和/或头部38a的位置)、以及第三输入52(即，车辆环境30中的相关对象的位置)来确定(例如，计算)要使用AR-HUD投影仪42显示的AR-HUD图形40的类型、尺寸、形状和颜色。系统管理器46指示图像引擎54，该图像引擎54作为AR-HUD投影仪42或控制器14的软件模块或集成电路，使用AR-HUD投影仪42显示AR-HUD图形40。图像引擎54基于由系统管理器46确定的AR-HUD图形40的类型、尺寸、形状和颜色，使用AR-HUD投影仪42在车辆12的挡风玻璃24上显示AR-HUD图形40。AR-HUD图形40由AR-HUD投影仪42投影在挡风玻璃24上，以沿着道路表面56显示AR-HUD图形40。

在本公开的示例性实施例中，AR-HUD系统18是双焦平面AR-HUD系统。参考图3和图4并且继续参考图2，AR-HUD系统18具有第一图像平面58和第二图像平面60。第一图像平面58示出了外部世界的视图，以及第二图像平面60被保留用于显示AR-HUD图形40。第二图像平面60跨越多条车道，以及AR-HUD图形40出现在相对于第一图像平面58更远的道路表面56上的位置。例如，如图3和图4中所示，第二图像平面60覆盖左车道62、中央车道64和右车道66。作为非限制性示例，在中央车道64中，第二图像平面60开始于距车辆12的第一预定距离D1(例如，25米)，并且结束于距车辆12的第二预定距离D2(例如，90米)。不管具体距离如何，第二预定距离D2大于第一预定距离D1以帮助乘员38使用AR-HUD投影仪42看到显示的AR-HUD图形40。在左车道62和右车道66中，第二图像平面60由倾斜的边界界定，该边界开始于距车辆12的第一预定距离D1，并且结束于距车辆12的第三预定距离D3(例如，50米)。第三预定距离D3大于第一预定距离D1并且小于第二预定距离D2，以帮助乘员38使用AR-HUD投影仪42看到显示的AR-HUD图形40。如本文所使用的，术语“双焦平面AR-HUD”表示在第一图像平面和第二图像平面中呈现图像的AR-HUD系统，其中，第一图像平面和第二图像平面位于不同的位置。期望将AR-HUD系统18被配置为双焦平面AR-HUD以便于在外部世界的视野上操纵AR-HUD图形40。例如，通过使用双焦平面AR-HUD，AR-HUD图形40的尺寸、位置和特性可以基于例如乘员38的眼睛38b的位置而改变。

TWD系统20用于在车辆12的挡风玻璃24上显示图像。在示例性实施例中，AR-HUD系统18可以在挡风玻璃24的预定区域中(例如，在第一图像平面58和第二图像平面60中)显示AR-HUD图形40。TWD系统20可以在挡风玻璃24的任何区域显示TWD图形(未示出)。因此，通过联合操作AR-HUD系统18和TWD系统20，控制器14可以在挡风玻璃24的任何区域显示图形。在示例性实施例中，TWD系统20包括嵌入在挡风玻璃24的透明磷光体(未示出)和TWD投影仪68(图1)。如上面所讨论的，TWD系统20与控制器14电连通。

透明磷光体是响应于被TWD投影仪68激发而发出荧光的发光颗粒。在示例性实施例中，透明磷光体是红色、绿色和蓝色(RGB)磷光体，允许TWD系统20的全色操作。单色和/或双色磷光体的使用也在本公开的范围内。当激发光被透明磷光体吸收时，由透明磷光体发射可见光。激发光可以是例如可见光谱中的紫光(范围从约380纳米到450纳米)和/或紫外光。

TWD投影仪68用于激发预定图案的透明磷光体，以在挡风玻璃24上产生TWD图形。在示例性实施例中，TWD投影仪68是接近车辆12的车顶内衬设置的紫色/紫外线激光投影仪。TWD投影仪68包括三个激光器，每个激光器被配置为激发红色、绿色或蓝色透明磷光体中的一者。

在示例性实施例中，除了AR-HUD系统18和TWD系统20之外，还使用HMI22来显示关于相关对象的位置的信息。在另一个示例性实施例中，使用HMI22代替AR-HUD系统18和/或TWD系统20来显示关于相关对象的位置的信息。在前述示例性实施例中，HMI22是位于乘员38的视野内并且能够显示文本、图形和/或图像的显示系统。应理解，包括LCD显示器、LED显示器等的HMI显示系统在本公开的范围内。HMI22设置在后视镜中的其他示例性实施例也在本公开的范围内。如上面所讨论的，HMI22与控制器14电连通。

再次参考图1，在另外的示例性实施例中，系统10还包括移动设备70。当乘员38不在车辆12中时，移动设备70用于向乘员38提供信息。移动设备70包括移动设备控制器72、移动设备显示器74、移动设备相机76和移动设备通信系统78。移动设备显示器74、移动设备相机76和移动设备通信系统78中的每一个都与移动设备控制器72电连通。

移动设备控制器72控制移动设备70的操作。移动设备控制器72包括至少一个处理器80和非暂态计算机可读存储设备或介质82。在非限制性示例中，移动设备控制器72的处理器80和介质82在结构和/或功能上类似于控制器14的处理器26和介质28，如上所描述的。

移动设备显示器74用于向乘员38显示信息。移动设备显示器74能够显示文本、图形和/或图像。应理解，在不脱离本公开的范围的情况下，移动设备显示器74可以包括LCD显示器、LED显示器等。

移动设备相机76用于捕获移动设备70周围的移动设备环境84的图像。在本公开的范围内，移动设备环境84是指移动设备70外部的围绕移动设备70的环境。取决于移动设备70相对于车辆12的位置，移动设备环境84可以与车辆环境30相同或不同。应理解，相机具有各种传感器类型，包括例如CCD传感器、CMOS传感器和/或HDR传感器，都在本公开的范围内。此外，相机具有包括例如广角镜头和/或窄角镜头的各种镜头类型，也在本公开的范围内。

移动设备通信系统78允许移动设备控制器72与远程系统通信。在示例性实施例中，移动设备通信系统78包括无线通信系统，该无线通信系统被配置为使用无线网络(诸如使用IEEE802.11标准和/或使用蜂窝数据通信的WLAN)进行通信。因此，在非限制性示例中，移动设备通信系统78包括用于传输和/或接收信号的一个或多个天线和/或通信收发器。

参考图5A，图示了用于显示关于用户周围环境的信息的方法，并且总体上由附图标记100指示的流程图。方法100开始于框102并且前进到框104。在框104处，控制器14监测传声器36以接收来自乘员38的语音命令。在非限制性示例中，控制器14监测传声器36中对应于人类语音的电信号。如果没有接收到语音命令，则方法100在框106处前进进入待机状态。如果接收到语音命令，则方法100前进到框108和框110。

在框108处，使用语音识别算法分析在框104接收到的语音命令以识别乘员38说出的短语。语音识别算法是将口语解译成文本的方法，使得控制器14可以基于口语的内容采取行动。在示例性实施例中，语音识别算法基于统计模型，诸如隐马尔可夫模型(hiddenMarkov model)。在另一个示例性实施例中，语音识别算法基于机器学习算法，诸如神经网络。在非限制性示例中，通过向算法提供多个声音样本来训练机器学习算法，这些声音样本已经被预分类为对应于特定语音命令。例如，多个声音样本可以包括具有不同语音特征(例如，音调、速度、音量和/或口音)的多个个体说多个单词和/或短语的记录。在机器学习算法的充分训练之后，该算法可以以高准确度和精确度识别由乘员38说出并且由传声器36接收到的短语。应理解，语音识别算法的另外的实现方式，包括例如基于动态时间弯曲的语音识别、深度学习等，都包括在本公开的范围内。

语音识别算法用于识别被请求对象的特征。被请求对象是车辆环境30中的对象，乘员38已经请求了关于该对象的信息。在示例性实施例中，被请求对象的特征包括被请求对象的类型和颜色。语音识别算法用于基于乘员38所说的短语来确定被请求对象的类型和颜色。在框108之后，方法100前进到框112。

在框110处，控制器14使用相机32捕获车辆环境30的图像。在框110之后，方法100前进到框114。

在框114处，控制器14使用对象检测算法确定在框110处捕获的图像中的对象的类型。对象检测算法是一种允许检测和识别图像和/或视频中的对象的方法。在示例性实施例中，对象检测算法是已经被训练成以与上述类似的方式检测和识别对象的机器学习算法(诸如神经网络)。在本公开的范围内，在框114处检测到的对象被称为检测到的对象。应理解，用于检测和识别图像和/或视频中的对象的另外的方法也在本公开的范围内。在框114之后，方法100前进到框116。

在框116处，使用图像分割算法确定在框114识别的每个检测到的对象的颜色。图像分割算法的目的是减少图像中独特颜色的数量，以允许更高效地确定图像中每个检测到的对象的颜色。图像分割算法是一种基于例如颜色将图像和/或视频分割成多个图像片段的方法。因此，图像的每个检测到的对象中具有类似颜色的像素被分组在一起，成为图像片段。在执行图像分割算法之后，每个检测到的对象包括至少一个具有纯色的图像片段。在示例性实施例中，通过对每个检测到的对象中每种颜色的像素数量进行计数来确定每个检测到的对象的颜色。对于每个检测到的对象，具有最高像素数的颜色被确定为检测到的对象的颜色。应理解，基于分割图像确定每个检测到的对象的颜色的另外的方法也在本公开的范围内。在框116之后，方法100前进到框112。

在框112处，基于由乘员38在框108处说出的短语确定的被请求对象的类型和颜色，以及在框114处和框116处确定的每个检测到的对象的类型和颜色，来定位车辆环境30中相关对象的位置。控制器14试图在图像中定位具有基本上类似于被请求对象的类型和颜色的类型和颜色的检测到的对象。在本公开的范围内，基本上类似意味着被比较的项目将被合理的人认为是等效的或可互换的。例如，如果被请求对象的类型是遮阳篷，则基本上类似的类型包括与单词遮阳篷的含义同义的单词，例如，天篷。在另一个示例中，如果被请求对象的颜色是品红色，则基本上类似的颜色包括显示类似的颜色，诸如粉红色。在本公开的范围内，具有基本上类似于被请求对象的类型和颜色的类型和颜色的检测到的对象被称为相关对象。如果没有识别出相关对象，则方法100在框106处前进进入待机状态。在示例性实施例中，如果多个相关对象被识别，则可以选择相关对象中的一个用于下面的方法步骤。在非限制性示例中，使用车辆传感器16选择离车辆12最近的相关对象，例如，使用相机32结合机器学习算法来识别车辆12和相关对象中的每个之间的距离。在另一个示例性实施例中，如果多个相关对象被识别，则所有相关对象都被用于以下方法步骤中。如果至少一个相关对象被识别，则方法100前进到框118。

在另外的实施例中，代替执行方法100的框110、框114以及框116和框112，控制器14使用车辆通信系统34来建立与远程系统(例如杆上安装的交通相机)的连接。控制器14使用车辆通信系统34将被请求对象的类型和颜色传输到远程系统。远程系统，例如，杆上安装的交通相机，识别车辆环境30中的至少一个相关对象，并且将该至少一个相关对象的位置传输到车辆通信系统34，以用于以下方法步骤。

在框118处，使用AR-HUD系统18、TWD系统20和HMI 22中的至少一者来显示乘员38的视野中的相关对象的位置和颜色的图形指示，如以上参考图2、图3和图4所讨论的。在示例性实施例中，使用AR-HUD系统18和TWD系统20显示图形，并且如果AR-HUD系统18和/或TWD系统20不可用和/或不起作用，则HMI 22用于显示图形。下面将更详细地讨论在框118处显示的图形的示例。在替代示例性实施例中，在框118，控制器14使用车辆12的扬声器(未示出)来向乘员38提供听觉反馈。在非限制性示例中，听觉反馈包括被配置为对乘员38说话的计算机生成的语音。应理解，在本公开的范围内，可以结合视觉反馈(即，使用AR-HUD系统18、TWD系统20和/或HMI 22)或不结合视觉反馈来提供听觉反馈。在框118之后，方法100在框106处前进进入待机状态。

在示例性实施例中，控制器14可以重复退出待机状态106并且在框102处重新开始方法100。在非限制性示例中，控制器14可以退出待机状态106并且在计时器上重新开始方法100，例如，每三百毫秒。通过重复执行方法100，在框118处显示的图形被更新以说明车辆12的运动。

在另外的实施例中，方法100的框108包括向移动设备70的传输。在前述另外的实施例中，在框108处确定被请求对象的类型和颜色之后，使用车辆通信系统34将被请求对象的类型和颜色传输到移动设备70。应理解，将被请求对象的类型和颜色传输到移动设备70的各种方法，包括使用诸如网络服务器的中间系统传输被请求对象的类型和颜色，都在本公开的范围内。

参考图5B，图示了用于显示关于使用移动设备70的用户周围环境的信息的方法的流程图，并且该流程图总体上由附图标记200指示。方法200开始于框202并且前进到框204。在框204处，移动设备控制器72监测移动设备通信系统78以确定是否已经从车辆通信系统34接收到传输。如果没有从车辆通信系统34接收到传输，则方法200在框206处前进进入待机状态。如果从车辆通信系统34接收到传输，则方法200前进到框208。

在框208处，移动设备控制器72使用移动设备相机76来捕获移动设备环境84的图像。在框208之后，方法200前进到框210。

在框210处，移动设备控制器72使用上文参考框114处所讨论的对象检测算法来确定在框208处捕获的图像中的对象的类型。因此，在框208处捕获的图像中识别多个检测到的对象。在框210之后，方法200前进到框212。

在框212处，使用如上文参考框116所讨论的图像分割算法来确定在框210识别的每个检测到的对象的颜色。因此，确定在框210识别的每个检测到的对象的类型和颜色。在框212之后，方法200前进到框214。

在框214处，基于在框204从车辆通信系统34接收到的被请求对象的类型和颜色以及在框210处和框212处确定的每个检测到的对象的类型和颜色，来定位移动设备环境84中的相关对象。如上文参考框112所讨论的，定位移动设备环境84中的相关对象。如果没有相关对象位于移动设备环境84中，则方法200在框206处前进进入待机状态。如果至少一个相关对象位于移动设备环境84中，则方法200前进到框216。

在框216处，使用移动设备显示器74显示增强现实图形。移动设备控制器72显示来自移动设备环境84的移动设备相机76的实况视频，并且将图形覆盖在移动设备环境84中的相关对象上。将在下面更详细地讨论图形的示例。

参考图6A，第一个示例性图形302a示出为覆盖在第一个示例性被请求对象304上。第一个示例性被请求对象304是红色建筑物。第一个示例性图形302a是矩形(即多边形)，该矩形覆盖在用户视野中的第一个示例性被请求对象304上。接近第一个示例性图形302a的是第一个示例性文本306a。在示例实施例中，第一个示例性文本指示第一个示例性被请求对象304的颜色(例如，“红色”)。因此，系统10和方法100和/或200用于辅助色觉受损的用户在驾驶车辆12或使用移动设备70时定位红色建筑物，从而辅助用户到达预期目的地。

参考图6B，第二示例性图形302b示出为覆盖在第二示例性被请求对象308上。第二示例性被请求对象308是绿色遮阳篷。第二示例性图形302b是矩形(即，多边形)，该矩形覆盖在用户视野中的第二示例性被请求对象308上。接近第二示例性图形302b的是第二示例性文本306b。在示例实施例中，第二示例文本指示第二示例被请求对象308的颜色(例如，“绿色”)。因此，系统10和方法100和/或200用于辅助色觉受损的用户在驾驶车辆12或使用移动设备70时定位绿色遮阳篷，从而辅助用户到达预期目的地。

参考图6C，第三示例性图形302c示出为覆盖在第三示例性被请求对象310上。第三示例性被请求对象310是红色车辆。第三示例性图形302c是矩形(即，多边形)，该矩形覆盖在用户视野中的第三示例性被请求对象310上。接近第三示例性图形302c的是第三示例性文本306c。在示例实施例中，第三示例文本指示第三示例被请求对象310的颜色(例如，“红色”)。因此，系统10和方法100和/或200用于辅助色觉受损的用户在驾驶车辆12或使用移动设备70时定位红色车辆。

本公开的描述本质上仅是示例性的并且不脱离本公开的主旨的变型旨在处于本公开的范围内。此类变化不应被视为背离了本公开的精神和范围。