用于高精度定位停车场中的物体的系统和方法

技术领域

本发明涉及精确位置检测，更具体地，涉及停车场中的车辆的精确位置检测。

背景技术

在自主驾驶中，车辆的定位是非常有用的。一种位置检测的方法是通过全球定位系统(GPS)来实现的。标准的PGS定位精度是大约5米，并且在GPS信号被阻塞的情况下，精度会降低和/或失效。被称作差分GPS的另一种类型的GPS可以定位1厘米小的物体。然而，这种差分GPS非常昂贵并且由于信号的阻塞，其也遭受精度降低或失效。

同步定位与建图(Simultaneous location and mapping，SLAM)利用了来自车辆的影像。高分辨率的地图被构建并且相机捕获环境图像。通过将所述图像与高分辨率的地图进行比较，可以确定车辆的位置。其精度只有20厘米。但是，这就需要在车辆上安装相机。

发明内容

在一个实施例中，一种定位停车场中的物体的方法，包括：通过进入立体相机(entry stereo camera)来捕获进入停车场的车辆的模板图像和进入视频；基于所述进入视频来测量所述进入停车场的车辆的随时间变化的距离从而获得距离与时间的关系；通过至少一个LIDAR来线扫描所述进入停车场的车辆的随时间变化的轮廓从而获得轮廓与时间的关系；基于所测量的距离与时间的关系以及所述轮廓与时间的关系来构建扫描图像；以及基于所述模板图像和所述扫描图像来形成所述车辆的三维结构。

该方法还可以包括：利用至少一个停车道相机(parkway camera)来捕获所述车辆的停车道图像；将所述停车道图像与所述模板图像进行匹配；确定与所述模板图像相关的所述停车道图像中的所述车辆的角度；确定与所述模板图像相关的所述停车道图像中的所述车辆的比例；基于所述车辆的角度和所述车辆的比例来确定变换矩阵；以及基于所述变换矩阵和所述车辆的三维结构来确定所述车辆的位置。

在另一实施例中，一种定位停车场中的物体的系统，包括：进入立体相机，其捕获进入停车场的车辆的模板图像和进入视频；至少一个LIDAR，其线扫描所述进入停车场的车辆的随时间变化的轮廓从而获得轮廓与时间的关系；包括有指令的非瞬时性计算机可读介质，所述指令在被处理器读取时使该处理器：基于所述进入视频来测量所述进入停车场的车辆的随时间变化的距离从而获得距离与时间的关系；基于所测量的距离与时间的关系以及所述轮廓与时间的关系来构建扫描图像；以及基于所述模板图像和所述扫描图像来形成所述车辆的三维结构。

该系统还可以包括至少一个停车道相机，其捕获所述车辆的停车道图像；所述包括有指令的非瞬时性计算机可读介质，当所述指令在被所述处理器读取时使该处理器进一步：将所述停车道图像与所述模板图像进行匹配；确定与所述模板图像相关的所述车辆的角度；确定与所述模板图像相关的所述车辆的比例；基于所述车辆的角度和所述车辆的比例来确定变换矩阵；以及基于所述变换矩阵和所述车辆的三维结构来确定所述车辆的位置。

附图说明

在附图中：

图1是根据本发明的一个实施例的系统示意图；

图2是图示了根据本发明的一个实施例的四个图像捕获设备布局的布局概览；

图3描绘了图示根据本发明的一个实施例的图像捕获设备的捕获角度的侧视图；

图4描绘了根据本发明一个实施例的进入停车场并由立体相机和两个LIDAR感测的车辆的俯视图；

图5描绘了根据本发明的一个实施例的车辆一侧的LIDAR感测的侧视图；

图6描绘了根据本发明的一个实施例的图像到模型的转换；

图7描绘了根据本发明的一个实施例的移动转换和变换的入口；

图8描绘了根据本发明的一个实施例的停车场内的图像到模型的跟踪；

图9是根据本发明的一个实施例的对物体进行精确定位的第一示意性流程图；以及

图10是根据本发明的一个实施例的对物体进行精确定位的第二示意性流程图。

具体实施方式

以下列出的实施例仅用于说明装置和方法的应用，而不是限制本发明的范围。对该装置和方法的修改的等同形式的修改应归入到权利要求的范围内。

贯穿以下说明书和权利要求使用的某些术语用于指代特定系统部件。如本领域技术人员将理解的，不同的公司可以以不同的名称来指代部件和/或方法。该文献无意区分名称不同但功能并非不同的部件和/或方法。

在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此应该被解释为“包括，但不限于…”。此外，术语“联接”或“联接(第三人称)”旨在表示间接或直接的连接。因此，如果第一设备与第二设备联接，则该连接可以通过直接连接或通过经由其他设备和连接的间接连接来实现。

图1描绘了与具有三个图像捕获设备的系统一起使用的示例性的电子系统。电子系统100可以是用于执行软件的计算设备，所述软件与图4中提供的过程400中的一个或多个部分或步骤、或部件和过程的操作相关联。电子系统100可以是嵌入式计算机、个人计算机或移动设备(例如平板电脑、笔记本电脑、智能电话、PDA，或其他具有嵌入或联接到其中的一个或多个处理器的触摸屏或电视，或任何其他类型的计算机相关的电子设备)。

电子系统100可以包括各种类型的计算机可读介质和用于各种其他类型的计算机可读介质的接口。在所描绘的示例中，电子系统100包括总线112、一个或多个处理器120、系统存储器114、只读存储器(ROM)118、永久存储设备110、输入设备接口122、输出设备接口116，以及一个或多个网络接口124。在一些实施方式中，电子系统100可以包括或集成有用于操作先前描述的各种部件和过程的其他计算设备或电路。在本发明的一个实施例中，一个或多个处理器120通过总线112联接至光成像和测距设备(LIDAR)126、进入立体相机128和停车道相机130。额外地，位置传送器132连接至总线112并且向车辆提供其在停车场中的位置的反馈。

总线112共同表示通信地连接电子系统100的众多内部设备的所有系统总线、外围设备总线和芯片组总线。例如，总线112将一个或多个处理器120与ROM 118、系统存储器114、永久存储设备110、LIDAR 126、进入立体相机128和停车道相机130通信地连接。

一个或多个处理器120从这些各种存储器单元检索待执行的指令和待处理的数据，以便执行本主题公开的过程。一个或多个处理单元可以是不同实施方式中的单核处理器或多核处理器。

ROM 118存储电子系统的一个或多个处理器120和其他模块所需的静态数据和指令。另一方面，永久存储设备110是读写存储设备。该设备是即使在电子系统100关闭时也存储指令和数据的非易失性存储器单元。本发明的一些实施方式使用大容量存储设备(诸如磁盘或光盘及其对应的盘驱动器)作为永久存储设备110。

其他实施方式使用可移动存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)作为永久存储设备110。与永久存储设备110类似，系统存储器114是读写存储器设备。然而，与永久存储设备110不同的是，系统存储器114是易失性读写存储器，例如随机存取存储器。系统存储器114存储处理器在运行时需要的一些指令和数据。在一些实施方式中，本主题公开的过程被存储在系统存储器114、永久存储设备110和/或ROM118中。一个或多个处理器120从这些各种存储器单元检索待执行的指令和待处理的数据，以便执行一些实施方式的过程。

总线112还连接至输入设备接口122和输出设备接口116。输入设备接口122使用户能够向电子系统传达信息和选择命令。与输入设备接口122一起使用的输入设备包括例如字母数字键盘和指点设备(也被称为“光标控制设备”)。输出设备接口116例如能够显示由电子系统100产生的图像。与输出设备接口116一起使用的输出设备包括，例如打印机和显示设备(例如阴极射线管(CRT)或液晶显示器(LCD))。一些实施方式包括诸如触摸屏的设备，其用作输入设备和输出设备。

最后，如图1所图示的，总线112还可以通过网络接口124将电子系统100联接至网络(未图示)。网络接口124可以包括例如无线接入点(例如，蓝牙或WiFi)或用于连接到无线接入点的无线电电路。网络接口124还可以包括用于将计算机连接到计算机网络(例如局域网(LAN)、广域网(WAN)、无线LAN、或内联网、或多个网络中的一个网络(如互联网))的一部分的硬件(例如，以太网硬件)。电子系统100的任何部件或所有部件都可以与本主题公开一起使用。

虽然上述讨论主要涉及执行软件的微处理器或多核处理器，但是一些实施方式由一个或多个集成电路执行，例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在一些实施方式中，这种集成电路执行存储在电路自身上的指令。

正如在本申请的本说明书和任何权利要求中所使用的那样，术语“计算机”、“服务器”、“处理器”和“存储器”都指电子或其他技术设备。这些术语排除了人或人群。出于说明的目的，术语显示或正在显示意味着显示在电子设备上。

为了提供与用户的交互，本说明书中描述的主题的实施方式可以在具有显示设备(例如CRT(阴极射线管)或LCD(液晶显示器)监视器，用于向用户显示信息)、键盘和指点设备(例如鼠标或跟踪球，用户可以通过它们向计算机提供输入)的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式被接收，包括声学、语音或触觉输入。

本说明书中描述的主题的实施例可以在包括后端部件(例如，作为数据服务器)或包括中间件部件(例如，应用服务器)或包括前端部件(例如具有图形用户界面的客户端计算机，用户可以通过该图形用户界面与本说明书中描述的主题的实施方式进行交互)，或者包括一个或多个这样的后端、中间件或前端部件的任何组合的计算系统中实现。系统的部件可以通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)、互联网(例如因特网)和对等网络(例如点对点对等网络)。

所述计算系统可以包括客户端和服务器。客户端和服务器通常地彼此相互远离，并且典型地通过通信互联网络进行交互。客户端和服务器之间的关系凭借运行在各自计算机中并且具有相互的客户端-服务器关系的计算机程序产生。在客户端设备(例如，用户交互的结果)处生成的数据可以从服务器处的客户端设备接收。

图2描绘了在停车场中的停车道相机，所述相机210、212并排布置并且形成阵列210、212、222、224。所述停车道相机的图像叠加，以覆盖停车场。所述图像是四个停车道相机的鸟瞰图。

在图2的实施例中，至少一个停车道相机捕获车辆的停车道图像(parkwayimage)，并且处理器将该停车道图像与模板图像进行匹配、确定与模板图像相关的车辆的角度、并且确定与模板图像相关的车辆的比例。此时，系统基于车辆的角度和车辆的比例来确定变换矩阵，并且基于该变换矩阵和车辆的三维结构来确定车辆的位置。

图3描绘了在图像捕获设备阵列中的两个图像捕获设备之间的几何关系。图像捕获设备310、312被并排设置，并且具有垂直视场(field of view，FOV)、倾斜角和叠加部分，图像捕获设备318、320也处于并排关系，示出了水平视场和叠加部分。

相机可以以并排配置安装在停车场中。由相机接收到的图像具有叠加区域以覆盖整个驾驶区。在图2和图3中图示了示例性的停车道相机的部署。图2是设置在具有四个相机的停车场内的相机的鸟瞰图。图3是展示了两个停车道相机之间的关系的详细的视图。所述停车道相机可以是立体相机或单目相机。

图4给出了车辆的图像捕获和扫描的示例性的实施方式。在本示例中，使用立体相机410和两个单线扫描LIDAR 412、414。在车辆412通过入口时，两个线扫描LIDAR扫描该车辆。立体相机410连续地测量车辆的距离，并且可以计算车速。由于具有车速以及车辆两侧的LIDAR扫描，可以精确地构建车辆的三维结构。该三维结构可以与从立体相机捕获的图像匹配。

当车辆进入停车场时，进入立体相机捕获该车辆的模板图像和进入视频。至少有一个LIDAR线扫描进入停车场的车辆的随时间变化的轮廓从而获得轮廓与时间的关系。处理器接收进入立体相机视频并且测量进入停车场的车辆的随时间变化的距离从而获得距离与时间的关系。处理器接收LIDAR线扫描，并且基于来自进入立体相机的所测量的距离与时间的关系以及来自LIDAR的轮廓与时间的关系来构建扫描图像，并且基于模板图像和所述扫描图像来形成所述车辆的三维结构。当所述车辆进入停车场时，LIDAR可以定位在该车辆的行驶路径的右侧和左侧。

图5图示了利用在车辆一侧的LIDAR 510进行的三维构建过程。在时间t0，线扫描激光束512测量图像t0中的激光线上的白点的距离。当车辆移动时，在在时间t1，激光测量图像t1中的激光线上的白点的距离。由于车速V是由进入立体相机测量的，因此可以通过(t

图6描绘了模板图像612与三维结构610之间的映射的示例。

可以在停车场中利用单目相机或立体相机来捕获车辆的图像。该图像将与模板图像匹配，以得到与模板图像相关的角度和比例。使用该角度和比例来计算车辆与当前相机之间的距离。可以通过将所述角度、比例、距离和车辆三维结构进行组合来确定车辆的精确位置。由于模板图像和三维结构可以以高精度来生成，因此可以利用普通相机来精确地确定车辆的位置。

图7示出了示例性过程，其中由进入立体相机捕获模板图像710，并且三维结构712与该模板图像匹配。由停车场中的停车道相机捕获停车道图像714。由于所述停车道图像714和所述模板图像710是由不同的相机捕获的并且它们的视角不同，因此停车道图像714和模板图像710有一些不同。将停车道图像714与模板图像710进行匹配以提供变换矩阵，以将模板图像710的视角转换成停车道图像714的视角。利用该变换矩阵将三维结构712转换成停车道图像714的视角，以得到变换的图像716。由于模板图像710、三维结构712和停车道图像714具有高分辨率，因此变换的图像716也将具有高精度。这种变换允许确定车辆的位置以及确定由相机810、814提供的并且如图8所示的占用空间812、816。

图9描绘了对停车场中的物体进行高精度定位的示例性方法，包括：通过进入立体相机来捕获910进入停车场的车辆的模板图像和进入视频。然后，该方法基于所述进入视频来测量912所述进入停车场的车辆的随时间变化的距离从而获得距离与时间的关系，并且通过至少一个LIDAR来线扫描914所述进入停车场的车辆的随时间变化的轮廓从而获得轮廓与时间的关系。然后，该方法基于所测量的距离与时间的关系以及所述轮廓与时间的关系来构建916扫描图像，并且基于所述模板图像和所述扫描图像来形成918所述车辆的三维结构。利用所述模板图像和三维结构来构建变换的图像，并且可以确定车辆在停车场中的精确位置。

图10描绘了示例性的方法的第二部分，该方法进一步包括：利用至少一个停车道相机来捕获1010所述车辆的停车道图像，并且将所述停车道图像与所述模板图像进行匹配1012。基于所述模板图像与所述停车道图像之间的差异，该方法进一步确定1014与所述模板图像相关的所述停车道图像中的车辆的角度，并且确定1016与所述模板图像相关的所述停车道图像中的车辆的比例。然后，该方法基于所述车辆的角度和所述车辆的比例来确定1018变换矩阵，并且基于该变换矩阵和所述车辆的三维结构来确定1020所述车辆的位置。

与位于所述停车场中的车辆进行通信可以通过若干装置中的一种来完成，位置数据可以直接地传输至自动驾驶系统、全球定位系统等。

本领域的技术人员将了解，本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体描述。将该功能实施为硬件还是软件取决于是否以硬件或以软件实现此功能取决于强加于整个系统的特定应用和设计约束。熟练的技术人员可以针对每个特定应用以不同方式实现所描述的功能。在不脱离本主题技术的范围的情况下，各种部件和块可以被不同地布置(例如以不同的顺序布置，或以不同的方式划分)。

应理解，所公开的过程中的步骤的特定顺序或层级是对示例方法的一种说明。基于设计偏好，可以理解，过程中的步骤的特定顺序或层级可以被重新排列。一些步骤可以同时进行。所附方法权利要求以样本顺序呈现各个步骤的元素，并不意味着受限于所呈现的特定顺序或层级。

提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改是明显的，并且本文限定的一般原理可以应用于其他方面。因此，权利要求并不旨在受限于本文所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中对单数元素的引用并不旨在表示“一个且仅一个”，除非具体如此陈述，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。男性中的代词(例如，他的)包括女性和中性(例如，她和它的)，反之亦然标题和副标题(如果有的话)仅为了方便而使用，并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不暗示着对主语的任何特定的有形或无形修改，而是旨在可被互换地使用。例如，被配置以监视和控制操作或部件的处理器，还可以表示，该处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样地，被配置以执行代码的处理器，可以被解释为，被编程以执行代码的处理器或可操作以执行代码的处理器。

诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的，或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个配置。一个方面可以提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面，反之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的，或者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施例，或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指代一个或多个实施例，反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技术是必不可少的，或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。

本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。

本领域普通技术人员已知或以后将知道的，贯穿本发明所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文，并且旨在由权利要求所涵盖。此外，无论在权利要求中是否明确地叙述了本文所公开的内容，所公开的内容都不旨在捐献于公众。任何权利要求的要素均不得根据35U.S.C.§112第六段的规定进行解释，除非使用短语“用于…的装置”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于…的步骤”叙述该要素。此外，关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。

对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方，但短语不一定是指同一个实施例。结合本发明，本领域技术人员将能够设计和并入适合于实现上述功能的各种机制中的任何一种。

应理解，本发明仅教导了说明性的实施例的一个示例，并且本领域技术人员在阅读本发明之后可以容易地设计出本发明的许多变型，并且本发明的范围由以下权利要求确定。