掌桥专利:专业的专利平台
掌桥专利
首页

使用运动捕获传感器数据的组件标定

文献发布时间:2024-04-18 19:58:21


使用运动捕获传感器数据的组件标定

技术领域

本发明涉及使用运动捕获传感器数据的组件标定的技术。

背景技术

在运载工具的操作期间,硬件组件的标定可能降级(degrade)。例如,图像传感器的物理位置可能从初始标定规格或阈值降级。由于硬件组件的位置的降级可能降低运载工具对乘员的安全性,因此可能希望确定硬件组件的位置随着时间的经过而如何降级以对硬件组件进行再标定。在没有对硬件组件进行再标定的情况下,感知系统不识别对象和/或识别不正确地点中的对象。此外,诸如手动标定等的再标定方法可以包括硬件组件的手动重新定位。这种手动标定可能是低效和不准确的。

发明内容

根据本发明的一方面,一种方法,包括:使用至少一个处理器,从运动捕获传感器接收运动捕获传感器数据,所述运动捕获传感器数据至少与运动捕获标记的位置和运载工具上的参考点的位置相关联;使用所述至少一个处理器,至少基于所述运动捕获标记的位置和所述运载工具上的参考点的位置来确定与所述运载工具相关联的硬件组件相对于所述运载工具上的参考点的位置;使用所述至少一个处理器,确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值;使用所述至少一个处理器,基于确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值来确定与所述硬件组件相关联的硬件组件警报;以及使用所述至少一个处理器,将所述硬件组件警报路由。

根据本发明的另一方面,一种系统,包括:至少一个处理器;以及存储有指令的至少一个非暂时性存储介质,所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作:接收与运动捕获传感器相关联的运动捕获传感器数据,所述运动捕获传感器数据至少包括运动捕获标记的位置和运载工具上的参考点的位置;至少部分地基于所述运动捕获传感器数据来确定与所述运载工具相关联的硬件组件相对于所述运载工具上的参考点的位置;确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值;至少部分地基于确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值来确定与所述硬件组件相关联的硬件组件警报;以及将所述硬件组件警报路由。

根据本发明的又一方面,至少一个非暂时性存储介质,其存储有指令,所述指令在由包括处理器的计算系统执行时,使所述计算系统进行以下操作:接收与运动捕获传感器相关联的运动捕获传感器数据,所述运动捕获传感器数据至少包括运动捕获标记的位置和运载工具上的参考点的位置;至少部分地基于所述运动捕获传感器数据来确定与所述运载工具相关联的硬件组件相对于所述运载工具上的参考点的位置;确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值;至少部分地基于确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值来确定与所述硬件组件相关联的硬件组件警报;以及将所述硬件组件警报路由。

附图说明

图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境;

图2是包括自主系统的运载工具的一个或多于一个系统的图;

图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图;

图4是自主系统的某些组件的图;

图5是例示信号处理系统的示例的框图;

图6是可以实现一个或多于一个运动捕获传感器以及包括一个或多于一个硬件组件的运载工具的示例环境;

图7是例示示例硬件组件以及一个或多于一个运动捕获标记的图;以及

图8是例示由一个或多于一个处理器实现以基于硬件组件的外部标定来确定硬件组件警报的例程的示例的流程图。

具体实施方式

在以下描述中,为了解释的目的,阐述了许多具体细节,以便提供对本公开的透彻理解。然而,本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中,众所周知的构造和装置是以框图形式例示的,以避免不必要地使本公开的方面模糊。

在附图中,为了便于描述,例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而,本领域技术人员将要理解,除非明确描述,否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外,除非明确描述,否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素,也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。

此外,在附图中,连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其它示意要素之间或之中的连接、关系或关联,没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说,要素之间的一些连接、关系或关联未在附图中例示,以便不使本公开内容模糊。此外,为了便于例示,可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如,如果连接要素表示信号、数据或指令(例如,“软件指令”)的通信,本领域技术人员应理解,这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如,总线)。

尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素,但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如,在没有背离所描述的实施例的范围的情况下,第一触点可被称为第二触点,并且类似地,第二触点可被称为第一触点。第一触点和第二触点这两者都是触点,但它们不是相同的触点。

在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的,而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的,单数形式“a”、“an”和“the”也意在包括复数形式,并且可以与“一个或多于一个”或者“至少一个”互换使用,除非上下文另有明确说明。还将理解的是,如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是,当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时,具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件,但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。

如本文所使用的,术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如,装置、系统、装置或系统的组件、以及/或者它们的组合等)而言,这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如,传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外,即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息,两个单元也可以彼此进行通信。例如,即使第一单元被动地接收信息并且不主动地向第二单元传输信息,第一单元也可以与第二单元进行通信。作为另一示例,如果至少一个中介单元(例如,位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元,则第一单元可以与第二单元进行通信。在一些实施例中,消息可以是指包括数据的网络分组(例如,数据分组等)。

如本文所使用的,取决于上下文,术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地,取决于上下文,短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外,如本文所使用的,术语“有”、“具有”或“拥有”等旨在是开放式术语。此外,除非另有明确说明,否则短语“基于”意在是意味着“至少部分基于”。

现在将详细参考实施例,其示例在附图中例示出。在以下的详细描述中,阐述了许多具体细节,以便提供对所描述的各种实施例的透彻理解。然而,对于本领域的普通技术人员来说将明显的是,可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下,尚未详细描述众所周知的方法、过程、组件、电路和网络,以便不会不必要地使实施例的方面模糊。

总体概述

在一些方面和/或实施例中,本文所述的系统、方法和计算机程序产品包括和/或实现一种信号处理系统,该信号处理系统接收运动捕获传感器数据,至少部分地基于该运动捕获传感器数据来确定硬件组件的位置(例如,地点(location)),确定为硬件组件的位置不满足标定阈值,确定硬件组件警报,以及路由硬件组件警报。在运载工具的操作期间,硬件组件的标定可能降级。例如,图像传感器的物理位置可能从初始标定规格或阈值降级。由于硬件组件的位置的降级可能降低运载工具对乘员的安全性,因此可能希望确定硬件组件的位置随着时间的经过而如何降级以对硬件组件进行再标定。在没有对硬件组件进行再标定的情况下,感知系统不识别对象和/或识别不正确地点中的对象。此外,诸如手动标定等的再标定方法可以包括硬件组件的手动重新定位。这种手动标定可能是低效和不准确的。为了提供硬件组件的更准确和更高效的再标定,信号处理系统可以基于相对位置数据(例如,地点数据、运动捕获传感器数据等)来确定是否对硬件组件进行再标定。尽管自始至终可以参考运动捕获传感器数据,但可以利用任何相对位置数据(包括基于非运动的数据)。为了进行硬件组件的再标定,信号处理系统可以接收与运动捕获传感器相关联的运动捕获传感器数据。例如,运动捕获传感器可以附接(affix)到运载工具(例如,运动捕获传感器可以是运载工具的图像传感器(例如,照相机图像传感器、雷达传感器、激光雷达传感器等))或者可以与运载工具分离。运动捕获传感器数据可以包括运动捕获标记的位置和运载工具上的参考点的位置。例如,运动捕获标记可以附接(affix)到硬件组件(例如,图像传感器)或运载工具的运动捕获传感器的靶标(target)。信号处理系统可以基于运动捕获传感器数据来确定硬件组件相对于运载工具上的参考点的位置。基于所确定的位置和标定阈值,信号处理系统可以为运载工具确定硬件组件警报。作为非限制性示例,信号处理系统可以确定为硬件组件未被外部标定,并且将硬件组件警报路由到单独的计算系统以引起硬件组件的外部标定。

借助本文所述的系统、方法和计算机程序产品的实现,系统可以通过使用运动捕获传感器扫描运载工具的硬件组件和/或靶标来测试这些硬件组件的外部标定(例如,硬件组件是否被外部标定)。基于对硬件组件和/或靶标的扫描,系统可以识别与标定规格或阈值的偏差。为了确定硬件组件的位置随时间的经过而如何改变,系统可以识别具有放置在固定位置的运动捕获标记的硬件组件的初始标定数据。对于具有放置在可修改位置的运动捕获标记(例如,运动捕获标记贴纸)的硬件组件,系统可以(例如,基于手动标定)从计算装置接收这些硬件组件的初始标定数据。系统可以将硬件组件的位置与初始标定数据进行比较以确定硬件组件的位置的变化。基于硬件组件的位置的变化,系统可以生成用于识别硬件组件是否需要再标定的硬件组件警报。系统通过在不将硬件组件从运载工具移除或拆卸的情况下扫描硬件组件,可以随时间以硬件不可知的方式更高效地跟踪硬件组件的位置。通过在不移除或拆卸硬件组件的情况下扫描硬件组件,系统可以在未对硬件组件进行再标定的情况下验证硬件组件的外部标定。使用运动捕获传感器数据来测试硬件组件的外部标定可以提高与硬件组件的外部标定的测试相关联的准确度并增加与该测试相关联的效率。硬件组件的外部标定的这种测试通过使得能够以更高效且更具成本效益的方式对硬件组件进行标定,也可以增加与运载工具相关联的安全性。另外,硬件组件的外部标定的这种测试通过使得能够实时监测硬件组件的位置的降级,可以为再标定处理提供附加效率。例如,系统可以量化硬件组件的位置随时间经过的降级,并更准确地预测何时需要再标定。硬件组件的外部标定的这种测试也可以实现用于确认硬件组件的外部标定的更高效且耗时更少的处理。另外,硬件组件的外部标定的测试可以包括比对硬件组件进行标定的其他方法更少的计算机计算。

现在参考图1,例示示例环境100,在该示例环境100中,包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的,环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如,建立用于通信的连接等)。在一些实施例中,对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。

运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中,运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中,运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中,运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中,一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中,如本文所述,运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中,一个或多于一个运载工具102包括自主系统(例如,与自主系统202相同或类似的自主系统)。

对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如,建筑物、标志、消防栓等)等。各对象104(例如,位于固定地点处并在一段时间内)是静止的或(例如,具有速度且与至少一个轨迹相关联地)移动。在一些实施例中,对象104与区域108中的相应地点相关联。

路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如,规定该一系列动作)。各个路线106始于初始状态(例如,与第一时空地点和/或速度等相对应的状态),并且结束于最终目标状态(例如,与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如,可接受状态(例如,终止状态)的子空间)。在一些实施例中,第一状态包括一个或多于一个个体将要搭载AV的地点,并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中,路线106包括多个可接受的状态序列(例如,多个时空地点序列),这多个状态序列与多个轨迹相关联(例如,限定多个轨迹)。在示例中,路线106仅包括高级别动作或不精确的状态地点,诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地,路线106可以包括更精确的动作或状态,诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中,路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列,其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。

区域108包括运载工具102可以导航的物理区域(例如,地理区)。在示例中,区域108包括至少一个州(例如,国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中,区域108包括至少一个已命名干道(本文称为“道路”),诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地,在一些示例中,区域108包括至少一个未命名道路,诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中,道路包括至少一个车道(例如,道路的运载工具102可以穿过的部分)。在示例中,道路包括与至少一个车道标记相关联的(例如,基于至少一个车道标记所识别的)至少一个车道。

运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中,V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中,V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如,二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中,V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地,在一些实施例中,V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中,V2I装置110被配置为与V2I系统118经由网络112进行通信。

网络112包括一个或多于一个有线和/或无线网络。在示例中,网络112包括蜂窝网络(例如,长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如,公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。

远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中,远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中,远程AV系统114与队列管理系统116位于同一位置。在一些实施例中,远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中,远程AV系统114在运载工具的寿命期间维护(例如,更新和/或更换)这些组件和/或软件。

队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中,队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中,队列管理系统116与拼车公司(例如,用于控制多个运载工具(例如,包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。

在一些实施例中,V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中,V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中,V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中,V2I系统118与市政当局或私营机构(例如,用于维护V2I装置110的私营机构等)相关联。

提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比,可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地,环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地,环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。

现在参考图2,运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中,运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中,运载工具200具有自主能力(例如,实现如下的至少一个功能、特征和/或装置等,该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作,其包括但不限于完全自主运载工具(例如,放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如,在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述,可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems),其全部内容通过引用而被包含。在一些实施例中,运载工具200与自主队列管理器和/或拼车公司相关联。

自主系统202包括传感器套件,该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中,自主系统202可以包括更多或更少的装置和/或不同的装置(例如,超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中,自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如,环境100)。在一些实施例中,自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。

照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如,小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如,使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中,照相机202a生成照相机数据作为输出。在一些示例中,照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中,图像数据可以指定与图像相对应的至少一个参数(例如,诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中,图像可以采用格式(例如,RAW、JPEG和/或PNG等)。在一些实施例中,照相机202a包括配置在(例如,定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中,照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如,与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中,自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中,照相机202a被配置为捕获在相对于照相机202a的距离(例如,高达100米和/或高达1千米等)内的对象的图像。因此,照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。

在实施例中,照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其它物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中,照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中,照相机202a生成与包括格式(例如,RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中,生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于:照相机202a可以包括具有宽视场(例如,广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机,以生成与尽可能多的物理对象有关的图像。

激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如,激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如,红外光等)。在一些实施例中,在操作期间,由LiDAR传感器202b发射的光遇到物理对象(例如,运载工具)并被反射回到LiDAR传感器202b。在一些实施例中,由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器,该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中,与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如,点云和/或组合点云等)。在一些示例中,与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如,表面的拓扑结构)等的图像。在这样的示例中,该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。

无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中,在操作期间,由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中,由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中,与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如,与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如,表面的拓扑结构)等的图像。在一些示例中,该图像用于确定雷达传感器202c的视场中的物理对象的边界。

麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如,表示该音频信号)的数据的一个或多于一个麦克风(例如,阵列麦克风和/或外部麦克风等)。在一些示例中,麦克风202d包括变换器装置和/或类似装置。在一些实施例中,本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据,并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如,距离等)。

通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如,通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中,通信装置202e包括运载工具到运载工具(V2V)通信装置(例如,用于实现运载工具之间的数据的无线通信的装置)。

自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中,自主运载工具计算202f包括诸如客户端装置、移动装置(例如,蜂窝电话和/或平板电脑等)和/或服务器(例如,包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中,自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地,在一些实施例中,自主运载工具计算202f被配置为与自主运载工具系统(例如,与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如,与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如,与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如,与图1的V2I系统118相同或类似的V2I系统)进行通信。

安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中,安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如,动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中,安全控制器202g被配置为生成优先于(例如,覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。

DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中,DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如,动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如,电气控制器和/或机电控制器等)。附加地或可替代地,DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如,转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。

动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中,动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中,动力总成控制系统204从DBW系统202h接收控制信号,并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中,动力总成控制系统204使提供至运载工具的马达的能量(例如,燃料和/或电力等)增加、保持相同或减少,由此使运载工具200的至少一个轮旋转或不旋转。

转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中,转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中,转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转,以使运载工具200左转或右转。

制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中,制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地,在一些示例中,制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。

在一些实施例中,运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中,运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。

现在参考图3,例示装置300的示意图。如所例示的,装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中,装置300对应于:运载工具102的至少一个装置(例如,运载工具102的系统的至少一个装置);以及/或者网络112的一个或多于一个装置(例如,网络112的系统的一个或多于一个装置)。在一些实施例中,运载工具102的一个或多于一个装置(例如,运载工具102的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如,网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示,装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。

总线302包括许可装置300的组件之间的通信的组件。在一些情况下,处理器304包括处理器(例如,中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如,现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如,闪速存储器、磁存储器和/或光存储器等)。

存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中,存储组件308包括硬盘(例如,磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。

输入接口310包括许可装置300诸如经由用户输入(例如,触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地,在一些实施例中,输入接口310包括用于感测信息的传感器(例如,全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如,显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。

在一些实施例中,通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如,收发器和/或单独的接收器和发射器等)。在一些示例中,通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中,通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、

在一些实施例中,装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如,非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。

在一些实施例中,经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时,使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地,代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此,除非另外明确说明,否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。

存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如,数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息,将信息存储在该数据存储部或至少一个数据结构中,将信息通信至该数据存储部或至少一个数据结构,或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中,该信息包括网络数据、输入数据、输出数据或其任何组合。

在一些实施例中,装置300被配置为执行存储在存储器306和/或另一装置(例如,与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的,术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令,该至少一个指令在由处理器304和/或另一装置(例如,与装置300相同或类似的另一装置)的处理器执行时,使装置300(例如,装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中,模块以软件、固件和/或硬件等来实现。

提供图3所例示的组件的数量和布置作为示例。在一些实施例中,与图3所例示的组件相比,装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地,装置300的一组组件(例如,一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。

现在参考图4,例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的,自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中,感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如,运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地,在一些实施例中,感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如,与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中,感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中,自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如,存储器中所存储的软件指令)、计算机硬件(例如,通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解,在一些实施例中,自主运载工具计算400被配置为与远程系统(例如,与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。

在一些实施例中,感知系统402接收与环境中的至少一个物理对象相关联的数据(例如,感知系统402检测至少一个物理对象所使用的数据),并对该至少一个物理对象进行分类。在一些示例中,感知系统402接收由至少一个照相机(例如,照相机202a)捕获到的图像数据,该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如,表示该一个或多于一个物理对象)。在这样的示例中,感知系统402基于物理对象(例如,自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中,基于感知系统402对物理对象进行分类,感知系统402将与物理对象的分类相关联的数据传输到规划系统404。

在一些实施例中,规划系统404接收与目的地相关联的数据,并且生成与运载工具(例如,运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如,路线106)相关联的数据。在一些实施例中,规划系统404定期地或连续地从感知系统402接收数据(例如,上述的与物理对象的分类相关联的数据),并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中,规划系统404从定位系统406接收与运载工具(例如,运载工具102)的更新位置相关联的数据,并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。

在一些实施例中,定位系统406接收与运载工具(例如,运载工具102)在区域中的地点相关联(例如,表示该地点)的数据。在一些示例中,定位系统406接收与至少一个LiDAR传感器(例如,LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中,定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据,并且定位系统406基于各个点云来生成组合点云。在这些示例中,定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后,基于定位系统406将至少一个点云或组合点云与地图进行比较,定位系统406确定运载工具在区域中的位置。在一些实施例中,地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中,地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号灯等)的空间地点的地图。在一些实施例中,基于感知系统所接收到的数据来实时地生成地图。

在另一示例中,定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中,定位系统406接收与运载工具在区域中的地点相关联的GNSS数据,并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中,定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中,定位系统406生成与运载工具的位置相关联的数据。在一些示例中,基于定位系统406确定运载工具的位置,定位系统406生成与运载工具的位置相关联的数据。在这样的示例中,与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。

在一些实施例中,控制系统408从规划系统404接收与至少一个轨迹相关联的数据,并且控制系统408控制运载工具的操作。在一些示例中,控制系统408从规划系统404接收与至少一个轨迹相关联的数据,并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如,DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如,转向控制系统206)和/或制动系统(例如,制动系统208)进行操作,来控制运载工具的操作。在示例中,在轨迹包括左转的情况下,控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角,由此使运载工具200左转。附加地或可替代地,控制系统408生成并传输控制信号以使运载工具200的其它装置(例如,前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。

在一些实施例中,感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如,至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中,感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中,感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如,用于识别位于环境中的一个或多于一个对象的管道等)的一部分。

数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中,数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如,与图3的存储组件308相同或类似的存储组件)。在一些实施例中,数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中,数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如,国家)等的2D和/或3D地图相关联的数据。在这样的示例中,运载工具(例如,与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如,单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶,并且使至少一个LiDAR传感器(例如,与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。

在一些实施例中,数据库410可以跨多个装置来实现。在一些示例中,数据库410包括在运载工具(例如,与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如,与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如,与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如,与图1的V2I系统118相同或类似的V2I系统)等中。

基于运动捕获传感器数据来生成硬件组件警报

运载工具(例如,自主运载工具)可以包括各种硬件组件。硬件组件可以包括电气组件和非电气组件。例如,硬件组件包括传感器、门、窗户、天窗、玻璃天窗、把手、罩(例如,充电端口罩)、盖(例如,油箱盖)、轮辋、轮胎、框架或框架的部分、后备箱、发动机罩、反射镜(例如,后视镜、侧视镜等)、天线、或者与运载工具相关联的(例如,附接到运载工具的)任何其他硬件组件。

在运载工具移动穿过某区域时,运载工具可能在区域内遇到许多不同的对象。为了识别对象,运载工具可以捕获与硬件组件(例如,传感器)中的至少一个相关联的传感器数据。传感器可以包括雷达传感器、激光雷达传感器、照相机等的任一个或任何组合。运载工具可以处理所捕获到的传感器数据以获得与运载工具的环境相关联的环境数据。基于该环境数据,运载工具可以确定如何在环境中导航以及确定由传感器数据捕获到的环境内的潜在障碍物。此外,运载工具可以基于该确定来在环境中导航。例如,运载工具可以包括导航系统以基于环境数据辅助导航。

确保对运载工具的各个硬件组件进行外部标定以提高运载工具的乘员的体验,这可能是重要的。运载工具的硬件组件的未标定可能影响运载工具的性能。例如,特定硬件组件(例如,传感器、后备箱、窗户等)的未标定可能影响运载工具的操作以及运载工具以指定方式进行操作的能力。

可以相对于运载工具以及/或者运载工具的一个或多于一个组件对各个硬件组件进行外部标定。硬件组件的外部标定可以包括相对于运载工具的定位、附加硬件组件的定位或运载工具的参考点的定位来对各个硬件组件的定位进行标定。例如,可以相对于运载工具的参考点(例如,运载工具上的中心点)对天线的位置进行外部标定。可以基于硬件组件的外部标定将硬件组件安装到运载工具。

对于运载工具的传感器,确保对各个传感器进行标定以确定所接收到的图像数据的准确度,这可能是重要的。可以相对于运载工具以及/或者运载工具的一个或多于一个组件对各个传感器进行外部标定并进行内部标定。传感器的内部标定可以包括对由传感器为了生成传感器数据所使用的传感器的一个或多于一个参数进行标定。例如,图像传感器的参数包括焦距、图像传感器格式、主点或歪斜。可以基于外部标定和内部标定将传感器安装到运载工具(例如,传感器在被安装到运载工具时,可以具有初始外部标定和初始内部标定)。运载工具可以使用各传感器的初始外部标定和初始内部标定来基于所接收到的传感器数据识别运载工具的环境中的对象。

在运载工具的操作期间,硬件组件的标定可能降级。例如,图像传感器的位置从初始标定规格或阈值(例如,初始外部标定和/或初始内部标定)降级。硬件组件的初始外部标定可能随着硬件组件的位置的降级(例如,从第一位置移动到第二位置)而降级。可能希望确定硬件组件的位置随着时间的经过(例如,相对于硬件组件的初始外部标定)而如何降级。由于系统可能无法准确地识别图像的对象或特征的地点(例如,另一运载工具相对于图像传感器的位置),因此硬件组件的位置的降级可能降低运载工具对乘员的安全性。例如,图像传感器的位置可能降级,并且图像传感器所产生的图像可以表示环境的与感知系统所预期的区域或部分不同的区域或部分(例如,图像传感器移位5厘米并识别出不同的传感器数据),或者图像传感器可能无法相对于特定地点产生图像,由此使得感知系统难以准确识别环境中的对象的地点。这可能导致感知系统不识别对象和/或识别不正确地点中的对象。

感知系统可以期望图像传感器捕获与环境的第一部分相关联的传感器数据,并且由于图像传感器的位置的降级,因而图像传感器可以捕获与环境的第二部分相关联的传感器数据。在感知系统可以将与环境的第二部分相关联的传感器数据和环境的第一部分相关联时,这会导致潜在的问题。在感知系统可能无法识别图像的特定对象或特征时,这还会导致用户体验不足。

在一些情况下,通过确定与硬件组件相关联的标定算法并使用该标定算法来单独标定特定硬件组件,可以对硬件组件进行外部标定。例如,使用与硬件组件相关联的标定算法来手动标定各个硬件组件。硬件组件可以包括硬件组件的多个子集,各子集与特定标定算法相关联。此外,外部标定可以包括从运载工具拆卸硬件组件并单独标定每个硬件组件。然而,基于标定算法的硬件组件的这种单独手动标定以及硬件组件的拆卸和再标定可能是昂贵和耗时的。此外,在一些情况下,各个硬件组件的标定不适合于每个硬件组件。例如,可以将保留了原始外部标定的硬件组件从运载工具拆卸。由于系统可能局限于对从运载工具拆卸的各硬件组件进行再标定,因此这可能导致用户体验不足。

在一些情况下,可以通过进行基于靶标的标定来对硬件组件进行外部标定。各个硬件组件可以识别靶标(例如,硬件组件的视场中所显示的靶标)并生成用于识别该靶标的传感器数据。可以基于所接收到的传感器数据来识别多个硬件组件之间的外部标定。然而,这种基于靶标的标定取决于靶标的质量和靶标的定位的准确度。基于靶标的标定需要具有已知位置的准确靶标,以使得能够准确确定硬件组件的外部标定。基于靶标的标定可能需要在硬件组件的视野内手动放置和/或移动靶标。如果靶标未被放置在正确位置(例如,靶标的位置不是准确已知的)以及/或者硬件组件不能识别靶标,则基于靶标的标定可能不准确。因此,基于靶标的手动放置和/或移动的基于靶标的标定可能是低效和不准确的。手动的基于靶标的标定可以基于标定的手动性质而不频繁地进行。在硬件组件的标定降级时,这种不频繁的标定可能导致用户体验不足。此外,在一些情况下,特定靶标不适合于每个硬件组件的标定。例如,第一靶标可以适合于具有第一性质的第一硬件组件(例如,照相机)的标定,并且第二靶标可以适合于具有第二性质的第二硬件组件(例如,雷达传感器)的标定。另外,在一些情况下,基于硬件组件的性质,特定靶标不适合于每个硬件组件。例如,具有第一性质(例如,焦距、孔径、景深等)的照相机需要比具有第二性质的照相机更高质量的靶标。将相同靶标用于每个硬件组件可能导致不准确的结果和未标定的硬件组件。因此,基于靶标的标定可以依赖于硬件组件。另外,基于靶标的标定可以是特定于目的,并且所使用的靶标可以基于每个硬件组件的标定水平。由于系统可能针对每个不同的硬件组件实现不同类型的外部标定,因此这种手动密集型标定可能导致用户体验不足。

为了解决这些问题,信号处理系统可以使用一个或多于一个运动捕获传感器在无需将硬件组件从运载工具拆卸的情况下以硬件不可知的方式验证硬件组件的外部标定。通过使用来自一个或多于一个运动捕获传感器的运动捕获传感器数据,信号处理系统可以获得运动捕获传感器数据并且以硬件不可知的方式验证多个硬件组件的外部标定。例如,信号处理系统获得运动捕获传感器数据并验证轮辋和激光雷达传感器的外部标定。运动捕获传感器可以利用运动捕获标记(例如,附接到硬件组件的运动捕获标记、附接到运载工具的运动捕获传感器的靶标的运动捕获标记等)来获得运动捕获传感器数据。

如本文所述,信号处理系统可以从一个或多于一个运动捕获传感器接收运动捕获传感器数据。运动捕获传感器可以包括图像传感器、惯性传感器、磁传感器、拉伸传感器和/或机械运动捕获传感器。例如,运动捕获传感器可以包括红外传感器。运动捕获传感器可以与运载工具分离和/或附接到运载工具。例如,运动捕获传感器可以在能够与运载工具交互的单独系统内(例如,在运动捕获工作室内)实现。通过在单独系统内实现运动捕获传感器,运动捕获传感器可以与多个运载工具、多个类型的运载工具等交互。在单独系统内实现运动捕获传感器还使得能够进行运动捕获传感器的单独标定和维护。在一些实施例中,可以将运动捕获传感器附接到运载工具。通过将运动捕获传感器附接到运载工具,信号处理系统可以(例如,在无需与单独系统交互的情况下)快速且高效地从一个或多于一个运动捕获传感器获得运动捕获传感器数据。在一些情况下,运载工具的硬件组件可以包括运动捕获传感器中的一个或多于一个。例如,运载工具包括附接到运载工具以捕获运动捕获传感器数据的一个或多于一个运动捕获传感器。

在一些实施例中,运动捕获传感器附接到单独系统。例如,运动捕获传感器中的一个或多于一个附接到用于识别与运载工具相关联的运动捕获传感器数据的装备。在一些情况下,运动捕获传感器是在运动捕获工作室内配置的。例如,运动捕获工作室包括一个或多于一个运动捕获传感器,并且可以将运载工具引入运动捕获工作室以识别与每个运载工具的硬件组件相关联的运动捕获传感器数据。在一些情况下,运动捕获传感器包括附接到运载工具的一个或多于一个运动捕获传感器以及附接到单独系统的一个或多于一个运动捕获传感器。

(例如,运载工具上的)运动捕获传感器的配置可以基于运载工具的品牌、运载工具的型号、运载工具的年份、运载工具的类型、对运载工具的任何修改或者与运载工具相关联的任何其他数据来定制。例如,卡车可以具有附接到运载工具的运动捕获传感器的第一配置,并且摩托车可以不具有附接到摩托车的运动捕获传感器。

运动捕获传感器可以基于一个或多于一个运动捕获标记来生成运动捕获传感器数据。运动捕获标记可以包括无源运动捕获标记和/或有源运动捕获标记。无源运动捕获标记可以涂覆有反射所生成的光(例如,反射红外光)的特定材料(例如,回射材料)。有源运动捕获标记可以包括生成光(例如,发射红外光)的一个或多于一个光源(例如,发光二极管(“LED”))。在一些情况下,运动捕获标记可以反射和/或生成非光辐射(例如,非可见电磁辐射)。运动捕获标记可以附接到硬件组件。例如,运动捕获标记可以附接到硬件组件、硬件组件的外壳、或者与硬件组件相关联的任何其他对象。在一些情况下,运动捕获标记可移除地附接到硬件组件。例如,使用物质和/或附加硬件组件(例如,尼龙搭扣、粘合剂、罩、螺钉等)将运动捕获标记附接到硬件组件。在一些情况下,运动捕获传感器不基于一个或多于一个运动捕获标记来生成运动捕获传感器数据(例如,运动捕获传感器在无标记运动捕获系统内实现)。在无标记运动捕获系统内实现的运动捕获传感器可以基于附加的基于非标记的数据(例如,硬件组件的轮廓)来生成运动捕获传感器数据。

在一些实施例中,如以上论述的,硬件组件可以包括附接到运载工具的运动捕获传感器中的一个或多于一个。附接到运载工具的运动捕获传感器可以基于附接到运动捕获传感器的靶标的一个或多于一个运动捕获标记来生成运动捕获传感器数据。附接到运载工具的运动捕获传感器可以识别特定靶标(例如,特定对象)和与该靶标相关联的运动捕获标记,并且可以生成运动捕获传感器数据。

运动捕获传感器可以将运动捕获传感器数据提供到信号处理系统。基于所获得的运动捕获传感器数据,信号处理系统可以确定运载工具的各个硬件组件的位置。例如,信号处理系统确定运载工具的硬件组件相对于运载工具的一个或多于一个参考位置的位置。运载工具的参考位置可以是运载工具的附加硬件组件(例如,特定图像传感器、特定支架等)、运载工具上的特定位置(例如,运载工具的顶板上的特定位置、运载工具的框架上的特定位置等)等。运载工具的各个硬件组件可以与相同或不同的参考位置相关联。在一些情况下,信号处理系统确定运载工具的各个硬件组件相对于运载工具的位置。

基于运载工具的各个硬件组件相对于一个或多于一个参考位置(例如,运载工具上的参考位置、硬件组件等)的所确定的位置,信号处理系统可以确定所确定的位置是否满足关联的标定阈值。标定阈值可以识别相对于一个或多于一个参考位置的特定位置。标定阈值可以包括各个硬件组件的初始外部标定。例如,信号处理系统扫描运载工具的各个硬件组件以确定各个硬件组件的初始外部标定(例如,各个硬件组件相对于一个或多于一个参考位置的初始位置)。在一些情况下,计算装置将一个或多于一个硬件组件的初始外部标定提供(例如,手动提供)到信号处理系统。信号处理系统可以将运载工具的各个硬件组件的所确定的位置(例如,硬件组件相对于一个或多于一个参考位置的所确定的位置)与关联的标定阈值(例如,硬件组件相对于一个或多于一个参考位置的初始位置)进行比较。

信号处理系统可以基于将运载工具的各个硬件组件的所确定的位置与关联的标定阈值进行比较来生成硬件组件警报。例如,硬件组件警报可以指示硬件组件不满足标定阈值和/或硬件组件被外部标定。在一些情况下,硬件组件警报可以指示硬件组件的位置相对于初始外部标定的降级量。信号处理系统可以将硬件组件警报路由到计算系统。例如,信号处理系统将推荐硬件组件的再标定的硬件组件警报路由到特定计算系统。在一些情况下,信号处理系统将硬件组件警报路由到计算系统以使得自动进行再标定。例如,信号处理系统使自动化装置(例如,机器人)对硬件组件进行再标定。在一些实施例中,信号处理系统基于硬件组件来更新硬件组件的标定阈值。例如,信号处理系统在硬件组件的位置与标定阈值之间的差在特定移动范围内(例如,小于5毫米、小于5度的移动等)的情况下,更新硬件组件的标定阈值以替换先前的标定阈值,并且在硬件组件的位置与标定阈值之间的差在特定移动范围之外(例如,大于5毫米,大于5度的移动等)的情况下,请求硬件组件的再标定。

图5是例示信号处理环境500的示例的框图。在例示示例中,信号处理环境500包括与运动捕获传感器504、计算装置510和计算装置514通信地耦接的信号处理系统502。信号处理系统502包括信号处理器508。在一些情况下,信号处理环境500和/或信号处理系统502形成本文中至少参考图4所述的感知系统402的至少一部分。信号处理系统502可以接收与运动捕获传感器504相关联的运动捕获传感器数据506,并且使用运动捕获传感器数据506来确定与硬件组件警报相关联的警报数据。在一些情况下,信号处理系统502使用与运动捕获传感器数据506向警报数据的映射相关联的映射数据,以基于传入的运动捕获传感器数据506确定要激活哪些硬件组件警报。

运动捕获传感器504生成运动捕获传感器数据506,并将运动捕获传感器数据506通信到信号处理系统502。运动捕获传感器504的示例包括由Vicon生产的Vantage+运动捕获传感器和由Qualisys生产的Miqus运动捕获传感器。运动捕获传感器504可以包括光学传感器(图像传感器)(例如,照相机202a,与以上参考图2所述的照相机类似)或非光学传感器中的任一个或任何组合。例如,非光学传感器包括惯性运动传感器(例如,加速度计、陀螺仪等)、机械运动传感器、磁传感器等。运动捕获传感器504可以利用与硬件组件相关联的运载工具来实现(例如,硬件组件和运动捕获传感器504可以附接到运载工具),或者运动捕获传感器504可以利用单独系统(例如,运动捕获工作室)来实现。

运动捕获传感器504可以基于一个或多于一个运动捕获标记来生成与(例如,硬件组件的)所捕获到的运动相关联的运动捕获传感器数据506。例如,运动捕获标记可以贴附到对象(例如,运载工具的硬件组件、运载工具的运动捕获传感器的靶标等)。在利用运载工具实现的(例如,附接到运载工具的硬件组件的)运动捕获传感器504和附接到运载工具的参考点的运动捕获传感器的示例中,运动捕获标记可以附接到与运载工具分离的靶标以进行硬件组件的标定。在利用单独系统实现的运动捕获传感器504的示例中,运动捕获标记可以附接在运载工具的参考点处并且附接到运载工具的硬件组件以进行硬件组件的标定。运动捕获标记(例如,有源运动捕获标记和/或无源运动捕获标记)可以发射和/或反射红外光。运动捕获传感器504可以基于与运动捕获标记相关联的红外光来生成运动捕获传感器数据506。运动捕获传感器数据506可以识别特定运动捕获标记的位置。例如,运动捕获传感器数据506识别运动捕获传感器数据内的特定运动捕获标记的位置。运动捕获传感器504可以生成运动捕获传感器数据506并将运动捕获传感器数据506提供到信号处理器508以进行运载工具的硬件组件的标定。

运载工具的硬件组件可以基于内部参数(例如,与硬件组件的内部标定相关联的参数)和外部参数(例如,与硬件组件的外部标定相关联的参数)来生成数据(例如,传感器数据)。内部参数可以包括与硬件组件相关联的比例因子、焦距、主点(例如,传感器中心)、歪斜、几何畸变等中的任一个或任何组合,并且外部参数可以包括与硬件组件相关联的旋转、平移、位置等。硬件组件可以利用内部参数将传感器数据从三维世界点映射到二维图像平面。

信号处理器508(或另一计算系统)可以对硬件组件进行标定以识别用于生成传感器数据的第一内部参数集合。可以基于一系列图像对硬件组件进行标定。例如,使用二维传感器标定(例如,使用特定二维图案)、三维传感器标定或自标定来对硬件组件进行标定以识别第一内部参数集合。基于硬件组件的标定,硬件组件可以识别第一内部参数集合,并且可以基于第一内部参数集合来生成传感器数据。

在例示示例中,信号处理系统502包括信号处理器508以接收运动捕获传感器数据506,然而,将理解,信号处理系统502可以包括更少、更多或不同的组件。信号处理器508可以处理运动捕获传感器数据506以确定硬件组件(例如,附接到运载工具的硬件组件)的位置。在一些情况下,信号处理器508处理运动捕获传感器数据506以识别运动捕获传感器504的位置。例如,运动捕获传感器504可以是附接到运载工具的硬件组件,并且信号处理器508可以处理运动捕获传感器数据506以识别运动捕获传感器504的位置。

信号处理器508可以处理运动捕获传感器数据506以识别硬件组件相对于运载工具的参考位置(例如,参考点)的位置。例如,信号处理器508识别硬件组件相对于运载工具的中心位置(例如,运载工具的图像传感器集线器)的位置。为了识别运载工具的参考位置,可以将附加运动捕获标记附接到运载工具的参考位置,并且信号处理器508可以接收与附接到运载工具的参考位置的附加运动捕获标记相关联的附加运动捕获传感器数据506。因此,信号处理器508可以基于运动捕获传感器数据506来识别硬件组件的位置,并且基于附加运动捕获传感器数据506来识别参考位置。信号处理器508可以将硬件组件的位置与参考位置进行比较以识别硬件组件相对于参考位置的位置。因此,运动捕获传感器数据506可以提供硬件组件的位置和参考位置的位置,以计算硬件组件相对于所识别的参考位置的位置。

在一些情况下,信号处理器508从多个运动捕获传感器接收运动捕获传感器数据506。信号处理器508可以基于来自多个运动捕获传感器的运动捕获传感器数据506来确定硬件组件的位置。例如,信号处理器508从附接到运载工具的第一运动捕获传感器(例如,第一硬件组件)接收运动捕获传感器数据506,并且从附接到运载工具的第二运动捕获传感器(例如,参考位置)接收运动捕获传感器数据506。来自第一运动捕获传感器的运动捕获传感器数据506和来自第二运动捕获传感器的运动捕获传感器数据506可以是基于附接到特定靶标的运动捕获标记所捕获到的。

根据确定为基于相同的运动捕获标记捕获到来自第一运动捕获传感器的运动捕获传感器数据506和来自第二运动捕获传感器的运动捕获传感器数据506,信号处理器508可以利用来自第一运动捕获传感器的运动捕获传感器数据506和来自第二运动捕获传感器的运动捕获传感器数据506来识别硬件组件(附接到硬件组件的第一运动捕获传感器)相对于参考位置(附接到参考位置的第二运动捕获传感器)的位置。例如,信号处理器508使用运动捕获标记(例如,附接到靶标的运动捕获标记)来确定硬件组件相对于参考位置的位置。

信号处理器508可以将运动捕获传感器数据506与用于识别运动捕获传感器数据506的值的阈值数据进行比较。例如,信号处理器508确定运动捕获传感器数据506是否满足阈值数据。例如,阈值数据识别数据的量(例如,5兆字节)、数据的类型(例如,运动捕获传感器数据)、数据的质量、与数据相对应的时间范围(例如,至少1分钟)或者数据的任何其他特性。在一些实施例中,信号处理器508确定运动捕获传感器数据506是大于、小于还是在阈值数据的特定范围内。在一些情况下,如果信号处理器508确定为运动捕获传感器数据506不满足阈值数据,则信号处理器508不使用运动捕获传感器数据506来确定硬件组件的外部标定,并请求更新的运动捕获传感器数据506。

信号处理器508还从计算装置510接收与硬件组件的一个或多于一个标定规格相关联的标定规格数据512。在一些情况下,信号处理器508从计算装置510和/或数据存储部接收标定规格数据512。在一些情况下,信号处理器508解析标定规格数据512以(例如,基于硬件组件的类型)识别与特定硬件组件相关联的标定规格数据512的子集。标定规格数据512可以识别运载工具上的特定位置(例如,相对于运载工具上的参考位置的特定位置)。由标定规格数据512识别的特定位置可以是运载工具上的硬件组件的初始位置。在一些实施例中,特定位置包括运载工具上的硬件组件的一个或多于一个可接受位置。例如,特定位置识别硬件组件在被认为被外部标定的同时在运载工具上可以位于的一个或多于一个位置。在一些情况下,标定规格数据512识别运载工具上的位置范围(例如,相对于运载工具上的参考位置的特定位置范围)。例如,标定规格数据512识别运载工具上的针对硬件组件的可接受位置的范围。

标定规格数据512可以包括与硬件组件相关联的初始外部标定。例如,信号处理系统502通过(例如,在初始时间段)扫描硬件组件的位置来生成包括与硬件组件相关联的初始外部标定的标定规格数据512。标定规格数据512可以基于硬件组件处于可接受位置这一确认。例如,标定规格数据512可以是基于硬件组件最初附接到运载工具所生成的,并且识别硬件组件在任何降级之前的位置。信号处理系统502可以利用标定规格数据512作为地面真值数据(ground truth data)。例如,信号处理系统502使用标定规格数据512来识别硬件组件是否被外部标定(例如,定位在初始位置)。

信号处理系统502可以接收标定规格数据512作为与硬件组件相关联的初始运动捕获传感器数据。基于该初始运动捕获传感器数据,信号处理系统502可以确定硬件组件相对于参考点的初始位置。在一些情况下,信号处理系统502基于经由计算装置接收到的提示来确定初始运动捕获传感器数据识别硬件组件的初始外部标定。例如,计算装置向信号处理系统502提供指示所接收到的运动捕获传感器数据识别硬件组件的初始外部标定的指令。基于所接收到的初始运动捕获传感器数据,信号处理系统502可以确定与硬件组件相关联的初始外部标定,并将该初始外部标定存储为标定规格数据512。在一些情况下,信号处理系统502将标定规格数据512路由到单独的计算装置(例如,计算装置510)。

此外,信号处理器508可以将(例如,基于更新的运动捕获传感器数据506的)硬件组件相对于参考点的位置(例如,在初始位置之后的更新位置)与硬件组件相对于参考点的初始位置进行比较。例如,信号处理器508将硬件组件相对于参考点的位置与由标定规格数据512识别的硬件组件相对于参考点的初始位置进行比较。

在一些实施例中,信号处理系统502不识别初始运动捕获传感器数据。信号处理系统502可以在不识别初始运动捕获传感器数据的情况下,与计算装置510和/或数据存储部分开地接收标定规格数据512。例如,标定规格数据512可以基于一系列测量值来确定并被提供给信号处理系统502。信号处理器508可以将硬件组件的位置与标定规格数据512进行比较,信号处理器508可以确定硬件组件的位置是否满足标定规格数据512。例如,信号处理器508确定用于识别硬件组件的位置的值是否满足与标定规格数据512相关联的阈值(例如,阈值(threshold value))。例如,阈值识别相对于参考点(例如,在参考点的5毫米内)的特定位置。在一些实施例中,信号处理器508确定用于识别硬件组件的位置的值是否大于标定规格数据512的阈值(例如,其中标定规格数据512包括最小值)和/或小于标定规格数据512的阈值(例如,其中标定规格数据512包括最大值)。因此,信号处理器508可以确定用于识别硬件组件的位置的值是否满足标定规格数据512(例如,匹配标定规格数据512的值、满足标定规格数据512的阈值或范围等)。

基于将用于识别硬件组件的位置的值与标定规格数据512进行比较,信号处理器508可以识别用于识别硬件组件的位置的值与标定规格数据512之间的差。在一些情况下,信号处理器508识别用于识别硬件组件的位置的值与标定规格数据512之间的差的量(例如,硬件组件的位置与标定规格数据512相差的可量化量)。

信号处理器508还可以获得警报映射数据。例如,信号处理器508可以从计算装置(例如,用户计算装置)和/或数据存储部获得警报映射数据。例如,计算装置可以生成警报映射数据并将该警报映射数据提供给信号处理器508。在一些实施例中,警报映射数据是用户特定的和/或硬件组件特定的警报映射数据。警报映射数据的各映射可以识别硬件组件的位置与映射到特定硬件组件警报的标定规格数据512之间的差。警报映射数据的各映射还可以识别映射到特定警报数据的特定硬件组件警报。在一些情况下,警报映射数据的各映射识别硬件组件的位置与映射到特定警报数据的标定规格数据512之间的差。

基于使用警报映射数据识别警报数据,信号处理器508可以确定为应向用户通知硬件组件警报。在一些情况下,信号处理器508使用与硬件组件的位置和标定规格数据512之间的差向警报数据的映射相关联的警报映射数据来确定要输出到计算装置514的警报数据。在一些情况下,警报数据识别要对硬件组件进行的重新定位的量。此外,警报数据可以识别从硬件组件的初始外部标定到硬件组件的位置的降级。因此,信号处理器508可以将警报数据提供到计算装置514。

警报数据可以包括供用户进行硬件组件的进一步外部标定和/或测试用的推荐(例如,指令)。例如,警报数据可以包括供用户进行硬件组件的手动外部标定用的推荐。此外,信号处理器508可以使得将硬件组件路由以供附加的外部标定。例如,信号处理器508可以将警报数据发送到机器人以激活机器人。信号处理器508可以激活机器人以使得机器人运送硬件组件进行外部标定。在一些情况下,信号处理器508激活机器人以使得机器人对硬件组件进行外部标定。

在一些情况下,信号处理器508基于将警报数据发送到计算装置514,可以使计算装置514更新硬件组件的标定规格数据512。此外,响应于接收到警报数据,计算装置512可以自动更新标定规格数据512。信号处理器508可以考虑硬件组件的位置的降级,基于运动捕获传感器数据506来更新(例如,自动更新)标定规格数据512。信号处理器508可以通过用识别硬件组件相对于运动捕获传感器数据506所识别的参考点的位置的数据来替换标定规格数据来更新标定规格数据512。在一些情况下,如果硬件组件相对于运动捕获传感器数据506所识别的参考点的位置在硬件组件相对于标定规格数据512所识别的参考点的位置的特定范围(例如,1毫米)内,则信号处理器更新标定规格数据512。通过更新标定规格数据512,信号处理器508可以考虑硬件组件的位置的降级来调整由硬件组件生成的传感器数据。由于信号处理器508可以考虑降级来调整传感器数据,因此使用这样的系统可以使得能够在不存在安全性降低和/或手动调整的情况下持续使用运载工具。相反,信号处理器508可以更新由标定规格数据512识别的硬件组件的位置,并用于基于硬件组件的新位置生成传感器数据。

示例运动捕获传感器配置

图6是例示具有多个硬件组件、多个运动捕获传感器和多个运动捕获标记的运载工具602的示例的图600。例如,图600包括多个硬件组件,这些硬件组件各自附接到运载工具602并且各自具有相对于运载工具602的参考点612的特定外部标定。第一运动捕获传感器集合中的运动捕获传感器可以与多个硬件组件中的各硬件组件一起定位。图600还包括与运载工具602分离的第二运动捕获传感器集合。第一运动捕获传感器集合和第二运动捕获传感器集合中的各运动捕获传感器可以基于运动捕获标记来生成运动捕获传感器数据。例如,图600包括多个运动捕获标记(例如,附接到运载工具602的硬件组件的运动捕获标记、附接到运动捕获传感器的靶标的运动捕获标记等)。多个运动捕获标记可以包括可移除和不可移除的运动捕获标记。例如,可移除运动捕获标记包括暂时附接到特定硬件组件的运动捕获标记,并且不可移除运动捕获标记包括永久附接到特定硬件组件的运动捕获标记。

运载工具602的参考点612可以是运载工具602的硬件组件、运载工具602自身或运载工具602的任何部分。在一些实施例中,参考点612不位于运载工具602上并且可以位于远离运载工具的位置。运载工具602可以包括多个参考点。例如,运载工具602包括针对各硬件组件的参考点。运载工具的参考点612可以包括附接到参考点的运动捕获标记606J。

系统(例如,与如图4所述的感知系统402和/或如图5所述的信号处理系统502等相同或类似的系统)可以识别与第一运动捕获传感器集合和第二运动捕获传感器集合中的各运动捕获传感器相关联的运动捕获传感器数据。第一运动捕获传感器集合和第二运动捕获传感器集合中的各运动捕获传感器可以基于多个运动捕获标记中的相应运动捕获标记来生成运动捕获传感器数据。运动捕获传感器数据可以包括用于识别运载工具602上的参考点612的位置的运动捕获传感器数据以及用于识别各个硬件组件的位置的运动捕获传感器数据。基于运动捕获传感器数据,系统可以识别各个硬件组件相对于运载工具602上的参考点612的位置。基于运动捕获传感器数据,系统可以识别多个硬件组件中的各硬件组件相对于运载工具602的参考点612的位置。

系统可以确定运载工具602的各个硬件组件的初始外部标定。例如,系统确定各个硬件组件相对于运载工具602的参考点612的初始位置。系统可以基于所接收到的运动捕获传感器数据来确定初始外部标定。

对于具有永久附接到硬件组件的运动捕获标记的硬件组件,系统可以通过在将运动捕获标记和硬件组件集成时捕获运动捕获传感器数据来识别各个硬件组件的初始位置。对于具有暂时附接到硬件组件的运动捕获标记的硬件组件,系统可以通过(例如,从计算装置)接收标定数据来识别各个硬件组件的初始位置。运动捕获传感器数据可以包括用于识别运载工具602上的参考点612的位置的运动捕获传感器数据和用于识别各个硬件组件的位置的运动捕获传感器数据。基于运动捕获传感器数据,系统可以识别各个硬件组件相对于运载工具602上的参考点612的位置。

基于各个硬件组件的初始外部标定,系统可以针对各个硬件组件获得标定规格数据。系统可以基于运动捕获传感器数据将标定规格数据与各个硬件组件的位置进行比较,以确定是否发生了硬件组件的位置的降级。例如,系统识别是否发生了硬件组件的位置的降级和/或降级量。

系统可以基于识别是否发生了硬件组件的位置的降级和/或降级量来生成硬件组件警报。系统可以路由硬件组件警报(例如,与硬件组件警报相关联的警报数据)以识别供再标定的硬件组件。

在图6的示例中,多个硬件组件包括与运载工具602相关联的硬件组件。多个硬件组件可以包括运载工具602的任何组件。例如,多个硬件组件包括以下项中的一个或多于一个:照相机图像传感器、激光雷达传感器、雷达传感器、压力传感器、运载工具602的附件、运载工具602的轮胎、运载工具602的轮辋、运载工具602的把手、运载工具602的反射镜、运载工具602的面板、运载工具602的窗户、运载工具602的门、运载工具602的后备箱、运载工具602的发动机罩、运载工具602的天窗、运载工具602的锁以及封闭在运载工具602内的组件。

多个硬件组件可以包括运载工具602的外部组件(例如,位于运载工具602的外部的组件)和运载工具602的内部组件(例如,位于运载工具602的内部的组件)。例如,多个硬件组件包括位于运载工具602的顶板上的图像传感器和/或位于运载工具602的内部的雷达图像传感器。

作为非限制性示例,多个硬件组件包括第一硬件组件604A、第二硬件组件604B、第三硬件组件604C、第四硬件组件604D、第五硬件组件604E、第六硬件组件604F、第七硬件组件604G和第八硬件组件604H。第一硬件组件604A是第一图像传感器。第二硬件组件604B是第二图像传感器。第三硬件组件604C是第三图像传感器。第四硬件组件604D是第四图像传感器。第五硬件组件604E是第五图像传感器。第六硬件组件604F是运载工具602的顶板的组件(例如,闩锁、把手、天线等)。第七硬件组件604G是运载工具602的轮辋。第八硬件组件604H是位于运载工具602的内部的组件(例如,位于运载工具602的内部的雷达图像传感器)。

多个硬件组件中的各硬件组件可以与一个或多于一个运动捕获标记相关联(例如,运动捕获标记可以附接到硬件组件)。多个硬件组件中的各硬件组件可以与一个或多于一个运动捕获传感器共同定位以识别硬件组件的位置。对于具有附接到硬件组件的运动捕获标记的硬件组件,位于外部和/或与运载工具602分离的运动捕获传感器可以基于附接到硬件组件的运动捕获标记和附接到运载工具602上的参考点612的运动捕获标记606J来捕获运动捕获传感器数据。对于不具有附接到硬件组件的运动捕获标记的硬件组件(例如,位于运载工具602的壳内部的图像传感器),系统可以利用与硬件组件共同定位的运动捕获传感器以基于附接到运载工具的运动捕获传感器的运动捕获标记来捕获运动传感器数据。

在图6的示例中,第一运动捕获传感器集合包括与运载工具602相关联的运动捕获传感器。第一运动捕获传感器集合中的各运动捕获传感器附接到运载工具602并且与硬件组件共同定位。在一些情况下,第一运动捕获传感器集合中的各运动捕获传感器位于运载工具602的内部。

作为非限制性示例,第一运动捕获传感器集合包括与第八硬件组件604H共同定位的第一运动捕获传感器610D。第一运动捕获传感器610D可以位于运载工具602的内部并且可以捕获运动捕获传感器数据。

在图6的示例中,第二运动捕获传感器集合包括位于与运载工具602分离的位置的运动捕获传感器。第二运动捕获传感器集合中的各运动捕获传感器可以在运载工具602的外部。例如,第二运动捕获传感器集合中的各运动捕获传感器位于运动捕获系统和/或运动捕获工作室内。

作为非限制性示例,第二运动捕获传感器集合包括第一运动捕获传感器610A、第二运动捕获传感器610B和第三运动捕获传感器610C。在一些情况下,第二运动捕获传感器集合中的一个或多于一个运动捕获传感器位于运载工具602上。例如,运动捕获传感器附接到运载工具602以生成与运载工具602的不同硬件组件相关联的运动捕获传感器数据。

第一运动捕获传感器集合和第二运动捕获传感器集合中的各运动捕获传感器可以是图像传感器。第一运动捕获传感器集合和第二运动捕获传感器集合可以基于运动捕获标记来生成运动捕获传感器数据。一个或多于一个运动捕获传感器可以利用一个或多于一个运动捕获标记来识别与多个硬件组件中的各硬件组件相关联的运动捕获传感器数据。系统可以使用所接收到的运动捕获传感器数据来识别多个硬件组件中的各硬件组件的位置。运动捕获标记可以分布在运载工具602的整个环境中。

运动捕获标记可以是有源运动捕获标记和/或无源运动捕获标记。例如,有源运动捕获标记发射红外光并且无源运动捕获标记反射红外光。运动捕获标记可以附接到运载工具602的硬件组件和/或运载工具602的运动捕获传感器的靶标。

在图6的示例中,运动捕获标记包括第一运动捕获标记606A、第二运动捕获标记606B、第三运动捕获标记606C、第四运动捕获标记606D、第五运动捕获标记606E、第六运动捕获标记606F、第七运动捕获标记606G、第八运动捕获标记606H和第九运动捕获标记606I。第一运动捕获标记606A附接到第一硬件组件604A。第二运动捕获标记606B附接到第二运动硬件组件604B。第三运动捕获标记606C附接到第三硬件组件604C。第四运动捕获标记606D附接到第四硬件组件604D。第五运动捕获标记606E附接到第五硬件组件604E。第六运动捕获标记606F附接到第六硬件组件604F。第七运动捕获标记606G附接到第七硬件组件604G。第八运动捕获标记606H附接到第八硬件组件604H的第一靶标608A,并且第九运动捕获标记606I附接到第八硬件组件604H的第二靶标608B。

第一运动捕获传感器610D可以使用附接到第一靶标608A的第八运动捕获标记606H和/或附接到第二靶标608B的第九运动捕获标记606I来进行基于靶标的标定。在一些实施例中,第一运动捕获传感器610D可以基于第一靶标608A和第二靶标608B其中之一来进行基于靶标的标定。第一运动捕获传感器610D可以使用第八运动捕获标记606H和第九运动捕获标记606I来识别第一靶标608A和/或第二靶标608B。第一运动捕获传感器610D可以捕获与第一靶标608A和/或第二靶标608B相关联的运动捕获传感器数据。基于传感器数据,系统可以确定第一运动捕获传感器610D的姿势并确定第一运动捕获传感器610D的位置。系统可以使用第一运动捕获传感器610D的位置来确定第八硬件组件604H相对于运载工具602上的参考点612的位置。在一些情况下,为了确定第八硬件组件604H相对于运载工具602上的参考点的位置,系统将来自第一运动捕获传感器610D的运动捕获传感器数据与来自另一运动捕获传感器(例如,附接到运载工具602上的参考点612、附接到运载工具602、或者与运载工具602的另一硬件组件共同定位的运动捕获传感器)的运动捕获传感器数据进行比较。

将理解,尽管图6涉及运动捕获标记、运动捕获传感器和硬件组件的特定配置和位置,但可以使用更多、更少或不同类型的配置和位置。例如,第二运动捕获传感器集合可以位于运载工具602的各侧。

示例运动捕获标记

图7例示包括示例组件702以及一个或多于一个运动捕获标记704A、704B、704C和704D的示例环境700。一个或多于一个运动捕获标记704A、704B、704C和704D可以发射和/或反射光(例如,红外光)。在一些情况下,运动捕获标记704A、704B、704C和704D发射和/或反射辐射(例如,电磁辐射)。组件702可以位于运载工具上。例如,运载工具包括用以发射和/或反射光的组件中的一个或多于一个。一个或多于一个运动捕获传感器可以基于组件702以及一个或多于一个运动捕获标记704A、704B、704C和704D来获得运动捕获传感器数据。

在图7的例示示例中,环境700包括组件702。组件702可以是与运载工具相关联的硬件组件。例如,组件702是附接到运载工具的图像传感器。

在一些情况下,组件702附接到与运载工具相关联的硬件组件。组件702可以是与硬件组件相互作用的壳(例如,壳体、罩、帽等)。例如,组件702可以放置在运载工具的硬件组件上方。组件702可以附接到硬件组件并且不能从硬件组件移除。

组件702可以在单个配置中与硬件组件相互作用。基于该相互作用,组件702可以与硬件组件锁定就位。例如,组件702可以在单个配置中与硬件组件锁定就位。基于在单个配置中与硬件组件相互作用的组件,系统可以识别组件702以及一个或多于一个运动捕获标记704A、704B、704C和704D相对于运载工具和/或硬件组件的初始位置。

组件702可以包括清晰屏幕以使得能够进行硬件组件的操作。例如,组件702可以包括清晰屏幕(例如,透明屏幕),使得在组件702被放置在运载工具的图像传感器上方时,图像传感器可以生成与运载工具的环境相关联的传感器数据。

组件702可以包括一个或多于一个运动捕获标记704A、704B、704C和704D。在一些实施例中,一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记没有在组件702上共线对齐。将理解,组件702可以包括更多、更少或不同的运动捕获标记。

一个或多于一个运动捕获标记704A、704B、704C和704D可以包括有源运动捕获标记和/或无源运动捕获标记。一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记可以反射和/或发射光。在一些实施例中,一个或多于一个运动捕获标记704A、704B、704C和704D的一部分是有源运动捕获标记,并且一个或多于一个运动捕获标记704A、704B、704C和704D的另一部分是无源运动捕获标记。此外,与第一组件相关联的运动捕获标记可以是无源运动捕获标记,并且与第二组件相关联的运动捕获标记可以是有源运动捕获标记。

一个或多于一个运动捕获标记704A、704B、704C和704D可以与组件702集成。例如,一个或多于一个运动捕获标记704A、704B、704C和704D永久附接到组件702。在一些情况下,一个或多于一个运动捕获标记704A、704B、704C和704D与运载工具的硬件组件集成。系统可以基于运动捕获标记与组件702的集成来识别与组件702集成的一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记的相对位置。系统可以基于一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记的相对位置来确定标定规格阈值。

在一些情况下,一个或多于一个运动捕获标记704A、704B、704C和704D暂时附接到组件702。例如,一个或多于一个运动捕获标记704A、704B、704C和704D包括一个或多于一个运动捕获标记贴纸。运动捕获标记贴纸可以是从组件702可移除的。例如,一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记在第一时间附接在第一位置,并且在第二时间附接在第二位置。系统可以基于一个或多于一个运动捕获标记704A、704B、704C和704D相对于组件702和/或运载工具的定位来接收标定规格阈值。由于一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记的位置可以改变,因此系统随后可以接收更新的标定规格阈值。

一个或多于一个运动捕获标记704A、704B、704C和704D可以产生(例如反射、发射等)光。运动捕获传感器可以识别所提供的光并且可以生成运动捕获传感器数据。运动捕获传感器可以从与特定硬件组件相关联的多个运动捕获标记获得所提供的光。例如,一个或多于一个运动捕获标记704A、704B、704C和704D中的各运动捕获标记向运动捕获传感器提供光。基于运动捕获传感器数据,系统可以识别与一个或多于一个运动捕获标记704A、704B、704C和704D相关联的硬件组件的位置。例如,组件702可以放置在硬件组件上,并且系统基于一个或多于一个运动捕获标记704A、704B、704C和704D来识别硬件组件相对于运载工具和/或运载工具的组件的位置。

数据处理器的示例流程图

图8是例示由一个或多于一个处理器(例如,信号处理系统502的一个或多于一个处理器)实现的例程800的示例的流程图。图8所例示的流程图仅是为了例示的目的而提供的。将理解,可以移除图8所例示的例程的步骤中的一个或多于一个,或者可以改变步骤的次序。此外,为了说明清楚示例的目的,在各个数据流阶段期间进行各种操作的上下文中描述一个或多于一个特定系统组件。然而,可以使用其它系统布置以及跨系统组件的处理步骤的分布。

在框802处,信号处理系统502接收运动捕获传感器数据。信号处理系统502可以从运动捕获传感器获得运动捕获传感器数据。例如,运动捕获传感器生成运动捕获传感器数据并将运动捕获传感器数据路由到信号处理系统502。在一些情况下,信号处理系统502从多个运动捕获传感器接收运动捕获传感器数据。例如,信号处理系统502从第一运动捕获传感器和第二运动捕获传感器接收运动捕获传感器数据以识别运载工具的硬件组件相对于运载工具的参考点的位置。在一些实施例中,信号处理系统502从多个运动捕获传感器接收运动捕获传感器数据以识别运载工具的多个硬件组件相对于运载工具的参考点的位置。

运动捕获传感器可以基于一个或多于一个运动捕获标记来生成运动捕获传感器数据。一个或多于一个运动捕获标记中的各运动捕获标记可以是有源或无源红外运动捕获标记。有源红外运动捕获标记可以发射红外光并且无源红外运动捕获标记可以反射红外光。运动捕获传感器数据可以包括一个或多于一个运动捕获标记的位置和运载工具的参考位置(例如,参考点)的位置。

运动捕获标记可以附接到硬件组件(例如,暂时附接或永久附接到硬件组件)。例如,运动捕获标记可以在固定位置附接到硬件组件。在一些情况下,运动捕获标记可以附接到与硬件组件相关联的外壳(例如,外罩、帽、罩等)。例如,运动捕获标记可以附接到放置在硬件组件上方的外壳。在一些情况下,外壳与硬件组件在固定位置(例如,单个位置)配合。

在一些情况下,运动捕获标记可以暂时附接到硬件组件。例如,运动捕获标记可以是可移除的运动捕获标记(例如,运动捕获贴纸)。在一些情况下,可移除的运动捕获标记可以附接到硬件组件中的多个位置中的任何位置。

在一些情况下,运动捕获标记可以附接到硬件组件的靶标。例如,运动捕获传感器可以与硬件组件一起定位,并且运动捕获标记可以附接到运动捕获传感器的靶标。在一些情况下,靶标包括具有特定图案(例如,棋盘图案)的显示。运动捕获传感器可以捕获靶标(以及附接到靶标的运动捕获标记)的图像,并且确定运动捕获传感器数据。在一些情况下,运动捕获传感器数据包括靶标的图像。系统可以将来自运动捕获传感器的运动捕获传感器数据与来自另一运动捕获传感器(例如,附接到运载工具的参考点的运动捕获传感器)的运动捕获传感器数据进行比较,以确定硬件组件相对于运载工具的参考点的位置。

在一些实施例中,运动捕获标记可以附接到运载工具的第一硬件组件,并且运动捕获标记可以附接到运载工具的第二运动捕获传感器的靶标。信号处理系统502可以同时或分开标定运载工具的第一硬件组件和运载工具的第二硬件组件。

硬件组件可以包括运载工具的任何组件。硬件组件可以包括运载工具的电气组件和非电气组件。例如,硬件组件可以包括照相机图像传感器、激光雷达传感器、雷达传感器、压力传感器、运载工具的附件、运载工具的轮胎、运载工具的轮辋、运载工具的把手、运载工具的反射镜、运载工具的面板、运载工具的窗户、运载工具的门、运载工具的后备箱、运载工具的发动机罩、运载工具的天窗、运载工具的锁、封闭在运载工具内的组件、或者运载工具的任何其他组件。

在一些情况下,硬件组件可以封闭在运载工具内。例如,硬件组件可以封闭在运载工具的壳、框架或任何其他组件内。

在框804处,信号处理系统502至少部分地基于运动捕获传感器数据来确定硬件组件的位置。信号处理系统502可以确定运载工具上的硬件组件相对于运载工具上的参考点的位置。运载工具上的参考点可以是运载工具自身、与运载工具相关联的附加硬件组件或运载工具上的任何其他点。在一些情况下,信号处理系统502通过确定硬件组件的外部标定(例如,通过确定硬件组件是否被外部标定)来确定硬件组件的位置。

信号处理系统502可以基于硬件组件和参考点之间的关系来确定硬件组件的位置。信号处理系统502可以识别硬件组件的位置和参考点的位置之间的关系。信号处理系统502可以使用所识别的关系来确定硬件组件相对于运载工具上的参考点的位置。

对于具有(永久或暂时)附接到硬件组件或硬件组件的外壳的运动捕获标记的硬件组件,信号处理系统502可以基于附接到硬件组件(或硬件组件的外壳)的运动捕获标记以及附接到运载工具的参考点的运动捕获标记来确定硬件组件的位置。因此,信号处理系统502可以将运动捕获标记的位置与运载工具的参考点的位置(例如,已知位置)进行比较。

对于基于靶标的标定,运动捕获标记可以附接到靶标。信号处理系统502可以通过将运动捕获传感器数据与来自附接到运载工具上的参考点的运动捕获传感器的运动捕获传感器数据进行比较来识别硬件组件相对于运载工具的参考点的位置。

在框806处,信号处理系统502确定为硬件组件的位置不满足标定阈值。标定阈值可以与硬件组件相关联。例如,信号处理系统502从计算装置接收标定阈值。此外,计算装置可以指示标定阈值与特定硬件组件相关联。

标定阈值可以识别相对于运载工具上的参考点的运载工具上的特定地点或位置。在一些情况下,标定阈值识别运载工具上的特定范围的地点或位置。标定阈值可以包括用于识别特定地点或位置的数据。例如,标定阈值可以包括用于识别特定地点或位置的多个坐标(例如,x、y坐标)。

对于具有永久附接到硬件组件或硬件组件的外壳的运动捕获标记的硬件组件,信号处理系统502可以使用初始运动捕获传感器数据来识别标定阈值。信号处理系统502可以接收与运动捕获传感器相关联的初始运动捕获传感器数据。信号处理系统502可以基于初始运动捕获传感器数据来确定硬件组件的初始位置。信号处理系统502可以基于硬件组件的初始位置来确定标定阈值。

对于具有暂时附接到硬件组件或硬件组件的外壳的运动捕获标记的硬件组件以及/或者对于基于靶标的标定,信号处理系统502可以使用所提供的输入来识别标定阈值。信号处理系统502可以从计算装置接收标定阈值作为输入。例如,计算装置可以将标定阈值作为手动标定阈值提供到信号处理系统502。

在一些实施例中,信号处理系统502可以确定为硬件组件的位置满足标定阈值。例如,信号处理系统502确定为硬件组件的位置与地点匹配或在由标定阈值识别的范围内。

在框808处,信号处理系统502至少部分地基于确定为硬件组件的位置不满足标定阈值来确定硬件组件警报。硬件组件警报可以与硬件组件相关联。例如,信号处理系统502生成硬件组件警报并将硬件组件警报链接到硬件组件。

硬件组件警报可以识别硬件组件是被外部标定还是未被外部标定(例如,硬件组件是否处于由标定阈值识别的正确位置)。此外,硬件组件警报可以识别硬件组件的位置与由标定阈值识别的地点或位置的偏差。例如,硬件组件警报可以识别以任何测量单位(例如,英寸、英尺、毫米、厘米、米等)的偏差。

在框810处,信号处理系统502将硬件组件警报路由。信号处理系统502可以将硬件组件警报路由到计算装置。此外,信号处理系统502可以使计算装置显示硬件组件警报的指示。

在一些情况下,信号处理系统502可以将硬件组件警报路由到机器人装置。通过将硬件组件警报路由到机器人装置,信号处理系统502可以使机器人装置将运载工具(或硬件组件)路由以供外部标定(例如,再标定)。

在一些情况下,通过将硬件组件警报路由到机器人装置,信号处理系统502可以使机器人装置(例如,基于所识别的偏差)使用硬件组件对硬件组件进行外部标定。机器人装置可以通过使硬件组件返回到由标定阈值识别的地点或位置来对硬件组件进行外部标定。例如,信号处理系统502可以使机器人装置将硬件组件从硬件组件的第一位置调整到硬件组件的第二位置。在使机器人装置调整硬件组件之后,信号处理系统502可以接收与硬件组件相关联的传感器数据。信号处理系统502可以基于确定为硬件组件已被外部标定来利用所接收到的传感器数据。在一些情况下,信号处理系统502可以更新标定阈值。更新后的标定阈值可以识别由运动捕获传感器数据识别的硬件组件的位置。例如,信号处理系统502基于确定为硬件组件相对于参考点的位置在由标定阈值识别的位置的特定范围内来更新标定阈值。

将理解,可以使用不同的运动捕获传感器数据将例程800重复多次。在一些情况下,信号处理系统502对从多个运动捕获传感器接收到的多个集合的运动捕获传感器数据迭代地重复例程800。

在先前描述中,已经参考许多具体细节描述了本公开的方面和实施例,这些具体细节可因实现而不同。因此,说明书和附图应被视为说明性的,而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围,包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外,当在先前的说明书或所附权利要求书使用术语“还包括”时,该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

本发明的各种非限制性示例实施例可以通过以下条款进行描述:

条款1:一种方法,包括:

使用至少一个处理器,从运动捕获传感器接收运动捕获传感器数据,所述运动捕获传感器数据至少与运动捕获标记的位置和运载工具上的参考点的位置相关联;

使用所述至少一个处理器,至少基于所述运动捕获标记的位置和所述运载工具上的参考点的位置来确定与所述运载工具相关联的硬件组件相对于所述运载工具上的参考点的位置;

使用所述至少一个处理器,确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值;

使用所述至少一个处理器,基于确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值来确定与所述硬件组件相关联的硬件组件警报;以及

使用所述至少一个处理器,将所述硬件组件警报路由。

条款2:根据条款1所述的方法,其中,将所述硬件组件警报路由包括将所述硬件组件警报路由到机器人装置,所述方法还包括:

使所述机器人装置至少部分地基于所述硬件组件警报来对所述硬件组件进行标定。

条款3:根据条款1或2所述的方法,其中,所述硬件组件包括传感器,其中所述硬件组件的位置是所述硬件组件的第一位置,其中将所述硬件组件警报路由包括将所述硬件组件警报路由到机器人装置,所述方法还包括:

使所述机器人装置至少部分地基于所述硬件组件警报来将所述硬件组件从所述硬件组件的所述第一位置调整到所述硬件组件的第二位置;

在使所述机器人装置将所述硬件组件从所述硬件组件的所述第一位置调整到所述硬件组件的所述第二位置之后,接收与所述传感器相关联的传感器数据;以及

利用所述传感器数据。

条款4:根据条款1至3中任一项所述的方法,其中,所述运动捕获标记在固定位置附接到所述硬件组件。

条款5:根据条款1至4中任一项所述的方法,其中,所述运动捕获标记附接到与所述硬件组件相关联的外壳,其中所述外壳与所述硬件组件在固定位置配合。

条款6:根据条款1至5中任一项所述的方法,其中,所述运动捕获标记附接到所述硬件组件或与所述硬件组件相关联的外壳,所述方法还包括:

识别所述标定阈值,其中识别所述标定阈值包括:

接收与所述运动捕获传感器相关联的初始运动捕获传感器数据;

至少部分地基于所述初始运动捕获传感器数据来确定所述硬件组件的初始位置;以及

至少部分地基于所述硬件组件的初始位置来确定所述标定阈值。

条款7:根据条款1至6中任一项所述的方法,其中,所述运动捕获标记包括能够移除的运动捕获标记,其中所述运动捕获标记附接到所述硬件组件中的多个位置中的任何位置。

条款8:根据条款1至7中任一项所述的方法,其中,所述运动捕获标记包括能够移除的运动捕获标记,其中所述运动捕获标记附接到所述硬件组件中的多个位置中的任何位置,所述方法还包括:

经由计算装置接收所述标定阈值。

条款9:根据条款1至8中任一项所述的方法,其中,将所述运动捕获标记附接到所述硬件组件,所述方法还包括:

识别所述运动捕获标记和所述硬件组件之间的关系,其中确定所述硬件组件的位置还至少部分地基于所述运动捕获标记和所述硬件组件之间的关系。

条款10:根据条款1至9中任一项所述的方法,其中,将所述运动捕获标记附接到所述运动捕获传感器的靶标,其中接收与所述运动捕获传感器相关联的运动捕获传感器数据包括使用所述运动捕获传感器来捕获所述靶标的图像,其中所述运动捕获传感器数据包括所述靶标的图像。

条款11:根据条款1至10中任一项所述的方法,其中,所述运动捕获传感器数据是第一运动捕获传感器数据,所述运动捕获传感器是第一运动捕获传感器,所述运动捕获标记是第一运动捕获标记,并且所述参考点是第一参考点,其中所述第一运动捕获标记附接到所述第一运动捕获传感器,所述方法还包括:

接收与第二运动捕获传感器相关联的第二运动捕获传感器数据,所述第二运动捕获传感器数据至少包括第二运动捕获标记的位置和所述运载工具上的第二参考点的位置,其中所述第二运动捕获标记附接到所述第二运动捕获传感器的靶标,其中接收与所述第二运动捕获传感器相关联的第二运动捕获传感器数据包括使用所述第二运动捕获传感器来捕获所述靶标的图像,其中所述第二运动捕获传感器数据包括所述靶标的图像。

条款12:根据条款1至11中任一项所述的方法,其中,所述运动捕获传感器数据是第一运动捕获传感器数据,所述运动捕获传感器是第一运动捕获传感器,所述运动捕获标记是第一运动捕获标记,所述参考点是第一参考点,所述标定阈值是第一标定阈值,所述硬件组件警报是第一硬件组件警报,并且所述硬件组件是第一硬件组件,所述方法还包括:

接收与第二运动捕获传感器相关联的第二运动捕获传感器数据,所述第二运动捕获传感器数据至少包括第二运动捕获标记的位置和所述运载工具上的第二参考点的位置;

至少部分地基于所述第二运动捕获传感器数据来确定与所述运载工具相关联的第二硬件组件相对于所述运载工具上的所述第二参考点的位置;

确定为所述第二硬件组件的位置满足与所述第二硬件组件相关联的第二标定阈值;

至少部分地基于确定为所述第二硬件组件的位置满足与所述第二硬件组件相关联的所述第二标定阈值来确定与所述第二硬件组件相关联的第二硬件组件警报;以及

将所述第二硬件组件警报路由,其中所述第二硬件组件警报识别出所述第二硬件组件被标定。

条款13:根据条款1至12中任一项所述的方法,其中,所述运载工具上的参考点包括所述运载工具以及与所述运载工具相关联的附加硬件组件中的至少一个。

条款14:根据条款1至13中任一项所述的方法,其中,至少部分地基于所述硬件组件警报来将所述硬件组件路由以供再标定。

条款15:根据条款1至14中任一项所述的方法,其中,所述运动捕获标记包括以下项中的至少一个:

有源红外运动捕获标记,其中所述运动捕获标记发射红外光;以及

无源红外运动捕获标记,其中所述运动捕获标记反射红外光。

条款16:根据条款1至15中任一项所述的方法,其中,所述运动捕获标记包括多个运动捕获标记。

条款17:根据条款1至16中任一项所述的方法,其中,所述硬件组件与以下项中的至少一个相关联:照相机图像传感器、激光雷达传感器、雷达传感器、压力传感器、所述运载工具的附件、所述运载工具的轮胎、所述运载工具的轮辋、所述运载工具的把手、所述运载工具的反射镜、所述运载工具的面板、所述运载工具的窗户、所述运载工具的门、所述运载工具的后备箱、所述运载工具的发动机罩、所述运载工具的天窗、所述运载工具的锁以及封闭在所述运载工具内的组件。

条款18:根据条款1至17中任一项所述的方法,其中,确定所述硬件组件的位置包括确定所述硬件组件的外部标定。

条款19:一种系统,包括:

至少一个处理器;以及

存储有指令的至少一个非暂时性存储介质,所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作:

接收与运动捕获传感器相关联的运动捕获传感器数据,所述运动捕获传感器数据至少包括运动捕获标记的位置和运载工具上的参考点的位置;

至少部分地基于所述运动捕获传感器数据来确定与所述运载工具相关联的硬件组件相对于所述运载工具上的参考点的位置;

确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值;

至少部分地基于确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值来确定与所述硬件组件相关联的硬件组件警报;以及将所述硬件组件警报路由。

条款20:至少一个非暂时性存储介质,其存储有指令,所述指令在由包括处理器的计算系统执行时,使所述计算系统进行以下操作:

接收与运动捕获传感器相关联的运动捕获传感器数据,所述运动捕获传感器数据至少包括运动捕获标记的位置和运载工具上的参考点的位置;

至少部分地基于所述运动捕获传感器数据来确定与所述运载工具相关联的硬件组件相对于所述运载工具上的参考点的位置;

确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值;

至少部分地基于确定为所述硬件组件的位置不满足与所述硬件组件相关联的标定阈值来确定与所述硬件组件相关联的硬件组件警报;以及

将所述硬件组件警报路由。

条款21:根据条款19所述的系统,其中,为了将所述硬件组件警报路由,所述指令的执行进一步使所述至少一个处理器将所述硬件组件警报路由到机器人装置,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

使所述机器人装置至少部分地基于所述硬件组件警报来对所述硬件组件进行标定。

条款22:根据条款19或21所述的系统,其中,所述硬件组件包括传感器,其中所述硬件组件的位置是所述硬件组件的第一位置,其中为了将所述硬件组件警报路由,所述指令的执行进一步使所述至少一个处理器将所述硬件组件警报路由到机器人装置,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

使所述机器人装置至少部分地基于所述硬件组件警报来将所述硬件组件从所述硬件组件的所述第一位置调整到所述硬件组件的第二位置;

在使所述机器人装置将所述硬件组件从所述硬件组件的所述第一位置调整到所述硬件组件的所述第二位置之后,接收与所述传感器相关联的传感器数据;以及

利用所述传感器数据。

条款23:根据条款19或21至22中任一项所述的系统,其中,所述运动捕获标记在固定位置附接到所述硬件组件。

条款24:根据条款19或21至23中任一项所述的系统,其中,所述运动捕获标记附接到与所述硬件组件相关联的外壳,其中所述外壳与所述硬件组件在固定位置配合。

条款25:根据条款19或21至24中任一项所述的系统,其中,所述运动捕获标记附接到所述硬件组件或与所述硬件组件相关联的外壳,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

识别所述标定阈值,其中为了识别所述标定阈值,所述指令的执行进一步使所述至少一个处理器进行以下操作:

接收与所述运动捕获传感器相关联的初始运动捕获传感器数据;

至少部分地基于所述初始运动捕获传感器数据来确定所述硬件组件的初始位置;以及

至少部分地基于所述硬件组件的初始位置来确定所述标定阈值。

条款26:根据条款19或21至25中任一项所述的系统,其中,所述运动捕获标记包括能够移除的运动捕获标记,其中所述运动捕获标记附接到所述硬件组件中的多个位置中的任何位置。

条款27:根据条款19或21至26中任一项所述的系统,其中,所述运动捕获标记包括能够移除的运动捕获标记,其中所述运动捕获标记附接到所述硬件组件中的多个位置中的任何位置,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

经由计算装置接收所述标定阈值。

条款28:根据条款19或21至27中任一项所述的系统,其中,所述运动捕获标记被附接到所述硬件组件,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

识别所述运动捕获标记和所述硬件组件之间的关系,其中确定所述硬件组件的位置还至少部分地基于所述运动捕获标记和所述硬件组件之间的关系。

条款29:根据条款19或21至28中任一项所述的系统,其中,所述运动捕获标记被附接到所述运动捕获传感器的靶标,其中为了接收与所述运动捕获传感器相关联的运动捕获传感器数据,所述指令的执行进一步使所述至少一个处理器使用所述运动捕获传感器来捕获所述靶标的图像,其中所述运动捕获传感器数据包括所述靶标的图像。

条款30:根据条款19或21至29中任一项所述的系统,其中,所述运动捕获传感器数据是第一运动捕获传感器数据,所述运动捕获传感器是第一运动捕获传感器,所述运动捕获标记是第一运动捕获标记,并且所述参考点是第一参考点,其中所述第一运动捕获标记附接到所述第一运动捕获传感器,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

接收与第二运动捕获传感器相关联的第二运动捕获传感器数据,所述第二运动捕获传感器数据至少包括第二运动捕获标记的位置和所述运载工具上的第二参考点的位置,其中所述第二运动捕获标记附接到所述第二运动捕获传感器的靶标,其中接收与所述第二运动捕获传感器相关联的第二运动捕获传感器数据包括使用所述第二运动捕获传感器来捕获所述靶标的图像,其中所述第二运动捕获传感器数据包括所述靶标的图像。

条款31:根据条款19或21至30中任一项所述的系统,其中,所述运动捕获传感器数据是第一运动捕获传感器数据,所述运动捕获传感器是第一运动捕获传感器,所述运动捕获标记是第一运动捕获标记,所述参考点是第一参考点,所述标定阈值是第一标定阈值,所述硬件组件警报是第一硬件组件警报,并且所述硬件组件是第一硬件组件,其中所述指令的执行进一步使所述至少一个处理器进行以下操作:

接收与第二运动捕获传感器相关联的第二运动捕获传感器数据,所述第二运动捕获传感器数据至少包括第二运动捕获标记的位置和所述运载工具上的第二参考点的位置;

至少部分地基于所述第二运动捕获传感器数据来确定与所述运载工具相关联的第二硬件组件相对于所述运载工具上的所述第二参考点的位置;

确定为所述第二硬件组件的位置满足与所述第二硬件组件相关联的第二标定阈值;

至少部分地基于确定为所述第二硬件组件的位置满足与所述第二硬件组件相关联的所述第二标定阈值来确定与所述第二硬件组件相关联的第二硬件组件警报;以及

将所述第二硬件组件警报路由,其中所述第二硬件组件警报识别出所述第二硬件组件被标定。

条款32:根据条款19或21至31中任一项所述的系统,其中,所述运载工具上的参考点包括所述运载工具以及与所述运载工具相关联的附加硬件组件中的至少一个。

条款33:根据条款19或21至32中任一项所述的系统,其中,至少部分地基于所述硬件组件警报来将所述硬件组件路由以供再标定。

条款34:根据条款19或21至33中任一项所述的系统,其中,所述运动捕获标记包括以下项中的至少一个:

有源红外运动捕获标记,其中所述运动捕获标记发射红外光;以及

无源红外运动捕获标记,其中所述运动捕获标记反射红外光。

条款35:根据条款19或21至34中任一项所述的系统,其中,所述运动捕获标记包括多个运动捕获标记。

条款36:根据条款19或21至35中任一项所述的系统,其中,所述硬件组件与以下项中的至少一个相关联:照相机图像传感器、激光雷达传感器、雷达传感器、压力传感器、所述运载工具的附件、所述运载工具的轮胎、所述运载工具的轮辋、所述运载工具的把手、所述运载工具的反射镜、所述运载工具的面板、所述运载工具的窗户、所述运载工具的门、所述运载工具的后备箱、所述运载工具的发动机罩、所述运载工具的天窗、所述运载工具的锁以及封闭在所述运载工具内的组件。

条款37:根据条款19或21至36中任一项所述的系统,其中,为了确定所述硬件组件的位置,所述指令的执行进一步使所述至少一个处理器确定所述硬件组件的外部标定。

条款38:根据条款20所述的至少一个非暂时性存储介质,其中,为了将所述硬件组件警报路由,所述指令的执行进一步使所述计算系统将所述硬件组件警报路由到机器人装置,其中所述指令的执行进一步使所述计算系统进行以下操作:

使所述机器人装置至少部分地基于所述硬件组件警报来对所述硬件组件进行标定。

条款39:根据条款20或38所述的至少一个非暂时性存储介质,其中,所述硬件组件包括传感器,其中所述硬件组件的位置是所述硬件组件的第一位置,其中为了将所述硬件组件警报路由,所述指令的执行进一步使所述计算系统将所述硬件组件警报路由到机器人装置,其中所述指令的执行进一步使所述计算系统进行以下操作:

使所述机器人装置至少部分地基于所述硬件组件警报来将所述硬件组件从所述硬件组件的所述第一位置调整到所述硬件组件的第二位置;

在使所述机器人装置将所述硬件组件从所述硬件组件的所述第一位置调整到所述硬件组件的所述第二位置之后,接收与所述传感器相关联的传感器数据;以及

利用所述传感器数据。

条款40:根据条款20或38至39中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记在固定位置附接到所述硬件组件。

条款41:根据条款20或38至40中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记附接到与所述硬件组件相关联的外壳,其中所述外壳与所述硬件组件在固定位置配合。

条款42:根据条款20或38至41中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记附接到所述硬件组件或与所述硬件组件相关联的外壳,其中所述指令的执行进一步使所述计算系统进行以下操作:

识别所述标定阈值,其中为了识别所述标定阈值,所述指令的执行进一步使所述计算系统进行以下操作:

接收与所述运动捕获传感器相关联的初始运动捕获传感器数据;

至少部分地基于所述初始运动捕获传感器数据来确定所述硬件组件的初始位置;以及

至少部分地基于所述硬件组件的初始位置来确定所述标定阈值。

条款43:根据条款20或38至42中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记包括能够移除的运动捕获标记,其中所述运动捕获标记附接到所述硬件组件中的多个位置中的任何位置。

条款44:根据条款20或38至43中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记包括能够移除的运动捕获标记,其中所述运动捕获标记附接到所述硬件组件中的多个位置中的任何位置,其中所述指令的执行进一步使所述计算系统进行以下操作:

经由计算装置接收所述标定阈值。

条款45:根据条款20或38至44中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记被附接到所述硬件组件,其中所述指令的执行进一步使所述计算系统进行以下操作:

识别所述运动捕获标记和所述硬件组件之间的关系,其中确定所述硬件组件的位置还至少部分地基于所述运动捕获标记和所述硬件组件之间的关系。

条款46:根据条款20或38至45中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记被附接到所述运动捕获传感器的靶标,其中为了接收与所述运动捕获传感器相关联的运动捕获传感器数据,所述指令的执行进一步使所述计算系统使用所述运动捕获传感器来捕获所述靶标的图像,其中所述运动捕获传感器数据包括所述靶标的图像。

条款47:根据条款20或38至46中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获传感器数据是第一运动捕获传感器数据,所述运动捕获传感器是第一运动捕获传感器,所述运动捕获标记是第一运动捕获标记,并且所述参考点是第一参考点,其中所述第一运动捕获标记附接到所述第一运动捕获传感器,其中所述指令的执行进一步使所述计算系统进行以下操作:

接收与第二运动捕获传感器相关联的第二运动捕获传感器数据,所述第二运动捕获传感器数据至少包括第二运动捕获标记的位置和所述运载工具上的第二参考点的位置,其中所述第二运动捕获标记附接到所述第二运动捕获传感器的靶标,其中接收与所述第二运动捕获传感器相关联的第二运动捕获传感器数据包括使用所述第二运动捕获传感器来捕获所述靶标的图像,其中所述第二运动捕获传感器数据包括所述靶标的图像。

条款48:根据条款20或38至47中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获传感器数据是第一运动捕获传感器数据,所述运动捕获传感器是第一运动捕获传感器,所述运动捕获标记是第一运动捕获标记,所述参考点是第一参考点,所述标定阈值是第一标定阈值,所述硬件组件警报是第一硬件组件警报,并且所述硬件组件是第一硬件组件,其中所述指令的执行进一步使所述计算系统进行以下操作:

接收与第二运动捕获传感器相关联的第二运动捕获传感器数据,所述第二运动捕获传感器数据至少包括第二运动捕获标记的位置和所述运载工具上的第二参考点的位置;

至少部分地基于所述第二运动捕获传感器数据来确定与所述运载工具相关联的第二硬件组件相对于所述运载工具上的所述第二参考点的位置;

确定为所述第二硬件组件的位置满足与所述第二硬件组件相关联的第二标定阈值;

至少部分地基于确定为所述第二硬件组件的位置满足与所述第二硬件组件相关联的所述第二标定阈值来确定与所述第二硬件组件相关联的第二硬件组件警报;以及

将所述第二硬件组件警报路由,其中所述第二硬件组件警报识别出所述第二硬件组件被标定。

条款49:根据条款20或38至48中任一项所述的至少一个非暂时性存储介质,其中,所述运载工具上的参考点包括所述运载工具以及与所述运载工具相关联的附加硬件组件中的至少一个。

条款50:根据条款20或38至49中任一项所述的至少一个非暂时性存储介质,其中,至少部分地基于所述硬件组件警报来将所述硬件组件路由以供再标定。

条款51:根据条款20或38至50中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记包括以下项中的至少一个:

有源红外运动捕获标记,其中所述运动捕获标记发射红外光;以及

无源红外运动捕获标记,其中所述运动捕获标记反射红外光。

条款52:根据条款20或38至51中任一项所述的至少一个非暂时性存储介质,其中,所述运动捕获标记包括多个运动捕获标记。

条款53:根据条款20或38至52中任一项所述的至少一个非暂时性存储介质,其中,所述硬件组件与以下项中的至少一个相关联:照相机图像传感器、激光雷达传感器、雷达传感器、压力传感器、所述运载工具的附件、所述运载工具的轮胎、所述运载工具的轮辋、所述运载工具的把手、所述运载工具的反射镜、所述运载工具的面板、所述运载工具的窗户、所述运载工具的门、所述运载工具的后备箱、所述运载工具的发动机罩、所述运载工具的天窗、所述运载工具的锁以及封闭在所述运载工具内的组件。

条款54:根据条款20或38至53中任一项所述的至少一个非暂时性存储介质,其中,为了确定所述硬件组件的位置,所述指令的执行进一步使所述计算系统确定所述硬件组件的外部标定。

相关申请

本申请要求2022年5月24日提交的标题为“COMPONENT CALIBRATION USINGMOTION CAPTURE SENSOR DATA”的美国专利申请17/664830的优先权,其通过引用而被全部并入本文。

相关技术
  • 传感器系统、传感器组件及使用焊接进行密封的组装方法
  • 获取深度传感器标定数据的方法、装置及标定系统
  • 姿态标定方法及基于微传感器的人体运动捕获系统
  • 一种基于无线方式捕获和校准运动数据的传感器模块
技术分类

06120116481495