掌桥专利:专业的专利平台
掌桥专利
首页

车载传感器的标定质量在线校验方法、装置和电子设备

文献发布时间:2024-04-18 19:58:53


车载传感器的标定质量在线校验方法、装置和电子设备

技术领域

本申请涉及自动驾驶技术领域,尤其涉及一种车载传感器的标定质量在线校验方法、装置和电子设备。

背景技术

随着人工智能与5G技术的发展,越来越多的公司和高校专注于自动驾驶汽车(Autonomous Vehicles)的研究。自动驾驶汽车是一种通过车载电脑系统实现无人驾驶的智能汽车系统,又称无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,包括感知系统、决策系统、执行系统、通信系统。其中感知系统是自动驾驶智能化的核心,而传感器的标定是维护感知系统正常运行的基础。

当前,车载传感器的标定方法多为离线标定,比如用标定车间或者人工标定,将初始外参标定好,但是自动驾驶车辆行驶中或者经过一段时间,由于振动等各种因素造成传感器的相对位姿发生变化。

针对上述问题,现有技术在发现车辆在长久使用过程中出现标定参数问题时,要么直接回厂重标,要么采用在线标定方案重新计算标定参数。但是回厂重标耗时长、成本高、用户体验差,现有在线标定方案大多是基于图像数据和点云数据的线性特征的匹配,现有的匹配算法难以得到精度较高在线标定结果。

发明内容

针对现有技术中存在的上述问题,本申请实施例提供了一种车载传感器的标定质量在线校验方法、装置和电子设备,对车载传感器的标定质量进行量化校验,以基于量化的校验结果制定相应的维护方案。

本申请实施例采用下述技术方案:

第一方面,本申请实施例提供一种车载传感器的标定质量在线校验方法,所述方法包括:

获取当前帧的感知数据与真值数据,其中所述感知数据是根据车载传感器对障碍物的感知信息获得,所述感知数据包括一个以上的感知目标以及每个感知目标的感知位置与感知属性;所述真值数据是通过路侧智能终端发送的路侧智能终端信息获得,所述真值数据包括一个真值目标以及真值目标的真值位置与真值属性;

根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标;

在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果;

根据所述标定质量校验结果确定所述车载传感器的维护方案,以根据所述车载传感器的维护方案对所述车载传感器进行维护。

第二方面,本申请实施例还提供一种车载传感器的标定质量在线校验装置,所述装置包括:

数据获取单元,用于获取当前帧的感知数据与真值数据,其中所述感知数据是根据车载传感器对障碍物的感知信息获得,所述感知数据包括一个以上的感知目标以及每个感知目标的感知位置与感知属性;所述真值数据是通过路侧智能终端发送的路侧智能终端信息获得,所述真值数据包括一个真值目标以及真值目标的真值位置与真值属性;

目标匹配单元,用于根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标;

标定质量校验单元,用于在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果;

维护方案确定单元,用于根据所述标定质量校验结果确定所述车载传感器的维护方案,以根据所述车载传感器的维护方案对所述车载传感器进行维护。

第三方面,本申请实施例还提供一种电子设备,包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行车载传感器的标定质量在线校验方法。

第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行车载传感器的标定质量在线校验方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:

本申请实施例将路侧智能终端发送的路侧智能终端信息作为真值数据,将车载传感器提供的障碍物感知信息作为待校验的感知数据,根据真值数据和感知数据对车载传感器的标定质量进行校验,如此通过多设备协同感知方案,提高标定质量的校验准确度,此外本申请实施例还根据标定质量校验结果确定适合车载传感器的维护方案,在一定程度上提高了车载传感器的重标定效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1为本申请实施例中示出的一种车载传感器的标定质量在线校验方法流程图;

图2为本申请实施例中示出的一种基于多设备协同信息交互协议的数据包结构示意图;

图3为本申请实施例中示出的一种标定质量在线校验及补充的流程示意图;

图4为本申请实施例中示出的一种车载传感器的标定质量在线校验装置的结构示意图;

图5为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

以下结合附图,详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种车载传感器的标定质量在线校验方法,如图1所示,提供了本申请实施例中一种车载传感器的标定质量在线校验方法的流程示意图,所述方法包括如下的步骤S110至步骤S140:

步骤S110,获取当前帧的感知数据与真值数据,其中所述感知数据是根据车载传感器对障碍物的感知信息获得,所述感知数据包括一个以上的感知目标以及每个感知目标的感知位置与感知属性;所述真值数据是通过路侧智能终端发送的路侧智能终端信息获得,所述真值数据包括一个真值目标以及真值目标的真值位置与真值属性。

本申请实施例的自动驾驶车辆可以通过车路协同通信链路与路侧智能终端进行信息交互,接收路侧智能终端发送的消息数据,其中车路协同通信链路例如为5G通信链路、C-V2X通信链路等,路侧智能终端包括路侧设备和/或联网车辆,路侧设备例如包括路侧智能杆、安装于路侧智能杆上的路侧传感器等位置固定的可被车载传感器感知的设备,联网车辆是指可以通过车路协同通信链路向自动驾驶车辆提供其自身实时位置、车辆类型、车辆尺寸等信息的车辆。

在本申请实施例的应用场景中,路侧智能终端会向自动驾驶车辆发送携带其自身信息(例如路侧智能终端的位置、属性等信息)的消息数据,自动驾驶车辆接收各个路侧智能终端发送的消息数据并将消息数据中的路侧智能终端的位置、属性等信息作为当前帧的真值数据。

例如,自动驾驶车辆的周围路侧终端、周围联网车辆分别向自动驾驶车辆发送携带其位置与属性等信息的消息数据,自动驾驶车辆通过解析各个消息数据,将各个周围路侧终端、各个周围联网车辆的位置与属性等信息作为真值数据。

此外,自动驾驶车辆上安装有摄像头、激光雷达、毫米波雷达等车载传感器,完成初始标定后即可实时正常的采集数据。每种车载传感器按照其设定工作频率采集车辆周围的环境数据,并对采集到的每帧环境数据进行障碍物检测,获得障碍物感知信息,本申请实施例将每种车载传感器基于每帧环境数据检测到的障碍物感知信息作为感知数据,本申请实施例中的障碍物可以理解为各种交通参与者,例如为车辆、交通信号设备(例如交通信号灯、路障等)、行人、路侧设备、路侧建筑物。

如此,本申请实施例可以将各个路侧智能终端发送的路侧智能终端信息和各种车载传感器发送的障碍物感知信息进行时间同步校验,将满足时间同步校验的路侧智能终端信息作为当前帧的真值数据,以及将满足时间同步校验的每种车载传感器提供的障碍物感知信息作为当前帧的感知数据。

需要说明的是,每帧真值数据与一个路侧智能终端对应,每帧真值数据包括该路侧智能终端的位置与属性,属性例如包括尺寸、类型等信息;每帧感知数据与一种车载传感器对应,每帧感知数据一般情况下包括该车载传感器感知的所有障碍物的感知位置与感知数据,感知属性包括感知尺寸、感知类型等感知信息,为便于说明,本申请下述实施例以当前帧的感知数据只包括一帧,来自一种车载传感器为例,在实际应用中,当前帧的感知数据也可以包括多帧,来自多种车载传感器,在当前帧的感知数据包括多帧时,其余帧感知数据的处理过程可参考本申请实施例的相关描述。

步骤S120,根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标。

通过本步骤将当前帧的感知目标与真值目标进行目标匹配,能够检测车载传感器感知到的所有感知目标中是否存在路侧智能终端感知目标,如果存在,可以根据相互匹配的真值目标与感知目标定量检测该车载传感器的位置感知偏差,为后续对车载传感器的标定质量的校验提供基础。

步骤S130,在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果。

根据前述步骤可知,真值数据中包括真值目标的真值位置,该真值位置是由路侧智能终端提供,例如路侧设备在安装部署时,本地会存储该路侧设备的基本信息,基本信息至少记录了自身位置和包括尺寸、类型在内的属性数据;或者路侧设备自身设置有GPS等位置感知设备,路侧设备可以通过本地存储文件或通过自身的GPS等位置感知设备获取其自身信息。而联网车辆可以通过其感知系统获取自身实时位置、自身尺寸、自身类型等消息并提供给自动驾驶车辆。可见,本申请实施例中的真值数据与车载传感器无关,将此类数据作为真值数据对车载传感器的标定质量进行校验,能够提高校验结果的准确性和可靠性。

而本申请实施例中的感知数据是由车载传感器提供,以车载摄像头为例,在通过车载摄像头对自动驾驶车辆的周围障碍物进行感知时,需要通过车载摄像头的标定参数计算车辆周围的障碍物的感知位置,因此在确定出车载传感器感知到的某个感知目标与真值目标为同一物体时,可以基于感知目标的感知位置与真值目标的真值位置衡量感知目标的偏差情况,进而根据偏差情况对车载传感器的标定质量进行量化校验,如此可以确定车载传感器当前的标定质量适用于哪种维护方案。

步骤S140,根据所述标定质量校验结果确定所述车载传感器的维护方案,以根据所述车载传感器的维护方案对所述车载传感器进行维护。

本申请实施例可以事先制定多种维护方案,例如当标定质量校验结果指示车载传感器当前的标定质量合格时,此时的维护方案可以为继续监测,即继续对该车载传感器的标定质量进行监测;当标定质量校验结果指示车载传感器当前的标定质量不合格时,此时的维护方案为在线补偿,即对该车载传感器的每个感知目标的感知位置进行在线补偿;当标定质量校验结果指示车载传感器当前的标定质量告警时,此时的维护方案为离线重标定,例如通知维护人员对该车载传感器进行返厂标定。

其中,“标定质量告警”与“标定质量不合格”的主要区别在于,标定质量不合格时,车载传感器对障碍物的位置感知偏差较小,可以通过在线补偿方式克服标定参数误差导致的上述位置感知偏差;而标定质量告警时,车载传感器对障碍物的位置感知偏差较大,此时通过在线补偿方式将无法克服标定参数误差导致的上述位置感知偏差,只能通过离线方式进行重新标定。

如图1所示的车载传感器的标定质量在线校验方法可知,本申请实施例将路侧智能终端发送的路侧智能终端信息作为真值数据,将车载传感器提供的障碍物感知信息作为待校验的感知数据,根据真值数据和感知数据对车载传感器的标定质量进行校验,如此通过多设备协同感知方案,能够提高标定质量的校验准确度,此外本申请实施例还根据标定质量校验结果确定适合车载传感器的维护方案,在一定程度上提高了车载传感器的标定效率。

在本申请的一些实施例中,上述步骤S110中,获取当前帧的感知数据与真值数据,具体包括:

首先,根据预先制定的多设备协同信息交互协议对来自路侧智能终端的第一数据包与来自车载传感器的第二数据包进行解析,获得第一数据包对应的第一解析结果和第二数据包对应的第二解析结果。

其中所述第一解析结果包括第一数据包的第一时间戳和所述路侧智能终端信息,所述路侧智能终端信息包括路侧智能终端的标识及其位置与属性,所述第二解析结果包括第二数据包的第二时间戳和一个以上的障碍物感知信息,所述障碍物感知信息包括障碍物的标识及其感知位置与感知属性。

其次,根据所述第一时间戳和所述第二时间戳确定所述第一数据包与所述第二数据包是否时间同步。

例如计算第一数据包与第二数据包的时间戳差值,将该时间戳差值与预设的时差阈值进行比较,若该时间戳差值不大于时差阈值,则确定第一数据包与第二数据包时间同步,否则确定第一数据包与第二数据包时间不同步,当第一数据包与第二数据包时间不同步时,结束本次在线校验,并生成时差告警日志,继续采集下一帧真值数据和感知数据,若连续多帧数据都不满足时间同步,则生成时差告警提醒。其中时差阈值可以根据经验设定。

当所述第一数据包与所述第二数据包时间同步时,根据所述第一解析结果获得当前帧的所述真值数据,其中是将所述路侧智能终端作为真值目标,将所述路侧智能终端的位置与属性作为所述真值目标的真值位置与真值属性;以及根据所述第二解析结果获得当前帧的所述感知数据,其中是将每个障碍物作为感知目标,将每个障碍物的感知位置与感知属性作为所述感知目标的感知位置与感知属性。

在一些场景中,可以事先制定多设备协同信息交互协议,该交互协议规定数据包格式,数据包格式参考图2所示,数据头携带时间戳、设备信息、数据包ID等,数据体携带真值目标或感知目标,当数据包由路侧智能终端生成时,数据体携带真值目标,真值目标具体为路侧智能终端的标识;当数据包由车载传感器或自动驾驶车辆的感知系统生成时,数据体携带感知目标,感知目标具体为车载传感器感知的所有障碍物的标识,其中数据体还携带真值目标或感知目标的位置与属性等信息。数据包还包括数据结尾标识符,数据结尾标识符可以灵活设置,本申请对此不作具体限制。

需要说明的是,本实施例通过自定义的多设备协同信息交互协议可以保证信息安全传输,在其他实施例中,路侧智能终端与自动驾驶车辆也可以基于现有通信协议进行消息交互。

在本申请的一些实施例中,当前帧的真值数据包括一帧或多帧,每帧真值数据包括不同的真值目标,例如当前帧的真值数据包括三帧,其中一帧来自路侧智能杆,一帧来自安装在路侧智能杆上的路侧传感器,另一帧来自周围的联网车辆,如此当前帧中第一帧真值数据的真值目标对应为路侧智能杆,第二帧真值数据的真值目标对应为路侧传感器、第三帧真值数据的真值目标对应为联网车辆。

基于所述应用场景,上述步骤S120中根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标,具体包括:

根据当前帧中每个感知目标的感知位置与感知属性,以及根据当前帧中每个真值目标的真值位置与真值属性,获取当前帧中每个真值目标与当前帧中每个感知目标的多维度距离特征;

根据所述当前帧中每个真值目标与当前帧中每个感知目标的多维度距离特征,获取当前帧中每个真值目标与当前帧中每个感知目标的相似度;

根据所述当前帧中每个真值目标与当前帧中每个感知目标的相似度,确定当前帧的感知目标中是否存在与当前帧的该真值目标属于同一路侧智能终端的路侧智能终端感知目标。

例如在一些场景中,可以根据当前帧中每帧真值目标的真值位置和当前帧中每个感知目标的感知位置,通过最近邻匹配算法计算当前帧中每帧真值目标与当前帧中每个感知目标之间的欧式距离distance_o;以及根据当前帧中每帧真值目标的真值位置、真值属性(例如为真值尺寸和/或真值类型)和当前帧中每个感知目标的感知位置、感知属性(例如为感知尺寸和/或感知类型),计算当前帧中每帧真值目标与当前帧中每个感知目标之间的马氏距离distance_m;基于上述假设,那么可以得到三组数据,第一组数据对应的实际物体为路侧智能杆,第二组数据对应的实际物体为路侧传感器,第三组数据对应的实际物体为联网车辆。

然后根据公式simular=w1*distance_o+w2*distance_m对三组数据进行相似度计算,对三组数据的各个相似度计算结果进行排序,获得每种数据对应的相似度最大值;这里w1、w2为权重因子,w1+w2=1。

需要说明的是,本申请实施例为了避免路侧智能终端的高程信息对目标匹配、车载传感器的位置感知偏差的影响,本申请实施例的位置可以理解为路基位置,例如在XYZ坐标系下,Z轴数据可以为统一设定为确定值。

最后,根据这三组数据中的相似度最大值判断当前帧的感知目标中是否存在路侧智能杆感知目标、路侧传感器感知目标和联网车辆感知目标。

在本实施例的一些实现方案中,根据所述当前帧中每个真值目标与当前帧中每个感知目标的相似度,确定当前帧的感知目标中是否存在与当前帧的该真值目标属于同一路侧智能终端的路侧智能终端感知目标,具体包括:

从当前帧中该真值目标与当前帧的每个感知目标的相似度中确定相似度最大值simular_max,并将所述相似度最大值simular_max与预设的相似度阈值Match_Thresh进行比较;

若所述相似度最大值simular_max大于所述相似度阈值Match_Thresh,则确定所述相似度最大值对应的感知目标与当前帧的该真值目标属于同一路侧智能终端;

若所述相似度最大值simular_max不大于所述相似度阈值Match_Thresh,则确定当前帧中不存在与当前帧的该真值目标属于同一路侧智能终端的感知目标。

仍基于上述假设,若上述三组数据中每组数据对应的相似度最大值大于相似度阈值,即simular_max>Match_Thresh,则可以说明该相似度最大值对应的真值目标与感知目标相互匹配,两者对应为同一物体,此时能够确定当前帧的感知目标中存在路侧智能杆感知目标、路侧传感器感知目标和联网车辆感知目标。相反的,若上述三组数据中每组数据对应的相似度最大值均不大于相似度阈值,即simular_max≤Match_Thresh,则可以说明当前帧中不存在于匹配的感知目标,此时能够确定当前帧的感知目标中不存在路侧智能杆感知目标、路侧传感器感知目标和联网车辆感知目标。

如此,通过上述实施例能够取确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标,在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,上述步骤S130中根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果,具体包括:

根据当前帧中属于同一路侧智能终端的真值目标的真值位置与路侧智能终端感知目标的感知位置,获取所述车载传感器当前的位置感知偏差;

根据所述车载传感器当前的位置感知偏差,获取所述车载传感器的标定质量校验结果。

本申请实施例在计算车载传感器当前的位置感知偏差时,可以对车载传感器的多点位置感知结果进行统计,基于一段时间的统计结果衡量车载传感器当前的位置感知偏差,提高位置感知偏差的计算准确性与可靠性。

具体的,在本实施例的一些可能实现方案中,根据当前帧中属于同一路侧智能终端的真值目标的真值位置与路侧智能终端感知目标的感知位置,获取所述车载传感器当前的位置感知偏差,具体包括:

首先,根据所述车载传感器的标定参数将当前帧中属于同一路侧智能终端的真值目标的真值位置与路侧智能终端感知目标的感知位置转换到同一坐标系下;这里的同一坐标系可以为世界坐标系、车体坐标系或车载传感器坐标系。

例如,在一些场景中,假设当前车载传感器为车载摄像头,则可以根据车载摄像头的标定参数和真值位置将当前帧中每帧真值数据中的真值目标投影到图像坐标系中,如此,可以在图像坐标系下计算出真值目标与路侧智能终端感知目标之间的位置偏差,其中坐标转换方案可以参考现有技术,本申请实施例在此不详细举例说明。

接着,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标在同一坐标系下的位置,获取所述车载传感器在当前帧的帧内位置感知偏差。

若当前帧中有n对属于同一路侧智能终端的真值目标与路侧智能终端感知目标,可以根据n对目标对之间的位置偏差的均值或加权值计算车载传感器在当前帧的帧内位置感知偏差。以前文假设的当前帧中存在三个目标对为例,即路侧智能杆对应的目标对、路侧传感器对应的目标对和联网车辆对应的目标对时,可以将三个目标对的位置偏差均值作为车载摄像头在当前帧的帧内位置偏差均值。例如可以根据公式(1)计算车载摄像头在当前帧帧内位置偏差均值。

在上述公式(1)中,Pixel_base_i为真值目标在图像坐标系中的位置坐标,

然后,对当前帧在内的连续M帧的所述帧内位置感知偏差进行偏差统计,获取所述车载传感器在当前帧的帧内位置感知偏差统计结果,所述帧内位置感知偏差统计结果包括帧内位置感知偏差的平均值和方差值,M为大于1的正整数。

最后,根据所述车载传感器在当前帧的帧内位置感知偏差统计结果,获取所述车载传感器当前的位置感知偏差。

可见,本实施例在获得车载传感器的帧内位置感知偏差时,还可以对一段时间内的多点帧内位置感知偏差进行统计,获取多点帧内位置感知偏差对应的平均值YM_mean和方差值YM_diff,通过连续M帧的帧内位置感知偏差统计结果来衡量车载传感器当前的位置感知偏差。

如此,在获得车载传感器当前的位置感知偏差之后,在本实施例的另一些实现方案中,根据所述车载传感器当前的位置感知偏差,获取所述车载传感器的标定质量校验结果,具体包括:

将所述方差值YM_diff与预设的安全方差阈值YThresh_diff进行比较,若所述方差值YM_diff大于所述安全方差阈值YThresh_diff,则确定所述车载传感器的标定质量校验结果为标定质量告警;这里安全方差阈值可以根据经验设定,当方差值YM_diff大于安全方差阈值YThresh_diff时,说明车载传感器对障碍物的位置感知偏差波动程度较剧烈,此情况下,该车载传感器的标定参数误差较大,需要离线重标定。

若所述方差值YM_diff不大于所述安全方差阈值YThresh_diff,说明车载传感器对障碍物的位置感知偏差波动程度较平缓,此时可以将所述平均值YM_mean与预设的安全平均阈值YThresh_mean进行比较,若所述平均值YM_mean大于所述安全平均阈值YThresh_mean,则确定所述车载传感器的标定质量校验结果为标定质量不合格,此时对该车载传感器的每个感知目标的感知位置进行在线补偿;若所述平均值YM_mean不大于YThresh_mean所述安全平均阈值,则确定所述车载传感器的标定质量校验结果为标定质量合格,此时继续对该车载传感器的标定质量进行监测。

根据上述实施例可知,在本申请实施例中,关于车载传感器的标定质量校验结果包括三种,分别为标定质量告警、标定质量不合格和标定质量合格。

在本申请的一些实施例中,上述步骤S140中根据所述标定质量校验结果确定所述车载传感器的维护方案,具体包括:

当所述车载传感器的标定质量校验结果为标定质量告警时,确定所述车载传感器的维护方案为离线重标定;

当所述车载传感器的标定质量校验结果为标定质量合格时,确定所述车载传感器的维护方案为继续监测;

当所述车载传感器的标定质量校验结果为标定质量不合格时,确定所述车载传感器的维护方案为在线补偿。

在本实施例的一些可能实现方案中,当所述车载传感器的标定质量校验结果为标定质量合格时,还可以更新标定质量合格的累计次数,若更新后的标定质量合格的累计次数大于相应的次数阈值,则确定车载传感器的维护方案为继续监测,如此可以提高所确定的维护方案的准确性。

在本实施例的另一些可能实现方案中,当所述车载传感器的标定质量校验结果为标定质量不合格时,还可以更新标定质量不合格的累计次数,若更新后的标定质量不合格的累计次数大于预设的次数阈值,则确定所述车载传感器的维护方案为离线重标定;即在一些场景中,可能存在经过多次在线补偿仍然无法克服标定参数误差导致的感知偏差的情况,针对该情况下,本实施例对车载传感器进行离线重标定。

若更新后的标定质量不合格的累计次数不大于所述次数阈值,则确定所述车载传感器的维护方案为在线补偿。如此,结合标定质量不合格的累计次数可以提高所确定的维护方案的准确性。

可以理解的是,上述两种次数阈值可以相同也可以不同,本领域技术人员可以根据经验设置上述次数阈值。

在本申请的一些实施例中,当确定所述车载传感器的维护方案为在线补偿时,可以通过下述步骤执行在线补偿:

获取位置补偿值;例如,在一些场景中,可以根据所述车载传感器在当前帧的帧内位置感知偏差和预设的缩放系数获取位置补偿值,例如将缩放系数与车载传感器在当前帧的帧内位置感知偏差的乘积作为位置补偿值,其中缩放系数为小于1的正数,通过缩放系数控制感知位置的补偿精度,避免单次补偿值过大对自动驾驶车辆的行车安全造成不良影响;可以理解的是,在其他场景中,也可以根据车载传感器的帧内位置感知偏差的平均值和预设的缩放系数获取位置补偿值。

根据所述位置补偿值生成位置补偿命令,以根据所述位置补偿命令控制所述车载传感器对下一帧感知数据中的障碍物感知信息进行位置补偿。

需要说明的是,本申请实施例的自动驾驶车辆可以在遇红灯临时停车等非行驶状态下执行关于车载传感器的标定质量在线校验方法,以避免执行在线补偿方案时,对自动驾驶车辆的行驶状态产生不良影响。

下面结合图3详细说明本申请实施例关于车载摄像头的标定质量的在线校验过程和关于车载摄像头的每个感知目标的感知位置的在线补偿过程。

在确定自动驾驶车辆当前的行驶状态符合在线校验条件时,例如自动驾驶车辆当前处于非行驶状态,则可以确定其符合在线校验条件,此时可以开始对车载摄像头的标定质量进行在线校验,如图3所示,启动标定检测系统节点,监听路侧智能终端的发送数据与车载摄像头的发送数据,对接收到的数据帧进行时间同步校验,当两帧数据通过时间同步校验时,对两帧数据中的真值目标与感知目标进行目标匹配,若匹配不成功,则继续监听下一帧数据;若匹配成功,则根据相互匹配的真值目标与感知目标的位置信息对车载摄像头的标定质量进行校验,当标定质量校验结果为标定质量不合格时,将真值目标的真值位置映射到车载摄像头的图像坐标系中,根据真值目标的映射位置和感知目标的感知位置计算车载摄像头当前的位置感知偏差,并根据缩放系数控制位置补偿值的精细度,利用位置补偿值对车载摄像头下一帧中每个感知目标进行位置补偿,如此,当车载摄像头的标定参数误差较小的情况下,经过闭环的在线位置补偿能够提高车载摄像头的位置感知精度,弥补标定参数误差产生的不良影响。

基于本申请的上述实施例可知,本申请提供了一种基于车路协同的标定质量在线校验方案,能够在自动驾驶车辆行驶或等待过程中利用路侧智能终端对车载传感器的标定质量进行实时校验,根据实时校验结果确定适用于车载传感器的维护方案,避免在标定参数误差较小的情况下直接返厂标定;本申请实施例在确定车载传感器需要在线补偿时,是利用车路协同方案确定出位置补偿值,如此可以避免仅利用车载传感器采集的环境数据计算标定结果导致的标定结果精度低,标定结果不可靠的问题;并且在进行在线补偿时,通过缩放系数对车载传感器的障碍物感知位置进行微调,能够降低在线补偿对自动驾驶车辆的行驶安全的影响;此外,本申请还通过自定义的多设备协同信息交互协议实现路侧智能终端与自动驾驶车辆之间的信息交互,保证信息传输的安全性和便捷性;以及在真值数据与感知数据的目标匹配阶段,基于欧氏距离和马氏距离作为多维度距离特征进行关联性计算,提高真值目标与感知目标之间匹配的准确度,从而提高车载传感器的标定质量的准确度。

本申请实施例还提供了一种车载传感器的标定质量在线校验装置400,如图4所示,提供了本申请实施例中一种车载传感器的标定质量在线校验装置的结构示意图,所述装置400包括:数据获取单元410、目标匹配单元420、标定质量校验单元430、和维护方案确定单元440,其中:

数据获取单元410,用于获取当前帧的感知数据与真值数据,其中所述感知数据是根据车载传感器对障碍物的感知信息获得,所述感知数据包括一个以上的感知目标以及每个感知目标的感知位置与感知属性;所述真值数据是通过路侧智能终端发送的路侧智能终端信息获得,所述真值数据包括一个真值目标以及真值目标的真值位置与真值属性;

目标匹配单元420,用于根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标;

标定质量校验单元430,用于在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果;

维护方案确定单元440,用于根据所述标定质量校验结果确定所述车载传感器的维护方案,以根据所述车载传感器的维护方案对所述车载传感器进行维护。

在本申请的一个实施例中,当前帧的真值数据包括一帧或多帧,每帧真值数据包括不同的真值目标,目标匹配单元420,具体用于根据当前帧中每个感知目标的感知位置与感知属性,以及根据当前帧中每个真值目标的真值位置与真值属性,获取当前帧中每个真值目标与当前帧中每个感知目标的多维度距离特征;根据所述当前帧中每个真值目标与当前帧中每个感知目标的多维度距离特征,获取当前帧中每个真值目标与当前帧中每个感知目标的相似度;根据所述当前帧中每个真值目标与当前帧中每个感知目标的相似度,确定当前帧的感知目标中是否存在与当前帧的该真值目标属于同一路侧智能终端的路侧智能终端感知目标。

在本申请的一个实施例中,目标匹配单元420,具体用于从当前帧中该真值目标与当前帧的每个感知目标的相似度中确定相似度最大值,并将所述相似度最大值与预设的相似度阈值进行比较;若所述相似度最大值大于所述相似度阈值,则确定所述相似度最大值对应的感知目标与当前帧的该真值目标属于同一路侧智能终端;若所述相似度最大值不大于所述相似度阈值,则确定当前帧中不存在与当前帧的该真值目标属于同一路侧智能终端的感知目标。

在本申请的一个实施例中,标定质量校验单元430,具体用于根据当前帧中属于同一路侧智能终端的真值目标的真值位置与路侧智能终端感知目标的感知位置,获取所述车载传感器当前的位置感知偏差;根据所述车载传感器当前的位置感知偏差,获取所述车载传感器的标定质量校验结果。

在本申请的一个实施例中,标定质量校验单元430,具体用于根据所述车载传感器的标定参数将当前帧中属于同一路侧智能终端的真值目标的真值位置与路侧智能终端感知目标的感知位置转换到同一坐标系下;根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标在同一坐标系下的位置,获取所述车载传感器在当前帧的帧内位置感知偏差;对当前帧在内的连续M帧的所述帧内位置感知偏差进行偏差统计,获取所述车载传感器在当前帧的帧内位置感知偏差统计结果,所述帧内位置感知偏差统计结果包括帧内位置感知偏差的平均值和方差值,M为大于1的正整数;根据所述车载传感器在当前帧的帧内位置感知偏差统计结果,获取所述车载传感器当前的位置感知偏差。

在本申请的一个实施例中,标定质量校验单元430,具体用于将所述方差值与预设的安全方差阈值进行比较,若所述方差值大于所述安全方差阈值,则确定所述车载传感器的标定质量校验结果为标定质量告警;若所述方差值不大于所述安全方差阈值,则将所述平均值与预设的安全平均阈值进行比较,若所述平均值大于所述安全平均阈值,则确定所述车载传感器的标定质量校验结果为标定质量不合格,若所述平均值不大于所述安全平均阈值,则确定所述车载传感器的标定质量校验结果为标定质量合格。

在本申请的一个实施例中,维护方案确定单元440,具体用于当所述车载传感器的标定质量校验结果为标定质量告警时,确定所述车载传感器的维护方案为离线重标定;当所述车载传感器的标定质量校验结果为标定质量合格时,确定所述车载传感器的维护方案为继续监测;当所述车载传感器的标定质量校验结果为标定质量不合格时,确定所述车载传感器的维护方案为在线补偿。

在本申请的一个实施例中,维护方案确定单元440,还用于当所述车载传感器的标定质量校验结果为标定质量不合格时,更新标定质量不合格的累计次数,若更新后的标定质量不合格的累计次数大于预设的次数阈值,则确定所述车载传感器的维护方案为离线重标定;若更新后的标定质量不合格的累计次数不大于所述次数阈值,则确定所述车载传感器的维护方案为在线补偿,并获取位置补偿值,根据所述位置补偿值生成位置补偿命令,以根据所述位置补偿命令控制所述车载传感器对下一帧感知数据中的障碍物感知信息进行位置补偿。

在本申请的一个实施例中,数据获取单元410,具体用于根据预先制定的多设备协同信息交互协议对来自路侧智能终端的第一数据包与来自车载传感器的第二数据包进行解析,获得第一数据包对应的第一解析结果和第二数据包对应的第二解析结果,其中所述第一解析结果包括第一数据包的第一时间戳和所述路侧智能终端信息,所述路侧智能终端信息包括路侧智能终端的标识及其位置与属性,所述第二解析结果包括第二数据包的第二时间戳和一个以上的障碍物感知信息,所述障碍物感知信息包括障碍物的标识及其感知位置与感知属性;根据所述第一时间戳和所述第二时间戳确定所述第一数据包与所述第二数据包是否时间同步;当所述第一数据包与所述第二数据包时间同步时,根据所述第一解析结果获得当前帧的所述真值数据,其中是将所述路侧智能终端作为真值目标,将所述路侧智能终端的位置与属性作为所述真值目标的真值位置与真值属性;以及根据所述第二解析结果获得当前帧的所述感知数据,其中是将每个障碍物作为感知目标,将每个障碍物的感知位置与感知属性作为所述感知目标的感知位置与感知属性。

能够理解,上述车载传感器的标定质量在线校验装置,能够实现前述实施例中提供的车载传感器的标定质量在线校验方法的各个步骤,关于车载传感器的标定质量在线校验方法的相关阐释均适用于车载传感器的标定质量在线校验装置,此处不再赘述。

图5是本申请的一个实施例电子设备的结构示意图。请参考图5,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成车载传感器的标定质量在线校验装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:

获取当前帧的感知数据与真值数据,其中所述感知数据是根据车载传感器对障碍物的感知信息获得,所述感知数据包括一个以上的感知目标以及每个感知目标的感知位置与感知属性;所述真值数据是通过路侧智能终端发送的路侧智能终端信息获得,所述真值数据包括一个真值目标以及真值目标的真值位置与真值属性;

根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标;

在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果;

根据所述标定质量校验结果确定所述车载传感器的维护方案,以根据所述车载传感器的维护方案对所述车载传感器进行维护。

上述如本申请图1所示实施例揭示的车载传感器的标定质量在线校验装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述车载传感器的标定质量在线校验方法的步骤。

该电子设备还可执行图1中车载传感器的标定质量在线校验装置执行的方法,并实现车载传感器的标定质量在线校验装置在图1所示实施例的功能,本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中车载传感器的标定质量在线校验装置执行的方法,并具体用于执行以下操作:

获取当前帧的感知数据与真值数据,其中所述感知数据是根据车载传感器对障碍物的感知信息获得,所述感知数据包括一个以上的感知目标以及每个感知目标的感知位置与感知属性;所述真值数据是通过路侧智能终端发送的路侧智能终端信息获得,所述真值数据包括一个真值目标以及真值目标的真值位置与真值属性;

根据所述当前帧的感知数据与真值数据,确定当前帧的感知目标中是否存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标;

在当前帧的感知目标中存在与当前帧的真值目标属于同一路侧智能终端的路侧智能终端感知目标时,根据当前帧中属于同一路侧智能终端的真值目标与路侧智能终端感知目标对所述车载传感器的标定质量进行校验,获得标定质量校验结果;

根据所述标定质量校验结果确定所述车载传感器的维护方案,以根据所述车载传感器的维护方案对所述车载传感器进行维护。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 倒车导流线标定方法、倒车导流线标定装置及电子设备
  • 一种车载毫米波雷达安装位置的标定装置及其标定方法
  • 裸FBG应变传感器的标定用装置、标定系统及标定方法
  • 一种可计量进料量及在线标定固体质量流量计的粉煤气化装置及其在线标定方法
  • 一种可计量进料量及在线标定固体质量流量计的粉煤气化装置及其在线标定方法
技术分类

06120116513011