掌桥专利:专业的专利平台
掌桥专利
首页

一种参数标定方法、系统、装置及设备

文献发布时间:2023-06-19 11:45:49


一种参数标定方法、系统、装置及设备

技术领域

本申请涉及辅助驾驶领域,尤其是一种参数标定方法、系统、装置及设备。

背景技术

随着图像技术的不断发展,车载全景系统也得到了大量应用,车载全景系统包括安装在车辆上的多个摄像机,如位于车辆前侧的摄像机,位于车辆后侧的摄像机,位于车辆左侧的摄像机,位于车辆右侧的摄像机等。在车辆行驶过程中,这些摄像机实时采集图像,基于多个摄像机采集的多个图像,车载全景系统可以将多个图像拼接成全景图像,即360度的环视图像。车载全景系统可以基于全景图像为驾驶员提供车辆周围情况,为驾驶员的操作提供视觉辅助。

为了使车载全景系统能够生成全景图像,在车辆出厂之前,需要对安装在车辆上的摄像机的相机外参进行标定。例如,为了确定空间物体表面的某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立成像的几何模型,而几何模型的参数就是摄像机的相机外参,而摄像机的相机外参的求解过程就称之为相机外参的标定,摄像机的相机外参的标定是非常关键的环节。

但是,相关技术中,并没有对摄像机的相机外参进行标定的有效方式,无法准确标定相机外参,导致全景图像的成像效果较差,用户体验较差。

发明内容

本申请提供一种参数标定方法,应用于调度设备,所述方法包括:

向机器人发送第一指令,所述第一指令用于指示所述机器人将目标车辆移动到标定场地,以使所述机器人接收到所述第一指令后,将目标车辆移动到所述标定场地的中心位置;接收所述机器人返回的第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;

在接收到第一响应后,向目标车辆发送第二指令,所述第二指令用于指示所述目标车辆启动参数标定,以使所述目标车辆接收到所述第二指令后,获取所述目标车辆上部署的摄像机的相机外参,存储所述相机外参;接收所述目标车辆返回的第二响应,所述第二响应表示所述目标车辆已经完成参数标定;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

示例性的,所述获取所述目标车辆上部署的摄像机的相机外参,包括:通过参数标定控制器获取所述目标车辆上部署的摄像机的相机外参,所述参数标定控制器位于所述目标车辆的车载终端,或者独立于所述目标车辆的车载终端;

通过参数标定控制器获取所述目标车辆上部署的摄像机的相机外参,包括:

通过所述摄像机采集所述标定场地的鱼眼图像,所述鱼眼图像包括所述标定场地的标记图案,从所述标记图案中选取多个关键点;

针对每个关键点,确定所述关键点在所述鱼眼图像中的像素坐标,并获取预先配置的所述关键点在世界坐标系中的物理坐标;

基于所述多个关键点在所述鱼眼图像中的像素坐标,以及所述多个关键点在所述世界坐标系中的物理坐标,获取所述摄像机的相机外参。

示例性的,所述标记图案包括棋盘格图案,所述棋盘格图案包括多个区域;

所述从所述标记图案中选取多个关键点,包括:

从所述棋盘格图案的多个区域中选取感兴趣区域,并将所述感兴趣区域中位于指定位置的像素点选取为关键点;其中,所述指定位置为左上角位置、右上角位置、左下角位置、右下角位置、或中心点位置。

示例性的,所述接收所述目标车辆返回的第二响应之后,所述方法还包括:

向机器人发送第三指令,所述第三指令用于指示所述机器人将目标车辆移动到标定场地之外,以使所述机器人接收到所述第三指令后,将所述目标车辆从标定场地的中心位置移动到所述标定场地之外的指定停车位置;

接收所述机器人返回的第三响应,所述第三响应表示所述机器人已经将所述目标车辆移动到所述标定场地之外的指定停车位置。

示例性的,所述向机器人发送第一指令之前,所述方法还包括:与所述机器人建立第一远程通信连接;所述向机器人发送第一指令,包括:通过所述第一远程通信连接向机器人发送第一指令;所述接收所述机器人返回的第一响应,包括:通过所述第一远程通信连接接收所述机器人返回的第一响应;其中,所述第一远程通信连接具体为:WIFI连接,或4G连接,或5G连接;

所述向目标车辆发送第二指令之前,所述方法还包括:与所述目标车辆建立第二远程通信连接;所述向目标车辆发送第二指令,包括:通过所述第二远程通信连接向目标车辆发送第二指令;所述接收所述目标车辆返回的第二响应,包括:通过所述第二远程通信连接接收所述目标车辆返回的第二响应;其中,所述第二远程通信连接具体为WIFI连接,或4G连接,或5G连接。

示例性的,所述机器人具体为AGV。

本申请提供一种参数标定系统,所述参数标定系统至少包括调度设备,机器人,以及至少一个待标定的目标车辆,其中:

所述调度设备,用于向所述机器人发送第一指令,所述第一指令用于指示所述机器人将所述目标车辆移动到标定场地;

所述机器人,用于在接收到所述第一指令后,将所述目标车辆移动到所述标定场地的中心位置,并向所述调度设备返回第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;

所述调度设备,用于在接收到所述第一响应后,向所述目标车辆发送第二指令,所述第二指令用于指示所述目标车辆启动参数标定;

所述目标车辆,用于在接收到所述第二指令后,获取所述目标车辆上部署的摄像机的相机外参,存储所述相机外参,并向所述调度设备返回第二响应,所述第二响应表示所述目标车辆已经完成参数标定;

所述调度设备,用于接收所述目标车辆返回的所述第二响应;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

示例性的,所述调度设备,用于在接收到所述第二响应后,向机器人发送第三指令,所述第三指令用于指示所述机器人将所述目标车辆移动到标定场地之外;所述机器人,用于在接收到所述第三指令后,将所述目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置,向所述调度设备返回第三响应,所述第三响应表示所述机器人已经将所述目标车辆移动到标定场地之外的指定停车位置;所述调度设备,用于接收所述机器人返回的所述第三响应。

示例性的,所述机器人将所述目标车辆移动到所述标定场地的中心位置时具体用于:基于预先配置的行驶路线移动到所述标定场地,并基于机器人定位技术将所述目标车辆停放至所述标定场地的中心位置;其中,所述标定场地的中心位置具有特殊标记,在将所述目标车辆停放至所述标定场地的中心位置时,所述目标车辆的目标位置与所述标定场地的中心位置的特殊标记重合。

示例性的,所述目标车辆获取所述目标车辆上部署的摄像机的相机外参时具体用于:通过参数标定控制器获取所述目标车辆上部署的摄像机的相机外参,所述参数标定控制器位于所述目标车辆的车载终端,或者独立于所述目标车辆的车载终端;具体为:通过所述摄像机采集所述标定场地的鱼眼图像,所述鱼眼图像包括所述标定场地的标记图案,从所述标记图案中选取多个关键点;

针对每个关键点,确定所述关键点在所述鱼眼图像中的像素坐标,并获取预先配置的所述关键点在世界坐标系中的物理坐标;

基于所述多个关键点在所述鱼眼图像中的像素坐标,以及所述多个关键点在所述世界坐标系中的物理坐标,获取所述摄像机的相机外参。

示例性的,所述标记图案包括棋盘格图案,所述棋盘格图案包括多个区域;

通过参数标定控制器从所述标记图案中选取多个关键点时具体用于:

从所述棋盘格图案的多个区域中选取感兴趣区域,并将所述感兴趣区域中位于指定位置的像素点选取为关键点;其中,所述指定位置为左上角位置、右上角位置、左下角位置、右下角位置、或中心点位置。

本申请提供一种参数标定装置,应用于调度设备,所述装置包括:

发送模块,用于向机器人发送第一指令,所述第一指令用于指示所述机器人将目标车辆移动到标定场地,以使所述机器人接收到所述第一指令后,将所述目标车辆移动到所述标定场地的中心位置;

接收模块,用于接收所述机器人返回的第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;

所述发送模块,还用于在接收到第一响应后,向目标车辆发送第二指令,所述第二指令用于指示目标车辆启动参数标定,以使所述目标车辆接收到所述第二指令后,获取目标车辆上部署的摄像机的相机外参,存储所述相机外参;

所述接收模块,还用于接收所述目标车辆返回的第二响应,所述第二响应表示所述目标车辆已经完成参数标定;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

本申请提供一种调度设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;

所述处理器用于执行机器可执行指令,以实现如下步骤:

向机器人发送第一指令,所述第一指令用于指示所述机器人将目标车辆移动到标定场地,以使所述机器人接收到所述第一指令后,将目标车辆移动到所述标定场地的中心位置;接收所述机器人返回的第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;

在接收到第一响应后,向目标车辆发送第二指令,所述第二指令用于指示所述目标车辆启动参数标定,以使所述目标车辆接收到所述第二指令后,获取所述目标车辆上部署的摄像机的相机外参,存储所述相机外参;接收所述目标车辆返回的第二响应,所述第二响应表示所述目标车辆已经完成参数标定;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

由以上技术方案可见,本申请实施例中,通过向机器人发送第一指令,以使机器人将目标车辆移动到标定场地的中心位置,并向目标车辆发送第二指令,以使目标车辆获取摄像机的相机外参,并存储相机外参,实现相机外参的自动标定,能够对摄像机的相机外参进行有效标定,能够准确标定相机外参,提高全景图像的成像效果,提高用户体验。可以减少相机外参的标定流程,降低标定参数的标定难度,降低车辆标定量产时的人力投入,减少标定场地的建设成本和维护成本,使整个标定流程更自动化,可以有效提升标定量产效率。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的部署多个车载摄像机的示意图;

图2是本申请一种实施方式中的标定场地的示意图;

图3是本申请一种实施方式中的参数标定方法的流程示意图;

图4是本申请一种实施方式中的参数标定方法的流程示意图;

图5是本申请一种实施方式中的参数标定方法的流程示意图;

图6是本申请一种实施方式中的参数标定装置的结构示意图;

图7是本申请一种实施方式中的调度设备的硬件结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参见图1所示,车载全景系统包括安装在车辆上的多个摄像机(即车载摄像机),如位于车辆前侧的摄像机,位于车辆后侧的摄像机,位于车辆左侧的摄像机,位于车辆右侧的摄像机等,这些摄像机也可以称为环视摄像机。在车辆行驶过程中,这些摄像机可以实时采集图像,例如,位于车辆前侧的摄像机采集车辆前方的图像,位于车辆后侧的摄像机采集车辆后方的图像,位于车辆左侧的摄像机采集车辆左方的图像,位于车辆右侧的摄像机采集车辆右方的图像。基于多个摄像机采集的多个图像,车载全景系统能够生成并显示全景视图,从而为驾驶员提供车辆周围情况,为驾驶员的操作提供视觉辅助。

为了使车载全景系统生成全景图像,在车辆出厂之前,需要对安装在车辆上的摄像机的相机参数进行标定,而相机参数可以包括相机内参(即内部参数)和相机外参(即外部参数)。相机内参由(cx,cy,fx,fy,s0,s1,s2,s3)等参数组成,(cx,cy)是主点坐标,(fx,fy)是摄像机焦距,(s0,s1,s2,s3)是摄像机畸变系数,相机内参是与摄像机自身特性相关的参数,关于相机内参的标定过程,本实施例中不做限制。相机外参由(ω,δ,θ,Tx,Ty,Tz)等参数组成,(ω,δ,θ)是三个轴的旋转参数,(Tx,Ty,Tz)是三个轴的平移参数,相机外参用于表示世界坐标系与摄像机坐标系之间的转换关系。

为了对相机外参进行标定,相关技术中,在车辆出厂之前,由工作人员手工标定车辆上的每个摄像机的相机外参。但是,待标定的车辆很多,由工作人员手工标定相机外参时,效率很低,没有对相机外参进行标定的有效方式,无法准确标定相机外参,导致全景图像的成像效果较差,用户体验较差。

针对上述发现,本申请实施例中,通过向机器人发送指令,由机器人将目标车辆移动到标定场地的中心位置,向目标车辆发送指令,由目标车辆获取摄像机的相机外参,实现相机外参的自动标定,能够对摄像机的相机外参进行有效标定,能够准确标定相机外参,提高全景图像的成像效果,提高用户体验。

以下结合具体实施例,对本申请实施例的技术方案进行说明。

本申请实施例中提出一种参数标定方法,用于在车辆出厂之前,对车辆上部署的摄像机的相机外参进行自动标定。为了实现相机外参的自动标定,需要建设标定场地,该标定场地可以包括至少一个标记图案,参见图2所示,为标定场地的示意图,该标定场地包括4个标记图案,如位于车辆左上侧的标记图案、位于车辆左下侧的标记图案、位于车辆右上侧的标记图案、位于车辆右下侧的标记图案等,图2以4个标记图案为例,在实际应用中,标记图案的数量还可以更多或更少。参见图2所示,以标记图案是棋盘格图案为例,在实际应用中,该标记图案还可以是其它类型的图像,对此不做限制。参见图2所示,针对每个标记图案(即棋盘格图案)来说,该标记图案可以包括多个区域,即标记图案的每个矩形是一个区域,图2中以标记图案包括5个区域为例。

参见图2所示,将车辆所在的位置作为标定场地的中心位置,显然,在将车辆放置在标定场地的中心位置后,上述4个标记图案是位于车辆周围,即,通过部署在车辆上的摄像机采集图像时,图像中可以包括上述4个标记图案。

本申请实施例中,参数标定系统至少包括调度设备,机器人,至少一个待标定的目标车辆(为了区分方便,将待标定的每个车辆均称为目标车辆,后续以一个目标车辆为例),综上所述,可以通过调度设备,机器人,以及目标车辆之间的配合,对部署在目标车辆上的摄像机的相机外参进行自动标定。

示例性的,调度设备可以为PC(Personal Computer,个人计算机),终端设备,移动终端,笔记本电脑等,对此调度设备的类型不做限制,只要调度设备能够对机器人进行控制,且调度设备能够对目标车辆进行控制即可。

示例性的,机器人可以为AGV(Automatic Guided Vehicle,自动导引运输车),工业类机器人,消费类机器人,娱乐类机器人,各种无人机等,对此机器人的类型不做限制,只要机器人能够对目标车辆进行移动即可。

示例性的,目标车辆是待标定的车辆,可以是未出厂的车辆,目标车辆支持车载全景系统,且目标车辆上部署有至少一个摄像机(即车载摄像机),如位于目标车辆前侧的摄像机,位于目标车辆后侧的摄像机,位于目标车辆左侧的摄像机,位于目标车辆右侧的摄像机等,这些摄像机也称为环视摄像机。

参见图3所示,为参数标定方法的流程示意图,该方法可以包括:

步骤301,调度设备向机器人发送第一指令,该第一指令用于指示机器人将目标车辆移动到标定场地,如将目标车辆移动到标定场地的中心位置。

步骤302,机器人在接收到第一指令后,将目标车辆移动到标定场地的中心位置。在将目标车辆移动到标定场地的中心位置后,机器人向调度设备返回第一响应,第一响应表示机器人已经将目标车辆移动到标定场地的中心位置。

示例性的,当需要对目标车辆上部署的摄像机进行参数标定时,调度设备可以向机器人发送第一指令,对此第一指令的内容不做限制。比如说,第一指令可以包括目标车辆的信息和指令类型(后续记为类型T1)等内容,类型T1表示将目标车辆移动到标定场地。机器人在接收到第一指令后,基于第一指令包括的目标车辆的信息,从所有待标定的车辆中找到目标车辆,且需要对目标车辆进行移动。基于第一指令包括的类型T1,获知需要将目标车辆移动到标定场地。综上所述,机器人需要将目标车辆移动到标定场地的中心位置。

示例性的,机器人将目标车辆移动到标定场地的中心位置后,还可以向调度设备返回第一响应,对此第一响应的内容不做限制。比如说,第一响应可以包括目标车辆的信息和指令类型(后续记为类型T2)等内容,类型T2表示已经将目标车辆移动到标定场地。调度设备在接收到第一响应后,基于第一响应包括的目标车辆的信息和类型T2,获知这个目标车辆已经移动到标定场地。

在一种可能的实施方式中,在调度设备向机器人发送第一指令之前,调度设备还可以与机器人建立第一远程通信连接,该第一远程通信连接可以为WIFI(WirelessFidelity,无线保真)连接,或4G连接,或5G连接等,对此连接类型不做限制,只要调度设备与机器人可以通过第一远程通信连接通信即可。基于此,调度设备通过第一远程通信连接向机器人发送第一指令,且机器人通过第一远程通信连接接收该第一指令。以及,机器人通过第一远程通信连接向调度设备发送第一响应,且调度设备通过第一远程通信连接接收该第一响应。

在一种可能的实施方式中,机器人将目标车辆移动到标定场地的中心位置,可以包括但不限于:机器人基于预先配置的行驶路线移动到标定场地,并基于机器人定位技术将目标车辆停放至标定场地的中心位置。示例性的,标定场地的中心位置可以具有特殊标记,在将目标车辆停放至标定场地的中心位置时,目标车辆的目标位置与标定场地的中心位置的特殊标记可以重合。

步骤303,调度设备在接收到机器人返回的第一响应后,还可以向目标车辆发送第二指令,该第二指令用于指示目标车辆启动参数标定。

步骤304,目标车辆在接收到该第二指令后,获取目标车辆上部署的摄像机的相机外参,并存储该相机外参,并向调度设备返回第二响应,该第二响应表示目标车辆已经完成参数标定,即已经成功存储摄像机的相机外参。

示例性的,调度设备在接收到第一响应后,由于第一响应表示机器人已经将目标车辆移动到标定场地的中心位置,即目标车辆的准确工作已经完成,目标车辆可以开始参数标定过程,因此,调度设备可以向目标车辆发送第二指令,对此第二指令的内容不做限制。比如说,第二指令可以包括指令类型(后续记为类型T3)等内容,类型T3表示启动参数标定。目标车辆在接收到第二指令后,基于第二指令包括的类型T3,获知需要启动参数标定,因此,目标车辆启动参数标定,获取目标车辆上部署的摄像机的相机外参,并存储该相机外参。

示例性的,目标车辆在存储摄像机的相机外参后,即完成参数标定后,还可以向调度设备返回第二响应,对此第二响应的内容不做限制。比如说,第二响应可以包括目标车辆的信息和指令类型(后续记为类型T4)等内容,类型T4表示目标车辆已经完成参数标定。调度设备在接收到第二响应后,基于第二响应包括的目标车辆的信息和类型T4,获知这个目标车辆已经完成参数标定。

在一种可能的实施方式中,在调度设备向目标车辆发送第二指令之前,调度设备还可以与目标车辆建立第二远程通信连接,该第二远程通信连接可以为WIFI连接,或4G连接,或5G连接等,对此连接类型不做限制,只要调度设备与目标车辆可以通过第二远程通信连接通信即可。在此基础上,调度设备可以通过第二远程通信连接向目标车辆发送第二指令,且目标车辆通过第二远程通信连接接收该第二指令。以及,目标车辆可以通过第二远程通信连接向调度设备发送第二响应,且调度设备通过第二远程通信连接接收该第二响应。

在一种可能的实施方式中,目标车辆获取目标车辆上部署的摄像机的相机外参,可以包括但不限于:通过参数标定控制器获取目标车辆上部署的摄像机的相机外参,该参数标定控制器可以位于目标车辆的车载终端(即车机系统),或者,该参数标定控制器可以独立于目标车辆的车载终端,如该参数标定控制器可以是目标车辆上独立于车载终端的控制器,也可以是调度设备上的控制器,对此不做限制。在通过参数标定控制器获取目标车辆上部署的摄像机的相机外参时,可以采用如下步骤:针对目标车辆上部署的每个摄像机(以一个摄像机为例),通过该摄像机采集标定场地的图像(当摄像机为鱼眼摄像机时,该图像为鱼眼图像,本文以鱼眼摄像机和鱼眼图像为例,当然也可以为其它类型的摄像机),该鱼眼图像可以包括标定场地的标记图案,标记图案的数量为至少一个,并从标记图案中选取多个关键点,比如说,从每个标记图案中选取至少一个关键点,所有标记图案中的关键点就是所述多个关键点。针对每个关键点,确定该关键点在鱼眼图像中的像素坐标,并获取预先配置的该关键点在世界坐标系中的物理坐标。基于多个关键点在鱼眼图像中的像素坐标,及多个关键点在世界坐标系中的物理坐标,获取摄像机的相机外参。相机外参表示世界坐标系与摄像机坐标系之间的转换关系,且相机外参包括旋转参数和平移参数。

示例性的,上述标记图案可以为棋盘格图案,且该棋盘格图案可以包括多个区域,在此基础上,从标记图案中选取多个关键点,可以包括但不限于:从该棋盘格图案的多个区域中选取感兴趣区域,并将该感兴趣区域中位于指定位置的像素点选取为关键点;该指定位置可以为左上角位置、右上角位置、左下角位置、右下角位置、或中心点位置,对此指定位置不做限制。

参见图2所示,针对每个棋盘格图案来说,可以将该棋盘格图案的所有区域(如5个区域)均作为感兴趣区域,也可以将该棋盘格图案的部分区域(如1个区域、2个区域等)作为感兴趣区域。针对每个感兴趣区域来说,可以将该感兴趣区域中位于指定位置(可以为左上角位置、右上角位置、左下角位置、右下角位置、和中心点位置中的至少一个)的像素点选取为关键点。

步骤305,调度设备接收目标车辆返回的第二响应。

示例性的,调度设备在接收到第二响应后,由于第二响应表示目标车辆已经完成参数标定,因此,调度设备获知目标车辆已经完成参数标定。

在一种可能的实施方式中,调度设备在接收目标车辆返回的该第二响应之后,还可以向机器人发送第三指令,该第三指令可以用于指示机器人将目标车辆移动到标定场地之外。机器人在接收到该第三指令后,可以将目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置,并向调度设备返回第三响应,该第三响应可以表示机器人已经将目标车辆移动到标定场地之外的指定停车位置。然后,调度设备可以接收机器人返回的该第三响应。

示例性的,调度设备接收到第二响应后,获知目标车辆已经完成参数标定,需要将目标车辆移动到标定场地之外的指定停车位置,基于此,调度设备向机器人发送第三指令,对此第三指令的内容不做限制。比如说,第三指令可以包括指令类型(后续记为类型T5),类型T5表示将目标车辆移动到标定场地之外的指定停车位置。机器人在接收到第三指令后,基于第三指令包括的类型T5获知需要将目标车辆移动到标定场地之外的指定停车位置,因此,机器人将目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置。

机器人将目标车辆移动到标定场地之外的指定停车位置后,还可以向调度设备返回第三响应,对此第三响应的内容不做限制。比如说,第三响应包括目标车辆的信息和指令类型(后续记为类型T6),类型T6表示已经将目标车辆移动到标定场地之外的指定停车位置。调度设备在接收到第三响应后,基于第三响应包括的目标车辆的信息和类型T6,获知这个目标车辆已经移动到标定场地之外的指定停车位置。至此,可以对下一个目标车辆进行参数标定,下一个目标车辆的参数标定过程参见步骤301-步骤305,在此不再重复赘述。

调度设备向机器人发送第三指令之前,调度设备还可以与机器人建立第三远程通信连接,第三远程通信连接可以为WIF连接,或4G连接,或5G连接等,对此连接类型不做限制,只要调度设备与机器人可以通过第三远程通信连接通信即可。基于此,调度设备通过第三远程通信连接向机器人发送第三指令,机器人通过第三远程通信连接接收第三指令。以及,机器人通过第三远程通信连接向调度设备发送第三响应,调度设备通过第三远程通信连接接收第三响应。

示例性的,机器人将目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置,可以包括但不限于:机器人基于预先配置的行驶路线移动到标定场地之外,并基于机器人定位技术将目标车辆停放至标定场地之外的指定停车位置。示例性的,标定场地之外可以存在停车区域,机器人可以将目标车辆停放至停车区域的任意位置,将停车区域的任意位置作为指定停车位置。

在一个例子中,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。

由以上技术方案可见,本申请实施例中,通过向机器人发送第一指令,以使机器人将目标车辆移动到标定场地的中心位置,并向目标车辆发送第二指令,以使目标车辆获取摄像机的相机外参,并存储相机外参,实现相机外参的自动标定,能够对摄像机的相机外参进行有效标定,能够准确标定相机外参,提高全景图像的成像效果,提高用户体验。可以减少相机外参的标定流程,降低标定参数的标定难度,降低车辆标定量产时的人力投入,减少标定场地的建设成本和维护成本,使整个标定流程更自动化,可以有效提升标定量产效率。

参见图4所示,为参数标定方法的另一个流程示意图,该方法可以包括:

步骤401,调度设备向机器人发送第一指令,该第一指令用于指示机器人将目标车辆移动到标定场地,如将目标车辆移动到标定场地的中心位置。

步骤402,机器人在接收到该第一指令后,将目标车辆移动到标定场地的中心位置。比如说,机器人可以先将目标车辆移动到标定场地,然后,机器人完成目标车辆的定中处理,从而将目标车辆移动到标定场地的中心位置。

示例性的,机器人可以预先配置行驶路线,该行驶路线表示机器人的当前位置与标定场地之间的路线,机器人基于该行驶路线移动到标定场地时,可以将目标车辆也移动到标定场地。在将目标车辆移动到标定场地后,可以通过机器人定位技术完成车辆定中,该机器人定位技术可以如SLAM(Simultaneous Localization And Mapping,同步定位与建图)技术等。车辆定中是指:将目标车辆停放至指定位置,以使目标车辆位于标定场地的中心位置,参见图2所示,为将目标车辆停放至标定场地的中心位置的一个示例。综上所述,机器人可以基于机器人定位技术将目标车辆停放至标定场地的中心位置。

比如说,标定场地的中心位置可以具有特殊标记,在采用机器人定位技术将目标车辆停放至标定场地的中心位置时,需要使目标车辆的目标位置与标定场地的中心位置的特殊标记重合,从而将目标车辆停放至标定场地的中心位置,对此停放过程不做限制,只要能够将目标车辆停放至标定场地的中心位置即可。

示例性的,目标车辆停放至标定场地的中心位置可以是指:目标车辆的目标位置与标定场地的中心位置的特殊标记重合。其中,目标车辆的目标位置可以是目标车辆的任意位置,例如,目标车辆的车头位置,目标车辆的车尾位置,目标车辆的中心位置等,对此目标车辆的目标位置不做限制。

步骤403,在将目标车辆移动到标定场地的中心位置后,机器人向调度设备返回第一响应,该第一响应表示机器人已经将目标车辆移动到标定场地。

步骤404,调度设备在接收到第一响应后,获知已经将目标车辆移动到标定场地,向目标车辆发送第二指令,该第二指令用于指示目标车辆启动参数标定。

步骤405,目标车辆在接收到该第二指令后,启动参数标定过程,即,目标车辆获取目标车辆上部署的摄像机的相机外参,并存储该相机外参。

示例性的,目标车辆在接收到第二指令后,先完成车辆点火和车辆启动等操作,然后,可以启动参数标定过程。在参数标定过程中,需要获取目标车辆上部署的摄像机的相机外参,并存储该相机外参。比如说,由参数标定控制器获取目标车辆上部署的摄像机的相机外参,该参数标定控制器可以位于目标车辆的车机系统,也可以独立于目标车辆上部署的车机系统,对此执行主体不做限制,只要能够获取目标车辆上部署的摄像机的相机外参即可。

由于目标车辆上可以部署至少一个摄像机,因此,需要获取每个摄像机的相机外参,且每个摄像机的相机外参的获取方式相同,后续以一个摄像机为例。

在一种可能的实施方式中,可以采用如下步骤获取摄像机的相机外参:

步骤4051,通过该摄像机采集标定场地的鱼眼图像,该鱼眼图像可以包括标定场地的多个标记图案,并从多个标记图案中选取多个关键点,如从每个标记图案中选取至少一个关键点。参见图2所示,标定场地可以包括4个标记图案,在通过该摄像机采集标定场地的鱼眼图像时,该鱼眼图像可以包括4个标记图案中的部分或全部,即,该鱼眼图像包括该摄像机的视野范围内的标记图案。针对每个标记图案,该标记图案可以包括多个区域,从标记图案的多个区域中选取感兴趣区域,并将感兴趣区域中位于指定位置的像素点选取为关键点。

步骤4052,针对鱼眼图像中的每个关键点,确定该关键点在鱼眼图像中的像素坐标。比如说,以鱼眼图像的左上角为坐标原点,以水平向右为X轴,以水平向下为Y轴,那么,可以确定该关键点在鱼眼图像中的像素坐标。

步骤4053,针对鱼眼图像中的每个关键点,获取预先配置的该关键点在世界坐标系中的物理坐标。比如说,针对标定场地的所有指定位置的关键点,可以预先配置这些关键点在世界坐标系中的物理坐标,基于此,针对鱼眼图像中的每个关键点,可以直接获取预先配置的该关键点在世界坐标系中的物理坐标。

步骤4054,基于多个关键点在鱼眼图像中的像素坐标,及多个关键点在世界坐标系中的物理坐标,获取摄像机的相机外参,该相机外参表示世界坐标系与摄像机坐标系之间的转换关系,且该相机外参包括旋转参数和平移参数。

比如说,世界坐标系与摄像机坐标系之间的转换关系可以参见公式(1):

R表示旋转参数,由(ω,δ,θ)组成,T表示平移参数,由(Tx,Ty,Tz)组成,ω表示绕摄像机坐标系X轴的旋转角度,δ表示绕摄像机坐标系Y轴的旋转角度,θ表示绕摄像机坐标系Z轴的旋转角度,Tx表示摄像机坐标系X轴方向的平移,Ty表示摄像机坐标系Y轴方向的平移,Tz表示摄像机坐标系Z轴方向的平移。P

在一种可能的实施方式中,可以由目标车辆上部署的车机系统执行步骤4051-步骤4054,得到摄像机的相机外参,或者,可以由目标车辆上部署的独立于车机系统的控制器执行步骤4051-步骤4054,得到摄像机的相机外参,或者,通过摄像机采集标定场地的鱼眼图像后,还可以将鱼眼图像发送给调度设备,由调度设备执行步骤4052-步骤4054,得到摄像机的相机外参,并将摄像机的相机外参发送给目标车辆。当然,上述只是几个示例,对此不做限制。

步骤406,在得到摄像机的相机外参,并存储相机外参后,目标车辆向调度设备返回第二响应,第二响应表示目标车辆已经完成参数标定,并自动熄火。

步骤407,调度设备在接收到第二响应后,获知已经完成参数标定,并向机器人发送第三指令,第三指令用于指示机器人将目标车辆移动到标定场地之外。

步骤408,机器人在接收到调度设备发送的该第三指令后,可以将目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置。

示例性的,机器人可以预先配置行驶路线,该行驶路线表示机器人的当前位置与标定场地之外的停车区域之间的路线,机器人基于该行驶路线移动到标定场地之外的停车区域时,可以将目标车辆也移动到标定场地之外的停车区域。

在将目标车辆移动到标定场地之外的停车区域后,机器人可以基于机器人定位技术(如SLAM技术)将目标车辆停放至标定场地之外的指定停车位置,例如,将目标车辆停放至停车区域的指定停车位置,对此停车过程不做限制。

步骤409,在将目标车辆移动到指定停车位置后,机器人向调度设备返回第三响应,第三响应表示已经将目标车辆移动到标定场地之外的指定停车位置。

示例性的,调度设备在接收到第三响应后,获知已经将目标车辆移动到标定场地之外的指定停车位置,可以针对下一个目标车辆执行参数标定过程。

基于与上述方法同样的申请构思,本申请实施例中提出另一种参数标定方法,该方法可以应用于调度设备,参见图5所示,该参数标定方法可以包括:

步骤501,向机器人发送第一指令,该第一指令用于指示机器人将目标车辆移动到标定场地,以使机器人接收到该第一指令后,将目标车辆移动到标定场地的中心位置,关于机器人的相关处理,本实施例中不做限制。

步骤502,接收机器人返回的第一响应,该第一响应表示机器人已经将目标车辆移动到标定场地的中心位置,即目标车辆可以启动参数标定过程。

步骤503,在接收到第一响应后,向目标车辆发送第二指令,该第二指令用于指示目标车辆启动参数标定,以使目标车辆接收到该第二指令后,获取目标车辆上部署的摄像机的相机外参,并存储该相机外参。

步骤504,接收目标车辆返回的第二响应,该第二响应表示目标车辆已经完成参数标定,至此,成功完成目标车辆的参数标定过程。

在一种可能的实施方式中,在接收目标车辆返回的第二响应之后,还可以向机器人发送第三指令,该第三指令用于指示机器人将目标车辆移动到标定场地之外,以使机器人接收到该第三指令后,将目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置。然后,接收机器人返回的第三响应,该第三响应表示机器人已经将目标车辆移动到标定场地之外的指定停车位置。

在一种可能的实施方式中,调度设备向机器人发送第一指令之前,调度设备可以与机器人建立第一远程通信连接。调度设备向机器人发送第一指令,包括:通过第一远程通信连接向机器人发送第一指令;调度设备接收机器人返回的第一响应,包括:通过第一远程通信连接接收机器人返回的第一响应;其中,第一远程通信连接具体可以为:WIFI连接,或4G连接,或5G连接。

在一种可能的实施方式中,调度设备向目标车辆发送第二指令之前,调度设备可以与目标车辆建立第二远程通信连接。调度设备向目标车辆发送第二指令,包括:通过第二远程通信连接向目标车辆发送第二指令。调度设备接收目标车辆返回的第二响应,包括:通过第二远程通信连接接收目标车辆返回的第二响应;其中,第二远程通信连接具体为WIFI连接,或4G连接,或5G连接。

基于与上述方法同样的申请构思,本申请实施例中还提出一种参数标定系统,所述参数标定系统至少可以包括调度设备,机器人,以及至少一个待标定的目标车辆,其中:所述调度设备,用于向所述机器人发送第一指令,所述第一指令用于指示所述机器人将所述目标车辆移动到标定场地;所述机器人,用于在接收到所述第一指令后,将所述目标车辆移动到所述标定场地的中心位置,并向所述调度设备返回第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;所述调度设备,用于在接收到所述第一响应后,向所述目标车辆发送第二指令,所述第二指令用于指示所述目标车辆启动参数标定;所述目标车辆,用于在接收到所述第二指令后,获取所述目标车辆上部署的摄像机的相机外参,存储所述相机外参,并向所述调度设备返回第二响应,所述第二响应表示所述目标车辆已经完成参数标定;所述调度设备,用于接收所述目标车辆返回的所述第二响应;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

示例性的,所述调度设备,用于在接收到所述第二响应后,向所述机器人发送第三指令,所述第三指令用于指示所述机器人将所述目标车辆移动到标定场地之外;所述机器人,用于在接收到所述第三指令后,将所述目标车辆从标定场地的中心位置移动到标定场地之外的指定停车位置,向所述调度设备返回第三响应,所述第三响应表示所述机器人已经将所述目标车辆移动到标定场地之外的指定停车位置;所述调度设备,用于接收机器人返回的所述第三响应。

示例性的,所述机器人将所述目标车辆移动到所述标定场地的中心位置时具体用于:基于预先配置的行驶路线移动到所述标定场地,并基于机器人定位技术将所述目标车辆停放至所述标定场地的中心位置;其中,所述标定场地的中心位置具有特殊标记,在将所述目标车辆停放至所述标定场地的中心位置时,所述目标车辆的目标位置与所述标定场地的中心位置的特殊标记重合。

示例性的,所述目标车辆获取所述目标车辆上部署的摄像机的相机外参时具体用于:通过参数标定控制器获取所述目标车辆上部署的摄像机的相机外参,所述参数标定控制器位于所述目标车辆的车载终端,或者独立于所述目标车辆的车载终端;具体为:通过所述摄像机采集所述标定场地的鱼眼图像,所述鱼眼图像包括所述标定场地的标记图案,从所述标记图案中选取多个关键点;

针对每个关键点,确定所述关键点在所述鱼眼图像中的像素坐标,并获取预先配置的所述关键点在世界坐标系中的物理坐标;

基于所述多个关键点在所述鱼眼图像中的像素坐标,以及所述多个关键点在所述世界坐标系中的物理坐标,获取所述摄像机的相机外参。

示例性的,所述标记图案包括棋盘格图案,所述棋盘格图案包括多个区域;

通过参数标定控制器从所述标记图案中选取多个关键点时具体用于:

从所述棋盘格图案的多个区域中选取感兴趣区域,并将所述感兴趣区域中位于指定位置的像素点选取为关键点;其中,所述指定位置为左上角位置、右上角位置、左下角位置、右下角位置、或中心点位置。

基于与上述方法同样的申请构思,本申请实施例中提出一种参数标定装置,应用于调度设备,参见图6所示,为所述装置的结构示意图,所述装置包括:

发送模块61,用于向机器人发送第一指令,所述第一指令用于指示所述机器人将目标车辆移动到标定场地,以使所述机器人接收到所述第一指令后,将所述目标车辆移动到所述标定场地的中心位置;接收模块62,用于接收所述机器人返回的第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;所述发送模块61,还用于在接收到第一响应后,向目标车辆发送第二指令,所述第二指令用于指示目标车辆启动参数标定,以使所述目标车辆接收到所述第二指令后,获取目标车辆上部署的摄像机的相机外参,存储所述相机外参;所述接收模块62,还用于接收所述目标车辆返回的第二响应,所述第二响应表示所述目标车辆已经完成参数标定;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

示例性的,所述发送模块61,还用于在接收所述第二响应之后,向机器人发送第三指令,所述第三指令用于指示所述机器人将目标车辆移动到标定场地之外,以使所述机器人接收到所述第三指令后,将所述目标车辆从标定场地的中心位置移动到所述标定场地之外的指定停车位置;

所述接收模块62,还用于接收所述机器人返回的第三响应,所述第三响应表示所述机器人已经将所述目标车辆移动到所述标定场地之外的指定停车位置。

基于与上述方法同样的申请构思,本申请实施例中提出一种调度设备,参见图7所示,所述调度设备可以包括:处理器71和机器可读存储介质72,所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令;所述处理器71用于执行机器可执行指令,实现本申请上述示例公开的参数标定方法。比如说,所述处理器71用于执行机器可执行指令,以实现如下步骤:

向机器人发送第一指令,所述第一指令用于指示所述机器人将目标车辆移动到标定场地,以使所述机器人接收到所述第一指令后,将目标车辆移动到所述标定场地的中心位置;接收所述机器人返回的第一响应,所述第一响应表示所述机器人已经将所述目标车辆移动到所述标定场地的中心位置;

在接收到第一响应后,向目标车辆发送第二指令,所述第二指令用于指示所述目标车辆启动参数标定,以使所述目标车辆接收到所述第二指令后,获取所述目标车辆上部署的摄像机的相机外参,存储所述相机外参;接收所述目标车辆返回的第二响应,所述第二响应表示所述目标车辆已经完成参数标定;

其中,所述相机外参表示世界坐标系与所述摄像机的摄像机坐标系之间的转换关系,且所述相机外参包括旋转参数和平移参数。

基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的参数标定方法。

其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 一种CT参数标定体膜、CT参数标定系统及CT参数标定方法
  • 一种参数标定方法、系统、装置及设备
技术分类

06120113048283