掌桥专利:专业的专利平台
掌桥专利
首页

一种参数标定方法、装置、计算机设备及存储介质

文献发布时间:2023-06-19 19:28:50


一种参数标定方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机视觉技术领域,尤其涉及一种参数标定方法、装置、计算机设备及存储介质。

背景技术

随着终端技术的不断发展,终端的普及率越来越高,用户在日常生活中使用终端的频率也越来越高。摄像头(或称待标定摄像装置)作为目前终端上的一个重要部分,在越来越多的应用场景下发挥着不可或缺的作用,由相关技术可知,为保证待标定摄像装置的性能充分发挥,其中,不可或缺的一环是对待标定摄像装置进行标定。例如,使用单目待标定摄像装置计算客流量时,需要用到待标定摄像装置的内参、待标定摄像装置的外参(即待标定摄像装置相对于世界坐标系的位姿)以及地面参数(即地面相对于世界坐标系的位姿),因此在待标定摄像装置安装部署好之后,需要对待标定摄像装置内参、待标定摄像装置外参以及地面参数进行标定。

现有技术中,标定方案是单独对每一个待标定摄像装置和每一个地面进行标定,由于客流算法一般用于统计商场及商场中各个店铺的客流,待标定摄像装置安装部署的规模比较大,另外,每一个待标定摄像装置不仅仅对应一个地面,可能存在一个待标定摄像装置对应多个地面的情况,因此单独对每一个待标定摄像装置和每一个地面进行标定,标定步骤非常复杂,交付人员在交付时工作过于繁重,使标定效率较低,因此,在对多个待标定摄像装置进行标定时,如何提高标定效率成为亟待解决的问题。

发明内容

有鉴于此,本发明实施例提供了一种参数标定方法、装置、计算机设备及存储介质,以解决对多个待标定摄像装置进行标定时,标定效率较低的问题。

第一方面,本发明实施例提供一种参数标定方法,所述参数标定方法包括:

获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据、所述标定板与所述小车的安装参数以及所述小车在对应运动过程中待标定摄像装置采集所述标定板得到的视频数据;

根据所述待标定摄像装置的视频数据对所述待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据所述待标定摄像装置的视频数据,确定所述待标定摄像装置与所述标定板的相对位姿;

根据所述小车在运动过程中的各个时刻的位姿数据、所述标定板与所述小车的安装参数以及所述待标定摄像装置与所述标定板的相对位姿对所述待标定摄像装置进行外参数标定,得到所述待标定摄像装置的外参。

第二方面,本发明实施例提供一种参数标定装置,所述参数标定装置包括:

获取模块,用于获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据、所述标定板与所述小车的安装参数以及所述小车在对应运动过程中待标定摄像装置采集所述标定板得到的视频数据;

内参标定模块,用于根据所述待标定摄像装置的视频数据对所述待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据所述待标定摄像装置的视频数据,确定所述待标定摄像装置与所述标定板的相对位姿;

外参标定模块,用于根据所述小车在运动过程中的各个时刻的位姿数据、所述标定板与所述小车的安装参数以及所述待标定摄像装置与所述标定板的相对位姿对所述待标定摄像装置进行外参数标定,得到所述待标定摄像装置的外参。

第三方面,本发明实施例提供一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的参数标定方法。

第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的参数标定方法。

本发明与现有技术相比存在的有益效果是:

获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及小车在对应运动过程中待标定摄像装置采集标定板得到的视频数据,根据待标定摄像装置的视频数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据待标定摄像装置的视频数据,确定待标定摄像装置与标定板的相对位姿,根据小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及待标定摄像装置与标定板的相对位姿对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。本发明中,通过将标定板部署在小车上,使多个待标定摄像装置获取同一个标定板对应的视频帧信息,根据小车的位姿,确定标定板的位姿,根据标定板的位姿,以及待标定摄像装置与标定板的相对位姿,确定待标定摄像装置的位姿,同时,根据小车的位姿,可以得到地面的位姿,即地面参数,从而自动对待标定摄像装置内参、待标定摄像装置外参及地面参数进行联合标定,简化标定步骤,提高标定效率。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种参数标定方法的一应用环境示意图;

图2是本发明一实施例提供的一种参数标定方法的流程示意图;

图3是本发明一实施例提供的一种参数标定装置的结构示意图;

图4是本发明一实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。

应当理解,当在本发明说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

如在本发明说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外,在本发明说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。

应理解,以下实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

为了说明本发明的技术方案,下面通过具体实施例来进行说明。

本发明实一实施例提供的一种参数标定方法,可应用在如图1的应用环境中,其中,客户端与服务端进行通信。其中,客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant,PDA)等计算机设备。服务端可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参见图2,是本发明一实施例提供的一种参数标定方法的流程示意图,上述参数标定方法可以应用于图1中的服务端,如图2所示,该参数标定方法可以包括以下步骤。

S201:获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及小车在对应运动过程中待标定摄像装置采集标定板得到的视频数据。

在步骤S201中,将标定板安装在可以移动的小车中,小车在待标定摄像装置采集视频数据的区域进行移动,以便于待标定摄像装置可以采集到包含标定板的视频数据,待标定摄像装置可以为N个,N为大于零的整数。

本实施例中,将标定板安装在小车上,小车移动时带动标定板的移动,待标定摄像装置采集包含带有标定板的视频数据,以便于后续基于标定板对待标定摄像装置进行标定。将标定板固定在小车上时,可以将标定板固定在小车的顶部,并确保待标定摄像装置能拍摄到小车表面的标定板,由待标定摄像装置录制标定板运动过程的视频数据。

当小车在移动的过程中,小车的位姿随着小车的运动发生变化,每时刻对应的小车的位姿与小车初始位姿有一个位姿变换数据,获取对应的位姿变换数据,以便于得到每时刻小车的位姿信息。

其中,标定板的形状和尺寸可以根据实际需求选择,在此不作限定。相应的,标定板的顶点个数也不作限定。标定板可以为矩形的平板,在标定板朝向待标定摄像装置的一面可以绘制有阵列分布的黑色和白色方格,该标定板具有4个顶点位置。

需要说明的是,本实施例中的标定板包括底板以及通过喷印或打印在底板上的标定棋盘,标定棋盘可以采用ChArUco标定棋盘,ChArUco标定棋盘包括黑白棋盘格,ChArUco标定棋盘的白棋盘格内设置有ArUco标志。ChArUco标定棋盘涉及7个参数,包括:大棋盘格的横向数量,大棋盘格的纵向数量,棋盘格正方形的边长,ArUco标志的边长,棋盘格边缘的宽度,ArUco标志的词典选择,ArUco标志外的黑框宽度。例如,ArUco标定棋盘对应的参数可以为:大棋盘格的横向数量为9,大棋盘格的纵向数量为6,棋盘格正方形的边长为100像素,ArUco标志的边长为80像素,棋盘格边缘的宽度为50像素,ArUco标志的词典选择包含100个6*6标志的词典,ArUco标志外的黑框宽度为1格。ChArUco标定棋盘的参数可以根据需要进行设计,标定板的棋盘格数量越多,标定越准确,一般标定板上棋盘格的设置数量应保证棋盘格交点数量超过100个。另外,为了确定棋盘格的方向,设计ChArUco标定棋盘时应使大棋盘格的横向数量和纵向数量分别为奇数和偶数,从而保证标定的准确性。例如,大棋盘格的横向数量为9,纵向数量为6,这样设置使得ChArUco标定棋盘左上角有ArUco标志,右上角没有ArUco标志,从而能够根据ArUco标志确定棋盘格方向。

本实施例中,使用小车固定标定板,使标定板进行移动,使用N个待标定摄像装置同时采集标定板视频,N个待标定摄像装置可以基于同一个标定板进行同时标定,提高标定效率。

可选地,获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据之前,还包括:

获取固定安装在小车上的激光雷达的点云数据与惯性传感器的惯性数据;

通过预设融合算法,融合点云数据与惯性数据计算小车在运动过程中的各个时刻的位姿数据。

本实施例中,在小车中固定对应的激光雷达与惯性传感器,通过激光雷达的点云数据与惯性传感器的惯性数据计算小车中每一时刻的位姿变化数据,其中,激光雷达与惯性传感器可以固定安装在指定的位置,例如激光雷达与惯性传感器固定安装在小车的指定位置。将标定板、激光雷达与惯性传感器同时固定在小车中,当小车移动时,根据激光雷达的点云数据与惯性传感器的惯性数据计算小车中每一时刻的位姿变化数据,通过待标定摄像装置采集移动小车中的标定板视频。其中,每一时刻采集的标定板视频帧与获取到的激光雷达的点云数据与惯性传感器的惯性数据同步。

在小车移动过程中,激光雷达对周围环境进行扫描,获取点云数据,同时惯性传感器采集实时的小车惯性数据,包括小车的3轴加速度和3轴角速度,为了可以更准确地计算小车的位姿变化,通过预设融合算法,融合点云数据与惯性传感器数据计算对应时刻的小车的位姿变换数据。

需要说明的是,待标定摄像装置与小车上的激光雷达与惯性传感器获取数据时为同步获取对应的数据,即时间同步,时间同步是指待标定摄像装置拍摄标定板图像的时间和激光雷达扫描的时间与惯性传感器采集的时间同步。本实施例中的时间同步,是通过对激光惯性和待标定摄像装置视频流进行时间对齐,得到待标定摄像装置采集的视频流中各个时刻标定板到世界坐标系的位姿。

本实施例中,在计算小车的变换位姿时,根据点云数据与惯性数据的融合计算小车的位姿变换数据,避免使用单一点云数据计算小车位姿变换数据时,由于匹配错误导致位姿跳变,使用单一惯性数据计算小车位姿变换数据时,造成的累计误差的影响,提高小车位姿变换数据的精度,从而提高后续中每一时刻对应的小车的位姿精度。

S202:根据待标定摄像装置的视频数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据待标定摄像装置的视频数据,确定待标定摄像装置与标定板的相对位姿。

在步骤S202中,根据待标定摄像装置的视频数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据待标定摄像装置的视频数据,确定待标定摄像装置与标定板的相对位姿,其中,计算待标定摄像装置的内参时,使用计算机视觉算法计算内参与待标定摄像装置与标定板的相对位姿。

本实施例中,使用张正友标定算法对待标定摄像装置的内参进行标定,张正友标定算法为了削弱噪声的影响,计算内参数的过程包含了对每幅图片所得参数的最大似然估计,计算视频数据中的每一视频帧对应的待标定摄像装置内参,根据视频数据中的每一视频帧对应的待标定摄像装置内参通过最大似然估计,计算待标定摄像装置的内参。

需要说明的是,计算待标定摄像装置内参时,通过张正友标定算法可以得到目标帧数据时刻中待标定摄像装置与标定板的相对位姿。

需要说明是,待标定摄像装置与标定板的相对位姿包括待标定摄像装置相对于标定板的相对旋转矩阵以及相对平移量,获取待标定摄像装置与标定板的相对位姿时待标定摄像装置对在其前移动标定板拍摄的多帧图像上的二维像素坐标;

基于计算机视觉中经典的PnP算法,根据标定板的规格信息分别在每一帧数据图像上的二维像素坐标,计算对应帧数据图像的待标定摄像装置相对于标定板的相对位姿。

需要说明的是,PnP算法按照计算的方法不同可以分为基于迭代型和非迭代型。由于超过4点,PnP问题闭合解是不存在的,因此一般采用非线性最优化方法,典型的方法有Gauss-Newton method和Levenberg-Marquardt,这些方法依赖一个好的初值估计,以使能够收敛到正确值。还有一些方法是简化待标定摄像装置的透射投影模型,例如采用迭代的弱化透射投影模型,这些方法一般分为两步:第一步利用线性化方法计算,第二步使解满足正交阵的条件;或者采用最小化物体的共线性的误差,首先估计位姿的旋转矩阵,然后是平移部分。

可选地,根据待标定摄像装置的视频数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,包括:

对视频数据中的每一视频帧数据中的标定板进行检测,选取包含标定板的候选视频帧数据;

对候选视频帧数据的质量进行评分,得到对应视频帧数据的评分结果,选取评分结果大于预设阈值的视频帧数据为目标帧数据;

使用目标帧数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参。

本实施例中,从待标定摄像装置的视频数据中确定目标帧数据,其中目标帧数据用于对待标定摄像装置的标定,目标帧数据为满足可以用于标定的条件的视频帧数据,结合预设标定算法,得到待标定摄像装置的内参以及目标帧数据中待标定摄像装置与标定板的相对位姿。待标定摄像装置在采集对应的视频数据时,由于小车的移动,可能采集到的视频数据中存在不包括标定板的视频帧数据,所以需要从视频数据中选取满足可以用于标定的条件的视频帧数据作为目标帧数据。

本实施例中,待标定摄像装置采集到的视频数据中包含某一时间段内的视频,由于小车的移动性,采集到的视频中可能不包含对应的标定板,所以通过对视频数据中每一视频帧数据的质量进行评分,得到每一视频帧数据的评分结果,选取评分结果大于预设阈值的视频帧数据为目标帧数据。

其中对每一视频帧数据的质量进行评分时,依据视频帧数据的清晰度与采集到的标定板在整个视频帧中的像素大小,以确保所采集到的视频帧数据可以用于标定待标定摄像装置的内参。

需要说明的是,本实施例中,根据预设视频帧步长,将视频数据转化为视频帧数据,每一视频帧数据对应一个采集时刻,得到视频帧数据后,对每一视频帧数据中的标定板目标对象进行检测,选取包含标定板目标对象的候选视频帧数据,对的标定板目标对象进行检测时,使用opencv开源库中的检测函数对标定板目标对象进行检测,检测出包含标定板目标对象的候选视频帧数据,对候选视频帧数据的质量进行评分,得到对应视频帧数据的评分结果。

本实施例中,对候选视频帧数据的质量进行评分时,首先判断标定板在视频数据中的标定板是否完全在对应的视频帧数据中,当视频数据中的标定板完全在对应的视频帧数据中是时,根据标定板相对于待标定摄像装置的姿态角度进行评分,例如,由于标定板中的角点为均匀分布,从视频帧数据对应的标定板目标对象区域选取任意一个角点,计算该角点在水平方向上的像素距离与垂直方向上的像素距离,计算水平方向上的像素距离与垂直方向上的像素距离的比值,根据比值大小确定标定板相对于待标定摄像装置的姿态角度。当水平距离与垂直方向上的像素距离的比值越接近1时,认为采集到的视频帧数据的质量越高,当水平方向上的像素距离与垂直方向上的像素距离的比值越远离1时,认为采集到的视频帧数据的质量越低。因为当水平方向上的像素距离与垂直方向上的像素距离的比值越接近1时,待标定摄像装置与标定板的相对位姿越接近垂直状态,此时,标定板在待标定摄像装置中的投影误差较小,采集到的视频帧数据质量越高,当水平方向上的像素距离与垂直方向上的像素距离的比值越远离1时,此时,标定板在待标定摄像装置中的投影误差较大,采集到的视频帧数据质量越低。

根据水平方向上的像素距离与垂直方向上的像素距离的比值对候选视频帧数据的质量进行评分,得到对应视频帧数据的评分结果。

本实施例中从视频帧数据中选取目标帧数据时,通过对视频帧数据评分的方式,选取评分结果较高的视频帧数据为目标帧数据,对视频帧数据进行评分时,将待标定摄像装置的畸变因素考虑在内,对待标定摄像装置畸变较小时采集到的视频帧评分较高,对待标定摄像装置畸变较大时采集到的视频帧评分较地,提高视频帧数据评分的准确度,从而选取更准确的视频帧数据作为目标帧数据。

本实施例中,通过对视频数据中的每一视频帧数据的质量进行评分,选取质量较高的目标帧数据,提高了待标定摄像装置标定时使用的数据的质量。

根据目标帧数据,结合预设标定算法,得到待标定摄像装置的内参以及目标帧数据中待标定摄像装置与标定板的相对位姿,其中预设标定算法为张正友标定算法,确定目标帧数据时,目标帧数据一般为多张视频帧,多张视频帧中所包含的标定板可以为不同角度拍摄得到的视频帧。

需要说明的是,使用目标帧数据待标定摄像装置进行标定时,对目标帧数据进行预处理,首先将目标帧数据进行灰度处理,将目标帧数据对应的图像转化为灰度图像,然后使用对灰度图像进行二值化处理,二值化是一种图像处理方法,通过二值化方法可以把灰度图像转化为二值图像。

二值化首先需要得到一个合适的阈值,然后判断图像上的每个像素点的灰度值,若其大于该阈值则令其为1,若其小于该阈值则令其为0,这样就将整个灰度图像转化为了一个二值图像,采用合适的阂值可以得到更好的二值化效果。本实施例中使用大津法进行二值化处理,该算法以最简单的形式返回单个阈值,该阈值将整个图像分为前景和背景两部分,其设定方式是使前景区域和背景区域之间的类间方差最大。该方法受图像亮度和对比度影响较小,是一种获得图像全局阈值的最佳方法,在大部分应用场景下都能获得较好的效果。二值化处理后,可以得到标定板中的角点位置,根据角点位置的像素坐标计算待标定摄像装置的内参。

本实施例中,通过使用选取的目标帧数据对待标定摄像装置进行标定处理,目标帧数据为满足可以用于标定的条件的视频帧数据,在对待标定摄像装置进行标定时,可以使用精度较高的图像对待标定摄像装置进行标定,避免了由待标定使用的数据造成的标定误差,提高标定精度。

可选地,使用目标帧数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,包括:

获取目标帧数据的平面坐标,根据平面坐标计算待标定摄像装置的畸变矩阵;

使用畸变矩阵对目标帧数据进行纠正,得到纠正后的目标帧数据;

根据纠正后的目标帧数据结合预设标定算法,计算得到待标定摄像装置的内参。

本实施例中,在对待标定摄像装置的的内参进行标定时,基于选取的目标帧数据对待标定摄像装置进行标定,目标帧数据为标定板在待标定摄像装置中的投影,由于投影过程中存在畸变现象,所以得到的目标帧数据存在误差,通过对目标数据帧进行纠正,得到纠正后的目标数据帧,使用纠正后的目标数据帧计算待标定摄像装置的内参,可以提高待标定摄像装置内参的精度。

获取目标帧数据中对应目标帧数据的平面坐标,根据平面坐标计算待标定摄像装置的畸变矩阵,待标定摄像装置的畸变矩阵包括径向畸变矩阵与切向畸变矩阵,使用径向畸变矩阵对目标帧数据中的像素点进行纠正时,计算公式如下:

x

y

其中,(x,y)为目标帧中对应的图像中目标点的平面坐标,平面坐标是以目标帧数据中的中心点为坐标原点的坐标,r为目标点到坐标原点的距离,k

使用切向畸变矩阵对目标帧数据中的像素点进行纠正时,计算公式如下:

x

y

其中,(x,y)为目标帧中对应的图像中像目标点的平面坐标,平面坐标是以目标帧数据中的中心点为坐标原点的坐标,r为像目标点到坐标原点的距离,p

在计算待标定摄像装置的内参时,根据目标帧数据中目标点的像素坐标与目标点的=在世界坐标系下的三维坐标计算待标定摄像装置的内参,计算公式如下:

其中,(u,v)为目标点的像素坐标,(X,Y,Z)为目标点的三维坐标,f

S203:根据小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及待标定摄像装置与标定板的相对位姿对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。

在步骤S203中,由于标定板固定在小车上,所以可以根据小车的位姿计算得到标定板的位姿,得到标定板在世界坐标系下的标定板位姿,根据标定板在世界坐标系下的标定板位姿与待标定摄像装置与标定板的相对位姿,计算得到待标定摄像装置的外参,其中待标定摄像装置的外参为目标点在待标定摄像装置坐标系的位置与世界坐标系的位置之间的转换关系。

本实施例中,获取标定板与小车的安装参数,其中安装参数为标定板位姿与小车的位姿的相对位置,使用小车的当前位姿与标定板与小车的安装参数,计算标定板的位姿,待标定摄像装置的计算公式如下:

T

其中,T

本实施例中,通过使用标定板在世界坐标系中的位姿,以及标定板与待标定摄像装置的相对位姿,可以直接得到待标定摄像装置的外参,不需要获取目标点在世界坐标系中的坐标与待标定摄像装置坐标系中的坐标,省略了目标点在不同坐标系中的转换过程,提高了外参的标定效率。

可选地,根据小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及待标定摄像装置与标定板的相对位姿对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参,包括:

根据小车在运动过程中的各个时刻的位姿数据,以及标定板与小车的安装参数,计算各个时刻的标定板位姿数据;

根据各个时刻的标定板位姿数据,以及待标定摄像装置与标定板的相对位姿,对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。

本实施例中,根据小车在运动过程中的各个时刻的位姿数据,以及标定板与小车的安装参数,计算各个时刻的标定板位姿数据,从各个时刻的标定板位姿数据中确定目标帧数据对应时刻的标定板位姿数据,根据目标帧数据对应时刻的标定板位姿数据,以及对应时刻中待标定摄像装置与标定板的相对位姿,对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。

可选地,参数标定方法,还包括:

获取小车在运动过程中的各个时刻标定板与地面的位姿差异,根据位姿差异,获取位姿差异对应的旋转参数与平移参数;

根据旋转参数与平移参数,计算地面在世界坐标系下的地面位姿,根据地面位姿确定地面参数。

本实施例中,由于标定板在小车中固定,当小车在移动的过程中,标定板与地面的位姿差异也是固定的,所以可以在小车移动的初始时刻确定出对应的标定板与地面的位姿差异,根据标定板位姿和位姿差异,得到地面在世界坐标系下的地面位姿,根据地面位姿确定地面参数。

本实施例中,获取在初始时刻时标定板与地面的位姿差异,其中,位姿差异为标定板在世界坐标系中的位姿在垂直方向上的平移距离,由于标定板固定在小车上,所以,在小车移动过程中,标定板与地面的位姿差异不变,为初始时刻时标定板与地面的位姿差异,所以可以根据目标帧数据对应时刻的标定板位姿计算目标帧对应时刻的地面位姿,根据地面位姿确定地面参数。

本实施例中,通过计算地面参数,确定待标定摄像装置与地面的相对位姿,并可以可以同时确定多个待标定摄像装置与地面的相对位姿,提高了标定效率。

本实施例中,位姿差异为标定板在世界坐标系中的位姿在垂直方向上的平移距离,标定板是平行于小车底盘安装,用于计算的地面一般也是水平的,因此在各个地面上,标定板相对于世界坐标系的旋转与地面相对于世界坐标系的旋转都一致,而平移仅在垂直方向上有一个偏移,大小为标定板的安装高度。地面参数的计算公式如下:

其中,T

本实施例中,根据标定板在小车上的安装高度计算地面相对于世界坐标系的位姿,计算简便,计算得到地面参数后,可以计算待标定摄像装置与对应地面的相对位姿,便于后续使用待标定摄像装置通过拍摄对应地面上的目标物体计算对应地面中目标物体的客流量。

获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及小车在对应运动过程中待标定摄像装置采集标定板得到的视频数据,根据待标定摄像装置的视频数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据待标定摄像装置的视频数据,确定待标定摄像装置与标定板的相对位姿,根据小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及待标定摄像装置与标定板的相对位姿对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。本发明中,通过将标定板部署在小车上,使多个待标定摄像装置获取同一个标定板对应的视频帧信息,根据小车的位姿,确定标定板的位姿,根据标定板的位姿,以及待标定摄像装置与标定板的相对位姿,确定待标定摄像装置的位姿,同时,根据小车的位姿,可以得到地面的位姿,即地面参数,从而自动对待标定摄像装置内参、待标定摄像装置外参及地面参数进行联合标定,简化标定步骤,提高标定效率。

请参阅图3,图3是本发明实施例提供的一种参数标定装置的结构示意图。本实施例中包括的各单元用于执行图2对应的实施例中的各步骤。具体请参阅图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图3,参数标定装置30包括:获取模块31,内参标定模块32,外参标定模块33。

获取模块31,用于获取固定安装有标定板的小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及小车在对应运动过程中待标定摄像装置采集标定板得到的视频数据;

内参标定模块32,用于根据待标定摄像装置的视频数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参,以及根据待标定摄像装置的视频数据,确定待标定摄像装置与标定板的相对位姿;

外参标定模块33,用于根据小车在运动过程中的各个时刻的位姿数据、标定板与小车的安装参数以及待标定摄像装置与标定板的相对位姿对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。

可选地,上述参数标定装置30还包括:

点云数据与惯性数据获取模块,用于获取固定安装在小车上的激光雷达的点云数据与惯性传感器的惯性数据;

融合模块,用于通过预设融合算法,融合点云数据与惯性数据计算小车在运动过程中的各个时刻的位姿数据。

可选地,上述参数标定装置30还包括:

位姿差异确定模块,用于获取小车在运动过程中的各个时刻标定板与地面的位姿差异,根据位姿差异,确定位姿差异对应的旋转参数与平移参数;

地面参数确定模块,用于根据旋转参数与平移参数,计算地面在世界坐标系下的地面位姿,根据地面位姿确定地面参数。

可选地,上述内参标定模块32包括:

候选视频帧数据确定单元,用于对视频数据中的每一视频帧数据中的标定板进行检测,选取包含标定板的候选视频帧数据;

目标帧数据确定单元,用于对候选视频帧数据的质量进行评分,得到对应视频帧数据的评分结果,选取评分结果大于预设阈值的视频帧数据为目标帧数据;

第一标定单元,用于使用目标帧数据对待标定摄像装置进行内参数标定,得到待标定摄像装置的内参。

可选地,上述第一标定单元包括:

畸变矩阵计算子单元,用于获取目标帧数据的平面坐标,根据平面坐标计算待标定摄像装置的畸变矩阵;

纠正子单元,用于使用畸变矩阵对目标帧数据进行纠正,得到纠正后的目标帧数据;

计算子单元,用于根据纠正后的目标帧数据结合预设标定算法,计算得到待标定摄像装置的内参。

可选地,上述外参标定模块33包括:

标定板位姿数据确定单元,用于小车的安装参数,计算各个时刻的标定板位姿数据;

第二标定单元,用于根据各个时刻的标定板位姿数据,以及待标定摄像装置与标定板的相对位姿,对待标定摄像装置进行外参数标定,得到待标定摄像装置的外参。

需要说明的是,上述模块、单元、子单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。

图4为本发明提供的一种计算机设备的结构示意图。如图4所示,该实施例的计算机设备包括:至少一个处理器(图4中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意各个参数标定方法实施例中的步骤。

该计算机设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图4仅仅是计算机设备的举例,并不构成对计算机设备的限定,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括网络接口、显示屏和输入装置等。

所称处理器可以是CPU,该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器包括可读存储介质、内存储器等,其中,内存储器可以是计算机设备的内存,内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘,在另一些实施例中也可以是计算机设备的外部存储设备,例如,计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。

本发明实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当计算机程序产品在计算机设备上运行时,使得计算机设备执行时实现可实现上述方法实施例中的步骤。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

相关技术
  • 一种浴室加热装置和用于控制浴室加热装置的方法、设备、电子设备及计算机可读存储介质
  • 摄像头标定方法、装置、计算机设备和存储介质
  • 全景相机的远程标定方法、装置、计算机设备和存储介质
  • 一种目标定位方法、装置、系统及计算机可读存储介质
  • 一种相机标定方法、装置、终端设备及存储介质
  • 注射器的参数标定方法、标定设备及计算机存储介质
  • 注射器的参数标定方法、标定设备及计算机存储介质
技术分类

06120115921236