标定方法、装置及电子设备

技术领域

本发明实施例涉及机器视觉技术领域，尤其涉及一种标定方法、装置及电子设备。

背景技术

随机计算机视觉技术的发展，图像处理已经用于空间三维物体的几何测量、定位以及三维重建与识别等技术领域。

图像处理是指从相机所获取的图像信息出发，利用相机成像的校验模型，计算三维空间中物体的几何信息和位置信息，并由此重建和识别物体。其中，利用相机成像的校验模型用于表示空间物体表面某点的三维位置信息与其在二维图像中对应点的像素位置信息之间的对应关系。因此，确定校验模型中参数对计算机视觉的处理精度影响重大。传统标定方法是线性变换标定方法。线性变换标定方法是基于相机小孔成像线性校验模型，利用较高精度的标定物来进行辅助，构造三维控制点与二维图像点位置的线性关系方程，利用线性校验方程的迭代求解来进行相机参数的快速标定。

然而，由于线性模型中未考虑镜头畸变，因此线性变换标定方法无法校准相机的畸变。

发明内容

本发明实施例提供一种标定方法、装置及电子设备，以解决现有处理方法由于采用线性变换校验模型，未考虑到镜头畸变，导致无法准确确定相机校验模型的参数的技术问题。

第一方面，本发明提供一种标定方法，方法包括：

获取相机所拍摄的多个控制点的图像，以及多个控制点在大地坐标系下的位置数据；

根据多个控制点的图像和多个控制点在大地坐标系下的位置数据，确定校验模型中相机参数，其中，校验模型是根据相机的切向畸变量和相机的径向畸变量构建的。

可选地，相机的校验模型具体包括：非线性化校验方程；

其中，非线性化校验方程包括：切向畸变量、径向畸变量、控制点在图像上的位置变量、以及图像上像主点位置变量。

可选地，相机的校验模型具体包括：线性化校验方程；

其中，线性化校验方程通过对非线性化校验方程利用泰勒公式进行线性化处理获得。

可选地，相机的切向畸变量具体包括：切向畸变系数和距离变量；

其中，距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。

可选地，相机的径向畸变量具体包括：径向畸变系数、距离变量、以及控制点在图像上的位置变量；

其中，距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。

可选地，根据多个控制点的图像和多个控制点在大地坐标系下的位置数据，确定校验模型中相机参数，具体包括：

针对多个控制点的图像和多个控制点在大地坐标系下的位置数据，利用最小二乘法对线性化校验方程求解，以确定校验模型中相机参数。

可选地，相机的校验模型具体为：

其中，dx＝x(k

可选地，相机参数包括：切向畸变系数、径向畸变系数、焦距、像主点、相机在大地坐标系下的位置、以及相机姿态。

第二方面，本发明提供一种标定装置，装置包括：

获取模块，用于获取相机所拍摄的多个控制点的图像，以及多个控制点在大地坐标系下的位置数据；

确定模块，用于根据多个控制点的图像和多个控制点在大地坐标系下的位置数据，确定校验模型中相机参数；

其中，校验模型是根据相机的切向畸变量和相机的径向畸变量构建的。

可选地，相机的校验模型具体包括：非线性化校验方程；

其中，非线性化校验方程包括：切向畸变量、径向畸变量、控制点在图像上的位置变量、以及图像上像主点的位置变量。

可选地，相机的校验模型具体包括：线性化校验方程；

其中，线性化校验方程通过对非线性化校验方程利用泰勒公式进行线性化处理获得。

可选地，相机的切向畸变量具体包括：切向畸变系数和距离变量；

其中，距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。

可选地，相机的径向畸变量具体包括：径向畸变系数、距离变量、以及控制点在图像上的位置变量；

其中，距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。

可选地，确定模块具体用于：

针对多个控制点的图像和多个控制点在大地坐标系下的位置数据，利用最小二乘法对线性化校验方程求解，以确定校验模型中相机参数。

可选地，相机的校验模型具体为：

其中，dx＝x(k

可选地，相机参数包括：切向畸变系数、径向畸变系数、焦距、像主点、相机在大地坐标系下的位置、以及相机姿态。

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储程序；

处理器，用于执行存储器存储的程序，当程序被执行时，处理器用于执行第一方面及可选方案所涉及的标定方法。

本发明实施例提供一种标定方法、装置及电子设备，在标定方法中，考虑相机的切向畸变量和相机的径向畸变量对校验模型影响，利用控制点在大地坐标系下位置和控制点在图像坐标系下的位置，求解校验模型中相机参数，由于同时考虑相机的切向畸变和径向畸变，所确定的相机参数更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明根据一示例性实施例示出的标定方法的流程示意图；

图2为本发明根据另一示例性实施例示出的标定方法的流程示意图；

图3为相机镜头坐标系与大地坐标系之间转换关系示意图；

图4为本发明提供的用于计算相机参数的计算机设备的界面图；

图5为本发明实施例提供的标定方法的原理图；

图6为本发明根据一示例性实施例示出的标定装置的结构示意图；

图7为本发明根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的标定方法利用线性变换标定方法确定校验模型的参数。具体为：基于相机小孔成像线性校验模型，利用较高精度的标定物来进行辅助，构造三维控制点与二维图像点位置的线性关系方程，利用线性校验方程的迭代求解来进行相机参数的快速标定。然而，由于线性模型中未考虑镜头畸变，因此线性变换算法无法校准相机的畸变。

本发明的发明构思是：将相机在成像过程中由于透镜所产生的切向畸变量和径向畸变量考虑到校验模型中，再利用三维高精度校验控制点对校验模型进行校验，以获得校验模型的相机参数，提高了所获得的相机参数的精确度。

本发明提供的标定方法可应用于目标测量系统、视觉定位系统以及视觉识别系统。若应用于目标测量系统，则是对目标测量系统中相机进行标定，在利用本发明提供的标定方法获得相机参数后，利用相机参数以及图像数据获得所对象的测量数据。若应用于视觉系统，则是对视觉系统中相机进行标定，利用相机参数进行图像匹配、定位处理等计算，获得目标的位置数据。若应用于视觉识别系统，则是对视觉识别系统中相机进行标定，利用相机参数进行匹配处理，以实现对象识别。当然，本发明提供的标定方法不限于应用上述应用场景中，此处不再赘述。当本发明提供的标定方法应用于目标测量系统时，可以快速获得相机参数，且流程简单，适用于快速测量应用场景，最终可实现15m范围内0.2m的测量精度，精度较高具有实际生产意义。

方法实施例

图1为本发明根据一示例性实施例示出的标定方法的流程示意图。如图1所述，本发明提供的标定方法，具体包括如下步骤：

S101、获取相机所拍摄的多个控制点的图像，以及多个控制点在大地坐标系下的位置数据。

更具体地，控制点是位于地面上的物体，利用高精度的相机拍摄多个控制点的图像。可以是多个控制点位于一张图像中，也可以是多个控制点位于多张图像中。通过测量方式获取多个控制点在大地坐系下的位置数据，也可以采用其他方式获取多个控制点在大地坐标系下的位置数据，此处不做限定。

S102、根据多个控制点的图像和多个控制点在大地坐标系下的位置数据，确定校验模型中相机参数。

更具体地，校验模型表示控制点的三维位置数据与控制点在相机所拍摄的图像上的二维位置数据之间关系。该校验模型根据相机的切向畸变量和相机的径向畸变量构建的。

作为一种具体实施方式，相机的校验模型可以为非线性化校验方程。其中，非线性化校验方程包括：切向畸变量、径向畸变量、控制点在图像上的位置变量、以及图像上像主点的位置变量。

其中，相机的切向畸变量具体包括切向畸变系数和距离变量。距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。相机的径向畸变量具体包括：径向畸变系数、距离变量、以及控制点在图像上的位置变量。

作为另一种具体实施方式，相机的校验模型还可以为线性化校验方程。为了便于求解该校验模型，通过对非线性化校验方程利用泰勒公式进行线性化处理，获得线性化校验方程。

获取相机拍摄的控制点图像中控制点的二维位置数据，将控制点的二维数据和控制点在大地坐标系下的三维位置数据，代入校验模型中，并利用最小二乘法求解校验模型中的相机参数。

在本实施例中，相机参数包括：切向畸变系数、径向畸变系数、焦距、像主点、相机在大地坐标系下的位置、以及相机姿态。其中，切向畸变系数、径向畸变系数、焦距以及像主点构成相机的内参，相机在大地坐标系下的位置以及相机姿态构成相机的安装参数。

在本实施例提供的标定方法中，校验模型根据径向畸变量和切向畸变量获得，在利用控制点的图像和位置数据对校验模型进行求解后，所获得的相机参数可以精确反应相机中凸镜引起的畸变。

图2为本发明根据另一示例性实施例示出的标定方法的流程示意图。如2所示，本发明提供的标定方法包括如下步骤：

S201、获取相机所拍摄的多个控制点的图像，以及多个控制点在大地坐标系下的位置数据。

更具体地，在校验场上设置有多个控制点，可以利用测量装置获得控制点的位置信息，利用高精度相机对着校验场拍摄多张照片，可以使相机对着校验场的两边分别拍摄两组照片，再让相机对着校验场的中间拍摄一组照片。

S202、利用最小二乘法对线性化校验方程求解，以确定校验模型中相机参数。

更具体地，相机参数包括：切向畸变系数、径向畸变系数、焦距、像主点、相机在大地坐标系下的位置、以及相机姿态。相机参数的具体表示符号为：

其中，inn

图3为相机镜头坐标系与大地坐标系之间转换关系示意图。如图3所示，P表示位于地面上的控制点上一点，其在大地坐标系下坐标为(X，Y，Z)，S表示相机，(X

利用共线方程的原理，计算物方空间坐标与像空间坐标之间的转换关系如下：

其中，a

由于相机校验模型的特殊性，当入射光线为90度时，其对应的像点与像主点间的距离为R，当入射光线为α时，其对应像点与像主点间的距离为r，它们之间存在一定的比例关系：

其中，

继续参考图3，可以得到P′点的大地坐标系与图像坐标之间的比例关系：

综合式(1)至公式(4)，可得到校验模型如下：

其中，dx，dy表示像素对应的畸变差，(x

参考公式5，可知上述校验模型为非线性校验模型，为了便于对模型求解，对上述校验模型利用泰勒公式进行线性化处理。处理过程如下：

(1)对公式(5)进行泰勒展开，并去掉高阶项，得到如下结果：

其中，上述偏导可以转换为如下公式：

在上述转换公式中，偏导公式具体为：

其中

在上述转换公式中，偏导公式具体为：

(2)为了提高求解的准确度，将多个控制点同时代入校验方程中，并将去除高阶项的泰勒展开式利用矩阵形式表示，得到线性校验方程如下：

V＝AX-L

其中，

其中，矩阵A中第一行和第二行表示第一个控制点，矩阵A中第三行和第四行表示第二个控制点，以此类推。

值得注意的是，解非线性校验方程对参数初值的要求很高，如果初值离真值较远，很容易导致方程不收敛。因此，内方位元素x

在得到线性校验方程后，将高精相机拍摄的三组图片代入线性校验方程中计算，获得相机参数。

在本实施例中，针对相机对着校验长两边拍摄的2组数据，对拍摄的视频截图，进行检校，一组数据中有两张相片建立一组检校工程。求解相机参数过程是：在计算机设备中手动选择多个已知大地坐标的控制点作为计算条件，调用S202中线性校验方程，进行解算，结算方法为通过后方交会进行最小二乘平差，迭代剔除粗差点，计算得到相机的内外参数。图4为本发明提供的用于计算相机参数的计算机设备的界面图，所获得的相机参数见表1-1和表1-2。

表1-1一体化相机检校内参结果示意

表1-2一体化相机检校外参结果示意

图5为本发明实施例提供的标定方法的原理图，如图5所示，本实施例的原理为：获取高精度的控制点，再基于相机像方物方转换关系构建校验模型，进行模型解算，以将校验模型转换为线性模型，再利用控制点对模型进行测试，以输出相机参数。

在本实施提供的标定方法中，通过物方像方转换以及镜头畸变公式，获得非线性校验方程，再将非线性校验方程通过泰勒展开转化为线性校验方程，并利用最小二乘法对线性校验方程进行求解，以获得精确的相机参数。

产品实施例

图6为本发明根据一示例性实施例示出的标定装置的结构示意图，如图6所示，本发明提供一种标定装置，装置300具体包括：

获取模块301，用于获取相机所拍摄的多个控制点的图像，以及多个控制点在大地坐标系下的位置数据；

确定模块302，用于根据多个控制点的图像和多个控制点在大地坐标系下的位置数据，确定校验模型中相机参数，其中，校验模型是根据相机的切向畸变量和相机的径向畸变量构建的。

可选地，相机的校验模型具体包括：非线性化校验方程；

其中，非线性化校验方程包括：切向畸变量、径向畸变量、控制点在图像上的位置变量、以及图像上像主点的位置变量。

可选地，相机的校验模型具体包括：线性化校验方程；

其中，线性化校验方程通过对非线性化校验方程利用泰勒公式进行线性化处理获得。

可选地，相机的切向畸变量具体包括：切向畸变系数和距离变量；

其中，距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。

可选地，相机的径向畸变量具体包括：径向畸变系数、距离变量、以及控制点在图像上的位置变量；

其中，距离变量是指控制点在图像上的位置到图像上像主点的位置之间的距离变量。

可选地，确定模块302具体用于：

针对多个控制点的图像和多个控制点在大地坐标系下的位置数据，利用最小二乘法对线性化校验方程求解，以确定校验模型中相机参数。

可选地，相机的校验模型具体为：

其中，dx＝x(k

可选地，相机参数包括：切向畸变系数、径向畸变系数、焦距、像主点、相机在大地坐标系下的位置、以及相机姿态。

图7为本发明根据一示例性实施例示出的电子设备的结构示意图。如图7所示，本实施例提供的电子设备400包括：处理器401以及存储器402。

存储器402，用于存储计算机执行指令；

处理器401，用于执行存储器存储的计算机执行指令，以实现上述实施例中标定方法所执行的各个步骤。具体可以参见前述标定方法实施例中的相关描述。

可选地，上述存储器402既可以是独立的，也可以跟处理器401集成在一起。

当存储器402独立设置时，该电子设备还包括总线403，用于连接存储器402和处理器401。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上电子设备所执行的标定方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。