一种基于现实场景的长焦相机标定装置及标定方法

技术领域

本发明涉及相机标定技术领域，尤其涉及一种基于现实场景的长焦相机标定装置及标定方法。

背景技术

长焦相机一般指采用的镜头焦距大于35mm的相机，其可以提供远处物体的清晰图像，因此经常应用在机器人导航、远距离三维重建、障碍物检测、无人机定位等领域中。这些应用大都需要先通过相机标定来建立相应的相机成像模型，获得相机的内部参数和外部参数，内部参数包括焦距、主点、畸变参数等参数，外部参数包括旋转、平移矩阵等参数。

为了获得相机的内部参数和外部参数，工程中常用的标定方法是棋盘格法。棋盘格法标定的过程通常是，用待标定相机拍摄多幅不同姿态下的棋盘格标定板照片，通过提取并比较棋盘格标定板中方格角点像素坐标与已知的角点世界坐标，求得相机模型内外部参数，进而完成对待标定相机的标定。这种方法的局限性在于棋盘格的尺寸及放置位置必须合适，保证标定板的角点能够在相机中成像清晰，便于检测。而且，在多相机的标定中，标定板还必须同时、完整地出现在所有相机中，对标定板的放置位置有较高的要求。由于长焦镜头的视场角狭窄且景深位置较远，如果使用棋盘格法进行标定，标定板的尺寸往往非常巨大，不利于布置与操作；而且对于多长焦镜头相机的标定，要让棋盘格同时处于多个相机的画面中，棋盘格很容易成像在图像的边缘，这很有可能导致最终的标定结果有较大误差。

发明内容

本发明的目的在于提供一种基于现实场景的长焦相机标定装置及标定方法，通过标定装置，获取现实场景中具有明显特征的物体点在同一坐标系下三维坐标，利用这些特征物体点来完成长焦相机的标定，解决了现有技术中的棋盘格标定法在长焦相机标定中存在的受标定板的尺寸限制、标定板布置及操作困难、标定结果不佳的技术问题。

本发明是通过以下技术方案实现的：

一方面，本发明提供一种基于现实场景的长焦相机标定装置，包括测距机构和控制机构；所述控制机构包括俯仰机构和偏摆机构，所述俯仰机构设于所述偏摆机构的上方，所述俯仰机构包括俯仰组件和俯仰角度测量组件，所述俯仰组件能够带动所述控制机构进行俯仰移动，所述俯仰角度测量组件用于测量所述控制机构的俯仰角度；所述偏摆机构包括偏摆组件和偏摆角度测量组件，所述偏摆组件能够带动所述控制机构进行偏摆移动，所述偏摆角度测量组件用于测量所述控制机构的偏摆角度；所述测距机构设置于所述控制机构上，所述测距机构能够随所述控制机构同步运动，所述测距机构用于测量特征点到所述测距机构的直线距离。

另一方面，本发明还提供一种基于现实场景的长焦相机标定方法，所述方法包括：

以控制机构的初始位置建立标定坐标系，将待标定相机放置于标定坐标系的原点，选取待标定相机能够清楚拍摄的一组特征点形成特征点组；

操作俯仰组件和偏摆组件使测距机构对准所述特征点，获得所述特征点组中每个特征点到测距机构的直线距离，利用偏摆角度测量组件获取控制机构的偏摆角度，利用俯仰角度测量组件获取控制机构的俯仰角度，根据所述直线距离、所述偏摆角度和所述俯仰角度，计算出所述特征点组中每个特征点在标定坐标系中的三维坐标值；

在保证所述特征点组出现在待标定相机画面中的情况下，变动所述待标定相机的拍摄视角，在每一拍摄视角下拍摄一张图像，获取预设张数的图像；

在采集到的预设张数的图像中，标注出所述特征点组中各特征点在图像中的二维投影坐标；

利用所述特征点组中每个特征点在标定坐标系中的三维坐标值和在图像中的二维投影坐标，计算待标定相机的内部参数。

进一步地，所述利用所述特征点组中每个特征点在标定坐标系中的三维坐标值和在图像中的二维投影坐标，计算待标定相机的内部参数，具体包括：

根据相机成像模型，得到成像模型公式：

其中，(x

令m

其中

构造似然函数

最小化下式的值，以使L取得最大值，

计算求得内参矩阵K即得待标定相机的内部参数。

进一步地，所述特征点的数量在20个以上。

进一步地，当待标定相机为多长焦相机时，选取的特征点组同时出现在所有待标定相机画面中。

进一步地，所述采集预设张数的图像，具体包括：所述预设张数不小于15。

进一步地，当待标定相机为多长焦相机时，同时采集所有待标定相机的画面。

进一步地，当待标定相机为多长焦相机时，在利用所述特征点组中每个特征点在标定坐标系中的三维坐标值和在图像中的二维投影坐标，计算待标定相机的内部参数之后，还包括：计算待标定相机之间的外部参数。

进一步地，所述外部参数包括旋转矩阵和平移矩阵，通过八点法求解本质矩阵的方法计算待标定相机之间的旋转矩阵和平移矩阵。

进一步地，所述外部参数包括旋转矩阵和平移矩阵，当选取的所有特征点均出现在一个平面上时，通过四点法求解单应性矩阵的方法求得待标定相机之间的旋转矩阵和平移矩阵。

实施本发明，具有如下有益效果：

本发明的标定装置和标定方法，通过获取现实场景中具有明显特征的物体点在同一坐标系下三维坐标，利用这些特征物体点来完成长焦相机的标定；相比于现有技术中的棋盘格标定法，由于标定使用的特征点均来自现实场景，因此能够克服由于长焦相机的焦距较大而受标定物尺寸大小的限制，且通过标定装置也易于获得这些特征点在同一坐标系下的三维坐标；而且这些特征点可以遍布相机的大部分画面，从而可以得到较好的标定结果，有利于提高标定结果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的长焦相机标定装置的结构示意图；

图2是本发明实施例提供的目标三维信息获取的示意图；

图3是本发明实施例提供的成像模型的示意图；

图4是本发明实施例中的八点法计算本质矩阵的模型示意图；

图5是本发明实施例中的四点法计算单应性矩阵的模型示意图；

图中的附图标记对应为：1-测距机构、2-俯仰机构、3-偏摆机构。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例

为了解决现有技术中的棋盘格标定法在长焦相机标定中存在的受标定板的尺寸限制、标定板布置及操作困难、标定结果不佳的缺陷，本实施例提供了一种基于现实场景的长焦相机标定装置，参阅图1，本实施例的标定装置包括测距机构1和控制机构；控制机构包括俯仰机构2和偏摆机构3，图1示意性地给出了俯仰机构2的俯仰方向和偏摆机构3的偏摆方向，俯仰机构2设于偏摆机构3的上方，且俯仰机构2与偏摆机构3固定连接，或成一体，俯仰机构2包括俯仰组件和俯仰角度测量组件，俯仰组件与俯仰角度测量装置固定连接，或成一体，俯仰组件能够带动控制机构进行俯仰移动，俯仰角度测量组件用于测量控制机构的俯仰角度；偏摆机构3包括偏摆组件和偏摆角度测量组件，偏摆组件与偏摆角度测量组件固定连接，或成一体，偏摆组件能够带动控制机构进行偏摆移动，偏摆角度测量组件用于测量控制机构的偏摆角度；测距机构1设置于控制机构上，且与控制机构固定连接，具体地，与俯仰机构固定连接，测距机构1能够随控制机构同步运动，测距机构1用于测量特征点到测距机构的直线距离，特征点为用于标定相机的现实场景中的点。本实施例中的标定装置还可以包括其他可以获得现实场景中特征点三维信息的装置，本领域技术人员可以对此做任意适当的设置，本实施例对此不作限制。本发明实施例能够通过标定装置，获取现实场景中具有明显特征的物体点在同一坐标系下三维坐标，同时利用这些特征物体点来完成长焦相机的标定；相比于现有技术中的棋盘格标定法，由于标定使用的特征点均来自现实场景，因此能够克服由于长焦相机的焦距较大而受标定物尺寸大小的限制，使得标定方法所受限制较小，且通过标定装置也易于获得这些特征点在同一坐标系下的三维坐标。

本发明的另一实施例还提供一种基于现实场景的长焦相机标定装置的标定方法，该方法基于上述实施例中的基于现实场景的长焦相机标定装置的标定装置实现，该方法包括以下步骤：

步骤S100、以控制机构的初始位置建立标定坐标系，将待标定相机放置于标定坐标系的原点，选取待标定相机能够清楚拍摄的一组特征点形成特征点组。

在一个具体的实施方式中，以控制机构的初始位置建立标定坐标系O

在一个具体的实施方式中，选取一组待标定的长焦镜头相机能够拍摄到的远处的明显物体特征点组，作为非限制性示例，特征点可以是建筑物的角点，还可以是装饰物如玻璃、雕刻、马路标志等的角点，还可以是杆状物体如旗杆、电线杆、树木等的顶点等。特征点的数量I一般在20个以上，以提高标定结果的准确度。

在一个具体的实施方式中，当进行多长焦相机标定时，选取的特征点组必须同时出现在所有待标定相机的画面中。

步骤S200、参阅图2，图中的小黑点表示目标点，也即选定的现实场景中的特征点，以测距机构中心线上的水平面为测量基准面，操作俯仰组件和偏摆组件使测距机构对准特征点，获得特征点组中每个特征点到测距机构的直线距离D

其中，i为当前特征点在特征点组中的序号，例如第一特征点、第二特征点、第三特征点等。

步骤S300、在保证特征点组出现在待标定相机画面中的情况下，变动待标定相机的拍摄视角，在每一拍摄视角下拍摄一张图像，获取预设张数的图像。

作为一种具体的实施方式，预设张数N一般不小于15，以提高标定结果的准确度。

作为一种具体的实施方式，进行多长焦相机标定时，需要同时记录所有长焦相机采集到的画面。

步骤S400、在采集到的预设张数的图像中，标注出特征点组中各特征点在图像中的二维投影坐标(x

步骤S500、利用特征点组中每个特征点在标定坐标系中的三维坐标值和在图像中的二维投影坐标(x

具体地，参阅图3的成像模型，图中的矩形框表示相机成像面，利用特征点组中的各特征点在坐标系中的三维坐标值(X

其中，

令m

其中

构造似然函数

为了能够让L取得最大值，需要最小化下式的值：

通过此方法求得内参矩阵K即可得到待标定相机的内部参数。

作为一种具体的实施方式，当进行的是多焦相机标定时，还需要计算相机之间的外部参数。以双目长焦相机为例，外部参数包括旋转矩阵和平移矩阵，可以通过八点法求解本质矩阵的方法来求得它们之间的旋转矩阵R和平移矩阵T。具体地，参阅图4所示的八点法计算本质矩阵的模型，图中2个相机分别为左相机和右相机，O

具体地，通过八点法求解本质矩阵的方法计算待标定相机之间的旋转矩阵R和平移矩阵T的方法如下：

令特征点在标定坐标系中的坐标M，投影到左右相机坐标系中的表达式为：

P

其中，

通过代入八组特征点在标定坐标系中的三维坐标和它们在左右相机坐标系中的投影位置，就可以求得旋转矩阵R和平移矩阵T。

作为一种具体的实施方式，当所有选取的特征点均出现在一个平面上，例如建筑物的某一外墙上、平坦的路面上等，求解本质矩阵的问题就退化成求解单应性矩阵，可以通过四点法来求解单应性矩阵，进而求得多个待标定相机之间的旋转矩阵R和平移矩阵T。

为了进一步详细地说明本实施例中的标定方法，以长焦双目相机的标定为例，标定中选取的特征点为远处大楼的一面外墙上玻璃窗的角点，因为楼面是平坦的，可以认为这些角点都是出于一个平面上的，共选择I个玻璃窗角点作为特征点，形成特征点组。

利用标定装置的测距机构分别测得作为特征点的玻璃窗角点到测距机构的直线距离D

不断变动长焦双目相机的拍摄视角，始终保证选取的特征点组中的全部特征点同时出现在长焦双目相机的左右画面中，同时各采集N张图像。

在采集到的每张图像中，标注出选取的特征点组中的各特征点在图像片中的二维投影坐标(x

利用特征点组中的各特征点在标定坐标系O

由于楼面是平坦的，所有选取的特征点可以认为均在一个平面上，图4所示的八点法求解本质矩阵的问题就退化成求解单应性矩阵，因此可以通过四点法来求解单应性矩阵的方法得到外部参数，图5示出了利用在同一楼面上通过四点法计算单应性矩阵的模型，求出单应性矩阵之后，进而可以求得左右相机之间的旋转矩阵R和平移矩阵T。

具体地，设特征点所在平面的单位法向量为N，那么任意到这个平面的距离为d的点均满足：

那么：

本发明的上述实施例，具有如下有益效果：

本发明实施例中的标定装置和标定方法，通过获取现实场景中具有明显特征的物体点在同一坐标系下三维坐标，同时利用这些特征物体点来完成长焦相机的标定；相比于现有技术中的棋盘格标定法，由于标定使用的特征点均来自现实场景，因此能够克服由于长焦相机的焦距较大而受标定物尺寸大小的限制，且通过标定装置也易于获得这些特征点在同一坐标系下的三维坐标；而且这些特征点可以遍布相机的大部分画面，从而可以得到较好的标定结果，有利于提高标定结果的准确度。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。