基于手眼标定的异步多相机外参标定算法

技术领域

本发明属于视觉同时定位与建图领域，具体涉及一种基于手眼标定的异步多相机外参标 定算法。

背景技术

目前，使用多相机的视觉SLAM方法成为视觉SLAM的一个发展趋势，多相机系统一般 由任意数量的相机以任意的角度组合在一起，具有广阔的视野角，如图1所示为四个相机系 统的硬件示意图，各个相机通过机械装置固连，且相机之间无共同视野。在多相机SLAM系 统中，即使一个相机被遮挡，整个多相机系统的位姿仍然可以由其他相机的观测估计出来。 因此，使用多相机可以极大提高视觉SLAM的性能与鲁棒性。然而对于多相机SLAM系统来 说，相机之间的的重标定是一个必须要解决的重要问题，现有的方法需要多相机之间具有硬 件时间同步，且需相机间具有共同的视野，因此不适用于这种无共视区域的异步多相机系统 的标定。

手眼标定算法是应用于机器人领域的坐标系变换问题的算法，目前手眼标定问题已统一 表示为求解AX＝XB的问题，其中A表示传感器1在某时刻内自身坐标系的位姿变换，B表 示传感器2在相同时间内自身坐标系的位姿变换，X表示传感器1和2之间的外参变换关系。 因此，在多相机系统中，可将任意两个相机之间设定为“手”“眼”关系，根据相同时间间隔 两相机之间的位姿变化量来进行外参标定。

B样条曲线由贝塞尔曲线演化而来，是一种根据采样时刻的已知观测量来推测非采样时 刻未知观测量的算法，其基本原理在于根据给点节点的测量值求解出控制点，进而拟合出曲 线，相比于分段线性插值算法，该算法具有平滑度高、连续可导的特性。

图优化算法本质上是一种优化算法，将优化问题以图的形式来表示，图由顶点和边组成， 记为G＝{V,E}，其中V为顶点的集合，E为边的集合。一条边可以连接两个或多个顶点，对 顶点构建约束关系，从而优化待解决的问题。

发明内容

本发明的目的：本发明的目的在于对异步多相机系统进行外参标定，提出了一种基于手 眼标定的异步多相机外参标定算法。

为完成以上目的，本发明采用如下的技术方案：首先对待标定的多相机利用视觉惯性里 程计系统进行轨迹估计，分别得到具有实际尺度的多条运动轨迹。然后选取一个基准相机， 利用二次B样条插值的算法，以基准相机的时间戳为基准，计算出其他相机在基准相机每个 时间戳对应时刻的位姿。然后对除了基准相机之外的每一个相机，利用手眼标定的方法及图 优化的算法估算出其与基准相机之间的外参变换关系，最后根据每个相机与基准相机之间的 外参得到任意两相机之间的外参变换关系。

本发明的优点有：

本发明采用基于手眼标定的异步多相机外参标定算法，可实现无重叠视野的多相机之间 的外参标定，不要求相机间的硬件同步，不需要额外的标定板，且优化迭代保证了算法的精 度，因此本发明具有较好的易用性及通用性。

附图说明

图1多相机系统硬件示意图

图2不同相机VIO轨迹示意图

图3B样条插值示意图

具体实施方式

步骤一：利用视觉-惯性里程计系统进行相机轨迹的生成，从而得到在不同时刻各个相机 的位姿。具体的，通过数据预处理、初始化、局部BA、闭环检测以及全局BA五个过程，将 IMU和视觉里程计的残差和状态量放在一起进行优化，最后可以得到每个相机的具有实际尺 度的运动轨迹信息。如图2所示为系统所得两个相机轨迹示意图。

步骤二：对于异步相机而言，在相机a轨迹相邻两时间戳的t

(1)求出每两个端点之间形成线段的中点作为新的端点。

(2)假设原始两端点为P

P(t)＝A

因此可得出二次B样条曲线为：

步骤三：通过B样条插值后，分别得到相机a、b在t

假设相机b坐标系到相机a坐标系的变换关系为T

进一步化简可得：

由于

因此式(8)可进一步写成：

根据式(10)，根据每一组相同时间段内的两相机位姿变化量，即可求出N组两相机的外 参变换量。

步骤四：对每组数据进行统计，求出平均的外参变换值。对于外参的平移部分，对所有 组的数据进行加权求平均值，对于旋转部分，采用四元数平均的方法。将求取的平均值作为 估计的初始值，参与后续的优化。

步骤五：根据手眼标定方法，可得到N组外参T

根据(10)，可在平移与旋转两方面构建六自由度的残差：

平移残差的构建：

旋转残差的构建：

其中(11)中根据平移的三个维度可构建三个残差，(12)中将旋转矩阵转换为旋转向量 的表示形式可以构建出三个残差。

步骤六：对基准相机与每个相机之间利用步骤二～步骤五进行外参标定，根据每个相机 与基准相机之间的外参关系得到任意两相机之间的外参变换关系，从而得到多相机系统的外 参变换关系。

根据上述算法，利用Euroc数据集进行仿真实验，首先通过VINS-Mono开源VIO算法对 数据集的左右目分别跑出两条轨迹，对关键帧的位姿进行保存，然后通过B样条算法，得到 左目每一时间戳对应的右目相机位姿，通过手眼标定算法得到1000组相机外参的估计值，求 平均后作为初始值，利用Ceres工具进行外参优化。仿真结果如下表所示，实验证明该方法 是有效的。