相机与激光雷达重标定方法、装置及计算机可读存储介质

技术领域

本申请涉及智能驾驶环境感知领域，特别涉及一种基于传感器融合里程计的相机与激光雷达自动重标定方法。

背景技术

智能驾驶车辆利用多模态传感器来精确、全面地理解道路环境信息，以实现安全决策与控制。很多研究通过融合相机与激光雷达的互补特征以鲁棒地感知周围交通状况，而两传感器之间精确的外参标定是实现智能车辆融合感知的前提。

相机与激光雷达的外参标定是通过寻找激光雷达坐标系到相机坐标系的刚体变换矩阵，使两坐标系对应点的对齐误差最小。传统方法依赖人工手动选取和匹配相机图像二维像素点与激光雷达点云三维点，将外参标定转化为n点透视问题进行求解。但是该方法需要较多2D-3D点对才能获得较为准确的标定结果，由于激光雷达点云的稀疏性，精确地提取特征点对往往费时费力，且对应点的精度在很大程度上受到标定人员的经验影响，鲁棒性差。

为减少人工干预，提高标定精度，很多自动标定算法通过在标定环境中放置标定板来提取不同模态传感器的共同特征。其中，棋盘板的应用最为广泛。如根据激光雷达点云反射率与棋盘格图案颜色的线性关系，结合棋盘全尺寸模型来估计棋盘三维角点，由此将外参标定转化为3D-2D匹配问题，这种方法需要人工移动标定板来获取不同角度、大小的标定板数据。有研究人员为了简化上述流程，在标定环境中放置多个不同位姿和距离的棋盘板，仅需单次采样即可获得标定参数。除棋盘板之外，还有方法利用增强现实标记直接从相机获取标定板角点的三维坐标，同时根据标定板边缘点云估计激光雷达坐标系下的角点三维坐标，据此求解两坐标系间的变换矩阵。除此之外，很多研究通过改造标定板，如在标定板上构造正方形开口、凹陷三面体、圆孔等等，以在单次观测中获取更多的特征点对，加速标定过程并增强算法鲁棒性。

但是，基于标定板的方法需要布置标定环境且较依赖人为操作，不适用于现场标定，降低了智能驾驶车辆的自治性。为此，很多自动标定方法着眼于不使用标定板进行相机和激光雷达的外参标定。有研究利用结构化环境中的三面体，如相邻的墙壁和地面，建立相机、激光雷达和三面体坐标系之间的几何约束，来求解两传感器间的变换关系。还有通过提取并对齐图像和点云中的对应直线段，来获取相机和激光雷达之间的旋转和平移矩阵，但是这种方法必须在具有很多直线特征的场景中(如建筑、室内等)才有效。为减小对环境特征的依赖，增强算法鲁棒性，有人提出了基于互信息理论建立激光雷达点云反射率与对应的图像灰度值之间的联合分布直方图，通过最小化离散度来获取正确的变换矩阵。但是这种方法依赖传感器特定的数据，而点云反射率数据质量受激光雷达光学系统性能限制，图像灰度易受光照条件(如环境阴影)影响，算法鲁棒性较低。

智能车辆行驶环境复杂多样，车身振动可能造成传感器漂移，即传感器相对位姿变化；或传感器维修后，重新安装于智能车辆上，两传感器间的相对位姿同样难免发生变化。在上述情况下，原先标定良好的外参矩阵不再适用，此时需要进行重新标定。若使用基于标定板的方法对相机和激光雷达进行重标定，毫无疑问是比较费时费力的，且不适用于现场标定；若使用不基于标定板的方法，其表现又在很大程度上受到环境和数据特征的限制，鲁棒性差。

发明内容

本申请一个实施例提供了一种基于传感器融合里程计的相机与激光雷达自动重标定方法，用于解决智能驾驶车辆的相机和激光雷达发生漂移后的重新标定问题。该方法完全由数据驱动，不需要设置任何标定板，且不受环境和数据特征约束。所述技术方案如下：

一种基于传感器融合里程计的相机与激光雷达自动重标定方法，其特征在于，包括：

在标定状态下获取基准位置的基准图像和基准点云；

在传感器发生漂移状态下，通过获取的基准图像和基准点云，结合在观测位置获取的观测图像和观测点云，采用基于传感器融合里程计的相机与激光雷达自动重标定方法进行重标定。

基于传感器融合里程计的相机与激光雷达自动重标定方法进行重标定，包括：

观测数据采集：通过相机和激光雷达在观测位置下对环境场景进行数据采集，分别得到观测图像和观测点云；

激光雷达运动估计：根据观测点云和基准点云，利用点云配准求解基准点云到观测点云的刚体变换矩阵

相机运动粗估计：建立基准点云和观测图像之间的3D-2D点对，得到平移尺度不准的相机运动；

相机运动精估计：融合激光雷达运动估计，得到准确尺度的相机运动；

基准点云转换；将基准点云根据相机运动转换到观测位置下；

重标定外参获取：将观测位置下的基准点云与观测点云通过点云配准求解变换矩阵，求均值得到最终的外参矩阵。

本申请另一个实施例提供了一种基于传感器融合里程计的相机与激光雷达自动重标定装置，用于解决智能驾驶车辆的相机和激光雷达发生漂移后的重新标定问题。该装置完全由数据驱动，不需要设置任何标定板，且不受环境和数据特征约束。所述技术方案如下：

一种基于传感器融合里程计的相机与激光雷达自动重标定装置，其特征在于，包括：

相机，用于实时获取环境图像；

激光雷达，用于实时获取环境点云数据；

以及，

处理器，执行上述重标定方法的步骤。

相对于现有技术，本发明具有以下有益效果：

1、不需要设置任何标定板：本方法无需标定板，节约人力和时间成本，增强智能驾驶车辆的自治性；

2、不受环境和数据特征约束：不依赖环境中的特定特征来对齐两传感器坐标系，不需要点云的反射率信息，仅需相机图像、点云坐标和基准外参矩阵即可实现重标定；

3、标定精度和鲁棒性高：室内外试验证明本方法标定误差非常小，且对不同程度的传感器漂移具有鲁棒性。

附图说明

图1是本申请一个实施例提供的基于传感器融合里程计的相机与激光雷达自动重标定方法的流程图；

图2是本申请一个实施例提供的传感器漂移前后的点云投影示意图；

图3是本申请一个实施例提供的基于传感器融合里程计的重标定算法示意图；

图4是本申请一个实施例提供的基于传感器融合里程计的相机与激光雷达自动重标定方法的结构框图；

图5是本申请一个实施例提供的相机运动粗估计的示意图；

图6是本申请一个实施例提供的不同观测次数下的室外试验估计外参误差箱线图；

图7是本申请一个实施例提供的不同漂移角度下的室外试验估计外参误差箱线图；

图8是本申请一个实施例提供的室外试验典型标定结果；a为传感器漂移后的投影图，白圈部分圈出了错误的点云投影点，b为本方法标定后的投影图；

图9是本申请一个实施例提供的不同观测次数下的室内试验估计外参误差箱线图；

图10是本申请一个实施例提供的不同漂移角度下的室内试验估计外参误差箱线图，a图为传感器漂移后的投影图，b图为本方法标定后的投影图；

图11是本申请一个实施例提供的室内试验典型标定结果。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请一个实施例提供的基于传感器融合里程计的相机与激光雷达自动重标定方法的流程图，该基于传感器融合里程计的相机与激光雷达自动重标定方法可以应用于智能驾驶车辆系统中。该基于传感器融合里程计的相机与激光雷达自动重标定方法，可以包括：

步骤101，记录基准数据：首先利用标定良好的相机和激光雷达，即在传感器相对位姿未发生改变时，在基准位置获取基准相机图像和基准点云。

本实施例中，可以采用任意标定方法对相机和激光雷达进行标定，得到基准外参与相机内参，本实施例不对标定方法作限定。

在完成标定后，由于智能驾驶车辆行驶过程中，车身会由于路面激励产生振动和冲击，在崎岖道路上更为频繁和明显；而相机和激光雷达通常通过底座固定在车身之上，在传感器受到冲击后可能发生漂移；或者传感器经过维修之后，重新装回到车辆上，都会导致相机与激光雷达的相对位姿发生变化。在这种情况下，原先经过精确标定的传感器系统的外参矩阵已不再适用当前传感器的位姿，即无法对齐相机坐标系和激光雷达坐标系，所以，后续需要对相机和激光雷达进行重新标定。

本实施例中，假设传感器只发生旋转分量上的漂移，没有平移漂移，因为在通常情况下，相机和激光雷达通过螺栓固定在基座上，这限制了传感器的3个平移自由度。

本实施例中，在得到基准外参与相机内参之后，需要在基准位置获取基准图像与基准点云，后续可以根据该基准图像、基准点云和基准外参对相机和激光雷达进行重新标定。其中，基准位置可以为一个固定地点的场景，比如停车场、路途中的一个固定地点等等，本实施例不作限定。

本实施例中，在基准位置获取基准相机图像和基准点云，可以包括：通过相机对基准位置下的环境进行拍摄，得到基准相机图像；通过激光雷达扫描得到基准点云数据。

为了保证后续图像配准以及点云配准的准确性，基准位置场景中需要包含一定数量的对象，使图像配准算法能够在相机图像上检测到足够的特征点。

步骤102，传感器漂移判断：当检测或认为观察到激光雷达点云投影图中的点云与图像对同一目标的表达明显不一致时，即投影到相机图像上的点云出现明显的偏移时，确定传感器发生漂移，即相机和激光雷达之间的相对位姿发生改变，需要重新标定。

请参考图2，图2中示出了标定参数正确时，传感器漂移前后的点云投影图。

在一种可能的计算方式中，激光雷达点云投影图可以根据相机图像、点云数据、基准外参与相机内参生成，可以包括：将相机图像、点云数据、基准外参与相机内参输入式(1)和式(2)，得到点云投影图；

其中，P

步骤103，基于传感器融合里程计的相机与激光雷达自动重标定：若传感器发生了漂移，将智能车辆驾驶至基准位置附近，即观测位置，在观测位置下采集观测图像和观测点云，并基于传感器融合里程计进行重标定。下面对重标定流程进行介绍。

具体的，基于传感器融合里程计进行重标定可以包括以下几个子步骤。

请参考图3，图3中示出了基于传感器融合里程计的重标定算法示意图。

请参考图4，其示出了本申请一个实施例提供的基于传感器融合里程计的相机与激光雷达自动重标定方法的结构框图，可以包括：

子步骤1031，观测数据采集：通过相机和激光雷达在观测位置下对环境场景进行数据采集，分别得到观测图像和观测点云。

其中，在获取观测图像之前，还可以调整智能驾驶车辆位置，以使相机采集的观测图像与基准图像尽量保持一致。

子步骤1032，激光雷达运动估计：根据观测点云和基准点云，利用点云配准求解基准点云到观测点云的刚体变换矩阵

其中，在估计激光雷达运动之前，还可以对点云进行预处理，包括滤除无特征的地面点、滤除特征较弱的远距离点和降采样处理。即，该方法还包括：对点云进行预处理，预处理后的点云有益特征较强，点云配准收敛速度快，精度高。

为便于构建传感器融合里程计，首先将预处理后的基准点云和观测点云根据基准外参

子步骤1033，相机运动粗估计：基于点云投影和图像配准原理建立基准点云和观测图像之间的3D-2D点对，利用PnP得到平移尺度不准的相机运动。

请参考图5，图5中示出了相机运动粗估计的示意图。

具体的，首先基于图像配准原理，使图像配准算法从基准图像和观测图像中提取特征点，计算特征描述子，并进行匹配，由此可以得到基准图像到观测图像的单应性矩阵H。通过单应性矩阵H，基准图像能够投影到观测图像上，且两图像中的对应目标点重合，即基准图像像素点

结合式(2)和(3)，基准图像上的基准点云投影点可根据下式变换到观测图像上：

根据式(4)可以建立基准相机坐标系下的三维点云和观测图像上的二维像素点的对应关系：

则可以通过求解PnP问题来估计基准相机坐标系到观测相机坐标系的变换矩阵

子步骤1034，相机运动精估计：通过融合估计的激光雷达运动来恢复准确尺度的相机运动。子步骤1033所求的相机运动的平移分量是不准确的，需要恢复准确的相机平移运动尺度s'，基准位置下相机坐标系点云

其中，

此外，由子步骤1032可知：

结合式(6)和(7)，可得：

由下式可以得到准确的相机平移运动：

子步骤1035，基准点云转换；将基准点云根据相机运动转换到观测位置下。

子步骤1036，重标定外参获取：将基准点云与观测点云通过点云配准求解变换矩阵，求均值得到最终的外参矩阵。

具体地，根据估计的准确尺度的相机运动，将基准相机坐标系下的点云

其中，E(·)将旋转矩阵转化为欧拉角；t为所设阈值。

若不满足收敛条件，则将

当收敛条件满足时，储存当前估计的漂移校正矩阵

对于平移向量，其平均值可直接计算：

最终所求的外参矩阵

图6为室外环境下，本方法在不同观测次数下，得到的估计外参与真值之间误差的箱线图，可以看出在观测次数达到2次时，旋转误差成倍缩小，之后没有较为明显的变化；平移误差集中在0附近，误差范围最大在0.5cm左右，误差非常小。以上结果说明算法在观测次数大于等于2次时，标定效果较好。但是过多的观测需要占用较多时间进行数据采集与计算，所以综合考量下，2次观测能够取得标定误差和效率的最优。

图7为室外环境下，观测次数为2次，不同角度的传感器漂移下本方法的标定误差箱线图，从结果中可以看出，旋转误差分布在0°左右，其离散度总体而言没有受到漂移角度的影响；而不同漂移角度下的平移误差差异相对较大，但是大部分集中在-0.5cm～0.5cm之间。总体而言，不同角度的传感器漂移下本方法的重标定误差较小、精度较高。

图8为室外环境下的典型标定效果，a为传感器漂移后的投影图，白圈部分圈出了错误的点云投影点，b为本方法标定后的投影图，白色方框放大图部分圈出了正确重标定的点云投影点，可以看出，经本申请提出的方法重标定之后，投影图中点云与图像准确对齐。

图9为室内环境下，本方法在不同观测次数下，得到的估计外参与真值之间的误差，可以看出，仅进行一次观测的标定结果旋转误差最大，观测次数为2-5时的标定结果没有明显的差异；平移误差很小，均在0.5cm之内。所以综合考量下，在观测次数为2时，标定误差和效率最优。

图10为室内环境下，观测次数为2次，不同角度的传感器漂移下本方法的标定误差。可以看出，旋转误差很小且没有随着漂移角度的增大而明显增大，平移误差与室外试验结果类似，分布较为离散，但是基本都集中在-0.5cm～0.5cm之间。

图11为室内环境下的典型标定效果，a图为传感器漂移后的投影图，白圈部分圈出了错误的点云投影点，b图为本方法标定后的投影图，白色方框放大图部分圈出了正确重标定的点云投影点，可以看出，经本申请提出的方法重标定之后，投影图中点云与图像准确对齐。

综上所述，本申请实施例提供的基于传感器融合里程计的相机与激光雷达自动重标定方法，在完成相机和激光雷达标定后，可以在基准位置下记录基准图像和基准点云；然后检测相机和激光雷达是否发生漂移；若是，则根据传感器融合里程计来重新标定相机和激光雷达。首先基于点云投影和图像配准原理建立基准点云和观测图像之间的3D-2D点对，利用N点透视投影得到平移尺度不准的相机运动；然后，通过融合估计的激光雷达运动来恢复准确尺度的相机运动，并将基准点云根据相机运动转换到观测位置下，与观测点云通过点云配准求解变换矩阵，最后通过均值化得到最终的外参矩阵。所提出的基于传感器融合里程计的方法无需设置标定板，不受环境和数据特征限制，能够实现相机和激光雷达的精确重标定，对传感器漂移具有较高的鲁棒性。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器)，EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例中基于传感器融合里程计的相机与激光雷达进行重标定的方法步骤。