传感器的标定方法及装置、存储介质、标定系统

技术领域

本公开涉及计算机视觉领域，具体涉及传感器的标定方法及装置、存储介质、标定系统。

背景技术

随着计算机视觉的不断发展，雷达和相机已成为传感器不可或缺的组合。基于雷达和相机提供的数据，可以让机器设备学习感知周围环境。

在雷达和相机融合过程中，雷达和相机之间的外参的准确性决定了环境感知的准确性。因此，目前亟需一种雷达和相机联合标定的方法，来尽可能准确的标定雷达和相机的外参。

发明内容

本公开提供了一种传感器的标定方法及装置、存储介质、标定系统，以实现雷达和相机的联合标定。

根据本公开实施例的第一方面，提供一种传感器的标定方法，第一标定板位于所述雷达和所述相机的共同视野范围内，所述方法包括：通过所述相机采集多张第一图像，所述多张第一图像中所述第一标定板的位姿信息不同；获取预先标定的所述相机的第一内参，并根据所述第一内参和所述多张第一图像，确定不同位姿信息的所述第一标定板相对于所述相机的外参；获取所述不同位姿信息的所述第一标定板的多组雷达点云数据，并根据所述不同位姿信息的所述第一标定板相对于所述相机的外参和所述多组雷达点云数据，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述获取预先标定的所述相机的第一内参之前，所述方法还包括：响应于初次标定所述传感器，对所述相机进行标定，得到所述相机的所述第一内参；所述获取预先标定的所述相机的第一内参，包括：响应于再次标定所述传感器，获取初次标定所述传感器得到的所述相机的所述第一内参。

在一些可选实施例中，第二标定板位于所述相机的视野范围内，在所述获取所述相机的第一内参之前，所述对所述相机进行标定，得到所述相机的所述第一内参，包括：通过所述相机采集多张第二图像，所述多张第二图像中所述第二标定板的位姿信息不同；根据所述多张第二图像，分别确定所述相机的多个第一备选内参，并将所述多个第一备选内参中的一个，确定为所述第一内参，其中，每张所述第二图像对应一个第一备选内参。

在一些可选实施例中，所述将所述多个第一备选内参中的一个，确定为所述第一内参，包括：通过所述相机，分别按照所述多个第一备选内参，将位于相机坐标系中的预设点投影到像素坐标系，获得所述预设点在所述像素坐标系中的多个第一坐标值；获取所述预设点在所述多张第二图像中的多个第二坐标值，并分别确定与每个第二坐标值对应的第一坐标值，得到多组存在对应关系的坐标对；确定每组坐标对中第一坐标值与第二坐标值之间的距离，并将多组坐标对中最小距离对应的一个第一备选内参，确定为所述相机的第一内参。

在一些可选实施例中，所述根据所述第一内参和所述多张第一图像，确定不同位姿信息的所述第一标定板相对于所述相机的外参，包括：根据所述第一内参对多张所述第一图像进行去畸变处理，得到多张与所述第一图像对应的第三图像；根据多张所述第三图像，确定所述相机的第二内参；根据多张所述第三图像以及所述相机的第二内参，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在一些可选实施例中，所述根据多张所述第三图像以及所述相机的第二内参，确定不同位姿信息的所述第一标定板相对于所述相机的外参，包括：分别确定每张所述第三图像对应的单应性矩阵；根据所述相机的第二内参和多个所述单应性矩阵，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在一些可选实施例中，所述根据所述不同位姿信息的所述第一标定板相对于所述相机的外参和所述多组雷达点云数据，确定所述雷达和所述相机之间的目标外参，包括：针对每个位姿信息的所述第一标定板，根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在相应的所述雷达点云数据中确定与所述第一标定板匹配的目标雷达点云数据；根据多组所述目标雷达点云数据与所述第一标定板之间的匹配关系，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在相应的所述雷达点云数据中确定与所述第一标定板匹配的目标雷达点云数据，包括：根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述第一标定板所在的备选位置；根据所述备选位置，在所述雷达点云数据中确定所述第一标定板所在的目标平面；在所述雷达点云数据对应的所述目标平面上，确定与所述第一标定板匹配的目标雷达点云数据。

在一些可选实施例中，所述根据所述备选位置，在所述雷达点云数据中确定所述第一标定板所在的目标平面，包括：从所述雷达点云数据中，随机选取位于所述备选位置对应区域内的多个第一雷达点，得到包括所述多个第一雷达点的第一平面；针对每个所述第一平面，分别确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。

在一些可选实施例中，所述在所述雷达点云数据对应的所述目标平面上，确定与所述第一标定板匹配的目标雷达点云数据，包括：在所述目标平面上，根据所述第一标定板的尺寸随机确定第一圆形区域；在所述雷达点云数据中，随机选取位于所述第一圆形区域内的任一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；将所述多个第一向量相加后得到第二向量；基于所述第二向量，确定所述第一标定板的目标中心位置；根据所述第一标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述第一标定板匹配的所述目标雷达点云数据。

在一些可选实施例中，所述基于所述第二向量，确定所述第一标定标的目标中心位置，包括：以所述第二向量的终点为第二圆心，根据所述第二圆心和所述第一标定板的尺寸确定第二圆形区域；以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；将所述多个第三向量相加后得到第四向量；将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述第一标定板的备选中心位置；响应于所述备选中心位置与所述第一标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。

在一些可选实施例中，所述基于所述第二向量，确定所述第一标定标的目标中心位置，还包括：响应于所述备选中心位置与所述第一标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述第一标定板的所述实际中心位置重合。

在一些可选实施例中，所述根据多组所述目标雷达点云数据与所述第一标定板之间的匹配关系，确定所述雷达和所述相机之间的目标外参，包括：根据多个匹配关系，确定所述雷达和所述相机之间的一个备选外参，并根据所述雷达和所述相机之间的多个备选外参，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述根据所述雷达和所述相机之间的多个备选外参，确定所述激光雷达和所述相机之间的目标外参，包括：通过所述雷达基于每个备选外参对所述第一标定板进行投影，投影到相应的所述第一图像上，生成一组投影数据；在多组投影数据中确定投影与相应的所述第一图像匹配度最高的一组投影数据为目标投影数据；确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述雷达和所述相机部署在车辆上，所述雷达为激光雷达。

在一些可选实施例中，所述相机相对于地面的距离大于所述雷达相对于地面的距离，所述第二标定板与所述相机之间的水平距离小于所述第一标定板与所述相机之间的水平距离，所述多张第二图像包括完整的所述第二标定板。

在一些可选实施例中，所述第一图像包括完整的所述第一标定板，且所述雷达点云数据包括基于完整的所述第一标定板得到的点云数据。

根据本公开实施例的第二方面，提供一种传感器的标定装置，所述传感器包括雷达和相机，第一标定板位于所述雷达和所述相机的共同视野范围内，所述装置包括：第一采集模块，用于通过所述相机采集多张第一图像，所述多张第一图像中所述第一标定板的位姿信息不同；第一确定模块，用于获取预先标定的所述相机的第一内参，并根据所述第一内参和所述多张第一图像，确定不同位姿信息的所述第一标定板相对于所述相机的外参；第二确定模块，用于获取所述不同位姿信息的所述第一标定板的多组雷达点云数据，并根据所述不同位姿信息的所述第一标定板相对于所述相机的外参和所述多组雷达点云数据，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述装置还包括：标定模块，用于响应于初次标定所述传感器，对所述相机进行标定，得到所述相机的所述第一内参；所述第一确定模块包括：获取子模块，用于响应于再次标定所述传感器，获取初次标定所述传感器得到的所述相机的所述第一内参。

在一些可选实施例中，第二标定板位于所述相机的视野范围内，所述标定模块包括：采集子模块，用于通过所述相机采集多张第二图像，所述多张第二图像中所述第二标定板的位姿信息不同；第一确定子模块，用于根据所述多张第二图像，分别确定所述相机的多个第一备选内参，并将所述多个第一备选内参中的一个，确定为所述第一内参，其中，每张所述第二图像对应一个第一备选内参。

在一些可选实施例中，所述第一确定子模块包括：投影单元，用于通过所述相机，分别按照所述多个第一备选内参，将位于相机坐标系中的预设点投影到像素坐标系，获得所述预设点在所述像素坐标系中的多个第一坐标值；第一确定单元，用于获取所述预设点在所述多张第二图像中的多个第二坐标值，并分别确定与每个第二坐标值对应的第一坐标值，得到多组存在对应关系的坐标对；第二确定单元，用于确定每组坐标对中第一坐标值与第二坐标值之间的距离，并将多组坐标对中最小距离对应的一个第一备选内参，确定为所述相机的第一内参。

在一些可选实施例中，所述第一确定模块包括：去畸变子模块，用于根据所述第一内参对多张所述第一图像进行去畸变处理，得到多张与所述第一图像对应的第三图像；第二确定子模块，用于根据多张所述第三图像，确定所述相机的第二内参；第三确定子模块，用于根据多张所述第三图像以及所述相机的第二内参，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在一些可选实施例中，所述第三确定子模块包括：第三确定单元，用于分别确定每张所述第三图像对应的单应性矩阵；第四确定单元，用于根据所述相机的第二内参和多个所述单应性矩阵，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在一些可选实施例中，所述第二确定模块包括：第四确定子模块，用于针对每个位姿信息的所述第一标定板，根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在相应的所述雷达点云数据中确定与所述第一标定板匹配的目标雷达点云数据；第五确定子模块，用于根据多组所述目标雷达点云数据与所述第一标定板之间的匹配关系，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述第四确定子模块包括：第五确定单元，用于根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述第一标定板所在的备选位置；第六确定单元，用于根据所述备选位置，在所述雷达点云数据中确定所述第一标定板所在的目标平面；第七确定单元，用于在所述雷达点云数据对应的所述目标平面上，确定与所述第一标定板匹配的目标雷达点云数据。

在一些可选实施例中，所述第六确定单元包括：第一确定子单元，用于从所述雷达点云数据中，随机选取位于所述备选位置对应区域内的多个第一雷达点，得到包括所述多个第一雷达点的第一平面；第二确定子单元，用于针对每个所述第一平面，分别确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；第三确定子单元，用于将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；第四确定子单元，用于在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。

在一些可选实施例中，所述第七确定单元包括：第五确定子单元，用于在所述目标平面上，根据所述第一标定板的尺寸随机确定第一圆形区域；选取子单元，用于在所述雷达点云数据中，随机选取位于所述第一圆形区域内的任一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；第六确定子单元，用于以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；第七确定子单元，用于将所述多个第一向量相加后得到第二向量；第八确定子单元，用于基于所述第二向量，确定所述第一标定板的目标中心位置；第九确定子单元，用于根据所述第一标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述第一标定板匹配的所述目标雷达点云数据。

在一些可选实施例中，所述第八确定子单元包括：以所述第二向量的终点为第二圆心，根据所述第二圆心和所述第一标定板的尺寸确定第二圆形区域；以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；将所述多个第三向量相加后得到第四向量；将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述第一标定板的备选中心位置；响应于所述备选中心位置与所述第一标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。

在一些可选实施例中，所述第八确定子单元还包括：响应于所述备选中心位置与所述第一标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述第一标定板的所述实际中心位置重合。

在一些可选实施例中，所述第五确定子模块包括：第八确定单元，用于根据多个匹配关系，确定所述雷达和所述相机之间的一个备选外参，并根据所述雷达和所述相机之间的多个备选外参，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述第八确定单元包括：第十确定子单元，用于通过所述雷达基于每个备选外参对所述第一标定板进行投影，投影到相应的所述第一图像上，生成一组投影数据；第十一确定子单元，用于在多组投影数据中确定投影与相应的所述第一图像匹配度最高的一组投影数据为目标投影数据；第十二确定子单元，用于确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述雷达和所述相机部署在车辆上，所述雷达为激光雷达。

在一些可选实施例中，所述相机相对于地面的距离大于所述雷达相对于地面的距离，所述第二标定板与所述相机之间的水平距离小于所述第一标定板与所述相机之间的水平距离，所述多张第二图像包括完整的所述第二标定板。

在一些可选实施例中，所述第一图像包括完整的所述第一标定板，且所述雷达点云数据包括基于完整的所述第一标定板得到的点云数据。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的传感器的标定方法。

根据本公开实施例的第四方面，提供一种传感器的标定装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面中任一项所述的传感器的标定方法。

根据本公开实施例的第五方面，提供一种标定系统，所述标定系统包括相机、雷达和第一标定板，所述第一标定板位于所述相机和所述雷达的共同视野范围内，所述第一标定板在不同采集时刻的位姿信息不同。

本实施例中，在标定传感器的过程中，比如，对雷达和相机之间的目标外参进行标定的情况下，可以获取预先标定的相机的第一内参，根据预先标定的相机的第一内参来确定第一标定板相对于相机的外参，从而根据不同位姿信息的所述第一标定板的多组雷达点云数据和第一标定板相对于相机的外参。在标定过程中，根据预先标定的相机的第一内参，以及多张第一图像，得到第一标定板相对于相机的外参，即在相机与雷达之间相对位置关系或是俯/仰角度发生改变的情况下，可以根据预先标定好的相机的第一内参来实现传感器的标定。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种传感器的标定方法流程图；

图2是本公开根据一示例性实施例示出的一种共同视野示意图；

图3是本公开根据一示例性实施例示出的一种不同姿态的标定板的示意图；

图4是本公开根据一示例性实施例示出的一种雷达发射的示意图；

图5是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图6是本公开根据一示例性实施例示出的一种相机视野示意图；

图7是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图8是本公开根据一示例性实施例示出的一种包括第二标定板的第二图像的示意图；

图9是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图10A是本公开根据一示例性实施例示出的一种对预设点进行投影的场景示意图；

图10B是本公开根据一示例性实施例示出的一种确定存在对应关系的坐标对的场景示意图；

图11是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图12是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图13是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图14是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图15是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图16是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图17是本公开根据一示例性实施例示出的确定多个第一向量的示意图；

图18是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图19是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图20是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；

图21A是本公开根据一示例性实施例示出的通过雷达对第一标定板进行投影的一种示意图；

图21B是本公开根据一示例性实施例示出的通过雷达对第一标定板进行投影的另一种示意图；

图22是本公开根据一示例性实施例示出的在车辆上部署雷达和相机的示意图；

图23是本公开根据一示例性实施例示出的雷达和相机部署在车辆上对应的第一标定板和第二标定板位置的示意图；

图24是本公开根据一示例性实施例示出的一种传感器的标定装置框图；

图25是本公开根据一示例性实施例示出的另一种传感器的标定装置框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一张或多张相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开提供了一种传感器的标定方法，对于传感器的标定而言，指的是对传感器的内参和外参进行标定。

其中，传感器的内参是指用于反映传感器自身特性的参数；在传感器出厂后，内参理论上是不变的，以相机为例，随着使用，相机各部件位置关系的变化会导致内参的变化。标定出的内参通常只是近似真实内参的一个参数，而并非内参的真实值。

下面以传感器包括相机和雷达为例说明传感器的内参。相机的内参，指的可以是用于反映相机自身特性的参数，可以包括但不限于以下至少一项，即可以为以下例举的多个参数中的一个或是至少两个的组合等：u

雷达的内参，指的可以是用于反映雷达自身特性的参数，可以包括但不限于以下至少一项，即可以为以下例举的多个参数中的一个或是至少两个的组合等：发射机的功率和型式、接收机的灵敏度和型式、天线的参数和型式、显示器的数量和型式等。

传感器的外参是指用于物体在世界坐标系中相对于相机的位置关系的参数。需要说明的是，在传感器包括多个的情况下，传感器外参通常指的是用于反映多个传感器坐标系之间转换关系的参数。下面同样以传感器包括相机和雷达为例说明传感器的外参。相机的外参，是指用于将点从世界坐标系转换到相机坐标系的参数。在本公开实施例中，标定板相对于相机的外参，可以用于反映处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数等。

相机的外参可以包括但不限于如下参数中的一项或多项的组合：相机采集到的图像的畸变参数、处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数等。畸变参数包括径向畸变参数和切向畸变系数。径向畸变和切向畸变分别是图像像素点以畸变中心为中心点，沿着长度方向或切线产生的位置偏差，从而导致图像发生形变。

处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数可以包括旋转矩阵R和平移矩阵T。其中，旋转矩阵R是处于世界坐标系的标定板转换到相机坐标系的情况下分别相对于x、y、z三个坐标轴的旋转角度参数，平移矩阵T是在处于世界坐标系的标定板转换到相机坐标系的情况下原点的平移参数。

雷达的外参，是指用于将点从世界坐标系转换到雷达坐标系的参数。在本申请实施例中，标定板相对于雷达的外参，可以用于反映处于世界坐标系的标定板转换到雷达坐标系所需的位置和/或姿态的变化参数等。

相机和雷达之间的目标外参，是指用于反映雷达坐标系与相机坐标系之间转换关系的参数，相机和雷达之间的外参可以反映雷达坐标系相对于相机坐标系在位置和姿态上的变化等。

比如，传感器可以包括相机和雷达，那么对传感器进行标定，指的是对相机的内参、雷达的内参、标定板相对于相机的外参、标定板相对于雷达的外参、相机和雷达之间的目标外参中的一项进行标定或多项的组合进行标定。需要说明的是，实际被标定的参数可以包括但不限于上述例举的情况。

例如图1所示，在传感器包括相机和雷达的情况下，传感器的标定方法可以包括以下步骤：

在步骤101中，通过所述相机采集多张第一图像。

其中，所述多张第一图像中所述第一标定板的位姿信息不同。

在本公开实施例中，雷达可以采用通过发射激光束，来探测目标的位置、速度等特征量的激光雷达，或者工作在毫米波频段的毫米波雷达等。

视野是传感器在位置不变的情况下，发射的光、电磁波等可以覆盖的范围。在本申请实施例中，以传感器包括雷达为例，视野指的是雷达发射的激光束或电磁波等可以覆盖的范围；以传感器包括相机为例，视野指的是相机的摄像头所能拍摄到的范围。

在本公开实施例中，第一标定板位于雷达和相机的共同视野范围内，例如图2所示。其中，共同视野范围是指传感器中包括的传感元件各自覆盖的范围相互重叠的部分，即雷达覆盖的范围与相机拍摄的范围重叠的部分。

在本公开实施例中，第一标定板可以采用圆形、长方形或正方形的固定间距图案的阵列平板。例如图3所示，可以采用长方形的黑白格子相间的阵列平板。当然，标定板的图案还可以包括其他规则图案，或是包括不规则但具备特征点集、特征边等特征参数的图案，在此对于标定板的形状、图案等内容不予限定。

在本步骤中，为了提高雷达和相机之间的目标外参的准确性，相机采集的第一图像的数目可以为多张，例如大于20张。在本公开实施例中，采集的多张第一图像中第一标定板的位姿信息可以不同，即多张第一图像中存在至少部分图像分别展示第一标定板的不同位姿，例如图3中所示出的第一标定板存在俯仰角、翻滚角、偏航角三个维度的姿态变化。也就意味着，多张第一图像可以是在第一标定板处于不同位置和/或位姿下采集，即不同第一图像所包括的第一标定板的位姿信息可以相同或不同，但存在至少两张第一图像包括第一标定板不同的位姿信息。其中，每张第一图像中需要包括完整的第一标定板。

其中，位姿信息指的是用于反映第一标定板在三维空间中的姿态的信息。例如图3所示的第一标定板的位姿信息可以是，第一标定板俯仰角、翻滚角、偏航角(pitch、roll、yaw)三个维度中至少一个维度上的姿态变化。另外，在相机采集第一图像的过程中，可以使第一标定板处于静止状态。比如，可以使用支架固定第一标定板。

在一种实现方式中，所采集的多张第一图像中，可以包括多种距离(即距离较小、距离适中、距离较大等)下的第一标定板在不同位姿下的图像。为了确保雷达产生的激光可以覆盖到完整的第一标定板，通常在部署第一标定板的过程中，使第一标定板距离雷达较远。在对部署在不同距离的第一标定板的图像进行采集的过程中，响应于第一标定板距离相机的距离d1较小的情况下，例如距离d1小于距离阈值D1的情况下，采集包括不同位姿信息的第一标定板的多张第一图像。响应于d1较大的情况下，例如d1大于距离阈值D2的情况下，可以再额外采集包括不同位姿信息的第一标定板的多张第一图像。响应于距离d1适中的情况下，例如距离d1在上述两个距离阈值之间，即D1

在本公开实施例中，为了后续更准确地确定第一标定板相对于相机的外参，多张第一图像中可以包括完整的第一标定板。如果将雷达和相机部署在车辆上，那么可能会出现雷达和相机各自相对于地面的距离不同，例如图4所示多张第一图像中第一标定板可能占第一图像的部分内容。

在步骤102中，获取预先标定的所述相机的第一内参，并根据所述第一内参和所述多张第一图像，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

由于相机视野边缘畸变较大，可以更准确地确定畸变参数，同时畸变参数对相机的内参影响较大，因此如果根据多张第一图像来标定相机的内参，很显然标定结果不够准确。在本公开实施例中，可以直接获取预先标定好的相机的第一内参，根据相机的第一内参和之前相机采集的多张第一图像，可以确定不同位姿信息的第一标定板相对于所述相机的外参、

在本公开实施例中，相机的第一内参是在初次标定传感器的情况下，对相机进行标定，得到的相机的内参。在初次标定相机内参的情况下，相机采集的多张包括完整的第二标定板的多张第二图像，根据多张第二图像标定相机的第一内参。其中，多张第二图像中所述第二标定板的位姿信息不同。第二标定板可以距离相机较近，且靠近相机的视野边缘，这样确定出的相机的第一内参显然比采用多张第一图像标定出的相机的内参更加准确。本公开实施例中，初次标定相机的第一内参之后，再次对传感器进行标定的情况下，可以直接获取预先标定的相机的第一内参。进一步地，采用张正友标定法等方式。根据第一内参和多张第一图像，确定第一标定板相对于相机的外参，包括旋转矩阵R和平移矩阵T。

在步骤103中，获取所述不同位姿信息的所述第一标定板的多组雷达点云数据，并根据所述不同位姿信息的所述第一标定板相对于所述相机的外参和所述多组雷达点云数据，确定所述雷达和所述相机之间的目标外参。

在本公开实施例中，已经通过相机采集了不同位姿信息的第一标定板的多张第一图像，针对每个位姿信息的第一标定板可以同时采集对应的雷达点云数据。其中，雷达点云数据是该雷达发射的激光或电磁波穿过不同位姿信息的第一标定板所产生的包括多个雷达点的数据。且为了提高最终确定的雷达和相机之间的目标外参的准确性，该雷达点云数据包括基于完整的第一标定板得到的点云数据。

第一标定板的边缘与雷达发射的激光或电磁波不平行，可以有一定角度，确保第一标定板每个边缘都有雷达发射的激光或电磁波穿过，例如图4所示，以便后续可以更好的确定第一标定板在雷达点云数据中匹配的目标雷达点云数据。

所述雷达和所述相机之间的目标外参，属于相机和雷达之间的外参。

上述实施例中，在标定过程中，根据预先标定的相机的第一内参，以及多张第一图像，得到第一标定板相对于相机的外参，即在相机与雷达之间相对位置关系或是俯/仰角度发生改变的情况下，可以根据预先标定的相机的第一内参来实现传感器的标定。

在一些可选实施例中，例如图5所示，在执行上述步骤102获取预先标定的所述相机的第一内参之前，该方法还包括：

在步骤100中，响应于初次标定所述传感器，对所述相机进行标定，得到所述相机的所述第一内参。

在本公开实施例中，如果是初次对传感器进行标定的情况，则可以对相机进行标定，得到相机的第一内参。

后续步骤102中获取预先标定的相机的第一内参的步骤可以包括：

响应于再次标定所述传感器，获取初次标定所述传感器得到的所述相机的所述第一内参。

如果是再次对传感器进行标定的情况，例如需要再次标定传感器中雷达和相机之间的目标外参的情况下，可以直接获取初次标定传感器得到的相机的第一内参。

上述实施例中，响应于初次标定传感器，对相机进行标定，得到相机的第一内参，响应于再次标定传感器，可以直接获取初次标定传感器得到的相机的第一内参。这样可以将相机标定过程、以及雷达和相机之间的目标外参的标定过程区分开，并在再次标定传感器的过程中，直接基于初次标定传感器得到的相机的第一内参来实现传感器标定，无需反复对相机的内参进行标定，有效提高了确定目标外参的速度。

在一些可选实施例中，在初次标定传感器的情况下，第二标定板应位于相机的视野范围内，第二图像中可以包括完整的第二标定板，例如图6所示。为了提高初次标定相机的第一内参的准确性，可以让第二标定板位于相机的视野边缘。

例如图7所示，上述步骤100可以包括：

在步骤100-1中，通过所述相机采集多张第二图像。

其中，所述多张第二图像中所述第二标定板的位姿信息不同。

第二标定板可以与第一标定板相同或不同。在本申请实施例中，第一标定板与第二标定板相同指的可以是采用同样的标定板来实现第一标定板和第二标定板的功能，其中，在同一标定板作为第二标定板进行使用的情况下，可以采取该同一标定板作为第一标定板所处的位姿，当然，也可以采取不同于该同一标定板作为第一标定板所处的位姿。第一标定板与第二标定板不同指的可以是采用完全不同或是部分不同的标定板来分别实现第一标定板和第二标定板的功能。

其中，位姿信息可以是第二标定板在三维空间中的姿态，例如俯仰角、翻滚角、偏航角(pitch、roll、yaw)三个维度的姿态变化。

在相机采集第二图像的过程中，第二标定板应处于静止状态。可以使用支架固定第二标定板。

相机在采集第二图像的情况下，为了提高第一内参的准确性，让第二标定板尽可能靠近相机视野边缘，这样相机采集到的多张第二图像中，第二标定板在所述第二图像中占据的比例大于预设值，可选地，所述预设值可以是一个具体的数值，或是范围值。以预设值为范围值为例，预设值的范围值会影响相机的每个第一内参的准确性，因此，为了提高后续确定的相机的第一内参的准确性，可以将预设值设置为[0.8，1]之间的数值，例如图8所示。

为了提高确定的相机的第一内参的准确性，相机采集的第二图像的数目可以为多张，例如大于20张。在本公开实施例中，采集的多张第二图像中第二标定板的位姿信息可以不同，即多张第二图像中存在至少部分图像分别展示第二标定板的不同位姿，例如存在俯仰角、翻滚角、偏航角三个维度的姿态变化。也就意味着，多张第二图像可以是在第二标定板处于不同位置和/或位姿下采集，即不同第二图像所包括的第二标定板的位姿信息可以相同或不同，但存在至少两张第二图像包括第二标定板不同的位姿信息。其中，每张第二图像中需要包括完整的第二标定板。

另外，在相机采集第二图像的过程中，可以使第二标定板处于静止状态。比如，可以使用支架固定第二标定板。

在一种实现方式中，所采集的多张第二图像中，可以包括多种距离(即距离较小、距离适中、距离较大等)下的第二标定板在不同位姿下的图像。在对部署在不同距离的第二标定板的图像进行采集的过程中，响应于第二标定板距离相机的距离d2较小的情况下，例如距离d2小于距离阈值D3的情况下，可以采集包括不同位姿信息的第二标定板的多张第二图像。响应于d2较大的情况下，例如d2大于距离阈值D4的情况下，可以再额外采集包括不同位姿信息的第二标定板的多张第二图像。响应于距离d2适中的情况下，例如距离d2在上述两个距离阈值之间，即D3

为了提高相机的第一内参的准确性，相机采集的多张第二图像不应出现图像模糊，其中，图像模糊可能是由于传感器的运动，即相机的运动造成相机与第二标定板之间出现相对运动所造成的。可选地，可以确定相机采集到的多张第二图像中是否有运动模糊的图像，去除运动模糊的图像。或者可以通过预设脚本过滤掉运动模糊的图像。

在步骤100-2中，根据所述多张第二图像，分别确定所述相机的多个第一备选内参，并将所述多个第一备选内参中的一个，确定为所述第一内参。

在本公开实施例中，可以采用预设的matlab工具箱根据多张第二图像来分别标定出相机的多个第一备选内参。

在多个第一备选内参中，可以通过所述相机，将位于相机坐标系中的预设点重投影到像素坐标系中，比较投影点与预设点在像素坐标系中对应点之间的误差，将误差值最小的一个第一备选内参作为相机的第一内参。

上述步骤100-1、100-2是为了初次标定传感器的情况下，对相机的第一内参进行标定的过程，与步骤101在执行时没有先后顺序的限定。如果再次标定传感器的情况下，可以直接获取预先标定的相机的第一内参。

在本公开实施例中，相机的第一备选内参就是根据相机采集到的包括不同位姿信息的第二标定板的多张第二图像，分别确定出的相机的多个第一备选内参。第一备选内参中按照上述方式确定的投影点与预设点在像素坐标系中对应点之间的误差值最小的一个第一备选内参就是相机的第一内参。而后续的相机的多个第二备选内参则是根据相机采集到的包括不同位姿信息的第一标定板的多张第一图像，进行去畸变后的多张第三图像所确定出的相机在理想状态下的多个内参。第二内参则是在多个第二备选内参中确定的投影点与预设点在像素坐标系中对应点之间的误差值最小的一个第二备选内参，第二内参就是相机在没有畸变的理想状态下的内参。

另外，在本公开实施例中，除了上述相机的第一内参之外，还涉及了第一标定板相对于相机的外参，这是通过上述相机的第二内参和多张第三图像，即通过相机去畸变后的理想内参和去畸变后的多张第三图像确定出的，世界坐标系的第一标定板转换到相机坐标系所需的位置和/或姿态的变化参数等。目标外参，即雷达和相机之间的外参，是根据第一标定板相对于相机的外参和多组雷达点云数据确定出的，用于反映雷达坐标系相对于相机坐标系在位置和姿态上的变化等的参数。

上述实施例中，可以确定相机的多个第一备选内参，从而在多个第一备选内参中确定一个作为第一内参，提高了确定相机内参的精度和准确度，可用性高。

在一些可选实施例中，例如图9所示，步骤100-2可以包括：

在步骤100-21中，通过所述相机，分别按照所述多个第一备选内参，将位于相机坐标系中的预设点投影到像素坐标系，获得所述预设点在所述像素坐标系中的多个第一坐标值。

预设点的数目可以是一个或多个，相机可以分别采用不同的第一备选内参，将位于相机坐标系中的预设点投影到像素坐标系中，获得预设点在像素坐标系中的多个第一坐标值。

例如图10A所示，将3D空间的一个预设点P投影到2D空间中，获得对应的第一坐标值P1。

在步骤100-22中，获取所述预设点在所述多张第二图像中的多个第二坐标值，并分别确定与每个第二坐标值对应的第一坐标值，得到多组存在对应关系的坐标对。

可以确定预设点在像素坐标系中的第二坐标值，例如图10B所示第二坐标值为P2，分别确定与每个第二坐标值P2对应的一个第一坐标值P1，得到多组存在对应关系的坐标对。例如，P2对应P1，P1和P2构成一组坐标对，再例如P2’对应P1’，则P1’和P2’构成另一组坐标对。

在步骤100-23中，确定每组坐标对中第一坐标值与第二坐标值之间的距离，并将多组坐标对中最小距离对应的一个第一备选内参，确定为所述相机的第一内参。

在本公开实施例中，可以分别计算每一组坐标对中第一坐标值与第二坐标值之间的距离。最小距离对应的一个第一备选内参，可以作为相机的第一内参。

假设第一坐标值和第二坐标值之间的距离分别为d1、d2和d3，其中d2最小，则d2对应的是第一备选内参2，则可以将第一备选内参2作为相机的第一内参。

上述实施例中，将重投影误差最小的一个第一备选内参作为相机的目标内参，使得相机的第一内参更加准确。

在一些可选实施例中，例如图11所示，步骤102可以包括：

在步骤102-1中，根据所述第一内参对多张所述第一图像进行去畸变处理，得到多张与所述第一图像对应的第三图像。

预先同时设置有雷达和相机的机器设备，例如同时设置了雷达和相机的车辆上部署的具有图像处理功能的设备(该设备可以为雷达、相机或是其他设备)，可以对多张第一图像进行去畸变。

本公开实施例中，为了后续可以获得比较准确的第一标定板相对于相机的外参，可以先根据预先标定的相机的第一内参对多张第一图像去畸变，得到多张第三图像，根据多张第三图像确定相机的第二内参，即相机在没有畸变的理想情况下的内参，再根据相机的第二内参确定第一标定板相对于相机的外参。

其中，相机内参可以通过内参矩阵A表示，如公式1所示：

在对多张第一图像进行去畸变处理的过程，就是需要在上述内参矩阵A中忽略由于畸变造成的像素点距离成像仪中心的距离值r的影响，让r尽可能为0，相应的内参矩阵A可以用公式2表示：

从而可以得到多张与第一图像对应的第三图像。

在步骤102-2中，根据多张所述第三图像，确定所述相机的第二内参。

可以通过预设的matlab工具箱根据去畸变处理后的多张第三图像，来分别确定相机的多个第二备选内参，相机分别采用不同的第二备选内参将位于相机坐标系的预设点投影到像素坐标系，获得多个第三坐标值。观测到的每个预设点在像素坐标系中的第四坐标值与相应的第三坐标值作为一组存在对应关系的坐标对，将多组坐标对中最小距离对应的一个第二备选内参作为相机的第二内参。

在本公开实施例中，第二内参是根据去畸变之后的多张第三图像确定出的相机的内参。

在步骤102-3中，根据多张所述第三图像以及所述相机的第二内参，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

可以先分别计算每张第三图像对应的单应性矩阵H，得到多个单应性矩阵H，再根据第二内参和多个单应性矩阵，计算出不同位姿信息的第一标定板相对于相机的外参，可以包括旋转矩阵R和平移矩阵T。

其中，单应性矩阵是描述世界坐标系和像素坐标系之间的位置映射关系的矩阵。

上述实施例中，可以根据相机的第一内参，对相机拍摄的多张第一图像进行去畸变，获得多张第三图像，根据多张第三图像来确定相机的第二内参，第二内参相当于理想情况下没有畸变的相机的内参。再根据多张第三图像和第二内参，确定第一标定板相对于相机的外参，通过上述方式得到的第一标定板相对于所述相机的外参准确性更高。

在一些可选实施例中，例如图12所示，上述步骤102-3可以包括：

在步骤102-31中，分别确定每张所述第三图像对应的单应性矩阵。

在本公开实施例中，每张第三图像对应的单应性矩阵H可以采用以下方式计算：

H＝A[r

根据公式3和公式4可以得出公式5：

其中，(u，v)是像素坐标，(X，Y)对应标定板的坐标，s是尺度因子。

在本公开实施例中，通过公式5可以计算出多张第三图像分别对应的单应性矩阵H。

在步骤102-32中，根据所述相机的第二内参和多个所述单应性矩阵，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在计算得到多个单应性矩阵H之后，在确定不同位姿信息的所述第一标定板相对于所述相机的外参R和T的情况下，可以采用以下公式进行计算：

H＝A[r

其中，单应性矩阵H是一个3×3的矩阵，公式6可以进一步表示为：

[h

计算得到r

根据公式7还可以计算得到t＝λA

上述实施例中，可以分别确定每张第三图像对应的单应性矩阵，根据得到的多个单应性矩阵和相机的第二内参，确定第一标定板相对于相机的外参，使得第一标定板相对于相机的外参更加准确。

在一些可选实施例中，例如图13所示，上述步骤103可以包括：

在步骤103-1中，针对每个位姿信息的所述第一标定板，根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在相应的所述雷达点云数据中确定与所述第一标定板匹配的目标雷达点云数据。

其中，外参参考值可以是根据雷达和相机之间的大致位置和朝向，得出的粗略估计的雷达和相机之间的外参值。可以根据外参参考值将雷达所在的坐标系与相机坐标系重合起来，统一到相机坐标系中。

在本公开实施例中，可以针对每个位姿信息的所述第一标定板，所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，采用M估计(M-estimator SAmple Consensus，MSAC)算法来确定第一标定板所在的目标平面。进一步地，使用均值偏移(MeanShift)聚类算法在所述目标平面上，在对应的雷达点云数据中确定出与第一标定板匹配目标雷达点云数据。

在步骤103-2中，根据多组所述目标雷达点云数据与所述第一标定板之间的匹配关系，确定所述雷达和所述相机之间的目标外参。

在本公开实施例中，可以基于多组目标雷达点云数据与所述第一标定板之间的匹配关系，采用最小二乘法确定出所述雷达和所述相机之间的目标外参。

上述实施例中，可以针对每个位姿信息的第一标定板，第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，采用M估计算法来确定第一标定板所在的目标平面。进一步地，使用均值偏移聚类算法在所述目标平面上，在对应的雷达点云数据中确定出与第一标定板匹配目标雷达点云数据。自动在雷达点云数据中确定出与第一标定板匹配的目标雷达点云数据，降低了匹配误差，提高了点云匹配的准确度。根据多组所述目标雷达点云数据与所述第一标定板之间的匹配关系，确定所述雷达和所述相机之间的目标外参，可以更加快速确定出雷达和相机之间的目标外参，提高了目标外参的准确性。

在一些可选实施例中，例如图14所示，上述步骤103-1可以包括：

在步骤103-11中，根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述第一标定板所在的备选位置。

在本公开实施例中，可以先根据第一标定板相对于所述相机的外参和预估的所述雷达和所述相机之间的外参参考值，在多组雷达点云数据中分别预估第一标定板所在的位置，获得该第一标定板所在的大致位置和方向。将第一标定板所在的大致位置和方向作为预估的备选位置。每一组雷达点云数据可以对应一个第一标定板的备选位置。

在步骤103-12中，根据所述备选位置，在所述雷达点云数据中确定所述第一标定板所在的目标平面。

本公开实施例中，可以从每组雷达点云数据中，每次随机选取位于所述备选位置所对应的区域内的多个第一雷达点，可以获得由多个第一雷达点组成的第一平面。

再针对每个第一平面，分别计算每组雷达点云数据中除多个第一雷达点以外的其他雷达点到第一平面的距离。将其他雷达点中所述距离值小于预设阈值的雷达点作为第二雷达点，并将第二雷达点确定为第一平面中的雷达点。将雷达点数目最多的一个第一平面作为第一标定板所在的目标平面。

在步骤103-13中，在所述雷达点云数据对应的所述目标平面上，确定与所述第一标定板匹配的目标雷达点云数据。

在每个目标平面上，根据所述第一标定板的尺寸随机确定第一圆形区域。该第一圆形区域可以是第一标定板外接圆对应的区域。在每组所述雷达点云数据中，随机选取位于所述第一圆形区域内的任一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置。

以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量。将所述多个第一向量相加后得到第二向量。在基于第二向量，确定第一标定板的目标中心位置。

进一步地，根据所述第一标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述第一标定板匹配的所述目标雷达点云数据。

在一些可选实施例中，例如图15所示，步骤103-12可以包括：

在步骤103-121中，从所述雷达点云数据中，随机选取位于所述备选位置对应区域内的多个第一雷达点，得到包括所述多个第一雷达点的第一平面。

本公开实施例中，可以分别从每组所述雷达点云数据中，每次随机选取位于所述备选位置所对应区域内的多个第一雷达点，每次可以获得由多个第一雷达点组成的第一平面。如果分多次随机选取多个第一雷达点，则可以得到多个第一平面。

例如，假设雷达点包括1、2、3、4、5、6、7和8，第一次随机选取第一雷达点1、2、3和4组成第一平面1，第二次随机选取第一雷达点1、2、4和6组成第一平面2，第三次随机选取了第一雷达点2、6、7和8组成第一平面3。

在步骤103-122中，针对每个所述第一平面，分别确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离。

例如，对于第一平面1，可以计算其他雷达点5、6、7、8分别到第一平面1的距离值，对于第一平面2，可以计算其他雷达点3、5、7、8分别到第一平面2的距离值，同样地，对于第一平面3，可以计算其他雷达点1、3、4、5分别到第一平面3的距离值。

在步骤103-123中，将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点。

例如，对于第一平面1，其他雷达点5到第一平面1的距离值小于预设阈值，则将雷达点5作为第二雷达点，且第二雷达点确定为第一平面中的雷达点，最终第一平面1包括雷达点1、2、3、4和5，同样地，可以得到包括雷达点1、2、4、6、7的第一平面1，以及包括雷达点1、3、4、5、6、8的一平面3。

在步骤103-124中，在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。

将雷达点数目最多的一个第一平面，例如第一平面3作为第一标定板所在的目标平面。

采用上述方法可以针对每组雷达点云数据，确定第一标定板所在的一个目标平面。拟合出的目标平面更加准确，可用性高。

在一些可选实施例中，例如图16所示，步骤103-13可以包括：

在步骤103-131中，在所述目标平面上，根据所述第一标定板的尺寸随机确定第一圆形区域。

本公开实施例中，在确定了第一标定板所在的目标平面之后，可以在目标平面上随机按照第一标定板的尺寸确定第一圆形区域，该第一圆形区域的大小可以采用该第一标定板的外接圆大小。

在步骤103-132中，在所述雷达点云数据中，随机选取位于所述第一圆形区域内的任一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置。

本公开实施例中，在确定了第一圆形区域后，在所述第一圆形区域内的雷达点云数据中，随机选取一个雷达点作为该第一圆形区域的第一圆心。通过第一圆形后续调整第一圆形区域在雷达点云数据中的位置。

在步骤103-133中，以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量。

在本公开实施例中，例如图17所示，可以以第一圆心为起点，雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，得到多个第一向量。

在步骤103-134中，将所述多个第一向量相加后得到第二向量。

在本公开实施例中，将所有的第一向量相加后可以得到一个Meanshift向量，即第二向量。

在步骤103-135中，基于所述第二向量，确定所述第一标定板的目标中心位置。

本公开实施例中，再将第二向量的终点作为第二圆心，按照第一标定板的尺寸，重新得到第二圆形区域。将第二圆形区域内的多个第四雷达点为终端，分别得到多个第三向量。多个第三向量相加得到第四向量，再将第四向量的终点作为新的第二圆心，重新确定第四向量，直到第四向量收敛为预设值，将此时对应的第二圆心作为第一标定板的备选中心位置。

可以确定该备选中心位置与第一标定板实际中心位置是否重合，如果重合可以直接将备选中心位置作为目标中心位置，否则可以重新确定新的所述备选中心位置，直到确定出最终的目标中心位置。

在步骤103-136中，根据所述第一标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述第一标定板匹配的所述目标雷达点云数据。

在本公开实施例中，在确定了第一标定板的所述目标中心位置之后，根据第一标定板的目标中心位置和尺寸，就可以确定出第一标定板对应的位置，将雷达点云数据中与第一标定板位置匹配的雷达点云数据作为目标雷达点云数据，实现了自动确定目标雷达点云数据的目的，可用性高。

在一些可选实施例中，例如图18所示，步骤103-135可以包括：

在步骤103-1351中，以所述第二向量的终点为第二圆心，根据所述第二圆心和所述第一标定板的尺寸确定第二圆形区域。

本公开实施例中，可以将第二向量的终点作为第二圆心，再次以第二圆心为新的圆心，半径为第一标定板外接圆半径得到第二圆形区域。

在步骤103-1352中，以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量。

本公开实施例中，再将第二圆心作为起点，雷达点云数据中位于第二圆心区域内的多个第四雷达点作为终点，分别得到多个第三向量。

在步骤103-1353中，将所述多个第三向量相加后得到第四向量。

在步骤103-1354中，将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值。

本公开实施例中，可以将第四向量的终点重新作为新的第二圆心，按照上述步骤103-1351至103-1353的方式再次计算得到新的第四向量，不断重复上述过程，直到最终得到的第四向量的向量值收敛到预设值。可选地，预设值可以无限接近于零。

在步骤103-1355中，响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述第一标定板的备选中心位置。

本公开实施例中，可以在第四向量的向量值收敛为所述预设值的情况下所对应的第二圆心作为第一标定板的备选中心位置。

在步骤103-1356中，响应于所述备选中心位置与所述第一标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。

本公开实施例中，可以确定的备选中心位置与第一标定板的实际中心位置是否重合，如果重合，可以直接将该备选中心位置作为最终第一标定板的目标中心位置。在一些可选实施例中，例如图19所示，步骤103-135还可以包括：

在步骤103-1357中，响应于所述备选中心位置与所述第一标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述第一标定板的所述实际中心位置重合。

可以在备选中心位置与所述第一标定板的所述实际中心位置不重合的情况下，删除该第二圆形区域内的所有雷达点，重新确定新的第二圆形区域，或者直接删除这一组雷达点云数据，根据另一组与第一标定板的其他姿态对应的雷达点云数据，来重新确定第一标定板的备选中心位置，直到确定出的备选中心位置与所述第一标定板的所述实际中心位置重合。

此时再执行步骤103-1356，将该备选中心位置作为与第一标定板的当前目标姿态对应的目标中心位置。

在一些可选实施例中，步骤103-2可以包括：

在步骤103-21中，根据多个匹配关系，确定所述雷达和所述相机之间的一个备选外参，并根据所述雷达和所述相机之间的多个备选外参，确定所述雷达和所述相机之间的目标外参。

在本公开实施例中，可以根据3个或大于3个的匹配关系。采用最小二乘法，通过最小化雷达和所述相机之间的外参误差的平方和的方式，来确定一个备选外参。

例如，位姿信息1的第一标定板对应目标雷达点云数据1、位姿信息2的第一标定板对应目标雷达点云数据2，以此类推，共有n组匹配关系。可以根据前3组匹配关系，确定备选外参1，根据前4组匹配关系，确定备选外参2，根据前两组和第4组匹配关系，确定备选外参3等等，确定出多个备选外参。

在上述确定出的多个备选外参中，确定出投影效果最好的一个备选外参作为所述雷达和所述相机之间的目标外参。

上述实施例中，可以根据多个匹配关系，分别确定出雷达和相机之间的备选外参，根据多个备选外参，选择投影效果最后的一个备选外参，作为雷达和相机之间的目标外参，提高了雷达和相机之间的目标外参的准确性。

在一些可选实施例中，例如图20所示，步骤103-21可以包括：

在步骤103-211中，通过所述雷达基于每个备选外参对所述第一标定板进行投影，投影到相应的所述第一图像上，生成一组投影数据。

在相机坐标系中，通过雷达基于每个雷达和相机之间的备选外参对第一标定板进行投影，投影到相应的第一图像上，得到一组投影数据，例如图21A所示。

在步骤103-212中，在多组投影数据中确定投影与相应的所述第一图像匹配度最高的一组投影数据为目标投影数据。

在多组投影数据中，确定投影与第一图像匹配度最高的一组投影数据，将该组投影数据确定为目标投影数据，例如两组投影数据中，分别投影到第一图像上得到的投影数据，例如图21A和图21B所示，图21A的投影效果是最好的，则该组投影数据就是目标投影数据。

在步骤103-213中，确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。

目标投影数据对应的备选外参，就是雷达和相机之间的目标外参。

上述实施例中，可以根据投影效果对多个备选外参进行验证，将投影效果最好的备选外参作为最终的目标外参，提高了雷达和相机之间的目标外参的准确性。

在一些可选实施例中，上述雷达和相机可以部署在车辆上，雷达可以采用激光雷达，可选地，可以在车辆的不同位置同时部署雷达和相机，例如图22所示，在车辆前方和后方、车前挡风玻璃等位置都可以部署雷达和相机。在相机的第一内参确定之后，如果需要重新确定雷达和相机之间的目标外参，则可以直接获取之前标定的第一内参，快速确定目标外参，且提高了相机的第一内参、以及雷达和相机之间的目标外参的准确性。

本公开实施例提供了的上述方法，可以用于机器设备上，该机器设备可以是手动驾驶或无人驾驶的交通工具，例如飞机、车辆、无人机、无人驾驶车辆、机器人等。以车辆为例，雷达和相机两个传感器一般设置在中控台上方、靠近前风挡玻璃的位置。由于车辆移动，会造成雷达和相机中的至少一个的姿态发生改变，此时需要重新标定雷达和相机之间的外参。由于前挡风玻璃对光线的折射等影响，会造成原先标定的相机内参在应用过程中的不准确，进而影响雷达和相机之间的外参的准确性。

在本公开实施例中，可以直接根据预先标定的相机的第一内参和相机采集的多张第一图像，确定不同位姿信息的第一标定板相对于相机的外参，再获取不同位置信息的第一标定板的多组雷达点云数据，根据所述不同位姿信息的所述第一标定板相对于所述相机的外参和所述多组雷达点云数据，最终确定出激光雷达和相机之间的目标外参。提高了车辆的环境感知能力，可用性高。

在一些可选实施例中，雷达部署在车辆前保险杠上，相机部署在车辆的后视镜的位置，例如图23所示，第一标定板位于雷达和相机的共同视野范围内，第一标定板可以固定在地面上，或是由工作人员手持等。

如果相机在标定第一内参的情况下，采用包含第一标定板的多张第一图像，由于雷达和相机不在同一水平面上，相机距离地面的距离较远，多张第一图像中第一标定板可能只占第一图像的部分内容，此时根据多张第一图像标定的相机的内参准确性较差。

在本公开实施例中，可以通过位于相机视野范围内且距离相机的距离较近的第二标定板进行相机内参的标定，第二标定板与所述相机之间的水平距离小于所述第一标定板与所述相机之间的水平距离，第二标定板可以固定在车上，此时采集到的第二图像中可以包括完整的第二标定板，进而可以得到比较准确的相机的第一内参。

上述实施例中，相机和雷达部署在车辆上，相机相对于地面的距离大于雷达相对于地面的距离，第二标定板与相机之间的水平距离小于第一标定板与相机之间的水平距离，相机采集的多张第二图像包括了完整的第二标定板，从而提高了标定相机内参的准确性。

与前述方法实施例相对应，本公开还提供了装置的实施例。

如图24所示，图24是本公开根据一示例性实施例示出的一种传感器的标定装置框图，第一标定板位于所述雷达和所述相机的共同视野范围内，装置包括：第一采集模块210，用于通过所述相机采集多张第一图像，所述多张第一图像中所述第一标定板的位姿信息不同；第一确定模块220，用于获取预先标定的所述相机的第一内参，并根据所述第一内参和所述多张第一图像，确定不同位姿信息的所述第一标定板相对于所述相机的外参；第二确定模块230，用于获取所述不同位姿信息的所述第一标定板的多组雷达点云数据，并根据所述不同位姿信息的所述第一标定板相对于所述相机的外参和所述多组雷达点云数据，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述装置还包括：标定模块，用于响应于初次标定所述传感器，对所述相机进行标定，得到所述相机的所述第一内参；所述第一确定模块包括：获取子模块，用于响应于再次标定所述传感器，获取初次标定所述传感器得到的所述相机的所述第一内参。

在一些可选实施例中，第二标定板位于所述相机的视野范围内，所述标定模块包括：采集子模块，用于通过所述相机采集多张第二图像，所述多张第二图像中所述第二标定板的位姿信息不同；第一确定子模块，用于根据所述多张第二图像，分别确定所述相机的多个第一备选内参，并将所述多个第一备选内参中的一个，确定为所述第一内参，其中，每张所述第二图像对应一个第一备选内参。

在一些可选实施例中，所述第一确定子模块包括：投影单元，用于通过所述相机，分别按照所述多个第一备选内参，将位于相机坐标系中的预设点投影到像素坐标系，获得所述预设点在所述像素坐标系中的多个第一坐标值；第一确定单元，用于获取所述预设点在所述多张第二图像中的多个第二坐标值，并分别确定与每个第二坐标值对应的第一坐标值，得到多组存在对应关系的坐标对；第二确定单元，用于确定每组坐标对中第一坐标值与第二坐标值之间的距离，并将多组坐标对中最小距离对应的一个第一备选内参，确定为所述相机的第一内参。

在一些可选实施例中，所述第一确定模块包括：去畸变子模块，用于根据所述第一内参对多张所述第一图像进行去畸变处理，得到多张与所述第一图像对应的第三图像；第二确定子模块，用于根据多张所述第三图像，确定所述相机的第二内参；第三确定子模块，用于根据多张所述第三图像以及所述相机的第二内参，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在一些可选实施例中，所述第三确定子模块包括：第三确定单元，用于分别确定每张所述第三图像对应的单应性矩阵；第四确定单元，用于根据所述相机的第二内参和多个所述单应性矩阵，确定不同位姿信息的所述第一标定板相对于所述相机的外参。

在一些可选实施例中，所述第二确定模块包括：第四确定子模块，用于针对每个位姿信息的所述第一标定板，根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在相应的所述雷达点云数据中确定与所述第一标定板匹配的目标雷达点云数据；第五确定子模块，用于根据多组所述目标雷达点云数据与所述第一标定板之间的匹配关系，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述第四确定子模块包括：第五确定单元，用于根据所述第一标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述第一标定板所在的备选位置；第六确定单元，用于根据所述备选位置，在所述雷达点云数据中确定所述第一标定板所在的目标平面；第七确定单元，用于在所述雷达点云数据对应的所述目标平面上，确定与所述第一标定板匹配的目标雷达点云数据。

在一些可选实施例中，所述第六确定单元包括：第一确定子单元，用于从所述雷达点云数据中，随机选取位于所述备选位置对应区域内的多个第一雷达点，得到包括所述多个第一雷达点的第一平面；第二确定子单元，用于针对每个所述第一平面，分别确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；第三确定子单元，用于将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；第四确定子单元，用于在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。

在一些可选实施例中，所述第七确定单元包括：第五确定子单元，用于在所述目标平面上，根据所述第一标定板的尺寸随机确定第一圆形区域；选取子单元，用于在所述雷达点云数据中，随机选取位于所述第一圆形区域内的任一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；第六确定子单元，用于以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；第七确定子单元，用于将所述多个第一向量相加后得到第二向量；第八确定子单元，用于基于所述第二向量，确定所述第一标定板的目标中心位置；第九确定子单元，用于根据所述第一标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述第一标定板匹配的所述目标雷达点云数据。

在一些可选实施例中，所述第八确定子单元包括：以所述第二向量的终点为第二圆心，根据所述第二圆心和所述第一标定板的尺寸确定第二圆形区域；以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；将所述多个第三向量相加后得到第四向量；将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述第一标定板的备选中心位置；响应于所述备选中心位置与所述第一标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。

在一些可选实施例中，所述第八确定子单元还包括：响应于所述备选中心位置与所述第一标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述第一标定板的所述实际中心位置重合。

在一些可选实施例中，所述第五确定子模块包括：第八确定单元，用于根据多个匹配关系，确定所述雷达和所述相机之间的一个备选外参，并根据所述雷达和所述相机之间的多个备选外参，确定所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述第八确定单元包括：第十确定子单元，用于通过所述雷达基于每个备选外参对所述第一标定板进行投影，投影到相应的所述第一图像上，生成一组投影数据；第十一确定子单元，用于在多组投影数据中确定投影与相应的所述第一图像匹配度最高的一组投影数据为目标投影数据；第十二确定子单元，用于确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。

在一些可选实施例中，所述雷达和所述相机部署在车辆上，所述雷达为激光雷达。

在一些可选实施例中，所述相机相对于地面的距离大于所述雷达相对于地面的距离，所述第二标定板与所述相机之间的水平距离小于所述第一标定板与所述相机之间的水平距离，所述多张第二图像包括完整的所述第二标定板。

在一些可选实施例中，所述第一图像包括完整的所述第一标定板，且所述雷达点云数据包括基于完整的所述第一标定板得到的点云数据。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一的传感器的标定方法。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的传感器的标定方法的指令。

在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的传感器的标定方法的操作。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开实施例还提供了一种传感器的标定装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的传感器的标定方法。

图25为本申请实施例提供的一种传感器的标定装置的硬件结构示意图。该传感器的标定装置310包括处理器311，还可以包括输入装置312、输出装置313和存储器314。该输入装置312、输出装置313、存储器314和处理器311之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图25仅仅示出了一种传感器的标定装置的简化设计。在实际应用中，传感器的标定装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的传感器的标定装置都在本申请的保护范围之内。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提供了一种标定系统，所述标定系统包括相机、雷达和第一标定板，所述第一标定板位于所述相机和所述雷达的共同视野范围内，所述第一标定板在不同采集时刻的位姿信息不同。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。