雷达与相机间的外参标定方法、装置、设备及存储介质

技术领域

本申请实施例涉及传感器外参标定技术领域，具体涉及一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质。

背景技术

在多传感器系统中，雷达相机融合技术扮演着关键的角色，雷达和相机作为常用的感知设备，能够提供丰富的信息，但它们通常位于不同的位置，因此需要进行外参标定，以确定它们的数据能够准确地融合在一起。传统的标定方案对于标定板的依赖性较强，而由于标定板与实际应用场景之间的差异性，导致外参标定精度较差，鲁棒性差。

发明内容

鉴于上述问题，本申请实施例提供了一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质，用于解决现有技术中存在的外参标定精度差和鲁棒性差的问题。

根据本申请实施例的一个方面，提供一种雷达与相机间的外参标定方法，应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，该方法包括：基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。

在一种可选的方式中，雷达和相机用于在控制场中进行多站点观测标定，以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参；通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参；根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。

在一种可选的方式中，通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参中，重投影误差的损失函数如下：

其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点的序号，K表示相机内参，P

通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参中，同名点云匹配误差的损失函数如下：

其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点的序号，P

在一种可选的方式中，根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参；将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。

在一种可选的方式中，将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参中，重投影误差的损失函数如下：

其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，p

在一种可选的方式中，基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，包括：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系；基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系；根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。

在一种可选的方式中，相机为鱼眼镜头相机；

控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系如下：

其中，B

基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系，包括：

基于针孔投影原理，可得特征点的坐标B

转化为极坐标系可得：

基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B

其中，k

将投影点的坐标B

其中，f

基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，包括：

确定相机内参矩阵K如下：

基于相机投影模型及相机内参矩阵K，可得相机所成的图像中的像素点与控制场中的控制点之间的关联式如下：

其中，Z

根据本申请实施例的另一个方面，提供一种雷达与相机间的外参标定装置，应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，该装置包括：第一坐标关系确定模块，用于基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；关联式确定模块，用于基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；第一外参确定模块，用于将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；第二坐标关系确定模块，用于基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；第二外参确定模块，用于根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；第三外参确定模块，用于根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。

根据本申请实施例的另一个方面，提供一种雷达与相机间的外参标定设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存储可执行指令，可执行指令使处理器执行如上任意一项中的雷达与相机间的外参标定方法的操作。

根据本申请实施例的另一个方面，提供一种计算机可读存储介质，存储介质中存储有可执行指令，可执行指令在雷达与相机间的外参标定设备上运行时，使得雷达与相机间的外参标定设备执行如上任意一项中的雷达与相机间的外参标定方法的操作。

本申请实施例提供的雷达与相机间的外参标定方法中，将包含有建筑物的室外场景作为控制场，并采用远景观测的方式进行标定，使得标定场景趋近于实际工作场景，并且充分利用了标定场地的真值信息，减少了因错误匹配导致的鲁棒性影响，在此基础上，首先对相机和雷达进行独立外参的解算，再通过转换得到雷达与相机间的外参，以提高标定的精度。

上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

附图仅用于示出实施方式，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的雷达与相机间的外参标定方法的流程示意图；

图2为图1中步骤160的子步骤流程示意图；

图3为图2中步骤163的子步骤流程示意图；

图4为图1中步骤110的子步骤流程示意图；

图5为本申请实施例提供的雷达与相机间的外参标定装置的模块化结构示意图；

图6为本申请实施例提供的雷达与相机间的外参标定设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。

在自动驾驶、机器人导航和智能交通等领域当中，多传感器感知系统扮演着重要的角色，雷达和相机则是多传感器系统当中重要的感知设备。为了实现可靠的检测，需要将位于不同位置的雷达和相机的数据准确地融合在一起，外参标定则决定了数据融合的准确性和可靠性。

传统的雷达与相机间的外参标定方法一般通过利用已知几何形状的标定板来获取雷达和相机之间的关联信息，其对标定板的放置要求较高，且对于标定板的依赖性较强，而受限于标定板与实际应用环境之间的差异，导致标定精度较差，且不太适用于动态环境。

基于此，本申请将包含有建筑物的室外场景作为控制场，在采用远景观测的基础上，通过匹配建筑物上的特征点与相机成像中的像素点解算相机在控制场中外参，通过匹配建筑物上的特征点与雷达所成点云中的三维点解算雷达在控制场中外参，实现相机和雷达的独立姿态定位和解算，最后根据相机和雷达在控制场中外参，转换得到雷达与相机间的外参，整个方案当中以远景观测和室外实际环境作为标定场景，从室外实际环境当中的建筑物选取特征点进行匹配，能够确保标定结果更加适应实际应用场景，提升鲁棒性，同时先独立解算雷达和相机各自在控制场当中的外参，再通过转换得到雷达与相机间的外参，以确保标定的精度。

根据本申请实施例的一个方面，提供一种雷达与相机间的外参标定方法，具体请参阅图1，图中示出了本申请实施例提供的雷达与相机间的外参标定方法的流程，该方法可以由雷达与相机间的外参标定设备执行，该设备例如可以是计算机、服务器等。该方法应用于在预设的控制场对雷达和相机间的外参进行标定，该控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，如图1所示，该方法包括以下步骤：

步骤110：基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中的特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点。

由于本申请实施例当中采用的是远景观测标定，因此，预定义的控制场除了包含建筑物以外，还可以包含大型标定板、反射体或其他可检测的特征物体，相应地，在这些可检测的特征物体上可以再设置相应的特征点，以提供可靠的标定参考，其中标定点可以是三维标记或其他高对比度的物体。

在实际使用环境中，采集雷达和相机的数据，包括控制场的特征物体在雷达和相机视野中的投影。在实际标定时，确保相机和雷达均被准确地安装，可以采集足够多的数据以涵盖整个场景，并且相机和雷达同时采集控制场的数据。

在本步骤中，采用预定义的控制场中建筑物上的点作为特征点来与图像当中的像素点进行匹配，得到特征点的实际坐标值与像素点的坐标值之间的对应关系，由于所采用的标定场景更加接近于实际工作场景，从而有利于提升后续标定的精度。

步骤120：基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量。

需要说明的是，本步骤中，控制点为控制场中所有点的集合，基于相机模型及相机内参得到的像素点与控制点之间的关联式为基于相机内参和其投影成像原理推算出的控制点与像素点之间的坐标转换公式。

步骤130，将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参。

在本步骤中，通过将步骤110得到相对应的特征点的实际坐标值与像素点的坐标值（也即二者之间的坐标关系）代入步骤120得到的控制点与像素点之间的坐标转换公式（也即关联式）中，利用直接线性变换法，可以求得相机相对于控制场的姿态，也即相机相对于控制场的外参，具体包括旋转和平移，从而初步得到相机的独立外参。

步骤140：基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系。

步骤150：根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参。

步骤140和步骤150用于确定雷达相对于控制场的外参，与上述步骤110至步骤130同理，不过由于相机与控制场之间坐标的二维与三维的关系，而雷达与控制场之间的坐标是三维与三维的关系，因此在步骤140和步骤150中，只需要根据控制场中特征点的实际坐标值与点云中三维点的坐标值之间的对应关系，计算确定雷达相对于控制场的外参即可，由此可以得到雷达的独立外参。

步骤160：根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。

本步骤中，在得到相机相对于控制场的外参以及雷达相对于控制场的外参后，简单转换便可以得到雷达与相机间的外参。例如当相机相对于控制场的外参为R

本申请实施例提供的雷达与相机间的外参标定方法中，将包含有建筑物的室外场景作为控制场，并采用远景观测的方式进行标定，使得标定场景趋近于实际工作场景，并且充分利用了标定场地的真值信息，减少了因错误匹配导致的鲁棒性影响，在此基础上，首先对相机和雷达进行独立外参的解算，再通过转换得到雷达与相机间的外参，以提高标定的精度。

为了能够使标定精度得到进一步提高，本申请还提出一种实施方式，在本实施方式中，雷达和相机用于在控制场中进行多站点观测标定，其中多站点观测指的是同一套雷达和相机，分别在不同位置和/或不同角度对控制场进行观测成像，基于此，在上述步骤130和步骤150中可以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参，具体请进一步参阅图2，图中示出了步骤160的子步骤流程。如图中所示，步骤160包括以下步骤：

步骤161：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参。

相机在每一站点拍摄所成的图像中均具有与控制场中的特征点对应的像素点，多站点间的重投影指的便是多张图像中与特征点对应的这部分像素点，而根据这部分像素点可以确定出多个相机相对于控制场的外参，通过这部分外参相互比对可以确定出标定误差，通过最小化误差对位于每一站点时相机相对于控制场的外参进行优化，以提高计算精度。

在本步骤中，具体可以利用Levenberg-Marquardt方法（简称L-M方法）、高斯牛顿方法或最小二乘法等来优化位于每一站点时相机相对于控制场的外参。并且重投影误差可以采用如下损失函数：

其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点的序号，K表示相机内参，P

步骤162：通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达相对于控制场的外参。

同理，雷达在每一站点扫描所成的点云中均具有与控制场中的特征点对应的三维点，多站点间的同名点云指的便是多个点云中与特征点对应的这部分三维点，根据这部分三维点可以确定出多个雷达相对于控制场的外参，进而通过该部分外参进行最小化误差优化，以提高位于每一站点时雷达相对于控制场的外参的计算精度。

同样地，可以利用L-M方法优化位于每一站点时雷达相对于控制场的外参，同名点云匹配误差可以采用如下损失函数：

其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点的序号，P

步骤163：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。

在本实施例中，通过多站点观测标定的方式得到多个相机相对于控制场的外参以及多个雷达相对于控制场的外参，利用对多个相机相对于控制场的外参进行最小化误差处理，使得优化后的位于每一站点时相机相对于控制场的外参更为准确，利用对多个雷达相对于控制场的外参进行最小化误差处理，使得优化后的位于每一站点时雷达相对于控制场的误差更为准确，最后再通过优化后的位于每一站点时相机相对于控制场的外参和优化后的位于每一站点时雷达相对于控制场的外参进行转换，得到精度更高的雷达与相机间的外参。

在对相机相对于控制场的外参以及雷达相对于控制场的外参进行优化后，为了更进一步地提高标定精度，本申请还提出一种实施方式，具体请参阅图3，图中示出了步骤163的子步骤流程，如图中所示，上述步骤163以下步骤：

步骤1631：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参。

步骤1632：将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。

在本步骤中，重投影误差可以采用如下损失函数：

其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，p

在本实施例中，利用优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，可以转换得到位于每一站点时雷达与相机间的外参，也即得到多个雷达与相机间的外参，基于此，同样利用最小化误差的方式对多个雷达与相机间的外参进行优化，使得最终确定出的雷达与相机间的外参精度更高。

对于控制场中特征点和相机所成图像中像素点之间的坐标关系确定，本申请进一步提出一种实施方式，具体请参阅图4，图中示出了步骤110的子步骤。如图中所示，步骤110包括以下步骤：

步骤111：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系。

本步骤中，投影坐标系指的是相机内部成像的像面上的二维坐标系，与特征点对应的投影点即为特征点投影在像面上的点。特征点和与其对应的投影点之间的第一坐标关系为三维坐标值与二维坐标值的对应关系。

步骤112：基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系。

本步骤中，像素坐标系指的是相机成像后输出的图像数据上的坐标，与投影点对应的像素点即为像面上的投影点形成图像数据之后所对应的像素点。像面和图像数据均为二维平面，因此投影点和像素点之间的第二坐标关系为二维坐标值与二维坐标值的对应关系。

步骤113：根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。

在上述步骤111和步骤112中，分别得到了特征点与投影点的第一坐标关系，以及投影点与像素点之间的第二坐标关系，联立第一坐标关系和第二坐标关系，便可以确定出特征点与像素点之间的坐标关系。

进一步地，在一些实施例中，相机为鱼眼镜头相机，鱼眼镜头视角极大，非常适用于本申请中室外场景的控制场的远景观测，其有利于相机对控制场进行全方位的拍摄成像，以更好地进行特征点识别匹配。针对采用鱼眼镜头的方案而言，上述步骤111确定的第一坐标关系如下：

其中，B

上述步骤112包括以下步骤：

步骤1121：基于针孔投影原理，可得特征点的坐标B

转化为极坐标系可得：

基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B

其中，k

将投影点的坐标B

其中，f

在步骤113中，联立上述式（4）和式（9），便可以得到特征点的坐标值和像素点的坐标值之间的对应关系，也即二者间的坐标关系。

步骤120包括以下步骤：

确定相机内参矩阵K如下：

基于相机投影模型及相机内参矩阵K，可得相机所成的图像中的像素点与控制场中的控制点之间的关联式如下：

其中，Z

在步骤130中，将步骤113中得到的相对应的特征点的坐标值和像素点的坐标值代入步骤120中的式（11）中，便可以求得R

通过上述方案，可以更为准确地得到相机位于每一站点时相对于控制场的外参，为后续雷达与相机间的外参确定提供准确数据支持。

在一些实施例中，在步骤160之后还可以包括以下步骤：

步骤170：通过另外的控制场或真实场景验证雷达与相机间的外参标定结果。

通过对标定的雷达与相机间的外参进行另外场景下的验证，能够快速确定标定结果的准确性和可靠性。

根据本申请实施例的另一个方面，还提供一种雷达与相机间的外参标定装置，具体请参阅图5，图中示出了该装置的模块化结构。该装置应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定。该雷达与相机间的外参标定装置200包括：第一坐标关系确定模块210，用于基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；关联式确定模块220，用于基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；第一外参确定模块230，用于将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；第二坐标关系确定模块240，用于基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；第二外参确定模块250，用于根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；第三外参确定模块260，用于根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。

在一些实施例中，雷达和相机用于在控制场中进行多站点观测标定，以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参；通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参；根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。

在一些实施例中，通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参中，重投影误差的损失函数如下：

其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点，K表示相机内参，P

通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参中，同名点云匹配误差的损失函数如下：

其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点，P

在一些实施例中，根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参；将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。

在一些实施例中，将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参中，重投影误差的损失函数如下：

其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，p

在一些实施例中，基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，包括：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系；基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系；根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。

在一些实施例中，相机为鱼眼镜头相机；

控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系如下：

其中，B

基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系，包括：

基于针孔投影原理，可得特征点的坐标B

转化为极坐标系可得：

基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B

其中，k

将投影点的坐标B

其中，f

基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，包括：

确定相机内参矩阵K如下：

基于相机投影模型及相机内参矩阵K，可得相机所成的图像中的像素点与控制场中的控制点之间的关联式如下：

其中，Z

根据本申请实施例的另一个方面，还提供一种雷达与相机间的外参标定设备，具体请参阅图6，图中示出了该标定设备的结构示意图，本申请具体实施例并不对雷达与相机间的外参标定设备的具体实现做限定。

如图6所示，该雷达与相机间的外参标定设备包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。

其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。处理器302，用于执行程序310，具体可以执行上述用于雷达与相机间的外参标定方法实施例中的相关步骤。

具体地，程序310可以包括程序代码，该程序代码包括计算机可执行指令。

处理器302可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。雷达与相机间的外参标定设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器306，用于存储程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序310具体可以被处理器302调用使雷达与相机间的外参标定设备执行以下操作：

基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；

基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；

将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；

基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；

根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；

根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有可执行指令，该可执行指令在雷达与相机间的外参标定设备上运行时，使得所述雷达与相机间的外参标定设备执行上述任意方法实施例中的雷达与相机间的外参标定方法。

可执行指令具体可以用于使得雷达与相机间的外参标定设备执行以下操作：

基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；

基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；

将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；

基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；

根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；

根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。

本申请实施例提供了一种计算机程序，所述计算机程序可被处理器调用使雷达与相机间的外参标定设备执行上述任意方法实施例中的雷达与相机间的外参标定方法。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。