面向智能驾驶多类型传感器标定的一次性联合标定方法

技术领域

本申请涉及多传感器联合标定技术领域，特别涉及面向智能驾驶多类型传感器标定的一次性联合标定方法。

背景技术

在智能驾驶领域、机器人导航等众多领域，环境感知与建模普遍使用多传感器数据融合技术，得到关于环境更加可靠、统一、精细的描述，以便进行导航定位、行为决策与规划控制。其中，激光雷达、可见光相机、毫米波雷达与红外相机为智能驾驶领域的常用外部传感器。而进行数据的各个层次的融合，所要做的第一步就是联合标定，即获得这些传感器之间精确的坐标变换关系，亦即计算出四者间的外参矩阵。然而在传统标定过程中，每两个传感器之间的标定，都要设计一套不同的标定目标与标定方案，这十分复杂。

在专利202122717165.9《一种用于多传感器标定的三维塔式棋盘格》与专利202210493405.8《一种基于三位塔式棋盘格的雷达与相机的联合标定方法》中，尽管分别设计并提出了一种激光雷达与可见光相机的联合标定目标与方法，然而依旧缺乏对同时对毫米波雷达与红外相机的联合标定方法。并且在对毫米波雷达与可见光相机之间传统的联合标定过程中，要么对于标定目标的摆放有着严格的要求，要么完全使用人工肉眼进行初始外参的猜测再对每一个自由度进行调整，缺少一套能够采集完毫米波雷达数据后进行直接计算外参矩阵的方法。

发明内容

本申请提供了面向智能驾驶多类型传感器标定的一次性联合标定方法，可解决现有技术中联合标定中实验设计复杂，人工操作量大的问题。

本申请提供了面向智能驾驶多类型传感器标定的一次性联合标定方法，所述方法基于三维塔式棋盘格，见专利202122717165.9《一种用于多传感器标定的三维塔式棋盘格》，并在其上设置有角反射器与发热装置。在三维塔式棋盘格的多个同层相邻两正方体间设置有角反射器，角反射器的三个垂直面分别与相接触的两正方体右侧面与左侧面，以及下一层的正方体顶面贴合；在三维塔式棋盘格的每个正方体的三条外棱的中点处设置有发热装置；

所述方法包括：

根据角反射器与发热装置在三维塔式棋盘格上的实际位置，在建模坐标系下生成角反射器与发热装置位置的三维点集；

根据建模坐标系下角反射器的位置与毫米波雷达采集到的角反射器位置，进行匹配计算得到毫米波雷达坐标系与建模坐标系的转换关系；

根据建模坐标系下发热装置的位置与红外相机采集到的发热点位置，进行匹配计算得到红外相机坐标系与建模坐标系的转换关系；

根据专利202210493405.8《一种基于三位塔式棋盘格的雷达与相机的联合标定方法》求得的激光雷达和可见光相机与建模坐标系之间的位置关系，毫米波雷达与红外相机坐标系间坐标系分别与建模坐标系间的转换关系确定四种传感器坐标系间的转换关系。

可选的，根据角反射器与发热装置在三维塔式棋盘格上的实际位置，在建模坐标系下生成角反射器与发热装置位置的三维点集，包括：

根据三维塔式棋盘格上设置的角反射器的实际位置，在建模坐标系下按照预定的顺序依次生成角反射器的三维点集；

根据三维塔式棋盘格上设置的发热装置的实际位置，在建模坐标系下按照预定的顺序依次生成发热装置的三维点集。

可选的，根据建模坐标系下角反射器的位置与毫米波雷达采集到的角反射器位置，进行匹配计算得到毫米波雷达坐标系与建模坐标系的转换关系，包括：

将毫米波雷达采集到的点云目标中，强度高于预定值的位置选取作为毫米波雷达采集到的角反射器位置的三维点集；

对建模坐标系下的角反射器的三维点集以及毫米波雷达采集到的角反射器的三维点集，利用迭代最近点算法，进行三维点集配准，确定毫米波雷达坐标系与建模坐标系的转换关系。

可选的，根据建模坐标系下发热装置的位置与红外相机采集到的发热点位置，进行匹配计算得到红外相机坐标系与建模坐标系的转换关系，包括：

在红外相机的图像中，将高亮高于预定值的反馈点选取作为发热装置的二维点集；

对建模坐标系下的发热装置的三维点集以及红外相机采集到的发热装置的二维点集，利用透视n点定位的方法，进行相机位姿测量匹配，并根据红外相机内参以及畸变参数，确定建模坐标系与红外相机坐标系的转换关系。

可选的，根据求得的激光雷达和可见光相机与建模坐标系之间的位置关系，毫米波雷达与红外相机坐标系间坐标系分别与建模坐标系间的转换关系确定四种传感器坐标系间的转换关系，包括：

激光雷达、毫米波雷达与红外相机坐标系到可见光相机坐标系的转换关系由以下公式得出：

F

F

F

式中，F

本申请基于三维塔式棋盘格的立体特殊性，并在其上设置有二维棋盘格、角反射器与发热装置这些便利于可见光相机、毫米波雷达与红外相机识别的标定目标，解决了传统中多个传感器标定需设计多组复杂实验，也同时解决了传统方法需求精确架设位置、不同器材、多帧图片等带来的人工操作复杂问题。本申请通过求取建模坐标系与四个传感器坐标系的转换关系，进行组合，从而精确得到激光雷达、可见光相机、毫米波雷达与红外相机之间的外参矩阵。

附图说明

图1为本申请实施例在实施过程中所需要用到的三维塔式棋盘格；

图2为本申请实施例提供的一种角反射器的结构示意图；

图3为本申请实施例提供的一种发热装置的结构示意图；

图4为本申请实施例提供的一种基于三维塔式棋盘格的面向智能驾驶多类型传感器标定的一次性联合标定方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

如图1所示，为本申请实施例在实施过程中所需要用到的三维塔式棋盘格。

本申请实施例中，在专利202122717165.9《一种用于多传感器标定的三维塔式棋盘格》设计的三维塔式棋盘格上设置有角反射器与发热装置。在三维塔式棋盘格的多个同层相邻两正方体间设置有角反射器，角反射器的三个垂直面分别与该两正方体右侧面与左侧面，以及下一层的正方体顶面紧密贴合；在三维塔式棋盘格的每个正方体的三条外棱的临近中点处设置有发热装置；

如图2所示，为本申请实施例提供的一种角反射器的结构示意图。

本申请实施例中，角反射由三个两两垂直的等腰三角形金属平面组合而成，三个互相垂直棱长的为55mm。放置于三维棋盘格第一层的第一、二与第五、六个正方体之间，第三层的第三、四个正方体之间，与第五层的第一、二与第五、六个正方体之间。

如图3所示，为本申请实施例提供的一种发热装置的结构示意图。

本申请实施例中，发热装置由螺丝与电热丝组成，放置于三维棋盘格每个正方体的三条外棱的居中位置，距离棱边15mm。

在具体实施本申请提供的方法之前，还需要做如下准备工作。

选取合适的激光雷达、可见光相机、毫米波雷达与红外相机，并将四者的位置固定在适合拍摄三维塔式棋盘格的位置处。其中，三维塔式棋盘格应正对四个传感器；可见光相机应能清楚观察到三维塔式棋盘格上的二维棋盘格；毫米波雷达应与三维塔式棋盘格中心保持在一个水平高度上；可见光相机应能清楚观察到三维塔式棋盘格上的全部发热装置，不可有遮挡。计算出可见光相机与红外相机内参与畸变参数。最后，将三维塔式棋盘格设置于合适的位置处，分别用激光雷达、可见光相机、毫米波雷达与红外相机对三维塔式棋盘进行信息采集。

请参考图4，为本申请实施例提供的一种基于三维塔式棋盘格的面向智能驾驶多类型传感器标定的一次性联合标定方法的流程示意图。

本申请提供的方法包括以下步骤：

步骤S401，根据角反射器与发热装置在三维塔式棋盘格上的实际位置，在建模坐标系下生成角反射器与发热装置位置的三维点集。

具体的，依据专利202210493405.8《一种基于三位塔式棋盘格的雷达与相机的联合标定方法》建立建模坐标系，根据三维塔式棋盘格上设置有的角反射器的实际位置，在建模坐标系下按照预定的顺序依次生成角反射器的三维点集；

根据三维塔式棋盘格上设置有的发热装置的实际位置，在建模坐标系下按照预定的顺序依次生成发热装置的三维点集。

本申请实施例中，预定的顺序可以为从左到右并且从上到下。

步骤S402，根据建模坐标系下角反射器的位置与毫米波雷达采集到的角反射器位置，进行匹配计算得到毫米波雷达坐标系与建模坐标系的转换关系。

因为角反射器的折射原理，在毫米波雷达采集到的点云目标中，设置有角反射器的位置反射强度会非常高，与其余部分进行区分，将这些高强度位置进行选取作为毫米波雷达采集到的角反射器位置的三维点集；

具体的，将毫米波雷达采集到的点云目标中，强度高于预定值的位置选取作为毫米波雷达采集到的角反射器位置的三维点集；

对建模坐标系下的角反射器的三维点集以及毫米波雷达采集到的角反射器的三维点集，利用迭代最近点算法，进行三维点集配准，确定毫米波雷达坐标系与建模坐标系的转换关系。

步骤S403，根据建模坐标系下发热装置的位置与红外相机采集到的发热点位置，进行匹配计算得到红外相机坐标系与建模坐标系的转换关系，包括：

因为发热装置的发热性能，在红外相机的图像中，设置有发热装置的位置会高亮，与其余部分进行区分，将这些高亮位置进行选取作为红外相机采集到的发热装置的二维点集；

具体的，将高亮高于预定值的反馈点选取作为发热装置的二维点集；

对建模坐标系下的发热装置的三维点集以及红外相机采集到的发热装置的二维点集，利用透视n点定位的方法，进行相机位姿测量匹配，并根据红外相机内参以及畸变参数，确定建模坐标系与红外相机坐标系的转换关系。

步骤S404，根据求得的激光雷达和可见光相机与建模坐标系之间的位置关系，毫米波雷达与红外相机坐标系间坐标系分别与建模坐标系间的转换关系确定四种传感器坐标系间的转换关系。

具体的，依据专利202210493405.8《一种基于三位塔式棋盘格的雷达与相机的联合标定方法》求得的激光雷达和可见光相机与建模坐标系间的转换关系；

激光雷达、毫米波雷达与红外相机坐标系到可见光相机坐标系的转换关系由以下公式得出：

F

F

F

式中，F

本申请基于三维塔式棋盘格的立体特殊性，并在其上设置有二维棋盘格、角反射器与发热装置这些便利于可见光相机、毫米波雷达与红外相机识别的标定目标，解决了传统中多个传感器标定需设计多组复杂实验，也同时解决了传统方法需求精确架设位置、不同器材、多帧图片等带来的人工操作复杂问题。本申请通过求取建模坐标系与四个传感器坐标系的转换关系，进行组合，从而精确得到激光雷达、可见光相机、毫米波雷达与红外相机之间的外参矩阵。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于服务构建装置和服务加载装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。