掌桥专利:专业的专利平台
掌桥专利
首页

传感器标定方法和传感器标定装置

文献发布时间:2023-06-19 10:32:14


传感器标定方法和传感器标定装置

技术领域

本申请涉及人工智能领域,并且更具体地,涉及传感器标定方法和传感器标定装置。

背景技术

多线激光雷达同时发射多条激光扫描线,以满足快速采集大范围环境信息的需要。特别是在自动驾驶或者智能驾驶领域,激光雷达已经逐步用于车辆周围环境感知。例如,智能车上安装的多线激光雷达能够给智能车提供更加丰富、全面且准确的车辆周围环境信息。

多线激光雷达扫描获得的原始数据主要包括距离信息和角度信息。其中,距离信息指示扫描点至三维激光雷达的距离,角度信息指示该扫描点所在扫描线的俯仰角。

为了后续处理的方便性,需要将多线激光雷达扫描获得的原始数据,转换到多线激光雷达所属的智能设备的坐标系。

将多线激光雷达扫描获得的原始数据转换到多线激光雷达所属的智能设备的坐标系,通常包括以下两个步骤:将多线激光雷达扫描得到的原始数据(即距离信息和角度信息)转换为多线激光雷达自身的坐标系下的三维坐标;将转换得到的激光雷达坐标系下的三维坐标转换到智能设备坐标系下的三维坐标。

将转换得到的激光雷达坐标系下的三维坐标转换到智能设备坐标系下的三维坐标,需要用到多线激光雷达的外参,需要先确定多线激光雷达在车体坐标系下的位置。确定多线激光雷达在车体坐标系下的位置,可以称为多线激光雷达的外参标定,或者标定多线激光雷达的外参。

因此,如何对多线激光雷达进行外参标定,是一个亟待解决的技术问题。

发明内容

本申请提供传感器标定方法、传感器标定装置以及标定装置、标定系统,有助于提高激光雷达的标定精度和标定速度。

第一方面,本申请提供了一种传感器标定方法。该方法包括:获取第一点坐标集合,所述第一点坐标集合中包括标定板上的激光雷达区域中的扫描点在激光雷达坐标系下的三维坐标,所述激光雷达标定区域包括两条不平行的边;根据所述第一点坐标集合进行直线拟合,以得到多条直线的表达式,所述多条直线包括所述两条不平行的边所在的直线;根据所述多条直线的表达式,估计所述标定板上的激光雷达标定点在所述激光雷达坐标系下的三维坐标;根据所述激光雷达标定点在所述激光雷达坐标系下的三维坐标,对所述激光雷达进行外参标定。

该方法中,激光雷达标定点在激光雷达坐标系下的坐标是根据拟合得到的直线估计的,且这些直线是通过多个扫描点在激光雷达坐标系下的坐标拟合的,从而可以提高激光雷达标定点在激光雷达坐标系下的坐标的精准度,进而可以提高激光雷达的外参精确度。

在第一方面的一些可能的实现方式中,所述根据所述激光雷达标定点在所述激光雷达坐标系下的三维坐标,对所述激光雷达进行外参标定,包括:获取第二点坐标集合,所述第二点坐标集合包括所述标定板上的摄像头标定点在摄像头的图像坐标系中的坐标;根据所述第二点坐标集合、所述摄像头的内参,以及所述摄像头标定区域与所述激光雷达标定区域之间的位置关系,确定所述激光雷达与所述摄像头之间的相对位姿;根据所述摄像头的外参以及所述激光雷达与所述摄像头之间的相对位姿,对所述激光雷达进行外参标定。

该实现方式中,根据摄像头的内参和外参来对激光雷达进行外参标定。

可选地,所述根据所述第二点坐标集合、所述摄像头的内参,以及所述摄像头标定区域与所述激光雷达标定区域之间的位置关系,确定所述激光雷达与所述摄像头之间的相对位姿,包括:根据所述第二点坐标集合、所述摄像头的内参以及所述摄像头标定区域与所述激光雷达标定区域之间的位置关系,确定所述激光雷达标定点在所述摄像头的摄像头坐标系下的三维坐标;根据所述激光雷达标定点在所述摄像头坐标系下的三维坐标和所述激光雷达标定点在所述激光雷达坐标系下的三维坐标确定所述激光雷达与所述摄像头之间的相对位姿。

在第一方面的第二种可能的实现方式中,所述方法还包括:获取第二点坐标集合,所述第二点坐标集合包括摄像头标定点在摄像头的图像坐标系中的坐标;根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定。

该实现方式中,同步对同一个设备上的激光雷达和摄像头进行标定,可以提高标定效率。

此外,不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

可选地,所述根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定,包括:根据所述摄像头的内参和所述第二点坐标集合,确定所述摄像头标定点在所述摄像头坐标系下的三维坐标;根据所述摄像头标定点之间的位置关系,确定所述摄像头标定点在世界坐标系下的三维坐标;根据所述摄像头标定点在世界坐标系下的三维坐标和所述摄像头标定点在所述摄像头坐标系下的三维坐标,对摄像头进行外参标定。

可选地,所述第二点坐标集合中包括所述摄像头对所述标定板进行拍摄得到的多张图像的点坐标。其中,所述方法还包括:根据所述摄像头标定区域之间的位置关系,从所述第二点坐标集合中确定所述摄像头标定点在所述多张图像中每张图像中的坐标;根据所述摄像头标定点在所述多张图像中每张图像中的坐标,对所述摄像头进行内参标定,以得到所述摄像头的内参。

第二方面,本申请提供一种传感器标定方法,该方法包括:获取第二点坐标集合,所述第二点坐标集合包括摄像头标定点在摄像头的图像坐标系中的坐标;根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定。

该方法使得不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

在一些可能的实现方式,所述根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定,包括:根据所述摄像头的内参和所述第二点坐标集合,确定所述摄像头标定点在所述摄像头坐标系下的三维坐标;根据所述摄像头标定点之间的位置关系,确定所述摄像头标定点在世界坐标系下的三维坐标;根据所述摄像头标定点在世界坐标系下的三维坐标和所述摄像头标定点在所述摄像头坐标系下的三维坐标,对摄像头进行外参标定。

可选地,所述第二点坐标集合中包括所述摄像头对所述标定板进行拍摄得到的多张图像的点坐标。其中,所述方法还包括:根据所述摄像头标定区域之间的位置关系,从所述第二点坐标集合中确定所述摄像头标定点在所述多张图像中每张图像中的坐标;根据所述摄像头标定点在所述多张图像中每张图像中的坐标,对所述摄像头进行内参标定,以得到所述摄像头的内参。

第三方面,本申请提供一种传感器标定装置,该装置包括:获取模块,用于获取第一点坐标集合,所述第一点坐标集合中包括标定板上的激光雷达区域中的扫描点在激光雷达坐标系下的三维坐标,所述激光雷达标定区域包括两条不平行的边;拟合模块,用于根据所述第一点坐标集合进行直线拟合,以得到多条直线的表达式,所述多条直线包括所述两条不平行的边所在的直线;估计模块,用于根据所述多条直线的表达式,估计所述标定板上的激光雷达标定点在所述激光雷达坐标系下的三维坐标;标定模块,用于根据所述激光雷达标定点在所述激光雷达坐标系下的三维坐标,对所述激光雷达进行外参标定。

在第三方面的第一种可能的实现方式中,所述获取模块还用于:获取第二点坐标集合,所述第二点坐标集合包括所述标定板上的摄像头标定点在摄像头的图像坐标系中的坐标。所述标定模块具体用于:根据所述第二点坐标集合、所述摄像头的内参,以及所述摄像头标定区域与所述激光雷达标定区域之间的位置关系,确定所述激光雷达与所述摄像头之间的相对位姿;根据所述摄像头的外参以及所述激光雷达与所述摄像头之间的相对位姿,对所述激光雷达进行外参标定。

可选地,所述标定模块具体用于:根据所述第二点坐标集合、所述摄像头的内参以及所述摄像头标定区域与所述激光雷达标定区域之间的位置关系,确定所述激光雷达标定点在所述摄像头的摄像头坐标系下的三维坐标;根据所述激光雷达标定点在所述摄像头坐标系下的三维坐标和所述激光雷达标定点在所述激光雷达坐标系下的三维坐标确定所述激光雷达与所述摄像头之间的相对位姿。

在第三方面的第二种可能的实现方式中,所述获取模块还用于:获取第二点坐标集合,所述第二点坐标集合包括摄像头标定点在摄像头的图像坐标系中的坐标。所述标定模块还用于:根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定。

可选地,所述标定模块具体用于:根据所述摄像头的内参和所述第二点坐标集合,确定所述摄像头标定点在所述摄像头坐标系下的三维坐标;根据所述摄像头标定点之间的位置关系,确定所述摄像头标定点在世界坐标系下的三维坐标;根据所述摄像头标定点在世界坐标系下的三维坐标和所述摄像头标定点在所述摄像头坐标系下的三维坐标,对摄像头进行外参标定。

可选地,所述第二点坐标集合中包括所述摄像头对所述标定板进行拍摄得到的多张图像的点坐标。其中,所述标定模块还具体用于:根据所述摄像头标定区域之间的位置关系,从所述第二点坐标集合中确定所述摄像头标定点在所述多张图像中每张图像中的坐标;根据所述摄像头标定点在所述多张图像中每张图像中的坐标,对所述摄像头进行内参标定,以得到所述摄像头的内参。

第四方面,本申请提供一种传感器标定装置,该装置包括:获取模块,用于获取第二点坐标集合,所述第二点坐标集合包括摄像头标定点在摄像头的图像坐标系中的坐标;标定模块,用于根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定。

在一些可能的实现方式中,所述标定模块具体用于:根据所述摄像头内参和所述第二点坐标集合,确定所述摄像头标定点在所述摄像头坐标系下的三维坐标;根据所述摄像头标定点之间的位置关系,确定所述摄像头标定点在世界坐标系下的三维坐标;根据所述摄像头标定点在世界坐标系下的三维坐标和所述摄像头标定点在所述摄像头坐标系下的三维坐标,对摄像头外参进行标定。

可选地,所述第二点坐标集合中包括所述摄像头对所述标定板进行拍摄得到的多张图像的点坐标。其中,所述标定模块还具体用于:根据所述摄像头标定区域之间的位置关系,从所述第二点坐标集合中确定所述摄像头标定点在所述多张图像中每张图像中的坐标;根据所述摄像头标定点在所述多张图像中每张图像中的坐标,对所述摄像头进行内参标定,以得到所述摄像头内参。

第五方面,提供了一种传感器标定装置,该装置包括:存储器,用于存储程序;处理器,用于执行所述存储器存储的程序,当所述存储器存储的程序被执行时,所述处理器用于执行上述第一方面中的任意一种实现方式中的方法。

可选地,该装置还可以包括通信接口。

第六方面,提供了一种传感器标定装置,该装置包括:存储器,用于存储程序;处理器,用于执行所述存储器存储的程序,当所述存储器存储的程序被执行时,所述处理器用于执行上述第二方面中的任意一种实现方式中的方法。

可选地,该装置还可以包括通信接口。

第七方面,提供一种计算机可读介质,该计算机可读介质存储用于设备执行的指令,该指令用于执行第一方面中的方法。

第八方面,提供一种计算机可读介质,该计算机可读介质存储用于设备执行的指令,该指令用于执行第二方面中的方法。

第九方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面中的方法。

第十方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第二方面中的方法。

第十一方面,提供一种芯片,所述芯片包括处理器与通信接口,所述处理器通过所述通信接口读取存储器上存储的指令,执行上述第一方面中的方法。

可选地,该芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行第一方面中的方法。

第十二方面,提供一种芯片,所述芯片包括处理器与通信接口,所述处理器通过所述通信接口读取存储器上存储的指令,执行上述第二方面中的方法。

可选地,该芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行第二方面中的方法。

第十三方面,提供了一种电子设备,该电子设备包括上述第三方面中的传感器标定装置。

第十四方面,提供了一种电子设备,该电子设备包括上述第四方面中的传感器标定装置。

第十五方面,本申请提供了一种标定装置,其特征在于,包括:一个或多个激光雷达标定区域,所述激光雷达标定区域包括两条不平行的边,所述两条不平行的边所在的直线的交点用于标定激光雷达的外参。

激光雷达标定区域包括至少两条不平行的边,这些不平行的边所在的直线的交点可以作为激光雷达标定点来实现激光雷达的标定。

在一些可能的实现方式中,所述多个激光雷达标定区域中,第一激光雷达标定区域的第一边与第二激光雷达标定区域的第一边位于第一直线上,所述第一激光雷达标定区域的第二边与所述第二激光雷达标定区域的第二边位于第二直线上,所述第一激光雷达标定区域的第一边和第二边不平行,所述第二激光雷达标定区域的第一边和第二边不平行。

该实现方式中,多个激光雷达区域的边位于同一条直线上,使得可以根据多条边附近的扫描点来拟合该直线,从而可以提高拟合的直线的精准度,进而提高激光雷达标定点的精准度。

可选地,所述第一直线和所述第二直线的第一交点为所述第一激光雷达标定区域的第一顶点,所述第一交点为所述第二激光雷达标定区域的第一顶点。

也就是说,不同的激光雷达区域以相同的激光雷达标定点为顶点,这使得标定板上的激光雷达标定区域的布局更紧凑,这使得在同样面积的标定板上可以布局更多标定区域或者使用更小面积的标定板就能布局同样面积的标定区域。

在一些可能的实现方式中,所述多个激光雷达标定区域中,第三激光雷达标定区域的第一边与第四激光雷达标定区域的第二边位于第三直线上,所述第三激光雷达标定区域的第二边与所述第四激光雷达标定区域的第一边位于第四直线上,所述第三激光雷达标定区域的第一边与第二边不平行,所述第四激光雷达标定区域的第一边与第二边不平行。其中,所述第一直线与所述第三直线不平行,所述第二直线与所述第四直线不平行。

该实现方式中,由于第一直线与第三直线不平行,第二直线与第四直线不平行,使得增加同样数量的激光雷达标定区域,可以增加更多的交点,从而增加更多的激光雷达标定点,进而可以提高激光雷达的标定精度。

可选地,所述第二直线与所述第四直线的第二交点为所述第一激光雷达标定区域的第二顶点,所述第二交点为所述第三激光雷达标定区域的第一顶点,所述第三直线与所述第四直线的第三交点为所述第三激光雷达标定区域的第二顶点,所述第三交点为所述第四激光雷达标定区域的第一顶点,所述第一直线与所述第三直线的第四交点为所述第四激光雷达标定区域的第二顶点,所述第四交点为所述第二激光雷达标定区域的第二顶点。

也就是说,不同的激光雷达区域以相同的激光雷达标定点为顶点,这使得标定板上的激光雷达标定区域的布局更紧凑,这使得在同样面积的标定板上可以布局更多标定区域或者使用更小面积的标定板就能布局同样面积的标定区域。

可选地,所述激光雷达标定区域的形状为三角形、四边形等。

在一些可能的实现方式中,所述装置还包括多个摄像头标定区域,所述多个摄像头标定区域中任意一个摄像头标定区域与相邻摄像头标定区域的位置关系,和,所述多个摄像头标定区域中其他任意一个摄像头标定区域与相邻摄像头标定区域的位置关系不同。

该实现方式中的装置使得可以同步实现激光雷达和摄像头的标定。此外,该实现方式中的装置使得不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

可选地,所述摄像头标定区域的形状为圆形、三角形、四边形等。

第十六方面,本申请提供一种标定装置,其特征在于,包括:多个摄像头标定区域,所述多个摄像头标定区域中任意一个摄像头标定区域与相邻摄像头标定区域的位置关系,和,所述多个摄像头标定区域中其他任意一个摄像头标定区域与相邻摄像头标定区域的位置关系不同。

该实标定装置使得可以同步实现激光雷达和摄像头的标定。此外,该实现方式中的装置使得不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

可选地,所述摄像头标定区域的形状为圆形、三角形、四边形等。

第十七方面,本申请提供一种传感器标定系统,该系统包括第三方面或第五方面中的传感器标定装置,以及第十五方面中的标定装置。

第十八方面,本申请提供一种传感器标定系统,该系统包括第四方面或第六方面中的传感器标定装置,以及第十六方面中的标定装置。

第十九方面,本申请提供一种传感器标定系统,该系统包括第四方面中的传感器标定装置和第十六方面中的标定装置。

附图说明

图1是本申请实施例的技术方案的一种应用场景的示意图;

图2是本申请一个实施例的标定装置的示意性结构图;

图3是本申请一个实施例的传感器标定方法的示意性流程图;

图4是本申请另一个实施例的标定装置的示意性结构图;

图5是本申请另一个实施例的标定装置的示意性结构图;

图6是本申请另一个实施例的传感器标定方法的示意性流程图;

图7是本申请另一个实施例的传感器标定方法的示意性流程图;

图8是本申请另一个实施例的标定装置的示意性结构图;

图9是本申请另一个实施例的传感器标定方法的示意性流程图;

图10是本申请另一个实施例的传感器标定方法的示意性流程图;

图11是本申请另一个实施例的传感器标定方法的示意性流程图;

图12是本申请另一个实施例的传感器标定方法的示意性流程图;

图13是本申请另一个实施例的传感器标定方法的示意性流程图;

图14是本申请另一个实施例的传感器标定方法的示意性流程图;

图15是本申请一个实施例的传感器标定装置的示意性结构图;

图16是本申请另一个实施例的传感器标定装置的示意性部署图;

图17是本申请另一个实施例的传感器标定装置的示意性部署图;

图18是本申请另一个实施例的计算设备的示意性结构图。

具体实施方式

应理解,本申请实施例的智能设备是指任何一种具有计算处理能力的设备、器械或者机器。本申请实施例中的智能设备可以是机器人(robot)、自动驾驶汽车(autonomousvehicles)、智能辅助驾驶汽车、无人机(unmanned aerial vehicle)、智能辅助飞机、智能家居(smart home)设备等。本申请对该智能设备不作任何限定,只要是可以安装激光雷达和/或摄像头的设备均可以纳入本申请智能设备的范围。

图1是本申请实施例的技术方案的一种应用场景的示意图。该场景中可以包括汽车、前置标定板和四组双目摄像头。

其中,四对双目摄像头组成四轮视觉定位系统,每对双目摄像头负责检测一个车轮中心在世界坐标系下的三维坐标。根据四个车轮中心在世界坐标系下的三维坐标,可以建立汽车坐标系,进一步可以确定汽车坐标系相对于世界坐标系的位姿,即位置与姿态。

前置标定板和双目摄像头分别固定在相应的位置。车辆前方安装有多线激光雷达。

图2为本申请一个实施例的标定板200的示意图。其中,三角形区域采用激光雷达工作频段内的红外反光材质,背景采用黑色吸光材质。为了描述方便,将这四个相接的三角形区域称为一组标定图案。本申请实施例中的标定板上可以更多组或更少组的标定图案,图2仅示出三组作为示例。

一组标定图案中,左上的三角形区域称为第一区域,左下的三角形区域称为第二区域,右上的三角形区域称为第三区域,右下的三角形区域称为第四区域。

第一区域的一个顶点与第二区域的一个顶点为同一个点,为了后续描述方便,将该点成为点A。第一区域的一条边与第二区域的一条边位于同一条直线上,为了后续描述方便,将第一区域的这条边称为第一区域的第一边,将第二区域的这条边称为第二区域的第一边,将该直线称为第一直线。第一区域的另一条边与第二区域的另一条边位于同一条直线上,为了后续描述方便,将第一区域的这条边称为第一区域的第二边,将第二区域的这条边称为第二区域的第二边,将这条直线称为第二直线。

第一区域的另一个顶点与第三区域的一个顶点为同一个点,为了后续描述方便,将该同一个点称为点B。

第三区域的一个顶点与第四区域的一个顶点为同一个点,为了后续描述方便,将该点成为点C。第三区域的一条边与第四区域的一条边位于同一条直线上,为了后续描述方便,将第三区域的这条边称为第三区域的第一边,将第四区域的这条边称为第四区域的第二边,将该直线称为第三直线。第三区域的另一条边与第四区域的另一条边位于同一条直线上,为了后续描述方便,将第三区域的这条边称为第三区域的第二边,将第四区域的这条边称为第二区域的第一边,将该直线称为第四直线。

第二区域的另一个顶点与第四区域的一个顶点为同一个点,为了后续描述方便,将该同一个点称为点D。

基于图1所示的应用场景和图2所示的标定板,下面结合图3介绍本申请一个实施例的传感器标定方法的示意性流程图。

图3所示的方法可以包括S310至S390。应理解,这些步骤或操作仅是示例。本申请提出的技术方案中可以包括更多或者更少的步骤或操作,或者可以执行图3中的各个操作的变形。

S310,预存标定板上的特征点在世界坐标系下的三维坐标。

例如,以图2所示标定板上标定图案中的点A、点B、点C和点D作为特征点时,预存标定板上的多组点A、点B、点C和点D在世界坐标下的三维坐标。这多组点在世界坐标系下的三维坐标可以通过全站仪测量得到。

S320,检测车辆是否已经进入指定区域,是则执行S330,否则执行S340。

其中,可以通过四轮视觉定位系统捕捉四个车轮的图像,并根据该图像判断车辆是否进入指定区域。若车辆的位置满足标定要求,则确定车辆已经进入指定区域。

该步骤更详细的实现方式可以参考现有技术,此处不再赘述。

S330,通过四轮视觉定位系统检测车轮中心,建立汽车坐标系。

通过四组双目摄像头同时观测车轮和侧视摄像头标定板,根据侧视摄像头标定板上的特征点求解双目摄像头的外参,根据双目摄像头获取的图像构建四个车轮中心在世界坐标系下的三维坐标。根据四个车轮中心在世界坐标系下的三维坐标建立汽车坐标系,并求解汽车坐标系相对于世界坐标系的位姿。

该步骤更详细的实现方式可以参考现有技术,此处不再赘述。

S340,提示调整车辆位置。

S350,确定扫描点在激光雷达坐标系下的三维坐标。

激光雷达发射激光线束、接收反射信号,并根据反射信号确定扫描点在激光雷达坐标系下的三维坐标。多个扫描点在激光雷达坐标下的三维坐标构成三维点坐标集合。

具体地,激光雷达向外发射多道激光扫描线,并测算每道激光扫描线与标定板相交所形成的扫描点在激光雷达坐标系下的空间坐标,即三维坐标。

以激光雷达的四道激光扫描线扫描到图2中的标定图案为例,激光雷达在该标定图案中的有效扫描点如图4中的四条虚线所示。

S360,根据扫描点在激光雷达坐标系下的三维坐标确定特征点在激光雷达坐标系下的三维坐标。

具体地,根据该三维点坐标集合拟合第一直线、第二直线、第三直线和第四直线的表达式;并根据第一直线、第二直线、第三直线和第四直线的拟合表达式确定点A、点B、点C和点D在激光雷达坐标系下的三维坐标;以及根据点A、点B、点C和点D在激光雷达坐标系下的三维坐标和点A、点B、点C和点D在世界坐标系下的三维坐标,对激光雷达进行外参标定。

例如,从扫描点在激光雷达坐标系下的三维点坐标集合中确定各个扫描线在各个区域中的起始扫描点和结束扫描点的三维坐标。以图4为例,从三维点坐标集合中确定四角星、五角星、六角形和七角星标注的点的三维坐标。

根据四角星标注的四个点在激光雷达坐标系下的三维坐标拟合出第一直线的表达式,具体地,拟合得到第一直线的表达式中的参数;根据五角星标注的四个点在激光雷达坐标系下的三维坐标拟合出第二直线的表达式,具体地,拟合得到第二直线的表达式中的参数;根据七角星标注的四个点在激光雷达坐标系下的三维坐标拟合出第三直线的表达式,具体地,拟合得到第三直线的表达式中的参数;根据六角形标注的四个点在激光雷达坐标系下的三维坐标拟合出第四直线的表达式,具体地,拟合得到第四直线的表达式中的参数。

其中,可以通过多种拟合方式来拟合各个直线的表达式,例如,可以通过最小二乘法来拟合各个直线的表达式,或者,可以通过空间三维散点的数据线性拟合方式来拟合各个直线的表达式。

然后,根据拟合得到的第一直线的表达式和拟合得到的第二直线的表达式求解点A在激光雷达坐标系下的三维坐标;根据拟合得到的第二直线的表达式和拟合得到的第四直线的表达式求解点B在激光雷达坐标系下的三维坐标;根据拟合得到的第三直线的表达式和拟合得到的第四直线的表达式求解点C在激光雷达坐标系下的三维坐标;根据拟合得到的第三直线的表达式和拟合得到的第一直线的表达式求解点D在激光雷达坐标系下的三维坐标。

根据激光雷达的多道扫描线扫描多组标定图案得到的三维点坐标集合,可以确定出多组点A、点B、点C和点D在激光雷达坐标系下的三维坐标。

S370,根据特征点在激光雷达坐标系下的三维坐标和特征点在世界坐标系下的三维坐标,对所述激光雷达进行外参标定。

例如,根据多组点A、点B、点C和点D在激光雷达坐标系下的三维坐标和多组点A、点B、点C和点D在世界坐标系下的三维坐标,确定激光雷达在世界坐标系下的位姿;并根据激光雷达在世界坐标系下的位姿,确定激光雷达在汽车坐标系下的位姿,即实现激光雷达外参标定。该操作的具体实现方式,可以参考现有技术。

由于第一直线、第二直线、第三直线和第四直线都是通过多个点拟合得到的,因此可以提高拟合得到的直线表达式的精准度,从而可以提高根据拟合得到的直线表达式求解的特征点的三维坐标的精准度,进而可以提高激光雷达的外参精准度。

S380,判断激光雷达的外参标定误差是否满足要求,是则执行S390,否则重新执行S320。

激光雷达的外参标定精度及其稳定性对自动驾驶算法至关重要,因此,若激光雷达的外参标定误差不满足要求,则回退至S320,再次执行S320至S380,直至激光雷达的外参标定误差满足要求。

S390,输出和保存激光雷达的外参标定结果。

例如,显示激光雷达的外参标定结果和将激光雷达的外参标定结果存储至存储单元。

可选地,还可以根据激光雷达的外参确定激光雷达与其他传感器的相对位姿。

例如,根据激光雷达的外参和车辆上的前置摄像头的外参,求解激光雷达与前置摄像头之间的相对位姿。

可以理解的是,图2所示的标定板中,用于标定激光雷达外参的反光区域可以是其他形状,例如,可以是四边形。

可以理解的是,图1所示的场景只是一种示例,可以应用图3所示的传感器标定方法的场景中可以包含更多或更少的装置。

例如,图1所示的场景中可以没有双目摄像头,相应地,汽车坐标系可以根据其他方式来建立。

例如,图1所示的场景中,车辆上还可以安装有前置摄像头。车辆上安装有前置摄像头的情况下,若前置摄像头的内参和外参已经标定过,则可以根据该摄像头的内参和外参来对激光雷达进行外参标定;若前置摄像头的内参和外参没有标定过,则可以同步对摄像头的内参、外参以及激光雷达的外参进行标定。

摄像头的内参是指与摄像头自身特性相关的参数,由光学镜头和光电传感器在摄像头内的安装位置决定。摄像头的内参可以包括:焦距、像素大小、光学畸变、白平衡参数、分辨率、反差、晕影和/或暗角等。

摄像头外参是指摄像头在世界坐标系中的参数,由摄像头在世界坐标系中的位置决定,例如包括摄像头在世界坐标系中的位置、旋转方向等。

前置摄像头的内参和外参已经标定过,根据该摄像头的内参和外参来对激光雷达进行外参标定的场景下,前置标定板的一种标定图案示意图如图5所示。

图5所示的标定板500中的三角形区域与图2所示的标定板中的三角形区域含义相同,此处不再赘述。标定板500中的圆形区域可以采用白色反光材质,用于摄像头拍摄;背景采用黑色吸光材质。

标定板500中任意一个圆形区域与其相邻圆形区域的位置关系,与另一任意圆形区域与其相邻圆形区域的位置关系不同。

基于上述应用场景和图5所示的标定板,下面结合图6介绍本申请一个实施例的传感器标定方法的示意性流程图。

图6所示的方法可以包括S610至S694。应理解,这些步骤或操作仅是示例。本申请提出的技术方案中可以包括更多或者更少的步骤或操作,或者可以执行图6中的各个操作的变形。

S610,预存标定板上的特征点之间的位置关系、摄像头内参和外参。其中,摄像头外参即为摄像头在汽车坐标系下的位姿。

例如,以图5所示标定板上标定图案中的点A、点B、点C、点D和圆形区域的中心点作为特征点时,预存标定板上的点A、点B、点C、点D和圆形区域的中心点之间的位置关系。具体地,可以预存点A、点B、点C、点D和圆形区域的中心点之间的相对位置。

为了后续描述方面,将点A、点B、点C、点D称为交点特征点,将圆形区域的中心点称为圆心特征点。

S620,检测车辆是否已经进入指定区域,是则执行S630,否则执行S640。该步骤可以参考S320。

S630,通过四轮视觉定位系统检测车轮中心,建立汽车坐标系。该步骤可以参考S330。

S640,提示调整车辆位置。

S650,确定扫描点在激光雷达坐标系下的三维坐标。该步骤可以参考S350,此处不再赘述。

S660,根据扫描点在激光雷达坐标系下的三维坐标确定交点特征点在激光雷达坐标系下的三维坐标。

该步骤可以参考S360,此处不再赘述。

S670,通过摄像头拍摄的图像获取圆心特征点在图像坐标系下的二维坐标。

例如,通过摄像头拍摄标定图案,得到包含多个圆形区域的图像。对图像中的每个圆形区域进行拟合,得到圆心特征点在图像坐标系中的二维坐标。

S680,根据圆心特征点在图像坐标系中的二维坐标,以及特征点之间的位置关系,确定交点特征点在摄像头坐标系中的三维坐标。

例如,根据圆心特征点在图像坐标系中的二维坐标,以及特征点之间的位置关系,计算交点特征点在图像坐标系中的二维坐标,并将交点特征点在图像坐标系下的二维坐标转换成摄像头坐标系下的三维坐标。

S690,根据交点特征点在摄像头坐标系下的三维坐标和交点特征点在激光雷达坐标系下的三维坐标,对激光雷达进行外参标定。

例如,根据交点特征点在摄像头坐标系下的三维坐标和交点特征点在激光雷达坐标系下的三维坐标,确定激光雷达与摄像头的相对位姿;并根据摄像头的外参,以及激光雷达与摄像头的相对位姿,确定激光雷达在汽车坐标系下的位姿,即实现激光雷达的外参标定。

S692,判断激光雷达的外参标定误差是否满足要求,是则执行S694,否则重新执行S620。

激光雷达的外参标定精度及其稳定性对自动驾驶算法至关重要,因此,若激光雷达的外参标定误差不满足要求,则回退至S620,再次执行S620至S692,直至激光雷达的外参标定误差满足要求。

S694,输出和保存激光雷达的外参标定结果。

例如,显示激光雷达的外参标定结果和将激光雷达的外参标定结果存储至存储单元。

可以理解的是,图5所示的标定板中,用于标定激光雷达外参的反光区域可以是其他形状,例如,可以是四边形;用于摄像头成像的反光区域可以是其他形状,例如三角形、四边形或棋盘格等。

本申请实施例中,由于任意特征点与相邻特征点之间的位置关系与另一个任意特征点与相邻特征点之间的位置关系不同,因此,不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以根据这些特征点之间的位置关系确定出交点特征点在激光雷达坐标系的三维坐标。这使得使用摄像头拍摄标定板时,不用限定摄像头与标定板之间的距离,即能够实现激光雷达外参的自动标定。

前置摄像头的内参和外参还没标定过,同步对该摄像头进行内参和外参标定,以及对激光雷达进行外参标定的场景下,前置标定板的一种标定图案示意图如图5所示。

基于上述场景和图5所示的标定板,下面结合图7介绍本申请一个实施例的传感器标定方法的示意性流程图。

图7所示的方法可以包括S710至S796。应理解,这些步骤或操作仅是示例。本申请提出的技术方案中可以包括更多或者更少的步骤或操作,或者可以执行图7中的各个操作的变形。

S710,预存标定板上的特征点在世界坐标系下的三维坐标以及特征点之间的位置关系。

例如,以图5所示标定板上标定图案中的点A、点B、点C、点D和圆形区域的中心点作为特征点时,预存标定板上的点A、点B、点C、点D和圆形区域的中心点在世界坐标系下的三维坐标,以及预存圆形区域的中心点之间的位置关系。

为了后续描述方面,将点A、点B、点C、点D称为交点特征点,将圆形区域的中心点称为圆心特征点。

S720,检测车辆是否已经进入指定区域,是则执行S730,否则执行S740。该步骤可以参考S320。

S730,通过四轮视觉定位系统检测车轮中心,建立汽车坐标系。该步骤可以参考S330。

S740,提示调整车辆位置。

S750,确定扫描点在激光雷达坐标系下的三维坐标。该步骤可以参考S350。

S760,根据扫描点在激光雷达坐标系下的三维坐标确定交点特征点在激光雷达坐标系下的三维坐标。该步骤可以参考S360,此处不再赘述。

S770,根据交点特征点在激光雷达坐标系下的三维坐标和交点特征点在世界坐标系下的三维坐标,对激光雷达进行外参标定。该步骤可以参考S370。

S780,通过摄像头拍摄的图像获取圆心特征点在图像坐标系下的二维坐标。该步骤可以参考S670。

摄像头拍摄的图像可以包括整个标定板,可以是部分标定板。

S790,根据圆心特征点在图像坐标系中的二维坐标和圆心特征点在世界坐标系下的三维坐标,对摄像头进行内参和外参标定。

其中,根据圆心特征点之间的位置关系确定摄像头拍摄的是标定板上的哪些特征点,然后从预存的三维坐标中选出这些特征点在世界坐标系下的三维坐标,再根据这些特征点在摄像头坐标系下的三维坐标和在世界坐标系下的三维坐标,对摄像头内外参进行标定。

根据这些特征点在摄像头坐标系下的三维坐标和在世界坐标系下的三维坐标,对摄像头内外参进行标定的实现方式可以参考现有技术,此处不再赘述。

S792,判断摄像头的内参标定误差、外参标定误差以及激光雷达的外参标定误差是否满足要求,是则执行S794,否则重新执行S720。

摄像头和激光雷达的标定精度及其稳定性对自动驾驶算法至关重要,因此,若摄像头和激光雷达的标定误差不满足要求,则回退至S720,再次执行S720至S792,直至摄像头和激光雷达的标定误差满足要求。

S794,输出和保存摄像头和激光雷达的标定结果。

例如,显示标定结果和将标定结果存储至存储单元。

进一步地,可以根据摄像头的外参和激光雷达的外参,确定摄像头与激光雷达之间的相对位姿。

当然,也可以根据摄像头的外参和激光雷达的外参,确定摄像头与其他传感器之间的相对位姿以及确定激光雷达与其他传感器之间的相对位姿。

可以理解的是,图5所示的标定板中,用于标定激光雷达外参的反光区域可以是其他形状,例如,可以是四边形;用于摄像头成像的反光区域可以是其他形状,例如三角形、四边形或棋盘格等。

本申请实施例中,由于任意特征点与相邻特征点之间的位置关系与另一个任意特征点与相邻特征点之间的位置关系不同,因此,不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

图1所示的场景中,可选地,标定板的标定图案的一种示意图如图8所示。这种场景可以用于对车辆上的前置摄像头进行标定。

图8所示的标定板中的圆形区域可以采用白色反光材质,用于摄像头拍摄;背景采用黑色吸光材质。其中,任意一个圆形区域与其相邻圆形区域的位置关系,与另一任意圆形区域与其相邻圆形区域的位置关系不同。

基于上述场景和图8所示的标定板,下面结合图9介绍本申请一个实施例的传感器标定方法的示意性流程图。

图9所示的方法可以包括S910至S980。应理解,这些步骤或操作仅是示例。本申请提出的技术方案中可以包括更多或者更少的步骤或操作,或者可以执行图9中的各个操作的变形。

S910,预存标定板上的特征点在世界坐标系下的三维坐标和特征点之间的位置关系。

例如,以图8所示标定板上圆形区域的中心点作为特征点时,预存标定板上的圆形区域的中心点在世界坐标系下的三维坐标。为了后续描述方面,将圆形区域的中心点称为圆心特征点。

S920,检测车辆是否已经进入指定区域,是则执行S930,否则执行S940。该步骤可以参考S320。

S930,通过四轮视觉定位系统检测车轮中心,建立汽车坐标系。该步骤可以参考S330。

S940,提示调整车辆位置。

S950,通过摄像头拍摄的图像获取圆心特征点在图像坐标系下的二维坐标。该步骤可以参考S670。

S960,根据圆心特征点在图像坐标系中的二维坐标和圆心特征点在世界坐标系下的三维坐标,对摄像头进行内参和外参标定。该步骤可以S790。

S970,判断摄像头的内参标定误差、外参标定误差是否满足要求,是则执行S980,否则重新执行S970。

摄像头和激光雷达的标定精度及其稳定性对自动驾驶算法至关重要,因此,若摄像头和激光雷达的标定误差不满足要求,则回退至S920,再次执行S920至S970,直至摄像头和激光雷达的标定误差满足要求。

S980,输出和保存摄像头和激光雷达的标定结果。

例如,显示标定结果和将标定结果存储至存储单元。

进一步地,可以根据摄像头的外参确定摄像头与其他传感器之间的相对位姿。

可以理解的是,图5所示的标定板中,用于标定激光雷达外参的反光区域可以是其他形状,例如,可以是四边形;用于摄像头成像的反光区域可以是其他形状,例如三角形、四边形或棋盘格等。

本申请实施例中,由于任意特征点与相邻特征点之间的位置关系与另一个任意特征点与相邻特征点之间的位置关系不同,因此,不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以根据这些特征点之间的位置关系确定出交点特征点在激光雷达坐标系的三维坐标。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,即能够实现摄像头的自动标定。

图10为本申请提供的一种传感器标定方法的示意性流程图。该方法可以包括S1010至S1040。

S1010,获取第一点坐标集合,所述第一点坐标集合包括标定板上的激光雷达区域中的扫描点在激光雷达坐标系下的三维坐标,所述激光雷达标定区域包括两条不平行的边。

其中,该激光雷达为多线激光雷达,该多道扫描线可以指激光雷达的全部扫描线,也可以指激光雷达的部分扫描线。

标定板上可以包括一组或多组标定图案,其中,每组标定图案中可以包括一个或多个激光雷达标定区域。

激光雷达标定区域为用于标定激光雷达的反光区域。例如,激光雷达标定区域采用激光雷达工作频段的红外材质。激光雷达区域可以是任意形状。

激光雷达区域包括多条边,其中,至少有两条边是不平行的,或者说至少有两条边所在的直线是相交的。例如,激光雷达区域为三角形或四边形等。

标定板上有多组标定图案时,这多组标定图案可以相同,也可以不同。标定图案包括多个激光雷达标定区域时,这多个激光雷达标定区域的形状可以相同,也可以不相同。

标定板包括多组标定图案,每组标定图案包括多个激光雷达标定区域的一种示例如图2或图5所示。

激光雷达的多道扫描线对标定板上激光雷达区域进行扫描,产生多个扫描点。为了描述方便,将这多个扫描点在激光雷达坐标系下的三维坐标构成的集合称为第一点坐标集合。

激光雷达坐标系的原点通常为激光雷达的中心,该激光雷达坐标系的x轴方向通常指向激光雷达的输出电缆的相反方向;如果将激光雷达指向汽车正前方安装,则激光雷达坐标系的y轴方向通常指向汽车的左侧;激光雷达坐标系的z轴通常指向天空。

S1020,根据所述第一点坐标集合进行直线拟合,以得到多条直线的表达式,所述多条直线包括所述两条不平行的边所在的直线。

在一些可能的设计中,根据所述第一点坐标集合进行直线拟合时,可以选取每道扫描线扫描所述不平行的两条边之间的激光雷达标定区域时的起始扫描点和结束扫描点的三维坐标。多道扫描线扫描激光雷达标定区域,所以选择得到多个起始扫描点和多个结束扫描点的三维坐标。然后,根据这些起始扫描点和结束扫描点的三维坐标进行直线拟合。

例如,标定板上的一组标定图案包括如图4中的第一区域,且激光雷达从第一区域的第一边扫描至第二边时,五角星标注的扫描点即为起始扫描点,四角星标注的扫描点即为结束扫描点。此时,根据第一区域中四角星标注的两个点在激光雷达坐标系下的三维坐标拟合第一直线的表达式,根据第一区域中五角星标注的两个点在激光雷达坐标系下的三维坐标拟合第二直线的表达式。

又如,标定板上的一组标定图案包括如图4中的第一区域和第二区域,且激光雷达的扫描方向为从第一区域的第一边扫描至第二边时,第一区域中通过五角星标注的扫描点即为起始扫描点,通过四角星标注的扫描点即为结束扫描点;第二区域中通过五角星标注的点即为结束扫描点,通过四角星标注的点为起始扫描点。此时,根据第一区域和第二区域中通过四角星标注的四个点在激光雷达坐标系下的三维坐标,拟合第一直线的表达式;根据第一区域和第二区域中通过五角星标注的四个点在激光雷达坐标系下的三维坐标拟合第二直线的表达式。

这种实现方式中,由于拟合同一条直线的点增多,所以可以提高拟合得到的表达式的精确度,从而可以提高根据该表达式求解得到的激光雷达特征点在激光雷达坐标系下的坐标的精确度,进而可以提高激光雷达的标定结果的精确度。

再如,标定板上的一组标定图案包括如图4中的第一区域、第二区域、第三区域和第四区域,且激光雷达的扫描方向为从第一区域的第一边扫描至第二边时,第一区域中通过五角星标注的扫描点即为起始扫描点,通过四角星标注的扫描点即为结束扫描点;第二区域中通过五角星标注的点即为结束扫描点,通过四角星标注的点为起始扫描点;第三区域中通过七角星标注的点为起始扫描点,通过六角星标注的点为结束扫描点;第四区域中通过六角星标注的点为起始扫描点,通过七角星标注的点为结束扫描点。

此时,根据第一区域和第二区域中通过四角星标注的四个点在激光雷达坐标系下的三维坐标,拟合第一直线的表达式;根据第一区域和第二区域中通过五角星标注的四个点在激光雷达坐标系下的三维坐标拟合第二直线的表达式;根据第三区域和第四区域中通过七角星标注的四个点在激光雷达坐标系下的三维坐标拟合第三直线的表达式;根据第三区域和第四区域中通过六角星标注的四个点在激光雷达坐标系下的三维坐标拟合第四直线的表达式。

这种实现方式,在增加一定数量扫描点的情况下,可以增加更多的交点特征点,从而可以提高激光雷达的标定结果的精确度。

可以理解的是,根据所述第一点坐标集合进行直线拟合的实现方式不限于上面的方式。例如,可以将每道扫描线扫描所述不平行的两条边之间的激光雷达标定区域时,所有扫描点在z轴方向的平均坐标作为起始扫描点和结束扫描点的z坐标;或者,可以计算上述所有扫描点在y轴方向上的坐标间距,并计算这些扫描点中位于中间的扫描点在y轴方向上的坐标加上或减去一定数量的坐标间距,并将得到的坐标值作为起始扫描点或结束扫描点的y坐标。

该步骤中,确定起始扫描点和结束扫描点在激光雷达坐标系下的三维坐标后,根据这些点的三维坐标进行直线拟合时,可以通过多种方式实现,例如可以通过最小二乘三维直线拟合法或空间三维散点数据的线性拟合法来实现。

S1030,根据所述多条直线的表达式,估计激光雷达标定点在激光雷达坐标系下的三维坐标。

激光雷达标定点是指标定板上用于标定激光雷达外参的点。具体地而言,激光雷达标定点包括激光雷达标定区域上述不平行的两条边所在直线的交点。因此,激光雷达标定点也可以称为交点特征点。

例如,标定板上包括图2中的第一区域时,激光雷达特征点包括点A。又如,标定板上包括图2中的第一区域、第二区域、第三区域和第四区域时,激光雷达特征点包括点A、点B、点C和点D。

根据拟合得到表达式,估计激光雷达特征点在激光雷达坐标系下的三维坐标,可以包括:构建表达式组成的方程组,解答方程组,得到的坐标即可当作激光雷达特征点在激光雷达坐标系下的三维坐标。

例如,标定板上包括图2中的第一区域,或者包括图2中的第一区域和第二区域时,解答第一直线的表达式和第二直线的表达式构成的方程组,得到的坐标即为点A在激光雷达坐标系下的三维坐标。

又如,标定板上包括图2中的第一区域、第二区域、第三区域和第四区域时,解答第一直线、第二直线、第三直线和第四直线的表达式构成的方程组,得到的坐标即为点A、点B、点C和点D在激光雷达坐标系下的三维坐标。

S1040,根据激光雷达标定点在激光雷达坐标系下的三维坐标,对激光雷达进行外参标定。

在一些设计中,如图11所示,根据激光雷达标定点在激光雷达坐标系下的三维坐标,对激光雷达进行外参标定,可以包括:S1041,根据激光雷达标定点在激光雷达坐标系下的三维坐标和激光雷达标定点在世界坐标系下的三维坐标,对激光雷达进行外参标定。一种示例如图3所示的方法。

其中,激光雷达标定点在世界坐标系下的三维坐标可以是预先通过全站仪测到的。根据激光雷达标定点在激光雷达坐标系下的三维坐标和激光雷达标定点在世界坐标系下的三维坐标,可以参考现有技术,此处不再赘述。

在该设计中,可选地,如图12所示,还可以包括:S1050和S1060。

S1050,获取第二点坐标集合,所述第二点坐标集合包括摄像头标定点在摄像头的图像坐标系中的坐标。

所述摄像头标定点包括所述标定板上的摄像头标定区域中的点。所述摄像头与激光雷达位于同一个智能设备上。所述摄像头拍摄的图像中可以包括标定板上所有摄像头标定区域,也可以包括标定板上部分摄像头标定区域。

摄像头标定区域为用于标定摄像头外参或标定摄像头内外参的区域。摄像头标定区域可以采用白色反光材质。摄像头标定区域可以是任意形状,例如可以是圆形、三角形或棋盘格等。

标定板上通常包括多个摄像头标定区域,其中,任意一个摄像头标定区域与其相邻区域的位置关系,与任意另一个摄像头标定区域与其相邻区域的位置关系不同。

摄像头标定点位于摄像头标定区域中,因此,摄像头标定区域之间的位置关系也可以理解为摄像头标定点之间的位置关系。

例如,任意一个摄像头标定区域的中心点与其相邻区域的中心点的位置关系,与任意另一个摄像头标定区域中心点与其相邻区域终点的位置关系不同。

S1060,根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定。

其中,对摄像头标定包括对摄像头的内参和/或外参进行标定。

例如,根据摄像头内参,将第二点坐标集合中的坐标从图像坐标系转到摄像头坐标系,得到摄像头标定点在摄像头坐标系下的三维坐标;根据摄像头标定点之间的位置关系,确定摄像头拍摄到的摄像头标定点为标定板上的哪些标定点;根据这些标定点在世界坐标系下的三维坐标和这些点在摄像头坐标系下的三维坐标,对摄像头外参进行标定,具体实现方式可以参考现有技术。

其中,摄像头标定点在世界坐标下的三维坐标可以是通过全站仪测量得到的,当然,也可以通过其他方式测量,本申请实施例对此不作限制。

其中,摄像头的内参可以是预先标定好的,也可以是根据该标定板标定的。

例如,摄像头从多个角度拍摄标定板,得到多张图像;根据摄像头标定点之间的位置关系,可以从多张图像中分别确定出每个摄像头标定点的坐标;根据摄像头标定点在多张图像中的坐标对摄像头进行内参标定,具体实现方式可以参考现有技术。

该步骤中,根据摄像头标定区域之间的位置关系来对摄像头进行标定,可以实现摄像头的自动化标定。

在一些设计中,根据激光雷达标定点在激光雷达坐标系下的三维坐标,对激光雷达进行外参标定,可以包括:根据激光雷达标定点在激光雷达坐标系下的三维坐标和摄像头外参,对激光雷达进行外参标定。

例如,如图13所示,S1040可以包括S1042至S1046。

S1042,获取第二点坐标集合,所述第二点坐标集合包括所述标定板上的摄像头标定点在摄像头的图像坐标系中的坐标。

该步骤可以参考S1050.

S1044,根据所述第二点坐标集合、摄像头内外参以及所述摄像头标定区域与激光雷达标定区域之间的位置关系,对激光雷达进行外参标定。

在一些设计中,可以根据所述第二点坐标集合、摄像头内参以及所述摄像头标定区域与激光雷达标定区域之间的位置关系,确定所述激光雷达标定点在所述摄像头的摄像头坐标系下的三维坐标;并根据激光雷达标定点在摄像头坐标系下的三维坐标、激光雷达标定点在激光雷达坐标系下的三维坐标以及摄像头外参,对激光雷达进行外参标定。

例如,可以根据所述第二点坐标集合确定摄像头标定区域中心点在图像坐标系下的坐标;根据所述摄像头标定区域与激光雷达标定区域之间的位置关系,以及摄像头标定区域中心点在图像坐标系下的坐标,确定激光雷达标定点在该图像坐标系下的坐标;根据激光雷达标定点在该图像坐标系下的坐标和摄像头的内参,确定激光雷达标定点在摄像头坐标系下的三维坐标。

或者,在确定摄像头标定区域中心点在图像坐标系下的坐标之后,根据摄像头内参,将该坐标转换为摄像头坐标系下的三维坐标;再根据摄像头标定区域中心点在摄像头坐标系下的三维坐标,以及摄像头标定区域与激光雷达标定点之间的位置关系,确定激光雷达标定点在摄像头坐标系下的三维坐标。

例如,根据激光雷达标定点在摄像头坐标系下的三维坐标和激光雷达标定点在激光雷达坐标系下的三维坐标确定摄像头与激光雷达的相对位姿;根据该相对位姿和摄像头在车辆坐标系下的位姿(即摄像头外参),确定激光雷达在车辆坐标系下的位姿(即激光雷达外参)。

本申请还提供一种传感器标定方法。图14为本申请一个实施例的传感器标定方法的示意性流程图。图14所示的传感器标定方法可以包括S1410和S1420。

S1410,获取第二点坐标集合,所述第二点坐标集合包括摄像头标定点在摄像头的图像坐标系中的坐标。该步骤可以参考S1050。

S1420,根据所述第二点坐标集合、所述摄像头标定区域之间的位置关系和所述摄像头标定点在世界坐标系下的三维坐标,对所述摄像头进行标定。该步骤可以参考S1060。

本申请实施例中,不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

本申请还提供标定装置。本申请提供的一种标定装置包括:一个或多个激光雷达标定区域,所述激光雷达标定区域包括两条不平行的边。该标定装置也可以称为标定板。

标定板上可以包括一组或多组标定图案,其中,每组标定图案中可以包括一个或多个激光雷达标定区域。

激光雷达标定区域为用于标定激光雷达的反光区域。例如,激光雷达标定区域采用激光雷达工作频段的红外材质。激光雷达区域可以是任意形状。

激光雷达区域包括多条边,其中,至少有两条边是不平行的,或者说至少有两条边所在的直线是相交的。例如,激光雷达区域为三角形或四边形等。为了描述方便,将激光雷达区域不平行的两条边分别称为第一边和第二边。

标定板上有多组标定图案时,这多组标定图案可以相同,也可以不同。标定图案包括多个激光雷达标定区域时,这多个激光雷达标定区域的形状可以相同,也可以不相同。

标定板包括多组标定图案,每组标定图案包括多个激光雷达标定区域的一种示例如图2或图5所示。

激光雷达标定区域包括至少两条不平行的边,这些不平行的边所在的直线的交点可以作为激光雷达标定点来实现激光雷达的标定。

在一些设计中,在一组标定图案的多个激光雷达标定区域中,一个激光雷达标定区域的第一边与另一个激光雷达标定区域的第一边位于同一条直线上,为了描述方便,前一个激光雷达标定区域成为第一激光雷达标定区域,将后面一个激光雷达区域称为第二激光雷达标定区域,将该直线称为第一直线上;第一激光雷达标定区域的第二边与第二激光雷达标定区域的第二边位于同一条直线上,为了描述方面,将该直线称为第二直线上。

该设计中,多个激光雷达区域的边位于同一条直线上,使得可以根据多条边附近的扫描点来拟合该直线,从而可以提高拟合的直线的精准度,进而提高激光雷达标定点的精准度。

在该设计中,可选地,第一直线和第二直线的交点为第一激光雷达标定区域的一个顶点。为了描述方便,将第一直线和第二直线的交点称为第一交点。第一交点同时为第二激光雷达标定区域的一个顶点。

也就是说,不同的激光雷达区域以相同的激光雷达标定点为顶点,这使得标定板上的激光雷达标定区域的布局更紧凑,这使得在同样面积的标定板上可以布局更多标定区域或者使用更小面积的标定板就能布局同样面积的标定区域。

在一些设计中,所述多个激光雷达标定区域中,第三激光雷达标定区域的第一边与第四激光雷达标定区域的第二边位于第三直线上,所述第三激光雷达标定区域的第二边与所述第四激光雷达标定区域的第一边位于第四直线上;其中,所述第一直线与所述第三直线不平行,所述第二直线与所述第四直线不平行。

该设计中,由于第一直线与第三直线不平行,第二直线与第四直线不平行,使得增加同样数量的激光雷达标定区域,可以增加更多的交点,从而增加更多的激光雷达标定点,进而可以提高激光雷达的标定精度。

可选地,第二直线与第四直线的第二交点为第一激光雷达标定区域的另一顶点,第二交点为第三激光雷达标定区域的一个顶点,第三直线与第四直线的第三交点为第三激光雷达标定区域的另一顶点,第三交点为第四激光雷达标定区域的一个顶点,第一直线与第三直线的第四交点为第四激光雷达标定区域的另一顶点,第四交点为第二激光雷达标定区域的另一顶点。

也就是说,不同的激光雷达区域以相同的激光雷达标定点为顶点,这使得标定板上的激光雷达标定区域的布局更紧凑,这使得在同样面积的标定板上可以布局更多标定区域或者使用更小面积的标定板就能布局同样面积的标定区域。

该设计的一个示例如图2所示,其中的第一区域、第二区域、第三区域和第四区域分别对应第一激光雷达标定区域、第二激光雷达标定区域、第三激光雷达标定区域和第四激光雷达标定区域。

本申请提供的另一种标定装置包括:多个摄像头标定区域,所述多个摄像头标定区域中任意一个摄像头标定区域与相邻摄像头标定区域的位置关系,和,所述多个摄像头标定区域中其他任意一个摄像头标定区域与相邻摄像头标定区域的位置关系不同。

摄像头标定区域为用于标定摄像头外参或标定摄像头内外参的区域。摄像头标定区域可以采用白色反光材质。摄像头标定区域可以是任意形状,例如可以是圆形、三角形或棋盘格等。

标定板上通常包括多个摄像头标定区域,其中,任意一个摄像头标定区域与其相邻区域的位置关系,与任意另一个摄像头标定区域与其相邻区域的位置关系不同。

摄像头标定区域中的点可以作为摄像头标定点,例如将摄像头标定区域中心点作为摄像头标定点。因此,摄像头标定区域之间的位置关系也可以理解为摄像头标定点之间的位置关系。

本申请实施例中,不论摄像头拍摄到的是整个标定板上的所有图案,还是标定板上的部分图案,均可以根据特征点之间的位置关系确定摄像头拍摄到的图像中的特征点为标定板上的哪些特征点,从而可以从预存的三维坐标中确定出这些特征点在世界坐标系下的三维坐标,进而可以确定出摄像头内外参。这使得使用该标定板对摄像头进行标定时,不用限定摄像头与标定板之间的距离,也不需要移动标定板,即能够实现摄像头的自动标定。

该设计的一种示例如图8所示。

在一些设计中,该标定装置还可以包括前述一种标定装置中的激光雷达标定区域。关于激光雷达区域的相关内容参考前述内容,此处不再赘述。该设计的一种示例如图5所示。

本申请还提供一种传感器标定装置。该传感器标定装置包括用于执行图3、图6、图7、图9、图10、图11、图12、图13或图14所述的传感器标定方法中的各个操作的模块。或者说,该传感器标定装置包括多个模块,各模块分别为了实现图3、图6、图7、图9、图10、图11、图12、图13或图14所述方法中的相应流程。

图15为本申请一个实施例的传感器标定装置1500的示意性结构图。传感器标定装置1500可以包括获取模块1510,拟合模块1520,估计模块1530和标定模块1540。

在一些设计中,获取模块1510用于执行S1010,拟合模块用于执行S1020,估计模块1530用于执行S1030,标定模块1540用于执行1040,以实现图10所示的传感器标定方法。

在一些设计中,获取模块1510用于执行S1010,拟合模块用于执行S1020,估计模块1530用于执行S1030,标定模块1540用于执行S1041,以实现图11所示的传感器标定方法。

在一些设计中,获取模块1510用于执行S1010和S1050,拟合模块用于执行S1020,估计模块1530用于执行S1030,标定模块1540用于执行S1041和S1060,以实现图12所示的传感器标定方法。

在一些设计中,获取模块1510用于执行S1010,拟合模块用于执行S1020,估计模块1530用于执行S1030,标定模块1540用于执行S1042和S1044,以实现图13所示的传感器标定方法。

可以理解的是,各模块执行上述相应步骤的具体过程在上述方法实施例中已经详细说明,在此不再赘述。

可以理解的是,图15仅是对本申请的传感器装置的结构和功能模块进行的示例性划分,本申请并不对其具体划分做任何限定。

图16是本申请实施例提供的一种传感器标定装置的部署示意图,传感器标定装置可部署在云环境中,云环境是云计算模式下利用基础资源向用户提供云服务的实体。云环境包括云数据中心和云服务平台,所述云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源),云数据中心包括的计算资源可以是大量的计算设备(例如服务器)。

传感器标定装置可以是云数据中心中用于对传感器进行标定的服务器;传感器标定装置也可以是创建在云数据中心中的用于对传感器进行标定的虚拟机;传感器标定装置还可以是部署在云数据中心中的服务器或者虚拟机上的软件装置,该软件装置用于对传感器进行标定,该软件装置可以分布式地部署在多个服务器上、或者分布式地部署在多个虚拟机上、或者分布式地部署在虚拟机和服务器上。

如图16所示,传感器标定装置由云服务提供商在云服务平台抽象成一种传感器标定的云服务提供给用户,用户在云服务平台购买该云服务后,云环境利用传感器标定装置向用户提供传感器标定云服务,用户可以通过应用程序接口(application programinterface,API)或者通过云服务平台提供的网页界面上传待标定的激光雷达采集的点坐标集合至云环境,由传感器标定装置接收点坐标集合,对待标定的激光雷达进行标定,标定结果由传感器标定装置返回至用户所在的终端,或者标定结果存储在云环境,例如:呈现在云服务平台的网页界面上供用户查看。

当传感器标定装置为软件装置时,传感器标定装置的不同模块可以部署在不同的环境或设备中。例如:如图17所示,传感器标定装置中的一部分部署在终端计算设备(如:车辆、智能手机、笔记本电脑、平板电脑、个人台式电脑、智能摄相机),另一部分部署在数据中心(具体部署在数据中心中的服务器或虚拟机上),数据中心可以是云数据中心,数据中心也可以是边缘数据中心,边缘数据中心是部署在距离终端智能设备较近的边缘计算设备的集合。

部署在不同环境或设备的传感器标定装置的各个部分之间协同实现传感器标定方法的功能。例如,车辆上部署有传感器标定装置中的获取模块,车辆获取到第一点坐标集合之后,通过网络将第一点坐标集合发送至数据中心,数据中心上部署有拟合模块、估计模块和标定模块,这些模块进一步地对第一点坐标集合进行处理,最终获得标定结果,数据中心将标定结果发送至车辆。

可以理解的是,本申请不对传感器标定装置的哪些部分部署在终端计算设备和哪些部分部署在数据中心进行限制性的划分,实际应用时可根据终端计算设备的计算能力或具体应用需求进行适应性的部署。值得注意的是,在一种实施例中,传感器标定装置还可以分三部分部署,其中,一部分部署在终端计算设备,一部分部署在边缘数据中心,一部分部署在云数据中心。

当传感器标定装置为软件装置时,传感器标定装置也可以单独部署在任意环境的一个计算设备上(例如:单独部署在一个终端计算设备上或者单独部署在数据中心中的一个计算设备上)。

如图18所示,计算设备1800包括总线1801、处理器1802、通信接口1803和存储器1804。处理器1802、存储器1804和通信接口1803之间通过总线1801通信。

存储器1804中存储有传感器标定装置所包括的可执行代码(实现各个模块功能的代码),处理器1802读取存储器1804中的该可执行代码以执行传感器标定方法。存储器1804中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUX

本申请还提供一种如图18所示的计算设备1800。

本申请还提供一种芯片,该芯片包括总线1801、处理器1802、通信接口1803和存储器1804。处理器1802、存储器1804和通信接口1803之间通过总线1801通信。存储器1804中存储有传感器标定装置所包括的可执行代码(实现各个模块功能的代码),处理器1802读取存储器1804中的该可执行代码以执行传感器标定方法。存储器1804中还可以包括操作系统等其他运行进程所需的软件模块。

该芯片可以是现场可编程门阵列(field programmable gate array,FPGA),可以是专用集成芯片(application specific integrated circuit,ASIC),还可以是系统芯片(system on chip,SoC),还可以是中央处理器(central processor unit,CPU),还可以是网络处理器(network processor,NP),还可以是数字信号处理电路(digital signalprocessor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是可编程控制器(programmable logic device,PLD)或其他集成芯片。

应理解,本申请中的各个模块也可以称为对应的单元,例如,获取模块也可以称为获取单元,估计模块也可以称为估计单元,等等。

在实现过程中,各个方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。

应注意,本申请实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存,硬盘驱动器(hard disk drive,HDD)或固态驱动器(solid state disk,SSD)。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。

通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请还提供一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行前述任意一个方法实施例中的方法。

本申请还提供一种计算机可读介质,该计算机可读介质存储有程序代码,当该程序代码在计算机上运行时,使得该计算机执行前述任意一个方法实施例中的方法。

本申请还提供一种系统,其包括前述的传感器标定装置、计算设备中任意一个和前述的标定装置。

上述各个附图对应的流程的描述各有侧重,某个流程中没有详述的部分,可以参见其他流程的相关描述。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。视频相似检测的计算机程序产品包括一个或多个视频相似检测的计算机指令,在计算机上加载和执行这些计算机程序指令时,全部或部分地产生按照本发明实施例图6所述的流程或功能。

所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质存储有视频相似检测的计算机程序指令的可读存储介质。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD)。

相关技术
  • 传感器标定方法和传感器标定装置
  • 一种监测动态摩擦系数的路面湿滑状态传感器标定装置及方法
技术分类

06120112588770