激光雷达与相机联合标定的方法及装置

技术领域

本申请涉及参数标定技术领域，特别是涉及一种激光雷达与相机联合标定的方法及装置。

背景技术

无人工厂已经成为实现工业4.0的重要途径，这也对AGV提出了更高要求，单一传感器已经不能适应复杂的工厂环境，多传感器信息融合慢慢成为主流趋势。而多传感器融合是否准确很大程度上取决于传感器之间的外参数计算是否准确，因此多传感器标定至关重要。但是，通过目前的标定的方法得到的结果误差较大。

发明内容

本申请主要解决的技术问题是提供一种激光雷达与相机联合标定的方法及装置，能够提高标定结果的准确性。

为解决上述技术问题，本申请第一方面提供一种激光雷达与相机联合标定的方法，包括：基于相机拍摄V型标定板得到的图像数据，计算出在相机的坐标系下V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向量，其中，第一平面为第一边缘线与第一预设点构成的面，第二平面为第二边缘线与第二预设点构成的面，第一边缘线和第二边缘线分别为两块板各自的主表面上与交汇线相对的边缘线，交汇线为两块板的主表面相交的线，且第一预设点和第二预设点均不在两块板的主表面所在的平面上；

基于雷达扫描V型标定板得到的单线激光点云，确定在雷达的坐标系下第一交点、第二交点和第三交点的坐标，第一交点为单线激光与第一边缘线的交点，第二交点为单线激光与第二边缘线的交点，第三交点为单线激光与交汇线的交点；

基于两块板的主表面、第一平面和第二平面的平面法向量、以及第一交点坐标、第二交点坐标和第三交点坐标，确定相机与雷达之间的外参数。

其中，基于雷达扫描V型标定板得到的单线激光点云，确定在雷达的坐标系下第一交点、第二交点和第三交点的坐标，包括：

基于单线激光点云确定两块板的主表面上的激光线段点集；

基于两块板的主表面上的激光线段点集，确定在雷达的坐标系下第一交点坐标以及第二交点坐标，并确定两块板各自的主表面上的激光线段的方程；

通过两块板上的激光线段的方程，计算得到第三交点坐标。

其中，基于单线激光点云数据确定两块板的主表面上的激光线段点集，包括：

连接单线激光点云中第一个点和最后一个点得到初始直线；

在当前直线的起点和终点之间的所有激光点到当前直线的距离中的最大值超过第一距离阈值的情况下，将最大值对应的点作为折点，并将当前直线的起点和终点分别与折点连线，得到两条子线段，其中，当前直线初始为初始直线；

将两条子线段中每一子线段分别作为当前直线，并执行在当前直线的起点和终点之间的所有激光点到当前直线的距离中的最大值超过第一距离阈值的情况下，将最大值对应的点作为折点，并将当前直线的起点和终点分别与折点连线，得到两条子线段，直至每一子线段都没有新的折点出现，以得到点云线段集合；

从点云线段集合中选取两个点云线段作为两块板的主表面上的激光线段点集，其中，所选取的两个点云线段的中心点与雷达坐标系原点的距离小于点云线段集合中未被选取的点云线段的中心点与雷达坐标系原点的距离。

其中，基于两块板的主表面上的激光线段点集，确定在雷达的坐标系下第一交点坐标以及第二交点坐标，并确定两块板各自的主表面上的激光线段的方程，包括：

在沿着激光扫描方向、第一边缘线所属的板位于第二边缘线所属的板的下游的情况下，将所选取的两个点云线段中中心点Y坐标大的点云线段作为第一边缘线所属的板的主表面上的激光线段，将中心点Y坐标大的点云线段中最后一个扫描点的坐标作为第一交点坐标，将所选取的两个点云线段中中心点Y坐标小的点云线段作为第二边缘线所属的板的主表面上的激光线段，将中心点Y坐标小的点云线段中第一个扫描点的坐标作为第二交点坐标。

其中，基于相机拍摄V型标定板得到的图像数据，计算出在相机的坐标系下V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向量，包括：

基于图像数据计算出两块板各自的主表面的平面点云和平面法向量；

基于两块板各自的主表面的平面点云，确定出第一边缘线的方向向量和第二边缘线的方向向量；

利用第一边缘线的方向向量和第一预设点的坐标计算出第一平面的平面法向量，利用第二边缘线的方向向量和第二预设点的坐标计算出第二平面的平面法向量。

其中，基于图像数据计算出V型标定板中两块板各自朝向相机的主表面的平面点云和平面法向量，包括：

从图像数据中提取出三个平面的平面点云；

从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面法向量。

其中，从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面法向量，包括：

计算三个平面中每两个平面的法向量的内积；

基于内积从三个平面中确定出地平面及其法向量；

计算出由地平面的平面点云中第三预设点和除地平面以外的两个平面的交线构成的第三平面的平面向量，以及计算出第一向量，其中，第一向量为两个平面中一个平面的平面点云中的非交线点与两个平面中另一个平面的平面点云中的非交线点之间的向量；

基于第一向量和第三平面的平面向量的内积确认两个平面各自对应于哪个板的主表面，从而确定出两块板各自的主表面的平面点云以及平面法向量。

其中，基于内积从三个平面中确定出地平面及其法向量，包括：

基于内积和V型标定板的摆放方式从三个平面中确定出地平面；

计算出第二向量，第二向量为第四预设点与地平面的平面点云中的点之间的向量，第四预设点为三个平面中除地平面以外的一个平面的平面点云中的点；

基于地平面对应的平面法向量和第二向量的内积的正负属性、以及地平面对应的平面法向量，确定出地平面的平面法向量。

其中，第四预设点为三个平面中除地平面以外的一个平面的平面点云中的中心点；第二向量为第四预设点与地平面的平面点云中的中心点之间的向量。

其中，从图像数据中提取出三个平面的平面点云，包括：

利用三点确定平面的方法从点云数据逐个提取出三个平面的平面点云及其对应的平面法向量。

其中，利用三点确定平面的方法从点云数据逐个提取出三个平面的平面点云及其对应的平面法向量，包括：

采用ransac算法结合三点确定平面的方法粗提取平面，得到三个平面中的待提取平面的粗提取平面方程和粗提取平面点云；

以粗提取平面方程的系数为初值，采用最小二乘方法最小化点到待提取平面的距离，构建残差方程；

利用残差方程进行拟合，求得待提取平面对应的平面方程和平面法向量；

基于待提取平面对应的平面方程和粗提取平面点云确定出待提取平面的平面点云。

其中，基于两块板各自的主表面的平面点云，确定出第一边缘线的方向向量和第二边缘线的方向向量，包括：

基于交汇线的方向向量和三个平面的交点坐标，确定出第一边缘线或第二边缘线所属的板的主表面的平面点云中所有点到预设交线的距离中的最大值和最小值，预设交线为第一边缘线或第二边缘线所属的板的主表面和地平面的交线；

确定出第一边缘线或第二边缘线对应的最小值和最大值之间的各个距离范围内的所有点与交汇线距离最大的至少一个点；

汇总第一边缘线或第二边缘线对应的最小值和最大值之间的所有距离范围的至少一个点，得到第一边缘线或第二边缘线的点集；

基于第一边缘线或第二边缘线的点集计算出第一边缘线或第二边缘线的方向向量。

其中，基于两块板的主表面、第一平面和第二平面的平面法向量、以及第一交点坐标、第二交点坐标和第三交点坐标，确定相机与雷达之间的外参数，包括：

利用第一交点坐标和第一平面的法向量构建出第一点面约束方程；利用第一交点坐标和第一边缘线所属板的主表面的平面法向量构建出第二点面约束方程，利用第二交点坐标和第二平面的法向量构建第三点面约束方程，利用第二交点坐标和第二边缘线所属板的主表面的平面法向量构建第四点面约束方程，利用第三交点坐标分别和两块板的主表面的平面法向量构建出第五点面约束方程和第六点面约束方程；

基于第一点面约束方程、第二点面约束方程、第三点面约束方程、第四点面约束方程、第五点面约束方程、第六点面约束方程计算得到外参数。

为解决上述技术问题，本申请第二方面提供一种电子设备，该电子设备包括处理器和存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现上述的方法。

为解决上述技术问题，本申请第三方面提供一种计算机可读存储介质，该计算机可读存储介质存储有程序和/或指令，程序和/或指令用于被执行以实现上述的方法。

上述方案，可以基于激光雷达扫描V型标定板得到的单线激光点云数据，确定在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标，以便利用在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标与在相机的坐标系下V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向量，构建出多个点面约束方程，并在构建出的点面约束方程的约束下，优化计算得到激光雷达与相机间结构参数的精确值，从而使得标定得到的外参结果相对准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请激光雷达与相机联合标定的方法一实施方式的流程示意图；

图2是本申请激光雷达与相机联合标定的方法中V型标定板的结构示意图；

图3是本申请激光雷达与相机联合标定的方法中相机和雷达摆放位置的示意图；

图4是本申请激光雷达与相机联合标定的方法中点、线和面的位置示意图；

图5是本申请激光雷达与相机联合标定的方法中V型标定板中两块板对应的主表面的法向量朝向的示意图；

图6是本申请激光雷达与相机联合标定的方法中激光雷达对V型标定板中两块板对应的主表面的扫描线段示意图；

图7是本申请激光雷达与相机联合标定的方法中构建约束方程的约束信息示意图；

图8是本申请电子设备一实施方式的结构示意图；

图9是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请激光雷达与相机联合标定的方法一实施方式的流程示意图，该方法包括：

S101：基于相机拍摄V型标定板得到的图像数据，计算出在相机的坐标系下V型标定板中两块板各自朝向相机的两个平面、第一平面和第二平面的平面法向量。

其中，V型标定板可由两块板(如图2所示的A板和B板)组合而成。具体地，如图3所示，可将两块板成α角摆放，并且两块板的一边相互贴合设置，如此便通过两块板组合而成本申请的V型标定板。其中，α可根据实际情况进行设定，在此不做限定，例如α的范围可为[10°，170°]。较为优选地，30°≤α≤75°或105°≤α≤150°。最为优选的是，α＝135°。

进一步地，为方便摆放V型标定板，V型标定板中的两块板可通过合页相连，如此可将两块板开合至任意角度，以便于配合激光雷达和相机之间的外参数标定，且便于携带。

另外，V型标定板中的两块板可均为直角V型标定板。且两块板的直角边可相互贴合并在两端通过合页连接。为提高标定效率，可使两块板的较长直角板相互贴合固定。在其他实施例中，V型标定板中的两块板的形状不限于直角V型标定板，例如也可为矩形板等四边形板。

在步骤S101中，可先获得相机拍摄V型标定板而得到的图像数据，然后基于获得的图像数据计算出V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向量。

为获得较佳的图像数据，如图3所示，可使相机朝向V型标定板的最大面积的表面拍摄，也就是使相机能够拍摄到V型标定板的两块板各自的最大面积的表面。例如，可以将相机放置于图3所示的1、2、3、4或5等点位，并将相机朝向调整为箭头朝向，然后控制相机拍摄以获得包含V型标定板的图像数据。

获得相机拍摄到的包含V型标定板的图像数据后，可以基于获得的图像数据计算出所需平面的平面法向量。

其中，可基于获得的图像数据计算出V型标定板中两块板各自朝向相机的主表面(例如图2所示的A板朝向相机的面积最大的表面和B板朝向相机的面积最大的表面)的平面点云和平面法向量；接着可基于两块板各自朝向相机的主表面的平面点云确定出第一边缘线(如图4所示的线QS)和第二边缘线(如图4所示的线QR)的方向向量，其中，第一边缘线和第二边缘线分别为两块板各自的主表面上与交汇线(如图4所示的线QP

其中，每块板朝向相机的主表面可以理解为：每块板朝向相机的表面中面积最大的表面。其中，图像数据可以以点云数据的方式呈现，而基于获得的图像数据计算出V型标定板中两块板各自朝向相机的主表面的平面点云和平面法向量的过程可以包括：从图像数据中提取出三个平面的平面点云；从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面法向量。

其中，从图像数据中提取出三个平面的平面点云的过程可以是：利用三点确定平面的方法从图像数据提取出第一个平面的平面点云以及确定该平面对应的平面法向量；从图像数据中过滤掉第一个平面的平面点云，得到第一点云数据；利用三点确定平面的方法从第一点云数据提取出第二个平面的平面点云以及确定第二个平面对应的平面法向量；从第一点云数据中过滤掉第二个平面的平面点云，得到第二点云数据；利用三点确定平面的方法从第二点云数据提取出第三个平面的平面点云以及确定第三个平面对应的平面法向量。

具体地，利用三点确定平面的方法从点云数据提取出平面点云和平面法向量的过程可以包括：采用ransac算法结合三点确定平面的方法粗提取平面，得到待提取平面的粗提取平面方程和粗提取平面点云；以待提取平面的粗提取平面方程系数为初值，采用最小二乘方法最小化点到平面距离，构建残差方程；利用残差方程进行拟合，求得待提取平面对应的平面方程和平面法向量；基于拟合求得的平面方程和粗提取平面点云确定出待提取平面的平面点云。

示例性地，从图像数据中提取出三个平面的平面点云的过程可以如下所示：

1>.点云过滤：过滤C

2>.粗提取平面：对C

3>.拟合平面：将2>中求得平面方程系数作为初值，采用最小二乘方法最小化点到平面距离，构建如下残差方程

求解可得平面方程A

4>从C

5>从C

基于上述步骤从图像数据中提取出三个平面的平面点云后，可以从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面法向量。

而从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面法向量的步骤可以包括：计算三个平面中每两个平面的法向量的内积，基于内积从三个平面中确定出地平面及其法向量；计算出由地平面的平面点云中第三预设点和除地平面以外的两个平面的交线构成的第三平面的平面向量，以及计算出第一向量，其中，第一向量为两个平面中一个平面的平面点云中的非交线点到两个平面中另一个平面的平面点云中的非交线点的向量；基于第一向量和第三平面的平面向量的内积确认两个平面各自对应于哪个板的主表面。

因为需要基于内积从三个平面中确定出地平面及其法向量，所以对于V型标定板的摆放存在相应要求。较为优选的是，V型标定板的两块板的主表面和地平面大致垂直，且V型标定板的两块板的主表面明显不垂直，例如，V型标定板的两块板的主表面和地平面的夹角与90°的差值小于阈值，V型标定板的两块板的主表面的夹角与90°的差值大于阈值。如此，地面法向量与A板的主表面的法向量的内积约等于0，且地面法向量与B板的主表面的法向量的内积也约等于0，即

确定出地平面后，可以确定地平面的平面法向量。其中，可以计算出第二向量，第二向量为第四预设点到地平面的平面点云中第五预设点的向量，第四预设点为除地平面以外的一个平面的平面点云中的点；基于地平面对应的平面法向量和第二向量的内积的正负属性、以及地平面对应的平面法向量，确定出地平面的平面法向量。具体地，若地平面对应的平面法向量和第二向量的内积的正负属性为负，即地平面对应的平面法向量和第二向量的内积为负数，则地平面的平面法向量为地平面对应的平面法向量的相反数；若地平面对应的平面法向量和第二向量的内积的正负属性为正，即地平面对应的平面法向量和第二向量的内积为正数，则地平面的平面法向量等于地平面对应的平面法向量。

示例性地，为提高计算得到的地平面的平面法向量的准确性，进而提高地平面的平面法向量的计算准确度，可以将除地平面以外的一个平面的平面点云的中心点作为第四预设点，将地平面的平面点云的中心点作为第五预设点，当然也不限于此。

另外，第三平面的平面法向量的计算过程可以为：计算出三个平面的交点坐标；计算出第三向量，第三向量为第三预设点与三个平面的交点之间的向量；将第三向量和地平面的法向量叉乘，得到第三平面的平面法向量。其中，第三预设点可以为地平面的平面点云的中心点，当然也可为地平面的平面点云中任一点。

计算出第三平面的平面法向量后，可以基于第三平面的平面法向量和第一向量的内积的正负属性，确认两个平面各自对应于哪个板的主表面。具体地，若第三平面的平面法向量和第一向量的内积的正负属性为负，则两个平面中一个平面为两块板中位于右侧的板的主表面，两个平面的另一个平面为两块板中位于左侧的板的主表面；若第三平面的平面法向量和第一向量的内积的正负属性为正，则两个平面中一个平面为两块板中位于左侧的板的主表面，两个平面的另一个平面为两块板中位于右侧的板的主表面，如此即确定出V型标定板中两块板各自朝向相机的主表面的平面点云和平面法向量。

接着可基于两块板各自朝向相机的主表面的平面点云确定出第一边缘线和第二边缘线的方向向量。

其中，第一边缘线可以为位于左侧的板的主表面上与交汇线相对的边缘线。如此，可以先计算出交汇线的方向向量；然后基于交汇线的方向向量和三个平面的交点坐标确定出位于左侧的板的主表面的平面点云中所有点到位于左侧的板的主表面和地平面的交线(为便于描述，可将位于左侧的板的主表面和地平面的交线称为第一交线)的距离中的最大值和最小值；确定出位于左侧的板的主表面的平面点云中到第一交线的距离在最小值和最大值之间的各个距离范围内的所有点中与交汇线距离最大的至少一个点；汇总最小值和最大值之间的所有范围的至少一个点，得到第一边缘线的点集；基于第一边缘线的点集计算出第一边缘线的方向向量。而基于第一边缘线的点集计算出第一边缘线的方向向量，可以包括：采用最小二乘方法并基于第一边缘线的点集确定出第一边缘线的方程，而得到第一边缘线的方向向量。具体地，其中，计算出第一边缘线的点集后，可通过最小二乘法等方法构建出点到第一边缘线的距离的残差方程，然后通过该残差方程依次迭代直至收敛从而计算得到第一边缘线的方程，从而得到第一边缘线的方向向量。

其中，位于左侧的板的主表面和地平面的交线可垂直于交汇线，即位于左侧的板的主表面的右下角大致为直角。如此可以将交汇线的方向向量作为位于左侧的板的主表面和地平面的交线的法向量，如此在计算位于左侧的板的主表面的平面点云中的各个点到第一交线的距离中，可以先计算出位于左侧的板的主表面的平面点云中的各个点到三个平面的交点的向量，然后将位于左侧的板的主表面的平面点云中的各个点到三个平面的交点的向量和交汇线的方向向量代入到向量的点到直线距离公式，以计算得到位于左侧的板的主表面的平面点云中的各个点到第一交线的距离。

此外，为了降低第一边缘线的方向向量的计算误差，可以先筛除掉最小值和最大值之间中噪声较大的距离范围，然后再确定出位于左侧的板的主表面的平面点云中到第一交线的距离在筛选后的范围中的各个距离范围内的所有点中与交汇线距离最大的至少一个点，接着汇总即可得到相对准确的第一边缘线的点集。其中，因为V型标定板最上面和最小面的点云噪声相对较大，可以将噪声较大的距离范围设置为[最小值,最小值+第一预设值]∪[最大值-第二预设值，最大值]，第一预设值和第二预设值可根据实际情况进行设定，且均为正数，在此不做限制，例如均可设为0.1。而且，所有距离范围的宽度可以相等，例如均为2cm或3cm。当然，在其他实施例中，距离范围的宽度也可不相等。

相应地，第二边缘线可以为位于右侧的板的主表面上与交汇线相对的边缘线，可以通过与第一边缘线相同的方法计算出第二边缘线的方向向量。具体地，可以先计算出交汇线的方向向量；然后基于交汇线的方向向量和三个平面的交点坐标确定出位于右侧的板的主表面的平面点云中所有点到位于右侧的板的主表面和地平面的交线(为便于描述，可将位于左侧的板的主表面和地平面的交线称为第二交线)的距离中的最大值和最小值；确定出位于右侧的板的主表面的平面点云中到第二交线的距离在最小值和最大值之间的各个距离范围内的所有点中与交汇线距离最大的至少一个点；汇总最小值和最大值之间的所有范围的至少一个点，得到第二边缘线的点集；基于第二边缘线的点集计算出第二边缘线的方向向量。

基于两块板各自朝向相机的主表面的平面点云确定出第一边缘线和第二边缘线的方向向量后，可以利用第一边缘线和第二边缘线的方向向量分别计算出第一平面和第二平面的法向量。

具体地，可以先基于第一边缘线的方向向量确定第一边缘线上任一点的坐标(例如可称为点H的坐标)，以第一边缘线上所选取的点的坐标和第一预设点的坐标计算出第一方向向量，然后利用第一方向向量和第一边缘线的方向向量进行叉乘，以得到第一平面的法向量。

相应地，可以先基于第二边缘线的方向向量确定第二边缘线上任一点的坐标(例如可称为点K的坐标)，以第二边缘线上所选取的点的坐标和第二预设点的坐标计算出第二方向向量，然后利用第二方向向量和第二边缘线的方向向量进行叉乘，以得到第二平面的法向量。

其中，第一预设点和第二预设点可以为同一点或不同的点。为提高方法的可实施性，以准确选取出不在两块板朝向相机的主表面的第一预设点和第二预设点，可以将相机坐标原点作为第一预设点和第二预设点。

S102：基于激光雷达扫描V型标定板得到的单线激光点云数据，确定在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标。

可以基于激光雷达扫描V型标定板得到的单线激光点云数据，确定在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标，以便利用在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标与在相机的坐标系下V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向量，构建出多个点面约束方程，并在构建出的点面约束方程的约束下，优化计算得到激光雷达与相机间结构参数的精确值。

在步骤S102中，可以基于单线激光点云数据确定两块板各自的主表面上的激光线段点集；基于两块板各自的主表面上的激光线段点集，确定在雷达的坐标系下单线激光与第一边缘线以及第二边缘线的交点坐标，并确定两块板各自的主表面上的激光线段的方程；利用两块板各自的主表面上的激光线段的方程计算两个激光线段的交点坐标，即计算出在雷达的坐标系下单线激光与交汇线的交点坐标。

在一实现方式中，可以设置第一距离阈值；连接激光点云中第一个点和最后一个点得到初始直线；在当前直线的第一个点和最后一个点之间的所有激光点到该当前直线的距离中的最大值超过第一距离阈值的情况下，将该最大值对应的点作为折点，并将当前直线的起点和终点分别与该折点连线，得到两条子线段，其中，当前直线初始为初始直线；将两条子线段中每一子线段分别作为当前直线，并执行“在当前直线的第一个点和最后一个点之间的所有激光点到该当前直线的距离中的最大值超过第一距离阈值的情况下，将该最大值对应的点作为折点，并将该折点分别与当前直线的起点和终点连线，得到两条子线段”的步骤，以确认每一子线段的第一个点和最后一个点之间是否存在折点，并在一子线段的第一个点和最后一个点之间存在折点的情况下，得到由该子线段的第一个点和最后一个点分别与其对应的折点相连的线段，如此重复执行上述操作直至每一子线段都没有新的折点出现，最终得到一系列点云线段集合；计算点云线段集合中每一线段的中心点坐标；将点云线段集合中中心点X坐标最小的两个点云线段作为两块板各自的主表面上的激光点云线段。其中，第一距离阈值可根据实际情况(例如V型标定板的尺寸)进行设置，在此不做限制，例如可设置为5cm。

接着，可基于两个点云线段中心点Y坐标的大小情况以及雷达激光扫描方向，确定在雷达的坐标系下单线激光与第一边缘线以及第二边缘线的交点坐标。具体地，若激光扫描方向为从左往右扫描，则可以将中心点Y坐标大的点云线段作为位于右侧的板的主表面上的激光点云线段，且可以将中心点Y坐标大的点云线段中最后一个扫描点的坐标作为在雷达的坐标系下单线激光与第二边缘线的交点坐标，将中心点Y坐标小的点云线段中第一个扫描点的坐标作为在雷达的坐标系下单线激光与第一边缘线的交点坐标。又例如，若激光扫描方向为从右往左扫描，则可以将中心点Y坐标小的点云线段作为位于右侧的板的主表面上的激光点云线段，且可以将中心点Y坐标小的点云线段中第一个扫描点的坐标作为在雷达的坐标系下单线激光与第二边缘线的交点坐标，将中心点Y坐标大的点云线段中最后一个扫描点的坐标作为在雷达的坐标系下单线激光与第一边缘线的交点坐标。

当然不限于通过上述方法确定在雷达的坐标系下单线激光与第一边缘线以及第二边缘线的交点坐标。例如还可通过相同雷达扫描条件下，提取标定场景中未摆放V型标定板和摆放V型标定板的两个激光点云数据；由于靶标摆放前后，在标定板对应角度上的点云数值会产生比较大的变化，通过设定第二距离阈值可提取标定板上的激光点云数据；然后将标定板上的激光点云数据中的极大值点和第一个扫描点之间的点云数据作为其中一个板主表面上的点云数据，将标定板上的激光点云数据中的极大值点和最后一个扫描点之间的点云数据作为另一个板主表面上的点云数据。接着，同样可基于两个点云线段中心点Y坐标的大小情况以及雷达激光扫描方向，确定在雷达的坐标系下单线激光与第一边缘线以及第二边缘线的交点坐标。

S103：基于两块板的主表面、第一平面和第二平面的平面法向量、以及第一交点坐标、第二交点坐标和第三交点坐标，确定相机与激光雷达之间的外参数。

可以基于步骤S101计算得到的在相机坐标系下两块板的主表面、第一平面和第二平面的平面法向量，以及步骤S102计算得到的在激光雷达坐标系下的第一交点坐标、第二交点坐标和第三交点坐标，计算出相机与激光雷达之间的外参数。

可选地，可以利用第一交点坐标和第一平面的法向量构建出第一点面约束方程、利用第一交点坐标和第一边缘线所属板的主表面的平面法向量构建出第二点面约束方程，利用第二交点坐标和第二平面的法向量构建第三点面约束方程，利用第二交点坐标和第二边缘线所属板的主表面的平面法向量构建第四点面约束方程，利用第三交点坐标分别和两块板的主表面的平面法向量构建出第五点面约束方程和第六点面约束方程，基于第一点面约束方程、第二点面约束方程、第三点面约束方程、第四点面约束方程、第五点面约束方程、第六点面约束方程计算得到相机与激光雷达之间的外参数。

可选地，可以在上述约束方程的约束下，采用LM(Levenberg-Marquardt)算法等非线性优化方法对外参数的初值进行优化，得到激光雷达与相机之间的最终外参数。在迭代优化过程中，具体可以利用上述的6个点面约束方程计算残差，并基于残差不断迭代优化得到外参数的最优解。

其中，相机与激光雷达之间的外参数可以包括旋转矩阵

在本实施方式中，可以基于激光雷达扫描V型标定板得到的单线激光点云数据，确定在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标，以便利用在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标与在相机的坐标系下V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向量，构建出多个点面约束方程，并在构建出的点面约束方程的约束下，优化计算得到激光雷达与相机间结构参数的精确值，从而使得标定得到的外参结果相对准确。

下面为更好说明本申请激光雷达与相机联合标定的方法，提供以下激光雷达与相机联合标定具体实施例来示例性说明：

准备过程：

1.将V型标定板立于地面，调整V型标定板的两块板的开合角度为135°左右；

2.将AGV放置在虚线的每个点位，调整AGV车头朝向为箭头朝向，采集激光数据和TOF数据，最终得到激光点云集合S＝{S

标定过程：

1.对每一对激光点云S

a.提取C

地面法向量

1＞点云过滤：过滤C

2＞粗提取平面：对C

3＞拟合平面：将2>中求得平面方程系数作为初值，采用最小二乘方法最小化点到平面距离，构建如下残差方程

求解可得平面方程A

4＞从C

5＞从C

b.从上述三个平面中确定地面、平面A和平面B

假设最终求得的地面法向量

和点云Cloud

1＞确定地面法向量

计算三个平面法向量

因为平面A和平面B与地面几乎垂直(实际中不会绝对垂直，肯定会存在一些误差)，所以地面法向量与平面A或者B的法向量的内积均约等于0，即

可令

1)当-0.05

2)当

在确定哪个向量是

计算Cloud

计算点P

求

至此地面法向量

2＞确定平面A的法向量

利用公式

利用公式

其中，

计算点P

则平面向量为

计算点P

如果

c.求V型标定板两条斜边(即第一边缘线和第二边缘线)方向向量

首先处理平面A的点云数据Cloud

1＞通过公式

2＞根据dist

3＞采用滑窗法沿着

1)滑窗大小为2cm；

2)该滑窗沿着

3)假设当前滑窗最下沿对应的高度为dist

4)通过公式dist

5)重复上述操作直到滑窗滑动完毕，得到最终的边缘点集合S

3＞计算斜边QS，采用最小二乘方法最小化点到直线距离，构建如下残差方程

同样的方法处理Cloud

1>通过下述公式计算平面OSQ和平面ORQ的法向量

d.提取激光点

1>从S

2>设定距离阈值th，连接激光点云的第一个点和最后一个点得到一条直线，计算其余点到该直线距离的最大值，如果该最大值超过th，则两个边界点分别和该折点构成直线，在这些直线上重复上述操作直到没有新的折点出现，最终得到一系列点云线段集合L＝{L

3>通过公式

4>选取打在V型标定板上的两段激光点云线段；在上述中心点集合

1)

2)

5>计算图6所示的M点和N点的坐标；

在上述L

6>计算图6所示的P点坐标；

拟合直线MP和直线NP，采用最小二乘方法最小化点到直线距离，构建公式(10)所示方程，计算得到MP方程a

其中，

2.计算激光到TOF相机的外参变换矩阵(即相机与雷达之间的外参数)

假设激光到TOF坐标系的外参转换旋转矩阵为

1)激光点M在平面OSQ上，满足约束

/>

2)激光点N在平面ORQ上，满足约束

3)激光点M和P在平面P

4)激光点N和P在平面P

AGV在每个位置的数据均可提供1)、2)、3)、4)共6个约束且唯一确定一个外参变换矩阵，5对激光点云和TOF点云提供的所有约束构建如下所示的约束方程：

采用LM(Levenberg-Marquardt)算法优化上式可得

根据

至此6自由度外参[roll pitch yaw x y z]均已求出。

请参阅图8，图8是本申请电子设备20一实施方式的结构示意图。本申请电子设备20包括处理器22，处理器22用于执行指令以实现本申请上述任一实施方式的方法及任意不冲突的组合所提供的方法。

处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。

电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。

请参阅图9，图9为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本申请上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。