一种多目相机外参标定方法及标定设备

技术领域

本申请涉及自动驾驶相机标定领域，尤其涉及一种自动驾驶专用摄像头产线多目相机外参标定的方法和设备。

背景技术

自动驾驶需要各类传感器来感知周围环境，传感器上的坐标与真实世界的物体坐标存在对应的转换关系，为了实现车辆的自动驾驶功能，保证自动驾驶功能的体验效果，需要对相机的外参进行标定。相机外参是旋转矩阵R和平移向量t构成，由6个参数(R

该矩阵描述了相机的位姿，例如将世界坐标系中的P

P＝RP

随着自动驾驶技术的发展，企业需要一种准确的标定模式——标定车间。标定车间是一个高度定制化的场地，主要由标定标志物，标定平台、照明设备组成。为了确保自动驾驶的安全，需要在车辆出厂前，通过标定车间在满足各项标准的条件下，衔接到车辆生产车间中，实现摄像头等传感器的标定。

但是对于智能驾驶汽车专用摄像头模组生产来说，为了满足车厂车载摄像头车辆出厂标定要求，以及多目摄像头支架与安装对手件之间的精度要求，提高车厂标定效率，这要求多目摄像头总成组装完毕后，摄像头模组生产厂家需要对样件进行标定，但标定车间并不能形成标准自动化的作业流程，且由于自动驾驶专用摄像头监测距离较远，因此进行相机标定需占用庞大的生产空间。

发明内容

鉴于上述技术问题和缺陷，本申请提供了一种多目相机外参标定方法，该方法对标定板进行全新设计，通过抓取标定板经过平面反光镜反射之后的实像便可以根据获取的左右图形的靶点空间坐标计算出相机的外参Rx、Ry和Rz，标定方法简单，且可节省一半的空间。

为实现上述目的，本发明采用如下技术方案：

一种多目相机外参标定方法，包括以下步骤：

步骤1、将多目相机安装在标定设备的标定平台上；加载对应的出图配置以及定义好的位置距离配置文件，调节合适的背光源亮度；

步骤2、图像采集模块通过采集卡抓取标定板经过平面反光镜反射之后的图像；

所述平面反光镜设置在标定设备的顶部；

所述标定板的基板为透光板，基板上设有左靶标、右靶标，左靶标、右靶标均由三块同等大小的正方形靶标构成，左靶标具体由左上靶标、右上靶标和中下靶标构成，左上靶标的右下靶点与中下靶标的左上靶点重合，右上靶标的左下靶点与中下靶标的右上靶点重合；右靶标具体由左下靶标、右下靶标和中上靶标构成，左下靶标的右上靶点与中上靶标的左下靶点重合，右下靶标的的左上靶点与中上靶标的右下靶点重合；

左靶标的靶点分别为：靶点0、靶点1、靶点2、靶点3、靶点6、靶点7、靶点8、靶点9、靶点14、靶点15；右靶标的靶点分别为：靶点4、靶点5、靶点10、靶点11、靶点12、靶点13、靶点16、靶点17、靶点18、靶点19；

步骤3、图像处理模块通过读取多目相机经过产线通用的内参标定设备标定的内参，进行图像的去畸变运算，针对去畸变后的图像进行靶点检测，获取对应靶点在相机坐标系的坐标(X

步骤4、图像处理模块根据标定设备设计过程中定义好的位置距离关系，通过小孔成像模型，将进行畸变矫正后的图像投影到世界坐标系；并根据下述公式计算出对应靶点的世界坐标系下的坐标(X

式中，L为多目相机距离靶标平面经平面反光镜光路反射后的等效垂直距离；[PP

步骤5、计算相机的pitch、yaw和roll角度，具体计算方法如下：

①分别计算左、右靶标图案中心世界坐标系下的坐标：

②计算整个标定板的图案中心世界坐标系下的坐标：

③计算相机的Roll角度α：

Pitch角度γ：

Yaw角度θ：

式中，L

作为本发明的优选，步骤1的具体步骤为：将多目相机支架两边安装孔对准标定平台的定位柱的同时，将多目相机后端的Fakra连接器对准已经固定好的线束接口并扣紧，通过肘夹压紧产品。

作为本发明的优选，步骤3通过读取采用InverseDivision模型的内参标定设备标定的内参，采取反向运算进行畸变校准处理，该模型表示为：

R

DT＝1+sign(k

X

式中，[Cod

k

[X

[R

R

[Rux,Ruy]：去畸变后图像像素点到畸变中心的畸变矢量；

[X

作为本发明的优选，步骤6计算相机的pitch、yaw和roll角度后，判断标定的pitch、yaw和roll角度是否在车厂要求的管控范围之内，如果在管控范围内，则判定为PASS；否则，判定为FAIL并回流产线重新组装。

本发明还提供一种多目相机外参标定设备，该标定设备包括主体框架、背光源、标定板、平面反光镜、底板、X/Y调整机构、标定平台；其中，所述背光源包括灯板和设置在灯板底部的支腿；

所述标定板的基板为透光板，基板上设有左靶标、右靶标，左靶标、右靶标均由三块同等大小的正方形靶标构成，左靶标具体由左上靶标、右上靶标和中下靶标构成，左上靶标的右下靶点与中下靶标的左上靶点重合，右上靶标的左下靶点与中下靶标的右上靶点重合；右靶标具体由左下靶标、右下靶标和中上靶标构成，左下靶标的右上靶点与中上靶标的左下靶点重合，右下靶标的的左上靶点与中上靶标的右下靶点重合；

所述平面反光镜设置在主体框架的顶部；

所述底板固定在主体框架上，所述X/Y调整机构设置在底板上，用于带动标定平台沿X向、Y向运动；所述标定平台设置在X/Y调整机构上，标定平台用来固定需要标定的多目相机，标定平台上设有产品固定架、肘夹，所述产品固定架在与多目相机支架两边安装孔相对的位置设有定位柱；所述肘夹为两组，靠近定位柱设置，肘夹与定位柱配合将多目相机夹紧固定。

作为本发明的优选，所述标定板用双面胶粘贴在灯板上；所述灯板通过定位柱锁付固定在支腿的顶端；所述支腿通过轴支座锁付在标定设备的底板上；所述底板通过螺钉锁付在主体框架上。

作为本发明的优选，所述定位柱前端为倒圆角结构。

作为本发明的优选，所述正方形靶标的边长为20cm。

作为本发明的优选，所述平面反光镜通过橡胶压条和外框固定在标定设备的顶部。

作为本发明的优选，该标定设备还包括显示器、图像采集模块、图像处理模块，所述显示器通过显示器支架安装在标定设备的一侧；所述显示器支架通过螺钉锁付在主体框架上；所述图像采集模块用于抓取标定板经过平面反光镜反射之后的图像；所述图像处理模块用于对图像进行处理。

本发明的优点和有益效果：

(1)本发明提供的标定方法通过平面反光镜获取标定板实像，平面反光镜通过光路反射成像原理节约一半的生产空间。

(2)基于本发明的标定方法，发明人设计了一种全新的标定图形，仅需要采集一张图片，便可以根据获取的左右图形的靶点空间坐标，计算出相机的外参R

(3)本发明提供的标定方法可根据车厂要求的相机标准和安装对手件精度需求管控范围内进行产品的筛选，避免不良品流到整车标定环节而造成巨大损失；实现标准化生产流程，提升生产效率，节约生产空间。

(4)本发明为实现上述标定方法提供一种全新的标定设备，标定设备上的标定平台安装在X/Y调整机构上，可以根据产品固定的位置进行X轴和Y轴的微调，从而达到居中对齐的目的。此外，标定平台的定位柱是依照对手件规格设计制造，前端设计有倒圆角，方便产品的定位安装。

(5)本发明提供的标定设备中多目相机的固定取放通过松紧肘夹来实现，按下肘夹，肘夹前端橡胶头与定位柱压紧，此时产品已初步固定，再按下另一边的肘夹即可完成定位固定，松开两边肘夹可进行产品的取放换型，操作简单、方便。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多目相机外参标定设备的轴测图；

图2为本发明多目相机外参标定设备的主视图；

图3为本发明X/Y调整机构安装在底板上的示意图；

图4为本发明标定平台的整体结构示意图；

图5为本发明平面反光镜的安装示意图；

图6为本发明标定板的示意图；

图7为本发明背光源的示意图；

图8为多目摄像头的示意图；

图9为多目摄像头安装在本发明标定平台上的示意图；

图10为本发明靶标检测靶点排序图；

图11为像素坐标系与相机坐标系转换示意图。

附图标记：主体框架1、背光源2、标定板3、平面反光镜4、底板5、X/Y调整机构6、标定平台7、显示器8、多目相机9、外框10、灯板21、支腿22、左靶标31、右靶标32、产品固定架71、肘夹72、定位柱73。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

实施例1

如图1至10所示，本发明提供一种多目相机外参标定设备，该设备通过模拟标定车间的环境来实现多目摄像头模组(多目相机)的外参标定，包括主体框架1、背光源2、标定板3、平面反光镜4、底板5、X/Y调整机构6、标定平台7；其中，所述背光源2包括灯板21和设置在灯板底部的支腿22；所述灯板21通过定位柱锁付固定在支腿22的顶端，灯板21的顶面发光，且光的亮度可调；所述支腿22通过轴支座锁付在标定设备的底板上；

所述标定板3通过双面胶粘贴在灯板21上，标定板3的基板为透光板，基板上设有左靶标31、右靶标32，左靶标31、右靶标32均由三块同等大小的正方形靶标构成，左靶标具体由左上靶标、右上靶标和中下靶标构成，左上靶标的右下靶点与中下靶标的左上靶点重合，右上靶标的左下靶点与中下靶标的右上靶点重合；右靶标具体由左下靶标、右下靶标和中上靶标构成，左下靶标的右上靶点与中上靶标的左下靶点重合，右下靶标的的左上靶点与中上靶标的右下靶点重合；

所述平面反光镜4通过橡胶压条和外框10固定在标定设备的顶部；

所述底板5通过螺钉锁付在主体框架1上；

所述X/Y调整机构6设置在底板5上，用于带动标定平台7沿X向、Y向运动，实现对心的微调；

所述标定平台7设置在X/Y调整机构6上，标定平台7用来固定需要标定的多目相机；所述标定平台7上设有产品固定架71、肘夹72，所述产品固定架71在与多目相机支架两边安装孔相对的位置设有定位柱73；所述肘夹72为两组，靠近定位柱72设置，肘夹72与定位柱73配合将多目相机9夹紧固定。

如图10所述，本实施例中，左靶标的靶点分别为：靶点0、靶点1、靶点2、靶点3、靶点6、靶点7、靶点8、靶点9、靶点14、靶点15；右靶标的靶点分别为：靶点4、靶点5、靶点10、靶点11、靶点12、靶点13、靶点16、靶点17、靶点18、靶点19。

进一步，本实施例中，所述平面反光镜4与外框10之间设有橡胶压条(未示意)，平面反光镜4安装固定在外框10上，所述外框10的四角通过锁附螺钉固定在主体框架1的顶端。

进一步，本实施例中，所述定位柱73前端为倒圆角结构，此种设计方便产品的定位安装。

进一步，本实施例中，所述标定设备还包括显示器8、图像采集模块、图像处理模块，所述显示器8通过显示器支架安装在标定设备的一侧；所述显示器支架通过螺钉锁付在主体框架1上；所述图像采集模块用于抓取标定板经过平面反光镜反射之后的图像；所述图像处理模块用于对图像进行处理。

进一步，本实施例中，所述正方形靶标的边长为20cm。

本实施例中，所述X/Y调整机构6采用现有丝杠加滑台结构的调整机构即可；当然，本领域技术人员也可采用其他形式的结构，凡能实现X向和Y向调整的任意一款结构的机构均可。

本实施例中，为保证平面反光镜4的水平度，所述平面反光镜4预留调平装置，可通过四角的锁附螺钉升降进行水平调节。

在进行工作时，将被测产品(多目相机)支架两边安装孔对准标定平台的定位柱73的同时，将多目相机后端的Fakra连接器对准下面已经固定好的线束接口并扣紧，通过肘夹72压紧产品。产品固定并连接好之后，在上位机软件里加载对应的出图配置以及定义好的位置距离配置文件，调节合适的背光源亮度，便可进行外参的标定以及对标定结果的判定。

实施例2

本发明利用实施例1所述的标定设备对多目相机外参标定的方法如下：

步骤1、产品(多目相机)固定并连接好之后，加载对应的出图配置以及定义好的位置距离配置文件；

步骤2、图像采集模块通过采集卡抓取标定板经过平面反光镜反射之后的图像；

步骤3、图像处理模块通过读取多目相机(摄像头模组)经过产线通用的内参标定设备标定的内参，进行图像的去畸变运算，针对去畸变后的图像进行靶点检测，获取对应靶点在相机坐标系的坐标(X

步骤4、图像处理模块根据标定设备设计过程中定义好的位置距离关系，通过小孔成像模型，将进行畸变矫正后的图像投影到世界坐标系中，并计算出对应靶点的世界坐标系下的坐标(X

步骤5、计算多目相机的pitch、yaw和roll角度(即俯仰角、航向角和翻滚角)；

步骤6、判断标定的pitch、yaw和roll角度是否在车厂要求的管控范围之内，如果在管控范围内，则判定为PASS，否则，判定为FAIL并回流产线重新组装。

本实施例中，所述步骤3中，通过读取采用InverseDivision模型的内参标定设备标定的内参，采取反向运算进行畸变校准处理，该模型表示为：

R

DT＝1+sign(k

X

其中，关于以上公式对应参数解释如下：

[Cod

k

[X

[R

R

[Rux,Ruy]：去畸变后图像像素点到畸变中心的畸变矢量；

[X

本实施例算出对应20个靶点在相机坐标系的坐标(X

本实施例中，所述步骤4中，同样通过读取内参标定的PP

其中，关于以上公式对应参数解释如下：

[X

[PP

EFL：多目相机有效焦距；

L：多目相机距离靶标平面经平面反光镜光路反射后的等效垂直距离；

本实施例算出对应20个靶点的世界坐标系下的坐标(X

本实施例中，所述步骤5中，多目相机之间的距离是已知的，这是因为在量产中，平移可以通过模具很好的进行约束，精度一般保证在1mm以内，已满足多目标定所需要的精度。

多目相机距离标定设备左右边框的水平距离L

具体计算方法如下：

(1)计算左、右靶标图案中心世界坐标系下的坐标：

(2)计算整个靶标(标定板)的图案中心世界坐标系下的坐标：

(3)计算相机的Roll角度：

Pitch角度计算：

Yaw角度计算：

其中，pitch为多目相机的R

以上为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。